CN101794299B - 一种历史数据管理的增量定义、处理方法 - Google Patents
一种历史数据管理的增量定义、处理方法 Download PDFInfo
- Publication number
- CN101794299B CN101794299B CN2010101015487A CN201010101548A CN101794299B CN 101794299 B CN101794299 B CN 101794299B CN 2010101015487 A CN2010101015487 A CN 2010101015487A CN 201010101548 A CN201010101548 A CN 201010101548A CN 101794299 B CN101794299 B CN 101794299B
- Authority
- CN
- China
- Prior art keywords
- data
- historical data
- definition
- increment
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013523 data management Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title abstract description 4
- 238000013499 data model Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004883 computer application Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000006978 adaptation Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种历史数据管理的增量定义、处理方法，属于计算机应用技术，其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码。本发明的一种历史数据管理的增量定义、处理方法和现有技术相比，不改变原有业务数据模型的基础上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能。
Description
技术领域
本发明涉及一种计算机应用技术，具体地说是一种历史数据管理的增量定义、处理方法。
背景技术
数据仓库，英文名称为Data Warehouse，可简写为DW。数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。是一个面向主题的、集成的、相对稳定的、反映历史变化(Time Variant)的数据集合。
数据仓库需要包含历史数据和当前数据，记录从过去某一时点到目前各个阶段的数据。通常在企业数据仓库建设中，历史数据管理一般都是采取简单的时间戳管理。历史数据随着时间积累，数据量呈几何级放大，所需要的存储空间增长较快；同时，系统性能随着数据量级的增加也会急剧下降。因此，必须进行数据的增量管理，并且可以根据数据的重要程度选择增量内容。
手工编写历史数据管理，由于数据仓库中业务对象较多和数据仓库类型版本之间的差异等等，这无疑是一项繁琐、耗时的工作，重复程度高，同时工作质量也难以保证。因此需要一种通用高效的增量数据定义、处理方法对历史数据进行管理。
发明内容
本发明的技术任务是提供一种不改变原有业务数据模型的基础上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能的一种历史数据管理的增量定义、处理方法。
本发明的技术任务是按以下方式实现的，
其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；实现了历史数据管理的通用高效；
(1)、通过历史数据模型设计器实现增量历史数据模型：
根据数据生命周期管理理念，历史数据模型继承业务数据模型，即在业务数据模型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；
(2)、通过增量数据定义器实现增量数据定义：
根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组。关键项目是增量判断的标准，当关键项目组内的数据发生变化时，则表示当前数据记录生命周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；
(3)、基于数据库通用的集合运算算法的历史数据生成：
采用数据库通用的集合运算，判断已到达生命周期的数据和开始生命周期的数据，计算效率高；
历史数据生成采用数据库通用的集合运算算法，具体步骤如下：
(a)、指定参与到集合运算的业务字段，即关键项目及业务主键字段；
(b)、运用集合运算except：历史表HT except源表ST，判断已到达生命周期的数据，存入临时表TT1中；
(c)、对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的结束日字段；
(d)、运用集合运算except：源表ST except历史表HT，判断新增的数据，存储临时表TT2中；
(e)、对于新增数据，直接插入到历史表HT中。
为了增量数据定义的方便，在增量数据定义中提供了专门的人机界面；在界面中，可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组；指定业务主键列。
在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理代码。
本发明的一种历史数据管理的增量定义、处理方法具有以下优点：
1、系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码，实现了历史数据管理的通用高效；
2、历史数据模型在不改变原有业务数据模型的基础上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能；
3、通过本发明提供的增量数据定义器，可以定制业务数据模型哪些字段需要存储，哪些字段是业务主键，方便了业务需求的变更；
4、软件系统能够快速适应用户的个性化需求，满足用户不断发展和完善信息系统的长期目标；
5、设计合理、使用方便，因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种历史数据管理的增量定义、处理方法的历史数据模型示意图；
附图2为一种历史数据管理的增量定义、处理方法的历史数据生成流程图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种历史数据管理的增量定义、处理方法作以下详细地说明。
实施例：
本发明的一种历史数据管理的增量定义、处理方法，
其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；实现了历史数据管理的通用高效；
(1)、通过历史数据模型设计器实现增量历史数据模型：
根据数据生命周期管理理念，历史数据模型继承业务数据模型，即在业务数据模型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；
引入数据生命周期的概念，基于增量的历史数据模型：历史表HT只存储变化的数据；历史表HT相对其源表ST，增加开始时间，结束时间两个字段，开始时间字段为历史表的主键，其它字段直接继承自源表ST；如图1所示；
数据存储模式为：源表ST数据为T日的数据，历史表HT数据为T-1日的数据，且历史表HT数据是变化的增量数据。
(2)、通过增量数据定义器实现增量数据定义：
根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组。关键项目是增量判断的标准，当关键项目组内的数据发生变化时，则表示当前数据记录生命周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；
(3)、基于数据库通用的集合运算算法的历史数据生成：
采用数据库通用的集合运算，判断已到达生命周期的数据和开始生命周期的数据，计算效率高；
如图2所示，历史数据生成采用数据库通用的集合运算算法，具体步骤如下：
(a)、指定参与到集合运算的业务字段，即关键项目及业务主键字段；
(b)、运用集合运算except：历史表HT except源表ST，判断已到达生命周期的数据，存入临时表TT1中；
(c)、对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的结束日字段；
(d)、运用集合运算except：源表ST except历史表HT，判断新增的数据，存储临时表TT2中；
(e)、对于新增数据，直接插入到历史表HT中。
为了增量数据定义的方便，在增量数据定义中提供了专门的人机界面；在界面中，可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组；指定业务主键列。
在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理代码。
实施可按下列方式展开：
(1)、根据已有的业务源表ST，增加开始日、结束日两个字段，建立历史表HT；
(2)、针对业务源表ST，指定其业务主键字段及集合运算字段(即关键项目)；
(3)、根据集合运算字段及表ST、HT，生成已到达生命周期的数据和新增的数据，并更新历史表HT；完成历史数据的存储。
经过实际使用证明，本发明的历史数据模型在不改变原有业务数据模型的基础上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能。通过本发明提供的增量数据定义器，可以定制业务数据模型那些字段需要存储，那些字段是业务主键，方便了业务需求的变更。使软件系统能够快速适应用户的个性化需求，满足用户不断发展和完善信息系统的长期目标。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (3)
1.一种历史数据管理的增量定义、处理方法，其特征在于其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；
(1)通过历史数据模型设计器实现增量历史数据模型：
在业务数据模型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；
(2)通过增量数据定义器实现增量数据定义：
根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组；关键项目是增量判断的标准，一旦关键项目组内的数据发生变化时，则表示当前数据记录生命周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；
(3)基于数据库通用的集合运算算法的历史数据生成：
采用数据库通用的集合运算算法，判断已到达生命周期的数据和开始生命周期的数据；
历史数据生成采用数据库通用的集合运算算法，具体步骤如下：
(a)指定参与到集合运算的业务字段，即关键项目及业务主键字段；
(b)运用集合运算except：历史表HT except源表ST，判断已到达生命周期的数据，存入临时表TT1中；
(c)对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的结束日字段；
(d)运用集合运算except：源表ST except历史表HT，判断新增的数据，存储临时表TT2中；
(e)对于新增数据，直接插入到历史表HT中。
2.根据权利要求1所述的一种历史数据管理的增量定义、处理方法，其特征在于在增量数据定义中提供了专门的人机界面；在界面中，可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组；指定业务主键列。
3.根据权利要求1或2所述的一种历史数据管理的增量定义、处理方法，其特征在于在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理代码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101015487A CN101794299B (zh) | 2010-01-27 | 2010-01-27 | 一种历史数据管理的增量定义、处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101015487A CN101794299B (zh) | 2010-01-27 | 2010-01-27 | 一种历史数据管理的增量定义、处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101794299A CN101794299A (zh) | 2010-08-04 |
| CN101794299B true CN101794299B (zh) | 2012-03-28 |
Family
ID=42586999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101015487A Expired - Fee Related CN101794299B (zh) | 2010-01-27 | 2010-01-27 | 一种历史数据管理的增量定义、处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101794299B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467547B (zh) * | 2010-11-16 | 2013-10-09 | 金蝶软件（中国）有限公司 | 历史数据存储方法及装置 |
| CN102541952A (zh) * | 2010-12-29 | 2012-07-04 | 北大方正集团有限公司 | 一种基于数据库获取历史数据的方法及装置 |
| CN102567428A (zh) * | 2010-12-30 | 2012-07-11 | 中国移动通信集团浙江有限公司 | 一种在线数据生命周期管理方法和装置 |
| CN102360379B (zh) * | 2011-10-10 | 2013-01-16 | 浙江鸿程计算机系统有限公司 | 一种多维数据立方体增量聚合及查询优化方法 |
| CN104424219B (zh) * | 2013-08-23 | 2018-10-09 | 华为技术有限公司 | 一种数据文件的管理方法及装置 |
| CN103617171A (zh) * | 2013-10-25 | 2014-03-05 | 芜湖大学科技园发展有限公司 | 一种海量历史数据快速查询系统 |
| CN105095457B (zh) * | 2015-07-28 | 2019-08-09 | 驰众信息技术（上海）有限公司 | 历史数据存储管理方法 |
| CN105095484B (zh) * | 2015-08-17 | 2019-03-12 | 北京京东世纪贸易有限公司 | 一种数据拉链方法 |
| CN110096509A (zh) * | 2019-05-16 | 2019-08-06 | 普元信息技术股份有限公司 | 大数据环境下实现历史数据拉链表存储建模处理的系统及方法 |
| CN111274226B (zh) * | 2020-01-20 | 2023-05-12 | 西安百想科技有限公司 | 一种实现业务通用历史数据管理的系统及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1604055A (zh) * | 2003-09-30 | 2005-04-06 | 国际商业机器公司 | 利用永久历史页表数据预取数据到高速缓存的装置和方法 |
| CN1908932A (zh) * | 2005-08-05 | 2007-02-07 | 北京人大金仓信息技术有限公司 | 一种海量数据紧缩存储方法及执行装置 |
-
2010
- 2010-01-27 CN CN2010101015487A patent/CN101794299B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1604055A (zh) * | 2003-09-30 | 2005-04-06 | 国际商业机器公司 | 利用永久历史页表数据预取数据到高速缓存的装置和方法 |
| CN1908932A (zh) * | 2005-08-05 | 2007-02-07 | 北京人大金仓信息技术有限公司 | 一种海量数据紧缩存储方法及执行装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101794299A (zh) | 2010-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101794299B (zh) | 一种历史数据管理的增量定义、处理方法 | |
| CN110750650A (zh) | 企业知识图谱的构建方法及装置 | |
| US20110093866A1 (en) | Time-based event processing using punctuation events | |
| CN102117306A (zh) | Etl数据处理过程的监控方法及其系统 | |
| CN106933836B (zh) | 一种基于分表的数据存储方法和系统 | |
| CN103699638A (zh) | 一种基于配置参数实现跨数据库类型同步数据的方法 | |
| CN101419630B (zh) | 一种数据流中Top-k项的挖掘方法及系统 | |
| CN111327514B (zh) | 微信图文消息群发方法、系统、服务器及存储介质 | |
| CN102521374B (zh) | 基于关系型联机分析处理的智能数据聚集方法及其系统 | |
| CN101739292A (zh) | 基于应用特征的异构集群作业自适应调度方法和系统 | |
| CN104965999B (zh) | 一种中短基因片段测序的分析拼接方法及设备 | |
| CN108764610A (zh) | 基于大数据的标准工艺工程项目施工管理方法、存储介质 | |
| CN101763258B (zh) | 一种软件复用方法及系统 | |
| CN103473036A (zh) | 一种输入法皮肤推送方法及系统 | |
| CN105302730A (zh) | 一种检测计算模型的方法、测试服务器及业务平台 | |
| CN104317957A (zh) | 一种报表处理的开放平台、系统及报表处理方法 | |
| CN101582138A (zh) | 动态业务处理系统和方法 | |
| CN104199977A (zh) | 一种基于数据库中数据创建信息搜索的方法 | |
| CN101645073A (zh) | 一种将已有数据库文件导入嵌入式数据库的方法 | |
| CN101615815A (zh) | 对电力监控系统中不同采集单元参数重组显示的配置方法 | |
| CN101495978B (zh) | 减少总线连接的消费者和产生者之间的消息流 | |
| CN103809915B (zh) | 一种磁盘文件的读写方法和装置 | |
| CN101894161A (zh) | 一种用于实时监控的循环事件存取方法和装置 | |
| CN104866508A (zh) | 在云环境下管理文件的方法与装置 | |
| CN108132802B (zh) | 一种配置模型在系统开发中的应用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120328 Termination date: 20150127 |
|
| EXPY | Termination of patent right or utility model |