CN101183387A - 一种增量数据捕获方法和系统 - Google Patents
一种增量数据捕获方法和系统 Download PDFInfo
- Publication number
- CN101183387A CN101183387A CNA2007101959824A CN200710195982A CN101183387A CN 101183387 A CN101183387 A CN 101183387A CN A2007101959824 A CNA2007101959824 A CN A2007101959824A CN 200710195982 A CN200710195982 A CN 200710195982A CN 101183387 A CN101183387 A CN 101183387A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- data
- increment
- cdc
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种增量数据捕获方法,包括:根据目标表的结构信息创建与目标表对应的关系数据库快照表;利用所述创建的快照表完成指定时间点目标表的快照抽取;根据所述不同时间点的快照进行快照比对,捕获增量数据。采用快照表存储快照,不需要维护增量数据的元数据信息,增强了通用性。进一步,本发明通过创建快照表的聚集索引,降低了快照记录比对的时间,减少了计算机系统的运算量,节省了计算机系统资源,提高了捕获增量数据的效率。本发明还公开了一种增量数据捕获系统。
Description
技术领域
本发明涉及数据库技术领域,特别是涉及数据库数据集成技术领域中的一种增量数据捕获方法和系统。
背景技术
增量数据捕获(Change Data Capture,CDC)是指捕获数据源中产生的增量数据,并提供给其他企业应用软件的过程。CDC是数据集成中ETL(ExtractTransform Load)过程所要解决的主要问题之一。CDC用于捕获业务数据库中数据插入、删除、更新操作,为OLAP数据库、报表数据库、数据仓库、商业智能数据库等企业应用数据库数据的同步提供增量数据捕获服务。
快照(Snapshot)比对方式是现有技术中增量数据捕获主要方式之一,通过比对两个时间点的快照来获取增量数据。这种方式通用性强,在获得数据源数据读取权限条件下即可完成增量数据捕获过程。但现有技术中的快照比对方法是以文件为基础存储快照,并通过设计快照比对算法比对两张快照文件得到增量数据。这种方式存在的问题主要有:
1、基于文件的快照比对算法的时间和空间复杂度较高。
基于文件的快照比对算法不可避免地需要遍历两张快照文件内的所有记录,当快照数据量较大的情况下这种算法将很耗时。假设有两张快照A和B,快照A中存在n1条记录,快照B中存在n2条记录,两条记录比对时间为t(ms),则完成所有快照记录比对的时间就需要:n1*n2*t(ms)。算法中还包含大量的IO操作,使耗时更为严重;而如果降低IO操作次数减少耗时的话,就需要占用大量内存空间。在内存有限、快照数据量较大的情况下,算法执行效率会受到很大影响。
2、需要维护数据库元数据信息,一定程度上限制了算法的通用性。
将关系数据库内结构化格式的数据抽取到文件这种非结构或半结构化格式的数据必将造成描述数据的数据也就是元数据(数据类型、主外键等)的丢失。因此,以文件为快照的增量数据捕获必定需要额外维护这部分丢失的元数据,增加了快照比对增量抽取的复杂度。并且,不同类型数据库之间对元数据的定义存在偏差,对不同类型的数据库提供支持就需要扩展算法,因此在一定程度上限制了算法的通用性。
3、不提供对目的数据库增量更新后的恢复功能。
在对目的数据库增量更新后,不提供将数据库恢复到指定增量更新时间点的功能。这种功能将对目的数据库中数据的增量更新历史查询和数据恢复提供帮助。
发明内容
本发明所要解决的技术问题是提供一种增量数据捕获方法和系统,不需要维护元数据信息,并且提高基于快照方式增量数据捕获的效率,以及提供增量数据的恢复功能。
为了解决上述问题,本发明公开了一种增量数据捕获方法,包括:
根据目标表的结构信息创建与目标表对应的关系数据库快照表;
利用所述创建的快照表完成指定时间点目标表的快照抽取;
根据所述不同时间点的快照进行快照比对,捕获增量数据。
进一步,还包括:
创建历史快照的聚集索引。
并且,利用所述历史快照的聚集索引与当前快照进行比对,捕获增量数据。
进一步,还包括:
发送所述捕获的增量数据至目标数据库,增量更新目标数据库。
进一步,还包括:
创建CDC队列和CDC表,所述CDC队列用于记录当前捕获的增量数据集,所述CDC表用于记录所有时间点捕获的增量数据集;
根据CDC队列的数据生成CDC表的数据。
进一步,还包括:
从CDC表中获取指定时间段内的增量恢复数据;
发送所述获取的增量恢复数据至目标数据库;
根据所述增量恢复数据生成相应的SQL语句;
执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
其中,利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。
其中,所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。
其中,所述增量更新目标数据库的步骤包括:
目标数据库接收所述增量捕获数据;
根据增量捕获数据的操作类型生成相应的SQL语句;
执行所述SQL语句更新目标数据库。
本发明还公开了一种增量数据捕获系统,包括:
快照表创建单元,用于根据目标表的结构信息创建与目标表对应的关系数据库快照表;
快照抽取单元,用于利用快照表完成指定时间点目标表的快照抽取;
捕获单元,用于根据不同时间点的快照进行快照比对,捕获增量数据。
进一步,还包括:
索引创建单元,用于创建快照的聚集索引。
所述捕获单元根据历史快照的聚集索引与当前快照进行比对,捕获增量数据。
进一步,还包括:
第一发送单元,用于发送所述捕获的增量数据至目标数据库;
更新单元,用于增量更新目标数据库。
进一步,还包括:
队列创建单元,用于创建CDC队列,所述CDC队列用于记录当前捕获的增量数据集;
CDC表生成单元,用于生成CDC表,所述CDC表用于记录所有时间点捕获的增量数据集。
进一步,还包括:
获取单元,用于从CDC表中获取指定时间段内的增量恢复数据;
第二发送单元,用于发送所述获取的增量恢复数据至目标数据库;
语句生成单元,用于根据所述增量恢复数据生成相应的SQL语句;
恢复单元,用于执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
与现有技术相比,本发明具有以下优点:
由于本发明没有采用文件存储快照,而是采用快照表存储快照,所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构,因此不存在元数据信息丢失的问题,不需要维护增量数据的元数据信息。并且由于采用了关系数据库表结构的快照表存储快照,因此可以通过关系数据库内的全连接方式避免定义高效快照比对算法的过程,增强了所述方法的通用性。采用关系数据库表结构存储快照,降低了时间和空间复杂度。
进一步,本发明通过创建快照表的聚集索引,降低了快照记录比对的时间,减少了计算机系统的运算量,节省了计算机系统资源,提高了捕获增量数据的效率。
进一步,本发明通过CDC表获取增量恢复数据,并将增量恢复数据发送至目标数据库执行的方式,实现了增量数据的维护和对目标数据库的增量恢复功能。
附图说明
图1是本发明一种增量数据捕获方法第一实施例的流程图;
图2是本发明一种增量数据捕获方法第二实施例的流程图;
图3是本发明第二实施例中增量更新目标数据库步骤的流程图;
图4是本发明一种增量数据捕获方法第三实施例增量数据恢复的流程图;
图5是本发明一种增量数据捕获系统第一实施例的结构框图;
图6是本发明一种增量数据捕获系统第二实施例的结构框图;
图7是本发明一种增量数据捕获系统第三实施例增量数据恢复的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明一种增量数据捕获方法第一实施例的流程图,包括步骤:
步骤101、根据目标表的结构信息创建与目标表对应的关系数据库快照表。
所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。
创建所述快照表的具体过程为:首先获取增量捕获目标表的结构信息,然后根据所述结构信息构造关系数据库表的SQL CREATE TABLE语句,最后在数据库中执行所述SQL语句,完成所述关系数据库快照表的创建。
步骤102、利用所述创建的快照表完成指定时间点目标表的快照抽取。
为了完成对不同时间点的快照比对,需要对目标表多个不同时间点的数据进行快照抽取,将所述不同时间点抽取的数据分别存储于快照表中,形成不同时间点的多个快照记录。
进一步,为了减少快照比对的时间,在抽取生成目标表数据生成快照后,本发明优选的方式是创建历史快照的聚集索引。索引是对数据库表中一列或多列的值进行排序的一种结构。在聚集索引中,表中行的物理顺序与键值的逻辑(索引)顺序相同。如果某索引不是聚集索引,则表中行的物理顺序与键值的逻辑顺序不匹配。与非聚集索引相比,聚集索引提供更快的数据访问查询速度。
在没有使用聚集索引的情况下,如果快照中包含n1条记录,则查询到该记录的次数最多需要查询n1次,而使用聚集索引,则不论快照中记录有多少条都只需要查询1次。
步骤103、根据所述不同时间点的快照进行快照比对,捕获增量数据。
利用关系数据库内的全连接和条件查询的方式实现快照比对和对插入,删除,更新操作增量数据的计算和捕获。
全连接是连接运算的一种,它是为避免自然连接时因失配而发生信息丢失。假定参与连接的一方表中某行未与连接的另一方表中的任何一行匹配,此行将匹配一个取值全为空值的行。
本发明所述实施例中的全连接运算是对两个时刻做的两张结构相同的快照以主键字段相等为条件进行全连接,这样当两张表中存在未匹配的主键时,该主键所在的行会与一个取值全为空值的行相匹配。
主键是确保关系数据库表中记录唯一的字段列。外键是为了关联其他表中数据而设定记录其他表主键值的列。数据库表中的主键与其他非主键的关系靠范式约束。下面介绍一下范式:设计范式(范式,数据库设计范式,数据库的设计范式)是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中,这种规则就是范式。关系数据库中的关系必须满足一定的要求,即满足不同的范式。目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、第四范式(4NF)、第五范式(5NF)和第六范式(6NF)。满足最低要求的范式是第一范式(1NF)。在第一范式的基础上进一步满足更多要求的称为第二范式(2NF),其余范式以次类推。一般说来,数据库只需满足第三范式(3NF)就行了。
本发明所述实施例由于采用聚集索引并使用全连接方式捕获增量数据,计算速度相比现有技术中的算法有较大的提高。
下面以一个实施说明采用聚集索引后计算速度的提高。
假设两张快照表A和表B,表A中包含n1条记录,表B中包含n2条记录,比对一条记录的时间是t(ms)。现有技术中的文件方式快照比对需要分别查询表A中的每一条记录和表B中的所有n2条记录并进行比较,因此快照比对的总时间就是n1*n2*t(ms)。本发明实施例中利用了聚集索引,通过创建历史快照表A的聚集索引,把从B表中查询的单条记录与A表的记录查询比较时间从n1*t降低到了t,因此快照比对的总时间就是(n1+n2)*t(ms),速度提高明显。
参照图2,示出了本发明一种增量数据捕获方法第二实施例的流程图。
在本发明一种增量数据捕获方法的第二实施例中,除了包括第一实施例中的步骤101、步骤102、步骤103外,还包括步骤104、发送所述捕获的增量数据至目标数据库,增量更新目标数据库。
本发明所述实施例中可以通过两种方式将增量数据发送至目标数据库,一种是捕获新的增量数据后立即发送至目标数据库,另一种方式是创建CDC队列,所述CDC队列用于记录当前捕获的增量数据集,并通过所述队列将增量数据发送至目标数据库。在本发明实施例中,优选采用的是第二种,因为通过队列发送增量数据,安全性高,不会造成增量数据的丢失。
在创建CDC队列后,还包括步骤:根据目标数据库表结构生成CDC表,所述CDC表用于记录所有时间点捕获的增量数据集。所述CDC表用来维护增量数据。CDC表由增量捕获目标表结构信息的基础上添加时间戳字段、操作类型字段和更新标志位字段构成。
CDC表的创建过程与快照表的创建过程相似,即:首先获取增量捕获目标表的结构信息,然后根据所述结构信息构造关系数据库表的SQL CREATETABLE语句,最后在数据库中执行所述SQL语句,完成所述关系数据库CDC表的创建。CDC表与快照表的不同之处在于CDC表还包括时间戳字段、操作类型字段和更新标志位字段。
参照图3,示出了本发明第二实施例中增量更新目标数据库步骤的流程图,包括步骤:
步骤301、目标数据库接收所述增量捕获数据。
步骤302、根据增量捕获数据的操作类型生成相应的SQL语句。
步骤303、执行所述SQL语句更新目标数据库。
下面对本发明所述实施例的技术方案进行更为详细的介绍。首先在时间点A做T表(目标表)快照并将快照存储到A表(历史快照),创建快照表A的聚集索引。然后再在时间点B做T表快照并将快照存储到B表。
所述增量数据捕获流程具体为:做T表A时间点和B时间点之间时刻的删除,插入,更新操作增量数据的捕获过程中,首先创建维护此次捕获增量数据集的CDC队列,而后在A表主键和B表主键相等条件下全连接数据快照A和B,并按照:1)B表主键字段为空;2)A表主键字段为空;3)A、B两表主键字段相等但其他非主键字段不等三个条件分别查询出删除,插入和更新三种操作增量数据集。然后按照:1)从快照A捕获删除操作数据集,并添加DELETE操作类型字段和时间戳字段值;2)从快照B捕获插入操作数据集,并添加INSERT操作类型字段和时间戳字段值;3)从A、B两表捕获更新操作数据集,添加UPDATE操作类型字段值和时间戳字段,并且来源于A表的更新数据及添加OLD操作字段值,来源于B表的更新数据及添加NEW操作字段值;将所述捕获的增量数据集插入CDC表中,将删除、插入和操作字段值为NEW的更新操作增量数据压入CDC队列。
增量更新目标数据库的数据更新流程为:首先清空当前A快照表并指定A表为下次快照存储表,这样避免了计算机存储资源的浪费,并为最新的B快照表创建聚束索引,使其成为历史快照。然后,将包含此增量捕获数据集的CDC队列发送至目标数据库,目标数据库接收所述队列后按先进先出的原则顺序读取队列中的数据集,并根据数据集中操作类型字段的DELETE、INSERT、UPDATE三种类型分别生成相应SQL语句,而后目标数据库按DELETE操作在先的顺序依次执行所述SQL语句,增量更新目标数据库。
本发明所述实施例的快照表采用与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构,因此不存在元数据信息丢失的问题,不需要维护增量数据的元数据信息,提高了此增量数据捕获方法的通用性。
并且由于采用了关系数据库表结构的快照表存储快照,因此可以通过关系数据库内的全连接方式避免定义高效快照比对算法的过程,增强了所述方法的通用性。采用关系数据库表结构存储快照,时间和空间复杂度都降低了。
进一步,本发明通过创建快照表的聚集索引,降低了快照记录比对的时间,减少了计算机系统的运算量,节省了计算机系统资源,提高了捕获增量数据的效率。
参照图4,示出了本发明一种增量数据捕获方法第三实施例增量数据恢复的流程图,包括步骤:
步骤401、从CDC表中获取指定时间内的增量恢复数据。
步骤402、发送所述获取的增量恢复数据至目标数据库。
步骤403、根据所述增量恢复数据的类型生成相应的SQL语句。
步骤404、执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
增量数据恢复是通过查询CDC表构建数据恢复队列并将队列发送至目标数据库执行的方式,增量更新目标数据库恢复至指定增量更新时间点的状态。
下面对所述技术方案进行更为详细的描述:
首先在历次增量捕获生成的CDC时间点中选取需要将目标数据库状态恢复到的某时间点,然后查询CDC表中晚于该指定恢复时间点之后的所有时间点,并按照时间点的先后顺序的逆序遍历结果集并创建恢复队列,之后按照:1)操作为插入的数据集修改操作为删除;2)取出操作为删除的数据集并修改操作为插入;3)取出操作为更新且更新标志位字段为OLD的数据集并将数据压入恢复队列,最后将恢复队列发送至目标数据库执行增量恢复。恢复队列发送至目标数据库后,按照先进先出的原则访问队列中的数据集,根据数据集中的操作类型字段值判断删除,插入,更新三种操作并生成相应的SQL语句,在目标数据库执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
本发明所述实施例通过CDC表获取增量恢复数据,并将增量恢复数据发送至目标数据库执行的方式,实现了增量数据的维护和对目标数据库的增量恢复功能。
参照图5,示出了本发明一种增量数据捕获系统第一实施例的结构框图,包括:
快照表创建单元501、用于根据目标表的结构信息创建与目标表对应的关系数据库快照表。
快照抽取单元502、用于利用快照表完成指定时间点目标表的快照抽取。
捕获单元503、用于根据不同时间点的快照进行快照比对,捕获增量数据。
下面对所述系统的工作过程及工作原理进行详细的描述:
快照表创建单元501根据目标表的结构信息创建与目标表对应的关系数据库快照表。所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。快照抽取单元502根据快照表完成指定时间点目标表的快照抽取,形成不同时间点的多个快照记录。捕获单元503利用关系数据库内的全连接和条件查询的方式实现快照比对和对插入,删除,更新操作增量数据的计算和捕获。
进一步,还包括索引创建单元504、用于创建快照的聚集索引。增加所述索引创建单元504后,利用所述索引创建单元创建历史快照的聚集索引,从而所述捕获单元503可以根据历史快照的聚焦索引与当前快照进行比对,捕获增量数据。利用采用了聚集索引查询访问快照,从而大大减少快照比对的时间,提高了增量数据捕获的效率。
参照图6,示出了本发明一种增量数据捕获系统第二实施例的结构框图,除了包括第一实施例中的快照表创建单元501、快照抽取单元502、捕获单元503以及索引创建单元504外,还包括:
第一发送单元601、用于发送所述捕获的增量数据至目标数据库。
更新单元602、用于增量更新目标数据库。
所述更新单元602接收增量数据,根据所述增量数据生成相应的SQL语句,执行所述SQL语句增量更新目标数据库。
进一步,还包括队列创建单元603、用于创建CDC队列,所述CDC队列用于记录捕获的增量数据集。所述捕获的增量数据用CDC队列发至目标数据库,安全性更高。
CDC表生成单元604、用于根据所述CDC队列生成CDC表。所述CDC表除了包括数据字段外,还包括时间戳字段、操作类型字段以及更新标志字段。
参照图7,示出了本发明一种增量数据捕获系统第三实施例增量数据恢复的结构框图,包括:
获取单元701、用于从CDC表中获取指定时间内的增量恢复数据。
第二发送单元702、用于发送所述获取的增量恢复数据至目标数据库。
语句生成单元703、用于根据所述增量恢复数据的类型生成相应的SQL语句;
恢复单元704、用于执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
本发明所述各系统实施例是与各方法实施例对应的,因此,在各系统实施例中未详细描述的部分参见各方法实施例中的相应部分即可。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本发明所提供的一种增量数据捕获方法和系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (17)
1.一种增量数据捕获方法,其特征在于,包括:
根据目标表的结构信息创建与目标表对应的关系数据库快照表;
利用所述创建的快照表完成指定时间点目标表的快照抽取;
根据所述不同时间点的快照进行快照比对,捕获增量数据。
2.如权利要求1所述的增量数据捕获方法,其特征在于,还包括:
创建历史快照的聚集索引。
3.如权利要求2所述的增量数据捕获方法,其特征在于:
利用所述历史快照的聚集索引与当前快照进行比对,捕获增量数据。
4.如权利要求3所述的增量数据捕获方法,其特征在于,还包括:
发送所述捕获的增量数据至目标数据库,增量更新目标数据库。
5.如权利要求4所述的增量数据捕获方法,其特征在于,还包括:
创建CDC队列和CDC表,所述CDC队列用于记录当前捕获的增量数据集,所述CDC表用于记录所有时间点捕获的增量数据集;
根据CDC队列的数据生成CDC表的数据。
6.如权利要求5所述的增量数据捕获方法,其特征在于,还包括:
从CDC表中获取指定时间段内的增量恢复数据;
发送所述获取的增量恢复数据至目标数据库;
根据所述增量恢复数据生成相应的SQL语句;
执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
7.如权利要求1至6任一所述的增量数据捕获方法,其特征在于:
利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。
8.如权利要求1至6任一所述的增量数据捕获方法,其特征在于:
所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。
9.如权利要求4所述的增量数据捕获方法,其特征在于,所述增量更新目标数据库的步骤包括:
目标数据库接收所述增量捕获数据;
根据增量捕获数据的操作类型生成相应的SQL语句;
执行所述SQL语句更新目标数据库。
10.一种增量数据捕获系统,其特征在于,包括:
快照表创建单元,用于根据目标表的结构信息创建与目标表对应的关系数据库快照表;
快照抽取单元,用于利用快照表完成指定时间点目标表的快照抽取;
捕获单元,用于根据不同时间点的快照进行快照比对,捕获增量数据。
11.如权利要求10所述的增量数据捕获系统,其特征在于,还包括:
索引创建单元,用于创建快照的聚集索引。
12.如权利要求11所述的增量数据捕获系统,其特征在于:
所述捕获单元根据历史快照的聚集索引与当前快照进行比对,捕获增量数据。
13.如权利要求12所述的增量数据捕获系统,其特征在于,还包括:
第一发送单元,用于发送所述捕获的增量数据至目标数据库;
更新单元,用于增量更新目标数据库。
14.如权利要求13所述的增量数据捕获系统,其特征在于,还包括:
队列创建单元,用于创建CDC队列,所述CDC队列用于记录当前捕获的增量数据集;
CDC表生成单元,用于生成CDC表,所述CDC表用于记录所有时间点捕获的增量数据集。
15.如权利要求14所述的增量数据捕获系统,其特征在于,还包括:
获取单元,用于从CDC表中获取指定时间段内的增量恢复数据;
第二发送单元,用于发送所述获取的增量恢复数据至目标数据库;
语句生成单元,用于根据所述增量恢复数据生成相应的SQL语句;
恢复单元,用于执行所述SQL语句,完成对目标数据库指定时间点的增量数据恢复。
16.如权利要求10至15任一权利要求所述的增量数据捕获系统,其特征在于:
所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。
17.如权利要求10至15任一权利要求所述的增量数据捕获系统,其特征在于:
所述捕获单元利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007101959824A CN100562874C (zh) | 2007-12-14 | 2007-12-14 | 一种增量数据捕获方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007101959824A CN100562874C (zh) | 2007-12-14 | 2007-12-14 | 一种增量数据捕获方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101183387A true CN101183387A (zh) | 2008-05-21 |
CN100562874C CN100562874C (zh) | 2009-11-25 |
Family
ID=39448662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007101959824A Expired - Fee Related CN100562874C (zh) | 2007-12-14 | 2007-12-14 | 一种增量数据捕获方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100562874C (zh) |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262544A (zh) * | 2010-05-24 | 2011-11-30 | 腾讯科技(深圳)有限公司 | 软件升级的方法和装置 |
CN102411569A (zh) * | 2010-09-20 | 2012-04-11 | 上海众融信息技术有限公司 | 一种数据库转换与清洗信息处理方法 |
CN102419754A (zh) * | 2010-09-27 | 2012-04-18 | 金蝶软件(中国)有限公司 | Etl中数据主键号的生成方法及计数器 |
CN102521397A (zh) * | 2011-12-23 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种数据传输方法 |
CN102929745A (zh) * | 2012-09-26 | 2013-02-13 | 东软集团股份有限公司 | 一种虚拟设备状态数据的更新方法及装置 |
CN103034566A (zh) * | 2012-12-06 | 2013-04-10 | 华为技术有限公司 | 虚拟机还原的方法和装置 |
CN103149855A (zh) * | 2013-03-22 | 2013-06-12 | 上海港务工程公司 | 海上打桩远程监控系统 |
CN101719131B (zh) * | 2009-12-01 | 2013-08-07 | 金蝶软件(中国)有限公司 | 一种报表数据的处理方法、装置和系统 |
CN103365956A (zh) * | 2012-04-10 | 2013-10-23 | 霍尼韦尔国际公司 | 用于向飞行中的飞行器发射差别天气信息的系统和方法 |
CN103455560A (zh) * | 2013-08-12 | 2013-12-18 | 曙光信息产业股份有限公司 | 一种数据查询方法及系统 |
CN103699629A (zh) * | 2013-12-20 | 2014-04-02 | 华为技术有限公司 | 一种图表的处理方法及设备 |
CN104298760A (zh) * | 2014-10-23 | 2015-01-21 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和数据处理装置 |
CN104462568A (zh) * | 2014-12-26 | 2015-03-25 | 山东中创软件商用中间件股份有限公司 | 一种数据对账方法、装置和系统 |
CN104572995A (zh) * | 2015-01-06 | 2015-04-29 | 北京卫星环境工程研究所 | 一种分布式实时数据快速处理方法 |
CN106250265A (zh) * | 2016-07-18 | 2016-12-21 | 乐视控股(北京)有限公司 | 用于对象存储的数据备份方法和系统 |
CN106383906A (zh) * | 2016-09-30 | 2017-02-08 | 杭州数梦工场科技有限公司 | 优化Oracle数据库数据增量捕捉的方法和系统 |
CN106528575A (zh) * | 2015-09-14 | 2017-03-22 | 北京国双科技有限公司 | 数据对接方法和装置 |
CN106682153A (zh) * | 2016-12-23 | 2017-05-17 | 山东浪潮商用系统有限公司 | 一种基于数据建模及实现数据增量的数据抽取工具 |
CN107749914A (zh) * | 2017-10-13 | 2018-03-02 | 北京小米移动软件有限公司 | 卡顿数据获取方法及装置 |
CN108492566A (zh) * | 2018-04-23 | 2018-09-04 | 泰华智慧产业集团股份有限公司 | 高容错交通卡口过车数据实时抽取的方法及系统 |
CN109871378A (zh) * | 2019-02-21 | 2019-06-11 | 杭州市商务委员会(杭州市粮食局) | 大数据平台的数据采集和处理方法及系统 |
CN110019266A (zh) * | 2017-10-30 | 2019-07-16 | 北京国双科技有限公司 | 一种sql语句的生成方法及装置 |
CN110351386A (zh) * | 2019-07-23 | 2019-10-18 | 无锡华云数据技术服务有限公司 | 一种不同副本间的增量同步方法及装置 |
CN110674146A (zh) * | 2019-08-22 | 2020-01-10 | 视联动力信息技术股份有限公司 | 一种数据同步方法、同步端、待同步端、设备及存储介质 |
CN110865996A (zh) * | 2019-11-07 | 2020-03-06 | 尚娱软件(深圳)有限公司 | 数据存储方法、装置及计算机可读存储介质 |
CN111026760A (zh) * | 2019-12-11 | 2020-04-17 | 宏图智能物流股份有限公司 | 一种基于多维度业务时间的cdc数据采集方法 |
CN111104445A (zh) * | 2019-12-06 | 2020-05-05 | 杭州数梦工场科技有限公司 | 数据同步方法、装置及设备 |
CN111309673A (zh) * | 2020-02-12 | 2020-06-19 | 普信恒业科技发展(北京)有限公司 | 增量数据的快照数据生成方法及装置 |
CN111782514A (zh) * | 2020-06-23 | 2020-10-16 | 京东数字科技控股有限公司 | 一种测试数据的比对方法和装置 |
CN111858158A (zh) * | 2020-06-19 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置及电子设备 |
CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
CN112445759A (zh) * | 2020-11-30 | 2021-03-05 | 中国人寿保险股份有限公司 | 跨分布式数据库的集群复制数据的方法、装置和电子设备 |
CN112527922A (zh) * | 2020-12-15 | 2021-03-19 | 神州数码信息系统有限公司 | 一种基于不变模型的数据仓库增量加工方法 |
CN112559536A (zh) * | 2021-02-20 | 2021-03-26 | 北京工业大数据创新中心有限公司 | 一种工业设备数据的处理方法及系统 |
CN112988473A (zh) * | 2021-05-10 | 2021-06-18 | 南京云信达科技有限公司 | 一种备份数据实时恢复方法及系统 |
CN113407538A (zh) * | 2021-06-17 | 2021-09-17 | 北京计算机技术及应用研究所 | 一种多源异构关系型数据库数据的增量采集方法 |
CN113672679A (zh) * | 2021-07-02 | 2021-11-19 | 杭州沃趣科技股份有限公司 | 一种还原历史表结构的方法和系统 |
CN114020534A (zh) * | 2021-11-05 | 2022-02-08 | 中远海运科技股份有限公司 | 一种航运数据快照生成方法 |
US11429488B2 (en) | 2016-10-14 | 2022-08-30 | Tencent Technology (Shenzhen) Company Limited | Data recovery method based on snapshots, device and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
-
2007
- 2007-12-14 CN CNB2007101959824A patent/CN100562874C/zh not_active Expired - Fee Related
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719131B (zh) * | 2009-12-01 | 2013-08-07 | 金蝶软件(中国)有限公司 | 一种报表数据的处理方法、装置和系统 |
CN102262544B (zh) * | 2010-05-24 | 2016-06-08 | 腾讯科技(深圳)有限公司 | 软件升级的方法和装置 |
CN102262544A (zh) * | 2010-05-24 | 2011-11-30 | 腾讯科技(深圳)有限公司 | 软件升级的方法和装置 |
CN102411569A (zh) * | 2010-09-20 | 2012-04-11 | 上海众融信息技术有限公司 | 一种数据库转换与清洗信息处理方法 |
CN102419754A (zh) * | 2010-09-27 | 2012-04-18 | 金蝶软件(中国)有限公司 | Etl中数据主键号的生成方法及计数器 |
CN102521397B (zh) * | 2011-12-23 | 2013-10-23 | 山东中创软件工程股份有限公司 | 一种数据传输方法 |
CN102521397A (zh) * | 2011-12-23 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种数据传输方法 |
CN103365956A (zh) * | 2012-04-10 | 2013-10-23 | 霍尼韦尔国际公司 | 用于向飞行中的飞行器发射差别天气信息的系统和方法 |
CN102929745A (zh) * | 2012-09-26 | 2013-02-13 | 东软集团股份有限公司 | 一种虚拟设备状态数据的更新方法及装置 |
CN102929745B (zh) * | 2012-09-26 | 2015-02-18 | 东软集团股份有限公司 | 一种虚拟设备状态数据的更新方法及装置 |
CN103034566A (zh) * | 2012-12-06 | 2013-04-10 | 华为技术有限公司 | 虚拟机还原的方法和装置 |
CN103034566B (zh) * | 2012-12-06 | 2015-07-22 | 华为技术有限公司 | 虚拟机还原的方法和装置 |
CN103149855A (zh) * | 2013-03-22 | 2013-06-12 | 上海港务工程公司 | 海上打桩远程监控系统 |
CN103455560A (zh) * | 2013-08-12 | 2013-12-18 | 曙光信息产业股份有限公司 | 一种数据查询方法及系统 |
CN103699629A (zh) * | 2013-12-20 | 2014-04-02 | 华为技术有限公司 | 一种图表的处理方法及设备 |
CN104298760A (zh) * | 2014-10-23 | 2015-01-21 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和数据处理装置 |
CN104298760B (zh) * | 2014-10-23 | 2019-02-05 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和数据处理装置 |
CN104462568A (zh) * | 2014-12-26 | 2015-03-25 | 山东中创软件商用中间件股份有限公司 | 一种数据对账方法、装置和系统 |
CN104462568B (zh) * | 2014-12-26 | 2018-07-31 | 山东中创软件商用中间件股份有限公司 | 一种数据对账方法、装置和系统 |
CN104572995A (zh) * | 2015-01-06 | 2015-04-29 | 北京卫星环境工程研究所 | 一种分布式实时数据快速处理方法 |
CN106528575A (zh) * | 2015-09-14 | 2017-03-22 | 北京国双科技有限公司 | 数据对接方法和装置 |
CN106528575B (zh) * | 2015-09-14 | 2019-08-20 | 北京国双科技有限公司 | 数据对接方法和装置 |
CN106250265A (zh) * | 2016-07-18 | 2016-12-21 | 乐视控股(北京)有限公司 | 用于对象存储的数据备份方法和系统 |
CN106383906A (zh) * | 2016-09-30 | 2017-02-08 | 杭州数梦工场科技有限公司 | 优化Oracle数据库数据增量捕捉的方法和系统 |
US11429488B2 (en) | 2016-10-14 | 2022-08-30 | Tencent Technology (Shenzhen) Company Limited | Data recovery method based on snapshots, device and storage medium |
CN106682153A (zh) * | 2016-12-23 | 2017-05-17 | 山东浪潮商用系统有限公司 | 一种基于数据建模及实现数据增量的数据抽取工具 |
CN107749914A (zh) * | 2017-10-13 | 2018-03-02 | 北京小米移动软件有限公司 | 卡顿数据获取方法及装置 |
CN107749914B (zh) * | 2017-10-13 | 2020-10-30 | 北京小米移动软件有限公司 | 卡顿数据获取方法及装置 |
CN110019266A (zh) * | 2017-10-30 | 2019-07-16 | 北京国双科技有限公司 | 一种sql语句的生成方法及装置 |
CN110019266B (zh) * | 2017-10-30 | 2021-06-29 | 北京国双科技有限公司 | 一种sql语句的生成方法及装置 |
CN108492566A (zh) * | 2018-04-23 | 2018-09-04 | 泰华智慧产业集团股份有限公司 | 高容错交通卡口过车数据实时抽取的方法及系统 |
CN109871378A (zh) * | 2019-02-21 | 2019-06-11 | 杭州市商务委员会(杭州市粮食局) | 大数据平台的数据采集和处理方法及系统 |
CN110351386A (zh) * | 2019-07-23 | 2019-10-18 | 无锡华云数据技术服务有限公司 | 一种不同副本间的增量同步方法及装置 |
CN110351386B (zh) * | 2019-07-23 | 2022-09-16 | 华云工业互联网有限公司 | 一种不同副本间的增量同步方法及装置 |
CN110674146B (zh) * | 2019-08-22 | 2022-01-25 | 视联动力信息技术股份有限公司 | 一种数据同步方法、同步端、待同步端、设备及存储介质 |
CN110674146A (zh) * | 2019-08-22 | 2020-01-10 | 视联动力信息技术股份有限公司 | 一种数据同步方法、同步端、待同步端、设备及存储介质 |
CN110865996B (zh) * | 2019-11-07 | 2022-04-19 | 尚娱软件(深圳)有限公司 | 数据存储方法、装置及计算机可读存储介质 |
CN110865996A (zh) * | 2019-11-07 | 2020-03-06 | 尚娱软件(深圳)有限公司 | 数据存储方法、装置及计算机可读存储介质 |
CN111104445A (zh) * | 2019-12-06 | 2020-05-05 | 杭州数梦工场科技有限公司 | 数据同步方法、装置及设备 |
CN111026760A (zh) * | 2019-12-11 | 2020-04-17 | 宏图智能物流股份有限公司 | 一种基于多维度业务时间的cdc数据采集方法 |
CN111309673A (zh) * | 2020-02-12 | 2020-06-19 | 普信恒业科技发展(北京)有限公司 | 增量数据的快照数据生成方法及装置 |
CN111858158A (zh) * | 2020-06-19 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置及电子设备 |
CN111858158B (zh) * | 2020-06-19 | 2023-11-10 | 北京金山云网络技术有限公司 | 数据处理方法、装置及电子设备 |
CN111782514B (zh) * | 2020-06-23 | 2024-07-19 | 京东科技控股股份有限公司 | 一种测试数据的比对方法和装置 |
CN111782514A (zh) * | 2020-06-23 | 2020-10-16 | 京东数字科技控股有限公司 | 一种测试数据的比对方法和装置 |
CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
CN112445759A (zh) * | 2020-11-30 | 2021-03-05 | 中国人寿保险股份有限公司 | 跨分布式数据库的集群复制数据的方法、装置和电子设备 |
CN112445759B (zh) * | 2020-11-30 | 2024-04-16 | 中国人寿保险股份有限公司 | 跨分布式数据库的集群复制数据的方法、装置和电子设备 |
CN112527922B (zh) * | 2020-12-15 | 2023-11-24 | 神州数码信息系统有限公司 | 一种基于不变模型的数据仓库增量加工方法 |
CN112527922A (zh) * | 2020-12-15 | 2021-03-19 | 神州数码信息系统有限公司 | 一种基于不变模型的数据仓库增量加工方法 |
CN112559536A (zh) * | 2021-02-20 | 2021-03-26 | 北京工业大数据创新中心有限公司 | 一种工业设备数据的处理方法及系统 |
CN112988473A (zh) * | 2021-05-10 | 2021-06-18 | 南京云信达科技有限公司 | 一种备份数据实时恢复方法及系统 |
CN113407538A (zh) * | 2021-06-17 | 2021-09-17 | 北京计算机技术及应用研究所 | 一种多源异构关系型数据库数据的增量采集方法 |
CN113672679A (zh) * | 2021-07-02 | 2021-11-19 | 杭州沃趣科技股份有限公司 | 一种还原历史表结构的方法和系统 |
CN114020534B (zh) * | 2021-11-05 | 2022-05-10 | 中远海运科技股份有限公司 | 一种航运数据快照生成方法 |
CN114020534A (zh) * | 2021-11-05 | 2022-02-08 | 中远海运科技股份有限公司 | 一种航运数据快照生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100562874C (zh) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100562874C (zh) | 一种增量数据捕获方法和系统 | |
CN106227800B (zh) | 一种高度关联大数据的存储方法及管理系统 | |
CN103460208A (zh) | 用于将数据加载到时态数据仓库的方法和系统 | |
CN107958057A (zh) | 一种用于异构数据库中数据迁移的代码生成方法及装置 | |
WO2020192064A1 (zh) | 一种增量数据一致性实现方法及装置 | |
CN102646070B (zh) | 一种基于区域的时空轨迹数据存储方法 | |
CN102893281A (zh) | 信息搜索设备、信息搜索方法、计算机程序和数据结构 | |
CN102033954A (zh) | 关系数据库中可扩展标记语言文档全文检索查询索引方法 | |
CN102819585B (zh) | 一种xml数据库文档控制方法 | |
CN103853820A (zh) | 一种数据处理方法及系统 | |
CN104318481A (zh) | 一种面向电网运行的全息时标量测数据萃取转换方法 | |
CN103823823A (zh) | 基于频繁项集挖掘算法的反规范化策略选择方法 | |
CN105224527B (zh) | 适用于多种目的表更新方式的通用etl方法 | |
CN102375827B (zh) | 一种对版本化的电网模型数据库进行快速加载的方法 | |
CN104142930A (zh) | 通用δ数据装载 | |
CN102346744A (zh) | 用于在多租户应用系统中处理物化表的装置 | |
CN101963993B (zh) | 一种数据库单表记录快速查找的方法 | |
CN103440265A (zh) | 基于MapReduce的MYSQL数据库的变化数据捕获方法 | |
US20070220420A1 (en) | System and method for efficient maintenance of indexes for XML files | |
KR101955376B1 (ko) | 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
AL-Msie'deen et al. | Detecting commonality and variability in use-case diagram variants | |
CN102750376A (zh) | 一种多版本数据库存储引擎系统及其相关处理的实现方法 | |
CN117076463B (zh) | 一种智慧城市多源数据汇聚存储系统 | |
CN109491988A (zh) | 一种支持全量更新的数据实时关联方法 | |
CN102693174A (zh) | 一种面向对象代理数据库约束的备份方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091125 Termination date: 20171214 |