CN103399936A - 一种增量的数据同步方法 - Google Patents

一种增量的数据同步方法 Download PDF

Info

Publication number
CN103399936A
CN103399936A CN2013103466028A CN201310346602A CN103399936A CN 103399936 A CN103399936 A CN 103399936A CN 2013103466028 A CN2013103466028 A CN 2013103466028A CN 201310346602 A CN201310346602 A CN 201310346602A CN 103399936 A CN103399936 A CN 103399936A
Authority
CN
China
Prior art keywords
data
target database
record
synchronization method
synchronized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103466028A
Other languages
English (en)
Inventor
周立明
朱仰太
杨文龙
潘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhou Huizhong Technology Co., Ltd.
Original Assignee
SHENZHOU DIGITAL CODE (CHINA) CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHOU DIGITAL CODE (CHINA) CO Ltd filed Critical SHENZHOU DIGITAL CODE (CHINA) CO Ltd
Priority to CN2013103466028A priority Critical patent/CN103399936A/zh
Publication of CN103399936A publication Critical patent/CN103399936A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据库技术领域，提供了一种增量的数据同步方法，其特征在于，包括：首先，获取源数据库的数据操作语言；然后，将数据操作语言导出为数据包；在将数据包同步到目标数据库；时间模块设定一个时间段，更新目标数据库的数据；进一步地，将数据包解析成查询语言和更改数据；并且将查询语言和更改数据同步到目标数据库；最后，在目标数据库中，生成并存储需要更改数据的表格和更改数据后的表格。本发明有效解决了逻辑反复、数据不一致、较难处理和同步数据、容易丢失数据的问题。

Description

一种增量的数据同步方法
技术领域
本发明涉及数据库技术领域，特别涉及一种增量的数据同步方法。
背景技术
数据同步有两种方式，一种是增量的同步，一种是全量的同步。一般的增量同步方法的问题是生产方、接收方生成和处理数据逻辑都不简单，时间长很容易造成数据的不一致；全量同步的缺点是随着数据量的增大，全量数据非常大，导致处理和同步数据非常困难；并且两种方式数据容易丢失，如果因为某种原因丢失了部分或全部数据，造成的后果将无法想象。
因此，数据库技术领域急需逻辑简单、数据一致、容易处理和同步数据、不容易丢失数据的一种增量的数据同步方法。
发明内容
本发明提供了一种增量的数据同步方法，技术方案如下：
一种增量的数据同步方法，其特征在于，包括以下步骤：
步骤一：获取源数据库的数据操作语言；
步骤二：将数据操作语言导出为数据包；
步骤三：将数据包同步到目标数据库；
步骤四：时间模块设定一个时间段，更新目标数据库的数据；
步骤五：将数据包解析成查询语言和更改数据；
步骤六：将查询语言和更改数据同步到目标数据库；
步骤七：在目标数据库中，生成并存储需要更改数据的表格和更改数据后的表格。
如上的一种增量的数据同步方法，其中，步骤五、步骤六、步骤七中的更改数据包括增加、删除、修改数据。
本发明优点：本方法有效的杜绝了生产方、接收方生成和处理数据逻辑都不简单，时间长很容易造成数据的不一致；随着数据量的增大，全量数据非常大，导致处理和同步数据非常困难；并且两种方式数据容易丢失，如果因为某种原因丢失了部分或全部数据，造成的后果将无法想象等问题，既可以保证数据的一致性，又不会出现数据庞大难处理或数据大面积丢失的情况，具有广泛的适用性。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1是本发明一种增量的数据同步方法的流程图。
具体实施方式
为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
图1是本发明一种增量的数据同步方法的流程图。首先，获取源数据库的数据操作语言101；然后，将数据操作语言导出为数据包102；在将数据包同步到目标数据库103；时间模块设定一个时间段，更新目标数据库的数据104；进一步地，将数据包解析成查询语言和更改数据105；并且将查询语言和更改数据同步到目标数据库106；最后，在目标数据库中，生成并存储需要更改数据的表格和更改数据后的表格107。
下面结合具体实例，来对本发明使用的函数作进一步说明。
首先，获取源数据库的数据操作语言101；然后，将数据操作语言导出为数据包102；在将数据包同步到目标数据库103；在目标数据库中生成原有数据表，如表1所示：
表1
A B C
记录1 记录1 记录1
记录2 记录2 记录2
时间模块设定一个时间段，更新目标数据库的数据104，设置时间为2013/7/15 11：30开始更新，每隔30分钟更新一次。
进一步地，将数据包解析成查询语言和更改数据105，新增数据表，如表2所示：
表2
A B C
记录3 记录3 记录3
记录4 记录4 记录4
对表2中每一条数据记录都标记上本次操作名称及对应的操作时间，具体操作如表3：
表3
Figure BDA00003642982100021
将查询语言和更改数据同步到目标数据库106，最后，在目标数据库中，生成并存储需要更改数据的表格和更改数据后的表格107，如表4、表5：
表4
A B C 时间
记录3 记录3 记录3 2013/7/15 11：30
记录4 记录4 记录4 2013/7/15 11：30
表5
A B C
记录1 记录1 记录1
记录2 记录2 记录2
记录3 记录3 记录3
记录4 记录4 记录4
本发明的优势是：
本方法有效的杜绝了生产方、接收方生成和处理数据逻辑都不简单，时间长很容易造成数据的不一致；随着数据量的增大，全量数据非常大，导致处理和同步数据非常困难；并且两种方式数据容易丢失，如果因为某种原因丢失了部分或全部数据，造成的后果将无法想象等问题，既可以保证数据的一致性，又不会出现数据庞大难处理或数据大面积丢失的情况，具有广泛的适用性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.一种增量的数据同步方法，其特征在于，包括以下步骤：
步骤一：获取源数据库的数据操作语言；
步骤二：将数据操作语言导出为数据包；
步骤三：将数据包同步到目标数据库；
步骤四：时间模块设定一个时间段，更新目标数据库的数据；
步骤五：将数据包解析成查询语言和更改数据；
步骤六：将查询语言和更改数据同步到目标数据库；
步骤七：在目标数据库中，生成并存储需要更改数据的表格和更改数据后的表格。
2.如权利要求1的一种增量的数据同步方法，其特征在于，步骤五、步骤六、步骤七中的更改数据包括增加、删除、修改数据。
CN2013103466028A 2013-08-09 2013-08-09 一种增量的数据同步方法 Pending CN103399936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103466028A CN103399936A (zh) 2013-08-09 2013-08-09 一种增量的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103466028A CN103399936A (zh) 2013-08-09 2013-08-09 一种增量的数据同步方法

Publications (1)

Publication Number Publication Date
CN103399936A true CN103399936A (zh) 2013-11-20

Family

ID=49563564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103466028A Pending CN103399936A (zh) 2013-08-09 2013-08-09 一种增量的数据同步方法

Country Status (1)

Country Link
CN (1) CN103399936A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793482A (zh) * 2014-01-16 2014-05-14 北京恒华伟业科技股份有限公司 一种数据同步方法和系统
CN112256666A (zh) * 2020-09-08 2021-01-22 山东黄金矿业(莱州)有限公司三山岛金矿 一种逻辑增量迁移方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793482A (zh) * 2014-01-16 2014-05-14 北京恒华伟业科技股份有限公司 一种数据同步方法和系统
CN112256666A (zh) * 2020-09-08 2021-01-22 山东黄金矿业(莱州)有限公司三山岛金矿 一种逻辑增量迁移方法
CN112256666B (zh) * 2020-09-08 2023-06-16 山东黄金矿业(莱州)有限公司三山岛金矿 一种逻辑增量迁移方法

Similar Documents

Publication Publication Date Title
CN103699638B (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN103761318B (zh) 一种关系型异构数据库数据同步的方法及系统
CN105930493A (zh) 一种不同数据库间数据同步的方法和系统
TWI628551B (zh) Data library copying method and device based on log parsing
GB2571473A (en) Automatic knowledge-based feature extraction from electronic medial records
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN106844643A (zh) 一种基于模板引擎的数据库动态生成方法
RU2008137769A (ru) Архитектура отображения с поддержанием инкрементного представления
SG11201806007RA (en) Data synchronization method, apparatus, and system
US20110066593A1 (en) Method and system for capturing change of data
CN109271452B (zh) Db2数据库数据同步更新方法及设备
JP2017188137A5 (zh)
GB0300813D0 (en) Time in databases and applications of databases
GB2576654A (en) Method and apparatus for facilitating creation of simulation model
CA2834864C (en) Database system and method
GB2542053A (en) Automatically generating a semantic mapping for a relational database
CN104462477B (zh) 基于时间戳的数据同步的方法、装置及系统
MY172251A (en) System generator module for electronic document and electronic filing
US20210279205A1 (en) Log-structured merge-tree with blockchain properties
GB2578397A (en) A system and method for automatically generating geographic specific data
CN110795499A (zh) 基于大数据的集群数据同步方法、装置、设备及存储介质
CN102607576B (zh) 一种导航电子地图的差分数据产生方法及装置
WO2019157199A3 (en) Medical claim database relationship processing
TW201612782A (en) Digital circuit design method and associated computer program product
CN102375890A (zh) 一种数据库无主键源端表的数据同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: SHENZHEN SHENZHOU HUIZHONG TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHENZHOU DIGITAL CODE (CHINA) CO., LTD.

Effective date: 20150702

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150702

Address after: 518052 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Applicant after: Shenzhen Shenzhou Huizhong Technology Co., Ltd.

Address before: 100085, Beijing, Haidian District on the nine Street 9 digital science and Technology Plaza, a section of the 7 A District

Applicant before: Shenzhou Digital Code (China) Co., Ltd.

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131120

WD01 Invention patent application deemed withdrawn after publication