CN102375890A - 一种数据库无主键源端表的数据同步方法 - Google Patents

一种数据库无主键源端表的数据同步方法 Download PDF

Info

Publication number
CN102375890A
CN102375890A CN2011103422711A CN201110342271A CN102375890A CN 102375890 A CN102375890 A CN 102375890A CN 2011103422711 A CN2011103422711 A CN 2011103422711A CN 201110342271 A CN201110342271 A CN 201110342271A CN 102375890 A CN102375890 A CN 102375890A
Authority
CN
China
Prior art keywords
end table
database
data
major key
uniqueness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103422711A
Other languages
English (en)
Inventor
杨波
周弘懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU UNIMAS INFORMATION ENGINEERING Co Ltd
Original Assignee
HANGZHOU UNIMAS INFORMATION ENGINEERING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU UNIMAS INFORMATION ENGINEERING Co Ltd filed Critical HANGZHOU UNIMAS INFORMATION ENGINEERING Co Ltd
Priority to CN2011103422711A priority Critical patent/CN102375890A/zh
Publication of CN102375890A publication Critical patent/CN102375890A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库领域,尤其涉及一种数据库无主键源端表的数据同步方法,该方法采用数据库表的唯一性标识字符来进行辅助的数据同步传输,解决了现有源端数据库表无主键时候数据同步过程中,源端相同内容的行记录的进行了更新、删除操作,无法在目标端表定位,导致目标端同步失败的问题,加快数据同步的速度,简单易行,可适用于所有类型的数据库同步操作,解决了现有技术中存在的问题。

Description

一种数据库无主键源端表的数据同步方法
技术领域
本发明涉及数据库领域,尤其涉及一种数据库无主键源端表的数据同步方法。
背景技术
数据库同步是将一组数据从数据源端同步到一个或多个目标端,使所有目标端的数据和源端的数据保持一致的技术,可以确保分布在不同地点的数据库中的数据自动同步更新,从而保证源端数据库和目标端数据库数据的一致性。但是当数据库的源端表在数据库同步时不含有主键的话,数据同步到目标端数据库中会带来种种问题,比如,如果表中有数量大于1条的完全相同的记录,由于列数据都相同,所以源端表更新或者删除了其中一条,目标端表将对哪一条数据更新或者删除不可知,这些问题将导致数据同步的失败和不可预知性的错误。
发明内容
本发明为克服现有技术中存在的不足之处,目的在于提供一种数据库无主键源端表的数据同步方法,当数据库的源端表在数据库同步时不含有主键的话,将会获取源端表中每一行数据的唯一性标识字符,进行从无主键源端表向目标端表的数据同步,解决了现有技术中存在的问题。
本发明是通过以下技术方案达到上述目的:一种数据库无主键源端表的数据同步方法,包括以下步骤:
1)分别在数据库无主键源端表和需要同步的数据库目标端表增加一标识字段;
2)将源端表每条记录的标识字段中存入唯一性标识字符;
3)将源端表的所有数据同步到目标端表;
4)将同步到目标端表每条记录的标识字段中存入唯一性标识字符,通常是数据库本身默认存在的行标识字符;
5)分别获取源端表和目标端表的唯一性标识字符;
6)建立一个映射配置文件,将源端表和目标端表的唯一性标识字符通过同步的记录行一一对应;
7)当源端表发生数据操作时,通过映射配置文件的唯一性标识字符来定位目标端需要操作的数据记录并进行同步操作。
作为优选,步骤4)所述的同步到目标端表每条记录的标识字段中存入的唯一性标识字符与源端表每条记录的标识字段中存入的唯一性标识字符可以完全相同,并一一对应。
作为优选,所述唯一性标识字段是人为添加表示唯一性的列标识字符。
作为优选,人为添加表示唯一性的列标识字符为时间毫秒数或UUID。
本发明的有益效果:本发明将采用数据库表的唯一性标识字符来进行辅助的数据同步传输,解决了现有源端数据库表无主键时候数据同步过程中,源端相同内容的行记录的进行了更新、删除操作,无法在目标端表定位,导致目标端同步失败的问题,加快数据同步的速度,简单易行,可适用于所有类型的数据库同步操作。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
一种数据库无主键源端表的数据同步方法实现如下:如下表所列数据库无主键源端表中有以下数据:
 Age   Name
 32   Zhangsan
 21   Lisi
 32   Zhangsan
分别在数据库无主键源端表和需要同步的数据库目标端表增加一标识字段Rowid;将源端表每条记录的标识字段中存入唯一性标识字符,如下表所列;
 Age   Name   Rowid
 32   Zhangsan   AAABc4AADAAAGLUAAA
 21   Lisi   AAABc4AADAAAGLUAAB
  32   Zhangsan   AAABc4AADAAAGLUAAC
将源端表的所有数据同步到目标端表,将同步到目标端表每条记录的标识字段中存入唯一性标识字符,目标端表的数据如下表:
 Age   Name   Rowid
 32   Zhangsan   AAAO0DAAJAAAAMYAAA
 21   Lisi   AAAO0DAAJAAAAMYAAB
 32   Zhangsan   AAAO0DAAJAAAAMYAAC
分别获取源端表和目标端表的唯一性标识字符,建立一个映射配置文件,将源端表和目标端表的唯一性标识字符通过同步的记录行一一对应:
AAABc4AADAAAGLUAAA-------AAAO0DAAJAAAAMYAAA
AAABc4AADAAAGLUAAB-------AAAO0DAAJAAAAMYAAB
AAABc4AADAAAGLUAAC-------AAAO0DAAJAAAAMYAAC
当源端表发生数据操作时,通过映射配置文件的唯一性标识字符来定位目标端需要操作的数据记录并进行同步操作。如源端的第三条记录Age改为31,此时通过映射配置文件记录的Rowid对应关系:AAABc4AADAAAGLUAAC-------AAAO0DAAJAAAAMYAAC,可知需将目标端表的第三条记录也改为31。
同步到目标端表每条记录的标识字段中存入的唯一性标识字符与源端表每条记录的标识字段中存入的唯一性标识字符可以完全相同,并一一对应,此时由于源端表和目标端表Rowid字段的唯一性标识字符完全相同,因此就不需要建立映射配置文件,此时就相当于目标端表在此基础上增加一个字段Rowid,用来存放源端表的唯一标识,并使之成为主键在应用。
以上的所述乃是本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所涵盖的精神时,仍应属本发明的保护范围。

Claims (5)

1.一种数据库无主键源端表的数据同步方法,其特征在于包括以下步骤:
1)在数据库需要同步的数据库目标端表增加一标识字段;
2)获取在数据库无主键源端表每一行的唯一性标识字段;
3)将源端表的所有数据同步到目标端表;
4)将源端表同步到目标端表每条记录的唯一性标识字段中存入目标端唯一性标识字符列;
5)当源端表发生数据操作时,通过查询和唯一性标识字段相同的记录来定位目标端需要操作的数据记录并进行同步操作。
2.根据权利要求1所述的一种数据库无主键源端表的数据同步方法,其特征在于,步骤2)待同步数据完成后,建立一个文件,获取源端以及目标端行数据唯一性标识字段,将它们保存在文件中并建立一一映射的关系;
步骤3)当源端表发生数据操作时,通过映射配置文件的唯一性标识字符来定位目标端需要操作的数据记录并进行同步操作。
3.根据权利要求1所述的一种数据库无主键源端表的数据同步方法,其特征在于,所述唯一性标识字段通常是数据库本身默认存在的行唯一性标识字符。
4.根据权利要求1所述的一种数据库无主键源端表的数据同步方法,其特征在于,所述唯一性标识字段是人为添加表示唯一性的列标识字符。
5.根据权利要求4所述的一种数据库无主键源端表的数据同步方法,其特征在于,人为添加表示唯一性的列标识字符为时间毫秒数或UUID。
CN2011103422711A 2011-11-02 2011-11-02 一种数据库无主键源端表的数据同步方法 Pending CN102375890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103422711A CN102375890A (zh) 2011-11-02 2011-11-02 一种数据库无主键源端表的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103422711A CN102375890A (zh) 2011-11-02 2011-11-02 一种数据库无主键源端表的数据同步方法

Publications (1)

Publication Number Publication Date
CN102375890A true CN102375890A (zh) 2012-03-14

Family

ID=45794496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103422711A Pending CN102375890A (zh) 2011-11-02 2011-11-02 一种数据库无主键源端表的数据同步方法

Country Status (1)

Country Link
CN (1) CN102375890A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282253A (zh) * 2015-11-04 2016-01-27 湖南御家科技有限公司 一种数据单据同步方法及系统
CN107632906A (zh) * 2017-09-30 2018-01-26 北京九桥同步软件有限公司 数据库数据备份方法及装置
CN107678888A (zh) * 2017-09-30 2018-02-09 北京九桥同步软件有限公司 数据库数据备份方法及装置
CN107729423A (zh) * 2017-09-28 2018-02-23 链家网(北京)科技有限公司 一种大数据处理方法及装置
CN108399236A (zh) * 2018-02-27 2018-08-14 北京酷我科技有限公司 一种数据缓存时id动态更新的方法
CN108897794A (zh) * 2018-06-12 2018-11-27 东软集团股份有限公司 无主键数据表的同步方法、装置、存储介质和电子设备
CN109634972A (zh) * 2018-11-12 2019-04-16 武汉达梦数据库有限公司 一种数据同步时使用rowid定位的方法
CN109684407A (zh) * 2018-11-23 2019-04-26 武汉达梦数据库有限公司 一种dml操作的数据同步方法
CN113760910A (zh) * 2021-08-31 2021-12-07 中国银联股份有限公司 一种数据同步的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382949A (zh) * 2008-10-28 2009-03-11 阿里巴巴集团控股有限公司 一种数据库表的管理方法及装置
CN101923571A (zh) * 2010-07-29 2010-12-22 中兴通讯股份有限公司 管理终端数据记录的方法及装置
CN102023979A (zh) * 2009-09-09 2011-04-20 中国工商银行股份有限公司 元数据管理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382949A (zh) * 2008-10-28 2009-03-11 阿里巴巴集团控股有限公司 一种数据库表的管理方法及装置
CN102023979A (zh) * 2009-09-09 2011-04-20 中国工商银行股份有限公司 元数据管理方法及系统
CN101923571A (zh) * 2010-07-29 2010-12-22 中兴通讯股份有限公司 管理终端数据记录的方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282253A (zh) * 2015-11-04 2016-01-27 湖南御家科技有限公司 一种数据单据同步方法及系统
CN107729423A (zh) * 2017-09-28 2018-02-23 链家网(北京)科技有限公司 一种大数据处理方法及装置
CN107729423B (zh) * 2017-09-28 2021-06-08 贝壳找房(北京)科技有限公司 一种大数据处理方法及装置
CN107632906A (zh) * 2017-09-30 2018-01-26 北京九桥同步软件有限公司 数据库数据备份方法及装置
CN107678888A (zh) * 2017-09-30 2018-02-09 北京九桥同步软件有限公司 数据库数据备份方法及装置
CN108399236A (zh) * 2018-02-27 2018-08-14 北京酷我科技有限公司 一种数据缓存时id动态更新的方法
CN108399236B (zh) * 2018-02-27 2021-07-23 北京酷我科技有限公司 一种数据缓存时id动态更新的方法
CN108897794A (zh) * 2018-06-12 2018-11-27 东软集团股份有限公司 无主键数据表的同步方法、装置、存储介质和电子设备
CN108897794B (zh) * 2018-06-12 2020-11-27 东软集团股份有限公司 无主键数据表的同步方法、装置、存储介质和电子设备
CN109634972A (zh) * 2018-11-12 2019-04-16 武汉达梦数据库有限公司 一种数据同步时使用rowid定位的方法
CN109684407A (zh) * 2018-11-23 2019-04-26 武汉达梦数据库有限公司 一种dml操作的数据同步方法
CN113760910A (zh) * 2021-08-31 2021-12-07 中国银联股份有限公司 一种数据同步的方法及装置

Similar Documents

Publication Publication Date Title
CN102375890A (zh) 一种数据库无主键源端表的数据同步方法
CN106570086B (zh) 数据迁移系统及数据迁移方法
CN106777225B (zh) 一种数据的迁移方法和系统
CN103699638B (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN103955486B (zh) 分布式服务系统及其数据更新、数据查询的方法
CN105138635B (zh) 一种利用哈希值比对进行数据增量复制的方法
US10803079B2 (en) Timing-based system-period temporal table in a database system
JP6251388B2 (ja) KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置
JP2005301329A5 (zh)
GB2536810A (en) Systems and methods for automated commissioning of virtualized distributed control systems
CN104809202A (zh) 一种数据库同步的方法和装置
CN102799628A (zh) 在key-value数据库中进行数据分区的方法和装置
CN102129478A (zh) 数据库同步方法及系统
CN103034735A (zh) 一种大数据分布式文件导出方法
JP2008533612A5 (zh)
CN106709066B (zh) 数据同步方法及装置
CN103747080B (zh) 一种文件上传方法及系统
EP1152351A3 (en) Transferring related data objects in a distributed data storage environment
CN105100050A (zh) 用户权限管理方法及系统
CN104021200A (zh) 一种数据库的数据同步方法和装置
AU2013369728A8 (en) Scalable storage systems with longest prefix matching switches
CN104834700A (zh) 一种基于轨迹变更的移动数据增量捕获方法
CN105956032A (zh) 缓存数据同步方法、系统和装置
CN104915414A (zh) 数据抽取方法及装置
CN104301990B (zh) 一种数据同步的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province 310052 Binjiang District Huaye Building No. 1180 high-tech Waterfront Road, building 3 1-3

Applicant after: Hangzhou Unimas Information Engineering Co., Ltd.

Address before: Hangzhou City, Zhejiang province Binjiang District 310052 shore road 1180 No. 3

Applicant before: Hangzhou Unimas Information Engineering Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: HANGZHOU UNIMAS INFORMATION ENGINEERING CO., LTD. TO: HANGZHOU UNIMAS INFORMATION TECHNOLOGY CO., LTD.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120314