CN112749227A - 数据同步方法及装置 - Google Patents

数据同步方法及装置 Download PDF

Info

Publication number
CN112749227A
CN112749227A CN201911046795.9A CN201911046795A CN112749227A CN 112749227 A CN112749227 A CN 112749227A CN 201911046795 A CN201911046795 A CN 201911046795A CN 112749227 A CN112749227 A CN 112749227A
Authority
CN
China
Prior art keywords
data
synchronized
target field
synchronization
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911046795.9A
Other languages
English (en)
Inventor
沈毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201911046795.9A priority Critical patent/CN112749227A/zh
Publication of CN112749227A publication Critical patent/CN112749227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法及装置。其中,该方法包括:判断需要进行数据同步的双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;对数据结构相同的双方数据进行数据同步。本发明解决了相关技术中不同结构的数据表,只能逐一字段进行比较,对不同结构的数据无法进行有效和准确的比较的技术问题。

Description

数据同步方法及装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据同步方法及装置。
背景技术
数据同步是不同的数据之间进行相同的操作,通常是经过比对,使待同步数据与源数据一致,在相关技术中,数据同步通常是将需要进行不同的数据写入数据库,在数据库中进行逐一字段的比较,在需要进行同步的数据的数据结构,字段、行数等不同时,则无法进行直接比较。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据同步方法及装置,以至少解决相关技术中不同结构的数据表,只能逐一字段进行比较,对不同结构的数据无法进行有效和准确的比较的技术问题。
根据本发明实施例的一个方面,提供了一种数据同步方法,包括:判断需要进行数据同步的双方数据的数据结构是否相同;在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同;对数据结构相同的所述双方数据进行数据同步。
可选的,在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同包括:接收用于对所述数据双方进行数据转换的预设转换规则;根据所述预设转换规则对所述双方数据的数据结构进行转换。
可选的,对数据结构相同的所述双方数据进行数据同步包括:确定所述双方数据中待同步的一方数据为待同步数据,所述双方数据的另一方数据为源数据;从所述待同步数据中选取用于进行比较的待同步目标字段,并从所述源数据中选取用于进行比较的源目标字段;对所述待同步目标字段和所述源目标字段进行比较,确定所述待同步目标字段和所述源目标字段是否一致;在所述待同步目标字段和所述源目标字段不一致的情况下,根据所述源目标字段对所述待同步目标字段进行同步。
可选的,从所述源数据中选取用于进行比较的待同步目标字段,并从所述源数据中选取用于进行比较的源目标字段包括:根据第一预设选取规则,从所述源数据中选取用于进行比较的待同步目标字段,其中,所述第一预设选取规则包括下列至少之一:所述待同步目标字段的位置,所述待同步目标字段的标识;根据第二预设选取规则,从所述源数据中选取用于进行比较的源目标字段,其中,所述第二预设选取规则包括下列至少之一:所述源目标字段的位置,所述源目标字段的标识。
可选的,在所述待同步目标字段和所述源目标字段不一致的情况下,根据所述源目标字段对所述待同步目标字段进行同步包括:根据所述待同步目标字段和所述源目标字段,确定所述待同步目标字段相对于所述源目标字段的同步操作,其中,所述同步操作包括下列至少之一:删除字段,添加字段,修改字段;将执行所述同步操作后的待同步目标字段写入所述待同步数据。
可选的,将执行所述同步操作后的待同步目标字段写入所述待同步数据之后,还包括:根据写入的所述待同步目标字段,写入所述待同步数据的同步集合,其中,所述同步集合用于存储所述待同步数据的所有执行了所述同步操作的待同步目标字段。
根据本发明实施例的另一方面,还提供了一种数据同步装置,包括:判断模块,用于判断需要进行数据同步的双方数据的数据结构是否相同;转换模块,用于在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同;同步模块,用于对数据结构相同的所述双方数据进行数据同步。
可选的,所述转换模块包括:接收单元,用于接收用于对所述数据双方进行数据转换的预设转换规则;转换单元,用于根据所述预设转换规则对所述双方数据的数据结构进行转换。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
根据本发明实施例的另一方面,还提供了一种电子设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如上述中任意一项所述的数据同步方法。
在本发明实施例中,采用判断需要进行数据同步的双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;对数据结构相同的双方数据进行数据同步的方式,将不同数据结构的源数据和待同步数据进行换换,使双方数据的数据结构相同,从而可以进行直接同步,达到了快速直接进行数据同步的目的,从而实现了提高了数据同步的效率和准确率的技术效果,进而解决了相关技术中不同结构的数据表,只能逐一字段进行比较,对不同结构的数据无法进行有效和准确的比较的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本发明实施例的一种数据同步方法的流程图;
图2是根据本发明实施例的一种数据同步装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据同步方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据同步方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,判断需要进行数据同步的双方数据的数据结构是否相同;
步骤S104,在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;
步骤S106,对数据结构相同的双方数据进行数据同步。
通过上述步骤,采用判断需要进行数据同步的双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;对数据结构相同的双方数据进行数据同步的方式,将不同数据结构的源数据和待同步数据进行换换,使双方数据的数据结构相同,从而可以进行直接同步,达到了快速直接进行数据同步的目的,从而实现了提高了数据同步的效率和准确率的技术效果,进而解决了相关技术中不同结构的数据表,只能逐一字段进行比较,对不同结构的数据无法进行有效和准确的比较的技术问题。
相关技术中,不同的数据在进行数据同步时,需要将待同步的数据,从原先的数据库导入一个中间存放的中间数据库,在该中间数据库中,对待同步的数据逐一对比字段,进行比较,然后在比较的基础上进行同步。这种方式速度吗效率,而且需要先将数据导入数据库,流程复杂,容易造成数据丢失,降低数据同步的准确率。
本实施例提供了一种数据同步方法,在数据同步之前,对同步的双方数据的数据结构是否相同进行判断,上述同步双方数据可以是源数据和待同步数据,其中,源数据是在双方数据在比较时,作为标准的一方,待同步数据为进行修改的一方数据,例如,A数据为12345,B数据为1234,若A数据为源数据,B数据为待同步数据,则A数据和B数据的同步操作为给B数据添加“5”;若B数据为源数据,A数据为待同步数据,则B数据和A数据的同步操作为给A数据中的“5”删除。
在双方数据的数据结构不同的情况下,先将对双方数据进行结构转换,以使双方数据的数据结构相同。上述双方数据的数据结构相同之后,就可以直接进行同步。此处对双方数据进行数据结构的转转换,可以是多种方式。可以是对源数据的数据结构进行转换,以使源数据与待同步数据的数据结构相同;还可以是对待同步数据的数据结构进行转换,以使待同步数据的数据结构与源数据相同;还可以是对源数据和待同步数据的数据结构均进行转换,可以降低转换的复杂程度,源数据和待同步数据可以同时进行数据结构的转换,以提高转换效率。
在对双方数据进行同步时,并不是对双方数据的所有数据都需要进行同步,例如,C数据包括字段1,字段2,字段3,D数据包括字段4,字段5,在对C数据和D数据进行同步时,可以只对C数据的字段1和D数据的字段4进行同步。也即是,可以从双方数据中,确定需要进行同步的目标数据,根据目标数据进行比较,进行双方数据的数据同步。其中,双方数据中源数据的目标数据和待同步数据的目标数据对应。
在源数据的目标数据和待同步数据的目标数据不一致的情况下,将待同步数据的目标数据进行删除,修改,增加等同步操作,使待同步数据的目标数据与源数据的目标数据相同,并将同步后的目标数据写入待同步数据,将具体的操作也写入待同步数据,生成同步集合,用于标识同步的具体内容。
可选的,在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同包括:接收用于对数据双方进行数据转换的预设转换规则;根据预设转换规则对双方数据的数据结构进行转换。对双方数据进行结构转换,以使双方数据的数据结构相同之前,包括:判断双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,执行对双方数据进行结构转换,以使双方数据的数据结构相同的步骤。
对双方数据的数据结构进行检测,判断双方数据的数据结构是否相同,在双方数据的数据结构相同的情况下,直接按照上述步骤S104-S106进行同步。在在双方数据的数据结构不同的情况下,对双方数据进行结构转换,使双方数据的数据结构相同,然后执行上述步骤S104-S106。具体的,上述对双方数据进行结构转换,使双方数据的数据结构相同包括:调用回调函数,根据预设转换规则对待同步数据或源数据的数据结构进行转换。
上述预设转换规则为用户根据双方数据的数据结构,确定出对双方数据进行转换的规则,然后在进行数据结构转的情况下,直接将上述预设转换规则进输入。通过上述预设转换规则,可以双方数据中的一方进行数据结构的修改,也可以同时对双方数据的数据结构同时进行修改,以使双方数据的数据结构相同。
上述预设转换规则在双方数据的数据结构不同的情况下,具有不同的转换方式,例如,双方数据的数据结构,一个为数据图,一个为数据树,此时对双方数据结构进行转换时,可以是将数据图转换为数据树,也可以是数据树通过图像表达法转换为数据图。另外,在双方数据的数据结构发生变化时,需要采用新的预设转换规则,例如,上述双方数据的数据结构发生变化,一个是数据栈,一个是数据队列,则预设转换规则会发生变化,在将数据栈转换为数据队列的情况下,将上述数据栈的一个固定端作为队头,另一个固定端作为队尾。在将数据队列换为数据栈的情况下,将上述数据队列的队头和队尾均作为固定端。其中,上述数据栈的固定端即可以进行删除也可以进行插入,数据队列的队头只能进行插入,队尾只能进行删除。
从双方数据中,确定目标数据,也即是确定源数据的目标数据和待同步数据的而目标数据,包括:根据预设确定规则,从源数据和待同步数据中,确定目标数据。上述预设确定规则可以为用户设定的自定义确定规则,包括对目标数据在源数据或者待同步数据中的位置,和/或,目标数据在上述源数据或上述待同步数据中的标识。
可选的,对数据结构相同的双方数据进行数据同步包括:确定双方数据中待同步的一方数据为待同步数据,双方数据的另一方数据为源数据;从待同步数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段;对待同步目标字段和源目标字段进行比较,确定待同步目标字段和源目标字段是否一致;在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步。
可选的,从源数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段包括:根据第一预设选取规则,从源数据中选取用于进行比较的待同步目标字段,其中,第一预设选取规则包括下列至少之一:待同步目标字段的位置,待同步目标字段的标识;根据第二预设选取规则,从源数据中选取用于进行比较的源目标字段,其中,第二预设选取规则包括下列至少之一:源目标字段的位置,源目标字段的标识。
上述第一预设选取规则和上述第二预设选区规则可以相同也可以不同,第一预设选取规则选取的待同步目标字段与第二预设选取规则选取的源目标字段相对应,由于上述待同步目标字段在待同步数据中的位置,与上述源目标字段在源数据中的位置可能相同也可能不同,因此,上述第一预设选取规则和第二预设选取规则可以相同也可以不同,主要是选取对应的待同步目标字段和源目标字段。从而对待同步目标字段和源目标字段进行同步。
可选的,在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步包括:根据待同步目标字段和源目标字段,确定待同步目标字段相对于源目标字段的同步操作,其中,同步操作包括下列至少之一:删除字段,添加字段,修改字段;将执行同步操作后的待同步目标字段写入待同步数据。
上述待同步目标字段和源目标字段同步时,先将待同步目标字段和源目标字段进行比较,在待同步目标字段和源目标字段一致的情况下,说明上述待同步目标字段和源目标字段相同,不需要任何的同步操作。在待同步目标字段和源目标字段不一致的情况下,说明需要进行数据通,将待同步目标字段进行同步操作,使待同步目标字段与源目标字段相同,实现同步,上述同步操作可以是对上述待同步目标数据进行删除字段,添加字段,修改字段。在上述待同步目标数据进行同步操作后,将执行同步操作后的待同步目标字段,也即是修改后的待同步目标字段,写入待同步数据,从而根据多个待同步目标字段的同步,实现对待同步数据的同步。
具体的,在待同步数据中的选择待同步目标字段,每次只能选择一个待同步目标字段进行同步,对应的在源数据中选择源目标字段,对待同步目标字段进行同步,在源目标字段和待同步目标字段不一致的情况下,对待同步目标字段执行同步操作进行同步,将同步后的待同步目标字段写入待同步数据。前一个待同步目标字段同步完成后,重新选取待同步目标数据进行同步,逐一对待同步数据中的多个待同步目标字段进行同步,以实现对待同步数据进行同步。
可选的,将执行同步操作后的待同步目标字段写入待同步数据之后,还包括:根据写入的待同步目标字段,写入待同步数据的同步集合,其中,同步集合用于存储待同步数据的所有执行了同步操作的待同步目标字段。
上述同步集合包括待同步数据的所有的进行修改的待同步字段,以及对应的同步操作,根据该同步集合们可以对待同步数据的同步操作进行查询,还可以对待同步数据的进行同步的目标字段进行查询。上述同步集合标识了待同步数据的所有修改的目标数据。上述同步集合包括待同步数据与源数据在同步过程中的具有差异的数据,上述据有差异的数据均进行对应的增加,修改或者删除的操作,然后重新写入待同步数据,根据上述同步集合可以明确的待同步数据和源数据之间的差异,以及数据同步过程中的情况。上述同步集合还可以包括同步执行时间等其他的属性信息,以便事后查询。
需要说明的是,本实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式当数据表之间的字段、行数、结构等存在不同时,可以自行指定数据变换规则,通过指定某个字段和其他字段进行比较,得到变更级列表,从而确定不同数据表中哪些是新增、删除和不同内容。
相关技术的技术方案,是将数据导入数据库,逐一对比字段比较。对于不同数据类型的数据比较困难。
本实施方式能够一次性比较两个集合的数据,包括数据的类型不同,并且区分出数据的新增,修改,删除属性。
首先,确定比较集合每条的ID构成方式,提供一个回调函数,允许用户自定义规则。
然后,确定每条数据需要对比的字段,允许用户自己定义规则,对比不同类型的数据。
然后,定义数据在新增,修改,删除三种情况下,数据应该怎样被写入。
最后,使用比较方法,该方法内部会调用用户定义的回调函数,逐个比较两个集合中的数据,返回出一个标识了每条数据状态的新集合。
通过上述步骤,对于任意两个数据集合的比较都很容易,不再需要数据库作为中间存放。
在上述实施方式中,允许比较数据的类型可以是不同的,允许用户自定义规则,返回一个标识每条数据状态的集合。
图2是根据本发明实施例的一种数据同步装置的示意图,如图2所示,根据本发明实施例的另一方面,还提供了一种数据同步装置,包括:判断模块22,转换模块24和同步模块26,下面对该装置进行详细说明。
判断模块22,用于判断需要进行数据同步的双方数据的数据结构是否相同;转换模块24,与上述判断模块22相连,用于在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;同步模块26,转换模块24相连,用于对数据结构相同的双方数据进行数据同步。
通过上述装置,采用判断模块22判断需要进行数据同步的双方数据的数据结构是否相同;转换模块24在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;同步模块26对数据结构相同的双方数据进行数据同步的方式,将不同数据结构的源数据和待同步数据进行换换,使源数据和待同步数据的数据结构相同,从而可以进行直接同步,达到了快速直接进行数据同步的目的,从而实现了提高了数据同步的效率和准确率的技术效果,进而解决了相关技术中不同结构的数据表,只能逐一字段进行比较,对不同结构的数据无法进行有效和准确的比较的技术问题。
上述数据处理装置包括处理器和存储器,上述判断模块22,转换模块24和同步模块26均作为程序模块单元存储在存储器中,由处理器执行存储在存储器中的上述程序模块单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来同时显示韦恩图和关键词,提高使用效果。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
可选的,转换模块包括:接收单元,用于接收用于对数据双方进行数据转换的预设转换规则;转换单元,用于根据预设转换规则对双方数据的数据结构进行转换。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述中任意一项的方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的方法。
根据本发明实施例的另一方面,还提供了一种电子设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如上述中任意一项所述的数据同步方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:判断需要进行数据同步的双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;对数据结构相同的双方数据进行数据同步。
可选的,在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同包括:接收用于对数据双方进行数据转换的预设转换规则;根据预设转换规则对双方数据的数据结构进行转换。
可选的,对数据结构相同的双方数据进行数据同步包括:确定双方数据中待同步的一方数据为待同步数据,双方数据的另一方数据为源数据;从待同步数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段;对待同步目标字段和源目标字段进行比较,确定待同步目标字段和源目标字段是否一致;在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步。
可选的,从源数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段包括:根据第一预设选取规则,从源数据中选取用于进行比较的待同步目标字段,其中,第一预设选取规则包括下列至少之一:目标字段的位置,目标字段的标识;根据第二预设选取规则,从源数据中选取用于进行比较的源目标字段,其中,第二预设选取规则包括下列至少之一:目标字段的位置,目标字段的标识。
可选的,在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步包括:根据待同步目标字段和源目标字段,确定待同步目标字段相对于源目标字段的同步操作,其中,同步操作包括下列至少之一:删除字段,添加字段,修改字段;将执行同步操作后的待同步目标字段写入待同步数据。
可选的,将执行同步操作后的待同步目标字段写入待同步数据之后,还包括:根据写入的待同步目标字段,写入待同步数据的同步集合,其中,同步集合用于存储待同步数据的所有执行了同步操作的待同步目标字段。
本申请中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:判断需要进行数据同步的双方数据的数据结构是否相同;在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同;对数据结构相同的双方数据进行数据同步。
可选的,在双方数据的数据结构不同的情况下,对双方数据进行结构转换,以使双方数据的数据结构相同包括:接收用于对数据双方进行数据转换的预设转换规则;根据预设转换规则对双方数据的数据结构进行转换。
可选的,对数据结构相同的双方数据进行数据同步包括:确定双方数据中待同步的一方数据为待同步数据,双方数据的另一方数据为源数据;从待同步数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段;对待同步目标字段和源目标字段进行比较,确定待同步目标字段和源目标字段是否一致;在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步。
可选的,从源数据中选取用于进行比较的待同步目标字段,并从源数据中选取用于进行比较的源目标字段包括:根据第一预设选取规则,从源数据中选取用于进行比较的待同步目标字段,其中,第一预设选取规则包括下列至少之一:目标字段的位置,目标字段的标识;根据第二预设选取规则,从源数据中选取用于进行比较的源目标字段,其中,第二预设选取规则包括下列至少之一:目标字段的位置,目标字段的标识。
可选的,在待同步目标字段和源目标字段不一致的情况下,根据源目标字段对待同步目标字段进行同步包括:根据待同步目标字段和源目标字段,确定待同步目标字段相对于源目标字段的同步操作,其中,同步操作包括下列至少之一:删除字段,添加字段,修改字段;将执行同步操作后的待同步目标字段写入待同步数据。
可选的,将执行同步操作后的待同步目标字段写入待同步数据之后,还包括:根据写入的待同步目标字段,写入待同步数据的同步集合,其中,同步集合用于存储待同步数据的所有执行了同步操作的待同步目标字段。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本实施例中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据同步方法,其特征在于,包括:
判断需要进行数据同步的双方数据的数据结构是否相同;
在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同;
对数据结构相同的所述双方数据进行数据同步。
2.根据权利要求1所述的方法,其特征在于,在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同包括:
接收用于对所述数据双方进行数据转换的预设转换规则;
根据所述预设转换规则对所述双方数据的数据结构进行转换。
3.根据权利要求1所述的方法,其特征在于,对数据结构相同的所述双方数据进行数据同步包括:
确定所述双方数据中待同步的一方数据为待同步数据,所述双方数据的另一方数据为源数据;
从所述待同步数据中选取用于进行比较的待同步目标字段,并从所述源数据中选取用于进行比较的源目标字段;
对所述待同步目标字段和所述源目标字段进行比较,确定所述待同步目标字段和所述源目标字段是否一致;
在所述待同步目标字段和所述源目标字段不一致的情况下,根据所述源目标字段对所述待同步目标字段进行同步。
4.根据权利要求3所述的方法,其特征在于,从所述源数据中选取用于进行比较的待同步目标字段,并从所述源数据中选取用于进行比较的源目标字段包括:
根据第一预设选取规则,从所述源数据中选取用于进行比较的待同步目标字段,其中,所述第一预设选取规则包括下列至少之一:所述待同步目标字段的位置,所述待同步目标字段的标识;
根据第二预设选取规则,从所述源数据中选取用于进行比较的源目标字段,其中,所述第二预设选取规则包括下列至少之一:所述源目标字段的位置,所述源目标字段的标识。
5.根据权利要求3所述的方法,其特征在于,在所述待同步目标字段和所述源目标字段不一致的情况下,根据所述源目标字段对所述待同步目标字段进行同步包括:
根据所述待同步目标字段和所述源目标字段,确定所述待同步目标字段相对于所述源目标字段的同步操作,其中,所述同步操作包括下列至少之一:删除字段,添加字段,修改字段;
将执行所述同步操作后的待同步目标字段写入所述待同步数据。
6.根据权利要求5所述的方法,其特征在于,将执行所述同步操作后的待同步目标字段写入所述待同步数据之后,还包括:
根据写入的所述待同步目标字段,写入所述待同步数据的同步集合,其中,所述同步集合用于存储所述待同步数据的所有执行了所述同步操作的待同步目标字段。
7.一种数据同步装置,其特征在于,包括:
判断模块,用于判断需要进行数据同步的双方数据的数据结构是否相同;
转换模块,用于在所述双方数据的数据结构不同的情况下,对所述双方数据进行结构转换,以使所述双方数据的数据结构相同;
同步模块,用于对数据结构相同的所述双方数据进行数据同步。
8.根据权利要求7所述的装置,其特征在于,所述转换模块包括:
接收单元,用于接收用于对所述数据双方进行数据转换的预设转换规则;
转换单元,用于根据所述预设转换规则对所述双方数据的数据结构进行转换。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的方法。
10.一种电子设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1-6中任意一项所述的数据同步方法。
CN201911046795.9A 2019-10-30 2019-10-30 数据同步方法及装置 Pending CN112749227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046795.9A CN112749227A (zh) 2019-10-30 2019-10-30 数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046795.9A CN112749227A (zh) 2019-10-30 2019-10-30 数据同步方法及装置

Publications (1)

Publication Number Publication Date
CN112749227A true CN112749227A (zh) 2021-05-04

Family

ID=75640721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046795.9A Pending CN112749227A (zh) 2019-10-30 2019-10-30 数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN112749227A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508927A (zh) * 2011-12-01 2012-06-20 中国核工业二三建设有限公司 基于核电施工多项目管理数据同步技术的装置和方法
CN102915377A (zh) * 2012-11-14 2013-02-06 深圳市宏电技术股份有限公司 数据库转换或同步方法及系统
CN103136231A (zh) * 2011-11-25 2013-06-05 中国移动通信集团江苏有限公司 一种异构数据库间的数据同步方法及系统
CN105069142A (zh) * 2015-08-18 2015-11-18 山大地纬软件股份有限公司 数据增量抽取转换与分发系统及方法
CN106503091A (zh) * 2016-10-12 2017-03-15 济南浪潮高新科技投资发展有限公司 一种可变数据结构自动同步匹配的实现方法
CN107346314A (zh) * 2016-05-06 2017-11-14 银联国际有限公司 一种数据库单向同步方法
CN108133007A (zh) * 2017-12-22 2018-06-08 北京明朝万达科技股份有限公司 一种数据同步方法和系统
US20180210937A1 (en) * 2015-09-25 2018-07-26 Alibaba Group Holding Limited Data synchronization method and apparatus
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN109885614A (zh) * 2019-01-04 2019-06-14 平安科技(深圳)有限公司 一种数据同步的方法和装置
CN110209741A (zh) * 2019-06-14 2019-09-06 上海中通吉网络技术有限公司 异构数据源间的数据同步方法、装置和设备
CN110232095A (zh) * 2019-05-21 2019-09-13 中国平安财产保险股份有限公司 一种数据同步方法、装置、存储介质和服务器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136231A (zh) * 2011-11-25 2013-06-05 中国移动通信集团江苏有限公司 一种异构数据库间的数据同步方法及系统
CN102508927A (zh) * 2011-12-01 2012-06-20 中国核工业二三建设有限公司 基于核电施工多项目管理数据同步技术的装置和方法
CN102915377A (zh) * 2012-11-14 2013-02-06 深圳市宏电技术股份有限公司 数据库转换或同步方法及系统
CN105069142A (zh) * 2015-08-18 2015-11-18 山大地纬软件股份有限公司 数据增量抽取转换与分发系统及方法
US20180210937A1 (en) * 2015-09-25 2018-07-26 Alibaba Group Holding Limited Data synchronization method and apparatus
CN107346314A (zh) * 2016-05-06 2017-11-14 银联国际有限公司 一种数据库单向同步方法
CN106503091A (zh) * 2016-10-12 2017-03-15 济南浪潮高新科技投资发展有限公司 一种可变数据结构自动同步匹配的实现方法
CN108133007A (zh) * 2017-12-22 2018-06-08 北京明朝万达科技股份有限公司 一种数据同步方法和系统
CN109885614A (zh) * 2019-01-04 2019-06-14 平安科技(深圳)有限公司 一种数据同步的方法和装置
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN110232095A (zh) * 2019-05-21 2019-09-13 中国平安财产保险股份有限公司 一种数据同步方法、装置、存储介质和服务器
CN110209741A (zh) * 2019-06-14 2019-09-06 上海中通吉网络技术有限公司 异构数据源间的数据同步方法、装置和设备

Similar Documents

Publication Publication Date Title
CN110032599B (zh) 数据结构的读取及更新方法、装置、电子设备
CN108959510B (zh) 一种分布式数据库的分区级连接方法和装置
CN110032568B (zh) 数据结构的读取及更新方法、装置、电子设备
CN110507986B (zh) 动画信息的处理方法和装置
CN108255967B (zh) 存储过程的调用方法、装置、存储介质及终端
CN115599764A (zh) 一种表格数据的迁移方法、设备及介质
CN114372102A (zh) 数据的分析方法、装置、存储介质及电子设备
CN112035466B (zh) 一种区块链查询外置索引开发框架
CN111831744B (zh) Dapp的链上数据检索系统、方法及介质
CN107291524B (zh) 一种远程命令的处理方法和装置
CN111159192B (zh) 基于大数据的数据入库方法、装置、存储介质和处理器
CN106294530A (zh) 规则匹配的方法和系统
CN116778124A (zh) 三维场景编辑方法、系统、设备及存储介质
CN109068286B (zh) 一种信息解析的方法、介质及设备
CN112491943A (zh) 数据请求方法、装置、存储介质和电子设备
CN112749227A (zh) 数据同步方法及装置
CN115660591A (zh) 用于业务审批的流程配置方法、系统、电子设备及介质
CN115270731A (zh) 混合文档的协同编辑方法及装置
CN109542775A (zh) 一种测试脚本的生成和执行方法及装置
CN112463785B (zh) 一种数据质量监控方法、装置、电子设备及存储介质
CN112749229A (zh) 数据转换方法、装置、存储介质及电子设备
CN115827589A (zh) 一种权限验证方法、装置、电子设备及存储介质
CN112749189A (zh) 数据查询方法及装置
CN110019296B (zh) 数据库查询脚本的生成方法、装置、存储介质及处理器
CN110019198B (zh) 数据查询方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination