CN112035577A - 一种数据同步方法及数据同步系统 - Google Patents

一种数据同步方法及数据同步系统 Download PDF

Info

Publication number
CN112035577A
CN112035577A CN202011214996.8A CN202011214996A CN112035577A CN 112035577 A CN112035577 A CN 112035577A CN 202011214996 A CN202011214996 A CN 202011214996A CN 112035577 A CN112035577 A CN 112035577A
Authority
CN
China
Prior art keywords
data
synchronization
synchronized
slave
centralized control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011214996.8A
Other languages
English (en)
Other versions
CN112035577B (zh
Inventor
胡峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HNAC Technology Co Ltd
Original Assignee
HNAC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HNAC Technology Co Ltd filed Critical HNAC Technology Co Ltd
Priority to CN202011214996.8A priority Critical patent/CN112035577B/zh
Publication of CN112035577A publication Critical patent/CN112035577A/zh
Application granted granted Critical
Publication of CN112035577B publication Critical patent/CN112035577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法和数据同步系统,内部数据同步时,减小难度和工作量较大;集控和子站间数据同步,出现主从切换时,提高效率。方法包括:(a1)对集控或子站进行内部数据同步,包括:确定主机及从机;从主机读取目标数据;根据数据对比转换规律,转换为待同步数据;将待同步数据写入从机;(a2)对集控和子站间的数据库服务器进行数据同步,包括:集控主机及集控从机,确定子站主机及子站从机;将子站主机的数据同步到子站从机及集控主机;将集控主机的数据同步到集控从机;当子站主机或集控主机发生故障时,执行主从切换;将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步。

Description

一种数据同步方法及数据同步系统
技术领域
本发明涉及数据处理领域,特别是涉及一种数据同步方法及数据同步系统。
背景技术
现有的数据同步方案中,具体包括了同步时数据更新检测方法、数据快速存储的方法,对于复杂同步场景的没有很好的方法处理,造成在复杂情景下,数据库同步的方案往往受限于具体数据库。需要利用数据库本身的特性进行同步。比如依赖于数据库本身存在的触发器、存储过程等工具,以及利用数据库自身的日志做同步处理。
因此,造成数据同步方案会与数据库有强相关关系,不方便数据库迭代和替换,也增加支持其他数据库的难度和工作量较大。
发明内容
本发明的目的是提供了一种数据同步方法和数据同步系统,集控或子站的内部数据库服务器进行数据同步时,只需要根据主机与从机之间的数据对比转换规律,进行数据转换之后进行同步即可,与数据库没有强相关关系,能够实现跨不同数据库的同时,保证数据的强一致性,方便了数据库迭代和替换,减小了支持其他数据库的难度和工作量较大;集控和子站间的数据库服务器进行数据同步,出现主从切换时,通过将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,并开始同步,可以减少需要检测的数据量,提高了同步的效率。
本发明第一方面提供了一种数据同步方法,应用于数据同步系统,数据同步系统包括集控及子站,集控包括至少两个数据库服务器,子站包括至少两个数据库服务器,方法包括:
(a1)对集控或子站的内部数据库服务器进行数据同步,包括:
(a1.1)从集控或子站的数据库服务器中确定主机及从机;
(a1.2)从主机读取目标数据;
(a1.3)根据主机与从机之间的数据对比转换规律,将目标数据转换为待同步数据;
(a1.4)将待同步数据写入从机;
(a2)对集控和子站间的数据库服务器进行数据同步,包括:
(a2.1)从集控的数据库服务器中确定集控主机及集控从机,从子站的数据库服务器中确定子站主机及子站从机;
(a2.2)将子站主机的数据同步到子站从机及集控主机;
(a2.3)将集控主机的数据同步到集控从机;
(a2.4)当子站主机发生故障时,控制子站执行主从切换,使得子站从机变为待同步机,将集控主机作为同步机;或者,当集控主机发生故障时,控制集控执行主从切换,使得集控从机变为待同步机,将子站主机作为同步机;
(a2.5)将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步。
进一步的,(a1.3)根据主机与从机之间的数据对比转换规律,将目标数据转换为待同步数据,包括:
获取目标数据的数据字段类型,及从机的数据字段类型;
根据主机与从机之间的数据对比转换规律,将目标数据的数据字段类型与从机的数据字段类型进行对比,并将目标数据转换为待同步数据。
进一步的,(a1.4)将待同步数据写入从机,包括:
确定目标数据在主机中的目标数据表;
根据预置数据映射关系,确定从机中与主机的目标数据表对应的待同步数据表;
将待同步数据写入待同步数据表。
进一步的,(a2.5)将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步之前,还包括:
判断同步机与待同步机是否发生过数据同步;
若未发生过,则获取同步机的最近数据及待同步机的数据;
若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;
若超过,则获取同步机的最近数据及待同步机的数据;
若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
本发明第二方面提供一种数据同步系统,包括:
集控及子站,集控包括至少两个数据库服务器,子站包括至少两个数据库服务器;
第一数据同步子系统,用于对集控或子站的内部数据库服务器进行数据同步;
第一数据同步子系统包括处理模块、读取模块、转换模块及写入模块;
处理模块,用于从集控或子站的数据库服务器中确定主机及从机;
读取模块,用于从主机读取目标数据;
转换模块,用于根据主机与从机之间的数据对比转换规律,将目标数据转换为待同步数据;
写入模块,用于将待同步数据写入从机;
第二数据同步子系统,用于对集控和子站间的数据库服务器进行数据同步;
第二数据同步子系统包括确定模块、第一同步模块、主从切换模块及第二同步模块;
确定模块,用于从集控的数据库服务器中确定集控主机及集控从机,从子站的数据库服务器中确定子站主机及子站从机;
第一同步模块,用于将子站主机的数据同步到子站从机及集控主机;
第一同步模块,还用于将集控主机的数据同步到集控从机;
主从切换模块,用于当子站主机发生故障时,控制子站执行主从切换,使得子站从机变为待同步机,将集控主机作为同步机;或者,当集控主机发生故障时,控制集控执行主从切换,使得集控从机变为待同步机,将子站主机作为同步机;
第二同步模块,用于将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步。
进一步的,
转换模块,具体用于获取目标数据的数据字段类型,及从机的数据字段类型;
转换模块,还用于根据主机与从机之间的数据对比转换规律,将目标数据的数据字段类型与从机的数据字段类型进行对比,并将目标数据转换为待同步数据。
进一步的,
写入模块,具体用于确定目标数据在主机中的目标数据表;
写入模块,还用于根据预置数据映射关系,确定从机中与主机的目标数据表对应的待同步数据表;
写入模块,还用于将待同步数据写入待同步数据表。
进一步的,第二数据同步子系统还包括:
第三同步模块,用于判断同步机与待同步机是否发生过数据同步;
第三同步模块,还用于若未发生过,则获取同步机的最近数据及待同步机的数据;
第三同步模块,还用于若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;
第三同步模块,还用于若超过,则获取同步机的最近数据及待同步机的数据;
第三同步模块,还用于若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
由上可见,数据同步方法中集控或子站的内部数据库服务器进行数据同步时,只需要根据主机与从机之间的数据对比转换规律,进行数据转换之后进行同步即可,与数据库没有强相关关系,能够实现跨不同数据库的同时,保证数据的强一致性,方便了数据库迭代和替换,减小了支持其他数据库的难度和工作量较大;集控和子站间的数据库服务器进行数据同步,出现主从切换时,通过将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,并开始同步,可以减少需要检测的数据量,提高了同步的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的数据同步方法的一个实施例的流程示意图;
图2为本发明提供的数据同步系统的一个实施例的结构示意图;
图3为本发明提供的数据同步系统的另一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种数据同步方法和数据同步系统,集控或子站的内部数据库服务器进行数据同步时,只需要根据主机与从机之间的数据对比转换规律,进行数据转换之后进行同步即可,与数据库没有强相关关系,能够实现跨不同数据库的同时,保证数据的强一致性,方便了数据库迭代和替换,减小了支持其他数据库的难度和工作量较大;集控和子站间的数据库服务器进行数据同步,出现主从切换时,通过将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,并开始同步,可以减少需要检测的数据量,提高了同步的效率。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供一种数据同步方法,包括:
(a1)对集控或子站的内部数据库服务器进行数据同步,具体为:
(a1.1)从集控或子站的数据库服务器中确定主机及从机;
本实施例中,在数据库服务器的集群应用中,常常会出现为了某些性能问题,会使用多种数据库,因此,在一个集群中通常包括了至少两个数据库服务器,数据同步的概念是:将主机数据同步到从机的过程,此过程时持续的,无间断的。那么就需要确定集控或子站的数据库服务器的主机和从机,例如,数据服务器A为主机,数据服务器B为从机。
(a1.2)从主机读取目标数据;
本实施例中,对于目标数据的读取,可以是预先配置数据抽取的数据服务器A的参数,根据参数就能够从主机读取目标数据。
(a1.3)根据主机与从机之间的数据对比转换规律,将目标数据转换为待同步数据;
本实施例中,主机与从机之间的数据对比转换规律可以是预先配置的,具体的数据转换过程可以如下:
获取目标数据的数据字段类型,及从机的数据字段类型;
根据主机与从机之间的数据对比转换规律,将目标数据的数据字段类型与从机的数据字段类型进行对比,并将目标数据转换为待同步数据。
(a1.4)将待同步数据写入从机;
本实施例中,在数据转换得到待同步数据之后,将待同步数据写入到从机中,即完成了主机和从机之间的目标数据的数据同步。
(a2)对集控和子站间的数据库服务器进行数据同步,包括:
(a2.1)从集控的数据库服务器中确定集控主机及集控从机,从子站的数据库服务器中确定子站主机及子站从机;
本实施例中,假设有集控A、B两台机器,A为集控主机,子站有 C、D两台机器,C为子站主机。
(a2.2)将子站主机的数据同步到子站从机及集控主机;
(a2.3)将集控主机的数据同步到集控从机;
本实施例中,切换前,B同步A的数据,A同步C的数据,D同步C的数据。
(a2.4)当子站主机发生故障时,控制子站执行主从切换,使得子站从机变为待同步机,将集控主机作为同步机;或者,当集控主机发生故障时,控制集控执行主从切换,使得集控从机变为待同步机,将子站主机作为同步机;
本实施例中,当子站主机C机器挂掉,控制子站执行主从切换,子站从机D机器变为子站主机开始存数据,集控A开始同步D的数据。子站从机D变为待同步机,将集控主机A作为同步机;或者,当集控主机A发生故障时,控制集控执行主从切换,使得集控从机B变为待同步机,将子站主机C作为同步机。
(a2.5)将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步。
本实施例中,将同步机的最近数据与待同步机的数据进行对比,从待同步机中找到与同步机中“最近数据”相同的数据行号是“new_line_id”,那么“new_line_id”就是同步位置。从待同步机的“new_line_id”开始进行数据同步即可。
本发明实施例中,集控或子站的内部数据库服务器进行数据同步时,只需要根据主机与从机之间的数据对比转换规律,进行数据转换之后进行同步即可,与数据库没有强相关关系,能够实现跨不同数据库的同时,保证数据的强一致性,方便了数据库迭代和替换,减小了支持其他数据库的难度和工作量较大;集控和子站间的数据库服务器进行数据同步,出现主从切换时,通过将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,并开始同步,可以减少需要检测的数据量,提高了同步的效率。
可选的,本发明的一些实施例中,(a1.4)将待同步数据写入从机,包括:
确定目标数据在主机中的目标数据表;
根据预置数据映射关系,确定从机中与主机的目标数据表对应的待同步数据表;
将待同步数据写入待同步数据表。
本发明实施例中,在主机的数据库服务器A中,目标数据是保存在数据库的一个或多个数据表中,需要确定目标数据在主机中的目标数据表,数据库服务器A与数据库服务器B之间的数据的对应关系,即预置数据映射关系,是需要用户进行输入,即通过用户输入对应关系的方法,实现各种类型各种方式的同步,比如可以实现“一个表的数据拆分后同步到多个表中”,也可以实现“多个表的数据,通过对应关系,同步到一个表中”;由于可以用户输入“预置数据映射关系”,从而实现不受不同数据库服务器的表结构约束的同步。确定从机中与主机的目标数据表对应的待同步数据表,在确定了从机中待同步数据表之后,只需要将待同步数据写入到待同步数据表中,即完成了主机和从机之间的目标数据的数据同步。说明了数据同步过程中还需要考虑主机和从机的数据表的对应关系。使得完美解决了不同数据库之间、不同表、不同表结构、不同字段类型之间的数据同步问题。
进一步的,(a2.5)将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步之前,还包括:
判断同步机与待同步机是否发生过数据同步;
若未发生过,则获取同步机的最近数据及待同步机的数据;
若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;
若超过,则获取同步机的最近数据及待同步机的数据;
若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
本发明实施例中,如果集控A没有同步过子站D的数据或者是很早前同步过(记录是很久前的),传统方式是继续以前记录检测D的数据进行同步,传统方法比较耗时。因此,需要先判断同步机与待同步机是否发生过数据同步;
若未发生过,则获取同步机的最近数据及待同步机的数据;若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;若超过,则获取同步机的最近数据及待同步机的数据;若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
请参考图2,本发明实施例提供一种数据同步系统,包括:
集控21及子站22,集控包括至少两个数据库服务器,子站包括至少两个数据库服务器;
第一数据同步子系统23,用于对集控21或子站22的内部数据库服务器进行数据同步;
第一数据同步子系统23包括处理模块231、读取模块232、转换模块233及写入模块234;
处理模块231,用于从集控21或子站22的数据库服务器中确定主机及从机;
读取模块232,用于从主机读取目标数据;
转换模块233,用于根据主机与从机之间的数据对比转换规律,将目标数据转换为待同步数据;
写入模块234,用于将待同步数据写入从机;
第二数据同步子系统24,用于对集控21和子站22间的数据库服务器进行数据同步;
第二数据同步子系统24包括确定模块241、第一同步模块242、主从切换模块243及第二同步模块244;
确定模块241,用于从集控21的数据库服务器中确定集控主机及集控从机,从子站22的数据库服务器中确定子站主机及子站从机;
第一同步模块242,用于将子站主机的数据同步到子站从机及集控主机;
第一同步模块242,还用于将集控主机的数据同步到集控从机;
主从切换模块243,用于当子站主机发生故障时,控制子站执行主从切换,使得子站从机变为待同步机,将集控主机作为同步机;或者,当集控主机发生故障时,控制集控执行主从切换,使得集控从机变为待同步机,将子站主机作为同步机;
第二同步模块244,用于将同步机的最近数据与待同步机的数据进行对比,确定待同步机的同步位置,根据同步位置进行数据同步。
可选的,结合图2所示的实施例,本发明的一些实施例中,
转换模块233,具体用于获取目标数据的数据字段类型,及从机的数据字段类型;
转换模块233,还用于根据主机与从机之间的数据对比转换规律,将目标数据的数据字段类型与从机的数据字段类型进行对比,并将目标数据转换为待同步数据。
本发明实施例中,转换模块233确定目标数据的数据字段类型和从机的数据字段类型之后,根据主机与从机之间的数据对比转换规律,将目标数据的数据字段类型与从机的数据字段类型进行对比,并将目标数据转换为待同步数据。
可选的,结合图2所示的实施例,本发明的一些实施例中,
写入模块234,具体用于确定目标数据在主机中的目标数据表;
写入模块234,还用于根据预置数据映射关系,确定从机中与主机的目标数据表对应的待同步数据表;
写入模块234,还用于将待同步数据写入待同步数据表。
本发明实施例中,说明了数据同步过程中写入模块234还需要考虑主机和从机的数据表的对应关系。使得完美解决了不同数据库之间、不同表、不同表结构、不同字段类型之间的数据同步问题。
可选的,结合图2所示的实施例,如图3所示,本发明的一些实施例中,第二数据同步子系统还包括:
第三同步模块301,用于判断同步机与待同步机是否发生过数据同步;
第三同步模块301,还用于若未发生过,则获取同步机的最近数据及待同步机的数据;
第三同步模块301,还用于若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;
第三同步模块301,还用于若超过,则获取同步机的最近数据及待同步机的数据;
第三同步模块301,还用于若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
本发明实施例中,如果集控A没有同步过子站D的数据或者是很早前同步过(记录是很久前的),传统方式是继续以前记录检测D的数据进行同步,传统方法比较耗时。因此,第三同步模块301需要先判断同步机与待同步机是否发生过数据同步;若未发生过,则获取同步机的最近数据及待同步机的数据;若发生过,则获取上一次数据同步的记录时间,判断记录时间是否超过预置时间;若超过,则获取同步机的最近数据及待同步机的数据;若未超过,则获取上一次数据同步时的待同步机的记录位置,根据记录位置进行数据同步。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据同步方法,其特征在于,应用于数据同步系统,所述数据同步系统包括集控及子站,所述集控包括至少两个数据库服务器,所述子站包括至少两个数据库服务器,所述方法包括:
(a1)对所述集控或所述子站的内部数据库服务器进行数据同步,包括:
(a1.1)从所述集控或所述子站的数据库服务器中确定主机及从机;
(a1.2)从所述主机读取目标数据;
(a1.3)根据所述主机与所述从机之间的数据对比转换规律,将所述目标数据转换为待同步数据;
(a1.4)将所述待同步数据写入所述从机;
(a2)对所述集控和所述子站间的数据库服务器进行数据同步,包括:
(a2.1)从所述集控的数据库服务器中确定集控主机及集控从机,从所述子站的数据库服务器中确定子站主机及子站从机;
(a2.2)将所述子站主机的数据同步到所述子站从机及所述集控主机;
(a2.3)将所述集控主机的数据同步到所述集控从机;
(a2.4)当所述子站主机发生故障时,控制所述子站执行主从切换,使得所述子站从机变为待同步机,将所述集控主机作为同步机;或者,当所述集控主机发生故障时,控制所述集控执行主从切换,使得所述集控从机变为待同步机,将所述子站主机作为同步机;
(a2.5)将所述同步机的最近数据与所述待同步机的数据进行对比,确定所述待同步机的同步位置,根据所述同步位置进行数据同步。
2.根据权利要求1所述的方法,其特征在于,所述(a1.3)根据所述主机与所述从机之间的数据对比转换规律,将所述目标数据转换为待同步数据,包括:
获取所述目标数据的数据字段类型,及所述从机的数据字段类型;
根据所述主机与所述从机之间的数据对比转换规律,将所述目标数据的数据字段类型与所述从机的数据字段类型进行对比,并将所述目标数据转换为待同步数据。
3.根据权利要求1所述的方法,其特征在于,所述(a1.4)将所述待同步数据写入所述从机,包括:
确定所述目标数据在所述主机中的目标数据表;
根据预置数据映射关系,确定所述从机中与所述主机的目标数据表对应的待同步数据表;
将所述待同步数据写入所述待同步数据表。
4.根据权利要求1所述的方法,其特征在于,所述(a2.5)将所述同步机的最近数据与所述待同步机的数据进行对比,确定所述待同步机的同步位置,根据所述同步位置进行数据同步之前,还包括:
判断所述同步机与所述待同步机是否发生过数据同步;
若未发生过,则获取所述同步机的最近数据及所述待同步机的数据;
若发生过,则获取上一次数据同步的记录时间,判断所述记录时间是否超过预置时间;
若超过,则获取所述同步机的最近数据及所述待同步机的数据;
若未超过,则获取所述上一次数据同步时的所述待同步机的记录位置,根据所述记录位置进行数据同步。
5.一种数据同步系统,其特征在于,包括:
集控及子站,所述集控包括至少两个数据库服务器,所述子站包括至少两个数据库服务器;
第一数据同步子系统,用于对所述集控或所述子站的内部数据库服务器进行数据同步;
所述第一数据同步子系统包括处理模块、读取模块、转换模块及写入模块;
所述处理模块,用于从所述集控或所述子站的数据库服务器中确定主机及从机;
所述读取模块,用于从所述主机读取目标数据;
所述转换模块,用于根据所述主机与所述从机之间的数据对比转换规律,将所述目标数据转换为待同步数据;
所述写入模块,用于将所述待同步数据写入所述从机;
第二数据同步子系统,用于对所述集控和所述子站间的数据库服务器进行数据同步;
所述第二数据同步子系统包括确定模块、第一同步模块、主从切换模块及第二同步模块;
所述确定模块,用于从所述集控的数据库服务器中确定集控主机及集控从机,从所述子站的数据库服务器中确定子站主机及子站从机;
所述第一同步模块,用于将所述子站主机的数据同步到所述子站从机及所述集控主机;
所述第一同步模块,还用于将所述集控主机的数据同步到所述集控从机;
所述主从切换模块,用于当所述子站主机发生故障时,控制所述子站执行主从切换,使得所述子站从机变为待同步机,将所述集控主机作为同步机;或者,当所述集控主机发生故障时,控制所述集控执行主从切换,使得所述集控从机变为待同步机,将所述子站主机作为同步机;
所述第二同步模块,用于将所述同步机的最近数据与所述待同步机的数据进行对比,确定所述待同步机的同步位置,根据所述同步位置进行数据同步。
6.根据权利要求5所述的系统,其特征在于,
所述转换模块,具体用于获取所述目标数据的数据字段类型,及所述从机的数据字段类型;
所述转换模块,还用于根据所述主机与所述从机之间的数据对比转换规律,将所述目标数据的数据字段类型与所述从机的数据字段类型进行对比,并将所述目标数据转换为待同步数据。
7.根据权利要求6所述的系统,其特征在于,
所述写入模块,具体用于确定所述目标数据在所述主机中的目标数据表;
所述写入模块,还用于根据预置数据映射关系,确定所述从机中与所述主机的目标数据表对应的待同步数据表;
所述写入模块,还用于将所述待同步数据写入所述待同步数据表。
8.根据权利要求5所述的系统,其特征在于,所述第二数据同步子系统还包括:
第三同步模块,用于判断所述同步机与所述待同步机是否发生过数据同步;
所述第三同步模块,还用于若未发生过,则获取所述同步机的最近数据及所述待同步机的数据;
所述第三同步模块,还用于若发生过,则获取上一次数据同步的记录时间,判断所述记录时间是否超过预置时间;
所述第三同步模块,还用于若超过,则获取所述同步机的最近数据及所述待同步机的数据;
所述第三同步模块,还用于若未超过,则获取所述上一次数据同步时的所述待同步机的记录位置,根据所述记录位置进行数据同步。
CN202011214996.8A 2020-11-04 2020-11-04 一种数据同步方法及数据同步系统 Active CN112035577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011214996.8A CN112035577B (zh) 2020-11-04 2020-11-04 一种数据同步方法及数据同步系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011214996.8A CN112035577B (zh) 2020-11-04 2020-11-04 一种数据同步方法及数据同步系统

Publications (2)

Publication Number Publication Date
CN112035577A true CN112035577A (zh) 2020-12-04
CN112035577B CN112035577B (zh) 2021-02-02

Family

ID=73572862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011214996.8A Active CN112035577B (zh) 2020-11-04 2020-11-04 一种数据同步方法及数据同步系统

Country Status (1)

Country Link
CN (1) CN112035577B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104488248A (zh) * 2014-04-15 2015-04-01 华为技术有限公司 一种文件同步方法、服务器及终端
CN104572672A (zh) * 2013-10-15 2015-04-29 北大方正集团有限公司 异构数据库的同步方法和应用系统
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储系统的数据存储方法和装置
CN107317837A (zh) * 2017-05-22 2017-11-03 青海大唐国际共和光伏发电有限责任公司 一种数据同步的方法和装置
CN109412266A (zh) * 2018-10-31 2019-03-01 苏州热工研究院有限公司 一种核电厂变电站保护监控系统
US20200026794A1 (en) * 2018-07-18 2020-01-23 EMC IP Holding Company LLC Synchronous replication in a storage system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572672A (zh) * 2013-10-15 2015-04-29 北大方正集团有限公司 异构数据库的同步方法和应用系统
CN104488248A (zh) * 2014-04-15 2015-04-01 华为技术有限公司 一种文件同步方法、服务器及终端
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储系统的数据存储方法和装置
CN107317837A (zh) * 2017-05-22 2017-11-03 青海大唐国际共和光伏发电有限责任公司 一种数据同步的方法和装置
US20200026794A1 (en) * 2018-07-18 2020-01-23 EMC IP Holding Company LLC Synchronous replication in a storage system
CN109412266A (zh) * 2018-10-31 2019-03-01 苏州热工研究院有限公司 一种核电厂变电站保护监控系统

Also Published As

Publication number Publication date
CN112035577B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN102955845B (zh) 数据访问方法、装置与分布式数据库系统
US9619512B2 (en) Memory searching system and method, real-time searching system and method, and computer storage medium
CN106453297B (zh) 检测主从延时方法、装置和系统
CN108829787B (zh) 一种元数据分布式系统
CN107870982B (zh) 数据处理方法、系统和计算机可读存储介质
CN113239013B (zh) 分布式系统及存储介质
EP3786802B1 (en) Method and device for failover in hbase system
CN112035577B (zh) 一种数据同步方法及数据同步系统
CN113297159B (zh) 数据存储方法以及装置
CN114416868A (zh) 一种数据同步方法、装置、设备及存储介质
CN107623705B (zh) 基于视频云存储系统的存储模式升级方法、装置和系统
CN111209652B (zh) 一种电力系统静态设备模型时序构建方法及装置
CN105007172A (zh) 一种hdfs高可用性方案的实现方法
CN108900347B (zh) 集群初始化配置方法、装置、系统、设备及可读存储介质
CN112000850A (zh) 进行数据处理的方法、装置、系统及设备
CN115104295A (zh) 数据处理方法、装置、电子装置及存储介质
CN109445717B (zh) 一种双机备份时的数据存储方法及装置
CN115587141A (zh) 一种数据库同步方法和装置
CN110569231B (zh) 数据迁移方法、装置、设备和介质
CN107153699B (zh) 一种动态扩展集群服务器的方法及装置
CN107404527B (zh) 一种资源访问和控制方法及装置
CN111885206A (zh) 一种支持多电商平台并向指定环境推送数据的云平台
CN111966680A (zh) 一种数据库存储扩展方法和装置
CN113609212B (zh) 一种存储系统中配置文件的同步方法、系统及相关装置
CN117215830A (zh) 数据备份方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant