CN115801807A - 一种基于完全对等模型的分布式网络数据同步方法和系统 - Google Patents

一种基于完全对等模型的分布式网络数据同步方法和系统 Download PDF

Info

Publication number
CN115801807A
CN115801807A CN202211277733.0A CN202211277733A CN115801807A CN 115801807 A CN115801807 A CN 115801807A CN 202211277733 A CN202211277733 A CN 202211277733A CN 115801807 A CN115801807 A CN 115801807A
Authority
CN
China
Prior art keywords
transaction
node
update
content information
distributed network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211277733.0A
Other languages
English (en)
Inventor
余丹
兰雨晴
刘一凡
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202211277733.0A priority Critical patent/CN115801807A/zh
Publication of CN115801807A publication Critical patent/CN115801807A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于完全对等模型的分布式网络数据同步方法和系统。所述分布式网络数据同步方法包括:实时采集分布式网络的数据库的活动事务,获取事务更新情况;在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。所述系统包括与所述方法步骤对应的模块。

Description

一种基于完全对等模型的分布式网络数据同步方法和系统
技术领域
本发明提出了一种基于完全对等模型的分布式网络数据同步方法和系统,属于数据同步技术领域。
背景技术
数据库是现代信息系统的重要组成部分,近年来网络安全问题引起了社会各界的高度关注,数据丢失、隐私泄露等问题的频繁发生不仅直接损害了个人、企业的利益,而且也不利于社会经济的发展。现有的分布式数据同步方案不能很好满足新的要求,且缺少应用于网络数据领域的系统中的实施方案。
发明内容
本发明提供了一种基于完全对等模型的分布式网络数据同步方法和系统,用以解决现有的分布式数据同步方案不能满足网络完全实际应用的问题,所采取的技术方案如下:
一种基于完全对等模型的分布式网络数据同步方法,所述分布式网络数据同步方法包括:
实时采集分布式网络的数据库的活动事务,获取事务更新情况;
在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
进一步地,实时采集分布式网络的数据库的活动事务,获取事务更新情况,包括:
按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
进一步地,在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息,包括:
在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
进一步地,利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理,包括:
通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
一种基于完全对等模型的分布式网络数据同步系统,所述分布式网络数据同步系统包括:
实时采集模块,用于实时采集分布式网络的数据库的活动事务,获取事务更新情况;
信息获取模块,用于在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
同步处理模块,用于利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
进一步地,所述实时采集模块包括:
更新判断模块,用于按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
更新检测模块,用于如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
进一步地,所述信息获取模块包括:
信息处理模块,用于在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
列表更新模块,用于将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
节点信息获取模块,用于根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
进一步地,所述同步处理模块包括:
写入模块,用于通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
寻找模块,用于在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
目标节点确定模块,用于当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
冲突消除模块,用于所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;其中,所述冲突处理原则可以为现有已有的处理原则,也可以为工作人员根据数据库系统的运行功能和数据传输实际目的进行针对性设置的处理原则。
同步模块,用于在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。其中,所述节点协调策略为预先设置的根据数据库系统的实际结构和协调目的针对性设置的协调策略。
本发明有益效果:
本发明提供了一种基于完全对等模型的分布式网络数据同步方法和系统基于分布式网络数据同步技术的数据库系统,一方面采用分布式存储技术提高数据库的容量上限,保证数据的完整性;另一方面又能通过数据同步技术减少数据冗余、消除数据不一致性,提高数据利用价值。同时,本发明提供了一种基于完全对等模型的分布式网络数据同步方法和系统,更新事务传输耗时均明显低于传统的数据同步模型,在大型信息系统中具有推广应用价值。
附图说明
图1为本发明所述方法的流程图;
图2为本发明所述系统的系统框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提出了一种基于完全对等模型的分布式网络数据同步方法,如图1所示,所述分布式网络数据同步方法包括:
S1、实时采集分布式网络的数据库的活动事务,获取事务更新情况;
S2、在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
S3、利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
上述技术方案的工作原理为:首先,实时采集分布式网络的数据库的活动事务,获取事务更新情况;然后,在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;最后,利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
基于节点协调策略,在新节点初始化以后,进入数据同步环节。完全对等数据同步分3个步骤实现,分别是事务获取与发送、事务接收与并发处理、事务执行与数据冲突处理。位于节点端的事务获取模块,会按照特定频率采集数据库的活动事务,若没有检测到事务更新,则重复检测,直到检测到新的活动事务。然后读取事务更新内容,并加盖时间戳,将其添加至本地事务列表中。系统会根据时间顺序依次读取节点信息,若节点正常,则向该节点发送更新事务;若节点异常,则将更新事务写入故障数据表,重新寻找其他可行节点进行处理。节点服务端在接收到更新事务信息后,立即做并发冲突检测,利用预设的冲突处理程序完成并发冲突的处理。处理完毕后,根据节点协调策略,将更新事务同步到其他节点上,从而保证了数据一致性。
上述技术方案的效果为:本实施例提供了一种基于完全对等模型的分布式网络数据同步方法基于分布式网络数据同步技术的数据库系统,一方面采用分布式存储技术提高数据库的容量上限,保证数据的完整性;另一方面又能通过数据同步技术减少数据冗余、消除数据不一致性,提高数据利用价值。同时,本实施例提供了一种基于完全对等模型的分布式网络数据同步方法,更新事务传输耗时均明显低于传统的数据同步模型,在大型信息系统中具有推广应用价值。
本发明的一个实施例,实时采集分布式网络的数据库的活动事务,获取事务更新情况,包括:
S101、按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
S102、如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
上述技术方案的工作原理为:首先,按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;然后,如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
上述技术方案的效果为:通过上述方式能够有效提高事务更新判断准确性和事务更新判断效率。同时,通过上述方式能够有效提高事务更新情况确定的及时性。
本发明的一个实施例,在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息,包括:
S201、在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
S202、将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
S203、根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
上述技术方案的工作原理为:首先,在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;然后,将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;最后,根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
上述技术方案的效果为:通过上述方式能够有效提高节点信息获取的准确性和效率,同时,通过在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳提高时间时序监控准确性和监控效率。同时,有效降低数据处理量和处理复杂度,进而有效提高数据处理响应速度。
本发明的一个实施例,利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理,包括:
S301、通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
S302、在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
S303、当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
S304、所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
S305、在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
上述技术方案的工作原理为:首先,通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;然后,在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;随后,当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;之后,所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;最后,在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
上述技术方案的效果为:通过上述方式能够采用分布式存储技术提高数据库的容量上限,保证数据的完整性;另一方面又能通过数据同步技术减少数据冗余、消除数据不一致性,提高数据利用价值。同时,更新事务传输耗时均明显低于传统的数据同步模型,在大型信息系统中具有推广应用价值。
本发明实施例提出了一种基于完全对等模型的分布式网络数据同步系统,如图2所示,所述分布式网络数据同步系统包括:
实时采集模块,用于实时采集分布式网络的数据库的活动事务,获取事务更新情况;
信息获取模块,用于在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
同步处理模块,用于利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
上述技术方案的工作原理为:首先,通过实时采集模块实时采集分布式网络的数据库的活动事务,获取事务更新情况;
然后,利用信息获取模块在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
最后,采用同步处理模块利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
基于节点协调策略,在新节点初始化以后,进入数据同步环节。完全对等数据同步分3个步骤实现,分别是事务获取与发送、事务接收与并发处理、事务执行与数据冲突处理。位于节点端的事务获取模块,会按照特定频率采集数据库的活动事务,若没有检测到事务更新,则重复检测,直到检测到新的活动事务。然后读取事务更新内容,并加盖时间戳,将其添加至本地事务列表中。系统会根据时间顺序依次读取节点信息,若节点正常,则向该节点发送更新事务;若节点异常,则将更新事务写入故障数据表,重新寻找其他可行节点进行处理。节点服务端在接收到更新事务信息后,立即做并发冲突检测,利用预设的冲突处理程序完成并发冲突的处理。处理完毕后,根据节点协调策略,将更新事务同步到其他节点上,从而保证了数据一致性。
上述技术方案的效果为:本实施例提供了一种基于完全对等模型的分布式网络数据同步系统基于分布式网络数据同步技术的数据库系统,一方面采用分布式存储技术提高数据库的容量上限,保证数据的完整性;另一方面又能通过数据同步技术减少数据冗余、消除数据不一致性,提高数据利用价值。同时,本实施例提供了一种基于完全对等模型的分布式网络数据同步系统,更新事务传输耗时均明显低于传统的数据同步模型,在大型信息系统中具有推广应用价值。
本发明的一个实施例,所述实时采集模块包括:
更新判断模块,用于按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
更新检测模块,用于如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
上述技术方案的工作原理为:首先,通过更新判断模块按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
然后,利用更新检测模块在如果没有检测到事务更新时,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
上述技术方案的效果为:通过上述方式能够有效提高事务更新判断准确性和事务更新判断效率。同时,通过上述方式能够有效提高事务更新情况确定的及时性。
本发明的一个实施例,所述信息获取模块包括:
信息处理模块,用于在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
列表更新模块,用于将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
节点信息获取模块,用于根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
上述技术方案的工作原理为:首先,通过信息处理模块在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
然后,利用列表更新模块将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
最后,采用节点信息获取模块根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
上述技术方案的效果为:通过上述方式能够有效提高节点信息获取的准确性和效率,同时,通过在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳提高时间时序监控准确性和监控效率。同时,有效降低数据处理量和处理复杂度,进而有效提高数据处理响应速度。
本发明的一个实施例,所述同步处理模块包括:
写入模块,用于通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
寻找模块,用于在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
目标节点确定模块,用于当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
冲突消除模块,用于所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
同步模块,用于在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
上述技术方案的工作原理为:首先,利用写入模块通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
然后,采用寻找模块在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
之后,利用目标节点确定模块在当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
随后,采用冲突消除模块控制所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
最后,采用同步模块在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
上述技术方案的效果为:通过上述方式能够采用分布式存储技术提高数据库的容量上限,保证数据的完整性;另一方面又能通过数据同步技术减少数据冗余、消除数据不一致性,提高数据利用价值。同时,更新事务传输耗时均明显低于传统的数据同步模型,在大型信息系统中具有推广应用价值。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于完全对等模型的分布式网络数据同步方法,其特征在于,所述分布式网络数据同步方法包括:
实时采集分布式网络的数据库的活动事务,获取事务更新情况;
在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
2.根据权利要求1所述分布式网络数据同步方法,其特征在于,实时采集分布式网络的数据库的活动事务,获取事务更新情况,包括:
按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
3.根据权利要求1所述分布式网络数据同步方法,其特征在于,在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息,包括:
在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
4.根据权利要求1所述分布式网络数据同步方法,其特征在于,利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理,包括:
通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
5.一种基于完全对等模型的分布式网络数据同步系统,其特征在于,所述分布式网络数据同步系统包括:
实时采集模块,用于实时采集分布式网络的数据库的活动事务,获取事务更新情况;
信息获取模块,用于在所述活动事务出现更新情况时,获取执行事务更新内容信息对应的节点及节点信息;
同步处理模块,用于利用所述节点信息判断节点是否运行正常,并按照节点运行判断结果确定执行所述事务更新内容信息的节点;在所述确定执行所述事务更新内容信息的节点之后,控制所述节点执行事务更新并进行数据同步处理。
6.根据权利要求5所述分布式网络数据同步系统,其特征在于,所述实时采集模块包括:
更新判断模块,用于按照预先设置的采集频率采集分布式网络的数据库的活动事务,判断是否存在事务更新;
更新检测模块,用于如果没有检测到事务更新,则重复对分布式网络的数据库的检测直至检测到事务更新情况。
7.根据权利要求5所述分布式网络数据同步系统,其特征在于,所述信息获取模块包括:
信息处理模块,用于在所述活动事务出现更新情况时,读取事务更新内容信息,并在所述事务更新内容信息上加盖与事务更新时刻对应的时间戳;
列表更新模块,用于将加盖有时间戳的事务更新内容信息添加至本地事务列表中,形成更新后的事务列表;其中,所述事务列表中的信息包括事务更新内容信息和预执行所述事务更新内容的节点;
节点信息获取模块,用于根据时间戳对应的时间顺序依次从所述更新后的事务列表中读取事务更新对应的分布式网络的节点,并获取所述节点对应的节点信息。
8.根据权利要求5所述分布式网络数据同步系统,其特征在于,所述同步处理模块包括:
写入模块,用于通过所述节点信息判断当前出现事务更新的节点是否运行正常,如果所述节点运行正常,则向所述节点发送更新事务对应的事务更新内容信息,并控制所述节点执行事务更新;如果所述节点运行异常,则将所述更新事务对应的事务更新内容信息写入故障数据表;
寻找模块,用于在将所述更新事务对应的事务更新内容信息写入故障数据表后,对所述分布式网络进行搜索,寻找可执行所述事务更新内容信息的节点;
目标节点确定模块,用于当获取可执行所述事务更新内容信息的节点后,将所述将可执行所述事务更新内容信息的节点作为目标节点,并将所述事务更新内容信息发送至所述目标节点;
冲突消除模块,用于所述目标节点在接收到事务更新内容信息后立即利用预设的冲突处理原则进行并发冲突处理,消除所述目标节点的并发冲突;
同步模块,用于在所述目标节点完成并发冲突处理后,利用预设的节点协调策略将更新事务同步至其他节点上,保证分布式网络数据的同步性。
CN202211277733.0A 2022-10-19 2022-10-19 一种基于完全对等模型的分布式网络数据同步方法和系统 Pending CN115801807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211277733.0A CN115801807A (zh) 2022-10-19 2022-10-19 一种基于完全对等模型的分布式网络数据同步方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211277733.0A CN115801807A (zh) 2022-10-19 2022-10-19 一种基于完全对等模型的分布式网络数据同步方法和系统

Publications (1)

Publication Number Publication Date
CN115801807A true CN115801807A (zh) 2023-03-14

Family

ID=85433196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211277733.0A Pending CN115801807A (zh) 2022-10-19 2022-10-19 一种基于完全对等模型的分布式网络数据同步方法和系统

Country Status (1)

Country Link
CN (1) CN115801807A (zh)

Similar Documents

Publication Publication Date Title
CN109460349B (zh) 一种基于日志的测试用例生成方法和装置
CN107038162B (zh) 基于数据库日志的实时数据查询方法和系统
CN103345508B (zh) 一种适用于社会网络图的数据存储方法及系统
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN102799514B (zh) 一种日志记录管理方法和系统
CN109933632B (zh) 一种数据库的数据迁移方法、装置及设备
CN103713981A (zh) 一种数据库服务器性能检测和预警方法
CN102761454A (zh) 一种物联网监控方法及系统
CN101794247A (zh) 嵌套事务模型下实时数据库故障恢复方法
CN113987064A (zh) 数据处理方法、系统及设备
CN112632127B (zh) 设备运行实时数据采集及时序的数据处理方法
CN108140035B (zh) 分布式系统的数据库复制方法及装置
CN113633981A (zh) 游戏应用中地图数据同步的方法、装置、设备及存储介质
CN111913933B (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN110175206A (zh) 用于多数据库分离的智能分析业务方法、系统及介质
CN107357809A (zh) 海量平台海迅实时库量测数据接入系统
CN115801807A (zh) 一种基于完全对等模型的分布式网络数据同步方法和系统
CN101833585A (zh) 数据库服务器操作控制系统、方法及设备
CN105892957B (zh) 一种基于动态分片的分布式事务执行方法
CN104967667A (zh) 一种基于云服务的软件稳定性测试远程监控系统
CN112492037A (zh) 数据处理系统及方法
CN114297216B (zh) 数据同步方法及其装置、计算机存储介质、电子设备
CN115118475A (zh) 密码设备集群调度方法、装置、设备及介质
CN114697353A (zh) 一种分布式存储集群电网数据存储控制方法
CN113886472A (zh) 一种数据接入系统、接入方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination