CN113918656B - 一种分布式数据库数据同步方法 - Google Patents
一种分布式数据库数据同步方法 Download PDFInfo
- Publication number
- CN113918656B CN113918656B CN202111513544.4A CN202111513544A CN113918656B CN 113918656 B CN113918656 B CN 113918656B CN 202111513544 A CN202111513544 A CN 202111513544A CN 113918656 B CN113918656 B CN 113918656B
- Authority
- CN
- China
- Prior art keywords
- data
- central server
- current data
- preset
- extension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式数据库数据同步方法,包括,步骤S1,分机将接收的数据上传至中央服务器;步骤S2,中央服务器中央服务器根据当前数据内容种类,选取待同步的分机;步骤S3,中央服务器将各分机组的分机中同步数据队列量最小值的分机选为当前数据待同步分机;步骤S4,中央服务器获取当前数据紧要度,根据其紧要度选取当前数据同步优先级,将待同步分机的数据同步队列中数据同步顺序进行重新排序;步骤S5,中央服务器中央服务器将当前数据同步至待同步分机后,更新当前数据时间戳,重复步骤S3‑S4直至各分机组均同步有当前数据内容。本发明通过设置中央服务器调节各分机同步数据排列顺序,提高数据同步效率。
Description
技术领域
本发明涉及数据同步领域,尤其涉及一种分布式数据库数据同步方法。
背景技术
网络系统开发的一个重要问题,就是如何配置不同的设备来共享资源。实际的实现方式在很大程度上,要依赖于网络的功能,总体上可以分为两大类:集中式系统和分布式系统。集中式系统终端较多,导致响应速度变慢,而且效率不高。分布式系统成本低、扩展性和处理能力较强,随着云计算的兴起,对海量数据存储和管理的需求也在不断地增加。在这样的趋势下,许多面向海量数据管理的大规模分布式数据库,通过利用商用硬件搭建大规模服务器集群来提供海量的数据存储和管理能力。
目前,在实际应用中,一般会在数据中心之间采用异步复制的方式,对数据复制只提供最终一致性的保证,即通过将主数据库的数据与副本数据库的数据进行同步的方式,来保证数据的可靠性和可用性。为了保证主数据库与副本数据库同步的有效性,需要在各种故障场景下都能检查并同步不一致的数据副本,确保数据库在出现故障后能快速恢复到出错前的正确状态,从而提升数据库的可用性和可靠性。随着大数据领域异军突起,数据量越发增多,现有技术中,分布式数据库系统数据同步方法已不适应于现阶段和未来的数据量。
发明内容
为此,本发明提供一种分布式数据库数据同步方法,可以解决无法根据优先级对当前数据的同步数据顺序进行排序以提高数据同步效率的技术问题。
为实现上述目的,本发明提供一种分布式数据库数据同步方法,包括:
步骤S1,分机将接收的数据上传至中央服务器,所述数据包括数据内容、所述分机权限参数以及时间戳;
步骤S2,所述中央服务器根据当前数据内容种类,选取待同步的分机;
步骤S3,中央服务器将各分机组的分机中同步数据队列量最小值的分机选为当前数据待同步分机;
步骤S4,中央服务器获取当前数据紧要度,根据其紧要度选取当前数据同步优先级,中央服务器根据当前数据同步优先级与待同步分机中队列中数据同步优先级相比较,将待同步分机的数据同步队列中数据同步顺序进行重新排序;
步骤S5,所述中央服务器将当前数据同步至待同步分机后,更新当前数据时间戳,重复步骤S3-S4直至各分机组均同步有当前数据内容;
当所述中央服务器根据当前数据类别重要度、数据相似度以及分机权限参数获取当前数据紧要度,中央服务器根据当前数据紧要度获取其数据同步优先级,中央服务器获取当前数据单位时间生成的数据量与预设值相比较,对当前数据同步优先级进行调节,当中央服务器获取当前数据单位时间生成的数据量大于预设值,中央服务器提高当前数据同步优先级,当中央服务器获取当前数据单位时间生成的数据量小于预设值,中央服务器降低当前数据同步优先级,以提高紧要度高的数据同步效率。
进一步地,所述中央服务器预设分机组A,设定第一分机组A1、第一分机组A1···第m分机组Am,其中,第一分机组A1包括第一分机组第一分机A1a1,第一分机组第二分机组A1a2···第一分机组第n分机A1an,第二分机组A2包括第二分机组第一分机A2a1,第二分机组第二分机组A2a2···第二分机组第n分机A2an···第m分机组Am包括第m分机组Am第一分机Ama1、第m分机组Am第二分机Ama2···第m分机组Am第n分机Aman,中央服务器获取当前数据内容为Li,选取各分机组第i分机Aeai为待同步分机;
其中,所述中央服务器预设数据内容L,设定第一数据内容L1、第二数据内容L2···第n数据内容Ln,i=1,2···n,e=1,2··· m,n为大于等于2的自然数,m为大于等于2的自然数,其中,m为分机组的数量,n为分机数量,分机数量与数据内容数量相同。
进一步地,所述中央服务器获取第一分机组第i分机A1ai中同步数据队列量k1i,第二分机组第i分机A2ai中同步数据队列量k2i···第m分机组第i分机Amai中同步数据队列量kmi,中央服务器获取第e分机组第i分机Aeai中同步数据队列量kei为最小值,将第e分机组第i分机设为待同步分机。
进一步地,所述中央服务器预设数据内容重要度H,设定第一数据内容重要度H1、第一数据内容重要度H1···第n数据内容重要度Hn,中央服务器获取当前数据内容Li,选取Hi为当前数据内容重要度,中央服务器获取预设时间内数据内容访问量f与预设访问量标准值F0相比较,对获取的当前数据内容重要度Hi进行调节,其中,
当f≤F0,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1;
当f>F0,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2。
进一步地,当所述中央服务器获取预设时间内数据内容访问量f小于等于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1,设定Hi1=Hi×(1-(F0-f)/F0);当所述中央服务器获取预设时间内数据内容访问量f大于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2,设定Hi2=Hi×(1+(f-F0)/F0)。
进一步地,所述中央服务器设置数据紧要度y,设定y=H/S×Q,其中,H为数据重要度,S为数据相似度,Q为分机权限参数,中央服务器获取当前数据紧要度y与预设紧要度Y相比较,选取同步优先级为当前数据同步优先级,其中,
当y≤Y1,所述中央服务器选取第一预设同步优先级X1为当前数据同步优先级;
当Y1<y≤Y2,所述中央服务器选取第二预设同步优先级X2为当前数据同步优先级;
当Y2<y≤Y3,所述中央服务器选取第三预设同步优先级X3为当前数据同步优先级;
当Y3<y≤Y4,所述中央服务器选取第四预设同步优先级X4为当前数据同步优先级;
当y>Y4,所述中央服务器选取第五预设同步优先级X5为当前数据同步优先级;
其中,所述中央服务器预设紧要度Y,设定第一预设紧要度Y1、第二预设紧要度Y2、第三预设紧要度Y3、第四预设紧要度Y4,中央服务器预设同步优先级X,设定第一预设同步优先级X1、第二预设同步优先级X2、第三预设同步优先级X3、第四预设同步优先级X4、第五预设同步优先级X5。
进一步地,所述中央服务器获取当前数据单位时间生成的数据量d与预设数据量相比较,对当前数据同步优先级进行调节,其中,
当d≤D1,所述中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整;
当D1<d<D2,所述中央服务器不对获取的当前数据同步优先级进行调节;
当d≥D2,所述中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整;
其中,所述中央服务器预设数据量D,设定第一预设数据量D1,第二预设数据量D2。
进一步地,当所述中央服务器获取当前数据单位时间生成的数据量m小于等于第一预设数据量,中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整,其中,Xj1=Xj×(1-(M1-m)/M1)。
进一步地,当所述中央服务器获取当前数据单位时间生成的数据量m大于等于第二预设数据量,中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整,其中,Xj2=Xj×(1+(m-M2)/M2)。
进一步地,所述中控单元获取待同步分机Aeai的数据同步队列中各数据同步优先级T,设定第一位数据同步优先级T1、第二位数据同步优先级T2···至第w位数据同步优先级Tw,中央服务器将当前数据同步优先级Xjq与第g位数据同步优先级Tg相比较,对当前数据同步顺序进行排列,其中,
当Xjq≥Tg,所述中央服务器将当前数据同步顺序排在第g位;
当Xjq<Tg,所述中央服务器将当前数据同步优先级与第(g+1)为数据同步优先级T(g+1)相比较;
其中,q=1,2,g=1,2···w,w为大于等于2的自然数。
与现有技术相比,本发明的有益效果在于,本发明通过设置中央服务器,当所述中央服务器根据当前数据类别重要度、数据相似度以及分机权限参数获取当前数据紧要度,中央服务器根据当前数据紧要度获取其数据同步优先级,中央服务器获取当前数据单位时间生成的数据量与预设值相比较,对当前数据同步优先级进行调节,当中央服务器获取当前数据单位时间生成的数据量大于预设值,中央服务器提高当前数据同步优先级,当中央服务器获取当前数据单位时间生成的数据量小于预设值,中央服务器降低当前数据同步优先级,以提高紧要度高的数据同步效率。
尤其,本发明设置若干分机组,各分机组设置有若干分机,各分机同步一个数据内容的数据内容,以使当前数据在每个分机组都有同步的数据信息,实现每个分机组的数据相同,避免因某一分机组内分机数据损害或某一分机组出现错误导致保存的数据丢失。同时,各分机组中各分机有多个同步数据,中央服务器获取同步数据队列量,选取同步数据队列量最少的为待同步分机,用以提高当前数据的同步效率,避免因排队时间过长,导致数据传输发生流失。
尤其,本发明根据不同的数据内容设置不同数据内容重要度,中央服务器根据预设时间内数据内容访问量与预设访问量标准值相比较,用以根据在一定时间内访问量评价该数据的使用频率,对数据内容重要度进行调节,其中,当中央服务器获取的预设时间内数据内容访问量小于等于预设访问量标准值,说明当前数据内容使用频率较低,中央服务器以预设时间内该数据内容实时访问量与预设标准值的差值为标准将该数据内容重要度降低,当中央服务器获取的预设时间内数据内容访问量大于预设访问量标准值,说明当前数据内容使用频率较高,中央服务器以预设时间内该数据内容实时访问量与预设标准值的差值为标准将该数据内容重要度提高,以获取更准确的数据内容重要度。
尤其,本发明根据数据类别重要度、数据相似度以及分机权限参数获取数据紧要度,用以评价当前数据的紧要程度,数据紧要度与数据重要度、分机权限参数成正比,与数据相似度成反比,即当数据重要度、分机权限参数越高,其数据紧要度越高,数据相似度越高,其紧要度越低,同时,中央服务器将预设数据紧要度划分为明确的四个标准,中央服务器获取当前数据紧要度与预设的是个标准相比较,选取最佳的同步优先级作为当前数据的优先级,其中,若当前数据紧要度较低,其选取的同步优先级级别较低,以实现紧要程度高的数据提高同步顺序,紧要程度低的数据降低同步顺序,以尽可能的同步更为重要的数据的同时提高同步效率。
尤其,本发明将数据量划分为两个明确的标准,中央服务器将获取的当前数据单位时间生成的数据量与预设数据量相比较,对选取的当前数据同步优先级进行调节,其中,当中央服务器获取的当前数据单位时间生成的数据量小于等于第一预设数据量,说明当前数据生成速率较低,其重要性较低,中央服务器以获取当前数据单位时间生成的数据量与第一预设数据量的差值为标准值降低获取的当前数据同步优先级,当中央服务器获取的当前数据单位时间生成的数据量大于第第二预设数据量,说明当前数据生成速率较快,其重要性较高,中央服务器以获取当前数据单位时间生成的数据量与第二预设数据量的差值为标准值提高获取的当前数据同步优先级,用以获取准确的数据同步优先级,以使同步稳定的进行,避免出现数据传输不稳定的情况。
尤其,本发明中央服务器根据待同步分机的数据同步队列中各数据的同步优先级,中央服务器根据当前数据同步优先级与各数据同步优先级分别比较,若当前数据同步优先级大于等于待比较的数据同步优先级,则将当前数据顺序排在该待比较数据的顺序上,待比较数据顺序依次排列,若当前数据同步优先级小于待比较的数据同步优先级,则与下一顺序的待比较数据同步优先级进行比较,直至将当前数据排在规定顺序上,若当前数据同步优先级均小于数据同步队列中各数据同步优先级,则当前数据排在最后的顺序。
附图说明
图1为发明实施例分布式数据库数据同步方法示意图;
图2为发明实施例分布式数据库数据同步系统结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,其为本发明实施例分布式数据库数据同步方法,包括:
步骤S1,分机将接收的数据上传至中央服务器,所述数据包括数据内容、所述分机权限参数以及时间戳;
步骤S2,所述中央服务器根据当前数据内容种类,选取待同步的分机;
步骤S3,中央服务器将各分机组的分机中同步数据队列量最小值的分机选为当前数据待同步分机;
步骤S4,中央服务器获取当前数据紧要度,根据其紧要度选取当前数据同步优先级,中央服务器根据当前数据同步优先级与待同步分机中队列中数据同步优先级相比较,将待同步分机的数据同步队列中数据同步顺序进行重新排序;
步骤S5,所述中央服务器将当前数据同步至待同步分机后,更新当前数据时间戳,重复步骤S3-S4直至各分机组均同步有当前数据内容;
当所述中央服务器根据当前数据类别重要度、数据相似度以及分机权限参数获取当前数据紧要度,中央服务器根据当前数据紧要度获取其数据同步优先级,中央服务器获取当前数据单位时间生成的数据量与预设值相比较,对当前数据同步优先级进行调节,当中央服务器获取当前数据单位时间生成的数据量大于预设值,中央服务器提高当前数据同步优先级,当中央服务器获取当前数据单位时间生成的数据量小于预设值,中央服务器降低当前数据同步优先级,以提高紧要度高的数据同步效率。
请参阅图2所示,其为本发明实施例分布式数据库数据同步系统结构示意图,包括:中央服务器,用于获取分机上传的数据和向各分机同步数据;
若干分机组,用于保存全部数据,所述分机组包括若干分机,所述分机用于保存各数据内容数据。
其中,所述中央服务器预设分机组A,设定第一分机组A1、第一分机组A1···第m分机组Am,其中,第一分机组A1包括第一分机组第一分机A1a1,第一分机组第二分机组A1a2···第一分机组第n分机A1an,第二分机组A2包括第二分机组第一分机A2a1,第二分机组第二分机组A2a2···第二分机组第n分机A2an···第m分机组Am包括第m分机组Am第一分机Ama1、第m分机组Am第二分机Ama2···第m分机组Am第n分机Aman,中央服务器获取当前数据内容为Li,选取各分机组第i分机Aeai为待同步分机;
其中,所述中央服务器预设数据内容L,设定第一数据内容L1、第二数据内容L2···第n数据内容Ln,i=1,2···n,e=1,2···m,n为大于等于2的自然数,m为大于等于2的自然数,其中,m为分机组的数量,n为分机数量,分机数量与数据内容数量相同。
具体而言,本发明实施例所述中央服务器获取第一分机组第i分机A1ai中同步数据队列量k1i,第二分机组第i分机A2ai中同步数据队列量k2i···第m分机组第i分机Amai中同步数据队列量kmi,中央服务器获取第e分机组第i分机Aeai中同步数据队列量kei为最小值,将第e分机组第i分机设为待同步分机。
其中,本发明设置若干分机组,各分机组设置有若干分机,各分机同步一个数据内容的数据内容,以使当前数据在每个分机组都有同步的数据信息,实现每个分机组的数据相同,避免因某一分机组内分机数据损害或某一分机组出现错误导致保存的数据丢失。同时,各分机组中各分机有多个同步数据,中央服务器获取同步数据队列量,选取同步数据队列量最少的为待同步分机,用以提高当前数据的同步效率,避免因排队时间过长,导致数据传输发生流失。
具体而言,本发明实施例不对分机组数目、分机数目及数据内容进行限定,本发明实施例提供一种实施例,设置第一分机组包括第一分机、第二分机、第三分机及第四分机,设置第二分机组包括第一分机、第二分机、第三分机及第四分机,设置第三分机组包括第一分机、第二分机、第三分机及第四分机,设置第四分机组包括第一分机、第二分机、第三分机及第四分机,设置第五分机组包括第一分机、第二分机、第三分机及第四分机,其中,第一分机组至第五分机组中第一分机内保存有第一数据内容,第一数据内容为文本,第二分机内保存有第二数据内容,第二数据内容为图片,第三分机内保存有第三数据内容,第三数据内容为音频,第四分机内保存有第四数据内容,第四数据内容为视频,因此,若当前数据为文本,该文本应同步于第一分机组第一分机、第二分机组第一分机、第三分机组第一分机、第四分机组第一分机以及第五分机组第一分机。
具体而言,本发明实施例提供另一种实施例设置第一分机组包括第一分机、第二分机、第三分机及第四分机,第五分机,设置第二分机组包括第一分机、第二分机、第三分机及第四分机,第五分机,设置第三分机组包括第一分机、第二分机、第三分机及第四分机,第五分机,其中,第一分机组至第三分机组中第一分机内保存有第一数据内容,第一数据内容为用户信息,第二分机内保存有第二数据内容,第二数据内容为应用程序,第三分机内保存有第三数据内容,第三数据内容为操作系统文件,第四分机内保存有第四数据内容,第四数据内容为应用数据文件,第五分机内保存有第五数据内容,第五数据内容为应用实例文件,因此,若当前数据为应用数据文件,该应用数据文件应同步于第一分机组第四分机、第二分机组第四分机、第三分机组第四分机。
其中,所述中央服务器预设数据内容重要度H,设定第一数据内容重要度H1、第一数据内容重要度H1···第n数据内容重要度Hn,中央服务器获取当前数据内容Li,选取Hi为当前数据内容重要度,中央服务器获取预设时间内数据内容访问量f与预设访问量标准值F0相比较,对获取的当前数据内容重要度Hi进行调节,其中,
当f≤F0,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1;
当f>F0,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2;
其中,i=1,2···n。
具体而言,本发明实施例对预设数据内容重要度不作限定,其根据具体使用场景,具体设置,只要其能够评价各数据内容的重要程度即可,本发明实施例提供一种优选的实施方案,使用场景为新闻数据同步时,其中,当第一数据内容为文本,设定其重要度为0.8,第二数据内容为图片,设定其重要度为1.2,第三数据内容为音频,设定其重要度为1.4,第四数据内容为视频,设定其重要度为1.6。
其中,当所述中央服务器获取预设时间内数据内容访问量f小于等于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1,设定Hi1=Hi×(1-(F0-f)/F0);当所述中央服务器获取预设时间内数据内容访问量f大于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2,设定Hi2=Hi×(1+(f-F0)/F0)。
具体而言,本发明根据不同的数据内容设置不同数据内容重要度,中央服务器根据预设时间内数据内容访问量与预设访问量标准值相比较,用以根据在一定时间内访问量评价该数据的使用频率,对数据内容重要度进行调节,其中,当中央服务器获取的预设时间内数据内容访问量小于等于预设访问量标准值,说明当前数据内容使用频率较低,中央服务器以预设时间内该数据内容实时访问量与预设标准值的差值为标准将该数据内容重要度降低,当中央服务器获取的预设时间内数据内容访问量大于预设访问量标准值,说明当前数据内容使用频率较高,中央服务器以预设时间内该数据内容实时访问量与预设标准值的差值为标准将该数据内容重要度提高,以获取更准确的数据内容重要度。
所述中央服务器设置数据紧要度y,设定y=H/S×Q,其中,H为数据重要度,S为数据相似度,Q为分机权限参数,中央服务器获取当前数据紧要度y与预设紧要度Y相比较,选取同步优先级为当前数据同步优先级,其中,
当y≤Y1,所述中央服务器选取第一预设同步优先级X1为当前数据同步优先级;
当Y1<y≤Y2,所述中央服务器选取第二预设同步优先级X2为当前数据同步优先级;
当Y2<y≤Y3,所述中央服务器选取第三预设同步优先级X3为当前数据同步优先级;
当Y3<y≤Y4,所述中央服务器选取第四预设同步优先级X4为当前数据同步优先级;
当y>Y4,所述中央服务器选取第五预设同步优先级X5为当前数据同步优先级;
其中,所述中央服务器预设紧要度Y,设定第一预设紧要度Y1、第二预设紧要度Y2、第三预设紧要度Y3、第四预设紧要度Y4,中央服务器预设同步优先级X,设定第一预设同步优先级X1、第二预设同步优先级X2、第三预设同步优先级X3、第四预设同步优先级X4、第五预设同步优先级X5。
具体而言,本发明根据数据类别重要度、数据相似度以及分机权限参数获取数据紧要度,用以评价当前数据的紧要程度,数据紧要度与数据重要度、分机权限参数成正比,与数据相似度成反比,即当数据重要度、分机权限参数越高,其数据紧要度越高,数据相似度越高,其紧要度越低,同时,中央服务器将预设数据紧要度划分为明确的四个标准,中央服务器获取当前数据紧要度与预设的是个标准相比较,选取最佳的同步优先级作为当前数据的优先级,其中,若当前数据紧要度较低,其选取的同步优先级级别较低,以实现紧要程度高的数据提高同步顺序,紧要程度低的数据降低同步顺序,以尽可能的同步更为重要的数据的同时提高同步效率。
具体而言,本发明实施例不对同步优先级进行限定,其根据具体场景和数据情况进行设定,本发明实施例提供一种优选的实施方案,同步优先级为1-10,其中,第一预设同步优先级1、第二预设同步优先级3、第三预设同步优先级5、第四预设同步优先级8、第五预设同步优先级10。同时,本发明实施例对各分机权限不做限定,只要其能够满足对各分机的使用权限进行设定即可,可以根据各分机的地理位置、地理距离或分机的安全保密状态进行设定,本发明实施例提供一种优选的分机权限参数,若分机组A1为北京地区、分机组A2为天津地区、分机组A3为保定地区,则分机组A1的分机权限参数为5,分机组A2的分机权限参数为3,分机组A,3的分机权限参数为1。
所述中央服务器获取当前数据单位时间生成的数据量d与预设数据量相比较,对当前数据同步优先级进行调节,其中,
当d≤D1,所述中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整;
当D1<d<D2,所述中央服务器不对获取的当前数据同步优先级进行调节;
当d≥D2,所述中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整;
其中,所述中央服务器预设数据量D,设定第一预设数据量D1,第二预设数据量D2。
具体而言,当所述中央服务器获取当前数据单位时间生成的数据量m小于等于第一预设数据量,中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整,其中,Xj1=Xj×(1-(M1-m)/M1)。
其中,当所述中央服务器获取当前数据单位时间生成的数据量m大于等于第二预设数据量,中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整,其中,Xj2=Xj×(1+(m-M2)/M2)。
具体而言,本发明将数据量划分为两个明确的标准,中央服务器将获取的当前数据单位时间生成的数据量与预设数据量相比较,对选取的当前数据同步优先级进行调节,其中,当中央服务器获取的当前数据单位时间生成的数据量小于等于第一预设数据量,说明当前数据生成速率较低,其重要性较低,中央服务器以获取当前数据单位时间生成的数据量与第一预设数据量的差值为标准值降低获取的当前数据同步优先级,当中央服务器获取的当前数据单位时间生成的数据量大于第第二预设数据量,说明当前数据生成速率较快,其重要性较高,中央服务器以获取当前数据单位时间生成的数据量与第二预设数据量的差值为标准值提高获取的当前数据同步优先级,用以获取准确的数据同步优先级,以使同步稳定的进行,避免出现数据传输不稳定的情况。
所述中控单元获取待同步分机Aeai的数据同步队列中各数据同步优先级T,设定第一位数据同步优先级T1、第二位数据同步优先级T2···至第w位数据同步优先级Tw,中央服务器将当前数据同步优先级Xjq与第g位数据同步优先级Tg相比较,对当前数据同步顺序进行排列,其中,
当Xjq≥Tg,所述中央服务器将当前数据同步顺序排在第g位;
当Xjq<Tg,所述中央服务器将当前数据同步优先级与第(g+1)为数据同步优先级T(g+1)相比较;
其中,q=1,2,g=1,2···w,w为大于等于2的自然数。
具体而言,本发明中央服务器根据待同步分机的数据同步队列中各数据的同步优先级,中央服务器根据当前数据同步优先级与各数据同步优先级分别比较,若当前数据同步优先级大于等于待比较的数据同步优先级,则将当前数据顺序排在该待比较数据的顺序上,待比较数据顺序依次排列,若当前数据同步优先级小于待比较的数据同步优先级,则与下一顺序的待比较数据同步优先级进行比较,直至将当前数据排在规定顺序上,若当前数据同步优先级均小于数据同步队列中各数据同步优先级,则当前数据排在最后的顺序。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种分布式数据库数据同步方法,其特征在于,包括:
步骤S1,分机将接收的数据上传至中央服务器,所述数据包括数据内容、所述分机权限参数以及时间戳;
步骤S2,所述中央服务器根据当前数据内容种类,选取待同步的分机;
步骤S3,中央服务器将各分机组的分机中同步数据队列量最小值的分机选为当前数据待同步分机;
步骤S4,中央服务器获取当前数据紧要度,根据其紧要度选取当前数据同步优先级,中央服务器根据当前数据同步优先级与待同步分机中队列中数据同步优先级相比较,将待同步分机的数据同步队列中数据同步顺序进行重新排序;
步骤S5,所述中央服务器将当前数据同步至待同步分机后,更新当前数据时间戳,重复步骤S3-S4直至各分机组均同步有当前数据内容;
当所述中央服务器根据当前数据类别重要度、数据相似度以及分机权限系数获取当前数据紧要度,中央服务器根据当前数据紧要度获取其数据同步优先级,中央服务器获取当前数据单位时间生成的数据量与预设值相比较,对当前数据同步优先级进行调节,当中央服务器获取当前数据单位时间生成的数据量大于预设值,中央服务器提高当前数据同步优先级,当中央服务器获取当前数据单位时间生成的数据量小于预设值,中央服务器降低当前数据同步优先级,以提高紧要度高的数据同步效率;
所述中央服务器预设分机组A,设定第一分机组A1、第一分机组A1···第m分机组Am,其中,第一分机组A1包括第一分机组第一分机A1a1,第一分机组第二分机组A1a2···第一分机组第n分机A1an,第二分机组A2包括第二分机组第一分机A2a1,第二分机组第二分机组A2a2···第二分机组第n分机A2an···第m分机组Am包括第m分机组Am第一分机Ama1、第m分机组Am第二分机Ama2···第m分机组Am第n分机Aman,中央服务器获取当前数据内容为Li,选取各分机组第i分机Aeai为待同步分机;
其中,所述中央服务器预设数据内容L,设定第一数据内容L1、第二数据内容L2···第n数据内容Ln,i=1,2···n,e=1,2··· m,n为大于等于2的自然数,m为大于等于2的自然数,其中,m为分机组的数量,n为分机数量,分机数量与数据内容数量相同;
所述中央服务器预设数据内容重要度H,设定第一数据内容重要度H1、第一数据内容重要度H1···第n数据内容重要度Hn,中央服务器获取当前数据内容Li,选取Hi为当前数据内容重要度,中央服务器获取预设时间内数据内容访问量f与预设访问量标准值F0相比较,对获取的当前数据内容重要度Hi进行调节,其中,
当f≤F0,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1;
当f>F0,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2;
所述中央服务器设置数据紧要度y,设定y=H/S×Q,其中,H为数据重要度,S为数据相似度,Q为分机权限参数,中央服务器获取当前数据紧要度y与预设紧要度Y相比较,选取同步优先级为当前数据同步优先级,其中,
当y≤Y1,所述中央服务器选取第一预设同步优先级X1为当前数据同步优先级;
当Y1<y≤Y2,所述中央服务器选取第二预设同步优先级X2为当前数据同步优先级;
当Y2<y≤Y3,所述中央服务器选取第三预设同步优先级X3为当前数据同步优先级;
当Y3<y≤Y4,所述中央服务器选取第四预设同步优先级X4为当前数据同步优先级;
当y>Y4,所述中央服务器选取第五预设同步优先级X5为当前数据同步优先级;
其中,所述中央服务器预设紧要度Y,设定第一预设紧要度Y1、第二预设紧要度Y2、第三预设紧要度Y3、第四预设紧要度Y4,中央服务器预设同步优先级X,设定第一预设同步优先级X1、第二预设同步优先级X2、第三预设同步优先级X3、第四预设同步优先级X4、第五预设同步优先级X5。
2.根据权利要求1所述的分布式数据库数据同步方法,其特征在于,所述中央服务器获取第一分机组第i分机A1ai中同步数据队列量k1i,第二分机组第i分机A2ai中同步数据队列量k2i···第m分机组第i分机Amai中同步数据队列量kmi,中央服务器获取第e分机组第i分机Aeai中同步数据队列量kei为最小值,将第e分机组第i分机设为待同步分机。
3.根据权利要求1所述的分布式数据库数据同步方法,其特征在于,当所述中央服务器获取预设时间内数据内容访问量f小于等于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi降低至Hi1,设定Hi1=Hi×(1-(F0-f)/F0);当所述中央服务器获取预设时间内数据内容访问量f大于预设访问量标准值时,所述中央服务器将获取的当前数据内容重要度Hi提高至Hi2,设定Hi2=Hi×(1+(f-F0)/F0)。
4.根据权利要求3所述的分布式数据库数据同步方法,其特征在于,所述中央服务器获取当前数据单位时间生成的数据量d与预设数据量相比较,对当前数据同步优先级进行调节,其中,
当d≤D1,所述中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整;
当D1<d<D2,所述中央服务器不对获取的当前数据同步优先级进行调节;
当d≥D2,所述中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整;
其中,所述中央服务器预设数据量D,设定第一预设数据量D1,第二预设数据量D2。
5.根据权利要求4所述的分布式数据库数据同步方法,其特征在于,当所述中央服务器获取当前数据单位时间生成的数据量m小于等于第一预设数据量,中央服务器将获取的当前数据同步优先级Xj降低至Xj1,若Xj1不是整数,则向下取整,其中,Xj1=Xj×(1-(M1-m)/M1)。
6.根据权利要求4所述的分布式数据库数据同步方法,其特征在于,当所述中央服务器获取当前数据单位时间生成的数据量m大于等于第二预设数据量,中央服务器将获取的当前数据同步优先级Xj提高至Xj2,若Xj2不是整数,则向上取整,其中,Xj2=Xj×(1+(m-M2)/M2)。
7.根据权利要求4所述的分布式数据库数据同步方法,其特征在于,中控单元获取待同步分机Aeai的数据同步队列中各数据同步优先级T,设定第一位数据同步优先级T1、第二位数据同步优先级T2···至第w位数据同步优先级Tw,中央服务器将当前数据同步优先级Xjq与第g位数据同步优先级Tg相比较,对当前数据同步顺序进行排列,其中,
当Xjq≥Tg,所述中央服务器将当前数据同步顺序排在第g位;
当Xjq<Tg,所述中央服务器将当前数据同步优先级与第(g+1)为数据同步优先级T(g+1)相比较;
其中,q=1,2,g=1,2···w,w为大于等于2的自然数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513544.4A CN113918656B (zh) | 2021-12-13 | 2021-12-13 | 一种分布式数据库数据同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513544.4A CN113918656B (zh) | 2021-12-13 | 2021-12-13 | 一种分布式数据库数据同步方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113918656A CN113918656A (zh) | 2022-01-11 |
CN113918656B true CN113918656B (zh) | 2022-02-18 |
Family
ID=79248467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111513544.4A Active CN113918656B (zh) | 2021-12-13 | 2021-12-13 | 一种分布式数据库数据同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113918656B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116708480B (zh) * | 2023-07-27 | 2023-09-29 | 深圳迅策科技有限公司 | 一种基于Datax框架的数据同步方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096548A (zh) * | 2019-03-21 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 数据同步的方法、装置、计算机设备及计算机存储介质 |
WO2019148981A1 (zh) * | 2018-01-30 | 2019-08-08 | 深圳阿凡达智控有限公司 | 数据同步方法、装置及电子烟 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965954B2 (en) * | 2008-10-21 | 2015-02-24 | Google Inc. | Always ready client/server data synchronization |
US11163792B2 (en) * | 2019-05-29 | 2021-11-02 | International Business Machines Corporation | Work assignment in parallelized database synchronization |
-
2021
- 2021-12-13 CN CN202111513544.4A patent/CN113918656B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019148981A1 (zh) * | 2018-01-30 | 2019-08-08 | 深圳阿凡达智控有限公司 | 数据同步方法、装置及电子烟 |
CN110096548A (zh) * | 2019-03-21 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 数据同步的方法、装置、计算机设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113918656A (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107295080B (zh) | 应用于分布式服务器集群的数据存储方法和服务器 | |
EP3279794B1 (en) | Time-based node election method and apparatus | |
CN111767143B (zh) | 交易数据处理方法、装置、设备及系统 | |
US9870370B2 (en) | Enterprise level data collection systems and methodologies | |
CN112583931B (zh) | 消息处理方法、消息中间件、电子设备和存储介质 | |
CN109376197B (zh) | 一种数据同步方法、服务器及计算机存储介质 | |
WO2023029519A1 (zh) | 一种数据同步方法及装置、计算机设备、存储介质 | |
CN112261135A (zh) | 基于一致性协议的节点选举方法、系统、装置及设备 | |
CN113918656B (zh) | 一种分布式数据库数据同步方法 | |
CN109639773A (zh) | 一种动态构建的分布式数据集群控制系统及其方法 | |
CN109167819B (zh) | 数据同步系统、方法、装置及存储介质 | |
CN107220271A (zh) | 一种分布式数字资源存储处理与管理的方法及系统 | |
CN110138753B (zh) | 分布式消息服务系统、方法、设备及计算机可读存储介质 | |
CN107016075A (zh) | 集群数据同步方法及装置 | |
CN112667747B (zh) | 支持自定义插件的动态配置多数据库分布式持久化方法 | |
CN116304390B (zh) | 时序数据处理方法、装置、存储介质及电子设备 | |
CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
CN114996350A (zh) | 一种区块链中的区块状态同步方法及第一节点 | |
CN115102862A (zh) | 一种用于sdn设备的自动同步方法及装置 | |
CN112256454A (zh) | 消息延时处理方法和系统 | |
CN113965538A (zh) | 设备状态消息处理方法、装置及存储介质 | |
CN110935168A (zh) | 用于全球同服架构的分布式id生成方法、装置及设备 | |
EP4148565A1 (en) | Application deployment method, application blueprint generation method, platform, terminal, and medium | |
CN114979153B (zh) | 负载均衡方法、计算机设备及存储装置 | |
CN117478300B (zh) | 基于节点确定的跨链共识方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |