CN111274315A - 同步数据通道构建方法、装置、计算机设备和存储介质 - Google Patents

同步数据通道构建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111274315A
CN111274315A CN202010043724.XA CN202010043724A CN111274315A CN 111274315 A CN111274315 A CN 111274315A CN 202010043724 A CN202010043724 A CN 202010043724A CN 111274315 A CN111274315 A CN 111274315A
Authority
CN
China
Prior art keywords
databases
data channel
synchronous data
database
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010043724.XA
Other languages
English (en)
Other versions
CN111274315B (zh
Inventor
王永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Medical Health Technology Service Co Ltd
Original Assignee
Ping An Medical and Healthcare Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Medical and Healthcare Management Co Ltd filed Critical Ping An Medical and Healthcare Management Co Ltd
Priority to CN202010043724.XA priority Critical patent/CN111274315B/zh
Publication of CN111274315A publication Critical patent/CN111274315A/zh
Application granted granted Critical
Publication of CN111274315B publication Critical patent/CN111274315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication

Abstract

本申请揭示了一种同步数据通道构建方法、装置、计算机设备和存储介质,所述方法包括:接收对多个指定数据库进行同步的同步请求;若多个指定数据库的数量大于预设的数量阈值,则获取多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。

Description

同步数据通道构建方法、装置、计算机设备和存储介质
技术领域
本申请涉及到计算机领域,特别是涉及到一种同步数据通道构建方法、装置、计算机设备和存储介质。
背景技术
自大数据平台建立以来,不同数据库之间的数据同步就显得特别重要。数据库中的数据发生变化,大致包括数据删除、数据修改和数据增加。传统的数据同步方案,对于这三种情况并不加以区分,即在同步时是对这三种情况的数据进行同步,因此在同步时,需要在每两个数据库之间均构建同步数据通道。这种同步方案,当对大量数据库进行同步时,需要建立非常多的同步数据通道,例如对于8个数据库进行同步,则需要建立28条同步数据通道,因此耗时长且耗费的计算资源多。
发明内容
本申请的主要目的为提供一种同步数据通道构建方法、装置、计算机设备和存储介质,旨在实现快速地数据库同步,减少计算资源耗费。
为了实现上述发明目的,本申请提出一种同步数据通道构建方法,包括以下步骤:
接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
判断所述多个指定数据库的数量是否大于预设的数量阈值;
若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
进一步地,所述特征信息包括多个子信息,所述根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值的步骤,包括:
根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息;
根据预设的向量映射方法,将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B;
根据公式:
Figure BDA0002368641470000021
计算出指定数据库与预设的标准数据库的参照匹配值P,其中A为所述第一向量,Ai为所述第一向量的第i个分向量,B为所述第二向量,Bi为所述第二向量的第i个分向量,C为所述标准数据库的第一子特征信息映射得到的向量,Ci为向量C的第i个分向量,D为所述标准数据库的第二子特征信息映射得到的向量,Di为向量D的第i个分向量,向量A和向量C均具有m个分向量,向量B和向量D均具有n个分向量;
根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而得到所述多个指定数据库之间的匹配程度值。
进一步地,所述根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤,包括:
根据信息是否随时间发生变化的划分规则,从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息,其中所述第一暂时子信息不随时间变化,所述第二暂时子信息随时间变化;
获取所述第二暂时子信息随时间的变化曲线,并根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值,从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值;
判断所述多个曲线相似度值是否均小于预设的曲线相似阈值;
若所述曲线相似度值不均小于预设的曲线相似阈值,则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值,所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值;
将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息,以及将所述第四暂时子信息记为第二子特征信息。
进一步地,所述根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值的步骤,包括:
根据公式:
M(t)=min(H(t),u),其中
Figure BDA0002368641470000031
获取相似衡量函数M(t),其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数,f(t)为预设的标准曲线对应的函数,min指最小值函数,u为预设的大于0的预设参数,t为时间;
获取所述相似衡量函数M(t)的正常时间长度和异常时间长度,其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度,所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度;
根据公式:正常比例数值=正常时间长度/(正常时间长度+异常时间长度),计算出所述正常比例数值,并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
进一步地,所述根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库的步骤,包括:
统计同一分组中的每个数据库的新增数据量;
从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
进一步地,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤,包括:
采用数据同步工具DataX,在每两个第一数据库之间构建第一同步数据通道,并且将所述第一同步数据通道设置为并发连接模式,所述第一同步数据通道为短连接通道;
在同一个分组内构建第二同步数据通道,所述第二同步数据通道呈放射型网络状,所述放射型网络状的中心端为第一数据库,所述放射型网络状的放射端分别连接同一个分组内的其他数据库,所述第二同步数据通道为长连接通道。
进一步地,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤之后,包括:
利用所述第二同步数据通道,实时进行组内数据更新处理,以使每个分组的第一数据库实时获取所属分组的最新数据;
判断任一第一数据库的更新数据量是否大于预设的更新阈值;
若任一第一数据库的更新数据量大于预设的更新阈值,则利用所有的第一同步数据通道,进行组外数据更新处理,所述组外数据更新处理指多个第一数据库之间进行数据更新。
本申请提供一种同步数据通道构建装置,包括:
同步请求接收单元,用于接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
数量阈值判断单元,用于判断所述多个指定数据库的数量是否大于预设的数量阈值;
特征信息获取单元,用于若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
匹配程度值计算单元,用于根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
数据库分组单元,用于根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
数据库筛选单元,用于根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
同步数据通道构建单元,用于在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的同步数据通道构建方法、装置、计算机设备和存储介质,接收对多个指定数据库进行同步的同步请求;若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
附图说明
图1为本申请一实施例的同步数据通道构建方法的流程示意图;
图2为本申请一实施例的同步数据通道构建装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种同步数据通道构建方法,包括以下步骤:
S1、接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
S2、判断所述多个指定数据库的数量是否大于预设的数量阈值;
S3、若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
S4、根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
S5、根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
S6、根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
S7、在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
本申请的执行主体可为任意可行主体,例如为同步控制中心,所述同步控制中心具有所有数据库的权限,从而具有进行分组、通道构建、控制数据同步的能力。本申请通过先分组再构建不同层次的同步数据通道(即第一同步数据通道和第二同步数据通道)的方式,极大的减小了同步数据通道的总数量,耗时短且耗费的计算资源少。例如,对于8个数据库进行同步,将其分为4组,每组中有两个数据库,则需要的同步数据通道数量为4+6=10条,相较于传统方案中需要建立28条同步数据通道,大大减少了同步数据通道的数量。并且同组内采用长连接通道,使数据同步的效率更高。
如上述步骤S1所述,接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求。数据库中的数据发生变化,大致包括数据删除、数据修改和数据增加。对于涉及数据删除、数据修改的情况,由于要考虑原有数据的变化,因此不适合采用本申请的分组后再同步的方式(因为对于组外的一个数据库和组内的非第一数据库而言,其同步无法考虑到这两个数据库之间的数据删除、数据修改的情况,容易出错)。因此,本申请的同步请求为对新增数据进行同步的请求,从而同步时只需考虑新增数据即可,能够快速完成所有数据库的数据更新。
如上述步骤S2所述,判断所述多个指定数据库的数量是否大于预设的数量阈值。本申请的目的在于克服多数据库同步时需要构建的同步数据通道的数量太多的问题,因此在所述多个指定数据库的数量较少的情况,例如2个或3个数据库时,无需使用本申请的方案。其中,所述数量阈值可为任意可行数值,例如为4-10。
如上述步骤S3所述,若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途。若所述多个指定数据库的数量大于预设的数量阈值,表明适用于本申请的先分组再同步的方法。所述特征信息表明了数据库的特性,将用于衡量数据库之间的匹配程度,进而将所有的数据库分为多个分组。所述特征信息至少包括指定数据库类型和指定数据库用途,由于数据库的同步,其类型和用途是关键信息,相比于异类数据库,同类数据库更适宜于分为同一分组;相对于不同用途的数据库,相同用途的数据库更适宜于分为同一分组。
如上述步骤S4所述,根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值。其中所述匹配程度值可为任意可行形式的匹配程度值,例如为每两个数据库之间的匹配程度值,或者为相对于标准数据库的匹配程度值。其中,所述预设的匹配算法可为任意算法,例如:先将特征信息映射为向量,再计算向量之间的相似程度,再将向量之间的相似程度记为匹配程度值。
如上述步骤S5所述,根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半。其中预设的分组方法的目的在于,将相近的数据库分到同一分组,由于同一分组将采用的是长连接的数据通道,因此越相近的数据库产生的通信消耗越少,有助于减少总的计算消耗。其中所述分组方法可为任意可行方法,例如将匹配程度值在同一范围内的数据库分为同一分组。
如上述步骤S6所述,根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库。本申请采用的是先分组再同步的方法,因此在不同分组之间,需要构建连接通道,而该连接通道的两端对应的数据库,应当是能够代表其所在分组的数据库。因此根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库。其中,第一数据库在分组内的数据同步速度越快,则总的数据同步速度越快,因此所述指定数据库筛选方法可采用任意可行方法,例如为统计同一分组中的每个数据库的新增数据量;从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
如上述步骤S7所述,在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。其中短连接通道与长连接通道是相对而言的;短连接通道指在需要的时候,才建立连接,数据发送完成后,则断开此连接;长连接通道指长时间维持连接通道,以保持数据实时发送。本申请设置了不同层级的同步数据通道,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道,从而使同一分组内的数据同步为实时同步,而不同分组之间的数据同步为异时同步。由于同一分组内的数据库相近,因此采用长连接通道的成本较低,但能够提高同步的效率。而分组之间的数据库差别较大,采用短连接通道以减少通信消耗。
在一个实施方式中,所述特征信息包括多个子信息,所述根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值的步骤S4,包括:
S401、根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息;
S402、根据预设的向量映射方法,将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B;
S403、根据公式:
Figure BDA0002368641470000091
计算出指定数据库与预设的标准数据库的参照匹配值P,其中A为所述第一向量,Ai为所述第一向量的第i个分向量,B为所述第二向量,Bi为所述第二向量的第i个分向量,C为所述标准数据库的第一子特征信息映射得到的向量,Ci为向量C的第i个分向量,D为所述标准数据库的第二子特征信息映射得到的向量,Di为向量D的第i个分向量,向量A和向量C均具有m个分向量,向量B和向量D均具有n个分向量;
S404、根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而得到所述多个指定数据库之间的匹配程度值。
如上所述,实现了得到所述多个指定数据库之间的匹配程度值。本申请借用了标准数据库先计算出参照匹配值P,再根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而快速计算出所述多个指定数据库之间的匹配程度值。其中,计算参照匹配值P时采用了特殊的计算公式:
Figure BDA0002368641470000092
即提前将特征信息的多个子信息先划分为第一子特征信息和第二子特征信息,再将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B。从而使参照匹配值P的计算公式不仅能考虑到信息之间的差异,还能考虑到信息的变化趋势。从而提高了匹配程度值的准确性。
在一个实施方式中,所述根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤S401,包括:
S4011、根据信息是否随时间发生变化的划分规则,从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息,其中所述第一暂时子信息不随时间变化,所述第二暂时子信息随时间变化;
S4012、获取所述第二暂时子信息随时间的变化曲线,并根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值,从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值;
S4013、判断所述多个曲线相似度值是否均小于预设的曲线相似阈值;
S4014、若所述曲线相似度值不均小于预设的曲线相似阈值,则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值,所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值;
S4015、将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息,以及将所述第四暂时子信息记为第二子特征信息。
如上所述,实现了根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息。本申请将对时间不敏感的信息(即第一暂时子信息和第三暂时子信息)划分为第一子特征信息,再将对时间敏感的信息(第四暂时子信息)划分为第二子特征信息,从而利用参照匹配值P的计算公式,考虑到信息之间的差异(即对于第一子特征信息的计算过程),还能考虑到信息的变化趋势的特性(即对于第二子特征信息的计算过程),从而提高参照匹配值P的准确性。其中,由于所述第一暂时子信息不随时间变化,因此第一暂时子信息与时间不敏感,例如为数据库的类型、数据库的用途等。再借助预设的标准曲线将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,即与标准曲线相似的,则分为第三暂时子信息,与标准曲线不相似的,则分为第四暂时子信息。由于第三暂时子信息与标准曲线相似,即其变化是在预计范围内的,因此也被视为对时间不敏感,因此也将其分为第一子特征信息;反之,将第四暂时子信息分为第二子特征信息。
在一个实施方式中,所述根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值的步骤S4012,包括:
S40121、根据公式:
M(t)=min(H(t),u),其中
Figure BDA0002368641470000111
获取相似衡量函数M(t),其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数,f(t)为预设的标准曲线对应的函数,min指最小值函数,u为预设的大于0的预设参数,t为时间;
S40122、获取所述相似衡量函数M(t)的正常时间长度和异常时间长度,其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度,所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度;
S40123、根据公式:正常比例数值=正常时间长度/(正常时间长度+异常时间长度),计算出所述正常比例数值,并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
如上所述,实现了根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值。本申请采用公式:
M(t)=min(H(t),u),其中
Figure BDA0002368641470000112
获取相似衡量函数M(t)。其中所述相似衡量函数M(t)反应的是变化曲线和标准曲线之间的差异性,其中考虑了曲线的数值变化与趋势变化。当相似衡量函数M(t)取值为u时,表明函数H(t)的数值过大,处于异常状态,也即所述变化曲线和所述标准曲线在此处不相似。据此,找出在时间轴上,所述变化曲线和所述标准曲线相似之时的所有时间点,以及不相似之时的所有时间点,即可得到所述变化曲线和所述标准曲线是否相似的结论。进一步地,根据公式:正常比例数值=正常时间长度/(正常时间长度+异常时间长度),计算出所述正常比例数值,并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。从而准确性获取曲线相似度值。
在一个实施方式中,所述根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库的步骤S6,包括:
S601、统计同一分组中的每个数据库的新增数据量;
S602、从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
如上所述,实现了根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库。第一数据库中不同分组之间进行数据同步的直接节点,因此第一数据库若能够最快实现组内的数据同步,则有利于实现整体的同步效率提升。本申请采用统计同一分组中的每个数据库的新增数据量;从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量的方式,以使所述第一数据库在同组内的新增数据量最大,从而第一数据库在分组内同步时,从其他数据库中获取数据的量是最少的,从而能够最快实现第一数据库在分组内的数据同步。
在一个实施方式中,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤S7,包括:
S701、采用数据同步工具DataX,在每两个第一数据库之间构建第一同步数据通道,并且将所述第一同步数据通道设置为并发连接模式,所述第一同步数据通道为短连接通道;
S702、在同一个分组内构建第二同步数据通道,所述第二同步数据通道呈放射型网络状,所述放射型网络状的中心端为第一数据库,所述放射型网络状的放射端分别连接同一个分组内的其他数据库,所述第二同步数据通道为长连接通道。
如上所述,实现了在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道。其中,数据同步工具DataX是一个异构数据源离线同步工具,可实现同类或者异类数据库之间的数据同步功能,因此适用于在每两个第一数据库之间构建第一同步数据通道(即在不同分组之间构建同步数据通道,因为不同分组之间的数据库是异类的可能性很高,因此DataX尤其适用于构建第一同步数据通道)。并为了提高数据同步的速度,采用了将所述第一同步数据通道设置为并发连接模式的方式。所述第二同步数据通道呈放射型网络状,所述放射型网络状的中心端为第一数据库,所述放射型网络状的放射端分别连接同一个分组内的其他数据库,从而使所述第一数据库与同分组内的其他数据库均直接连接,以保证第一数据库尽快完成组内数据同步。
在一个实施方式中,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤S7之后,包括:
S71、利用所述第二同步数据通道,实时进行组内数据更新处理,以使每个分组的第一数据库实时获取所属分组的最新数据;
S72、判断任一第一数据库的更新数据量是否大于预设的更新阈值;
S73、若任一第一数据库的更新数据量大于预设的更新阈值,则利用所有的第一同步数据通道,进行组外数据更新处理,所述组外数据更新处理指多个第一数据库之间进行数据更新。
如上所述,实现了先进行组内数据更新,再进行组外数据更新。由于分组内采用的是长连接数据通道,因此利用所述第二同步数据通道,能够实时进行组内数据更新处理,以使每个分组的第一数据库实时获取所属分组的最新数据。从而每个第一数据库均能代表对应的分组,再进一步进行组外更新。为了减轻通信负担,本申请通过判断任一第一数据库的更新数据量是否大于预设的更新阈值的方式,以使更新数据量较大时再进行组外更新。即,若任一第一数据库的更新数据量大于预设的更新阈值,则利用所有的第一同步数据通道,进行组外数据更新处理,所述组外数据更新处理指多个第一数据库之间进行数据更新。从而在保证数据同步的基础上,减轻了数据通道构建和数据通信的开销。
本申请的同步数据通道构建方法,接收对多个指定数据库进行同步的同步请求;若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
参照图2,本申请实施例提供一种同步数据通道构建装置,包括:
同步请求接收单元10,用于接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
数量阈值判断单元20,用于判断所述多个指定数据库的数量是否大于预设的数量阈值;
特征信息获取单元30,用于若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
匹配程度值计算单元40,用于根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
数据库分组单元50,用于根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
数据库筛选单元60,用于根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
同步数据通道构建单元70,用于在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
其中上述单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述特征信息包括多个子信息,所述匹配程度值计算单元40,包括:
信息划分子单元,用于根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息;
信息映射子单元,用于根据预设的向量映射方法,将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B;
参照匹配值P计算子单元,用于根据公式:
Figure BDA0002368641470000151
计算出指定数据库与预设的标准数据库的参照匹配值P,其中A为所述第一向量,Ai为所述第一向量的第i个分向量,B为所述第二向量,Bi为所述第二向量的第i个分向量,C为所述标准数据库的第一子特征信息映射得到的向量,Ci为向量C的第i个分向量,D为所述标准数据库的第二子特征信息映射得到的向量,Di为向量D的第i个分向量,向量A和向量C均具有m个分向量,向量B和向量D均具有n个分向量;
匹配程度值Pjk计算子单元,用于根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而得到所述多个指定数据库之间的匹配程度值。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述信息划分子单元,包括:
暂时子信息划分模块,用于根据信息是否随时间发生变化的划分规则,从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息,其中所述第一暂时子信息不随时间变化,所述第二暂时子信息随时间变化;
曲线相似度值计算模块,用于获取所述第二暂时子信息随时间的变化曲线,并根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值,从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值;
曲线相似阈值判断模块,用于判断所述多个曲线相似度值是否均小于预设的曲线相似阈值;
第二暂时子信息划分模块,用于若所述曲线相似度值不均小于预设的曲线相似阈值,则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值,所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值;
暂时子信息标记模块,用于将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息,以及将所述第四暂时子信息记为第二子特征信息。
其中上述模块分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述曲线相似度值计算模块,包括:
相似衡量函数M(t)获取子模块,用于根据公式:
M(t)=min(H(t),u),其中
Figure BDA0002368641470000161
获取相似衡量函数M(t),其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数,f(t)为预设的标准曲线对应的函数,min指最小值函数,u为预设的大于0的预设参数,t为时间;
时间长度获取子模块,用于获取所述相似衡量函数M(t)的正常时间长度和异常时间长度,其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度,所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度;
正常比例数值计算子模块,用于根据公式:正常比例数值=正常时间长度/(正常时间长度+异常时间长度),计算出所述正常比例数值,并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
其中上述子模块分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述数据库筛选单元60,包括:
新增数据量统计子单元,用于统计同一分组中的每个数据库的新增数据量;
第一数据库筛选子单元,用于从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述同步数据通道构建单元70,包括:
第一同步数据通道构建子单元,用于采用数据同步工具DataX,在每两个第一数据库之间构建第一同步数据通道,并且将所述第一同步数据通道设置为并发连接模式,所述第一同步数据通道为短连接通道;
第二同步数据通道构建子单元,用于在同一个分组内构建第二同步数据通道,所述第二同步数据通道呈放射型网络状,所述放射型网络状的中心端为第一数据库,所述放射型网络状的放射端分别连接同一个分组内的其他数据库,所述第二同步数据通道为长连接通道。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
组内数据更新单元,用于利用所述第二同步数据通道,实时进行组内数据更新处理,以使每个分组的第一数据库实时获取所属分组的最新数据;
更新阈值判断单元,用于判断任一第一数据库的更新数据量是否大于预设的更新阈值;
组外数据更新单元,用于若任一第一数据库的更新数据量大于预设的更新阈值,则利用所有的第一同步数据通道,进行组外数据更新处理,所述组外数据更新处理指多个第一数据库之间进行数据更新。
其中上述单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本申请的同步数据通道构建装置,接收对多个指定数据库进行同步的同步请求;若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储同步数据通道构建方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种同步数据通道构建方法。
上述处理器执行上述同步数据通道构建方法,其中所述方法包括的步骤分别与执行前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,接收对多个指定数据库进行同步的同步请求;若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现同步数据通道构建方法,其中所述方法包括的步骤分别与执行前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,接收对多个指定数据库进行同步的同步请求;若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,计算出所述多个指定数据库之间的匹配程度值;利用所述匹配程度值,将所述多个指定数据库分为多个分组;根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种同步数据通道构建方法,其特征在于,包括:
接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
判断所述多个指定数据库的数量是否大于预设的数量阈值;
若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
2.根据权利要求1所述的同步数据通道构建方法,其特征在于,所述特征信息包括多个子信息,所述根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值的步骤,包括:
根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息;
根据预设的向量映射方法,将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B;
根据公式:
Figure FDA0002368641460000021
计算出指定数据库与预设的标准数据库的参照匹配值P,其中A为所述第一向量,Ai为所述第一向量的第i个分向量,B为所述第二向量,Bi为所述第二向量的第i个分向量,C为所述标准数据库的第一子特征信息映射得到的向量,Ci为向量C的第i个分向量,D为所述标准数据库的第二子特征信息映射得到的向量,Di为向量D的第i个分向量,向量A和向量C均具有m个分向量,向量B和向量D均具有n个分向量;
根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而得到所述多个指定数据库之间的匹配程度值。
3.根据权利要求2所述的同步数据通道构建方法,其特征在于,所述根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤,包括:
根据信息是否随时间发生变化的划分规则,从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息,其中所述第一暂时子信息不随时间变化,所述第二暂时子信息随时间变化;
获取所述第二暂时子信息随时间的变化曲线,并根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值,从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值;
判断所述多个曲线相似度值是否均小于预设的曲线相似阈值;
若所述曲线相似度值不均小于预设的曲线相似阈值,则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值,所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值;
将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息,以及将所述第四暂时子信息记为第二子特征信息。
4.根据权利要求3所述的同步数据通道构建方法,其特征在于,所述根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值的步骤,包括:
根据公式:
M(t)=min(H(t),u),其中
Figure FDA0002368641460000031
G(t)=F(t)-f(t),获取相似衡量函数M(t),其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数,f(t)为预设的标准曲线对应的函数,min指最小值函数,u为预设的大于0的预设参数,t为时间;
获取所述相似衡量函数M(t)的正常时间长度和异常时间长度,其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度,所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度;
根据公式:正常比例数值=正常时间长度/(正常时间长度+异常时间长度),计算出所述正常比例数值,并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
5.根据权利要求1所述的同步数据通道构建方法,其特征在于,所述根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库的步骤,包括:
统计同一分组中的每个数据库的新增数据量;
从每个分组中筛选出一个第一数据库,其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
6.根据权利要求1所述的同步数据通道构建方法,其特征在于,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤,包括:
采用数据同步工具DataX,在每两个第一数据库之间构建第一同步数据通道,并且将所述第一同步数据通道设置为并发连接模式,所述第一同步数据通道为短连接通道;
在同一个分组内构建第二同步数据通道,所述第二同步数据通道呈放射型网络状,所述放射型网络状的中心端为第一数据库,所述放射型网络状的放射端分别连接同一个分组内的其他数据库,所述第二同步数据通道为长连接通道。
7.根据权利要求1所述的同步数据通道构建方法,其特征在于,所述在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道的步骤之后,包括:
利用所述第二同步数据通道,实时进行组内数据更新处理,以使每个分组的第一数据库实时获取所属分组的最新数据;
判断任一第一数据库的更新数据量是否大于预设的更新阈值;
若任一第一数据库的更新数据量大于预设的更新阈值,则利用所有的第一同步数据通道,进行组外数据更新处理,所述组外数据更新处理指多个第一数据库之间进行数据更新。
8.一种同步数据通道构建装置,其特征在于,包括:
同步请求接收单元,用于接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
数量阈值判断单元,用于判断所述多个指定数据库的数量是否大于预设的数量阈值;
特征信息获取单元,用于若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
匹配程度值计算单元,用于根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
数据库分组单元,用于根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
数据库筛选单元,用于根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
同步数据通道构建单元,用于在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010043724.XA 2020-01-15 2020-01-15 同步数据通道构建方法、装置、计算机设备和存储介质 Active CN111274315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043724.XA CN111274315B (zh) 2020-01-15 2020-01-15 同步数据通道构建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043724.XA CN111274315B (zh) 2020-01-15 2020-01-15 同步数据通道构建方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111274315A true CN111274315A (zh) 2020-06-12
CN111274315B CN111274315B (zh) 2022-09-30

Family

ID=71003166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043724.XA Active CN111274315B (zh) 2020-01-15 2020-01-15 同步数据通道构建方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111274315B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860191A (zh) * 2021-03-02 2021-05-28 深圳市东方聚成科技有限公司 一种基于多通道的同步分道存储方法
CN113382075A (zh) * 2021-06-13 2021-09-10 南京方数信息科技有限公司 企业信息管理平台、管理方法、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059299A1 (en) * 2000-07-14 2002-05-16 Frederic Spaey System and method for synchronizing databases
CN201499184U (zh) * 2009-08-19 2010-06-02 中国民用航空总局第二研究所 一种基于tcp/ip协议的民航信息分组发布系统
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN103516761A (zh) * 2012-06-29 2014-01-15 上海斐讯数据通信技术有限公司 一种多终端访问服务器的分时控制方法及云计算系统
CN104239310A (zh) * 2013-06-08 2014-12-24 中国移动通信集团公司 分布式数据库数据同步方法和装置
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置
CN109325037A (zh) * 2018-08-17 2019-02-12 中国平安人寿保险股份有限公司 一种针对海量数据的数据同步方法、存储介质和服务器
CN110177011A (zh) * 2019-05-08 2019-08-27 武汉理工大学 一种适应动态网络结构的网络控制器部署方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059299A1 (en) * 2000-07-14 2002-05-16 Frederic Spaey System and method for synchronizing databases
CN201499184U (zh) * 2009-08-19 2010-06-02 中国民用航空总局第二研究所 一种基于tcp/ip协议的民航信息分组发布系统
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN103516761A (zh) * 2012-06-29 2014-01-15 上海斐讯数据通信技术有限公司 一种多终端访问服务器的分时控制方法及云计算系统
CN104239310A (zh) * 2013-06-08 2014-12-24 中国移动通信集团公司 分布式数据库数据同步方法和装置
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置
CN109325037A (zh) * 2018-08-17 2019-02-12 中国平安人寿保险股份有限公司 一种针对海量数据的数据同步方法、存储介质和服务器
CN110177011A (zh) * 2019-05-08 2019-08-27 武汉理工大学 一种适应动态网络结构的网络控制器部署方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860191A (zh) * 2021-03-02 2021-05-28 深圳市东方聚成科技有限公司 一种基于多通道的同步分道存储方法
CN113382075A (zh) * 2021-06-13 2021-09-10 南京方数信息科技有限公司 企业信息管理平台、管理方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111274315B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN108573371B (zh) 数据审批方法、装置、计算机设备和存储介质
CN108845881A (zh) 服务器容量动态调整的方法及装置
CN111274315B (zh) 同步数据通道构建方法、装置、计算机设备和存储介质
CN110750506A (zh) 数据对象标识生成方法、装置、计算机设备和存储介质
CN108829781A (zh) 客户信息查询方法、装置、计算机设备和存储介质
CN111669300A (zh) 基于直连测试网络的网关测试方法、装置和计算机设备
CN114143090B (zh) 基于网络安全架构的防火墙部署方法、装置、设备及介质
CN108363786A (zh) 加载数据的方法、装置、计算机设备和存储介质
Gupta et al. The update complexity of selection and related problems
CN114969061A (zh) 一种工业时序数据分布式存储方法、装置
CN112100279A (zh) 基于区块链的数据共享系统
CN108389124B (zh) 数据处理方法、装置、计算机设备和存储介质
CN110011838B (zh) 一种动态网络PageRank值的实时跟踪方法
CN114169283B (zh) 可编程逻辑器件的延时估算方法、装置、设备及存储介质
JP3791921B2 (ja) ネットワーク・トレースを解析する方法、ネットワーク・トレースを解析するための処理装置、および該処理装置としてコンピュータを制御させるためのコンピュータ実行可能なプログラム、並びにネットワークにおけるノード間の時間差補正方法
CN109218131B (zh) 网络监控方法、装置、计算机设备和存储介质
CN113810234A (zh) 微服务链路拓扑处理方法、装置及可读存储介质
CN113612632A (zh) 应用于网关设备的拓扑识别方法、装置、网关设备和介质
CN111507591B (zh) 电力系统状态确定方法、装置、计算机介质及存储介质
CN111506400A (zh) 计算资源分配系统、方法、装置和计算机设备
Osogami A fluid limit for a cache algorithm with general request processes
CN111078712B (zh) 大数据集群的更新方法、装置、计算机设备和存储介质
CN113282417A (zh) 任务分配方法、装置、计算机设备和存储介质
CN112015818A (zh) 分布式图数据库uuid生成方法、装置、设备及介质
CN111787004B (zh) 基于通信通道的组件集群生成方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220526

Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd.

Address before: Room 12G, Block H, 666 Beijing East Road, Huangpu District, Shanghai 200000

Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant