CN111274315B - 同步数据通道构建方法、装置、计算机设备和存储介质 - Google Patents
同步数据通道构建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111274315B CN111274315B CN202010043724.XA CN202010043724A CN111274315B CN 111274315 B CN111274315 B CN 111274315B CN 202010043724 A CN202010043724 A CN 202010043724A CN 111274315 B CN111274315 B CN 111274315B
- Authority
- CN
- China
- Prior art keywords
- databases
- data channel
- information
- database
- synchronous data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请揭示了一种同步数据通道构建方法、装置、计算机设备和存储介质，所述方法包括：接收对多个指定数据库进行同步的同步请求；若多个指定数据库的数量大于预设的数量阈值，则获取多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
Description
技术领域
本申请涉及到计算机领域，特别是涉及到一种同步数据通道构建方法、装置、计算机设备和存储介质。
背景技术
自大数据平台建立以来，不同数据库之间的数据同步就显得特别重要。数据库中的数据发生变化，大致包括数据删除、数据修改和数据增加。传统的数据同步方案，对于这三种情况并不加以区分，即在同步时是对这三种情况的数据进行同步，因此在同步时，需要在每两个数据库之间均构建同步数据通道。这种同步方案，当对大量数据库进行同步时，需要建立非常多的同步数据通道，例如对于8个数据库进行同步，则需要建立28条同步数据通道，因此耗时长且耗费的计算资源多。
发明内容
本申请的主要目的为提供一种同步数据通道构建方法、装置、计算机设备和存储介质，旨在实现快速地数据库同步,减少计算资源耗费。
为了实现上述发明目的，本申请提出一种同步数据通道构建方法，包括以下步骤：
接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
判断所述多个指定数据库的数量是否大于预设的数量阈值；
若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。
进一步地，所述特征信息包括多个子信息，所述根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值的步骤,包括：
根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息；
根据预设的向量映射方法，将所述第一子特征信息映射为第一向量A，以及将所述第二子特征信息映射为第二向量B；
根据公式：
根据公式：Pjk＝|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk，从而得到所述多个指定数据库之间的匹配程度值。
进一步地，所述根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤,包括：
根据信息是否随时间发生变化的划分规则，从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息，其中所述第一暂时子信息不随时间变化，所述第二暂时子信息随时间变化；
获取所述第二暂时子信息随时间的变化曲线，并根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值，从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值；
判断所述多个曲线相似度值是否均小于预设的曲线相似阈值；
若所述曲线相似度值不均小于预设的曲线相似阈值，则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息，其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值，所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值；
将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息，以及将所述第四暂时子信息记为第二子特征信息。
进一步地，所述根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值的步骤,包括：
根据公式：
M(t)＝min(H(t),u),其中
获取相似衡量函数M(t)，其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数，f(t)为预设的标准曲线对应的函数，min指最小值函数，u为预设的大于0的预设参数，t为时间；
获取所述相似衡量函数M(t)的正常时间长度和异常时间长度，其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度，所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度；
根据公式：正常比例数值＝正常时间长度/(正常时间长度+异常时间长度)，计算出所述正常比例数值，并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
进一步地，所述根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库的步骤,包括：
统计同一分组中的每个数据库的新增数据量；
从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
进一步地，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤,包括：
采用数据同步工具DataX，在每两个第一数据库之间构建第一同步数据通道，并且将所述第一同步数据通道设置为并发连接模式，所述第一同步数据通道为短连接通道；
在同一个分组内构建第二同步数据通道，所述第二同步数据通道呈放射型网络状，所述放射型网络状的中心端为第一数据库，所述放射型网络状的放射端分别连接同一个分组内的其他数据库，所述第二同步数据通道为长连接通道。
进一步地，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤之后,包括：
利用所述第二同步数据通道，实时进行组内数据更新处理，以使每个分组的第一数据库实时获取所属分组的最新数据；
判断任一第一数据库的更新数据量是否大于预设的更新阈值；
若任一第一数据库的更新数据量大于预设的更新阈值，则利用所有的第一同步数据通道，进行组外数据更新处理，所述组外数据更新处理指多个第一数据库之间进行数据更新。
本申请提供一种同步数据通道构建装置，包括：
同步请求接收单元，用于接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
数量阈值判断单元，用于判断所述多个指定数据库的数量是否大于预设的数量阈值；
特征信息获取单元，用于若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
匹配程度值计算单元，用于根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
数据库分组单元，用于根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
数据库筛选单元，用于根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
同步数据通道构建单元，用于在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的同步数据通道构建方法、装置、计算机设备和存储介质，接收对多个指定数据库进行同步的同步请求；若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
附图说明
图1为本申请一实施例的同步数据通道构建方法的流程示意图；
图2为本申请一实施例的同步数据通道构建装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种同步数据通道构建方法，包括以下步骤：
S1、接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
S2、判断所述多个指定数据库的数量是否大于预设的数量阈值；
S3、若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
S4、根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
S5、根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
S6、根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
S7、在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。
本申请的执行主体可为任意可行主体，例如为同步控制中心，所述同步控制中心具有所有数据库的权限，从而具有进行分组、通道构建、控制数据同步的能力。本申请通过先分组再构建不同层次的同步数据通道(即第一同步数据通道和第二同步数据通道)的方式，极大的减小了同步数据通道的总数量，耗时短且耗费的计算资源少。例如，对于8个数据库进行同步，将其分为4组，每组中有两个数据库，则需要的同步数据通道数量为4+6＝10条，相较于传统方案中需要建立28条同步数据通道，大大减少了同步数据通道的数量。并且同组内采用长连接通道，使数据同步的效率更高。
如上述步骤S1所述，接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求。数据库中的数据发生变化，大致包括数据删除、数据修改和数据增加。对于涉及数据删除、数据修改的情况，由于要考虑原有数据的变化，因此不适合采用本申请的分组后再同步的方式(因为对于组外的一个数据库和组内的非第一数据库而言，其同步无法考虑到这两个数据库之间的数据删除、数据修改的情况，容易出错)。因此，本申请的同步请求为对新增数据进行同步的请求，从而同步时只需考虑新增数据即可，能够快速完成所有数据库的数据更新。
如上述步骤S2所述，判断所述多个指定数据库的数量是否大于预设的数量阈值。本申请的目的在于克服多数据库同步时需要构建的同步数据通道的数量太多的问题，因此在所述多个指定数据库的数量较少的情况，例如2个或3个数据库时，无需使用本申请的方案。其中，所述数量阈值可为任意可行数值，例如为4-10。
如上述步骤S3所述，若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途。若所述多个指定数据库的数量大于预设的数量阈值，表明适用于本申请的先分组再同步的方法。所述特征信息表明了数据库的特性，将用于衡量数据库之间的匹配程度，进而将所有的数据库分为多个分组。所述特征信息至少包括指定数据库类型和指定数据库用途，由于数据库的同步，其类型和用途是关键信息，相比于异类数据库，同类数据库更适宜于分为同一分组；相对于不同用途的数据库，相同用途的数据库更适宜于分为同一分组。
如上述步骤S4所述，根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值。其中所述匹配程度值可为任意可行形式的匹配程度值，例如为每两个数据库之间的匹配程度值，或者为相对于标准数据库的匹配程度值。其中，所述预设的匹配算法可为任意算法，例如：先将特征信息映射为向量，再计算向量之间的相似程度，再将向量之间的相似程度记为匹配程度值。
如上述步骤S5所述，根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半。其中预设的分组方法的目的在于，将相近的数据库分到同一分组，由于同一分组将采用的是长连接的数据通道，因此越相近的数据库产生的通信消耗越少，有助于减少总的计算消耗。其中所述分组方法可为任意可行方法，例如将匹配程度值在同一范围内的数据库分为同一分组。
如上述步骤S6所述，根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库。本申请采用的是先分组再同步的方法，因此在不同分组之间，需要构建连接通道，而该连接通道的两端对应的数据库，应当是能够代表其所在分组的数据库。因此根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库。其中，第一数据库在分组内的数据同步速度越快，则总的数据同步速度越快，因此所述指定数据库筛选方法可采用任意可行方法，例如为统计同一分组中的每个数据库的新增数据量；从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
如上述步骤S7所述，在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。其中短连接通道与长连接通道是相对而言的；短连接通道指在需要的时候，才建立连接，数据发送完成后，则断开此连接；长连接通道指长时间维持连接通道，以保持数据实时发送。本申请设置了不同层级的同步数据通道，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道，从而使同一分组内的数据同步为实时同步，而不同分组之间的数据同步为异时同步。由于同一分组内的数据库相近，因此采用长连接通道的成本较低，但能够提高同步的效率。而分组之间的数据库差别较大，采用短连接通道以减少通信消耗。
在一个实施方式中，所述特征信息包括多个子信息，所述根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值的步骤S4,包括：
S401、根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息；
S402、根据预设的向量映射方法，将所述第一子特征信息映射为第一向量A，以及将所述第二子特征信息映射为第二向量B；
S403、根据公式：
S404、根据公式：Pjk＝|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk，从而得到所述多个指定数据库之间的匹配程度值。
如上所述，实现了得到所述多个指定数据库之间的匹配程度值。本申请借用了标准数据库先计算出参照匹配值P，再根据公式：Pjk＝|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk，从而快速计算出所述多个指定数据库之间的匹配程度值。其中，计算参照匹配值P时采用了特殊的计算公式：
即提前将特征信息的多个子信息先划分为第一子特征信息和第二子特征信息，再将所述第一子特征信息映射为第一向量A，以及将所述第二子特征信息映射为第二向量B。从而使参照匹配值P的计算公式不仅能考虑到信息之间的差异，还能考虑到信息的变化趋势。从而提高了匹配程度值的准确性。
在一个实施方式中，所述根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤S401,包括：
S4011、根据信息是否随时间发生变化的划分规则，从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息，其中所述第一暂时子信息不随时间变化，所述第二暂时子信息随时间变化；
S4012、获取所述第二暂时子信息随时间的变化曲线，并根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值，从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值；
S4013、判断所述多个曲线相似度值是否均小于预设的曲线相似阈值；
S4014、若所述曲线相似度值不均小于预设的曲线相似阈值，则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息，其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值，所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值；
S4015、将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息，以及将所述第四暂时子信息记为第二子特征信息。
如上所述，实现了根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息。本申请将对时间不敏感的信息(即第一暂时子信息和第三暂时子信息)划分为第一子特征信息，再将对时间敏感的信息(第四暂时子信息)划分为第二子特征信息，从而利用参照匹配值P的计算公式，考虑到信息之间的差异(即对于第一子特征信息的计算过程)，还能考虑到信息的变化趋势的特性(即对于第二子特征信息的计算过程)，从而提高参照匹配值P的准确性。其中，由于所述第一暂时子信息不随时间变化，因此第一暂时子信息与时间不敏感，例如为数据库的类型、数据库的用途等。再借助预设的标准曲线将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息，即与标准曲线相似的，则分为第三暂时子信息，与标准曲线不相似的，则分为第四暂时子信息。由于第三暂时子信息与标准曲线相似，即其变化是在预计范围内的，因此也被视为对时间不敏感，因此也将其分为第一子特征信息；反之，将第四暂时子信息分为第二子特征信息。
在一个实施方式中，所述根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值的步骤S4012,包括：
S40121、根据公式：
M(t)＝min(H(t),u),其中
获取相似衡量函数M(t)，其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数，f(t)为预设的标准曲线对应的函数，min指最小值函数，u为预设的大于0的预设参数，t为时间；
S40122、获取所述相似衡量函数M(t)的正常时间长度和异常时间长度，其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度，所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度；
S40123、根据公式：正常比例数值＝正常时间长度/(正常时间长度+异常时间长度)，计算出所述正常比例数值，并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
如上所述，实现了根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值。本申请采用公式：
M(t)＝min(H(t),u),其中
获取相似衡量函数M(t)。其中所述相似衡量函数M(t)反应的是变化曲线和标准曲线之间的差异性，其中考虑了曲线的数值变化与趋势变化。当相似衡量函数M(t)取值为u时，表明函数H(t)的数值过大，处于异常状态，也即所述变化曲线和所述标准曲线在此处不相似。据此，找出在时间轴上，所述变化曲线和所述标准曲线相似之时的所有时间点，以及不相似之时的所有时间点，即可得到所述变化曲线和所述标准曲线是否相似的结论。进一步地，根据公式：正常比例数值＝正常时间长度/(正常时间长度+异常时间长度)，计算出所述正常比例数值，并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。从而准确性获取曲线相似度值。
在一个实施方式中，所述根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库的步骤S6,包括：
S601、统计同一分组中的每个数据库的新增数据量；
S602、从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
如上所述，实现了根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库。第一数据库中不同分组之间进行数据同步的直接节点，因此第一数据库若能够最快实现组内的数据同步，则有利于实现整体的同步效率提升。本申请采用统计同一分组中的每个数据库的新增数据量；从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量的方式，以使所述第一数据库在同组内的新增数据量最大，从而第一数据库在分组内同步时，从其他数据库中获取数据的量是最少的，从而能够最快实现第一数据库在分组内的数据同步。
在一个实施方式中，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤S7,包括：
S701、采用数据同步工具DataX，在每两个第一数据库之间构建第一同步数据通道，并且将所述第一同步数据通道设置为并发连接模式，所述第一同步数据通道为短连接通道；
S702、在同一个分组内构建第二同步数据通道，所述第二同步数据通道呈放射型网络状，所述放射型网络状的中心端为第一数据库，所述放射型网络状的放射端分别连接同一个分组内的其他数据库，所述第二同步数据通道为长连接通道。
如上所述，实现了在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道。其中，数据同步工具DataX是一个异构数据源离线同步工具，可实现同类或者异类数据库之间的数据同步功能，因此适用于在每两个第一数据库之间构建第一同步数据通道(即在不同分组之间构建同步数据通道，因为不同分组之间的数据库是异类的可能性很高，因此DataX尤其适用于构建第一同步数据通道)。并为了提高数据同步的速度，采用了将所述第一同步数据通道设置为并发连接模式的方式。所述第二同步数据通道呈放射型网络状，所述放射型网络状的中心端为第一数据库，所述放射型网络状的放射端分别连接同一个分组内的其他数据库，从而使所述第一数据库与同分组内的其他数据库均直接连接，以保证第一数据库尽快完成组内数据同步。
在一个实施方式中，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤S7之后,包括：
S71、利用所述第二同步数据通道，实时进行组内数据更新处理，以使每个分组的第一数据库实时获取所属分组的最新数据；
S72、判断任一第一数据库的更新数据量是否大于预设的更新阈值；
S73、若任一第一数据库的更新数据量大于预设的更新阈值，则利用所有的第一同步数据通道，进行组外数据更新处理，所述组外数据更新处理指多个第一数据库之间进行数据更新。
如上所述，实现了先进行组内数据更新，再进行组外数据更新。由于分组内采用的是长连接数据通道，因此利用所述第二同步数据通道，能够实时进行组内数据更新处理，以使每个分组的第一数据库实时获取所属分组的最新数据。从而每个第一数据库均能代表对应的分组，再进一步进行组外更新。为了减轻通信负担，本申请通过判断任一第一数据库的更新数据量是否大于预设的更新阈值的方式，以使更新数据量较大时再进行组外更新。即，若任一第一数据库的更新数据量大于预设的更新阈值，则利用所有的第一同步数据通道，进行组外数据更新处理，所述组外数据更新处理指多个第一数据库之间进行数据更新。从而在保证数据同步的基础上，减轻了数据通道构建和数据通信的开销。
本申请的同步数据通道构建方法，接收对多个指定数据库进行同步的同步请求；若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
参照图2，本申请实施例提供一种同步数据通道构建装置，包括：
同步请求接收单元10，用于接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
数量阈值判断单元20，用于判断所述多个指定数据库的数量是否大于预设的数量阈值；
特征信息获取单元30，用于若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
匹配程度值计算单元40，用于根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
数据库分组单元50，用于根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
数据库筛选单元60，用于根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
同步数据通道构建单元70，用于在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。
其中上述单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述特征信息包括多个子信息，所述匹配程度值计算单元40,包括：
信息划分子单元，用于根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息；
信息映射子单元，用于根据预设的向量映射方法，将所述第一子特征信息映射为第一向量A，以及将所述第二子特征信息映射为第二向量B；
参照匹配值P计算子单元，用于根据公式：
匹配程度值Pjk计算子单元，用于根据公式：Pjk＝|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk，从而得到所述多个指定数据库之间的匹配程度值。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述信息划分子单元,包括：
暂时子信息划分模块，用于根据信息是否随时间发生变化的划分规则，从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息，其中所述第一暂时子信息不随时间变化，所述第二暂时子信息随时间变化；
曲线相似度值计算模块，用于获取所述第二暂时子信息随时间的变化曲线，并根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值，从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值；
曲线相似阈值判断模块，用于判断所述多个曲线相似度值是否均小于预设的曲线相似阈值；
第二暂时子信息划分模块，用于若所述曲线相似度值不均小于预设的曲线相似阈值，则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息，其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值，所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值；
暂时子信息标记模块，用于将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息，以及将所述第四暂时子信息记为第二子特征信息。
其中上述模块分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述曲线相似度值计算模块,包括：
相似衡量函数M(t)获取子模块，用于根据公式：
M(t)＝min(H(t),u),其中
获取相似衡量函数M(t)，其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数，f(t)为预设的标准曲线对应的函数，min指最小值函数，u为预设的大于0的预设参数，t为时间；
时间长度获取子模块，用于获取所述相似衡量函数M(t)的正常时间长度和异常时间长度，其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度，所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度；
正常比例数值计算子模块，用于根据公式：正常比例数值＝正常时间长度/(正常时间长度+异常时间长度)，计算出所述正常比例数值，并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
其中上述子模块分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述数据库筛选单元60,包括：
新增数据量统计子单元，用于统计同一分组中的每个数据库的新增数据量；
第一数据库筛选子单元，用于从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述同步数据通道构建单元70,包括：
第一同步数据通道构建子单元，用于采用数据同步工具DataX，在每两个第一数据库之间构建第一同步数据通道，并且将所述第一同步数据通道设置为并发连接模式，所述第一同步数据通道为短连接通道；
第二同步数据通道构建子单元，用于在同一个分组内构建第二同步数据通道，所述第二同步数据通道呈放射型网络状，所述放射型网络状的中心端为第一数据库，所述放射型网络状的放射端分别连接同一个分组内的其他数据库，所述第二同步数据通道为长连接通道。
其中上述子单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置,包括：
组内数据更新单元，用于利用所述第二同步数据通道，实时进行组内数据更新处理，以使每个分组的第一数据库实时获取所属分组的最新数据；
更新阈值判断单元，用于判断任一第一数据库的更新数据量是否大于预设的更新阈值；
组外数据更新单元，用于若任一第一数据库的更新数据量大于预设的更新阈值，则利用所有的第一同步数据通道，进行组外数据更新处理，所述组外数据更新处理指多个第一数据库之间进行数据更新。
其中上述单元分别用于执行的操作与前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本申请的同步数据通道构建装置，接收对多个指定数据库进行同步的同步请求；若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储同步数据通道构建方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种同步数据通道构建方法。
上述处理器执行上述同步数据通道构建方法，其中所述方法包括的步骤分别与执行前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，接收对多个指定数据库进行同步的同步请求；若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现同步数据通道构建方法，其中所述方法包括的步骤分别与执行前述实施方式的同步数据通道构建方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，接收对多个指定数据库进行同步的同步请求；若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，计算出所述多个指定数据库之间的匹配程度值；利用所述匹配程度值，将所述多个指定数据库分为多个分组；根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道。从而实现快速地数据库同步。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种同步数据通道构建方法，其特征在于，包括：
接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
判断所述多个指定数据库的数量是否大于预设的数量阈值；
若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道；
所述特征信息包括多个子信息，所述根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值的步骤,包括：
根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息，其中预设的信息划分方法为根据信息对时间的敏感度进行划分；
根据预设的向量映射方法，将所述第一子特征信息映射为第一向量，以及将所述第二子特征信息映射为第二向量；
基于所述第一向量和所述第二向量，根据预设的第一公式，计算出指定数据库与预设的标准数据库的参照匹配值；
基于所述参照匹配值，根据预设的第二公式，计算出所述多个指定数据库之间的匹配程度值。
2.根据权利要求1所述的同步数据通道构建方法，其特征在于，所述第一公式为：
所述第二公式为：Pjk＝|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk，从而得到所述多个指定数据库之间的匹配程度值。
3.根据权利要求2所述的同步数据通道构建方法，其特征在于，所述根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤,包括：
根据信息是否随时间发生变化的划分规则，从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息，其中所述第一暂时子信息不随时间变化，所述第二暂时子信息随时间变化；
获取所述第二暂时子信息随时间的变化曲线，并根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值，从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值；
判断所述多个曲线相似度值是否均小于预设的曲线相似阈值；
若所述曲线相似度值不均小于预设的曲线相似阈值，则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息，其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值，所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值；
将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息，以及将所述第四暂时子信息记为第二子特征信息。
4.根据权利要求3所述的同步数据通道构建方法，其特征在于，所述根据预设的曲线相似计算方法，计算所述变化曲线与预设的标准曲线的相似度值的步骤,包括：
根据公式：
获取所述相似衡量函数M(t)的正常时间长度和异常时间长度，其中所述正常时间长度为所述M(t)取值不为u时在时间轴上所占长度，所述异常时间长度为所述M(t)取值为u时在时间轴上所占长度；
根据公式：正常比例数值＝正常时间长度/(正常时间长度+异常时间长度)，计算出所述正常比例数值，并将所述正常比例数值记为所述变化曲线与所述标准曲线的曲线相似度值。
5.根据权利要求1所述的同步数据通道构建方法，其特征在于，所述根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库的步骤,包括：
统计同一分组中的每个数据库的新增数据量；
从每个分组中筛选出一个第一数据库，其中所述第一数据库的新增数据量大于同一分组中的其他数据库的新增数据量。
6.根据权利要求1所述的同步数据通道构建方法，其特征在于，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤,包括：
采用数据同步工具DataX，在每两个第一数据库之间构建第一同步数据通道，并且将所述第一同步数据通道设置为并发连接模式，所述第一同步数据通道为短连接通道；
在同一个分组内构建第二同步数据通道，所述第二同步数据通道呈放射型网络状，所述放射型网络状的中心端为第一数据库，所述放射型网络状的放射端分别连接同一个分组内的其他数据库，所述第二同步数据通道为长连接通道。
7.根据权利要求1所述的同步数据通道构建方法，其特征在于，所述在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道的步骤之后,包括：
利用所述第二同步数据通道，实时进行组内数据更新处理，以使每个分组的第一数据库实时获取所属分组的最新数据；
判断任一第一数据库的更新数据量是否大于预设的更新阈值；
若任一第一数据库的更新数据量大于预设的更新阈值，则利用所有的第一同步数据通道，进行组外数据更新处理，所述组外数据更新处理指多个第一数据库之间进行数据更新。
8.一种同步数据通道构建装置，其特征在于，包括：
同步请求接收单元，用于接收对多个指定数据库进行同步的同步请求，其中所述同步请求为对新增数据进行同步的请求；
数量阈值判断单元，用于判断所述多个指定数据库的数量是否大于预设的数量阈值；
特征信息获取单元，用于若所述多个指定数据库的数量大于预设的数量阈值，则获取所述多个指定数据库的特征信息，所述特征信息至少包括指定数据库类型和指定数据库用途；
匹配程度值计算单元，用于根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值；
数据库分组单元，用于根据预设的分组方法，利用所述匹配程度值，将所述多个指定数据库分为多个分组，其中每个分组至少包括两个指定数据库，分组的总数量不大于所述多个指定数据库数量的一半；
数据库筛选单元，用于根据预设的指定数据库筛选方法，从每个分组中筛选出一个第一数据库；
同步数据通道构建单元，用于在每两个第一数据库之间构建第一同步数据通道，以及在同一个分组内构建第二同步数据通道，其中所述第二同步数据通道连接同一个分组内的所有指定数据库，所述第一同步数据通道为短连接通道，所述第二同步数据通道为长连接通道；
所述特征信息包括多个子信息，所述根据预设的匹配算法，利用所述特征信息，计算出所述多个指定数据库之间的匹配程度值的步骤,包括：
根据预设的信息划分方法，将所述多个子信息划分为第一子特征信息和第二子特征信息，其中预设的信息划分方法为根据信息对时间的敏感度进行划分；
根据预设的向量映射方法，将所述第一子特征信息映射为第一向量，以及将所述第二子特征信息映射为第二向量；
基于所述第一向量和所述第二向量，根据预设的第一公式，计算出指定数据库与预设的标准数据库的参照匹配值；
基于所述参照匹配值，根据预设的第二公式，计算出所述多个指定数据库之间的匹配程度值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010043724.XA CN111274315B (zh) | 2020-01-15 | 2020-01-15 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010043724.XA CN111274315B (zh) | 2020-01-15 | 2020-01-15 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111274315A CN111274315A (zh) | 2020-06-12 |
| CN111274315B true CN111274315B (zh) | 2022-09-30 |
Family
ID=71003166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010043724.XA Active CN111274315B (zh) | 2020-01-15 | 2020-01-15 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274315B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860191B (zh) * | 2021-03-02 | 2021-10-29 | 深圳市东方聚成科技有限公司 | 一种基于多通道的同步分道存储方法 |
| CN113382075A (zh) * | 2021-06-13 | 2021-09-10 | 南京方数信息科技有限公司 | 企业信息管理平台、管理方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201499184U (zh) * | 2009-08-19 | 2010-06-02 | 中国民用航空总局第二研究所 | 一种基于tcp/ip协议的民航信息分组发布系统 |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步系统、同步方法和节点管理方法 |
| CN103516761A (zh) * | 2012-06-29 | 2014-01-15 | 上海斐讯数据通信技术有限公司 | 一种多终端访问服务器的分时控制方法及云计算系统 |
| CN104239310A (zh) * | 2013-06-08 | 2014-12-24 | 中国移动通信集团公司 | 分布式数据库数据同步方法和装置 |
| CN107404540A (zh) * | 2017-09-01 | 2017-11-28 | 北京奇虎科技有限公司 | 数据的同步方法及装置 |
| CN109325037A (zh) * | 2018-08-17 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
| CN110177011A (zh) * | 2019-05-08 | 2019-08-27 | 武汉理工大学 | 一种适应动态网络结构的网络控制器部署方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020059299A1 (en) * | 2000-07-14 | 2002-05-16 | Frederic Spaey | System and method for synchronizing databases |
-
2020
- 2020-01-15 CN CN202010043724.XA patent/CN111274315B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201499184U (zh) * | 2009-08-19 | 2010-06-02 | 中国民用航空总局第二研究所 | 一种基于tcp/ip协议的民航信息分组发布系统 |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步系统、同步方法和节点管理方法 |
| CN103516761A (zh) * | 2012-06-29 | 2014-01-15 | 上海斐讯数据通信技术有限公司 | 一种多终端访问服务器的分时控制方法及云计算系统 |
| CN104239310A (zh) * | 2013-06-08 | 2014-12-24 | 中国移动通信集团公司 | 分布式数据库数据同步方法和装置 |
| CN107404540A (zh) * | 2017-09-01 | 2017-11-28 | 北京奇虎科技有限公司 | 数据的同步方法及装置 |
| CN109325037A (zh) * | 2018-08-17 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
| CN110177011A (zh) * | 2019-05-08 | 2019-08-27 | 武汉理工大学 | 一种适应动态网络结构的网络控制器部署方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111274315A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108845881A (zh) | 服务器容量动态调整的方法及装置 | |
| Nedic | Asynchronous broadcast-based convex optimization over a network | |
| CN111274315B (zh) | 同步数据通道构建方法、装置、计算机设备和存储介质 | |
| US8904149B2 (en) | Parallelization of online learning algorithms | |
| CN110750506A (zh) | 数据对象标识生成方法、装置、计算机设备和存储介质 | |
| CN108829781A (zh) | 客户信息查询方法、装置、计算机设备和存储介质 | |
| CN112613993B (zh) | 交易数据处理方法、装置、计算机设备和存储介质 | |
| CN110597782B (zh) | 数据库动态切换方法、装置、计算机设备和存储介质 | |
| CN111339200A (zh) | 一种基于数据库同步的数据校验方法及数据校验系统 | |
| CN111669300A (zh) | 基于直连测试网络的网关测试方法、装置和计算机设备 | |
| Gupta et al. | The update complexity of selection and related problems | |
| CN111107042A (zh) | 报文解析方法、装置、计算机设备和存储介质 | |
| JP3791921B2 (ja) | ネットワーク・トレースを解析する方法、ネットワーク・トレースを解析するための処理装置、および該処理装置としてコンピュータを制御させるためのコンピュータ実行可能なプログラム、並びにネットワークにおけるノード間の時間差補正方法 | |
| CN110188081B (zh) | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 | |
| CN108389124B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN114169283B (zh) | 可编程逻辑器件的延时估算方法、装置、设备及存储介质 | |
| CN109218131B (zh) | 网络监控方法、装置、计算机设备和存储介质 | |
| CN111078712B (zh) | 大数据集群的更新方法、装置、计算机设备和存储介质 | |
| CN113612632B (zh) | 应用于网关设备的拓扑识别方法、装置、网关设备和介质 | |
| CN111507591B (zh) | 电力系统状态确定方法、装置、计算机介质及存储介质 | |
| Osogami | A fluid limit for a cache algorithm with general request processes | |
| CN111371840A (zh) | 微服务部署方法、装置、计算机设备和存储介质 | |
| CN113077185B (zh) | 工作量评估方法、装置、计算机设备和存储介质 | |
| Nkurunziza et al. | Improved inference in generalized mean-reverting processes with multiple change-points | |
| CN113282417A (zh) | 任务分配方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220526 Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd. Address before: Room 12G, Block H, 666 Beijing East Road, Huangpu District, Shanghai 200000 Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |