CN114422531B - 数据同步方法、系统、设备及存储介质 - Google Patents
数据同步方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114422531B CN114422531B CN202210234848.5A CN202210234848A CN114422531B CN 114422531 B CN114422531 B CN 114422531B CN 202210234848 A CN202210234848 A CN 202210234848A CN 114422531 B CN114422531 B CN 114422531B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronous data
- hash
- synchronous
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001360 synchronised effect Effects 0.000 claims abstract description 257
- 238000012544 monitoring process Methods 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 51
- 238000013524 data verification Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000006798 recombination Effects 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9057—Arrangements for supporting packet reassembly or resequencing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据同步领域，公开了一种数据同步方法、系统、设备及存储介质。该方法包括：数据来源系统将收集的同步数据发送至数据校验系统中；数据校验系统接收同步数据，根据校验字符集，对同步数据进行格式校验处理，得到格式校验结果；判断格式校验结果是否为合格结果；若不为合格结果，则添加异常数据标签至同步数据中，得到带标签的同步数据；分析监控系统接收带标签的同步数据，对带标签的同步数据进行重组处理，得到重组的同步数据；若为合格结果，则对同步数据进行哈希计算处理，得到哈希同步数据；目标存储系统接收哈希同步数据，对哈希同步数据进行验证解析处理，得到同步数据，并存储同步数据。
Description
技术领域
本发明涉及数据同步领域，尤其涉及一种数据同步方法、系统、设备及存储介质。
背景技术
随着互联网和计算机技术的迅速发展，目前越来越多的业务系统之间有数据同步的需求。伴随着数据同步中大数据量、网络不稳定以及后台应用服务器高并发的读取问题等引起的同步不一致情况日益增多。实际同步过程中人工校验及审计等干预情况越来越多，但效果依然不明显。
目前现有常用的数据同步做法是目标系统提供FTP或微服务接口等方法给数据源系统，并对每个交互访问提供成功与否的反馈信息。理论上在正常情况这种机制是可以确保数据同步的准确性，但现实情况往往复杂多变，当面临大数据量推送或大量数据源系统同时并发访问时往往会出现超时，这类情况往往会目标系统已经正常接收信但数据源系统没有收到反馈的情况，或者数据源系统收到失败信息之后一直没有再次同步情况，时间久了数据目标系统和数据源系统数据经常出现数据不一致情况。针对数据不一致情况，技术人员也需要花费大量的精力去核实，但最终效果也是耗费时间、效果不佳。
因此，现有技术中这样常规的目标系统提供FTP或微服务接口等方法给数据源系统的方式，使得目标系统数据与数据源系统的数据一致性较差，常常会出现展示给源系统的信息和目标系统的信息不同，严重影响业主方体验，风险较高，可靠性较差。
发明内容
本发明的主要目的在于解决当前信息同步出错概率大风险较高的技术问题。
本发明第一方面提供了一种数据同步方法，所述数据同步方法应用于数据同步系统，所述数据同步系统包括：数据来源系统、数据校验系统、分析监控系统、目标存储系统，所述数据同步方法包括：
所述数据来源系统将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
所述分析监控系统接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述目标存储系统接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
可选的，在本发明第一方面的第一种实现方式中，所述目标存储系统接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据包括：
所述目标存储系统接收所述哈希同步数据；
对所述哈希同步数据中的同步数据进行哈希计算处理，得到第二哈希值；
基于所述第二哈希值判断所述哈希同步数据是否存在更改；
若所述哈希同步数据不存在更改，则对所述哈希同步数据进行解析运算处理，得到解析的同步数据，并存储所述同步数据；
若所述哈希同步数据存在更改，则将异常数据标签添加至所述哈希同步数据中，得到带标签的哈希同步数据，以及将所述带标签的哈希同步数据传输至所述分析监控系统中；
所述分析监控系统接收所述带标签的哈希同步数据，基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
可选的，在本发明第一方面的第二种实现方式中，所述分析监控系统接收所述带标签的哈希同步数据，基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中包括：
所述分析监控系统接收所述带标签的哈希同步数据；
将所述带标签的哈希同步数据写入预置异常日志中，以便人工后期查询；
基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
可选的，在本发明第一方面的第三种实现方式中，所述分析监控系统接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中包括：
所述分析监控系统接收所述带标签的同步数据；
将所述带标签的同步数据与预置字符串队列进行匹配调整处理，得到所述字符串队列排序的同步数据；
将所述字符串队列排序的同步数据确定为重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中。
可选的，在本发明第一方面的第四种实现方式中，在所述分析监控系统接收所述带标签的同步数据之后，在将所述带标签的同步数据与预置字符串队列进行匹配调整处理，得到所述字符串队列排序的同步数据之前，还包括：
将所述带标签的同步数据写入预置异常日志中，以便人工后期查询。
可选的，在本发明第一方面的第五种实现方式中，所述根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果包括：
根据预置校验字符集，对所述同步数据进行多线程匹配处理，得到匹配坐标集；
分析所述匹配坐标集的排序和所述校验字符集的排序，得到格式校验结果。
可选的，在本发明第一方面的第六种实现方式中，所述分析所述匹配坐标集的排序和所述校验字符集的排序，得到格式校验结果包括：
根据所述校验字符集与所述匹配坐标集对应关系，分析出所述匹配坐标集对应校验字符的匹配排序；
分析所述校验字符集的校验字符排序，判断所述匹配排序与所述校验字符排序是否一致；
若一致，则将合格字符写入校验结果框架中，生成格式校验结果；
若不一致，则将不合格字符写入校验结果框架中，生成格式校验结果。
本发明第二方面提供了一种数据同步系统，所述数据同步系统包括：
数据来源系统、数据校验系统、分析监控系统、目标存储系统；
所述数据来源系统，用于将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统，用于接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述分析监控系统，用于接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
所述目标存储系统，用于接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
本发明第三方面提供了一种数据同步设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据同步设备执行上述的数据同步方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据同步方法。
在本发明实施例中，通过对数据的进行校验与监控，在传输过程中利用哈希计算标定信息计算量，采用哈希校验来判断同步数据的完整性，并根据监控系统来记录异常数据和调整数据格式来增加数据通用性，解决了当前信息同步出错概率大风险较高的技术问题。
附图说明
图1为本发明实施例中数据同步方法的一个实施例示意图；
图2为本发明实施例中数据同步方法的另一个实施例示意图；
图3为本发明实施例中数据同步系统的一个实施例示意图；
图4为本发明实施例中数据同步设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据同步方法、系统、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据同步方法的一个实施例，所述数据同步方法应用于数据同步系统，所述数据同步系统包括：数据来源系统、数据校验系统、分析监控系统、目标存储系统，所述数据同步方法包括：
101、数据来源系统将收集的同步数据发送至数据校验系统中；
在本实施例中，通过数据来源系统收集数据，数据源系统模块主要提供基础信息、业务信息以及相关统计信息，数据源系统模块统计基础数据与业务数据，并将统计结果上报，数据源系统将需要上报的基础数据与业务数据推送至目标系统接口。同时，如果数据源系统定时从目标系统接口处获取差异修正指令后，执行差异修正指令并重推相关基础信息及业务信息至目标系统接口。
102、数据校验系统接收同步数据，根据预置校验字符集，对同步数据进行格式校验处理，得到格式校验结果；
在本实施例中，数据校验系统作为数据同步的枢纽，是数据源系统、目标系统以及同步监控系统进行交互的中心。目标系统接口接收到数据源系统统计结果上报后，主动请求数据目标系统获取相应基础数据与业务数据统计结果并统一保存至接口库。目标系统接口接收到数据源系统上报信息后，先校验数据是否符合规范。如符合规范则主动请求数据目标系统将上报数据推送至数据目标系统，并返回目标系统反馈回来的状态信息；如不符合规范则将不规范信息推送至分析监控系统，由分析监控系统来保证数据处理的。同时获取数据源系统重推后的基础信息及业务信息，并将其推送至目标系统。
进一步的，102可以执行以下步骤：
1021、根据预置校验字符集，对同步数据进行多线程匹配处理，得到匹配坐标集；
1022、分析匹配坐标集的排序和校验字符集的排序，得到格式校验结果。
在1021-1022步骤中，校验字符集是{A，B，C，D，E，F，G}，多线程是基于多个校验字符同时在同步数据中进行匹配校验，在同步数据中对匹配校验出来的字符坐标进行记录。得到校验字符集是{A，B，C，D，E，F，G}按顺序排列的匹配坐标集，分析匹配坐标集的坐标是否是合格的坐标规格，如果是合格的坐标规格，同步数据校验出合格的格式校验结果。如果是不合格的坐标规格，同步数据校验出不合格的格式校验结果。
进一步的，在1022可以执行以下步骤：
10221、根据校验字符集与匹配坐标集对应关系，分析出匹配坐标集对应校验字符的匹配排序；
10222、分析校验字符集的校验字符排序，判断匹配排序与校验字符排序是否一致；
10223、若一致，则将合格字符写入校验结果框架中，生成格式校验结果；
10224、若不一致，则将不合格字符写入校验结果框架中，生成格式校验结果。
在10221-10224步骤中，校验字符集是{A，B，C，D，E，F，G}，则匹配在同步数据的字符的坐标数据，例如在同步数据中的项目排序A，B，C，D，E，F，G是固定标准，依次分析A，B，C，D，E，F，G的坐标是否为一致横（纵）坐标，纵（横）坐标是否呈现等差数列出现。如果一致则认为排序一致，将合格的“0000000”字符写入到校验结果框架中，产生校验结果。
然而，当没有出现一致横（纵）坐标，则无法校验是否为纵（横）坐标是否呈现等差数列出现，立刻判定是不合格的格式，可以将“0010000”字符写入到校验结果框架中，其中，1代表该行的数据不符合规范，0代表该行的数据符合规范。
103、判断格式校验结果是否为合格结果；
在本实施例中，读取格式校验结果中的结果字符判断是否存在1，如果存在1则说明不是合格结果。若格式校验结果中的结果字符不存在1.则说明格式校验结果是合格结果。
104、若格式校验结果不为合格结果，则添加异常数据标签至同步数据中，得到带标签的同步数据，将带标签的同步数据传输至分析监控系统中；
在本实施例中，格式结果不合格，则将“ERRTTF”的可以代指异常数据标签添加至同步数据中，将带有“ERRTTF”标签的同步数据发送至分析监控系统中。
105、分析监控系统接收带标签的同步数据，根据预置格式重组算法，对带标签的同步数据进行重组处理，得到重组的同步数据，将重组的同步数据发送至数据校验系统中；
在本实施例中，对带有“ERRTTF”标签的同步数据的进行重组修改格式，将重组后的数据去除“ERRTTF”标签，得到重组的同步数据，将重组的同步数据重新发送进入数据校验系统。
进一步的，在105中可以执行以下步骤：
1051、分析监控系统接收带标签的同步数据；
1052、将带标签的同步数据与预置字符串队列进行匹配调整处理，得到字符串队列排序的同步数据；
1053、将字符串队列排序的同步数据确定为重组的同步数据，将重组的同步数据发送至数据校验系统中。
在1051-1053步骤中，校验字符集{A，B，C，D，E，F，G}的队列排序，是预置字符串队列（A，B，C，D，E，F，G），同步数据相关的字符顺序为A，B，C，G，D，E，F，将同步数据字符以下同列或者同行数据重新排列为A，B，C，D，E，F，G。如果同步数据中A，B，C，D，E，F，G不是顶格，还要将非定格的字符全部删除以保证A，B，C，D，E，F，G为顶格，重组完成后的数据确定为重组的同步数据，将重组的同步数据发送数据校验系统中。
进一步的，在1051之后，在1052之前，还可以执行以下步骤：
1054、将带标签的同步数据写入预置异常日志中，以便人工后期查询。
在1054步骤中，将带有“ERRTTF”标签的同步数据记入至异常日志中，可以实现人工在后期的校验。同步监控系统模块一方面它定期主动访问目标系统接口获取统计结果数据及日志信息并保存至监控库，另一方面它也会自动分析源系统与目标系统之间基础数据、业务信息等统计信息差异，并将差异修正指令推送至目标系统接口；同时人工也可分析接口日志，如出现数据不符合规范等情况，及时形成报告通知相关管理人员。
106、若格式校验结果为合格结果，则对同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将哈希同步数据发送至目标存储系统；
在本实施例中，对同步数据先进行一次哈希计算，哈希值也代入至同步数据中，产生哈希同步数据，将哈希同步数据发送到目标存储系统。
107、目标存储系统接收哈希同步数据，对哈希同步数据进行验证解析处理，得到同步数据，并存储同步数据。
在本实施例中，目标存储系统将哈希同步数据进行验证解析处理，对验证解析处理的哈希值进行校验，判断哈希同步数据是否存在修改与丢失的情况，如果不存在丢失与修改，将该同步数据进行存储。
进一步的，在107可以执行以下步骤：
1071、目标存储系统接收哈希同步数据；
1072、对哈希同步数据中的同步数据进行哈希计算处理，得到第二哈希值；
1073、基于第二哈希值判断哈希同步数据是否存在更改；
1074、若哈希同步数据不存在更改，则对哈希同步数据进行解析运算处理，得到解析的同步数据，并存储同步数据；
1075、若哈希同步数据存在更改，则将异常数据标签添加至哈希同步数据中，得到带标签的哈希同步数据，以及将带标签的哈希同步数据传输至分析监控系统中；
1076、分析监控系统接收带标签的哈希同步数据，基于带标签的哈希同步数据，生成重发指令，将重发指令发送至数据校验系统中。
在1071-1076步骤中，先对接收到的哈希同步数据进行哈希计算，得到一个哈希值，将该哈希值与哈希同步数据中的哈希值进行判断是否一致，如果一致，将哈希同步数据中的哈希值去除，得到解析的同步数据，将该同步数据进行存储。
而如果哈希值不一致，则将异常标签“ETRTTF”添加至哈希同步数据，并将添加了“ETRTTF”添加至哈希同步数据，发送至数据校验系统以便数据校验系统对该数据进行记录与重新发送。
进一步的，在1076还可以执行以下步骤：
10761、分析监控系统接收带标签的哈希同步数据；
10762、将带标签的哈希同步数据写入预置异常日志中，以便人工后期查询；
10763、基于带标签的哈希同步数据，生成重发指令，将重发指令发送至数据校验系统中。
在10761-10763步骤中，将带标签“ETRTTF”的哈希同步数据接收后，将哈希同步数据写入到异常日志中，以供人工可以查询检索异常数据。在生成日志后，在发送重发指令至数据校验系统，重新拉取数据进行同步处理。
在本发明实施例中，通过对数据的进行校验与监控，在传输过程中利用哈希计算标定信息计算量，采用哈希校验来判断同步数据的完整性，并根据监控系统来记录异常数据和调整数据格式来增加数据通用性，解决了当前信息同步出错概率大风险较高的技术问题。
上面对本发明实施例中数据同步方法进行了描述，下面对本发明实施例中数据同步系统进行描述，请参阅图2，本发明实施例中数据同步系统一个实施例，所述数据同步系统包括：
数据来源系统201、数据校验系统202、分析监控系统203、目标存储系统204；
所述数据来源系统201，用于将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统202，用于接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述分析监控系统203，用于接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
所述目标存储系统204，用于接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
在本发明实施例中，通过对数据的进行校验与监控，在传输过程中利用哈希计算标定信息计算量，采用哈希校验来判断同步数据的完整性，并根据监控系统来记录异常数据和调整数据格式来增加数据通用性，解决了当前信息同步出错概率大风险较高的技术问题。
请参阅图3，本发明实施例中数据同步系统的另一个实施例，所述数据同步系统包括：
数据来源系统201、数据校验系统202、分析监控系统203、目标存储系统204；
所述数据来源系统201，用于将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统202，用于接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述分析监控系统203，用于接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
所述目标存储系统204，用于接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
其中，所述目标存储系统204具体用于：
所述目标存储系统接收所述哈希同步数据；
对所述哈希同步数据中的同步数据进行哈希计算处理，得到第二哈希值；
基于所述第二哈希值判断所述哈希同步数据是否存在更改；
若所述哈希同步数据不存在更改，则对所述哈希同步数据进行解析运算处理，得到解析的同步数据，并存储所述同步数据；
若所述哈希同步数据存在更改，则将异常数据标签添加至所述哈希同步数据中，得到带标签的哈希同步数据，以及将所述带标签的哈希同步数据传输至所述分析监控系统中；
所述分析监控系统接收所述带标签的哈希同步数据，基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
其中，所述目标存储系统204还具体用于：
所述分析监控系统接收所述带标签的哈希同步数据；
将所述带标签的哈希同步数据写入预置异常日志中，以便人工后期查询；
基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
其中，所述分析监控系统203具体用于：
所述分析监控系统接收所述带标签的同步数据；
将所述带标签的同步数据与预置字符串队列进行匹配调整处理，得到所述字符串队列排序的同步数据；
将所述字符串队列排序的同步数据确定为重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中。
其中，所述数据同步系统还包括日志添加模块205，所述日志添加模块205具体用于：
将所述带标签的同步数据写入预置异常日志中，以便人工后期查询。
其中，所述数据校验系统202具体用于：
根据预置校验字符集，对所述同步数据进行多线程匹配处理，得到匹配坐标集；
分析所述匹配坐标集的排序和所述校验字符集的排序，得到格式校验结果。
其中，所述数据校验系统202还具体用于：
根据所述校验字符集与所述匹配坐标集对应关系，分析出所述匹配坐标集对应校验字符的匹配排序；
分析所述校验字符集的校验字符排序，判断所述匹配排序与所述校验字符排序是否一致；
若一致，则将合格字符写入校验结果框架中，生成格式校验结果；
若不一致，则将不合格字符写入校验结果框架中，生成格式校验结果。
在本发明实施例中，通过对数据的进行校验与监控，在传输过程中利用哈希计算标定信息计算量，采用哈希校验来判断同步数据的完整性，并根据监控系统来记录异常数据和调整数据格式来增加数据通用性，解决了当前信息同步出错概率大风险较高的技术问题。
上面图2和图3从模块化功能实体的角度对本发明实施例中的数据同步系统进行详细描述，下面从硬件处理的角度对本发明实施例中数据同步设备进行详细描述。
图4是本发明实施例提供的一种数据同步设备的结构示意图，该数据同步设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）410（例如，一个或一个以上处理器）和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430（例如一个或一个以上海量存储设备）。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对数据同步设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在数据同步设备400上执行存储介质430中的一系列指令操作。
基于数据同步设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux，Free BSD等等。本领域技术人员可以理解，图4展示的数据同步设备结构并不构成对基于数据同步设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据同步方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或系统、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据同步方法，其特征在于，所述数据同步方法应用于数据同步系统，所述数据同步系统包括：数据来源系统、数据校验系统、分析监控系统、目标存储系统，所述数据同步方法包括：
所述数据来源系统将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
所述分析监控系统接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述目标存储系统接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
2.根据权利要求1所述的数据同步方法，其特征在于，所述目标存储系统接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据包括：
所述目标存储系统接收所述哈希同步数据；
对所述哈希同步数据中的同步数据进行哈希计算处理，得到第二哈希值；
基于所述第一哈希值与所述第二哈希值，判断所述哈希同步数据是否存在更改；
若所述哈希同步数据不存在更改，则对所述哈希同步数据进行解析运算处理，得到解析的同步数据，并存储所述同步数据；
若所述哈希同步数据存在更改，则将异常数据标签添加至所述哈希同步数据中，得到带标签的哈希同步数据，以及将所述带标签的哈希同步数据传输至所述分析监控系统中；
所述分析监控系统接收所述带标签的哈希同步数据，基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
3.根据权利要求2所述的数据同步方法，其特征在于，所述分析监控系统接收所述带标签的哈希同步数据，基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中包括：
所述分析监控系统接收所述带标签的哈希同步数据；
将所述带标签的哈希同步数据写入预置异常日志中，以便人工后期查询；
基于所述带标签的哈希同步数据，生成重发指令，将所述重发指令发送至所述数据校验系统中。
4.根据权利要求1所述的数据同步方法，其特征在于，所述分析监控系统接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中包括：
所述分析监控系统接收所述带标签的同步数据；
将所述带标签的同步数据与预置字符串队列进行匹配调整处理，得到所述字符串队列排序的同步数据；
将所述字符串队列排序的同步数据确定为重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中。
5.根据权利要求4所述的数据同步方法，其特征在于，在所述分析监控系统接收所述带标签的同步数据之后，在将所述带标签的同步数据与预置字符串队列进行匹配调整处理，得到所述字符串队列排序的同步数据之前，还包括：
将所述带标签的同步数据写入预置异常日志中，以便人工后期查询。
6.根据权利要求1所述的数据同步方法，其特征在于，所述根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果包括：
根据预置校验字符集，对所述同步数据进行多线程匹配处理，得到匹配坐标集；
分析所述匹配坐标集的排序和所述校验字符集的排序，得到格式校验结果。
7.根据权利要求6所述的数据同步方法，其特征在于，所述分析所述匹配坐标集的排序和所述校验字符集的排序，得到格式校验结果包括：
根据所述校验字符集与所述匹配坐标集对应关系，分析出所述匹配坐标集对应校验字符的匹配排序；
分析所述校验字符集的校验字符排序，判断所述匹配排序与所述校验字符排序是否一致；
若一致，则将合格字符写入校验结果框架中，生成格式校验结果；
若不一致，则将不合格字符写入校验结果框架中，生成格式校验结果。
8.一种数据同步系统，其特征在于，所述数据同步系统包括：
数据来源系统、数据校验系统、分析监控系统、目标存储系统；
所述数据来源系统，用于将收集的同步数据发送至所述数据校验系统中；
所述数据校验系统，用于接收所述同步数据，根据预置校验字符集，对所述同步数据进行格式校验处理，得到格式校验结果；
判断所述格式校验结果是否为合格结果；
若所述格式校验结果不为合格结果，则添加异常数据标签至所述同步数据中，得到带标签的同步数据，将所述带标签的同步数据传输至所述分析监控系统中；
若所述格式校验结果为合格结果，则对所述同步数据进行哈希计算处理，得到第一哈希值，进而得到哈希同步数据，以及将所述哈希同步数据发送至所述目标存储系统，其中，所述哈希同步数据包括：第一哈希值和同步数据；
所述分析监控系统，用于接收所述带标签的同步数据，根据预置格式重组算法，对所述带标签的同步数据进行重组处理，得到重组的同步数据，将所述重组的同步数据发送至所述数据校验系统中；
所述目标存储系统，用于接收所述哈希同步数据，对所述哈希同步数据进行验证解析处理，得到同步数据，并存储所述同步数据。
9.一种数据同步设备，其特征在于，所述数据同步设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据同步设备执行如权利要求1-7中任一项所述的数据同步方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234848.5A CN114422531B (zh) | 2022-03-11 | 2022-03-11 | 数据同步方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234848.5A CN114422531B (zh) | 2022-03-11 | 2022-03-11 | 数据同步方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114422531A CN114422531A (zh) | 2022-04-29 |
| CN114422531B true CN114422531B (zh) | 2022-07-05 |
Family
ID=81263539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210234848.5A Active CN114422531B (zh) | 2022-03-11 | 2022-03-11 | 数据同步方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114422531B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115221245B (zh) * | 2022-07-14 | 2023-07-14 | 广州纳指数据智能科技有限公司 | 智能数据采集同步方法、系统及设备 |
| CN117194490B (zh) * | 2023-11-07 | 2024-04-05 | 长春金融高等专科学校 | 基于人工智能的金融大数据存储查询方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413441A (zh) * | 2019-06-18 | 2019-11-05 | 平安科技（深圳）有限公司 | 主备存储卷同步数据校验方法、装置、设备及存储介质 |
| CN112711598A (zh) * | 2020-12-28 | 2021-04-27 | 医渡云（北京）技术有限公司 | 一种数据校验方法及装置 |
| CN113672634A (zh) * | 2021-08-30 | 2021-11-19 | 中国平安人寿保险股份有限公司 | 保单数据的校验方法、装置、设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299193A (zh) * | 2018-09-25 | 2019-02-01 | 深圳市佰仟金融服务有限公司 | 数据同步方法及相关设备 |
| CN110647531A (zh) * | 2019-08-15 | 2020-01-03 | 中国平安财产保险股份有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN111625540A (zh) * | 2020-05-11 | 2020-09-04 | 福建慧政通信息科技有限公司 | 一种关系型数据库数据同步完整性校验方法和装置 |
| CN111737230B (zh) * | 2020-06-23 | 2024-04-12 | 北京奇艺世纪科技有限公司 | 数据校验方法、装置、电子设备以及可读存储介质 |
| CN113051347B (zh) * | 2021-03-25 | 2024-03-29 | 未鲲(上海)科技服务有限公司 | 异构数据库之间数据同步方法、系统、设备及存储介质 |
| CN113420036A (zh) * | 2021-06-22 | 2021-09-21 | 南方电网数字电网研究院有限公司 | 一种电网监控系统内存库关系库一致性校验方法 |
| CN113312338A (zh) * | 2021-06-29 | 2021-08-27 | 中国农业银行股份有限公司 | 数据一致性的校验方法、装置、设备、介质及程序产品 |
-
2022
- 2022-03-11 CN CN202210234848.5A patent/CN114422531B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413441A (zh) * | 2019-06-18 | 2019-11-05 | 平安科技（深圳）有限公司 | 主备存储卷同步数据校验方法、装置、设备及存储介质 |
| CN112711598A (zh) * | 2020-12-28 | 2021-04-27 | 医渡云（北京）技术有限公司 | 一种数据校验方法及装置 |
| CN113672634A (zh) * | 2021-08-30 | 2021-11-19 | 中国平安人寿保险股份有限公司 | 保单数据的校验方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114422531A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114422531B (zh) | 数据同步方法、系统、设备及存储介质 | |
| US6901536B2 (en) | Service quality monitoring system and method | |
| US7664986B2 (en) | System and method for determining fault isolation in an enterprise computing system | |
| US8191048B2 (en) | Automated testing and qualification of software-based, network service products | |
| US20200225933A1 (en) | Systems and methods of just-in-time proactive notification of a product release containing a software fix | |
| US20180018210A1 (en) | Unified logs and device statistics | |
| US20170012843A1 (en) | Troubleshooting Transactions in a Network Environment | |
| US11016702B2 (en) | Hierarchical event tree | |
| CN103428042B (zh) | 对服务器进行压力测试的方法及系统 | |
| US7159146B2 (en) | Analyzing system error messages | |
| US20070271216A1 (en) | Using MD4 Checksum as Primary Keys to Link Transactions Across Machines | |
| US20050138151A1 (en) | System and method for providing integrated impact analysis data | |
| CN112039701A (zh) | 接口调用监控方法、装置、设备及存储介质 | |
| US9652488B2 (en) | Computer product, verification support method, and verification support apparatus | |
| US20170012814A1 (en) | System Resiliency Tracing | |
| JP2018522336A (ja) | 集計されたメトリクスの測定値のデータストア | |
| US20040172253A1 (en) | Capture and playback web automation tool | |
| EP1428140A2 (en) | Systems and methods for collecting, storing, and analyzing database statistics | |
| US11138268B2 (en) | Systems and methods for improved transactional mainframes | |
| US8037359B2 (en) | Operation management system having a process execution apparatus, information management apparatus, and process analyzing apparatus, process analyzing apparatus, recording medium in which process analysis program is recorded, and process analysis method | |
| US11362843B1 (en) | Certificate rotation on host | |
| CN114598622A (zh) | 数据监控方法及装置、存储介质、计算机设备 | |
| US8825843B2 (en) | System and methods for monitoring a geographic information system | |
| CN112199229A (zh) | 数据处理方法、装置、设备和存储介质 | |
| US7533004B2 (en) | Automatic detection of production and manufacturing data corruption |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000, 5th Floor, Building 4, Tian'an Yungu Industrial Park Phase 2, Gangtou Community, Bantian Street, Longgang District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN JINZHENG SOFTWARE TECHNOLOGY Co.,Ltd. Address before: 518000 room 402, building 1, Nanke Chuangyuan Valley, Taoyuan community, Dalang street, Longhua District, Shenzhen, Guangdong Patentee before: SHENZHEN JINZHENG SOFTWARE TECHNOLOGY Co.,Ltd. |