CN116756162B - 一种保证数据一致性的方法和系统 - Google Patents
一种保证数据一致性的方法和系统 Download PDFInfo
- Publication number
- CN116756162B CN116756162B CN202310771138.0A CN202310771138A CN116756162B CN 116756162 B CN116756162 B CN 116756162B CN 202310771138 A CN202310771138 A CN 202310771138A CN 116756162 B CN116756162 B CN 116756162B
- Authority
- CN
- China
- Prior art keywords
- data
- master
- timing task
- school
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008439 repair process Effects 0.000 claims abstract description 4
- 238000013499 data model Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 15
- 101001072091 Homo sapiens ProSAAS Proteins 0.000 claims description 14
- 102100036366 ProSAAS Human genes 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 2
- 241000931705 Cicada Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种保证数据一致性的方法和系统，所述方法首先以源数据Master为基准数据，通过全量扫描和/或逻辑块扫描和/或增量扫描的方式，对目标数据Slave进行修复矫正，从而保证分布式系统中的数据的最终一致性。所述修复和矫正的方式可以为全量扫描或逻辑块扫描或增量扫描三种方式中的一种方式或多种的组合，规则灵活。非常适用于解决分布式系统中的数据（包含历史数据）一致性问题，尤其是数据冗余下的数据一致性问题。本发明所述方法更能够在不用引入或者依赖第三方组件的情况下对历史脏数据进行处理且保证数据的一致性，同时，本申请所述方法对代码的改动量极少，只需要对各种情况进行组合和配置，投入产出比高。
Description
技术领域
本发明属于数据处理技术领域，具体涉及一种保证数据一致性的方法和系统。
背景技术
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容忍性（Partitiontolerance）这三项中的两项。对于分布式系统中的数据（包含历史数据）一致性问题，尤其是数据冗余下的数据一致性问题，现有技术中已有两阶段提交（2PC）、补偿事务（TCC）、本地消息表，以及MQ事务消息等手段来保证数据的最终一致性。但两阶段提交（2PC）存在同步阻塞的问题，而且任意一个节点失败就会导致整个事务失败，没有完善的容错机制；补偿事务(TCC)在实现的时候往往需要多写很多补偿的代码。本地消息表与MQ事务消息也分别存在操作繁琐与实现难度大，主流MQ不支持的问题。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种操作简单且能够不依赖于任何第三方组件的保证数据一致性的方法及系统。
本发明的一种保证数据一致性的方法，所述方法首先以源数据Master为基准数据，通过SAAS系统中的数据管理模块进行全量扫描和/或逻辑块扫描和/或增量扫描的方式，对目标数据Slave进行修复矫正，从而保证分布式系统中的数据的最终一致性；所述源数据Master包括企业微信中涉及教育的基础数据，包括学校、校区、学段、年级、班级、学生数据等；所述目标数据Slave为SAAS系统中对应的数据模型中的数据，所述数据模型为基于所述源数据Master的通用可组合模型（UC模型），包括学校-学区关系数据模型、学校-校区-学段关系数据模型、班级-年级-学校关系数据模型。
进一步，本申请所述保证数据一致性的方法具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录小于50万条时，采用全量扫描的方式对目标数据Slave进行修复矫正。
进一步，本申请所述保证数据一致性的方法，具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于50且小于500万条时，采用逻辑块扫描的方式对目标数据Slave进行修复矫正；所述逻辑块扫描的具体过程为对一个业务块的数据进行全量扫描。
进一步，本申请所述方法中的全量扫描的具体过程为：首先设置定时任务，进行扫描源数据Master上的每一条记录，然后根据源数据Master上的记录值去目标数据Slave上查询；在所述目标数据Slave上查询到源数据Master上的记录值则继续查询，在所述目标数据Slave上查询不到源数据Master上的记录值则进行修复矫正；
所述定时任务的执行频率为5分钟至30分钟一次；所述查询为rpc调用或本地调用，所述修复矫正具体包括增加、覆盖或删除。
进一步，本申请所述保证数据一致性的方法，具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于500万条时，采用增量扫描的方式对目标数据Slave进行修复矫正。
进一步，本申请所述方法中的增量扫描的具体过程为：首先设置第一定时任务，然后执行第一定时任务；再设置第二定时任务并执行第二定时任务，最后设置第三定时任务并执行第三定时任务；
所述第一定时任务的执行频率为7天至30天一次；执行第一定时任务的具体过程为逐行从目标数据Slave上取出每一条数据，取出100-2000条数据后将取出的数据放入一个集合中，然后对所述集合中的数据进行校验，得到与所述源数据Master不一致的脏数据，并将所述脏数据放入另外一个待处理集合中，最后对所述待处理集合中的脏数据批量操作，放入一个事务中进行一次提交；
所述第二定时任务的执行频率为每3天至7天一次；执行第二定时任务的具体过程为通过业务标识从系统中获取对应业务标识在目标数据Slave上的所有数据，并放入到另一个集合中，所述集合中的数据的后续处理步骤与执行第一定时任务过程中的处理步骤相同；
所述第三定时任务的执行频率为1-2小时一次；执行第三定时任务的具体过程为系统将源数据Master上发生变化的数据记录并放入到内存数据库库中，用内存数据库中的数据对比目标数据Slave，数据不一致则直接进行修正矫正。
进一步，本申请所述保证数据一致性的方法，所述分布式系统中的数据包含历史数据。
进一步，本申请所述保证数据一致性的方法，所述分布式系统中的数据为涉及数据冗余的数据。
进一步，本申请所述保证数据一致性的方法，所述分布式系统中的数据为教务管理系统中的数据。
进一步，本申请所述保证数据一致性的方法，所述源数据Master和目标数据Slave为包含学生信息和/或家长信息的数据表；所述一个业务块为一个学校或一个年级或一个班级；所述业务标识为学校ID。
一种保证数据一致性的系统，包括数据库和数据处理器，所述数据处理器通过上述保证数据一致性的方法来保证数据的一致性。
与现有技术相比，本发明具有以下有益的技术效果：
本发明所述的一种保证数据一致性的方法和系统，其中所述方法通过以源数据Master上的数据为基准，来对目标数据Slave上的数据进行一致性修复矫正，进而保证数据的最终一致性，修复和矫正的方式可以为全量扫描或逻辑块扫描或增量扫描三种方式中的一种方式或多种的组合，规则组合灵活。且执行定时任务的频率可以根据业务的容忍度进行灵活调整，非常适用于解决分布式系统中的数据（包含历史数据）一致性问题，尤其是数据冗余下的数据一致性问题。本发明所述方法更能够在不用引入或者依赖第三方组件的情况下对历史脏数据进行处理且保证数据的一致性，同时，本申请所述方法对代码的改动量极少，只需要对各种情况进行组合和配置，投入产出比高。
附图说明
图1是本发明实施例1中所述方法的示意图；
图2是本发明实施例2中所述方法的示意图；
图3是本发明实施例3中所述方法的示意图。
实施方式
下面结合具体的实施例对本发明做进一步的详细说明。
具体实施方式一
本发明所述的一种保证数据一致性的方法，所述方法首先以源数据Master为基准数据，通过SAAS系统中的数据管理模块进行全量扫描和/或逻辑块扫描和/或增量扫描的方式，对目标数据Slave进行修复矫正，从而保证分布式系统中的数据的最终一致性；所述源数据Master包括企业微信中涉及教育的基础数据，包括学校、校区、学段、年级、班级、学生数据等；所述目标数据Slave为SAAS系统中对应的数据模型中的数据，所述数据模型为基于所述源数据Master的通用可组合模型（UC模型），包括学校-学区关系数据模型、学校-校区-学段关系数据模型、班级-年级-学校关系数据模型。
所述分布式系统中的数据包含历史数据。
具体实施方式二
本发明所述的一种保证数据一致性的系统，包括数据库和数据处理器，所述处理器通过上述保证数据一致性的方法来保证数据的一致性。
在所述系统的一种具体应用中，所述数据库包括源数据Master和目标数据Slave；所述源数据Master为某学校的基础数据，包括校区、学段、班级、年级、学生等；所述目标数据Slave为SAAS系统中对应数据。在本实施方式二中，SAAS系统为蝉鸣科技的SAAS系统，使用本发明所述的系统，作为源数据Master的某学校不用再维护两份数据，只需要在企微平台中维护数据。当学校在企微平台中完成数据维护后，数据处理器便会从企微平台将数据同步至SAAS系统中。
实施例1
一种保证数据一致性的方法，具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录小于50万条时，采用全量扫描的方式对目标数据Slave进行修复矫正。
在本实施例1中，所述全量扫描的具体过程为：首先设置定时任务，进行扫描源数据Master上的每一条记录，然后根据源数据Master上的记录值去目标数据Slave上查询；在所述目标数据Slave上查询到源数据Master上的记录值则继续查询，在所述目标数据Slave上查询不到源数据Master上的记录值则进行修复矫正；
本实施例1中所述的定时任务的执行频率为5分钟一次；具体采用一次性全部加载的方式进行全量扫描；所述查询为rpc调用或本地调用，所述修复矫正具体包括增加、覆盖、删除。
实施例2
一种保证数据一致性的方法，具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于50且小于500万条时，采用逻辑块扫描的方式对目标数据Slave进行修复矫正；所述逻辑块扫描的具体过程为对一个业务块的数据进行全量扫描。
在本实施例2中，所述源数据Master和目标数据Slave为包含学生信息和/或家长信息的数据表；所述一个业务块为一个学校或一个年级或一个班级。所述全量扫描的具体过程如实施例1中所述。
实施例3
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于500万条时，采用增量扫描的方式对目标数据Slave进行修复矫正。
所述源数据Master和目标数据Slave为包含学生信息和/或家长信息的数据表；
所述增量扫描的具体过程为：首先设置第一定时任务，然后执行第一定时任务；再设置第二定时任务并执行第二定时任务，最后设置第三定时任务并执行第三定时任务；
在本实施例3中，所述第一定时任务的执行频率为30天一次；执行第一定时任务的具体过程为逐行从目标数据Slave上取出每一条数据，取出1000条数据后将取出的数据放入一个集合Reader中，然后对所述reader中的数据进行校验，得到与所述源数据Master不一致的脏数据，并将所述脏数据放入另外一个待处理集合中，最后对所述待处理集合中的脏数据批量操作，放入一个事务中进行一次提交；在本实施例3中，所述校验过程即就是数据比对，批量操作指的是数据库一次性批量处理数据，要么都成功，要么都失败。
所述第二定时任务的执行频率为每7天一次，在本实施例3中，配置成每天的凌晨执行一次；执行第二定时任务的具体过程为通过业务标识从系统中获取对应业务标识在目标数据Slave上的所有数据，并放入到另一个集合中，所述集合中的数据的后续处理步骤与执行第一定时任务过程中的处理步骤相同；在本实施例3中，所述业务标识为学校ID；
所述第三定时任务的执行频率为每小时一次；执行第三定时任务的具体过程为系统将源数据Master上发生变化的数据记录并放入到内存数据库中，用内存数据库中的数据对比目标数据Slave，数据不一致则直接进行修正矫正，具体修正矫正的过程为：增加、覆盖或删除。
实施例4
一种保证数据一致性的方法，本实施例4中所述的保证数据一致性的方法为保证家校通讯录数据一致性的方法。所述方法包括实施例3中所述方法的具体步骤；
且所述源数据Master包括企业微信中涉及教育的基础数据，包括学校、校区、学段、年级、班级、学生数据等；所述学生数据还包括学生姓名、学号、性别、家长联系方式；
所述目标数据Slave为SAAS系统中对应的数据模型中的数据，所述数据模型为基于所述源数据Master的通用可组合模型（UC模型），包括学校-学区关系数据模型、学校-校区-学段关系数据模型、班级-年级-学校关系数据模型。
在本实施例4的保证家校通讯录数据一致性的具体过程中，首先执行第一定时任务，其具体过程包括校验并批量操作数据，以完成同步校区数据、同步学段数据、同步年级数据、同步班级数据，以及修改班级排序字段；如：
S1:首先查询当前目标数据Slave的UC模型中的年级，删除目前UC中比企业微信中多出的年级数据；
S2：根据学校ID、企业微信校区ID、学段ID以及年级ID查询SAAS系统中的对应数据，若存在，则转到S3；若不存在则转到S6；
S3：继续查询是否是标准年级，若是则转到S4；
S4：继续查询，判断目前的数据跟企业微信中的数据是否相等或者是否已经毕业；若是则结束，若否则转到S5；
S5：更新SAAS系统中的对应数据后结束；
S6：查询是否存在标准年级，若存在，添加相关数据后转到S4，若不存在，转到S7；
S7：创建更新相关数据，创建失败则转到S4，创建成功则添加相关数据，并在内存数据库中添加对应的关系数据模型。
所述第二定时任务的执行过程包括，获取最新的企业微信的所有校区ID，然后获取SAAS系统中的据库中对应的校区ID，进行比较；对于需要删除的校区ID进行删除；对于需要新增的校区ID添加数据及其关系；对于需要修改的校区ID进行修改；
所述第三定时任务的执行过程包括获取企业微信中涉及家校通讯录的数据，同步家校通讯录数据。
本发明所述方法的适用场景均需对数据一致性的及时性要求有一定的容忍度。假若存在A、B两个业务系统，A、B两个系统都需要在各自的系统中使用同样的用户数据，但是用户数据只能在A系统中添加维护，通常这样的场景下，我们就需要将A系统的中的用户数据同步到B系统中，但这种同步不是及时同步，而是有一定的时间差，而业务上是可以接受的这个时间差的的，譬如T+1 或者5分钟后等。本发明所述方法非常适用于解决分布式系统中的数据（包含历史数据）一致性问题，尤其是数据冗余下的数据一致性问题。
Claims (9)
1.一种保证数据一致性的方法，其特征在于，所述方法首先以源数据Master为基准数据，通过SAAS系统中的数据管理模块进行全量扫描和/或逻辑块扫描和/或增量扫描的方式，对目标数据Slave进行修复矫正，从而保证分布式系统中的数据的最终一致性；所述源数据Master包括企业微信中涉及教育的基础数据，包括学校、校区、学段、年级、班级、学生数据；所述目标数据Slave为SAAS系统中对应的数据模型中的数据，所述数据模型为基于所述源数据Master的通用可组合模型，包括学校-学区关系数据模型、学校-校区-学段关系数据模型、班级-年级-学校关系数据模型；
所述增量扫描的具体过程为：首先设置第一定时任务，然后执行第一定时任务；再设置第二定时任务并执行第二定时任务，最后设置第三定时任务并执行第三定时任务；
所述第一定时任务的执行频率为7天至30天一次；执行第一定时任务的具体过程为逐行从目标数据Slave上取出每一条数据，取出100-2000条数据后将取出的数据放入到一个集合中，然后对所述集合中的数据进行校验，得到与所述源数据Master不一致的脏数据，并将所述脏数据放入另外一个待处理集合中，最后对所述待处理集合中的脏数据批量操作，放入一个事务中进行一次提交；
所述第二定时任务的执行频率为每3天至7天一次；执行第二定时任务的具体过程为通过业务标识从系统中获取对应业务标识在目标数据Slave上的所有数据，并放入到一个另一个集合中，所述集合中的数据的后续处理步骤与执行第一定时任务过程中的处理步骤相同；
所述第三定时任务的执行频率为每1-2h一次；执行第三定时任务的具体过程为系统将源数据Master上发生变化的数据记录并放入到内存数据库中，用内存数据库中的数据对比目标数据Slave，数据不一致则直接进行修正矫正。
2.根据权利要求1所述的保证数据一致性的方法，其特征在于，所述方法具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录小于50万条时，采用全量扫描的方式对目标数据Slave进行修复矫正。
3.根据权利要求2所述的保证数据一致性的方法，其特征在于，所述方法具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于50万条且小于500万条时，采用逻辑块扫描的方式对目标数据Slave进行修复矫正；所述逻辑块扫描的具体过程为对一个业务块的数据进行全量扫描。
4.根据权利要求3所述的保证数据一致性的方法，其特征在于，所述全量扫描的具体过程为：首先设置定时任务，进行扫描源数据Master上的每一条记录，然后根据源数据Master上的记录值去目标数据Slave上查询；在所述目标数据Slave上查询到源数据Master上的记录值则继续查询，在所述目标数据Slave上查询不到源数据Master上的记录值则进行修复矫正；
所述定时任务的执行频率为每5分钟至30分钟执行一次；所述查询为rpc调用或本地调用，所述修复矫正具体包括增加、覆盖或删除。
5.根据权利要求4所述的保证数据一致性的方法，其特征在于，所述方法具体包括如下步骤：
1）判定源数据Master的数据量；
2）当所述源数据Master上主表行记录大于500万条时，采用增量扫描的方式对目标数据Slave进行修复矫正。
6.根据权利要求5所述的保证数据一致性的方法，其特征在于，所述分布式系统中的数据包含历史数据。
7.根据权利要求6所述的保证数据一致性的方法，其特征在于，所述分布式系统中的数据为涉及数据冗余的数据。
8.根据权利要求7所述的保证数据一致性的方法，其特征在于，所述分布式系统中的数据为教务管理系统中的数据，所述源数据Master和目标数据Slave为包含学生信息和/或家长信息的数据表；所述一个业务块为一个学校或一个年级或一个班级；所述业务标识为学校ID。
9.一种保证数据一致性的系统，其特征在于，所述系统包括数据库和数据处理器，所述数据处理器通过权利要求1-8任一所述的保证数据一致性的方法来保证数据的一致性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310771138.0A CN116756162B (zh) | 2023-06-28 | 2023-06-28 | 一种保证数据一致性的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310771138.0A CN116756162B (zh) | 2023-06-28 | 2023-06-28 | 一种保证数据一致性的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116756162A CN116756162A (zh) | 2023-09-15 |
| CN116756162B true CN116756162B (zh) | 2024-03-12 |
Family
ID=87956839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310771138.0A Active CN116756162B (zh) | 2023-06-28 | 2023-06-28 | 一种保证数据一致性的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756162B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005102A2 (en) * | 2006-05-13 | 2008-01-10 | Sap Ag | Consistent set of interfaces derived from a business object model |
| CN105045721A (zh) * | 2015-07-23 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种数据一致性校验的方法和装置 |
| CN110196885A (zh) * | 2019-06-13 | 2019-09-03 | 东方电子股份有限公司 | 一种云化分布式实时数据库系统 |
| CN110515958A (zh) * | 2019-07-23 | 2019-11-29 | 平安科技（深圳）有限公司 | 基于大数据的数据一致性方法、装置、设备和存储介质 |
| CN110647534A (zh) * | 2019-09-19 | 2020-01-03 | 中国银行股份有限公司 | 一种跨数据库平台同步数据的核对方法、设备以及系统 |
| CN111352982A (zh) * | 2018-12-24 | 2020-06-30 | 核工业计算机应用研究所 | 一种基于大数据的人力抽取分析系统 |
| CN112238881A (zh) * | 2020-09-29 | 2021-01-19 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种实时同步主备数据的高速铁路调度集中自律机系统 |
| CN112527894A (zh) * | 2020-11-27 | 2021-03-19 | 聚好看科技股份有限公司 | 一种数据库一致性校验方法及系统 |
| CN113656511A (zh) * | 2021-10-20 | 2021-11-16 | 天津南大通用数据技术股份有限公司 | 一种基于源库不停机的异构数据库增量同步方法及系统 |
| CN113672609A (zh) * | 2021-09-02 | 2021-11-19 | 长三角信息智能创新研究院 | 基于多源数据融合生成居民孕产模型标签方法 |
| CN114706867A (zh) * | 2022-03-25 | 2022-07-05 | 马上消费金融股份有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN115756947A (zh) * | 2022-11-25 | 2023-03-07 | 支付宝(杭州)信息技术有限公司 | 分布式数据存储系统的数据一致性校验方法、装置及系统 |
| CN116149912A (zh) * | 2021-11-22 | 2023-05-23 | 北京金山云网络技术有限公司 | 云主机的批量操作测试方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060167983A1 (en) * | 2005-01-07 | 2006-07-27 | Exacore Corporation | Inter-networked knowledge services (INKS) |
-
2023
- 2023-06-28 CN CN202310771138.0A patent/CN116756162B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005102A2 (en) * | 2006-05-13 | 2008-01-10 | Sap Ag | Consistent set of interfaces derived from a business object model |
| CN105045721A (zh) * | 2015-07-23 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种数据一致性校验的方法和装置 |
| CN111352982A (zh) * | 2018-12-24 | 2020-06-30 | 核工业计算机应用研究所 | 一种基于大数据的人力抽取分析系统 |
| CN110196885A (zh) * | 2019-06-13 | 2019-09-03 | 东方电子股份有限公司 | 一种云化分布式实时数据库系统 |
| CN110515958A (zh) * | 2019-07-23 | 2019-11-29 | 平安科技（深圳）有限公司 | 基于大数据的数据一致性方法、装置、设备和存储介质 |
| CN110647534A (zh) * | 2019-09-19 | 2020-01-03 | 中国银行股份有限公司 | 一种跨数据库平台同步数据的核对方法、设备以及系统 |
| CN112238881A (zh) * | 2020-09-29 | 2021-01-19 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种实时同步主备数据的高速铁路调度集中自律机系统 |
| CN112527894A (zh) * | 2020-11-27 | 2021-03-19 | 聚好看科技股份有限公司 | 一种数据库一致性校验方法及系统 |
| CN113672609A (zh) * | 2021-09-02 | 2021-11-19 | 长三角信息智能创新研究院 | 基于多源数据融合生成居民孕产模型标签方法 |
| CN113656511A (zh) * | 2021-10-20 | 2021-11-16 | 天津南大通用数据技术股份有限公司 | 一种基于源库不停机的异构数据库增量同步方法及系统 |
| CN116149912A (zh) * | 2021-11-22 | 2023-05-23 | 北京金山云网络技术有限公司 | 云主机的批量操作测试方法、装置、电子设备及存储介质 |
| CN114706867A (zh) * | 2022-03-25 | 2022-07-05 | 马上消费金融股份有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN115756947A (zh) * | 2022-11-25 | 2023-03-07 | 支付宝(杭州)信息技术有限公司 | 分布式数据存储系统的数据一致性校验方法、装置及系统 |
Non-Patent Citations (2)
| Title |
|---|
| INFuse: Towards Efficient Context Consistency by Incremental-Concurrent Check Fusion;Lingyu Zhang 等;2022 IEEE International Conference on Software Maintenance and Evolution (ICSME);187-198 * |
| 基于日志数据块的关系数据库数据复制容灾系统的设计与实现;刘艳芝;中国优秀硕士学位论文全文数据库 (信息科技辑);I138-70 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116756162A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7149761B2 (en) | System and method for managing the synchronization of replicated version-managed databases | |
| US6141663A (en) | Automatic external data synchronization method | |
| US6304882B1 (en) | Data replication system and method | |
| CN111124755B (zh) | 集群节点的故障恢复方法、装置、电子设备及存储介质 | |
| US20080046501A1 (en) | Managing uneven authorizations in a computer data exchange | |
| US20220405178A1 (en) | Distributed database remote backup | |
| CN109753511B (zh) | 一种大数据平台的跨地域实时同步方法及系统 | |
| US10509801B2 (en) | Selective data synchronization and transfer to remote distributed database servers | |
| JPH052571A (ja) | プロセス制御システムにおいて一次データベースと二次データベースの両端相互検証を実行する方法 | |
| CN106649736B (zh) | 一种通用数据库中自动编号生成方法 | |
| CN112579613B (zh) | 数据库集群差异比对与数据同步的方法、系统及介质 | |
| JPH04364562A (ja) | プロセス制御システムにおいて一次データベース及び二次データベースに格納されているデータを保証する方法 | |
| CN116756162B (zh) | 一种保证数据一致性的方法和系统 | |
| CN110175211B (zh) | 一种数据同步方法及装置 | |
| US11526560B2 (en) | Backwards-compatible method for retrieving data stored in a database using versioned reference perspectives of edges | |
| US20040015520A1 (en) | Database managing method and system having data backup function and associated programs | |
| CN109492050A (zh) | 防止MySQL双活系统循环复制的方法及装置 | |
| CN101436157A (zh) | 一种在程序测试流程中程序bug的处理方法 | |
| CN107844581A (zh) | 一种多源异质数据融合平台 | |
| Estublier et al. | Experiences; Distribution Development and Software Configuration Management | |
| CN114741401B (zh) | 一种基于更新时间及主键的数据同步方法、设备及介质 | |
| CN117407362B (zh) | 一种异构文件系统间文件迁移的方法与装置 | |
| US11907192B1 (en) | Systems and methods for artifact peering within a multi-master collaborative environment | |
| CN114510534B (zh) | 数据同步方法、装置、设备及存储介质 | |
| CN117194430A (zh) | 一种对Saas平台数据结构进行优化的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |