CN111090648A - 一种关系型数据库数据同步冲突解决方法 - Google Patents

Abstract

本发明涉及一种关系型数据库数据同步冲突解决方法，通过构建传输数据表，对数据进行等幂性处理，当产生同步数据的请求时，接收方标记来源方和来源方ID，并以此为组合从接收方的数据库中进行查询，能查询到对应的数据则进行数据同步，否则根据策略进行数据的新增或丢弃。本发明借助数据标识字段标识数据的来源，并以来源方对应的主键信息识别需要同步的数据是否为已有数据，接收同步数据时，则根据细粒度配置的策略决策数据的增、删、改，解决了数据库数据同步中保持等幂性困难的问题，并解决了由数据库或业务唯一约束造成的数据冲突问题。

Description

一种关系型数据库数据同步冲突解决方法

技术领域

本发明涉及数字信息的传输，例如电报通信的技术领域，特别涉及一种关系型数据库数据同步冲突解决方法。

背景技术

数据同步意为同时执行同样的操作，其将对象定位为数据，大多数时候对其的理解为不同存储设备或终端与终端、终端与服务器之间的备份操作，是将一方数据发送给另一方并持久化的过程。

由于数据彼此之间存在关联，以及数据本身携带业务属性和数据库本身的一些约束，在数据同步中为保证数据同步的等幂性，识别数据非常重要，如果不能正确识别将造成数据异常。为了保证数据的等幂性和数据业务的可用，一般需要对同步来源方的数据进行数据识别和入库决策，而当来源方的数据需要入库时，当出现数据库约束或业务约束时，还将造成数据冲突、无法写入，此时需要根据策略对数据细粒度的进行处理。

现有技术中，常用的同步软件框架包括Sync Services for ADO.NET，开发人员使用此框架，并在此基础上开发数据同步和冲突解决方案，根据ApplyChangeFailed事件来相应地解决冲突和错误，如果在同步期间无法应用某行，则会引发ApplyChangeFailed事件，DbApplyChangeFailedEventArgs对象提供有关导致失败的错误或冲突的信息，在事件处理程序中，可以用多种方式来响应事件，包括：

1、Continue：忽略冲突并继续执行同步；

2、RetryApplyingRow和RetryNextSync：重新尝试应用该行；如果没有通过变更存在冲突的行之一（或二者）来解决导致冲突的原因，则重试操作将失败，并将再次引发该事件；

3、RetryWithForceWrite：重新尝试逻辑以强制应用变更；@sync_force_write参数并在将变更应用于远程数据库的命令中添加支持，例如，对于某个LocalUpdateRemoteUpdate冲突，可以在@sync_force_write设置为1时强制选择从本地提供程序进行的变更。

现有技术中，Sync Services for ADO.NET存在的缺点包括：

（1）Sync Services for ADO.NET是一个框架，需要开发人员在此框架上根据本身业务进行开发，将冲突解决功能耦合在业务代码上；

（2）Sync Services for ADO.NET只能处理数据库约束的冲突，如主键冲突、unique冲突；

（3）Sync Services for ADO.NET是.NET框架，存在开发语言的限制。

发明内容

本发明解决了现有技术中存在的问题，提供了一种优化的关系型数据库数据同步冲突解决方法。

本发明所采用的技术方案是，一种关系型数据库数据同步冲突解决方法，所述方法包括以下步骤：

步骤1：构建传输数据表，对任一数据进行等幂性处理；

步骤2：当产生同步数据的请求，则进行下一步；

步骤3：接收方标记来源方和来源方ID，以来源方和来源方ID的组合从接收方的数据库中进行查询；

步骤4：若能查询到对应的数据，则进行数据同步，返回步骤2，否则，进行下一步；

步骤5：根据策略进行数据的新增或丢弃，返回步骤2。

优选地，所述步骤1中，等幂性处理为在数据表中添加字段，所述字段包括数据的来源方及来源方ID、根源方及根源方ID。

优选地，所述步骤4中，数据同步为根据策略进行数据更新或丢弃。

优选地，所述步骤5中，数据的新增包括以下步骤：

步骤5.1.1：以来源方及来源方ID对当前数据进行标记；

步骤5.1.2：若根源方及根源方ID为空，则以来源方及来源方ID对应为根源方及根源方ID，否则，保留原始根源方及根源方ID不变；

步骤5.1.3：将处理完毕的数据的来源方及来源方ID、根源方及根源方ID插入至接收方的数据库中。

优选地，所述步骤4和/或步骤5中，若来源方的数据需要入库进行修改和/或新增时被接收方的数据库约束，或若由于业务约束而造成数据冲突无法写入，根据策略对数据细粒度的进行处理。

优选地，所述处理包括以下步骤：

步骤6.1：当存在数据需要进行修改和/或新增时，若任一数据表存在唯一约束时，进行下一步；

步骤6.2：从数据库中根据所述唯一约束的字段查询是否已经存在；

步骤6.3：若结果不为空，则需要进行修改和/或新增的数据与已有数据存在约束冲突，进行下一步，否则，对数据进行修改和/或新增；

步骤6.4：根据配置的策略进行覆盖更新或者丢弃。

本发明提供了一种优化的关系型数据库数据同步冲突解决方法，通过构建传输数据表，对数据进行等幂性处理，当产生同步数据的请求时，接收方标记来源方和来源方ID，并以此为组合从接收方的数据库中进行查询，能查询到对应的数据则进行数据同步，否则根据策略进行数据的新增或丢弃。

本发明借助数据标识字段标识数据的来源，并以来源方对应的主键信息识别需要同步的数据是否为已有数据，接收同步数据时，则根据细粒度配置的策略决策数据的增、删、改，解决了数据库数据同步中保持等幂性困难的问题，并解决了由数据库或业务唯一约束造成的数据冲突问题。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种关系型数据库数据同步冲突解决方法，以保持数据等幂性来识别数据是否为已有数据、使用配置文件识别数据库唯一约束和业务唯一约束、解决因唯一约束造成的数据冲突。

本发明中，识别数据是指在数据同步过程中，判断来源方数据为本数据库已有数据或新数据。

本发明中，等幂性是指同样的数据被同步一次和多次，其后果具有一致性。

本发明中，数据冲突是指数据同步过程中，来源方数据在入库时可能存在数据库字段unique或业务约束等导致的数据无法入库或造成业务异常的情况。

本发明中，细粒度是指配置粒度到数据表，可根据每张表进行不同的配置。

所述方法包括以下步骤。

步骤1：构建传输数据表，对任一数据进行等幂性处理。

所述步骤1中，等幂性处理为在数据表中添加字段，所述字段包括数据的来源方及来源方ID、根源方及根源方ID。

本发明中，为每张表添加的字段包括：标识数据来源方的sync_source、标识数据来源方ID的sync_source_id、标识数据根源方的sync_origin及标识数据根源方ID的sync_origin_id，根据以上四个字段可以表示数据的来源方以及该数据生成的根源方。

步骤2：当产生同步数据的请求，则进行下一步。

本发明中，当来源方产生一条新数据需要同步给接收方，同步程序会从来源方的数据库中查询到该数据，并发送给接收方，接收方接收到需要同步的数据和指令，则产生同步数据的请求。

步骤3：接收方标记来源方和来源方ID，以来源方和来源方ID的组合从接收方的数据库中进行查询。

本发明中，接收方识别到由来源方发送过来的数据，标记sync_source为A（来源方）、sync_source_id为A发送这条数据的主键；根据sync_source、sync_source_id这两个字段的组合，从接收方的数据库中查询对应的记录。

步骤4：若能查询到对应的数据，则进行数据同步，返回步骤2，否则，进行下一步。

所述步骤4中，数据同步为根据策略进行数据更新或丢弃。

本发明中，若能获取到查询结果则该条数据为接收方已有的数据，则进行同步，具体来说，可根据策略进行更新或丢弃；若未能查询到数据则是接收方没有的数据，则根据策略新增或丢弃。

步骤5：根据策略进行数据的新增或丢弃，返回步骤2。

所述步骤5中，数据的新增包括以下步骤：

步骤5.1.1：以来源方及来源方ID对当前数据进行标记；

步骤5.1.2：若根源方及根源方ID为空，则以来源方及来源方ID对应为根源方及根源方ID，否则，保留原始根源方及根源方ID不变；

步骤5.1.3：将处理完毕的数据的来源方及来源方ID、根源方及根源方ID插入至接收方的数据库中。

所述步骤4和/或步骤5中，若来源方的数据需要入库进行修改和/或新增时被接收方的数据库约束，或若由于业务约束而造成数据冲突无法写入，根据策略对数据细粒度的进行处理。

所述处理包括以下步骤：

步骤6.1：当存在数据需要进行修改和/或新增时，若任一数据表存在唯一约束时，进行下一步；

步骤6.2：从数据库中根据所述唯一约束的字段查询是否已经存在；

步骤6.3：若结果不为空，则需要进行修改和/或新增的数据与已有数据存在约束冲突，进行下一步，否则，对数据进行修改和/或新增；

步骤6.4：根据配置的策略进行覆盖更新或者丢弃。

本发明中，新增和修改都可能会造成唯一键冲突，举例来说，name字段全局唯一，在表中已存在一条'zhangsan'的前提下，如果新增一条'张三'，或修改原先某一条数据为'zhangsan'，都将造成数据同步冲突，需要解决。

本发明中，若为新数据，则入库前需要设置数据的sync_source=A（来源方）、sync_source_id=A方该数据的主键值、sync_origin=A、sync_origin_id=A方该数据的主键值，插入到接收方的数据库中。

本发明中，基于上述的场景，当需要以现在的接收方为来源方（新来源方），将新增的数据同步到下一个接收方时，sync_source=B（新来源方）、sync_source_id=B方该数据的主键值，由于是新来源方同步给新的接收方，故sync_origin、sync_origin_id这两个字段已经存在，不修改这两个字段的值。

本发明中，sync_origin、sync_origin_id是为了标识数据的来源方，并在多级同步中标识数据的生成方，方便追踪。

本发明中，数据新增过程中，若有云数据库unique或业务约束，则会导致某个字段或某些字段组合需要形成唯一，一般来说，唯一关系的配置可以使用配置文件，如：

{

"name": "t_web_site",

"suffixAttrs": [

"address"

]

"tactics":"discard"

}

其中，name表示表名称，suffixAttrs表示需要保持唯一的字段（可组合唯一），tactics为策略，可选的参数包括覆盖（cover）和丢弃（discard）；

当有数据需要新增或修改时，从配置中获取该表的唯一配置，若配置了suffixAttrs字段，则表示该表存在唯一约束，此时，从数据库中根据唯一字段查询是否已经存在该数据，如select * from t_web_site where address=（address字段值），其中，address字段值是指需要新增的这条数据的address字段值；如果结果不为空，则表示该条数据与已有的数据形成约束冲突，此时需要决策，根据配置的策略进行覆盖更新或者丢弃。

本发明通过构建传输数据表，对数据进行等幂性处理，当产生同步数据的请求时，接收方标记来源方和来源方ID，并以此为组合从接收方的数据库中进行查询，能查询到对应的数据则进行数据同步，否则根据策略进行数据的新增或丢弃。

本发明借助数据标识字段标识数据的来源，并以来源方对应的主键信息识别需要同步的数据是否为已有数据，接收同步数据时，则根据细粒度配置的策略决策数据的增、删、改，解决了数据库数据同步中保持等幂性困难的问题，并解决了由数据库或业务唯一约束造成的数据冲突问题。

Claims (6)

1.一种关系型数据库数据同步冲突解决方法，其特征在于：所述方法包括以下步骤：

步骤1：构建传输数据表，对任一数据进行等幂性处理；

步骤2：当产生同步数据的请求，则进行下一步；

步骤3：接收方标记来源方和来源方ID，以来源方和来源方ID的组合从接收方的数据库中进行查询；

步骤4：若能查询到对应的数据，则进行数据同步，返回步骤2，否则，进行下一步；

步骤5：根据策略进行数据的新增或丢弃，返回步骤2。

2.根据权利要求1所述的一种关系型数据库数据同步冲突解决方法，其特征在于：所述步骤1中，等幂性处理为在数据表中添加字段，所述字段包括数据的来源方及来源方ID、根源方及根源方ID。

3.根据权利要求1所述的一种关系型数据库数据同步冲突解决方法，其特征在于：所述步骤4中，数据同步为根据策略进行数据更新或丢弃。

4.根据权利要求1所述的一种关系型数据库数据同步冲突解决方法，其特征在于：所述步骤5中，数据的新增包括以下步骤：

步骤5.1.1：以来源方及来源方ID对当前数据进行标记；

步骤5.1.2：若根源方及根源方ID为空，则以来源方及来源方ID对应为根源方及根源方ID，否则，保留原始根源方及根源方ID不变；

步骤5.1.3：将处理完毕的数据的来源方及来源方ID、根源方及根源方ID插入至接收方的数据库中。

5.根据权利要求1所述的一种关系型数据库数据同步冲突解决方法，其特征在于：所述步骤4和/或步骤5中，若来源方的数据需要入库进行修改和/或新增时被接收方的数据库约束，或若由于业务约束而造成数据冲突无法写入，根据策略对数据细粒度的进行处理。

6.根据权利要求5所述的一种关系型数据库数据同步冲突解决方法，其特征在于：所述处理包括以下步骤：

步骤6.1：当存在数据需要进行修改和/或新增时，若任一数据表存在唯一约束时，进行下一步；

步骤6.2：从数据库中根据所述唯一约束的字段查询是否已经存在；

步骤6.3：若结果不为空，则需要进行修改和/或新增的数据与已有数据存在约束冲突，进行下一步，否则，对数据进行修改和/或新增；

步骤6.4：根据配置的策略进行覆盖更新或者丢弃。

Images