CN112818063A - 分布式系统的数据同步方法及装置 - Google Patents

Abstract

本发明公开了一种分布式系统的数据同步方法、介质、设备及装置，其中方法包括：通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；能够保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

Description

分布式系统的数据同步方法及装置

技术领域

本发明涉及数据管理技术领域，特别涉及一种分布式系统的数据同步方法、一种计算机可读存储介质、一种计算机设备以及一种分布式系统的数据同步装置。

背景技术

相关技术中，在运用负载均衡、分布式部署等形式来减轻系统负载的过程中。在系统业务中大量公共的关键数据在负载均衡或分布式处理之后，当其中一个系统的数据发生变动时，容易导致其他系统无法实时同步而使得各个系统之间的数据不一致，进而影响业务的执行。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种分布式系统的数据同步方法，能够保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备，

本发明的第四个目的在于提出一种分布式系统的数据同步装置。

为达到上述目的，本发明第一方面实施例提出了一种分布式系统的数据同步方法，包括以下步骤：通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

根据本发明实施例的分布式系统的数据同步方法，首先，通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；接着，如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；然后，通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

另外，根据本发明上述实施例提出的分布式系统的数据同步方法还可以具有如下附加的技术特征：

可选地，在通过数据监听服务获取应用程序的数据变更信息之前，还包括：获取对应应用程序的注册信息，并根据所述注册信息更新监听对象列表，其中，所述注册信息包括应用程序对应的监听对象信息、自定义回调信息。

可选地，通过通知分发服务监听所述监听日志，包括：通知分发服务监听日志的变更状态，并在所述监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据所述已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有分布式系统的数据同步程序，该分布式系统的数据同步程序被处理器执行时实现如上述的分布式系统的数据同步方法。

根据本发明实施例的计算机可读存储介质，通过存储分布式系统的数据同步程序，以使得处理器在执行该分布式系统的数据同步程序时，实现如上述的分布式系统的数据同步方法，从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的分布式系统的数据同步方法。

根据本发明实施例的计算机设备，通过存储器对分布式系统的数据同步程序进行存储，以使得处理器在执行该分布式系统的数据同步程序时，实现如上述的分布式系统的数据同步方法，从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为达到上述目的，本发明第四方面实施例提出了一种分布式系统的数据同步装置，包括：数据监听模块，所述数据监听模块用于获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；所述数据监听模块还用于在该数据变更信息为监听对象时，将该数据变更信息写入监听日志；通知分发模块，所述通知分发模块用于监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

根据本发明实施例的分布式系统的数据同步装置，通过设置数据监听模块用于获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；数据监听模块还用于在该数据变更信息为监听对象时，将该数据变更信息写入监听日志；通知分发模块用于监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

另外，根据本发明上述实施例提出的分布式系统的数据同步装置还可以具有如下附加的技术特征：

可选地，还包括注册模块，所述注册模块用于获取对应应用程序的注册信息，并根据所述注册信息更新监听对象列表，其中，所述注册信息包括应用程序对应的监听对象信息、自定义回调信息。

可选地，通过通知分发服务监听所述监听日志，包括：通知分发服务监听日志的变更状态，并在所述监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据所述已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

附图说明

图1为根据本发明实施例的分布式系统的数据同步方法的流程示意图；

图2为根据本发明实施例的数据监听服务的监听流程示意图；

图3为根据本发明实施例的通知分发服务的监听流程示意图；

图4为根据本发明实施例的分布式系统的数据同步装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，在系统业务中大量公共的关键数据在负载均衡或分布式处理之后，当其中一个系统的数据发生变动时，容易导致其他系统无法实时同步而使得各个系统之间的数据不一致，进而影响业务的执行。根据本发明实施例的分布式系统的数据同步方法，首先，通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；接着，如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；然后，通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的分布式系统的数据同步方法的流程示意图，如图1所示，该分布式系统的数据同步方法包括以下步骤：

S101，通过数据监听服务获取应用程序的数据变更信息，并根据数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象。

也就是说，通过数据监听服务对应用程序的数据变更信息进行获取，然后，根据获取到的数据变更信息查询监听对象列表(该监听对象列表中记载应用程序对应的需要进行监听的数据对象)；从而，可以通过查询来判断该数据变更信息是否为监听对象。

S102，如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志。

S103，通过通知分发服务监听监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

即言，如果该数据变更信息是监听对象，则表示监听对象发生了变更；进而，将该数据变更信息写入到监听日志中；然后，通过通知分发服务对监听日志进行监听，以通过监听来判断监听日志是否发生变化；如果发生变化，则获取监听日志中的新增变更信息，并根据新增变更信息通知相应的分布式系统；以便相应的分布式系统根据通知进行数据的同步，以保障多个分布式系统之间的数据一致性。

在一些实施例中，在通过数据监听服务获取应用程序的数据变更信息之前，还包括：获取对应应用程序的注册信息，并根据注册信息更新监听对象列表，其中，注册信息包括应用程序对应的监听对象信息、自定义回调信息。

即言，通过用户的注册行为来获取应用程序需要进行监听的对象信息，并通过监听对象列表对该信息进行存储；同时，允许用户对回调方法进行自定义，以便根据用户自定义的回调方法对数据监听服务和通知分发服务进行初始化。

在一些实施例中，通过通知分发服务监听监听日志，包括：通知分发服务监听日志的变更状态，并在监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

即言，通知分发服务在每次获取监听日志中的变更文件之后对当前已读取的位置信息进行标记；从而，当通知分发服务进行下一次变更文件的获取时，只需要查询最新的已读取的位置信息，即可根据查询结果获取该下一次的变更文件。

作为本发明的一个具体实施例，如图2所示，本发明实施例提出的数据监听服务对应用程序的监听流程包括以下步骤：

S201，开始。

S202，获取应有程序的所有数据变更信息。

S203，判断数据变更信息是否为监听对象；如果否，则执行步骤S207；如果是，则执行步骤S204。

S204，根据数据变更信息组装数据对象变更通知信息。

S205，触发数据对象变更通知。

S206，将数据对象变更通知信息写入监听日志。

S207，结束。

作为本发明的一个具体实施例，如图3所示，本发明实施例提出的通知分发服务监听流程包括以下步骤：

S301，获取数据对象变更通知。

S302，将数据对象变更通知写入待通知队列。

S303，根据数据对象变更通知获取最新读取位置标记，并根据最新读取位置标记读取对应的数据对象变更通知信息。

S304，更新读取位置标记。

S305，匹配注册监听数据对象配置。

S306，根据注册回调方法进行变更通知，以便各分布式系统进行数据同步。

综上所述，根据本发明实施例的分布式系统的数据同步方法，首先，通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；接着，如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；然后，通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为了实现上述实施例，本发明实施例提出了计算机可读存储介质，其上存储有分布式系统的数据同步程序，该分布式系统的数据同步程序被处理器执行时实现如上述的分布式系统的数据同步方法。

根据本发明实施例的计算机可读存储介质，通过存储分布式系统的数据同步程序，以使得处理器在执行该分布式系统的数据同步程序时，实现如上述的分布式系统的数据同步方法，从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为了实现上述实施例，本发明实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的分布式系统的数据同步方法。

根据本发明实施例的计算机设备，通过存储器对分布式系统的数据同步程序进行存储，以使得处理器在执行该分布式系统的数据同步程序时，实现如上述的分布式系统的数据同步方法，从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

为了实现上述实施例，本发明实施例提出了一种分布式系统的数据同步装置，如图4所示，该分布式系统的数据同步装置包括：数据监听模块10和通知分发模块20。

其中，数据监听模块10用于获取应用程序的数据变更信息，并根据数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；

数据监听模块10还用于在该数据变更信息为监听对象时，将该数据变更信息写入监听日志；

通知分发模块20用于监听监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

在一些实施例中，还包括注册模块，注册模块用于获取对应应用程序的注册信息，并根据注册信息更新监听对象列表，其中，注册信息包括应用程序对应的监听对象信息、自定义回调信息。

在一些实施例中，通过通知分发服务监听监听日志，包括：通知分发服务监听日志的变更状态，并在监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

需要说明的是，上述关于图1中分布式系统的数据同步方法的描述同样适用于该分布式系统的数据同步装置，在此不做赘述。

综上所述，根据本发明实施例的分布式系统的数据同步装置，通过设置数据监听模块用于获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；数据监听模块还用于在该数据变更信息为监听对象时，将该数据变更信息写入监听日志；通知分发模块用于监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步；从而保证负载均衡、分布式部署的多系统之间的数据一致性，保障系统的正常运行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种分布式系统的数据同步方法，其特征在于，包括以下步骤：

通过数据监听服务获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；

如果该数据变更信息为监听对象，则将该数据变更信息写入监听日志；

通过通知分发服务监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

2.如权利要求1所述的分布式系统的数据同步方法，其特征在于，在通过数据监听服务获取应用程序的数据变更信息之前，还包括：

获取对应应用程序的注册信息，并根据所述注册信息更新监听对象列表，其中，所述注册信息包括应用程序对应的监听对象信息、自定义回调信息。

3.如权利要求1所述的分布式系统的数据同步方法，其特征在于，通过通知分发服务监听所述监听日志，包括：

通知分发服务监听日志的变更状态，并在所述监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据所述已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

4.一种计算机可读存储介质，其特征在于，其上存储有分布式系统的数据同步程序，该分布式系统的数据同步程序被处理器执行时实现如权利要求1-3中任一项所述的分布式系统的数据同步方法。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-3中任一项所述的分布式系统的数据同步方法。

6.一种分布式系统的数据同步装置，其特征在于，包括：

数据监听模块，所述数据监听模块用于获取应用程序的数据变更信息，并根据所述数据变更信息查询监听对象列表，以判断该数据变更信息是否为监听对象；

所述数据监听模块还用于在该数据变更信息为监听对象时，将该数据变更信息写入监听日志；

通知分发模块，所述通知分发模块用于监听所述监听日志，并根据监听结果通知相应的分布式系统，以便相应的分布式系统根据通知进行数据的同步。

7.如权利要求6所述的分布式系统的数据同步装置，其特征在于，还包括注册模块，所述注册模块用于获取对应应用程序的注册信息，并根据所述注册信息更新监听对象列表，其中，所述注册信息包括应用程序对应的监听对象信息、自定义回调信息。

8.如权利要求6所述的分布式系统的数据同步装置，其特征在于，通过通知分发服务监听所述监听日志，包括：

通知分发服务监听日志的变更状态，并在所述监听日志发生变更文件写入之后，获取监听日志中的已读标识，以及根据所述已读标识进行当前变更文件的获取，并在获取之后更新已读标识。

Images