CN111125253A - 一种数据同步方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据同步方法、装置、设备及存储介质，该方法的步骤包括：获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点与大数据组件属于相同的大数据集群；将节点用户数据以及组件用户数据进行合并得到综合用户数据；向集群节点以及大数据组件分别同步综合用户数据。本方法达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。此外，本发明还提供一种数据同步装置、设备及存储介质，有益效果同上所述。

Description

一种数据同步方法、装置、设备及存储介质

技术领域

本发明涉及大数据领域，特别是涉及一种数据同步方法、装置、设备及存储介质。

背景技术

在大数据时代，大量业务需要通过大数据集群完成统一处理，大数据集群中包含有集群节点以及大数据组件，当前往往根据业务需求，通过集群节点向大数据组件发起业务请求的方式实现大数据组件对相应大数据业务的处理。

随着大数据集群的逐渐完善及成熟，大数据集群中的大数据组件也越来越多，而大数据组件往往服务于大数据集群中的集群节点，进而当集群节点中注册有大数据组件授权的用户数据即可访问该大数据组件，但是由于当前集群节点与对应的大数据组件之间往往独立维护有各自的用户数据，因此可能存在集群节点与大数据组件之间的用户数据不一致的情况，进而导致集群节点无法通过大数据组件处理大数据业务，难以确保大数据集群中业务的可靠性。

由此可见，提供一种数据同步方法，以相对确保大数据集群中业务的可靠性，是本领域技术人员需要解决的问题。

发明内容

本发明的目的是提供一种数据同步方法、装置、设备及存储介质，以相对确保大数据集群中业务的可靠性。

为解决上述技术问题，本发明提供一种数据同步方法，包括：

获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点与大数据组件属于相同的大数据集群；

将节点用户数据以及组件用户数据进行合并得到综合用户数据；

向集群节点以及大数据组件分别同步综合用户数据。

优选的，将节点用户数据以及组件用户数据进行合并得到综合用户数据，包括：

对节点用户数据以及组件用户数据取并集得到综合用户数据。

优选的，在向集群节点以及大数据组件分别同步综合用户数据之前，方法还包括：

判断综合用户数据中是否存在具有相同用户标识且内容存在差异的第一数据以及第二数据；

如果是，则对综合用户数据中的第一数据以及第二数据进行合并，并执行向集群节点以及大数据组件分别同步综合用户数据的步骤；

否则，执行向集群节点以及大数据组件分别同步综合用户数据的步骤。

优选的，对综合用户数据中的第一数据以及第二数据进行合并，包括：

对综合用户数据中的第一数据以及第二数据以取交集的方式进行合并。

优选的，对综合用户数据中的第一数据以及第二数据进行合并，包括：

对综合用户数据中的第一数据以及第二数据以取差集的方式进行合并。

优选的，在向集群节点以及大数据组件分别同步综合用户数据之后，方法还包括：

接收用户的操作指令，并根据操作指令对综合用户数据执行相应的数据操作；

判断执行操作指令后的综合用户数据的是否存在内容变更；

如果是，则将集群节点以及大数据组件中已有的综合用户数据替换为发生内容变更的综合用户数据。

优选的，操作指令包括新增综合用户数据，和/或删除综合用户数据，和/或修改综合用户数据，和/或检索综合用户数据。

此外，本发明还提供一种数据同步装置，包括：

用户数据获取模块，用于获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点与大数据组件属于相同的大数据集群；

用户数据合并模块，用于将节点用户数据以及组件用户数据进行合并得到综合用户数据；

数据同步模块，用于向集群节点以及大数据组件分别同步综合用户数据。

此外，本发明还提供一种数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述的数据同步方法的步骤。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据同步方法的步骤。

本发明所提供的数据同步方法，首先获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点以及大数据组件同属于相同的大数据集群，进而将节点用户数据以及组件用户数据进行合并，以此得到综合用户数据，最终向集群节点以及大数据组件分别同步该综合用户数据，以此达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。此外，本发明还提供一种数据同步装置、设备及存储介质，有益效果同上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据同步方法的流程图；

图2为本发明实施例公开的一种具体的数据同步方法的流程图；

图3为本发明实施例公开的一种具体的数据同步方法的流程图；

图4为本发明实施例公开的一种数据同步装置的组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

随着大数据集群的逐渐完善及成熟，大数据集群中的大数据组件也越来越多，而大数据组件往往服务于大数据集群中的集群节点，进而当集群节点中注册有大数据组件授权的用户数据即可访问该大数据组件，但是由于当前集群节点与对应的大数据组件之间往往独立维护有各自的用户数据，因此可能存在集群节点与大数据组件之间的用户数据不一致的情况，进而导致集群节点无法通过大数据组件处理大数据业务，难以确保大数据集群中业务的可靠性。

为此，本发明的核心是提供一种数据同步方法，以相对确保大数据集群中业务的可靠性。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

请参见图1所示，本发明实施例公开了一种数据同步方法，包括：

步骤S10：获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据。

其中，集群节点与大数据组件属于相同的大数据集群。

需要说明的是，本步骤在相同大数据集群的集群节点以及大数据组件中分别获取节点用户数据以及组件用户数据，节点用户数据是在集群节点中注册的用户数据，也就是能够通过集群节点向大数据组件发起业务请求的用户具有的用户数据，节点用户数据由集群节点自行生成并维护；另外，组件用户数据是经过大数据组件授权的用户数据，也就是大数据组件响应集群节点对自身发起业务请求时使用该集群节点的用户所对应的用户数据，组件用户数据是由大数据组件自行授权并维护。

步骤S11：将节点用户数据以及组件用户数据进行合并得到综合用户数据。

由于考虑到组件用户数据以及节点用户数据之间的用户数据相互独立，因此可能存在集群节点以及大数据组件之间仅某一方记录有某一用户的用户数据的情况，或是存在集群节点以及大数据组件就相同用户的用户数据不一致的情况，而用户数据往往是用户通过集群节点向大数据组件发起业务请求的凭证，因此本步骤在获取到节点用户数据以及组件用户数据后，进一步将节点用户数据以及组件用户数据进行合并得到综合用户数据，以此使节点用户数据以及组件用户数据之间相互补充缺失，最终目的是通过合并的方式实现用户数据整体的一致化。

步骤S12：向集群节点以及大数据组件分别同步综合用户数据。

在将节点用户数据以及组件用户数据进行合并得到综合用户数据后，进一步将综合用户数据发布至集群节点以及大数据组件，以此达到将一致化的后用户数据同步至集群节点以及大数据组件的目的，最终确保集群节点以及大数据组件基于一致的用户数据进行业务交互。

另外，需要说明的是，本实施例中的大数据组件包括但不限于Hadoop、Hbase以及Hive组件，用户数据包括但不限于用户个人数据以及用户组数据。

本发明所提供的数据同步方法，首先获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点以及大数据组件同属于相同的大数据集群，进而将节点用户数据以及组件用户数据进行合并，以此得到综合用户数据，最终向集群节点以及大数据组件分别同步该综合用户数据，以此达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。

请参见图2所示，本发明实施例公开了一种数据同步方法，包括：

步骤S20：获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据。

其中，集群节点与大数据组件属于相同的大数据集群。

步骤S21：对节点用户数据以及组件用户数据取并集得到综合用户数据。

步骤S22：向集群节点以及大数据组件分别同步综合用户数据。

需要说明的是，本实施例由于考虑到由于组件用户数据以及节点用户数据之间的用户数据相互独立，因此可能存在集群节点以及大数据组件之间仅某一方记录有某一用户的用户数据，或双方对于同一用户的用户数据内容记录不一致的情况，并且集群节点与大数据组件之间相同的用户数据也会存在相互冗余的情况，因此本实施例在获取到集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据之后，对节点用户数据以及组件用户数据采用取并集的方式得到综合用户数据，对节点用户数据以及组件用户数据取并集后能够去除集群节点与大数据组件之间相同用户数据的冗余，以此确保了综合用户数据的可用性，并且在综合用户数据中保留集群节点以及大数据组件双方在用户数据上的差异部分，在确保用户数据一致的同时避免了对差异内容的丢失，保证了数据同步后用户数据的整体完整性。

请参见图3所示，本发明实施例公开了一种数据同步方法，包括：

步骤S30：获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据。

其中，集群节点与大数据组件属于相同的大数据集群。

步骤S31：对节点用户数据以及组件用户数据取并集得到综合用户数据。

步骤S32：判断综合用户数据中是否存在具有相同用户标识且内容存在差异的第一数据以及第二数据，如果是，则执行步骤S33至步骤S34，否则，执行步骤S34。

步骤S33：对综合用户数据中的第一数据以及第二数据进行合并。

步骤S34：向集群节点以及大数据组件分别同步综合用户数据。

需要说明的是，本实施例考虑到在将节点用户数据以及组件用户数据合并为综合用户数据后，综合用户数据中可能包含有具有相同用户标识但是内容存在差异的用户数据，也就是说存在集群节点与大数据组件双方对于同一用户的用户数据内容记录不一致的情况，此处的用户标识指的是能够唯一确定用户身份的标识，包括但不限于用户的ID，用户名称等，因此本实施例在对节点用户数据以及组件用户数据取并集得到综合用户数据后，进一步判断综合用户数据中是否存在具有相同用户标识且内容存在差异的第一数据以及第二数据，如果存在具有相同用户标识的第一数据以及第二数据，则将第一数据以及第二数据进行合并，以此进一步简化综合用户数据中的用户数据项，进而向集群节点以及大数据组件分别同步简化用户数据项之后的综合用户数据；相反的，如果综合用户数据中不存在具有相同用户标识且内容存在差异的第一数据以及第二数据，则无需进一步对综合用户数据中的数据项进行简化，而直接向集群节点以及大数据组件分别同步综合用户数据。本实施例相对减少了综合用户数据中数据项的数量，提高了数据同步效率。

在上述实施例的基础上，作为一种优选的实施方式，对综合用户数据中的第一数据以及第二数据进行合并，包括：

对综合用户数据中的第一数据以及第二数据以取交集的方式进行合并。

需要说明的是，在本实施方式对综合用户数据中的第一数据以及第二数据是以取交集的方式进行合并的，由于考虑到在实际场景下，第一数据与第二数据之间存在差异的数据内容可能是集群节点与大数据组件之间存在分歧的数据内容，因此本实施例为了确保用户数据内容的整体准确性，仅以保留第一数据与第二数据之间共有内容的方式进行合并，相对确保了综合用户数据中数据项的准确性。

在上述实施例的基础上，作为一种优选的实施方式，对综合用户数据中的第一数据以及第二数据进行合并，包括：

对综合用户数据中的第一数据以及第二数据以取差集的方式进行合并。

需要说明的是，本实施方式对综合用户数据中的第一数据以及第二数据是以取差集的方式进行合并的，由于考虑到在实际场景下，第一数据与第二数据之间存在差异的数据内容可能是集群节点与大数据组件之间需要相互补充并完善的数据内容，因此本实施例为了确保用户数据内容的整体完整性，以保留第一数据与第二数据之间差异内容的方式进行合并，以此确保集群节点与大数据组件之间针对于用户数据中差异内容的一致性，相对确保了综合用户数据中数据项的准确性。

在上述一系列实施例的基础上，作为一种优选的实施方式，在向集群节点以及大数据组件分别同步综合用户数据之后，方法还包括：

接收用户的操作指令，并根据操作指令对综合用户数据执行相应的数据操作；

判断执行操作指令后的综合用户数据的是否存在内容变更；

如果是，则将集群节点以及大数据组件中已有的综合用户数据替换为发生内容变更的综合用户数据。

需要说明的是，本实施方式的重点在于在向集群节点以及大数据组件分别同步综合用户数据之后，进一步接收用户的操作指令，对综合用户数据进行相应的操作，并且当对综合用户数据进行操作且综合用户数据的内容发生变更时，进一步将集群节点以及大数据组件中已有的综合用户数据替换为发生内容变更后的综合用户数据。需要说明的是，本实施方式在生成综合用户数据或综合用户数据发生内容变更后，均默认将最新的综合用户数据存储在本地的关系型数据库和/或非关系型数据库中，以此能够响应或再次响应用户对于综合用户数据的操作。

本实施方式相对确保了用户能够对综合用户数据进行灵活操作，并且当综合用户数据发生变更后，再次同步变更后的综合用户数据，进一步确保了集群节点与大数据组件之间用户数据的一致性。

作为一种优选的实施方式，操作指令包括新增综合用户数据，和/或删除综合用户数据，和/或修改综合用户数据，和/或检索综合用户数据。

需要说明的是，操作指令包括了对于综合用户数据的增加、删除、修改和查询，相对确保了用户对于综合用户数据操作的全面性。

另一方面，本发明还提供了一种数据同步装置。请参见图4，其示出了一种数据同步装置一个实施例的组成结构示意图，该装置包括：

用户数据获取模块10，用于获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点与大数据组件属于相同的大数据集群；

用户数据合并模块11，用于将节点用户数据以及组件用户数据进行合并得到综合用户数据；

数据同步模块12，用于向集群节点以及大数据组件分别同步综合用户数据。

本发明所提供的数据同步装置，首先获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点以及大数据组件同属于相同的大数据集群，进而将节点用户数据以及组件用户数据进行合并，以此得到综合用户数据，最终向集群节点以及大数据组件分别同步该综合用户数据，以此达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。

另一方面，本发明还提供了一种数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述的数据同步方法的步骤。

本发明所提供的数据同步设备，首先获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点以及大数据组件同属于相同的大数据集群，进而将节点用户数据以及组件用户数据进行合并，以此得到综合用户数据，最终向集群节点以及大数据组件分别同步该综合用户数据，以此达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。

此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据同步方法的步骤。

本发明所提供的计算机可读存储介质，首先获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，集群节点以及大数据组件同属于相同的大数据集群，进而将节点用户数据以及组件用户数据进行合并，以此得到综合用户数据，最终向集群节点以及大数据组件分别同步该综合用户数据，以此达到了集群节点以及所述大数据组件中用户数据相一致的目的，进而保证集群节点能够通过大数据组件处理大数据业务，从而确保了大数据集群中业务的可靠性。

以上对本发明所提供的一种数据同步方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，所述集群节点与所述大数据组件属于相同的大数据集群；

将所述节点用户数据以及所述组件用户数据进行合并得到综合用户数据；

向所述集群节点以及所述大数据组件分别同步所述综合用户数据。

2.根据权利要求1所述的数据同步方法，其特征在于，所述将所述节点用户数据以及所述组件用户数据进行合并得到综合用户数据，包括：

对所述节点用户数据以及所述组件用户数据取并集得到所述综合用户数据。

3.根据权利要求2所述的数据同步方法，其特征在于，在所述向所述集群节点以及所述大数据组件分别同步所述综合用户数据之前，所述方法还包括：

判断所述综合用户数据中是否存在具有相同用户标识且内容存在差异的第一数据以及第二数据；

如果是，则对所述综合用户数据中的第一数据以及第二数据进行合并，并执行所述向所述集群节点以及所述大数据组件分别同步所述综合用户数据的步骤；

否则，执行所述向所述集群节点以及所述大数据组件分别同步所述综合用户数据的步骤。

4.根据权利要求3所述的数据同步方法，其特征在于，所述对所述综合用户数据中的第一数据以及第二数据进行合并，包括：

对所述综合用户数据中的第一数据以及第二数据以取交集的方式进行合并。

5.根据权利要求3所述的数据同步方法，其特征在于，所述对所述综合用户数据中的第一数据以及第二数据进行合并，包括：

对所述综合用户数据中的第一数据以及第二数据以取差集的方式进行合并。

6.根据权利要求1至5任意一项所述的数据同步方法，其特征在于，在所述向所述集群节点以及所述大数据组件分别同步所述综合用户数据之后，所述方法还包括：

接收用户的操作指令，并根据所述操作指令对所述综合用户数据执行相应的数据操作；

判断执行所述操作指令后的所述综合用户数据的是否存在内容变更；

如果是，则将所述集群节点以及所述大数据组件中已有的所述综合用户数据替换为发生所述内容变更的所述综合用户数据。

7.根据权利要求6所述的数据同步方法，其特征在于，所述操作指令包括新增所述综合用户数据，和/或删除所述综合用户数据，和/或修改所述综合用户数据，和/或检索所述综合用户数据。

8.一种数据同步装置，其特征在于，包括：

用户数据获取模块，用于获取集群节点中注册的节点用户数据以及大数据组件中授权的组件用户数据，所述集群节点与所述大数据组件属于相同的大数据集群；

用户数据合并模块，用于将所述节点用户数据以及所述组件用户数据进行合并得到综合用户数据；

数据同步模块，用于向所述集群节点以及所述大数据组件分别同步所述综合用户数据。

9.一种数据同步设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据同步方法的步骤。

Images