CN114546720A - 数据处理方法、分布式协调系统、计算机设备及存储介质 - Google Patents

Abstract

本申请适用于分布式协调技术领域，提供一种数据处理方法、分布式协调系统、计算机设备及存储介质，其中方法包括：获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；基于分布式协调系统中的路由信息，确定与数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点；向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。该方案能降低成本，提升总体的性能和负载。

Description

数据处理方法、分布式协调系统、计算机设备及存储介质

技术领域

本申请属于分布式协调技术领域，尤其涉及一种数据处理方法、分布式协调系统、计算机设备及存储介质。

背景技术

业内现有的分布式协调系统，通过对不同服务节点的监控回调机制，提供分布式协调的功能。其中，由于服务节点集群需要被用于运行多个应用，因此不同服务节点之间需要保持数据的完全一致性，实现主机与备机的区分及数据的同步备份。基于这种架构，每个节点实例必须存储所有的数据。

对于数据量比较大的情况，则必须使用高配的机器，一方面成本很高，另一方面存在单点容量和负载的限制。

发明内容

本申请实施例提供了一种数据处理方法、分布式协调系统、计算机设备及存储介质，以解决现有技术中分布式协调系统在面对较大的数据量时，服务节点成本变高且存在单点容量和负载限制的问题。

本申请实施例的第一方面提供了一种数据处理方法，应用于分布式协调系统中，所述分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点，所述路由节点存储有路由信息，所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息，N为大于1的整数，M为大于1的整数，M小于或等于N，其中，所述数据处理方法包括：

获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；

基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点，所述目标响应节点具备与所述数据操作类型相匹配的节点角色，i∈M；

向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。

可选地，所述基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，包括：

基于所述路由信息中所述M个数据分片在所述M组服务节点中的存储信息，将所述M个数据分片中包含所述数据操作对象的数据分片作为所述目标数据分片，并提取所述目标数据分片在所述M组服务节点中的存储信息；

基于所述目标数据分片在所述M组服务节点中的存储信息，确定所述目标数据分片所在的第i组服务节点。

可选地，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据修改操作或数据删除操作；所述从所述第i组服务节点中确定目标响应节点，包括：

将所述第i组服务节点中的所述第一角色节点确定为所述目标响应节点；

对应地，所述向所述目标响应节点发送与所述数据操作请求对应的数据处理指令之后，还包括：

获取所述第一角色节点发送的数据处理结果信息；所述数据处理结果信息为所述第一角色节点依照所述数据处理指令对本地存储的所述目标数据分片执行与所述数据操作类型对应的数据处理操作，并触发数据同步指令至所述其他角色节点进行数据同步后发送；

基于所述数据处理结果信息，发送反馈信息至所述用户端。

可选地，所述获取所述第一角色节点发送的数据处理结果信息之后，还包括：

基于所述数据处理结果信息，在确定所述第一角色节点的数据处理结果为成功时，更新所述路由信息中所述目标数据分片在所述第i组服务节点中的存储信息。

可选地，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据查询操作；所述从所述第i组服务节点中确定目标响应节点，包括：

从所述第i组服务节点中选取任一角色节点作为所述目标响应节点；

对应地，所述向所述目标响应节点发送与所述数据操作请求对应的数据处理指令之后，还包括：

接收所述目标响应节点发送的数据查询结果，所述数据查询结果中包含所述目标响应节点基于所述数据处理指令从本地存储的所述目标数据分片中查询到的与所述数据操作对象匹配的目标数据；

基于所述数据查询结果，将所述目标数据发送至所述用户端。

可选地，所述基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点之前，还包括：

获取目标存储数据；

将所述目标存储数据划分得到M个数据分片，并生成与每一所述数据分片对应的X-1个备份数据；X为大于1的整数，X小于或等于N；

将所述数据分片及与每一所述数据分片对应的X-1个所述备份数据存储至所述M组服务节点中，其中，一组所述服务节点中存储一个所述数据分片及对应的X-1个所述备份数据。

可选地，所述将所述数据分片及与每一所述数据分片对应的X-1个所述备份数据存储至所述M组服务节点中，包括：

将M个所述数据分片分别存储至M个服务节点中，其中每一所述服务节点形成为相应数据分片的原始数据存储节点；

从所述N个服务节点中选取与每一所述原始数据存储节点对应的X-1个服务节点作为备份数据存储节点；

将每一所述数据分片的X-1个所述备份数据分别存储至与相应的所述原始数据存储节点对应的X-1个所述备份数据存储节点中。本申请实施例的第二方面提供了一种分布式协调系统，所述分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点，所述路由节点存储有路由信息，所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息，N为大于1的整数，M为大于1的整数，M小于或等于N，所述分布式协调系统还包括：

获取模块，用于获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；

确定模块，用于基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点，所述目标响应节点具备与所述数据操作类型相匹配的节点角色，i∈M；

发送模块，用于向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。

本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行上述第一方面所述方法的步骤。

由上可见，本申请实施例中，改变分布式协调系统中的数据存储方式，同时基于分布式协调系统改变数据协调方式，在避免数据量比较大的情况下的单点存储限制的同时，达到与分布式协调系统功能的兼容适配，确保分布式协调系统的正常运转，使数据的存储突破单点瓶颈，实现水平扩容，降低系统构建成本，提升总体的性能和负载。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种分布式协调系统的架构示意图；

图2是本申请实施例提供的分布式协调系统中数据存储方法的流程图；

图3是本申请实施例提供的一种数据处理方法的流程图；

图4是本申请实施例提供的一种分布式协调系统的模块结构图；

图5是本申请实施例提供的一种计算机设备的结构图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

本申请实施例提供了一种数据处理方法，该数据处理方法应用于分布式协调系统中。

其中，参见图1，图1是本申请实施例提供的一种分布式协调系统的架构示意图。该分布式协调系统中包括路由节点及与路由节点连接的N个服务节点。

具体地，该路由节点存储有路由信息，该路由信息包括从N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在M组服务节点中的存储信息。N为大于1的整数，M为大于1的整数，M小于或等于N。

该分布式协调系统中，N个服务节点中划分出用于存储M个数据分片的M组服务节点。每组服务节点中的不同服务节点具有其在当前服务节点组别中的角色信息。

其中，每组服务节点中具体可以包括X个目标服务节点；每组服务节点中的X个目标服务节点自协商出选取出一个节点作为一个主节点，该主节点具有对应的主节点角色信息，而其他节点作为从节点，该从节点具有对应的从节点角色信息，通过主节点实现主节点中数据与从节点中数据的同步关系。

具体地，在具体实现过程中，目前业内分布式协调系统的事实标准是Zookeeper，Zookeeper通过对znode节点的监控回调机制，提供分布式协调的功能。Zookeeper是为读多写少的场景所设计。Znode用于为不同的应用进行服务，为其存储状态数据和配置信息。

Zookeeper系统中包括若干服务节点形成的服务节点集群，不同服务节点实例包含三种角色：Leader、Follower、Observer。其中：

Leader负责数据读和写及数据的同步，负责进行投票的发起和决议，更新系统状态。

Follower和Observer只负责数据的读，不能写入数据，数据由Leader同步过来。Follower用于接收用户端请求并向用户端返回结果以及在选举过程中参与投票。Observer也可以接收用户端连接，将写请求转发给leader节点，但是不参与投票过程，只同步leader状态。通常是对查询操作作负载。

因此，本实施例中，具体可以是，每组服务节点中的X个目标服务节点间自协商选取出leader角色节点及与leader角色节点具有数据同步关系的其他角色节点；X为大于1的整数，X小于或等于N。

具体地，N个服务节点中划分出用于存储M个数据分片的M组服务节点。一组服务节点中会自选举产生一个leader节点及与leader节点进行数据同步的其他节点，该其他节点的角色具体包括Follower节点和Observer节点，Follower节点和Observer节点可以实现数据的读功能，但不能实现数据的写功能。Follower节点和Observer节点需要在leader节点的管控下实现自身数据的写功能，例如为数据的增、删、改操作。

路由节点用于基于M组服务节点的角色信息及M个数据分片在M组服务节点中的存储信息整合得到路由信息，并基于路由信息执行与用户端之间的数据交互操作。

在该分布式协调系统种引入路由节点(Controller角色)，对节点服务进行全局管控，实现在不同角色服务节点之间的数据操作路由功能，改变系统的分布式协调功能，以与分布式协调系统的数据分片式存储结合，确保系统的分布式协调功能。

本申请实施例中，改变分布式协调系统对应的数据存储结构，由原始单点式存储方式改成分片式存储，并在分布式协调系统中服务节点原有的角色划分基础上，引入路由角色节点，与分布式协调系统的数据分片式存储结合，实现系统的分布式协调功能，通过改变数据存储方式及数据协调方式，避免数据量比较大的情况下的单点存储限制，使数据的存储突破单点瓶颈，实现水平扩容，提升总体的性能和负载。

进一步地，在对路由节点中存储的路由信息进行使用之前，需要先将目标存储数据以数据分片的形式存储至该分布式协调系统中，以形成M个数据分片在M组服务节点中的存储信息。

在一个具体的实施方式中，该将目标存储数据以数据分片的形式存储至该分布式协调系统的处理过程，具体参见图2，图2是本申请实施例提供的分布式协调系统中数据存储方法的流程图。该处理过程具体包括：

步骤201，获取目标存储数据。

该目标存储数据例如为运营数据、客户数据等等。

其中，在获取到目标存储数据时，可以先判断该数据的总量是否超出阈值，当数据总量超出阈值时，则依照本实施例中提出的分片存储的方式，执行后续将目标存储数据划分得到M个数据分片，生成与每一数据分片对应的X-1个备份数据的处理过程。

如果不超出阈值，则可以按照现有的分布式协调系统中数据存储处理步骤进行数据处理。该现有的数据存储处理步骤具体为：将目标存储数据全部存储至同一个服务节点中，并将其他服务节点作为数据备份存储节点，存储与目标存储数据对应的备份数据。

步骤202，将目标存储数据划分得到M个数据分片，并生成与每一数据分片对应的X-1个备份数据。

X为大于1的整数，X小于或等于N。

步骤203，将数据分片及与每一数据分片对应的X-1个备份数据存储至M组服务节点中。

其中，一组服务节点中存储一个数据分片及对应的X-1个备份数据。

在该分布式协调系统中，需要将M个数据分片在M组服务节点中进行存储。其中，每组服务节点中包括的X个目标服务节点之间存在数据同步关系，因此用于存储M个数据分片的M组服务节点中，每组服务节点中存储的数据保持一致，每组服务节点存储一个数据分片的数据本体及对应的备份数据。

其中，一个数据分片与其对应的X-1个备份数据共X个需要存储的数据将被存储至同一个组别的数据节点中，由此实现将目标存储数据以数据分片的形式存储至分布式协调系统中，得到M个数据分片在M组服务节点中的存储信息。

其中，在一个可选的实施方式中，该将数据分片及与每一数据分片对应的X-1个备份数据存储至M组服务节点中，包括：

将M个数据分片分别存储至M个服务节点中，其中每一服务节点形成为相应数据分片的原始数据存储节点；

从N个服务节点中选取与每一原始数据存储节点对应的X-1个服务节点作为备份数据存储节点；

将每一数据分片的X-1个备份数据分别存储至与相应的原始数据存储节点对应的X-1个备份数据存储节点中。

其中，M个数据分片为一一对应地存储至M个服务节点中。每一数据分片的X-1个备份数据一一对应地存储至与当前数据分片对应的X-1个备份数据存储节点中。

这里，在从N个服务节点中选取M个服务节点分别存储M个数据分片时，该M个服务节点中的每一服务节点形成为与其所存储进入的数据分片对应的原始数据存储节点，而对于每一数据分片，还需要从该N个服务节点中除与当前数据分片所对应的一个原始数据存储节点之外的其他节点中选取X-1个服务节点作为备份数据存储节点，以存储当前分片数据对应的X-1个备份数据。

例如，当M取值为4，X取值为3，目标存储数据被对应分为M个数据分片，即四个数据分片：分片1、分片2、分片3、分片4。

四个数据分片分别依次存储至服务节点1、服务节点2、服务节点3、服务节点4上，服务节点1形成为分片1的原始数据存储节点，服务节点2形成为分片2的原始数据存储节点，服务节点3形成为分片3的原始数据存储节点，服务节点4形成为分片4的原始数据存储节点。

每个数据分片生成两份备份数据，以分片1为例，生成X-1个备份数据，即生成2个备份数据：备份数据1、备份数据2。

则需要从除服务节点1之外的其他服务节点中，具体为从服务节点2、服务节点3、服务节点4中选取出2个服务节点对备份数据1、备份数据2进行存储。同样地，对于分片2对应的两个备份数据而言，则需要从服务节点1、服务节点3、服务节点4中选取出两个服务节点对该两份备份数据进行存储。

假设对于分片1，具体从服务节点2、服务节点3、服务节点4中选取出服务节点2、服务节点3两个服务节点对备份数据1、备份数据2依次进行存储。则，此时服务节点2形成为分片1的备份数据1对应的备份数据存储节点，服务节点3形成为分片1的备份数据2对应的备份数据存储节点。

即，此时分片1对应的原始数据存储节点为服务节点1、分片1的X-1个备份数据对应的X-1个备份数据存储节点分别为服务节点2和服务节点3。服务节点1、服务节点2和服务节点3则为划分至同一节点组别中，用于实现对分片1的存储。

其他数据分片在对应的其他节点组别中的存储方式则与分片1在自身对应的节点组别中的存储方式相同，此处不再赘述。

且在该过程中，服务节点2中将会同时存储有分片2和分片1的备份数据1，服务节点3中将会同时存储有分片3和分片1的备份数据2。

即，在N个服务节点中，将会出现同一个服务节点中存储有待存储数据的某一个数据分片及其他数据分片的备份数据的情况。

那么对应地，在进行节点的角色划分时，则会出现同一服务节点会是划分出的一个组别的服务节点中的leader角色节点，同时又是划分出的另一组别服务节点中的其他角色节点，例如Follower角色节点。

该过程，实现数据的分布式存储及数据的分布式备份，避免数据量比较大的情况下的单点存储限制的同时，最大可能确保数据安全性及数据的可恢复性。

在本实施例中所提出的分布式协调系统中，将需要存储的数据切分成数据分片，每一数据分片各自存储至一个服务节点中，改变现有技术中将目标存储数据存储至同一服务节点中的存储方式，避免数据量比较大的情况下的单点存储限制，提升分布式协调系统的数据管理性能。

进一步地，在描述完分布式协调系统的架构及数据存储过程之后，下面将对本申请实施例中提供的应用于分布式协调系统中的数据处理方法进行具体描述。

参见图3，图3是本申请实施例提供的一种数据处理方法的流程图。如图3所示，该数据处理方法包括以下步骤：

步骤301，获取用户端发送的数据操作请求，确定与数据操作请求对应的数据操作类型及数据操作对象。

该数据操作类型包括数据写入操作、数据修改操作、数据删除操作、数据查询操作等。

数据操作对象的确定可以是基于数据操作请求，解析出该数据操作请求中携带的待处理数据的数据特征参数，基于该数据特征参数确定数据操作对象。

由于分布式协调系统中引入路由节点，改变现有Zookeeper系统的对外数据交互规则，需要通过路由节点实现与外部用户端的信息交互。在具体实施时，可以选择对外只暴露路由节点的地址，用户端所有请求都发送到路由节点，然后由路由节点基于存储的路由信息对用户端发送的请求进行分发，由具体的服务节点提供相应服务，提升分布式协调系统的性能和负载。

其中，同一组别中不同角色的服务节点会具有不同的数据处理权限，不同的数据操作类型需要权限与之匹配的角色的服务节点为其提供相应服务。

且由于数据是以分片形式存储在不同的服务节点中，因此，需要基于数据操作请求确定对应的目标操作数据，以能够从不同服务节点中找出与之对应的数据分片。

即，在获取到用户端发送的数据操作请求后，需要确定与数据操作请求对应的数据操作类型及目标操作数据，以能够将数据操作请求分发至存储有相关数据且角色匹配的服务节点中，以能够正确响应数据操作请求。

步骤302，基于路由信息，确定与数据操作对象对应的目标数据分片所在的第i组服务节点，并从第i组服务节点中确定目标响应节点。

该目标响应节点具备与数据操作类型相匹配的节点角色，i∈M。

数据操作对象可以包含在不同的数据分片中，而不同的数据分片则存储在不同组别的服务节点中。这里，与数据操作对象对应的目标数据分片为至少一个，而当目标数据分片为多个时，则该目标数据分片所在的第i组服务节点为多组。

其中，基于路由信息，确定与数据操作对象对应的目标数据分片所在的第i组服务节点，包括：

基于路由信息中M个数据分片在M组服务节点中的存储信息，将M个数据分片中包含数据操作对象的数据分片作为目标数据分片，并提取目标数据分片在M组服务节点中的存储信息；

基于目标数据分片在M组服务节点中的存储信息，确定目标数据分片所在的第i组服务节点。

数据分片信息、数据存储信息及节点角色信息，由路由节点进行保存，当接收到数据操作请求时，即可根据路由信息中包含的M个数据分片在M组服务节点中的存储信息，确定包含有数据操作对象的数据分片为哪些，得到目标数据分片所在的第i组服务节点。

具体地，在确定包含有数据操作对象的数据分片为哪些时，具体可以根据M个数据分片中每一数据分片的数据内容摘要与数据操作对象的数据特征参数进行匹配，进而从M个数据分片中选取出包含有数据操作对象的目标数据分片。

该步骤实现数据操作请求在不同服务节点之间的路由，在分布式协调系统的分布式存储功能基础上，实现系统的分布式协调功能。

步骤303，向目标响应节点发送与数据操作请求对应的数据处理指令。

在确定出目标响应节点之后，即可向其发送与数据操作请求对应的数据处理指令，以基于目标响应节点实现对用户端发送的数据操作请求的响应。

当目标操作数据所在的第i组服务节点为多组时，每组服务节点中均会产生一个目标响应节点，此时该目标响应节点为多个。

此时，需要路由节点向所有的该些目标响应节点进行指令分发，向每一目标响应节点发送与数据操作请求对应的数据处理指令，实现指令路由功能。

进一步地，下面结合不同的数据操作类型对上述步骤302及步骤303的可选的实施过程进行具体说明。

在一个实施方式中，每组服务节点中自协商选取出第一角色节点及与第一角色节点具有数据同步关系的其他角色节点；该数据操作类型包括数据修改操作或数据删除操作；则步骤302从第i组服务节点中确定目标响应节点，包括：

将第i组服务节点中的第一角色节点确定为目标响应节点。

对应地，步骤303向目标响应节点发送与数据操作请求对应的数据处理指令之后，还包括：

获取第一角色节点发送的数据处理结果信息；该数据处理结果信息为第一角色节点依照数据处理指令对本地存储的目标数据分片执行与数据操作类型对应的数据处理操作，并触发数据同步指令至其他角色节点进行数据同步后发送；

基于该数据处理结果信息，发送反馈信息至用户端。

其中，该反馈信息用于向用户端反馈数据处理结果为成果或失败。

该过程中，第一角色节点具备将本地存储的数据分片进行数据修改并控制同组别的其他角色节点与其进行相同的数据修改以使数据保持同步的权限。

因此，在数据操作类型包括数据修改操作或数据删除操作时，则将第一角色节点确定为目标响应节点。

并在第一角色节点执行完数据修改操作或数据删除操作且使其他角色节点进行数据同步修改操作后，接收第一角色节点的数据操作执行结果，以便将相应结果反馈至用户端，实现完整的指令响应过程。

对应地，进一步地，在获取第一角色节点发送的数据处理结果信息之后，还包括：

基于该数据处理结果信息，在确定第一角色节点的数据处理结果为成功时，更新路由信息中目标数据分片在第i组服务节点中的存储信息。

随着第一角色节点的数据成功处理，则服务节点中的数据存储内容则必然发生了改变，则此时需要对路由信息中的数据存储信息进行对应修改，实现路由信息的更新，确保系统运行中的准确性与稳定性。

在另一个实施方式中，每组服务节点中自协商选取出第一角色节点及与第一角色节点具有数据同步关系的其他角色节点；该数据操作类型包括数据查询操作；则步骤302从第i组服务节点中确定目标响应节点，包括：

从第i组服务节点中选取任一角色节点作为目标响应节点；

对应地，步骤303向目标响应节点发送与数据操作请求对应的数据处理指令之后，还包括：

接收目标响应节点发送的数据查询结果，该数据查询结果中包含目标响应节点基于数据处理指令从本地存储的目标数据分片中查询到的与数据操作对象匹配的目标数据；

基于该数据查询结果，将目标数据发送至用户端。

该过程中，第i组服务节点中包括第一角色节点及其他角色节点在内的所有服务节点均设置其具备数据读权限，

因此，在数据操作类型包括数据查询操作时，则将任一角色节点确定为目标响应节点均可。

并在目标响应节点执行完数据查询操作后，接收目标响应节点的数据查询执行结果，以便将相应结果反馈至用户端，实现完整的指令响应过程。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例中，改变分布式协调系统中的数据存储方式，同时基于分布式协调系统改变数据协调方式，在避免数据量比较大的情况下的单点存储限制的同时，达到与分布式协调系统功能的兼容适配，确保分布式协调系统的正常运转，使数据的存储突破单点瓶颈，实现水平扩容，降低系统构建成本，提升总体的性能和负载。

参见图4，图4是本申请实施例提供的一种分布式协调系统的模块结构图，为了便于说明，仅示出了与本申请实施例相关的部分。

该分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点，所述路由节点存储有路由信息，所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息，N为大于1的整数，M为大于1的整数，M小于或等于N。

进一步地，如图4所示，分布式协调系统400具体还可以包括：

获取模块401，用于获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；

确定模块402，用于基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点，所述目标响应节点具备与所述数据操作类型相匹配的节点角色，i∈M；

发送模块403，用于向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。

其中，确定模块402，具体用于：

基于所述路由信息中所述M个数据分片在所述M组服务节点中的存储信息，将所述M个数据分片中包含所述数据操作对象的数据分片作为所述目标数据分片，并提取所述目标数据分片在所述M组服务节点中的存储信息；

基于所述目标数据分片在所述M组服务节点中的存储信息，确定所述目标数据分片所在的第i组服务节点。

其中，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据修改操作或数据删除操作；所述确定模块402，还具体用于：

将所述第i组服务节点中的所述第一角色节点确定为所述目标响应节点；

对应地，该系统还包括：反馈模块，用于：

获取所述第一角色节点发送的数据处理结果信息；所述数据处理结果信息为所述第一角色节点依照所述数据处理指令对本地存储的所述目标数据分片执行与所述数据操作类型对应的数据处理操作，并触发数据同步指令至所述其他角色节点进行数据同步后发送；

基于所述数据处理结果信息，发送反馈信息至所述用户端。

其中，该系统还包括：更新模块，用于：

基于所述数据处理结果信息，在确定所述第一角色节点的数据处理结果为成功时，更新所述路由信息中所述目标数据分片在所述第i组服务节点中的存储信息。

其中，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据查询操作；所述确定模块402，还具体用于：

从所述第i组服务节点中选取任一角色节点作为所述目标响应节点；

对应地，反馈模块，还用于：

接收所述目标响应节点发送的数据查询结果，所述数据查询结果中包含所述目标响应节点基于所述数据处理指令从本地存储的所述目标数据分片中查询到的与所述数据操作对象匹配的目标数据；

基于所述数据查询结果，将所述目标数据发送至所述用户端。

该系统还包括：存储模块用于：

获取目标存储数据；

将所述目标存储数据划分得到M个数据分片，并生成与每一所述数据分片对应的X-1个备份数据；X为大于1的整数，X小于或等于N；

将所述数据分片及与每一所述数据分片对应的X-1个所述备份数据存储至所述M组服务节点中，其中，一组所述服务节点中存储一个所述数据分片及对应的X-1个所述备份数据。

该存储模块具体用于：

将M个所述数据分片分别存储至M个服务节点中，其中每一所述服务节点形成为相应数据分片的原始数据存储节点；

从所述N个服务节点中选取与每一所述原始数据存储节点对应的X-1个服务节点作为备份数据存储节点；

将每一所述数据分片的X-1个所述备份数据分别存储至与相应的所述原始数据存储节点对应的X-1个所述备份数据存储节点中。

本申请实施例提供的分布式协调系统能够实现上述数据处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图5是本申请实施例提供的一种计算机设备的结构图。如该图所示，该实施例的计算机设备5包括：至少一个处理器50(图5中仅示出一个)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个方法实施例中的步骤。

所述计算机设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是计算机设备5的示例，并不构成对计算机设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述计算机设备5的内部存储单元，例如计算机设备5的硬盘或内存。所述存储器51也可以是所述计算机设备5的外部存储设备，例如所述计算机设备5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序产品来实现，当计算机程序产品在终端上运行时，使得所述终端执行时实现可实现上述各个方法实施例中的步骤。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于分布式协调系统中，所述分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点，所述路由节点存储有路由信息，所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息，N为大于1的整数，M为大于1的整数，M小于或等于N，其中，所述数据处理方法包括：

获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；

基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点，所述目标响应节点具备与所述数据操作类型相匹配的节点角色，i∈M；

向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。

2.根据权利要求1所述的方法，其特征在于，所述基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，包括：

基于所述路由信息中所述M个数据分片在所述M组服务节点中的存储信息，将所述M个数据分片中包含所述数据操作对象的数据分片作为所述目标数据分片，并提取所述目标数据分片在所述M组服务节点中的存储信息；

基于所述目标数据分片在所述M组服务节点中的存储信息，确定所述目标数据分片所在的第i组服务节点。

3.根据权利要求1所述的方法，其特征在于，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据修改操作或数据删除操作；所述从所述第i组服务节点中确定目标响应节点，包括：

将所述第i组服务节点中的所述第一角色节点确定为所述目标响应节点；

对应地，所述向所述目标响应节点发送与所述数据操作请求对应的数据处理指令之后，还包括：

获取所述第一角色节点发送的数据处理结果信息；所述数据处理结果信息为所述第一角色节点依照所述数据处理指令对本地存储的所述目标数据分片执行与所述数据操作类型对应的数据处理操作，并触发数据同步指令至所述其他角色节点进行数据同步后发送；

基于所述数据处理结果信息，发送反馈信息至所述用户端。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第一角色节点发送的数据处理结果信息之后，还包括：

基于所述数据处理结果信息，在确定所述第一角色节点的数据处理结果为成功时，更新所述路由信息中所述目标数据分片在所述第i组服务节点中的存储信息。

5.根据权利要求1所述的方法，其特征在于，每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点；所述数据操作类型包括数据查询操作；所述从所述第i组服务节点中确定目标响应节点，包括：

从所述第i组服务节点中选取任一角色节点作为所述目标响应节点；

对应地，所述向所述目标响应节点发送与所述数据操作请求对应的数据处理指令之后，还包括：

接收所述目标响应节点发送的数据查询结果，所述数据查询结果中包含所述目标响应节点基于所述数据处理指令从本地存储的所述目标数据分片中查询到的与所述数据操作对象匹配的目标数据；

基于所述数据查询结果，将所述目标数据发送至所述用户端。

6.根据权利要求1所述的方法，其特征在于，所述基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点之前，还包括：

获取目标存储数据；

将所述目标存储数据划分得到M个数据分片，并生成与每一所述数据分片对应的X-1个备份数据；X为大于1的整数，X小于或等于N；

将所述数据分片及与每一所述数据分片对应的X-1个所述备份数据存储至所述M组服务节点中，其中，一组所述服务节点中存储一个所述数据分片及对应的X-1个所述备份数据。

7.根据权利要求6所述的方法，其特征在于，所述将所述数据分片及与每一所述数据分片对应的X-1个所述备份数据存储至所述M组服务节点中，包括：

将M个所述数据分片分别存储至M个服务节点中，其中每一所述服务节点形成为相应数据分片的原始数据存储节点；

从所述N个服务节点中选取与每一所述原始数据存储节点对应的X-1个服务节点作为备份数据存储节点；

将每一所述数据分片的X-1个所述备份数据分别存储至与相应的所述原始数据存储节点对应的X-1个所述备份数据存储节点中。

8.一种分布式协调系统，其特征在于，所述分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点，所述路由节点存储有路由信息，所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息，N为大于1的整数，M为大于1的整数，M小于或等于N，所述分布式协调系统还包括：

获取模块，用于获取用户端发送的数据操作请求，确定与所述数据操作请求对应的数据操作类型及数据操作对象；

确定模块，用于基于所述路由信息，确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点，并从所述第i组服务节点中确定目标响应节点，所述目标响应节点具备与所述数据操作类型相匹配的节点角色，i∈M；

发送模块，用于向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images