CN110365748B - 业务数据的处理方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种业务数据的处理方法和装置、存储介质及电子装置。其中，该方法包括：接收目标请求消息，该目标请求消息中携带有待处理的目标业务数据标识；根据映射表从设备集群中确定用于处理该目标业务数据的目标设备，其中，该映射表包括具有映射关系的业务数据标识与用于处理该业务数据标识所标识的业务数据的设备，该映射表是该设备集群中的主设备根据该设备集群中的至少两个设备的负载状况信息进行更新的；将该目标请求消息转发给该目标设备，以使该目标设备对该目标业务数据进行处理。本发明解决了分布式集群业务中多设备提供写服务时处理性能比较低的技术问题。

Description

业务数据的处理方法和装置、存储介质及电子装置

技术领域

本发明涉及分布式领域，具体而言，涉及一种业务数据的处理方法和装置、存储介质及电子装置。

背景技术

Paxos算法是分布式一致性算法用来解决一个分布式系统如何就某个值(决议)达成一致的问题。现在广泛应用于分布式数据库，数据处理领域。所以现在如果提高paxos算法在实际应用中性能已经成为一个研究热点。

相关技术中通过epaxos(Egalitarian paoxs)算法实现所有节点都可以对外提供读写服务，在一般情况下，数据请求进行一次提交commit，但在有冲突情况下，需要走慢速流程，需要重新二阶段提交，在多冲突应用场景下，则整个集群吞吐量下降比较严重。

上述方式实现了多节点设备提供服务，在有冲突情况下，需要进行二阶段提交，导致处理性能比较低问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种业务数据的处理方法和装置、存储介质及电子装置，以至少解决分布式集群业务中多设备提供写服务时处理性能比较低的技术问题。

根据本发明实施例的一个方面，提供了一种业务数据的处理方法，包括：

接收目标请求消息，其中，上述目标请求消息用于请求对目标业务数据进行处理，上述目标请求消息中携带有待处理的目标业务数据标识；

根据映射表从设备集群中确定用于处理上述目标业务数据的目标设备，其中，上述映射表包括具有映射关系的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备，上述映射表是上述设备集群中的主设备根据上述设备集群中的至少两个设备的负载状况信息进行更新的；

将上述目标请求消息转发给上述目标设备，以使上述目标设备对上述目标业务数据进行处理。

可选地，所述方法还包括：

通过第一链路将所述目标请求消息转发给所述目标设备；

通过第二链路接收所述至少两个设备以预定上报周期上报的负载状况信息。

可选地，在根据所述调整指令调整所述映射表中的映射关系之后，所述方法还包括：

在根据所述目标更新周期上所述多个设备的负载值，在所述目标更新周期上对所述映射表中的映射关系进行更新时，放弃更新根据所述调整指令调整的映射关系，记录根据所述负载值确定更新的映射关系。

可选地，所述方法还包括：

将所述映射表中状态信息指示状态为故障的设备处理的业务数据标识调整到状态信息指示状态为正常的设备处理。

根据本发明实施例的另一方面，还提供了一种业务数据的处理装置，包括：

第一接收模块，用于接收目标请求消息，其中，上述目标请求消息用于请求对目标业务数据进行处理，上述目标请求消息中携带有待处理的目标业务数据标识；

第一确定模块，用于根据映射表从设备集群中确定用于处理上述目标业务数据的目标设备，其中，上述映射表包括具有映射关系的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备，上述映射表是上述设备集群中的主设备根据上述设备集群中的至少两个设备的负载状况信息进行更新的；

转发模块，用于将上述目标请求消息转发给上述目标设备，以使上述目标设备对上述目标业务数据进行处理。

根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述媒体资源的获取方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的媒体资源的获取方法。

在本发明实施例中，根据映射表中业务数据的标识与所述业务数据的处理节点设备的映射关系，确定处理目标业务数据的处理节点设备，将目标业务数据的目标请求消息转发给确定的处理节点设备，由该处理节点设备进行业务数据的处理，通过映射表确保同一业务请求任何时刻都有系统唯一设备处理，从而可以实现一次提交完成请求，实现了提高系统处理性能的效果，进而解决了分布式集群业务中多设备提供写服务时处理性能比较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的分布式服务器集群处理业务的系统架构图；

图2是根据本发明实施例的业务数据的处理方法的流程图；

图3是根据本发明实施例的更新映射表的流程图；

图4是根据本发明优选实施例的更新映射表的流程图；

图5是根据本发明实施例的服务器集群的示意图；

图6是根据本发明实施例的业务数据的处理装置的框图；

图7是根据本发明优选实施例的业务数据的处理装置的框图一；

图8是根据本发明优选实施例的业务数据的处理装置的框图二；

图9是根据本发明优选实施例的业务数据的处理装置的框图三；

图10是根据本发明优选实施例的业务数据的处理装置的框图四；

图11是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是根据本发明实施例的分布式服务器集群处理业务的系统架构图，如1所示，将很多服务器集中起来一起执行服务，形成服务器集群，在客户端看了就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还能正常运行。在服务器集群中的每个服务器中均保存了映射表，若服务器A为主设备，映射表是服务器A通过心跳链路发送给其他服务器的，映射表中包括业务数据标识和处理业务数据标识对应的业务数据的服务器的对应关系，客户端向服务器集群发起业务请求时，可能是服务器集群中的任意一个服务器接收到该请求消息，若接收到请求消息的是服务器B或服务器A，服务器B或服务器A根据映射表确定处理该请求消息中携带的业务数据标识对应的业务数据的服务器为服务器D，此时，服务器B或服务器A将该请求消息通过数据链路转发给服务器D处理，服务器D在接收到请求消息之后处理该请求消息中的业务数据。将数据处理和心跳处理分开，保证不会因为业务请求量较大情况下网络阻塞导致误判。

基于上述系统，本发明实施例提供了一种业务数据的处理方法，图2是根据本发明实施例的业务数据的处理方法的流程图，如图2所示，包括：

步骤S202，接收目标请求消息，其中，该目标请求消息用于请求对目标业务数据进行处理，该目标请求消息中携带有待处理的目标业务数据标识；

对于大规模分布式集群(也称为设备集群)来说，分布式集群中包括多个服务器(或设备)，每个设备中维护有一个映射表，部署于其上的应用系统所提供的业务服务可能不止一种，需要根据集群中各个服务器的处理能力来对业务数据进行负载均衡处理，设备集群中的主设备根据上述设备集群中的至少两个设备的负载状况信息更新映射表，从而便可实现业务数据的负载均衡，设备集群中的任意一个服务器或设备都可能接收到目标请求消息。

步骤S204，根据映射表从设备集群中确定用于处理上述目标业务数据的目标设备，其中，上述映射表包括具有映射关系的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备，上述映射表是上述设备集群中的主设备根据上述设备集群中的至少两个设备的负载状况信息进行更新的；

需要说明的是，本发明实施例的中设备可以称为服务器、节点服务器或节点等，设备集群可以是分布式集群、分布式服务集群，服务器集群等等。

例如，映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识5-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E。

步骤S206，将上述目标请求消息转发给上述目标设备，以使上述目标设备对上述目标业务数据进行处理。

若请求消息中携带的是业务数据标识2，接收到上述请求消息的是设备A，设备A根据映射表中的映射关系，确定处理业务数据标识2对应的业务数据的设备为设备C，则将请求消息转发给设备C处理。

通过上述步骤S202至S206，根据映射表中业务数据的标识与所述业务数据的处理节点设备的映射关系，确定处理目标业务数据的处理节点设备，将目标业务数据的目标请求消息转发给确定的处理节点设备，由该处理节点设备进行业务数据的处理，通过映射表确保同一业务请求任何时刻都有系统唯一设备处理，从而可以实现一次提交完成请求，实现系统高处理性能，进而解决了分布式集群业务中多设备提供写服务时处理性能比较低的技术问题。

进一步的，在上述映射表中还携带有标识设备集群的主设备的字段，如，如果global字段标识主设备为设备A。

主设备A可以以目标更新周期更新映射表，其他设备以预定上报周期向主设备上报各自负载状况信息，主设备根据其他设备的负载状况信息对映射表进行更新，从而可以确保负载均衡的有效实现。

在一个可选的实施例中，若负载状况信息包括故障和正常两种情况，在更新映射表时，可以将之前分配给当前状态为故障的设备处理的业务数据标识调整给当前状态为正常的设备中处理，对应地在映射表中更新映射关系即可，通过将故障的设备处理的业务数据调整到正常设备中处理，从而避免了部分设备故障影响对外提供服务，提高了系统性能。

在另一可选的实施例中，其他设备上报的负载状况信息指示包括：CPU负载量、内存使用量、磁盘IO使用率、网络负载量的情况下，主设备根据负载状况信息确定目标更新周期上的负载值，根据负载值来更新映射表。

具体地，其他设备以预定上报周期向主设备上报负载状况信息，主设备根据负载状况信息可以确定其他设备每个预定上报周期上的负载情况，例如，若预定上报周期为1秒，则主设备每秒接收到其他设备的负载状况信息之后，便可确定其他设备每秒的负载情况(即负载情况)。具体地，在N秒(即N个预定上报周期)执行以下步骤获取所述当前设备的N个负载情况，其中，执行以下步骤时所述预定上报周期被称为当前上报周期：

通过以下公式获取所述当前上报周期上所述当前设备的负载情况：

C_t＝C_c*W_c+C_m*W_m+C_d*W_d+C_e*W_e

其中，C_t为所述当前上报周期上所述当前设备的负载情况，C_c为所述当前上报周期上所述当前设备的CPU负载量，C_m为所述当前上报周期上所述当前设备的内存使用量，C_d为所述当前上报周期上所述当前设备的磁盘IO使用率，C_e为所述当前上报周期上所述当前设备的网络负载量，W_c、W_m、W_d、W_e为权重值，所述当前上报周期上所述当前设备的负载状况信息包括：C_c，C_m，C_d，C_e。

图3是根据本发明实施例的更新映射表的流程图，如图3所示，具体可以包括以下步骤：

步骤S302，在目标更新周期到达时，主设备对于所述至少两个设备中的每个设备执行以下操作，其中，在执行以下操作时所述每个设备被称为当前设备：根据在所述目标更新周期内多次获取到的所述当前设备的负载状况信息，确定在所述目标更新周期上所述当前设备的负载值；

具体的，在所述目标更新周期内获取所述当前设备以预定上报周期上报的N个负载状况信息；

根据所述N个负载状况信息确定所述目标更新周期内所述当前设备的N个负载情况，其中，N为大于1的整数；

根据所述目标更新周期内所述当前设备的N个负载情况确定在所述目标更新周期上所述当前设备的负载值，可以通过以下公式确定：

C_n＝(p₀*C_t+p₁*C_t-1+p₂*C_t-2+...+p_N-1*C_t-N+1)/(p₀+p₁+p₂+...+p_N-1)

其中，C_n表示在所述目标更新周期上所述当前设备的负载值，C_t为所述目标更新周期内最后一个所述预定上报周期上所述当前设备的负载情况，C_t-1为C_t上一个所述预定上报周期上所述当前设备的负载情况，C_t-2为C_t-1上一个所述预定上报周期上所述当前设备的负载情况,C_t-N+1为C_t-N上一个所述预定上报周期上所述当前设备的负载情况，p₀,p₁,p₂,…,p_N-1为预定的权重系数。

步骤S304，主设备根据所述目标更新周期上所述至少两个设备的负载值，在所述目标更新周期上对所述映射表进行更新。图4是根据本发明优选实施例的更新映射表的流程图，如图4所示，具体包括：

S3041，获取所述当前设备在所述目标更新周期内最后一个预定上报周期之前上报的M个负载状况信息，其中，M为大于或等于N的整数；

S3042，根据所述当前设备的M个负载状况信息确定所述当前设备的M个负载情况；

S3043，根据所述M个负载情况确定所述当前设备的负载最大值、负载最小值以及负载平均值；

S3044，根据所述当前设备的负载值、负载最大值、负载最小值以及负载平均值确定所述当前设备的状态；其中，负载最大值是根据上述M个负载情况确定的，负载最大值即为M个负载情况中最大的负载情况，负载最小值是根据上述M个负载情况确定的，负载最小值即为M个负载情况中最小的负载情况，负载平均值是M个负载情况的算术平均值。

在当前设备的负载值与所述负载平均值的差值小于第一预定阈值的情况下，第一预定阈值可以预先设置，例如，设置为1或2，确定所述当前设备的状态为运行平稳，即在当前的负载值与负载平均值较为接近，便可确定当前设备的状态为平稳；

在所述当前设备的负载值与所述负载最小值的差值小于第二预定阈值的情况下，第二预定阈值可以预先设置，例如，设置为1或2，确定所述当前设备的状态为空闲，即在当前设备的负载值与负载最小值较为接近，也就是说当前设备的负载值比较靠近负载最小值，便可确定当前设备为空闲状态；

在所述至少两个设备的负载值与所述负载最大值的差值小于第三预定阈值的情况下，第三预定阈值可以预先设置，例如，设置为1或2，，确定所述当前设备的状态为高负载，即在当前设备的负载值与负载最大值较为接近，也就是说当前设备的负载值比较靠近负载最大值，便可确定当前设备为高负载状态。

需要说明的是，上述的第一预定阈值、第二预定阈值、第三预定阈值可以相同，也可以不同。

S3405，根据所述至少两个设备的状态在所述目标更新周期上对所述映射表中的映射关系进行更新。

在更新映射表的过程中，为了实现负载均衡，将所述映射表中状态为高负载的设备处理的部分业务数据标识调整到状态为空闲的设备上处理；

例如，更新之前，映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识5-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E。通过至少两个设备的负载状况信息确定该至少两个设备的状态发生了改变，如，设备B为高负载状态、设备D为空闲状态，则将设备B处理的业务数据标识5调整到设备D中处理，即更新映射表，更新之后的映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E，业务数据标识5-设备D。

将新业务数据标识与状态为空闲的设备的对应关系更新所述映射表中；

例如，更新之前，映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识5-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E。通过至少两个设备的负载状况信息确定该至少两个设备的状态发生了改变，设备D为空闲状态，则将新业务数据标识6调整到设备D中处理，即更新映射表，更新之后的映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识5-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E，业务数据标识5-设备D，业务数据标识6-设备D。

将新业务数据标识按照预定顺序分配到状态为运行平稳的至少两个设备上处理；

例如，更新之前，映射表包括以下映射关系：业务数据标识1-设备B，业务数据标识5-设备B，业务数据标识2-设备C，业务数据标识3-设备D，业务数据标识4-设备E。通过至少两个设备的负载状况信息确定该至少两个设备的状态发生了改变，设备B、设备C、设备D、设备E均为高负载状态，若有新业务数据请求，则将新业务数据平均分配给设备B、设备C、设备D、设备E处理，可以按照一定顺序分配，如，将第一个新业务数据请求分配给C、第二个业务数据请求分配给设备D、第三个业务数据请求分配给设备B、第四个业务数据请求分配给设备E，以此类推。

本发明实施例还可以人为手动调整映射表中的映射关系，具体的，用户可以通过主设备的显示界面调整映射关系，通过显示界面发起调整指令，主设备接收调整上述映射表的调整指令，其中，上述调整指令中携带有待调整的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备的对应关系，根据上述调整指令调整上述映射表中的映射关系。

本发明实施例中，对于手动调整的映射关系，不予进行自动更新。在根据上述目标更新周期上述至少两个设备的负载值，在上述目标更新周期上对上述映射表中的映射关系进行更新时，放弃更新根据上述调整指令调整的映射关系，记录根据上述负载值确定更新的映射关系。

本发明实施例中，通过不同链接转发请求消息和接收负载状况信息，避免由于消息数量大导致负载状况信息上报的延迟，确保映射表按照目标更新周期进行更新。通过第一链路将上述目标请求消息转发给上述目标设备，通过第二链路接收上述至少两个设备以预定上报周期上报的负载状况信息，即将数据处理和心跳处理分开，这样保证不会因为大业务请求情况下网络阻塞导致误判。

本发明实施例中，若设备B接收到目标请求消息，该目标请求消息中携带的业务数据处理标识为业务数据标识1，根据映射表确定应该由自己处理，则设备B不用转发目标请求消息，直接处理即可，在对上述目标业务数据进行处理之后，设备B向其他设备发送通知消息，通知其他设备上述业务数据已处理，其他设备在接收到通知消息之后，将业务数据标识1与设备B的映射关系保存到硬盘中，并向设备B返回完成消息，设备B接收上述其他设备中预定数量的设备发送的完成消息，如，预定数量为3，指定设备为D，其中，返回完成消息的3个设备中包含设备D，则可以确定完成了目标业务数据的处理。这样在跨zone容灾时，主zone故障情况下，业务切换到备zone时，不会出现数据丢失。

下面以设备为服务器，设备集群包括服务器A、服务器B、服务器C、服务器D、服务器E、映射表为Meta表为例，对本发明实施例进行详细说明。

本发明实施例基于动态Meta表和动态规划算法来实现自适应负载均衡技术，解决现有paxos算法中存在的问题，提高系统性能。图5是根据本发明实施例的服务器集群的示意图，如5所示，设备集群包括服务器A、服务器B、服务器C、服务器D、服务器E，每个服务器为一个节点，各个服务器中均保存有映射表，Meta表中保存有主服务器的标识，即通过Global字段标识主服务器，Meta表包括：Global：IP_服务器A，标识1：IP_服务器B，标识2：IP_服务器C，标识3：IP_服务器D，标识4：IP_服务器E。通过Meta表中Global字段可以确定主服务器为服务器A。则服务器B、服务器C、服务器D、服务器E通过心跳链路向服务器A上报负载状况信息，服务器A根据负载状况信息更新映射表。具体包括：

服务器A进行Meta表生成与动态调整。

A1.动态生成Meta表

通过hash，正则匹配等算法将业务数据映射到集群节点上，这样发起业务数据处理请求时，根据相同算法查找到该数据对应的集群支持主节点上，这样就可以保证同样数据不会出现在集群不同节点上发起提交，从而数据提交可以跳过basic paxos的prepare阶段，直接进行commit阶段，减少一次网络通信，提高系统吞吐量。为了支持不同业务数据，采用插件方式支持动态加载不同算法来生成动态Meta表。另外支持手动配置映射关系，采用该方式为了解决在特定业务场景下，特定数据由指定的节点发起提交，同时可以手动调整映射关系满足业务就近访问原则，减少跨区域网络访问带来延迟。

Meta表中增加一个global字段，该global映射关系存储是当前集群主节点，该主节点与multi-paxos，raft算法中的主节点一样，在系统启动时选举出主节点。但本发明实施例中的主节点与multi-paxos，raft算法中的作用不同，它第一个重要作用负责对集群Meta表调整和分发，系统各节点只需要存储Meta表数据即可，本发明实施例中增加global字段主要考虑到这种应用场景，当数据映射主节点故障时，系统还没有进行映射关系调整前，为了不影响业务使用，自动通过global字段对应的主节点来转发数据，进一步减小系统处理时间。

A2.运行中Meta表动态调整

集群主节点(即服务器A)收集集群各节点运行状况，并根据各节点的运行状况来动态调整Meta表中映射关系。集群各节点增加采集节点状态并上报给主节点功能，现有的paxos算法中对集群各节点健康状态都是无法获知的，只有业务请求发送过去，超时无应答才能感知该节点不可用，然后换一个节点重新发起请求。还有一种极端情况该节点性能很差，但业务请求都发送到该节点上，导致系统处理性能下降。本发明实施例中对节点是否存活，节点健康状况例如CPU使用率，内存使用量，磁盘IO使用率和网络延迟情况等进行实时采集。对于节点是否存活判断，集群主节点以目标更新周期进行判断，目标更新周期可以为连续3～5个预定上报周期，单位周期时间为1s(即上述的预定上报周期)。集群主节点则判断该节点不存活。为了保证判断的准确性，将数据处理和心跳处理分开，这样保证不会因为大业务请求情况下网络阻塞导致误判。

对于上报过来的节点负载状况信息，采用如下计算公式计算各节点负载情况：

C_t＝C_c*W_c+C_m*W_m+C_d*W_d+C_e*W_e，其中，C_t为所述当前上报周期上所述当前设备的负载情况，C_c为所述当前上报周期上所述当前设备的CPU负载量，C_m为所述当前上报周期上所述当前设备的内存使用量，C_d为所述当前上报周期上所述当前设备的磁盘IO使用率，C_e为所述当前上报周期上所述当前设备的网络负载量，W_c、W_m、W_d、W_e为权重值，W_c取值可以为[0.5，1]中的任意值，W_m取值可以为[0.5，1]中的任意值，W_d取值可以[1，5]中的任意值，W_e取值可以为[1，2]中的任意值。

对计算出的负载量采用动态规划算法对节点映射关系动态调整，达到各节点负载均衡。系统保存每个节点最近20个数据采集点(可配置)，系统固定调整周期内计算一次所有节点负载情况，固定调整周期建议值2～5s，如果过小可能出现Meta表调整频繁，如果过大可能出现节点过载未及时调整。每次计算出各节点负载最大值C_max(20个采样点最大值)，负载最小值C_min(20个采样点最小值)，负载平均值C_avg(20个采样点平均值)。

下面以M为3为例，通过以下公式计算当前节点的负载值：

C_n＝(p₀*C_t+p₁*C_t-1+p₂*C_t-2)/(p₀+p₁+p₂)，

其中，C_n为当前节点负载值，p₀为取值1，p₁建议取值0.6，p₂建议取值0.4，C_t为最近一次采集计算值，C_t-1为最近上一次采集计算值，一般建议取最近三个采集计算值来计算当前该节点的负载量。当C_n接近于C_avg，则说明该节点运行平稳，分摊权重为1。如果C_n接近与C_min，则说明该节点当前空闲，如果有新请求优先将请求分配到该节点上，分摊权重为2～10。如果C_n接近于C_max，则说明该节点负载高，则考虑调整部分该节点上映射关系到其他节点，分摊权重为0～1。

对于手动配置映射关系节点，系统对该节点负载计算只是用于记录状态，用于用户通过接口查询，不用于调整映射关系，这样防止因为动态调整改变业务需要。

发起业务数据处理请求，系统收到后先加载对应映射算法，通过计算找到Meta表中该请求对应的提交节点。通过网络转发到该节点，由该节点进行数据提交工作。

提交节点发起commit后，等待其他节点将数据落盘并应答成功。目前现有的paxos算法都是只是要求多数节点应答成功即可，这样就无法满足数据分布定制化要求。本发明实施例对该阶段进行优化，采用动态指定节点或者静态配置文件方式对特定数据要求多数节点应答中必须包括指定节点应答才可以回复业务成功。这种应用场景一般在跨集群容灾上使用，要求在主集群上写成功的数据一定在备份集群上有副本，这样主集群故障，可以直接切换到备集群上工作，而不会出现数据丢失问题。

集群运行中动态调整节点任务队列，集群主节点第三个重要作用动态迁移节点任务，其主要作用防止某个节点性能下降，导致已经分配到该节点的任务一直排队等待处理，而其他节点空闲情况，导致整个集群处理性能下降。集群主节点根据各节点上报任务队列和数据处理平均耗时情况，将阻塞在节点任务队列中任务迁移到其他节点，同时修改Meta表中映射关系，进一步降低该节点负载。该功能同样对于用户手动指定的映射关系不处理。

对计算节点负载量，可以采用不同的算法，例如贪心算法等。

对于Meta表，映射关系计算算法有多种，同时可以用多层映射关系表，例如A->B,B->C等，即先将A映射到一个虚拟的设备B上(即A->B)，再有虚拟设备B映射到实际的目的设备C中(即B->C)，这样，在Meta表中的映射关系发生改变时，对于A->B不用做更新，只需更新B->C便可实现整个Meta表的更新。对于设备集群中的节点较多的场景，若不希望业务知道映射关系对应到的实际节点的地址，便可以通过将映射关系采用多层映射关系实现。

对于集群主节点功能，可以部署在独立机器上。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述业务数据的处理方法的业务数据的处理装置。图6是根据本发明实施例的业务数据的处理装置的框图，如图6所示，该装置包括：

第一接收模块62，用于接收目标请求消息，其中，上述目标请求消息用于请求对目标业务数据进行处理，上述目标请求消息中携带有待处理的目标业务数据标识；

第一确定模块64，用于根据映射表从设备集群中确定用于处理上述目标业务数据的目标设备，其中，上述映射表包括具有映射关系的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备，上述映射表是上述设备集群中的主设备根据上述设备集群中的至少两个设备的负载状况信息进行更新的；

转发模块66，用于将上述目标请求消息转发给上述目标设备，以使上述目标设备对上述目标业务数据进行处理。

图7是根据本发明优选实施例的业务数据的处理装置的框图一，如图7所示，上述装置还包括：

第二确定模块72，用于在目标更新周期到达时，对于上述至少两个设备中的每个设备执行以下操作，其中，执行以下操作的上述每个设备被称为当前设备：根据在上述目标更新周期内多次获取到的上述当前设备的负载状况信息，确定在上述目标更新周期上上述当前设备的负载值；

更新模块74，用于根据上述目标更新周期上上述至少两个设备的负载值，在上述目标更新周期上对上述映射表进行更新。

图8是根据本发明优选实施例的业务数据的处理装置的框图二，如图8所示，上述第二确定模块72包括：

第一获取子模块82，用于在上述目标更新周期内获取上述当前设备以预定上报周期上报的N个负载状况信息；

第一确定子模块84，用于根据上述N个负载状况信息确定上述目标更新周期内上述当前设备的N个负载情况，其中，N为大于1的整数；

第二确定子模块86，用于根据上述目标更新周期内上述当前设备的N个负载情况确定在上述目标更新周期上上述当前设备的负载值。

可选地，上述第二确定子模块86，还用于

C_n＝(p₀*C_t+p₁*C_t-1+p₂*C_t-2+...+p_N-1*C_t-N+1)/(p₀+p₁+p₂+...+p_N-1)

其中，C_n表示在上述目标更新周期上上述当前设备的负载值，C_t为上述目标更新周期内最后一个上述预定上报周期上上述当前设备的负载情况，C_t-1为C_t上一个上述预定上报周期上上述当前设备的负载情况，C_t-2为C_t-1上一个上述预定上报周期上上述当前设备的负载情况,C_t-N+1为C_t-N上一个上述预定上报周期上上述当前设备的负载情况，p₀,p₁,p₂,…,p_N-1为预定的权重系数。

可选地，上述第一确定子模块84，还用于

在N个上述预定上报周期上执行以下步骤获取上述当前设备的N个负载情况，其中，执行以下步骤时上述预定上报周期被称为当前上报周期：

通过以下公式获取上述当前上报周期上上述当前设备的负载情况：

C_t＝C_c*W_c+C_m*W_m+C_d*W_d+C_e*W_e

其中，C_t为上述当前上报周期上上述当前设备的负载情况，C_c为上述当前上报周期上上述当前设备的CPU负载量，C_m为上述当前上报周期上上述当前设备的内存使用量，C_d为上述当前上报周期上上述当前设备的磁盘IO使用率，C_e为上述当前上报周期上上述当前设备的网络负载量，W_c、W_m、W_d、W_e为权重值，上述当前上报周期上上述当前设备的负载状况信息包括：C_c，C_m，C_d，C_e。

图9是根据本发明优选实施例的业务数据的处理装置的框图三，如图9所示，上述更新模块66包括：

第二获取子模块92，用于获取上述当前设备在上述目标更新周期内最后一个预定上报周期之前上报的M个负载状况信息，其中，M为大于或等于N的整数；

第三确定子模块94，用于根据上述当前设备的M个负载状况信息确定上述当前设备的M个负载情况；

第四确定子模块96，用于根据上述M个负载情况确定上述当前设备的负载最大值、负载最小值以及负载平均值；

第五确定子模块98，用于据上述当前设备的负载值、负载最大值、负载最小值以及负载平均值确定上述当前设备的状态；

更新子模块910，用于根据上述至少两个设备的状态在上述目标更新周期上对上述映射表中的映射关系进行更新。

可选地，上述第五确定子模块98，还用于

在上述当前设备的负载值与上述负载平均值的差值小于第一预定阈值的情况下，确定上述当前设备的状态为运行平稳；

上述当前设备的负载值与上述负载最小值的差值小于第二预定阈值时，确定上述当前设备的状态为空闲；

在上述至少两个设备的负载值与上述负载最大值的差值小于第三预定阈值的情况下，确定上述当前设备的状态为高负载。

可选地，上述更新子模块910，还用于

将上述映射表中状态为高负载的设备处理的部分业务数据标识调整到状态为空闲的设备上处理；

将新业务数据标识与状态为空闲的设备的对应关系更新上述映射表中；

将新业务数据标识按照预定顺序分配到状态为运行平稳的至少两个设备上处理。

可选地，上述装置还包括：

第二接收模块，用于接收调整上述映射表的调整指令，其中，上述调整指令中携带有待调整的业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备的对应关系；

第一调整模块，用于根据上述调整指令调整上述映射表中的映射关系。

可选地，上述装置还包括：

记录模块，用于在根据上述目标更新周期上上述至少两个设备的负载值，在上述目标更新周期上对上述映射表中的映射关系进行更新时，放弃更新根据上述调整指令调整的映射关系，记录根据上述负载值确定更新的映射关系。

图10是根据本发明优选实施例的业务数据的处理装置的框图四，如图10所示，上述装置还包括：

第二调整模块102，用于将上述映射表中负载状况信息指示状态为故障的设备处理的业务数据标识调整到负载状况信息指示状态为正常的设备处理。

可选地，上述装置还包括：

上述转发模块，还用于通过第一链路将上述目标请求消息转发给上述目标设备；

第三接收模块，用于通过第二链路接收上述至少两个设备以预定上报周期上报的负载状况信息。

可选地，上述装置还包括：

第四接收模块，用于接收上述目标请求消息；

第三确定模块，用于根据上述映射表确定处理上述目标业务数据的处理设备；

处理模块，用于对上述目标业务数据进行处理。

可选地，上述装置还包括：

发送模块，用于向上述至少两个设备发送通知消息，其中，上述通知消息用于通知上述至少两个设备上述业务数据已处理；

第五接收模块，用于接收上述至少两个设备中预定数量的设备发送的完成消息，其中，上述预定数量的设备中包含预先指定的设备，上述完成消息是上述预定数量的设备在存储上述业务数据标识与用于处理上述业务数据标识所标识的业务数据的设备的映射关系之后发送的。

根据本发明实施例的又一个方面，还提供了一种用于实施上述业务数据的处理方法的电子装置，如图11所示，该电子装置包括存储器1102和处理器1104，该存储器1102中存储有计算机程序，该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S11，接收目标请求消息，其中，所述目标请求消息用于请求对目标业务数据进行处理，所述目标请求消息中携带有待处理的目标业务数据标识；

S12，根据映射表从设备集群中确定用于处理所述目标业务数据的目标设备，其中，所述映射表包括具有映射关系的业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备，所述映射表是所述设备集群中的主设备根据所述设备集群中的至少两个设备的负载状况信息进行更新的；

S13，将所述目标请求消息转发给所述目标设备，以使所述目标设备对所述目标业务数据进行处理。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图11中所示更多或者更少的组件(如网络接口等)，或者具有与图11所示不同的配置。

其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的媒体资源的获取方法和装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的媒体资源的获取方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1102具体可以但不限于用于加密密钥(包括第一加密密钥、第二加密密钥等)与解密密钥(包括第一解密密钥、第二解密密钥等)等信息。作为一种示例，如图11所示，上述存储器1102中可以但不限于包括上述媒体资源的获取装置中的第一传输模块112、第一获取模块114、第二传输模块116、第二获取模块118及第二获取模块118。此外，还可以包括但不限于上述媒体资源获取装置一中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1108，用于显示上述媒体资源；和连接总线1110，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S11，接收目标请求消息，其中，所述目标请求消息用于请求对目标业务数据进行处理，所述目标请求消息中携带有待处理的目标业务数据标识；

S12，根据映射表从设备集群中确定用于处理所述目标业务数据的目标设备，其中，所述映射表包括具有映射关系的业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备，所述映射表是所述设备集群中的主设备根据所述设备集群中的至少两个设备的负载状况信息进行更新的；

S13，将所述目标请求消息转发给所述目标设备，以使所述目标设备对所述目标业务数据进行处理。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种业务数据的处理方法，其特征在于，包括：

接收目标请求消息，其中，所述目标请求消息用于请求对目标业务数据进行处理，所述目标请求消息中携带有待处理的目标业务数据标识；

根据映射表从设备集群中确定用于处理所述目标业务数据的目标设备，其中，所述映射表包括具有映射关系的业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备，所述映射表是所述设备集群中的主设备根据所述设备集群中的至少两个设备的负载状况信息进行更新的，所述映射表被保存在所述设备集群中的每个设备中；

将所述目标请求消息转发给所述目标设备，以使所述目标设备对所述目标业务数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在目标更新周期到达时，对于所述至少两个设备中的每个设备执行以下操作，其中，执行以下操作的所述每个设备被称为当前设备：根据在所述目标更新周期内多次获取到的所述当前设备的负载状况信息，确定在所述目标更新周期上所述当前设备的负载值；

根据所述目标更新周期上所述至少两个设备的负载值，在所述目标更新周期上对所述映射表进行更新。

3.根据权利要求2所述的方法，其特征在于，根据在所述目标更新周期内多次获取到的所述当前设备的负载状况信息，确定在所述目标更新周期上所述当前设备的负载值包括：

在所述目标更新周期内获取所述当前设备以预定上报周期上报的N个负载状况信息；

根据所述N个负载状况信息确定所述目标更新周期内所述当前设备的N个负载情况，其中，N为大于1的整数；

根据所述目标更新周期内所述当前设备的N个负载情况确定在所述目标更新周期上所述当前设备的负载值。

4.根据权利要求3所述的方法，其特征在于，根据所述目标更新周期内所述当前设备的N个负载情况确定在所述目标更新周期上所述当前设备的负载值包括：

C_n＝(p₀*C_t+p₁*C_t-1+p₂*C_t-2+...+p_N-1*C_t-N+1)/(p₀+p₁+p₂+...+p_N-1)

其中，C_n表示在所述目标更新周期上所述当前设备的负载值，C_t为所述目标更新周期内最后一个所述预定上报周期上所述当前设备的负载情况，C_t-1为C_t上一个所述预定上报周期上所述当前设备的负载情况，C_t-2为C_t-1上一个所述预定上报周期上所述当前设备的负载情况，C_t-N+1为C_t-N+2上一个所述预定上报周期上所述当前设备的负载情况，P₀，P₁，P₂，...，P_N-1为预定的权重系数。

5.根据权利要求4所述的方法，其特征在于，根据所述N个负载状况信息确定所述目标更新周期内所述当前设备的N个负载情况包括：

在N个所述预定上报周期上执行以下步骤获取所述当前设备的N个负载情况，其中，执行以下步骤时所述预定上报周期被称为当前上报周期：

通过以下公式获取所述当前上报周期上所述当前设备的负载情况：

C_t＝C_c*W_c+C_m*W_m+C_d*W_d+C_e*W_e

其中，C_t为所述当前上报周期上所述当前设备的负载情况，C_c为所述当前上报周期上所述当前设备的CPU负载量，C_m为所述当前上报周期上所述当前设备的内存使用量，C_d为所述当前上报周期上所述当前设备的磁盘IO使用率，C_e为所述当前上报周期上所述当前设备的网络负载量，W_c、W_m、W_d、W_e为权重值，所述当前上报周期上所述当前设备的负载状况信息包括：C_c，C_m，C_d，C_e。

6.根据权利要求3所述的方法，其特征在于，根据所述目标更新周期上所述至少两个设备的负载值，在所述目标更新周期上对所述映射表进行更新包括：

获取所述当前设备在所述目标更新周期内最后一个预定上报周期之前上报的M个负载状况信息，其中，M为大于或等于N的整数；

根据所述当前设备的M个负载状况信息确定所述当前设备的M个负载情况；

根据所述M个负载情况确定所述当前设备的负载最大值、负载最小值以及负载平均值；

根据所述当前设备的负载值、负载最大值、负载最小值以及负载平均值确定所述当前设备的状态；

根据所述至少两个设备的状态在所述目标更新周期上对所述映射表中的映射关系进行更新。

7.根据权利要求6所述的方法，其特征在于，根据所述当前设备的负载值、负载最大值、负载最小值以及负载平均值确定所述当前设备的状态包括：

在所述当前设备的负载值与所述负载平均值的差值小于第一预定阈值的情况下，确定所述当前设备的状态为运行平稳；

所述当前设备的负载值与所述负载最小值的差值小于第二预定阈值时，确定所述当前设备的状态为空闲；

在所述至少两个设备的负载值与所述负载最大值的差值小于第三预定阈值的情况下，确定所述当前设备的状态为高负载。

8.根据权利要求7所述的方法，其特征在于，根据所述至少两个设备的状态在所述目标更新周期上对所述映射表中的映射关系进行更新包括：

将所述映射表中状态为高负载的设备处理的部分业务数据标识调整到状态为空闲的设备上处理；

将新业务数据标识与状态为空闲的设备的对应关系更新所述映射表中；

将新业务数据标识按照预定顺序分配到状态为运行平稳的至少两个设备上处理。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收调整所述映射表的调整指令，其中，所述调整指令中携带有待调整的业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备的对应关系；

根据所述调整指令调整所述映射表中的映射关系。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过第一链路将所述目标请求消息转发给所述目标设备；

通过第二链路接收所述至少两个设备以预定上报周期上报的负载状况信息。

11.根据权利要求1至10中任一项所述的方法，其特征在于，在将所述目标请求消息转发给所述目标设备，以使所述目标设备对所述目标业务数据进行处理之后，所述方法还包括：

接收所述目标请求消息；

根据所述映射表确定处理所述目标业务数据的处理设备；

对所述目标业务数据进行处理。

12.根据权利要求11所述的方法，其特征在于，在对所述目标业务数据进行处理之后，所述方法还包括：

向所述至少两个设备发送通知消息，其中，所述通知消息用于通知所述至少两个设备所述业务数据已处理；

接收所述至少两个设备中预定数量的设备发送的完成消息，其中，所述预定数量的设备中包含预先指定的设备，所述完成消息是所述预定数量的设备在存储所述业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备的映射关系之后发送的。

13.一种业务数据的处理装置，其特征在于，包括：

第一接收模块，用于接收目标请求消息，其中，所述目标请求消息用于请求对目标业务数据进行处理，所述目标请求消息中携带有待处理的目标业务数据标识；

第一确定模块，用于根据映射表从设备集群中确定用于处理所述目标业务数据的目标设备，其中，所述映射表包括具有映射关系的业务数据标识与用于处理所述业务数据标识所标识的业务数据的设备，所述映射表是所述设备集群中的主设备根据所述设备集群中的至少两个设备的负载状况信息进行更新的，所述映射表被保存在所述设备集群中的每个设备中；

转发模块，用于将所述目标请求消息转发给所述目标设备，以使所述目标设备对所述目标业务数据进行处理。

14.一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至12任一项中所述的方法。

15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。

Images