CN109218376B - 数据处理的方法、装置及设备 - Google Patents

Abstract

本发明公开了一种数据处理的方法、装置及设备。该方法包括：计算客户端并发的数据处理请求的请求数目；根据请求数目和服务端包括实例的实例信息，计算各实例允许分配数据处理请求的最大数量；基于最大数量为实例分配数据处理请求。本发明实施例能够提高资源利用率。

Description

数据处理的方法、装置及设备

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理的方法、装置及设备。

背景技术

近年来，随着网络技术的快速发展，网络技术已经被应用到各个领域，通常情况下，网络应用会部署到应用服务器上，用户使用客户端通过访问服务端的服务器来实现网络访问。但是，随着客户端的增多，访问服务端的请求也会增加，单一服务器处理能力有限，很容易造成请求应答滞后、请求丢失以及单点失效等问题。于是，为及时处理客户端的访问请求，服务端需要进行扩充，用多台服务器来完成相同的服务，通过并行技术来大大提高系统的性能，即服务器集群(Clustering)技术，对客户端而言，服务器集群为一个服务器，服务器集群中各服务器可以作为服务器集群中的实例。对于服务器集群系统，当多个客户端发送访问请求时，服务端需要将多个访问请求分配给各服务器进行处理，如何在多台服务器之间实现合理的负载量分配，使各种资源得到最大效率的利用成为集群的关键技术，即负载均衡。通常，负载均衡是服务端按照一定的算法将负载分配给各服务器，但是，现有技术中常会出现由于分配不合理，而导致在同一时刻将过多的负载分配给一个服务器进行处理的情况，从而导致资源不能合理利用，降低资源的利用率。

发明内容

本发明实施例提供了一种数据处理的方法、装置及设备，能够提高资源利用率。

第一方面，本发明实施例提供了一种数据处理的方法，包括：

计算客户端并发的数据处理请求的请求数目；

根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量；

基于所述最大数量为所述实例分配所述数据处理请求。

第二方面，本发明实施例提供了一种数据处理的装置包括：

计算单元，用于计算客户端并发的数据处理请求的请求数目；

所述计算单元还用于根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量；

分配单元，用于基于所述最大数量为所述实例分配所述数据处理请求。

第三方面，本发明实施例提供了一种数据处理的设备，设置于数据处理系统，包括：

存储器、处理器、通信接口和总线；

存储器、处理器和通信接口通过总线连接并完成相互间的通信；

存储器用于存储程序代码；

处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行第一方面所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面所述的方法。

本发明实施例提供了一种数据处理的方法、装置及设备，本发明实施例中，服务端计算客户端并发的数据处理请求的请求数目；根据请求数目和服务端包括实例的实例信息，计算各实例允许分配数据处理请求的最大数量；基于最大数量为实例分配数据处理请求。本发明实施例中，服务端在接收到客户端并发的数据处理请求时，可以先根据请求数目和服务端中各实例的信息计算出分配给各实例的数据处理请求的最大数量后，再给各实例分配数据处理请求，由于已经计算出分配给各实例的数据处理请求的最大数量，所以在分配数据处理请求时不会超过最大数量，从而避免了在同一时刻将过多的数据处理请求分配给一个服务端进行处理的情况，合理利用各实例，提高资源的利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供一种应用场景示意图；

图2是根据本发明一实施例提供的数据处理的方法的示意性流程图；

图3是根据本发明一实施例提供的数据处理的装置的示意性框图；

图4是根据本发明又一个或多个实施例提供的数据处理的装置的示意性框图；

图5是根据本发明一实施例提供的数据处理的设备的示意性框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明实施例适用于数据处理系统，如图1所示，数据处理系统包括服务端和客户端，客户端可以包括一个或二个以上，图1以一个客户端为例进行说明，服务端可以为一个集群，包括一个或二个以上的实例，图1以服务端包括三个实例为例进行说明，客户端和服务端之间可以进行数据传输，服务端在接收到客户端发送的数据处理请求后，将数据处理请求分配给各实例进行处理。

图2示出了根据本发明一实施例的数据处理的方法的示意性流程图。如图2所示，该方法用于数据处理系统中的服务端，包括以下步骤。

101，计算客户端并发的数据处理请求的请求数目。

其中，服务端在接收到客户端并发的数据处理请求后，首先计算数据处理请求的请求数目，然后基于请求数目来确定服务端向各实例分配数据处理请求的方式。

102，根据请求数目和服务端包括实例的实例信息，计算各实例允许分配数据处理请求的最大数量。

其中，服务端在计算出客户端并发数据处理请求的请求数目后，结合各实例的实例信息可以计算出各实例允许分配数据处理请求的最大数量，然后服务端可以基于最大数量给个实例分配数据处理请求。

需要说明的是，实例信息可以包括实例数量和/或权重值。

103，基于最大数量为实例分配数据处理请求。

其中，服务端基于步骤102计算出的各实例允许分配的数据处理请求的最大数量，来将客户端发送的数据处理请求分配给各实例。

本发明实施例中，服务端在接收到客户端并发的数据处理请求时，可以先根据请求数目和服务端中各实例的信息计算出分配给各实例的数据处理请求的最大数量后，再给各实例分配数据处理请求，由于已经计算出分配给各实例的数据处理请求的最大数量，所以在分配数据处理请求时不会超过最大数量，从而避免了在同一时刻将过多的数据处理请求分配给一个服务端进行处理的情况，合理利用各实例，提高资源的利用率。

可以理解的是，在本发明实施例中，实例信息可以包括实例数量，此时，步骤102还可以具体执行为如下步骤。

1021，计算请求数目除以实例数量的余数。

1022，当余数等于零时，确定最大数量等于请求数目与实例数量的比值。

1023，当余数大于零时，确定最大数量等于请求数目与实例数量的比值向上取整。

其中，本发明实施例中根据服务端包括的实例数量来确定各实例允许分配数据处理请求的最大数量，即根据实例数量与请求数目之间的关系来计算最大数量的值。本发明实施例中，首先计算请求数目除以实例数量的余数，然后根据计算出的余数确定最大数量的值。

具体的，假设服务端包括N个实例，客户端并发数据处理请求的请求数目为M，则根据本发明实施例的方法，最大数量R的值的计算过程为：当M％N＝0时，R＝M/N的商；当M％N！＝0时，R＝M/N的商+1。

需要说明的是，当M％N！＝0时，R的值等于M与N的比值向上取整表示M除以N的商再加1的值等于R。

可以理解的是，在本发明实施例中，实例信息包括权重值，此时步骤102还可以具体执行为如下步骤：

1024，对实例中每个实例，计算请求数目在乘以每个实例的权重后，再除以所有实例的权重值之和的余数。

1025，当余数等于零时，将请求数目在乘以每个实例的权重值后与权重值之和的比值确定为最大数量。

1026，当余数大于零时，将请求数目在乘以每个实例的权重值后与权重值之和的比值向上取整确定为最大数量。

其中，本发明实施例中根据服务端包括实例的权重值，分别来确定各实例允许分配数据处理请求的最大数量，即根据请求数目与各实例的权重值之间的关系来计算每个实例对应最大数量的值。本发明实施例中，对服务端的每个实例，首先计算请求数目除以此实例的权重值的余数，然后根据计算出的余数确定此实例对应的最大数量的值。

具体的，假如服务端有N个实例，总权重为WR，客户端并发数据处理请求的请求数目为M，则根据本发明实施例的方法，对于N个实例中任意一个实例，其权重为W，其最大数量R的计算过程为：当(M×W)％WR＝0时，R＝(M×W)/WR的值；当(M×W)％WR！＝0时，R＝(M×W)/WR的商+1，即R的值等于(M×W)/WR的商后再加1的值。

需要说明的是，本发明实施例中对数据处理请求分发进行控制，避免在同一时刻将所有请求分配到一个实例上导致整个客户端瘫痪。

可以理解的是，在本发明实施例中，为了能够准确确定服务端中的实例，各实例均可以存储存活集群实例列表。当服务端添加新实例时，添加的新实例向服务端中实例发送加入通知消息，服务端中实例将新实例添加至存活集群实例列表；当服务端中存在待离开实例时，待离开实例在离开服务端之前向服务端中实例发送离开通知，服务端中实例将待离开实例从存活集群实例列表删除。

具体的，在服务端中添加新实例时，新实例可以向服务端中已有的实例发送加入通知，服务端中已有的实例在接收到新实例发送的加入通知后，可以将新实例添加至各自的存活集群实例列表中。当服务端中存在待离开实例时，待离开实例在离开服务端之前可以向服务端中除待离开实例之外的其他实例发送离开通知，服务端中除待离开实例之外的实例在接收到待离开实例发送的离开通知后，将待离开实例从存活集群实例列表删除。

需要说明的是，新实例发送加入通知的方式和待离开实例发送离开通知的方式可以为组播或广播等方式。

另外，为支持负载的动态管理，服务端支持动态集群支持机制，本发明实施例中，服务端各实例之间还可以相互发送心跳侦测包，当服务端中有实例异常退出时，其他实例会将收不到心跳侦测包的实例标记为可疑实例，并在两个检测周期仍然后收不到心跳侦测包的实例从存活集群实例列表中移除。

作为本发明实施例的一种实施方式，数据处理系统还包括客户端，本发明实施例还包括如下步骤。

104，客户端从服务端中获取第一存活集群实例列表。

105，客户端根据第一存活集群实例列表更新预存储的第二存活集群实例列表。

其中，客户端可以从服务端中的实例中获取第一存活集群实例列表，然后与其存储的第二存活集群实例列表进行比较，如果两者不同，则根据第一存活集群实例列表更新预存储的第二存活集群实例列表。

需要说明的是，客户端可以使用一个健康检查线程，定期从服务端实例中取回第一存活集群实例列表，并和客户端缓存的第二存活集群实例列表进行对比更新。健康检查线程还可以定期对服务端已经离开的实例定期做PING操作，用于在快速将出现过故障后恢复到正常服务的实例加入到客户端负载均衡列表中。同时，客户端在向服务端传输数据时，发现连接已经坏掉，会向健康检测线程报告连接坏掉，然后从连接管理器中重新获取一个连接进行请求调用。

需要说明的是，企业版Java服务器端组件模型(Enterprise Java Beans，EJB)技术是企业版Java平台多层结构的中间层，主要用于封装业务逻辑，EJB集群作为一种新的集群技术逐渐在大型分布式Java2平台企业版(J2EE)系统中得到更广泛的应用。本发明实施例中，服务端可通过EJB实现，一般情况下EJB的序列化采用的是RMI公司的互联网内部对象请求代理协议(Internet Inter-ORB Protocol，IIOP)，负载均衡管理算法和企业特性也普遍基于该协议实现。

图3示出了根据本发明一实施例的数据处理的置200的示意性框图。如图3所示，包括：

计算单元201，用于计算客户端并发的数据处理请求的请求数目；

计算单元201还用于根据请求数目和服务端包括实例的实例信息，计算各实例允许分配数据处理请求的最大数量；

分配单元202，用于基于最大数量为实例分配数据处理请求。

本发明实施例中，装置200在接收到客户端并发的数据处理请求时，可以先根据请求数目和服务端中各实例的信息计算出分配给各实例的数据处理请求的最大数量后，再给各实例分配数据处理请求，由于已经计算出分配给各实例的数据处理请求的最大数量，所以在分配数据处理请求时不会超过最大数量，从而避免了在同一时刻将过多的数据处理请求分配给一个服务端进行处理的情况，合理利用各实例，提高资源的利用率。

可以理解的是，实例信息包括实例数量；

计算单元201具体用于：

计算请求数目除以实例数量的余数；

当余数等于零时，确定最大数量等于请求数目与实例数量的比值；

当余数大于零时，确定最大数量等于请求数目与实例数量的比值向上取整。

可以理解的是，实例信息包括权重值；

计算单元201具体用于：

对实例中每个实例，计算请求数目在乘以每个实例的权重后，再除以所有实例的权重值之和的余数；

当余数等于零时，将请求数目在乘以每个实例的权重值后与权重值之和的比值确定为最大数量；

当余数大于零时，将请求数目在乘以每个实例的权重值后与权重值之和的比值向上取整确定为最大数量。

图4示出了根据本发明又一个或多个实施例的数据处理的装置200的示意性框图。

可以理解的是，如图4所示，还可以包括：

处理单元203，用于当服务端添加新实例时，向服务端中实例发送加入通知消息，将新实例添加至存活集群实例列表；

处理单元203还用于当服务端中存在待离开实例时，在离开服务端之前向服务端中实例发送离开通知消息，将待离开实例从存活集群实例列表删除。

根据本发明实施例的数据处理的装置200可对应于根据本发明实施例的数据处理的方法中的执行主体，并且数据处理的装置200中的各个模块的上述和其它操作和/或功能分别为了实现图2中的各个方法的相应流程，为了简洁，在此不再赘述。

图5是根据本发明一实施例的数据处理的设备300的示意性框图。如图5所示，设备300包括处理器301、存储器302和通信接口303，存储器302用于存储可执行的程序代码，处理器301通过读取存储器302中存储的可执行程序代码来运行与可执行程序代码对应的程序，通信接口303用于与外部设备通信，设备300还可以包括总线304，总线304用于连接处理器301、存储器302和通信接口303，使处理器301、存储器302和通信接口303通过总线304进行相互通信。

具体地，处理器301还用于执行一种数据处理的方法；其中，所述数据处理的方法包括：

计算客户端并发的数据处理请求的请求数目；

根据请求数目和服务端包括实例的实例信息，计算各实例允许分配数据处理请求的最大数量；

基于最大数量为实例分配数据处理请求。

根据本发明实施例的数据处理的设备300可对应于根据本发明实施例的数据处理的方法中的执行主体，并且数据处理的设备300中的各个模块的上述和其它操作和/或功能分别为了实现图2中的各个方法的相应流程，为了简洁，在此不再赘述。

本发明又一实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述实施例中所述的数据处理的处理方法的相应流程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种数据处理的方法，其特征在于，包括：

计算客户端并发的数据处理请求的请求数目；

根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量，其中，所述实例信息包括实例数量和/或权重值；

基于所述最大数量为所述实例分配所述数据处理请求；

当所述服务端添加新实例时，所述添加的新实例向所述服务端中实例发送加入通知消息，所述服务端中实例将所述新实例添加至存活集群实例列表；

当所述服务端中存在待离开实例时，所述待离开实例在离开所述服务端之前向所述服务端中实例发送离开通知，所述服务端中实例将所述待离开实例从所述存活集群实例列表删除；

其中，所述发送加入通知消息的方式和所述发送离开通知的方式包括广播方式。

2.根据权利要求1所述的方法，其特征在于，所述实例信息包括实例数量；

所述根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量，包括：

计算所述请求数目除以所述实例数量的余数；

当所述余数等于零时，确定所述最大数量等于所述请求数目与所述实例数量的比值；

当所述余数大于零时，确定所述最大数量等于所述请求数目与所述实例数量的比值向上取整。

3.根据权利要求1所述的方法，其特征在于，所述实例信息包括权重值；

所述根据所述请求数目和所述服务端包括实例的实例信息计算各所述实例允许分配所述数据处理请求的最大数量，包括：

对所述实例中每个实例，计算所述请求数目在乘以所述每个实例的权重后，再除以所有所述实例的权重值之和的余数；

当所述余数等于零时，将所述请求数目在乘以所述每个实例的权重值后与所述权重值之和的比值确定为所述最大数量；

当所述余数大于零时，将所述请求数目在乘以所述每个实例的权重值后与所述权重值之和的比值向上取整确定为所述最大数量。

4.一种数据处理的装置，其特征在于，包括：

计算单元，用于计算客户端并发的数据处理请求的请求数目；

所述计算单元还用于根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量，其中，所述实例信息包括实例数量和/或权重值；

分配单元，用于基于所述最大数量为所述实例分配所述数据处理请求；

处理单元，用于当服务端添加新实例时，向服务端中实例发送加入通知消息，将新实例添加至存活集群实例列表；

所述处理单元还用于当服务端中存在待离开实例时，在离开服务端之前向服务端中实例发送离开通知消息，将待离开实例从存活集群实例列表删除；

其中，所述发送加入通知消息的方式和所述发送离开通知的方式包括广播方式。

5.根据权利要求4所述的装置，其特征在于，所述实例信息包括实例数量；所述计算单元具体用于：

计算所述请求数目除以所述实例数量的余数；

当所述余数等于零时，确定所述最大数量等于所述请求数目与所述实例数量的比值；

当所述余数大于零时，确定所述最大数量等于所述请求数目与所述实例数量的比值向上取整。

6.根据权利要求4所述的装置，其特征在于，所述实例信息包括权重值；

所述计算单元具体用于：

对所述实例中每个实例，计算所述请求数目在乘以所述每个实例的权重后，再除以所有所述实例的权重值之和的余数；

当所述余数等于零时，将所述请求数目在乘以所述每个实例的权重值后与所述权重值之和的比值确定为所述最大数量；

当所述余数大于零时，将所述请求数目在乘以所述每个实例的权重值后与所述权重值之和的比值向上取整确定为所述最大数量。

7.一种数据处理的设备，其特征在于，包括：

存储器、处理器、通信接口和总线；

存储器、处理器和通信接口通过总线连接并完成相互间的通信；

存储器用于存储程序代码；

处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行数据处理的方法，所述数据处理的方法，包括：

计算客户端并发的数据处理请求的请求数目；

根据所述请求数目和所述服务端包括实例的实例信息，计算各所述实例允许分配所述数据处理请求的最大数量；

基于所述最大数量为所述实例分配所述数据处理请求；

当所述服务端添加新实例时，所述添加的新实例向所述服务端中实例发送加入通知消息，所述服务端中实例将所述新实例添加至存活集群实例列表；

当所述服务端中存在待离开实例时，所述待离开实例在离开所述服务端之前向所述服务端中实例发送离开通知，所述服务端中实例将所述待离开实例从所述存活集群实例列表删除；

其中，所述发送加入通知消息的方式和所述发送离开通知的方式包括广播方式。

8.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-4任一项所述的方法。

Images