CN110443695A - 数据处理方法及其装置、电子设备和介质 - Google Patents

Abstract

本公开提供了一种用于服务器集群的数据处理方法，服务器集群包括多个服务器，多个服务器共享数据存储空间，方法包括：接收来自客户端的处理请求，处理请求用于指示处理批量数据；分解批量数据，以得到多个待处理子任务；基于数据存储空间存储的各服务器的资源占用情况，确定服务器集群中的目标服务器；以及将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务。本公开还提供了一种用于服务器集群的数据处理装置，一种电子设备以及一种计算机可读存储介质。

Description

数据处理方法及其装置、电子设备和介质

技术领域

本公开涉及计算机技术领域，特别是涉及一种数据处理方法及其装置、电子设备和介质。

背景技术

在现代企业的融资需求中，往往存在着要求银行批量放款且需要实时到账的业务场景。例如批量发票融资、订单融资、应收账款池融资等，都需保证该批次融资数据要么都放款成功、要么都放款失败，以防止批次账务处理产生混乱。

针对上述业务场景，相关技术提供了实现批量放款且实时到账的解决方案，例如批量联机放款或者晚间批量放款。

但是，在处理批量放款过程中，至少存在以下技术问题。

例如，大批量融资数据上送给核算系统，通过循环调用上送接口的批量联机放款方式，导致调用方、接受方系统资源被大量占用，易形成集中地区交易热点，导致产生系统性能问题，进而影响其他业务功能的办理，且循环上送多笔融资纪录信息到核算系统，网关传输易发生数据丢失或超时。

又例如，晚间批量发放的实时性不够，无法满足客户的融资需求，且无法进行业务系统和核算系统之间数据的联机校验，发生差错的概率性高，并且无法及时纠正差错，降低银行的市场竞争力，易流失客户。

发明内容

有鉴于此，为了解决现有技术在处理批量放款过程中，出现的系统性能问题、集中交易地区热点、放款实时性不够、易发生差错等问题。本公开提供了一种用于服务器集群的数据处理方法及其装置，电子设备及介质，以解决目前在处理批量放款时，通过循环调用上送接口的批量联机放款方式，导致调用方、接受方系统资源被大量占用，易形成集中地区交易热点，导致产生系统性能问题，以及晚间批量发放的实时性不够，无法满足客户的融资需求，且无法进行业务系统和核算系统之间数据的联机校验，发生差错的概率性高，并且无法及时纠正差错的技术问题，为融资需求提供一种保证批量放款一致性，减轻调用方、接受方系统的批量压力的解决。

为实现上述目的，本公开的一个方面提供了一种用于服务器集群的数据处理方法，上述服务器集群包括多个服务器，上述多个服务器共享数据存储空间，上述方法包括：接收来自客户端的处理请求，上述处理请求用于指示处理批量数据，分解上述批量数据，以得到多个待处理子任务，基于上述数据存储空间存储的各服务器的资源占用情况，确定上述服务器集群中的目标服务器，以及将上述待处理子任务分配给上述目标服务器，以使上述目标服务器处理上述待处理子任务。

根据本公开的实施例，上述分解上述批量数据，以得到多个待处理子任务包括：获取上述批量数据的数据量和上述批量数据中各条数据的标识，针对上述集群服务器，获取数据处理的数据量限额，基于上述批量数据的数据量和上述数据量限额，确定待处理子任务的数量，以及按照上述待处理子任务的数量，分解上述批量数据中各条数据的标识，以得到多个待处理子任务。

根据本公开的实施例，上述方法还包括：将上述多个待处理子任务存储在上述上述数据存储空间。

根据本公开的实施例，上述基于上述数据存储空间存储的各服务器的资源占用情况，确定上述服务器集群中的目标服务器包括：针对每个待处理子任务，获取上述待处理子任务的处理状态，基于上述处理状态，获取上述数据存储空间存储的各服务器的资源占用情况，以及基于上述各服务器的资源占用情况，从上述服务器集群中选择资源占用情况符合预设规则的目标服务器。

根据本公开的实施例，上述处理状态包括以下至少之一：等待状态，运行状态，完成状态。

根据本公开的实施例，上述方法还包括：在上述待处理子任务的处理状态发生改变的情况下，更新上述待处理子任务的处理状态。

根据本公开的实施例，上述方法还包括：针对每个待处理子任务，获取对应分配的目标服务器的标识信息，以及将上述目标服务器的标识信息存储在上述上述数据存储空间。

根据本公开的实施例，上述方法还包括：基于上述目标服务器的标识信息，从上述数据存储空间读取分配到上述目标服务器的待处理子任务，在上述待处理子任务处理完成后，控制上述目标服务器处于中断状态，以及在上述中断状态达到预设时长后，再次从上述数据存储空间读取分配到上述目标服务器的待处理子任务。

根据本公开的实施例，上述分解上述批量数据包括：检测上述批量数据是否符合分解条件，以及在上述批量数据符合上述分解条件的情况下，分解上述批量数据。

为实现上述目的，本公开的另一个方面提供了一种用于服务器集群的数据处理装置，上述服务器集群包括多个服务器，上述多个服务器共享数据存储空间，上述装置包括：接收模块，被配置为接收来自客户端的处理请求，上述处理请求用于指示处理批量数据，分解模块，被配置为分解上述批量数据，以得到多个待处理子任务，确定模块，被配置为基于上述数据存储空间存储的各服务器的资源占用情况，确定目标服务器，以及分配模块，被配置为将上述待处理子任务分配给上述目标服务器，以使上述目标服务器处理上述待处理子任务。

根据本公开的实施例，上述分解模块包括：第一获取子模块，被配置为获取上述批量数据的数据量和上述批量数据中各条数据的标识，第二获取子模块，被配置为针对上述集群服务器，获取数据处理的数据量限额，确定子模块，被配置为基于上述批量数据的数据量和上述数据量限额，确定待处理子任务的数量，以及第一分解子模块，被配置为按照上述待处理子任务的数量，分解上述批量数据中各条数据的标识，以得到多个待处理子任务。

根据本公开的实施例，上述装置还包括：第一存储模块，被配置为将上述多个待处理子任务存储在上述上述数据存储空间。

根据本公开的实施例，上述确定模块包括：第三获取子模块，被配置为针对每个待处理子任务，获取上述待处理子任务的处理状态，第四获取子模块，被配置为基于上述处理状态，获取上述数据存储空间存储的各服务器的资源占用情况，以及选取子模块，被配置为基于上述各服务器的资源占用情况，从上述服务器集群中选择资源占用情况符合预设规则的目标服务器。

根据本公开的实施例，上述处理状态包括以下至少之一：等待状态，运行状态，完成状态。

根据本公开的实施例，上述装置还包括：更新子模块，被配置为在上述待处理子任务的处理状态发生改变的情况下，更新上述待处理子任务的处理状态。

根据本公开的实施例，上述装置还包括：获取模块，被配置为针对每个待处理子任务，获取对应分配的目标服务器的标识信息，以及第二存储模块，被配置为将上述目标服务器的标识信息存储在上述上述数据存储空间。

根据本公开的实施例，上述方法还包括：第一读取模块，被配置为基于上述目标服务器的标识信息，从上述数据存储空间读取分配到上述目标服务器的待处理子任务，控制模块，被配置为在上述待处理子任务处理完成后，控制上述目标服务器处于中断状态，以及第二读取模块，被配置为在上述中断状态达到预设时长后，再次从上述数据存储空间读取分配到上述目标服务器的待处理子任务。

根据本公开的实施例，上述分解模块包括：检测子模块，被配置为检测上述批量数据是否符合分解条件，以及第二分解子模块，被配置为在上述批量数据符合上述分解条件的情况下，分解上述批量数据。

为实现上述目的，本公开的另一方面提供了一种电子设备，包括：一个或多个处理器，存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。

为实现上述目的，本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

为实现上述目的，本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

由上可见，与现有技术相比，本公开实施例提供的用于服务器集群的数据处理方法及其装置，通过分解批量数据，以得到多个待处理子任务，基于数据存储空间存储的各服务器的资源占用情况，确定服务器集群中的目标服务器，将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务，可以至少部分地克服相关技术中循环调用上送接口的批量联机放款方式，导致调用方、接受方系统资源被大量占用，易形成集中地区交易热点，导致产生系统性能问题，进而影响其他业务功能的办理，且循环上送多笔融资纪录信息到核算系统，网关传输易发生数据丢失或超时的技术问题，也可以至少部分克服相关技术中晚间批量发放的实时性不够，无法满足客户的融资需求，且无法进行业务系统和核算系统之间数据的联机校验，发生差错的概率性高，并且无法及时纠正差错，降低银行的市场竞争力，易流失客户的技术问题。并因此可以实现既保证批量数据处理的一致性，又可以减轻调用方以及接受方系统的批量压力的技术效果。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本公开实施例的服务器集群的系统架构；

图2示意性示出了适用于本公开实施例的数据处理方法和装置的应用场景；

图3示意性示出了根据本公开实施例的用于服务器集群的数据处理方法的流程图；

图4示意性示出了根据本公开实施例的用于客户端的数据处理方法的流程图；

图5示意性示出了根据本公开另一实施例的用于服务器集群的数据处理方法的流程图；

图6示意性示出了根据本公开又一实施例的用于服务器集群的数据处理方法的流程图；

图7示意性示出了根据本公开实施例的用于主机端的数据处理方法的流程图；

图8示意性示出了根据本公开实施例的用于服务器集群的数据处理装置的框图；

图9示意性示出了根据本公开实施例的客户端装置的框图；

图10示意性示出了根据本公开另一实施例的用于服务器集群的数据处理装置的框图；

图11示意性示出了根据本公开又一实施例的用于服务器集群的数据处理装置的框图；

图12示意性示出了根据本公开再一实施例的用于服务器集群的数据处理装置的框图；

图13示意性示出了根据本公开实施例的主机端装置的框图；以及

图14示意性示出了根据本公开实施例的适于实现上文描述的用于服务器集群的数据处理方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了上述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

在现代企业的融资需求中，往往存在着要求银行批量放款且需要实时到账的场景。例如批量发票融资、订单融资、应收账款池融资等，都需保证该批次融资数据要么都放款成功、要么都放款失败，以防止批次账务处理混乱。

鉴于服务器集群具有高可用、高性能、共享负载均衡等优势，本公开提供的数据处理方法由服务器集群执行。服务器集群，也称为集群服务器，是一组相互独立的服务器，在网络中表现为单一的系统，并以单一系统的模式加以管理。该单一系统可以为客户工作站提供高可靠性的服务。一个服务器集群包含多台拥有共享数据存储空间的服务器，拥有一个共同的名称，且服务器集群系统内的任意一台服务器都可被所有的网络用户所使用。

本公开的实施例提供了一种用于服务器集群的数据处理方法以及在服务器集群中能够应用该数据处理方法的数据处理装置。该服务器集群包括多个服务器，该多个服务器共享数据存储空间，该方法可以包括：在接收到来自客户端的用于指示处理批量数据的处理请求之后，分解批量数据，以得到多个待处理子任务。然后基于数据存储空间存储的各服务器的资源占用情况，确定服务器集群中的目标服务器。最后，将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务。

下文将以金融领域的融资批量数据的处理方法为例，阐述本公开的具体实施方式。可以理解的是，本公开提供的数据处理方法可以处理的批量数据，包括但是并不限于融资数据。

图1示意性示出了本公开实施例的服务器集群100的系统架构。需要说明的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，本公开实施例的服务器集群100的系统架构，服务器集群100可以包括多个应用服务器110和网络120。其中，网络120用以在多个应用服务器110之间提供通信链路的介质。网络120可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

通过网络120可以将多个应用服务器110集中起来一起执行同一种服务，而在客户端看来服务器集群100就像是只有一个服务器。服务器集群100可以利用多个应用服务器110进行并行计算从而获得很高的计算速度，也可以用多个应用服务器110做备份，从而使得多个应用服务器110之间共享数据存储空间，若任何一个应用服务器110出现故障，整个服务器集群100系统仍然可以正常运行。

需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器集群100执行。或者也可以由不同于服务器集群100的其他服务器集群设备执行。相应地，本公开实施例所提供的信息处理装置一般可以设置于服务器集群100中，或设置于不同于服务器集群100的其他服务器集群设备中。

应该理解，图1中的网络的数目、服务器集群中部署的应用服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的网络、服务器集群中可以部署任意数目的应用服务器。

图2示意性示出了适用于本公开实施例的数据处理方法和装置的应用场景。需要注意的是，图2所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图2所示，适用于本公开实施例的数据处理方法和装置的应用场景200可以包括客户端装置210、业务管理系统220和主机核算系统230。

客户端装置210面向用户，用户可以通过客户端装置210将数据处理请求发送至业务管理系统220，业务管理系统220用以在接收到客户端装置210发送的针对批量数据的数据处理请求之后，执行数据处理任务，对批量数据做处理，将最终的数据处理结果发送给主机核算系统230，以使主机核算系统230在接收到数据处理请求后，根据处理结果，执行批量处理操作。

客户端装置210上可以安装有各种通讯客户端应用，例如融资类应用、移动支付类应用、地图导航类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。客户端装置210可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、客户终端等等。

业务管理系统220可以包括服务器端接收装置221、数据存储装置222以及多个服务器端处理装置223，如图2中所示的服务器端处理装置1，服务器端处理装置2，......，服务器端处理装置N。多个服务器端处理装置223可以是提供各种服务的服务器，例如对用户利用客户端装置210发送的融资需求相关操作提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户通过客户端装置210发送的融资需求等数据进行分析等处理，并将处理结果(例如根据用户通过客户端装置210发送的融资需求获取或生成的要么都放款成功、要么都放款失败的处理结果等)反馈给主机核算系统230。服务器端接收装置221将接收到的请求信息，并进行数据格式统一转化处理后，按照数据存储装置222的存储结构进行保存，并返回应答信息给客户端装置210。服务器端处理装置223，自动间隔时间段处理数据存储装置222存储的信息。

主机核算系统230是执行核算处理功能的服务器，可以包括主机批量放款装置231，用于在接收到业务管理系统220的处理结果之后，执行批量放款操作。主机批量放款装置231，接收到服务器端处理装置223传输过来的批量融资数据，进行批量放款操作。

应该理解，图2中的客户端装置、业务管理系统和主机核算系统的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端装置、业务管理系统和主机核算系统。

以下参考附图并结合具体实施例详细阐述本公开。

图3示意性示出了根据本公开实施例的用于服务器集群的数据处理方法的流程图。

如图3所示，该方法包括操作S310～操作S340。

首先，在操作S310，接收来自客户端的处理请求。

根据本公开的实施例，来自客户端的处理请求用于指示处理批量数据。例如，融资数据，具有不同批次号的融资数据不同。根据实际业务场景的需要，同一批次的融资数据需要保证要么都放款成功，要么都放款失败，以防止批次账务处理混乱。

接下来，在操作S320，分解批量数据，以得到多个待处理子任务。

作为一种可选的实施例，该操作S320可以包括：获取批量数据的数据量和批量数据中各条数据的标识，针对集群服务器，获取数据处理的数据量限额，基于批量数据的数据量和数据量限额，确定待处理子任务的数量；以及按照待处理子任务的数量，分解批量数据中各条数据的标识，以得到多个待处理子任务。

根据本公开的实施例，数据的标识可以包括但不限于数据记录编码，数据金额等。对于融资数据来说，标识信息可以是每条融资凭证记录编码，融资金额等信息。针对集群服务器来说，数据处理的数据量限额可以是每次主机接口上送所能处理的数据记录的数量。将融资数据包括的所有数据，分解对应到多个待处理子任务，每个待处理子任务对应至少一条融资数据。

可以理解，每个待处理子任务中，可以包括但不限于批量数据的条数，每条融资凭证记录编码，融资金额信息，对应待处理子任务的服务器的IP地址。

作为一种可选的实施例，该操作S320可以包括：检测批量数据是否符合分解条件，以及在批量数据符合分解条件的情况下，分解批量数据。

为了保证待处理子任务的完整性和准确性，根据本公开的实施例，在分解批量数据，以得到多个待处理子任务之前，还可以判断以检测批量数据是否符合分解条件，符合该分解条件可以包括但不限于该批次融资凭证信息串是否完整，是否存在相应的已审批合同，是否存在有相应的客户的放款账户信息。若通过验证，则执行操作S320。若未通过验证，则不执行放款操作。

然后，在操作S330，基于数据存储空间存储的各服务器的资源占用情况，确定服务器集群中的目标服务器。

作为一种可选的实施例，该操作S330可以包括：针对每个待处理子任务，获取待处理子任务的处理状态；基于处理状态，获取数据存储空间存储的各服务器的资源占用情况；以及基于各服务器的资源占用情况，从服务器集群中选择资源占用情况符合预设规则的目标服务器。

作为一种可选的实施例，处理状态包括以下至少之一：等待状态，运行状态和完成状态。

为了保证数据存储空间中，各服务器的资源占用情况是最新的，实时更新，作为一种可选的实施例，在待处理子任务的处理状态发生改变的情况下，更新待处理子任务的处理状态。例如，当服务器读取到一待处理子任务之后，可以根据待处理的任务编号，将处理状态更新为“运行”；当某一应用服务器处理完某一待处理任务后，根据待处理的任务编号，将处理状态更新为“完成”。

根据本公开的实施例，资源占用情况可以反映服务器当前所处的状态，也可以反映当前服务器是否能处理待处理子任务。预设规则可以是当前待处理任务最少，也可以是资源占用率最少。目标服务器可以是当前待处理任务最少的服务器，也可以是资源占用率最少的服务器。

作为一种可选的实施例，可以在数据存储空间，例如数据库中建立一张处理任务信息表，该处理任务信息表用于记录所有应用服务器处理的所有任务的信息，可以包括但不限于融资数据实时处理任务，具体包括：待处理任务的编号、处理状态，该处理状态可以包括但不限于等待、运行、完成三个状态，通过查询该处理任务信息表的方式，获得当前待处理任务(即剔除掉“完成”状态的)最少的应用服务器IP地址，将当前待处理任务分配给待处理任务最少的应用服务器。最后，在操作S340，将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务。作为一种可选的实施例，该方法除了可以包括前述操作S310～操作S340之外，还可以包括：将多个待处理子任务存储在数据存储空间。

根据本公开的实施例，可以在将待处理子任务分配给目标服务器之后，将多个待处理子任务的信息存储在数据存储空间，以供分配待处理子任务时，可以根据待处理子任务的信息分配待处理子任务。

作为一种可选的实施例，该方法除了可以包括前述操作S310～操作S340之外，还可以包括：针对每个待处理子任务，获取对应分配的目标服务器的标识信息；以及将目标服务器的标识信息存储在数据存储空间。

根据本公开的实施例，可以在将待处理子任务分配给目标服务器之后，将目标服务器的标识信息存储在数据存储空间，以供分配待处理子任务时，可以根据服务器中待处理子任务的信息分配待处理子任务。

作为一种可选的实施例，该方法除了可以包括前述操作S310～操作S340之外，还可以包括：在待处理子任务处理完成后，控制目标服务器处于中断状态；以及在中断状态达到预设时长后，再次从数据存储空间读取分配到目标服务器的待处理子任务。

根据本公开的实施例，采用间隔处理的模式，减轻服务器的批量处理的压力。具体地，可以在一待处理子任务处理完成后，进行中断，并休眠一固定时间后，再重新调用读取待处理分配作业单元去读取数据存储装置222中分配到该IP地址的待处理子任务。

通过本公开的实施例，用于服务器集群的数据处理方法，充分利用集群服务器高可用、高性能、共享负载均衡等优势，对接收到的来自客户端的待处理任务做分解，加以合理分配处理任务的机制，并通过间隔处理的模式，通过监控到的多个服务器的资源占用情况，从中选出满足预设条件的目标服务器，可以在一定程度上减轻数据处理系统的批量处理压力，也可以至少部分克服现有技术中存在的上述技术问题。

鉴于用于服务器的数据处理方法，需要的参与方还涉及到客户端和主机端。因此，以下将从客户端、服务器集群以及主机端这三端，分别详细描述客户端的数据处理方法，本公开提供的用于服务器的数据处理方法，主机端的数据处理方法的具体实施例。但并不是对数据处理方法的限定。

图4示意性示出了根据本公开实施例的用于客户端的数据处理方法的流程图。

客户端装置210，用于展示融资申请的各项资料信息，并将各项资料按类别进行分块列表展示，接收准入资格查看、融资利息试算、在线提交申请等一系列的用户事件，进行申请资料完整性、用户资格、征信情况等一些必要的验证后，根据这些信息组织HTTP请求发送到服务器端接收装置221。

如图4所示，该方法可以包括操作S410～操作S450。

在操作S410，进入导航栏目。用户进入到融资申请导航栏目，执行操作101，点击融资申请功能。

在操作S420，接受用户查询点击。展示融资申请页面录入内容。

在操作S430，展示查询结果。录入完毕后提交，进行录入信息完整性校验、客户资格校验等控制。

在操作S440，提交验证控制。校验通过后，将批量数据传送到服务器端。

在操作S450，批量融资数据传输。

图5示意性示出了根据本公开另一实施例的用于服务器集群的数据处理方法的流程图。

如图5所示，该方法可以包括操作S510～操作S550。

在操作S510，接收融资信息并校验通过。服务器端接收到用户的批量融资申请数据后，进行相应的校验。

在操作S520，在通过校验之后，获得融资总记录数M，一次接口上送值为N，拆分为(M/N+1)个处理任务。其中，M、N为大于1的整数，且M大于N，甚至远远大于N。例如，M＝62000，N＝2000，则可以拆分为32个处理任务。

在操作S530，循环处理(M/N+1)个处理任务。

在操作S540，获得当前最空闲的应用服务器IP。依次查询待处理任务表，获得当前时点最空闲，即处理任务最少的应用服务器的IP地址。

在操作S550，将处理每个任务的服务器IP、融资记录编号范围插入到分配任务表。将处理每个任务的服务器IP、连同处理任务对应的记录编码区间值，插入到待处理任务表。

图6示意性示出了根据本公开又一实施例的用于服务器集群的数据处理方法的流程图。

如图6所示，该方法可以包括操作S610～操作S640。

在操作S610，群组每个服务器间隔处理程序启动。服务器端集群组中每台服务器在数据接收时，同步启动间隔处理程序。

在操作S620，读取自身分配到的处理任务。根据自身服务器的IP地址，读取分配到该IP的一批待处理任务进行处理。

在操作S630，进行任务处理，上送融资数据给主机。处理该批待处理任务，依次调用主机接口，上送融资放款信息到核算系统进行处理。

在操作S640，中断休眠固定时间后，重新开始读取。当都处理完毕后，将中断休眠固定时间后，再次去读取分配到该IP的一批待处理任务进行处理。

图7示意性示出了根据本公开实施例的用于主机端的数据处理方法的流程图。

如图7所示，该方法可以包括操作S710～操作S740。

在操作S710，循环处理上送的所有融资批次号。循环处理各个融资批次号，根据上送的各个融资批次号、每个融资批次包括的总条数、每个融资批次下的记录明细信息。

在操作S720，判断该融资批次号下的记录是否到齐。若是，则执行操作S730。若否，则执行操作S740。判断每个融资批次号下的记录明细之和，是否等于总条数。

在操作S730，进行批量放款处理操作，并更新状态为“放款成功”。若相等，则进行批量放款操作，将资金转入客户的帐号里面。

在操作S740，更新状态为“放款失败”。若不等，则将该融资批次号直接置为放款失败。

图8示意性示出了根据本公开实施例的用于服务器集群的数据处理装置的框图。

如图8所示，该数据处理装置800可以包括接收模块810、分解模块820、确定模块830以及分配模块840。

接收模块810，被配置为执行例如前述操作S310，接收来自客户端的处理请求，处理请求用于指示处理批量数据。

分解模块820，被配置为执行例如前述操作S320，分解批量数据，以得到多个待处理子任务。

确定模块830，被配置为执行例如前述操作S330，基于数据存储空间存储的各服务器的资源占用情况，确定目标服务器。

分配模块840，被配置为执行例如前述操作S340，将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务。

通过本公开的实施例，用于服务器集群的数据处理方法，充分利用集群服务器高可用、高性能、共享负载均衡等优势，对接收到的待处理任务做分解，通过各服务器资源占用情况，加以合理分配处理任务的机制，并通过间隔处理的模式，可以在一定程度上减轻数据处理系统的批量处理压力，可以至少部分克服现有技术中存在的上述技术问题。

与数据处理方法对应的，鉴于用于服务器的数据处理装置，需要的参与方还涉及到客户端和主机端。因此，以下将从客户端、服务器集群以及主机端这三端，分别详细描述客户端的数据处理装置，本公开提供的用于服务器的数据处理装置，主机端的数据处理装置的具体实施例。但并不是对数据处理装置的限定。

图9示意性示出了根据本公开实施例的客户端装置的框图。

如图9所示，前述客户端装置210可以包括用户查询功能单元910、查询结果集展示单元920、数据提交控制单元930以及批量数据传输单元940。

用户查询功能单元910：用于快速查询定位某类或某条融资凭证记录信息的处理进度。

查询结果集展示单元920：用于接收用户查询功能单元910传递的查询操作，展示相应的结果集内容。

数据提交控制单元930：用于接收查询结果集展示单元920的内容，进行是否已融资、是否同批次凭证的校验控制。

批量数据传输单元940：用于在批量数据通过数据提交控制单元930的校验之后，将批量数据的总条数、每条融资凭证记录编码、融资金额等信息，组织成HTTP请求，发送到服务器端接收装置221。

图10示意性示出了根据本公开另一实施例的用于服务器集群的数据处理装置的框图。

如图10所示，前述服务器端接收装置221可以包括接收验证控制单元1010、任务分解控制单元1020、服务器忙闲探测识别单元1030以及数据存储保存单元1040。

接收验证控制单元1010：用于判断该批次融资凭证信息串是否完整、是否存在相应的已审批合同、是否存在相应客户的放款账户信息等。

任务分解控制单元1020：用于在接收验证控制单元1010的验证通过后，根据其传递过来批量数据的总条数，任务分解控制单元1020会进行一系列的运算动作。即：

1)单次主机接口上送处理的记录数，假设为N(N为大于1的整数)。

2)获得本次批量数据的总条数，假设为M(M为大于1的整数)。

3)按分批处理原则，将其拆分为(M/N+1)个应用服务器端的处理任务，并确定每个任务将要处理的记录编码区间。其中，M大于N，甚至远远大于N。例如，M＝62000，N＝2000，则可以拆分为32个处理任务。

服务器忙闲探测识别单元1030：在忙闲探测识别时，将循环处理上述这(M/N+1)个处理任务，查询处理任务信息表，获得当前待处理任务(即剔除掉“完成”状态的)最少的应用服务器IP地址，将当前任务分配给待处理任务最少的应用服务器。具体过程为：首先，在数据库中建立一张处理任务信息表，用于记录所有应用服务器处理的所有任务信息(不限于融资数据实时处理任务)，具体包括：待处理任务的编号、处理状态(包括等待、运行、完成三个状态)、执行待处理任务的应用服务器的IP地址等信息。其次，当某一应用服务器读取到某一任务后，根据待处理的任务编号，将处理状态更新为“运行”；当某一应用服务器处理完某一任务后，根据待处理的任务编号，将处理状态更新为“完成”。

数据存储保存单元1040：将上述确定的每个作业处理应用服务器IP、融资记录编码区间等信息插入到该待处理存储表；当所有拆分的(M/N+1)个任务都处理完毕后，本次接收处理过程结束，释放系统资源。

图11示意性示出了根据本公开又一实施例的用于服务器集群的数据处理装置的框图。

如图11所示，前述数据存储装置222可以包括分配作业信息存储单元1110，用于保存待处理任务的融资信息，包括每个作业的处理应用服务器IP、处理记录编码区间、处理记录融资金额等信息。

图12示意性示出了根据本公开再一实施例的用于服务器集群的数据处理装置的框图。

如图12所示，前述服务端处理装置223可以包括读取待处理分配作业单元1210、作业处理单元1220、更新作业状态单元1230以及休眠中断控制单元1240。在服务器端接收装置221在接收数据时，集群组下的N(N＞2)台应用服务器上的服务器端处理装置223，都会同步启动进行处理。

读取待处理分配作业单元1210：集群组中N台服务器在数据接收时，同步启动间隔处理程序，每台根据自身服务器的IP地址，读取数据存储装置222中分配到该IP的一批待处理任务。

作业处理单元1220：依次调用主机接口，上送融资放款信息到核算系统，对读取待处理分配作业单元1210读取到的这一批待处理任务进行处理。

更新作业状态单元1230：对处理完毕的任务，更新为完成的状态。

休眠中断控制单元1240：判断这一批待处理任务是否都处理完成，若是，则进行中断，并休眠固定时间后(一般是5秒，根据集群资源占用情况设定)，再重新调用读取待处理分配作业单元1210读取数据存储装置222中分配到该IP的一批待处理任务。

图13示意性示出了根据本公开实施例的主机端装置的框图。

如图13所示，前述主机核算系统230可以包括批量数据到齐验证单元1310以及批量放款处理单元1320。

批量数据到齐验证单元1310：在固定时间点，一般在业务非高峰期，例如早上10点、下午三点两个时段，主机会启动批量放款装置231。根据上送的批量融资信息，包括各个融资批次号、每个融资批次包括的总条数、每个融资批次下记录明细信息等。循环处理各个融资批次号，判断每个融资批次号下的记录明细之和，是否等于总条数，若相等，则调用批量放款处理单元1320，进行处理；若不等，则将该融资批次号直接置为放款失败。

批量放款处理单元1320：进行批量放款操作，将资金转入客户的帐号里面。

需要说明的是，数据处理装置部分的实施例方式与数据处理方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，接收模块810、分解模块820、确定模块830、分配模块840、用户查询功能单元910、查询结果集展示单元920、数据提交控制单元930、批量数据传输单元940、接收验证控制单元1010、任务分解控制单元1020、服务器忙闲探测识别单元1030、数据存储保存单元1040、分配作业信息存储单元1110、读取待处理分配作业单元1210、作业处理单元1220、更新作业状态单元1230、休眠中断控制单元1240、批量数据到齐验证单元1310以及批量放款处理单元1320中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，接收模块810、分解模块820、确定模块830、分配模块840、用户查询功能单元910、查询结果集展示单元920、数据提交控制单元930、批量数据传输单元940、接收验证控制单元1010、任务分解控制单元1020、服务器忙闲探测识别单元1030、数据存储保存单元1040、分配作业信息存储单元1110、读取待处理分配作业单元1210、作业处理单元1220、更新作业状态单元1230、休眠中断控制单元1240、批量数据到齐验证单元1310以及批量放款处理单元1320中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块810、分解模块820、确定模块830、分配模块840、用户查询功能单元910、查询结果集展示单元920、数据提交控制单元930、批量数据传输单元940、接收验证控制单元1010、任务分解控制单元1020、服务器忙闲探测识别单元1030、数据存储保存单元1040、分配作业信息存储单元1110、读取待处理分配作业单元1210、作业处理单元1220、更新作业状态单元1230、休眠中断控制单元1240、批量数据到齐验证单元1310以及批量放款处理单元1320中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图14示意性示出了根据本公开实施例的适于实现上文描述的用于服务器集群的数据处理方法的电子设备的框图。图14示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，根据本公开实施例的计算机系统1400包括处理器1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。处理器1401例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1401还可以包括用于缓存用途的板载存储器。处理器1401可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1403中，存储有系统1400操作所需的各种程序和数据。处理器1401、ROM1402以及RAM 1403通过总线1404彼此相连。处理器1401通过执行ROM 1402和/或RAM 1403中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1402和RAM 1403以外的一个或多个存储器中。处理器1401也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1400还可以包括输入/输出(I/O)接口1405，输入/输出(I/O)接口1405也连接至总线1404。系统1400还可以包括连接至I/O接口1405的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被处理器1401执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1402和/或RAM 1403和/或ROM 1402和RAM 1403以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种用于服务器集群的数据处理方法，所述服务器集群包括多个服务器，所述多个服务器共享数据存储空间，所述方法包括：

接收来自客户端的处理请求，所述处理请求用于指示处理批量数据；

分解所述批量数据，以得到多个待处理子任务；

基于所述数据存储空间存储的各服务器的资源占用情况，确定所述服务器集群中的目标服务器；以及

将所述待处理子任务分配给所述目标服务器，以使所述目标服务器处理所述待处理子任务。

2.根据权利要求1所述的方法，其中，所述分解所述批量数据，以得到多个待处理子任务包括：

获取所述批量数据的数据量和所述批量数据中各条数据的标识；

针对所述集群服务器，获取数据处理的数据量限额；

基于所述批量数据的数据量和所述数据量限额，确定待处理子任务的数量；以及

按照所述待处理子任务的数量，分解所述批量数据中各条数据的标识，以得到多个待处理子任务。

3.根据权利要求1所述的方法，其中，所述方法还包括：

将所述多个待处理子任务存储在所述所述数据存储空间。

4.根据权利要求1所述的方法，其中，所述基于所述数据存储空间存储的各服务器的资源占用情况，确定所述服务器集群中的目标服务器包括：

针对每个待处理子任务，获取所述待处理子任务的处理状态；

基于所述处理状态，获取所述数据存储空间存储的各服务器的资源占用情况；以及

基于所述各服务器的资源占用情况，从所述服务器集群中选择资源占用情况符合预设规则的目标服务器。

5.根据权利要求1所述的方法，其中，所述处理状态包括以下至少之一：

等待状态；

运行状态；

完成状态。

6.根据权利要求4所述的方法，其中，所述方法还包括：

在所述待处理子任务的处理状态发生改变的情况下，更新所述待处理子任务的处理状态。

7.根据权利要求1所述的方法，其中，所述方法还包括：

针对每个待处理子任务，获取对应分配的目标服务器的标识信息；以及

将所述目标服务器的标识信息存储在所述所述数据存储空间。

8.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述目标服务器的标识信息，从所述数据存储空间读取分配到所述目标服务器的待处理子任务；

在所述待处理子任务处理完成后，控制所述目标服务器处于中断状态；以及

在所述中断状态达到预设时长后，再次从所述数据存储空间读取分配到所述目标服务器的待处理子任务。

9.根据权利要求1所述的方法，其中，所述分解所述批量数据包括：

检测所述批量数据是否符合分解条件；以及

在所述批量数据符合所述分解条件的情况下，分解所述批量数据。

10.一种用于服务器集群的数据处理装置，所述服务器集群包括多个服务器，所述多个服务器共享数据存储空间，所述装置包括：

接收模块，被配置为接收来自客户端的处理请求，所述处理请求用于指示处理批量数据；

分解模块，被配置为分解所述批量数据，以得到多个待处理子任务；

确定模块，被配置为基于所述数据存储空间存储的各服务器的资源占用情况，确定目标服务器；以及

分配模块，被配置为将所述待处理子任务分配给所述目标服务器，以使所述目标服务器处理所述待处理子任务。

11.一种电子设备，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至9中任一项所述的方法。