CN112181900A - 一种服务器集群中的数据处理方法与装置 - Google Patents

Abstract

本申请实施例公开了一种服务器集群中的数据处理方法与装置，属于数据处理技术领域。该方法包括：第一服务器对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；所述第一服务器从所述多个第一文件中确定状态为待处理的目标文件；所述第一服务器对所述目标文件中的数据进行处理，并将所述目标文件的状态改为正在处理；所述第一服务器在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。本申请实施例避免了多机争抢，减轻数据库压力。

Description

一种服务器集群中的数据处理方法与装置

技术领域

本申请实施例涉及数据处理技术领域，特别涉及一种服务器集群中的数据处理方法与装置。

背景技术

通过文件处理大批量交易是常见的交易模式之一，通常客户上传一个文件包含几笔至十几万笔交易数据，对于每日百万级甚至千万级的交易数据进行处理，单个文件及总体文件处理时效性十分重要。

现有技术中，为了处理海量的交易数据，利用服务器集群对数据库中存储的文件进行轮询并处理。在集群模式下，存在多机争抢的情况，即多台服务器会同时查询到同一个未处理的文件，这样会造成数据库压力较大的问题，浪费了服务器线程资源。

发明内容

本申请实施例提供了一种服务器集群中的数据处理方法与装置，以避免多机争抢，减轻数据库压力。

一方面，本申请实施例提供了一种服务器集群中的数据处理方法，该方法包括：

第一服务器对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；

所述第一服务器从所述多个第一文件中确定状态为待处理的目标文件；

所述第一服务器对所述目标文件中的数据进行处理，并将所述目标文件的状态改为正在处理；

所述第一服务器在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

可选的，所述第一服务器获取存储的第一文件之前，还包括：

接收终端发送的文件；

根据服务器集群中的服务器数量，确定所述文件对应的标签；

将所述文件进行存储，并将所述文件的状态设置为待处理。

可选的，所述第一服务器接收终端发送的第一文件之后，还包括：

根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级；

所述第一服务器对多个第一文件进行轮询，包括：

所述第一服务器根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

可选的，还包括：

所述第一服务器按照设定频率向所述服务器集群中的其余服务器发送心跳包，并接收所述服务器集群中的其余服务器发送的心跳包；

所述第一服务器在设定时间内未接收到第二服务器发送的心跳包时，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

另一方面，本发明实施例还提供一种服务器集群中的数据处理装置，所述装置包括：

轮询单元，用于对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；从所述多个第一文件中确定状态为待处理的目标文件；

处理单元，用于对所述目标文件中的数据进行处理；

状态单元，用于将所述目标文件的状态改为正在处理；在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

可选的，所述第一服务器获取存储的第一文件之前，还包括：

收发单元，用于接收终端发送的第一文件；

确定单元，用于根据所述第一文件的接收时间以及所述第一文件中的数据量，确定所述第一文件对应的标签；将所述第一文件进行存储；

所述状态单元，还用于将所述第一文件的状态设置为待处理。

可选的，所述确定单元，还用于根据所述第一文件的接收时间以及所述第一文件中的数据量，确定所述第一文件的优先级；

所述轮询单元，具体用于根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

可选的，所述收发单元，还用于按照设定频率向所述服务器集群中的其余服务器发送心跳包，并接收所述服务器集群中的其余服务器发送的心跳包；

所述轮询单元，还用于在设定时间内未接收到第二服务器发送的心跳包时，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

另一方面，本申请实施例提供了一种计算设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行本申请实施例提供的服务器集群中的数据处理方法的步骤。

另一方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本申请实施例提供的服务器集群中的数据处理方法的步骤。

本发明实施例的服务器集群中包括多个服务器，第一服务器为其中任一服务器。服务器集群处理数据库中的文件，每个文件中均包含有标签，标签与服务器相对应。第一服务器对第一文件进行轮询，第一文件中包含第一服务器对应的标签。第一服务器从多个第一文件中确定状态为待处理的目标文件，对目标文件中的数据进行处理，并将目标文件的状态改为正在处理。在目标文件中的数据均处理结束后，第一服务器将目标文件的状态改为处理完成。本发明实施例中，服务器仅轮询包含对应标签的文件，避免了多机争抢，减少了数据库的压力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种服务器集群中的数据处理系统的系统架构图；

图2示出了本申请实施例提供的一种服务器集群中的数据处理方法的流程图；

图3示出了本申请一个实施例提供的服务器集群中的数据处理装置的结构方框图；

图4示出了本申请一个实施例提供的服务器的结构方框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例的技术方案的架构做一些简单介绍，需要说明的是，以下介绍的架构仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

参考图1，其为本申请实施例提供的服务器集群中的数据处理方法的系统架构图。图1所示，该应用场景中包括终端设备101、服务器102和数据库103。

终端设备101中安装有客户端，服务器102为客户端对应的服务器。终端设备101可以是手机、个人电脑(personal computer，PC)、平板电脑(PAD)、掌上电脑(PersonalDigital Assistant，PDA)、笔记本电脑或者智能穿戴式设备(例如智能手表和智能手环)等终端设备。各终端设备101通过通信网络与服务器102连接，该通信网络可以是有线网络或无线网络。服务器102可以是客户端对应的服务器，可以是一台服务器或由若干台服务器组成的服务器集群或云计算中心，或者是一个虚拟化平台。

其中，图1是以数据库103独立于所述服务器102存在进行说明的，在其他可能的实现方式中，数据库103也可以位于服务器102中。

服务器102接收终端设备101发送的待处理的文件，向文件赋予标签和优先级后，存储于数据库103中。服务器102与数据库103连接，数据库103中存有文件，服务器102对数据库103中的文件进行轮询，并从数据库103中获取目标文件。服务器102对目标文件处理后，再存储回数据库103中。

当然，本申请实施例提供的架构并不限用于图1所示的结构，本申请实施例并不进行限制。为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

现有技术中的轮询机制为服务器每个时间周期内查询状态为待处理的文件，将其修改为处理中，然后进行业务处理，处理完成后将状态改为成功或失败等。在集群模式下，存在多机争抢的情况，即多台服务器会同时查询到同一个文件，导致大量的文件在修改为处理中时失败，造成数据库的压力和服务器线程资源的浪费。

为了解决上述问题，本发明实施例提供了一种服务器集群中的数据处理方法。请参见图2，为本发明实施例提供的服务器集群中的数据处理方法的流程示意图，该方法例如可以应用于如图1所示的场景中，该方法的流程描述如下。

步骤201、第一服务器对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签。

步骤202、第一服务器从所述多个第一文件中确定状态为待处理的目标文件。

步骤203、第一服务器对所述目标文件中的数据进行处理，并将所述目标文件的状态改为正在处理。

步骤204、第一服务器在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

本发明实施例的服务器集群中包括多个服务器，第一服务器为其中任一服务器。服务器集群处理数据库中的文件，每个文件中均包含有标签，标签与服务器相对应。第一服务器对第一文件进行轮询，第一文件中包含第一服务器对应的标签。第一服务器从多个第一文件中确定状态为待处理的目标文件，对目标文件中的数据进行处理，并将目标文件的状态改为正在处理。在目标文件中的数据均处理结束后，第一服务器将目标文件的状态改为处理完成。本发明实施例中，服务器仅轮询包含对应标签的文件，避免了多机争抢，减少了数据库的压力。

进一步地，第一服务器获取存储的第一文件之前，还包括：

所述第一服务器接收终端发送的文件；

所述第一服务器根据服务器集群中的服务器数量，确定所述文件对应的标签；

所述第一服务器将所述文件进行存储，并将所述文件的状态设置为待处理。

具体实施过程中，第一服务器接收到终端发送的文件后，根据服务器集群中的服务器数量，确定文件对应的标签。具体地，可以将文件平均分配给服务器集群中的服务器，例如，若服务器集群中包括4个服务器，则将接收到的第一个文件的标签设置为与第一服务器相对应，将接收到的第二个文件的标签设置为与第二服务器相对应，将接收到的第三个文件的标签设置为与第三服务器相对应，将接收到的第四个文件的标签设置为与第四服务器相对应，将接收到的第五个文件的标签设置为与第一服务器相对应，依次循环设置。或者根据每个服务器当前处理的数据量为文件设置标签。

本发明实施例中，可以直接将文件的标签设置为包含对应服务器的IP地址。也可以按照其他排列规则设置文件的标签。这样，服务器可以仅轮询及处理包含对应标签的文件，避免了多机争抢的问题。需要说明的是，本发明实施例中，还可以通过另外设置一个标签计算装置，来分配文件标签。

服务器将文件存储于数据库中时，将文件的状态设置为待处理。这样，后续服务器对数据库中的文件进行数据处理时，方便服务器对文件的状态进行判断，避免重复处理文件。

进一步地，所述第一服务器接收终端发送的文件之后，还包括：

根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级。

具体实施过程中，针对每个文件，计算并分配一个优先级。该优先级可以根据接收到文件的时间与该文件中包含的数据量计算得出。其中，接收时间越早，则优先级越高；文件中的数据量越多，则优先级越低。优先级的具体计算方式不限，例如可以是将时间与数据量进行加权，或者将时间设置为第一影响因素，笔数设置为第二影响因素，直接按照时间进行排序后，再根据数据量进行前后微调，即针对在某阈值内的数据量，可自动修正文件的时间因素，提高其优先级。

之后，第一服务器对多个第一文件进行轮询，包括：

所述第一服务器根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

具体地，本发明实施例中按照文件的优先级以及文件的存储时间进行轮询。其中，优先级为升序轮询，存储时间按照每个时间周期分别以升序、降序交替轮询，从而确保单个服务器相邻两次轮询无重复记录。

进一步地，为了保证服务器集群的高可用，本发明实施例的服务器集群中服务器互为主备服务器。

这样，每台服务器均设置有多个备服务器。例如若服务器集群中包括4台服务器，标签为1的服务器，其备服务器为标签为2、3、4的服务器；标签为2的服务器，其备服务器为标签为3、4、1的服务器；标签为3的服务器，其备服务器为标签为4、1、2的服务器；标签为4的服务器，其备服务器为标签为1、2、3的服务器，以此类推，主备关系形成环状。这样，当某台服务器宕机后，可自动由其备服务器按顺序依次接管。

具体地，可以在数据库中设置签到表，每一个服务器均需要按照设定频率在签到表中签到，并检测其余服务器的签到记录。其中，第一服务器按照设定频率在签到表中进行签到，并检测所述服务器集群中的其余服务器的签到记录。

若第一服务器在设定时间内未检测到第二服务器的签到记录，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

另一种可选的实施例中，可以利用心跳包确定服务器集群中的服务器是否宕机。即第一服务器按照设定频率向服务器集群中的其余服务器发送心跳包，并接收所述服务器集群中的其余服务器发送的心跳包。

若第一服务器在设定时间内未接收到第二服务器发送的心跳包时，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

下面以具体实施例对上述流程进行详细介绍。

服务器集群中包括4台服务器，其配置如下：

Tag.X.X.X.IP1＝1|2,3,4

Tag.X.X.X.IP2＝2|3,4,1

Tag.X.X.X.IP3＝3|4,1,2

Tag.X.X.X.IP4＝4|1,2,3

其中，Tag.X.X.X为服务器地址。竖线前为对应服务器的主标签，竖线后为备服务器的标签。

接收到终端发送的文件后，根据服务器集群中的服务器数量，确定所述文件对应的标签；并根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级。

将所述文件按照优先级进行存储，并将所述文件的状态设置为待处理。

第一服务器根据优先级以及第一文件的存储时间，对多个第一文件进行轮询。第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签。

第一服务器从所述多个第一文件中确定状态为待处理的目标文件。

第一服务器对所述目标文件中的数据进行处理，并将所述目标文件的状态改为正在处理。

第一服务器在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

下述为本申请装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。

请参考图3，其示出了本申请一个实施例提供的服务器集群中的数据处理装置的结构方框图。该服务器集群中的数据处理装置通过硬件或者软硬件的结合实现成为图1中服务器102的全部或者一部分。该装置包括：

轮询单元301，用于对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；从所述多个第一文件中确定状态为待处理的目标文件；

处理单元302，用于对所述目标文件中的数据进行处理；

状态单元303，用于将所述目标文件的状态改为正在处理；在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

可选的，还包括：

收发单元304，用于接收终端发送的文件；

确定单元305，用于根据服务器集群中的服务器数量，确定所述文件对应的标签；将所述文件进行存储；

所述状态单元303，还用于将所述文件的状态设置为待处理。

可选的，所述确定单元305，还用于根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级；

所述轮询单元301，具体用于根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

可选的，还包括签到单元306，用于按照设定频率在签到表中进行签到，并检测所述服务器集群中的其余服务器的签到记录；

所述轮询单元301，还用于在设定时间内未检测到第二服务器的签到记录，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

请参考图4，其示出了本申请一个实施例提供的服务器的结构方框图。该服务器1000实现为图1中的服务器102。具体来讲：

服务器1000包括中央处理单元(CPU)1001、包括随机存取存储器(RAM)1002和只读存储器(ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述服务器1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为服务器1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

根据本发明的各种实施例，所述服务器1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本发明实施例提供的服务器集群中的数据处理方法的指令。

本领域普通技术人员可以理解上述实施例的签到方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

本领域普通技术人员可以理解上述实施例的签到方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种服务器集群中的数据处理方法，其特征在于，所述方法包括：

第一服务器对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；

所述第一服务器从所述多个第一文件中确定状态为待处理的目标文件；

所述第一服务器对所述目标文件中的数据进行处理，并将所述目标文件的状态改为正在处理；

所述第一服务器在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

2.根据权利要求1所述的方法，其特征在于，所述第一服务器获取存储的第一文件之前，还包括：

接收终端发送的文件；

根据服务器集群中的服务器数量，确定所述文件对应的标签；

将所述文件进行存储，并将所述文件的状态设置为待处理。

3.根据权利要求2所述的方法，其特征在于，所述第一服务器接收终端发送的文件之后，还包括：

根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级；

所述第一服务器对多个第一文件进行轮询，包括：

所述第一服务器根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

所述第一服务器按照设定频率在签到表中进行签到，并检测所述服务器集群中的其余服务器的签到记录；

所述第一服务器在设定时间内未检测到第二服务器的签到记录，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

5.一种服务器集群中的数据处理装置，其特征在于，所述装置包括：

轮询单元，用于对多个第一文件进行轮询，所述第一服务器为服务器集群中的任一服务器，所述第一文件中包含所述第一服务器对应的标签；从所述多个第一文件中确定状态为待处理的目标文件；

处理单元，用于对所述目标文件中的数据进行处理；

状态单元，用于将所述目标文件的状态改为正在处理；在所述目标文件中的数据均处理结束后，将所述目标文件的状态改为处理完成。

6.根据权利要求5所述的装置，其特征在于，还包括：

收发单元，用于接收终端发送的文件；

确定单元，用于根据服务器集群中的服务器数量，确定所述文件对应的标签；将所述文件进行存储；

所述状态单元，还用于将所述文件的状态设置为待处理。

7.根据权利要求6所述的装置，其特征在于，

所述确定单元，还用于根据所述文件的接收时间以及所述文件中的数据量，确定所述文件的优先级；

所述轮询单元，具体用于根据优先级以及第一文件的存储时间，对所述多个第一文件进行轮询。

8.根据权利要求5至7任一项所述的装置，其特征在于，

还包括签到单元，用于按照设定频率在签到表中进行签到，并检测所述服务器集群中的其余服务器的签到记录；

所述轮询单元，还用于在设定时间内未检测到第二服务器的签到记录，对第二文件进行轮询，所述第二文件中包含所述第二服务器对应的标签，所示第一服务器为所述第二服务器的备服务器。

9.一种计算设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1至4任一项所述的服务器集群中的数据处理方法。

10.一种存储介质，所述存储介质存储有计算机指令，其特征在于，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至4任一项所述的服务器集群中的数据处理方法。

Images