CN114816751A - 数据处理方法及服务器 - Google Patents

Abstract

本申请涉及一种数据处理方法及服务器，数据处理方法执行于服务器集群中任一服务器，该方法包括：对待处理数据进行分片处理，得到多个目标分片数据；根据多个分片数据与多个批量执行器组之间的第一对应关系，确定各目标分片数据对应的目标批量执行器组；基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成多个目标服务器与多个目标批量执行器组之间的第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据。本申请将批量执行器组与分片数据进行对应，能够避免数据处理错误的情况发生，实现了对数据进行高效以及准确的处理，同时达到了资源的合理利用的效果。

Description

数据处理方法及服务器

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法及服务器。

背景技术

各个企业在进行日常业务的过程中会产生批量数据，当批量的数据存入文件服务器中后，会基于数据处理的需求通过挂载在文件服务器上的批量执行器对批量数据进行对应的处理，最终将批量的数据分类存储在对应的数据库中。但随着业务的发展使得各个企业的业务数据激增，为了保证数据处理的效率，需要对现有的文件服务器以及现有的批量执行器进行资源配置，以更好的利用当下的资源处理激增的业务数据，从而节约人力、物力以及财力。

但是，由于现有的文件服务器与批量执行器之间具有固定的映射关系，批量执行器只能从与之具有映射关系的文件服务器上进行数据的读取或者写入，以对文件服务器上的业务数据进行处理，所以重新进行资源配置后，会导致批量执行器不能处理对应文件服务器上的数据，导致数据处理错误的情况发生。

发明内容

本申请提供了一种数据处理方法，批量执行器组不再受限于与服务器之间的固定映射关系，批量执行器组只需要基于预先设置的批量执行器组与分片数据的对应关系确定需要处理的分片数据，并基于分片数据重新生成的批量执行器与服务器的对应关系从对应的服务器中读写分片数据对分片数据进行处理，从而避免了批量执行器只能处理具有固定映射关系的服务器上的数据，导致数据处理错误的情况发生。

第一方面，本申请提供了一种数据处理方法，该方法执行于服务器集群中的任一服务器，包括：

对待处理数据进行分片处理，得到多个目标分片数据；

根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

第二方面，本申请还提供了一种服务器，该服务器包括：

处理模块，用于对待处理数据进行分片处理，得到多个目标分片数据；

确定模块，用于根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

确定生成模块，用于基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

第三方面，本申请还提供了另一种服务器，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。

本申请提供了一种数据处理方法及服务器，数据处理方法执行于服务器集群中任一服务器，该方法包括：对待处理数据进行分片处理，得到多个目标分片数据；根据多个分片数据与多个批量执行器组之间的第一对应关系，确定各目标分片数据对应的目标批量执行器组；基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成多个目标服务器与多个目标批量执行器组之间的第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据。本申请将批量执行器组与分片数据进行对应，以使批量执行器组在处理数据时，只对与之对应的分片数据进行处理，不会因为该目标分片数据未存储在与批量执行器组具有固定映射关系的服务器中，导致批量执行器组不能针对性的对目标分片数据进行处理的问题出现，能够避免数据处理错误的情况发生，实现了对数据进行高效以及准确的处理，同时达到了资源的合理利用的效果。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中数据处理骤的流程示意图；

图4为另一个实施例中数据处理方法的流程示意图；

图5为另一个实施例中数据处理方法的流程示意图；

图6为另一个实施例中数据处理方法的流程示意图；

图7为另一个实施例中数据处理方法的流程示意图；

图8为另一个实施例中数据处理方法的流程示意图；

图9为一个实施例中服务器的结构框图；

图10为一个实施例中服务器的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102将待处理数据通过网络发送给服务器集群中的任一服务器104，服务器104对接收到的数据通过与之对应的批量执行器进行分片处理，得到多个目标分片数据，并基于分片数据与批量执行器的对应关系确定各分片数据对应的目标批量执行器组，同时基于分配规则确定各分片数据对应的目标服务器，以将各分片数据存储至对应的目标服务器上，批量执行器组不再受限于与服务器之间的固定映射关系，批量执行器组只需要基于预先设置的批量执行器组与分片数据的对应关系确定需要处理的分片数据，并基于分片数据重新生成的批量执行器与服务器的对应关系从对应的服务器中读写分片数据对分片数据进行处理，从而避免了批量执行器只能处理具有固定映射关系的服务器上的数据，导致数据处理错误的情况发生。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，对待处理数据进行分片处理，得到多个目标分片数据。

其中，待处理数据可以是不同类型的数据，也可以是相同类型的数据；待处理数据例如可以是用户的身份数据、用户的交易数据、对公业务数据、储蓄业务数据、信用卡业务数据等；服务器集群中的各服务器能够对同一类型的数据进行处理；不同服务器集群中的各服务器能够对不同类型的数据进行处理。若待处理数据为相同类型的数据，则可以是通过一个服务器集群中的任一个服务器接收待处理数据。由于服务器集群中的每一个服务器上挂载有至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码，通过挂载在服务器上的批量执行器可以对服务器中存储的数据进行对应的处理。所以，可以是通过服务器中上挂载的任一个批量执行器对具有一定数据量的待处理数据进行分片处理，获得多个目标分片数据。多个目标分片数据的数据量可以相同，也可以不同。可以是根据预先设定的分片数据个数对待处理数据进行分片，可以是根据待处理数据之间的关联性对待处理数据进行分片，可以是根据待处理数据的大小以及现有服务器的存储空间大小对待处理数据进行分片等，本申请对此不及以限定。

在这里还需要说明的是，在对待处理数据分片处理完成后，可以是随机的为各目标分片数据分配序号，也可以是根据各目标分片数据的生成时间按照时间先后顺序为各分片数据分配序号，还可以是根据目标分片数据的数据大小按照从小到大，或者，从大到小的顺序为各目标分片数据分配序号，本申请对此也不加以限定。

示例性的，第一服务器集群中的第一服务器接收到终端设备传输的100G客户身份数据，第一服务器通过挂载的第一批量执行器按照均分为10个分片数据的分片处理规则对100G的客户身份数据进行处理，获得10个目标分片数据，10个目标分片数据可以是按照数据大小均分进行数据分片，得到第一目标分片数据、第二目标分片数据、第三目标分片数据、第四目标分片数据、第五目标分片数据、第六目标分片数据、第七目标分片数据、第八目标分片数据、第九目标分片数据以及第十目标分片数据。那么每一个目标分片数据中的数据大小可以是均为10G。

步骤S204，根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码。

其中，第一对应关系是预设的，第一对应关系可以是一张表格、一个文档、一段代码等；第一对应关系可以是存储在服务器集群中的任一个服务器中、还可以是存储在服务器集群中的而每一个服务器中、还可以是存储在服务器集群中的部分服务器中等。若第一对应关系只存储在服务器集群中的任一个服务器中，那么该第一对应关系可以是存储在服务器的共享存储器地址中，便于其它服务器进行查看。第一对应关系中包括多个分片数据与多个批量执行器组之间的对应关系：该对应关系可以是分片数据的标记与批量执行器组的标记之间的对应关系；该对应关系还可以是分片数据的名称与批量执行器组的名称之间的对应关系；该对应关系还可以是分片数据的序号与批量执行器组的序号之间的对应关系等，本申请对此不加以限定。那么在确定了目标分片数据的标记、名称、序号等后，查询第一对应关系，就可以快速的获得与目标分片数据对应的目标批量执行器组。

示例性的，第一对应关系可以是包括分片数据的名称与批量执行器组的名称之间的对应关系，基于第一批量执行器对待处理数据进行分片处理后得到10个目标分片数据，可以是对10个目标分片数据进行命名，得到第一目标分片数据、第二目标分片数据、第三目标分片数据、第四目标分片数据、第五目标分片数据、第六目标分片数据、第七目标分片数据、第八目标分片数据、第九目标分片数据以及第十目标分片数据。第一目标分片数据与第一批量执行器组对应，那么第一批量执行器组就是第一目标分片数据对应的目标批量执行器组；第二目标分片数据与第二批量执行器组对应，那么第二批量执行器组就是第二目标分片数据对应的目标批量执行器组；第三目标分片数据与第三批量执行器组对应，那么第三批量执行器组就是第三目标分片数据对应的目标批量执行器组；第四目标分片数据与第四批量执行器组对应，那么第四批量执行器组就是第四目标分片数据对应的目标批量执行器组；第五目标分片数据与第五批量执行器组对应，那么第五批量执行器组就是第五目标分片数据对应的目标批量执行器组；第六目标分片数据与第六批量执行器组对应，那么第六批量执行器组就是第六目标分片数据对应的目标批量执行器组；第七目标分片数据与第七批量执行器组对应，那么第七批量执行器组就是第七目标分片数据对应的目标批量执行器组；第八目标分片数据与第八批量执行器组对应，那么第八批量执行器组就是第八目标分片数据对应的目标批量执行器组；第九目标分片数据与第九批量执行器组对应，那么第九批量执行器组就是第九目标分片数据对应的目标批量执行器组；第十目标分片数据与第十批量执行器组对应，那么第十批量执行器组就是第十目标分片数据对应的目标批量执行器组。

其中，第一批量执行器组可以是包括四个批量执行器，例如为A批量执行器、B批量执行器、C批量执行器和D批量执行器；

第二批量执行器组可以是包括四个批量执行器；第三批量执行器组可以是包括六个批量执行器；第四批量执行器组可以是包括两个批量执行器；第五批量执行器组可以是包括六个批量执行器；第六批量执行器组可以是包括四个批量执行器；第七批量执行器组可以是包括四个批量执行器；第八批量执行器组可以是包括四个批量执行器；第九批量执行器组可以是包括六个批量执行器；第十批量执行器组可以是包括十个批量执行器(在此对批量执行器组内包含的批量执行器不再一一列举)。

步骤S206，基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

其中，分配规则例如可以是根据各目标分片数据的数据大小进行服务器的分配、例如还可以是根据各分片数据的序号进行服务器的分配、例如还可以是按照各目标分片数据的生成时间进行服务器的分配等，本申请对此不加以限定。在通过分配规则从服务器集群中为各目标分片数据确定了对应的目标服务器后，可以是继续基于上述获得的目标分片数据对应的目标批量执行器组，得到目标服务器与目标批量执行器组之间的对应关系。由于本申请的批量执行器组与服务器之间的对应关系是基于每一个待处理数据进行分片处理后生成的。针对不同的待处理数据，其生成的批量执行器组与服务器之间的对应关系可以不同，批量执行器组与服务器之间并没有固定的映射关系，所以批量执行器组在处理数据时，只针对与之有对应关系的目标分片数据进行数据处理，不会因为该目标分片数据未存储在与批量执行器组具有固定映射关系的服务器中，导致批量执行器组不能针对性的对目标分片数据进行处理的问题出现，能够避免数据处理错误的情况发生。

示例性的，可以是根据各目标分片数据的数据大小进行服务器的分配；可以是将第一目标分片数据分配给第一服务器；将第二目标分片数据分配给第二服务器；将第三目标分片数据分配给第三服务器；将第四目标分片数据分配给第四服务器；将第五目标分片数据分配给第五服务器；将第六目标分片数据分配给第六服务器；将第七目标分片数据分配给第七服务器；将第八目标分片数据分配给第八服务器；将第九目标分片数据分配给第九服务器；将第十目标分片数据分配给第十服务器；

进一步的，可以根据上述获得的各目标分片数据对应的目标批量执行器，获得第二对应关系。第二对应关系是目标批量执行器组与服务器之间的对应关系：该对应关系可以是目标批量执行器组的标记与服务器的标记之间的对应关系；该对应关系还可以是目标批量执行器组的名称与服务器的名称之间的对应关系；该对应关系还可以是目标批量执行器组的序号与服务器的序号之间的对应关系等，本申请对此不加以限定。那么在确定了目标批量执行器组的标记、名称、序号等后，查询第二对应关系，就可以快速的获得与目标批量执行器组对应的服务器。

示例性的，若第二对应关系是服务器与目标批量执行器组的名称之间的对应关系，那么根据上述根据第一对应关系为目标分片数据确定了目表批量执行器组，以及，按照分片规则为目标分片数据分配了目标服务器后。可以生成如下第二对应关系：

第一服务器与第一批量执行器组对应；第二服务器与第二批量执行器组对应；第三服务器与第三批量执行器组对应；第四服务器与第四批量执行器组对应；第五服务器与第五批量执行器组对应；第六服务器与第六批量执行器组对应；第七服务器与第七批量执行器组对应；第八服务器与第八批量执行器组对应；第九服务器与第九批量执行器组对应；第十服务器与第十批量执行器组对应。

本申请提供了一种数据处理方法，数据处理方法执行于服务器集群中任一服务器，该方法包括：对待处理数据进行分片处理，得到多个目标分片数据；根据多个分片数据与多个批量执行器组之间的第一对应关系，确定各目标分片数据对应的目标批量执行器组；基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成多个目标服务器与多个目标批量执行器组之间的第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据。本申请将批量执行器组与分片数据进行对应，以使批量执行器组在处理数据时，只对与之对应的分片数据进行处理，不会因为该目标分片数据未存储在与批量执行器组具有固定映射关系的服务器中，导致批量执行器组不能针对性的对目标分片数据进行处理的问题出现，能够避免数据处理错误的情况发生，实现了对数据进行高效以及准确的处理，同时达到了资源的合理利用的效果。

在一个实施例中，如图3所示，图3为本申请实施例提供的一种确定各目标分片数据对应的目标批量执行器组的一种可选的方法实施例，该方法实施例包括：

步骤S302，获取目标分片数据的序号。

其中，第一对应关系包括多个分片数据的序号与多个批量执行器组的序号之间的对应关系。第一服务器可以是将待处理数据进行分片处理，获得多个目标分片数据，并为多个目标分片数据分配序号后，基于各目标分片数据的序号确定对应的目标批量执行器组。示例性的，第一服务器可以是获得第一个目标分片数据的序号为A、获得第二个目标分片数据的序号为B、获得第三个目标分片数据的的序号为C、获得第四个目标分片数据的序号为D等。

步骤S304，根据目标分片数据的序号从第一对应关系中确定与目标分片数据的序号对应的目标批量执行器组的序号。

其中，因为第一对应关系中包括多个分片数据的序号与多个批量执行器组的序号之间的对应关系，那么当获得了目标分片数据的序号后，可以通过查找第一对应关系确定与目标分片数据对应的目标批量执行器组的序号。由于该第一对应关系可以是存储在服务器集群中的每一个服务器中；或者存储在其中一个服务器中，其它服务器能够随时读取；所以本申请只要获取了目标分片数据的序号，能够快速的为各个目标分片数据确定对应的目标批量执行器组的序号，从而提高数据处理的效率。

示例性的，序号A的分片数据与序号1的批量执行器组对应，那么1批量执行器组就是A目标分片数据的目标批量执行器组；序号B的分片数据与序号2的批量执行器组对应，那么2批量执行器组就是B目标分片数据的目标批量执行器组；序号C的分片数据与序号3的批量执行器组对应，那么3批量执行器组就是B目标分片数据的目标批量执行器组；在此不再进行一一列举。

步骤S306，将与目标批量执行器组的序号对应的至少两个批量执行器确定为目标分片数据对应的目标批量执行器组。

最后，基于上述获得的目标批量执行器组的序号，就可以确定用于处理目标分片数据的目标批量执行器组，该目标批量执行器组中至少包括两个批量执行器。

本申请提供的数据处理方法，可以是通过分片数据的序号以及第一对应关系，快速的获得目标分片数据对应的目标批量执行器组的序号，能够提高数据处理的效率。

在一个实施例中，如图4所示，图4为本申请实施例提供的一种为各目标分片数据确定目标服务器的一种可选的方法实施例，该方法实施例包括：

步骤S402，获取各目标分片数据的数据大小以及服务器集群中各服务器的剩余空间大小；

步骤S404，将各目标分片数据的数据大小和服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；

步骤S406，基于比对结果确定各目标分片数据对应的目标服务器。

其中，基于上述描述的分配规则可以由多种，本实施例是根据每一个分片数据的数据大小以及服务器的剩余空间大小为分片数据进行服务器的分配，这样为分片数据分配的服务器能够更好的匹配分片数据的大小，避免出现服务器无法存储分片数据的情况发生。

示例性的，第一目标分片数据的大小为10G、第二目标分片数据的大小为30G、第三目标分片数据的大小为40G、第四目标分片数据的大小为50G、第五目标分片数据的大小为60G、第六目标分片数据的大小为15G、第七目标分片数据的大小为19G、第八目标分片数据的大小为35G、第九目标分片数据的大小为25G、第十目标分片数据的大小为55G。

第一服务器的剩余空间大小为12G、第二服务器的剩余空间大小为35G、第三服务器的剩余空间大小为50G、第四服务器的剩余空间大小为70G、第五服务器的剩余空间大小为100G、第六服务器的剩余空间大小为80G、第七服务器的剩余空间大小为50G、第八服务器的剩余空间大小为60G、第九服务器的剩余空间大小为120G、第十服务器的剩余空间大小为150G。

那么，可以是将第一目标分片数据分配给第一服务器；将第二目标分片数据分配给第二服务器；将第三目标分片数据分配给第三服务器；将第四目标分片数据分配给第四服务器；将第五目标分片数据分配给第十服务器；将第六目标分片数据分配给第七服务器；将第七目标分片数据分配给第八服务器；将第八目标分片数据分配给第九服务器；将第九目标分片数据分配给第六服务器；将第十目标分片数据分配给第五服务器。

在一个实施例中，如图5所示，图5为本申请实施例提供的另一种为各目标分片数据确定目标服务器的一种可选的方法实施例，该方法实施例包括：

步骤S502，获取目标分片数据的数量以及服务器集群中服务器的数量；

步骤S504，对目标分片数据的数量和服务器集群中服务器的数量进行取模计算，得到取模计算结果；

步骤S506，基于取模计算结果确定各目标分片数据对应的目标服务器。

其中，上述方法可以是适用于对待处理数据进行分片处理后，得到的目标分片数据的数据大小均不相同的情况，可以通过根据数据大小来为目标分片数据分配服务器。那么。若对待处理数据可以是按照数据大小进行均等分片处理，则可以是基于目标分片数据的数量以及服务器集群中服务器的数量来为目标分片数据分配服务器，具体地，可以是对目标分片数据的数量以及服务器的数量进行取模计算，以根据取模计算结果确定各目标分片数据对应的服务器编号。这样可以控制目标分片数据与服务器之间的索引越界，避免随机分配造成分配混乱的现象出现。

示例性的，目标分片数据的数量有3个，服务器的数量有5个，第一目标分片数据5/1＝5余0，则可以是将第一目标分片数据分配给第一服务器；第二目标分片数据5/2＝2余1，则可以是将第二目标分片数据也分配给第一服务器；第三目标分片数据5/3＝1余2，则可以是将第三目标分片数据也分配给第二服务器。

在一个实施例中，如图6所示，图6为本申请实施例提供的另一种为各目标分片数据确定目标服务器的一种可选的方法实施例，该方法实施例包括：

步骤S602，获取目标分片数据的序号以及服务器集群中服务器的序号；

步骤S604，对目标分片数据的序号和服务器集群中服务器的序号进行哈希映射，得到映射结果；

步骤S606，基于映射结果确定各目标分片数据对应的服务器序号；

步骤S608，将各服务器序号对应的服务器确定为各目标分片数据对应的目标服务器。

其中，分配规则还可以是根据哈希映射来确定，哈希映射就是通过一个函数，将一个值映射成另一个值的方法，可以是将目标分片数据的序号和服务器集群中服务器的序号输入至用于进行哈希映射的函数，然后根据输出的结果确定目标分片数据对应的服务器编号。因为哈希映射的速度很快，所以能够提高为各目标分片数据分配服务器的速度，以进一步的提高数据处理的速率。

示例性的，可以是将目标分片数据的序号：A、B、C、D、E、F、G、H、I、J与服务器的序号：1、2、3、4、5、6、7、8、9、10输入至目标函数，得到A-1、B-2、C-3、D-4、E-5、F-6、G-7、H-8、I-9、J-10的映射结果，最终获得各目标分片数据对应的目标服务器。

可选的，将目标分片数据存储至对应的目标服务器上。

其中，在通过分配规则为各目标分片数据确定到对应的目标服务器后，可以是通过第一服务器将A目标分片数据发送给1服务器；将B目标分片数据发送给2服务器；C目标分片数据发送给3服务器；D目标分片数据发送给4服务器；E目标分片数据发送给5服务器；F目标分片数据发送给6服务器；G目标分片数据发送给7服务器；H目标分片数据发送给8服务器；I目标分片数据发送给9服务器；J目标分片数据发送给10服务器。以通过各目标服务器存储对应的目标分片数据。

在一个实施例中，如图7所示，图7为本申请实施例提供的另一种为目标分片数据确定目标服务器的一种可选的方法实施例，该方法实施例包括：

步骤S702，若目标分片数据不存在对应的目标服务器，则为服务器集群添加新服务器；

步骤S704，将目标分片数据存储至新服务器中，并将新服务器与目标分片数据对应的目标批量执行器组之间的对应关系添加至第二对应关系中。

其中，在通过分配规则为各分片数据分配不到对应的目标服务器的情况下，这种情况可能是因为待处理数据的数据量太大，导致目标分片数据的数量很多，但是服务器集群中的目标服务器的数量较少或者而目标服务器的剩余存储空间不够的情况下；为了保证数据的处理效率，可以是添加新服务器，以为新服务器分配目标分片数据并将目标分片数据存储至对应的存储器地址中，避免数据处理不及时的情况出现。需要说明的是，再添加新服务器后，可以时将新服务器与对应目标分片数据的目标批量执行器之间的对应关系添加至第二对应关系中。以使目标分片数据对应的目标批量执行器能够从正确的目标服务器上读写目标分片数据，以对目标分片数据进行处理。

在一个实施例中，如图8所示，图8为本申请实施例提供的另一种为目标分片数据确定目标批量执行器组的一种可选的方法实施例，该方法实施例包括：

步骤S802，若目标分片数据不存在对应的目标批量执行器组，则添加新批量执行器组；

步骤S804，将目标分片数据与新批量执行器组之间的对应关系添加至第一对应关系中；以及，将目标分片数据对应的目标服务器与新批量执行器组之间的对应关系添加至第二对应关系中。

其中，若待处理数据的数据量较大，对待处理数据进行分片处理后，可以是获得了较多的目标分片数据；但是在第一对应关系中不存在与部分或者个别目标分片数据对应的目标批量执行器组，那么可以是通过添加目标批量执行器组的方式解决目标分片数据不能被及时处理的问题，提高了数据处理的效率。同理，当添加了新批量执行器组，可以是将新批量执行器组与分片数据的对应关系添加至第一对应关系中，以便后续的使用。同时，还可以时将目标分片数据分配的目标服务器与新批量执行器的对应关系添加至第二对应关系中，以使新批量执行器能够从正确的目标服务器上读写目标分片数据，以对目标分片数据进行处理。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的服务器。该服务器所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个服务器实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。

在一个实施例中，如图9所示，提供了一种服务器900，包括：处理模块902、确定模块904以及确定生成模块906，其中：

处理模块902，用于对待处理数据进行分片处理，得到多个目标分片数据；

确定模块904，用于根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

确定生成模块906，用于基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

在一个实施例中，确定模块904，具体用于获取目标分片数据的序号；根据目标分片数据的序号从第一对应关系中确定与目标分片数据的序号对应的目标批量执行器组的序号；将与目标批量执行器组的序号对应的至少两个批量执行器确定为目标分片数据对应的目标批量执行器组。

在一个实施例中，确定生成模块906，具体用于获取各目标分片数据的数据大小以及服务器集群中各服务器的剩余空间大小；将各目标分片数据的数据大小和服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；基于比对结果确定各目标分片数据对应的目标服务器。

在一个实施例中，确定生成模块906，具体用于获取目标分片数据的数量以及服务器集群中服务器的数量；对目标分片数据的数量和服务器集群中服务器的数量进行取模计算，得到取模计算结果；基于取模计算结果确定各目标分片数据对应的目标服务器。

在一个实施例中，确定生成模块906，具体用于获取目标分片数据的序号以及服务器集群中服务器的序号；对目标分片数据的序号和服务器集群中服务器的序号进行哈希映射，得到映射结果；基于映射结果确定各目标分片数据对应的服务器序号；将各服务器序号对应的服务器确定为各目标分片数据对应的目标服务器。

在一个实施例中，上述服务器还包括存储模块，存储模块，用于将目标分片数据存储至对应的目标服务器上。

在一个实施例中，上述服务器还包括添加模块，

添加模块，用于在目标分片数据不存在对应的目标服务器时，为服务器集群添加新服务器；将目标分片数据存储至新服务器中，并将新服务器与目标分片数据对应的目标批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，添加模块，还用于在目标分片数据不存在对应的目标批量执行器组时，添加新批量执行器组；将目标分片数据与新批量执行器组之间的对应关系添加至第一对应关系中；以及，将目标分片数据对应的目标服务器与新批量执行器组之间的对应关系添加至第二对应关系中。

上述服务器中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种服务器，该服务器的内部结构图可以如图10所示。该服务器包括通过系统总线连接的处理器、存储器和网络接口。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的数据库用于存储目标分片数据。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种服务器，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

对待处理数据进行分片处理，得到多个目标分片数据；

根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取目标分片数据的序号；根据目标分片数据的序号从第一对应关系中确定与目标分片数据的序号对应的目标批量执行器组的序号；将与目标批量执行器组的序号对应的至少两个批量执行器确定为目标分片数据对应的目标批量执行器组。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取各目标分片数据的数据大小以及服务器集群中各服务器的剩余空间大小；将各目标分片数据的数据大小和服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；基于比对结果确定各目标分片数据对应的目标服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取目标分片数据的数量以及服务器集群中服务器的数量；对目标分片数据的数量和服务器集群中服务器的数量进行取模计算，得到取模计算结果；基于取模计算结果确定各目标分片数据对应的目标服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取目标分片数据的序号以及服务器集群中服务器的序号；对目标分片数据的序号和服务器集群中服务器的序号进行哈希映射，得到映射结果；基于映射结果确定各目标分片数据对应的服务器序号；将各服务器序号对应的服务器确定为各目标分片数据对应的目标服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将目标分片数据存储至对应的目标服务器上。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在目标分片数据不存在对应的目标服务器时，为服务器集群添加新服务器；将目标分片数据存储至新服务器中，并将新服务器与目标分片数据对应的目标批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在目标分片数据不存在对应的目标批量执行器组时，添加新批量执行器组；将目标分片数据与新批量执行器组之间的对应关系添加至第一对应关系中；以及，将目标分片数据对应的目标服务器与新批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对待处理数据进行分片处理，得到多个目标分片数据；

根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的序号；根据目标分片数据的序号从第一对应关系中确定与目标分片数据的序号对应的目标批量执行器组的序号；将与目标批量执行器组的序号对应的至少两个批量执行器确定为目标分片数据对应的目标批量执行器组。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取各目标分片数据的数据大小以及服务器集群中各服务器的剩余空间大小；将各目标分片数据的数据大小和服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；基于比对结果确定各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的数量以及服务器集群中服务器的数量；对目标分片数据的数量和服务器集群中服务器的数量进行取模计算，得到取模计算结果；基于取模计算结果确定各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的序号以及服务器集群中服务器的序号；对目标分片数据的序号和服务器集群中服务器的序号进行哈希映射，得到映射结果；基于映射结果确定各目标分片数据对应的服务器序号；将各服务器序号对应的服务器确定为各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将目标分片数据存储至对应的目标服务器上。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在目标分片数据不存在对应的目标服务器时，为服务器集群添加新服务器；将目标分片数据存储至新服务器中，并将新服务器与目标分片数据对应的目标批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在目标分片数据不存在对应的目标批量执行器组时，添加新批量执行器组；将目标分片数据与新批量执行器组之间的对应关系添加至第一对应关系中；以及，将目标分片数据对应的目标服务器与新批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

对待处理数据进行分片处理，得到多个目标分片数据；

根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；

基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的序号；根据目标分片数据的序号从第一对应关系中确定与目标分片数据的序号对应的目标批量执行器组的序号；将与目标批量执行器组的序号对应的至少两个批量执行器确定为目标分片数据对应的目标批量执行器组。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取各目标分片数据的数据大小以及服务器集群中各服务器的剩余空间大小；将各目标分片数据的数据大小和服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；基于比对结果确定各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的数量以及服务器集群中服务器的数量；对目标分片数据的数量和服务器集群中服务器的数量进行取模计算，得到取模计算结果；基于取模计算结果确定各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取目标分片数据的序号以及服务器集群中服务器的序号；对目标分片数据的序号和服务器集群中服务器的序号进行哈希映射，得到映射结果；基于映射结果确定各目标分片数据对应的服务器序号；将各服务器序号对应的服务器确定为各目标分片数据对应的目标服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将目标分片数据存储至对应的目标服务器上。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在目标分片数据不存在对应的目标服务器时，为服务器集群添加新服务器；将目标分片数据存储至新服务器中，并将新服务器与目标分片数据对应的目标批量执行器组之间的对应关系添加至第二对应关系中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在目标分片数据不存在对应的目标批量执行器组时，添加新批量执行器组；将目标分片数据与新批量执行器组之间的对应关系添加至第一对应关系中；以及，将目标分片数据对应的目标服务器与新批量执行器组之间的对应关系添加至第二对应关系中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法执行于服务器集群中的任一服务器，包括：

对待处理数据进行分片处理，得到多个目标分片数据；

根据第一对应关系，确定各所述目标分片数据对应的目标批量执行器组，所述第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，所述目标批量执行器组包括至少两个批量执行器，所述批量执行器中存储有处理数据的执行逻辑代码；

基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，并生成第二对应关系，以由所述目标批量执行器组处理对应的所述目标服务器上存储的所述目标分片数据，所述第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述第一对应关系包括多个分片数据的序号与多个批量执行器组的序号之间的对应关系，所述根据第一对应关系，确定各所述目标分片数据对应的目标批量执行器组，包括：

获取所述目标分片数据的序号；

根据所述目标分片数据的序号从所述第一对应关系中确定与所述目标分片数据的序号对应的目标批量执行器组的序号；

将与所述目标批量执行器组的序号对应的至少两个批量执行器确定为所述目标分片数据对应的目标批量执行器组。

3.根据权利要求1所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，包括：

获取各所述目标分片数据的数据大小以及所述服务器集群中各服务器的剩余空间大小；

将各所述目标分片数据的数据大小和所述服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；

基于所述比对结果确定各所述目标分片数据对应的目标服务器。

4.根据权利要求1所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，包括：

获取所述目标分片数据的数量以及所述服务器集群中服务器的数量；

对所述目标分片数据的数量和所述服务器集群中服务器的数量进行取模计算，得到取模计算结果；

基于所述取模计算结果确定各所述目标分片数据对应的目标服务器。

5.根据权利要求2所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，包括：

获取所述目标分片数据的序号以及所述服务器集群中服务器的序号；

对所述目标分片数据的序号和所述服务器集群中服务器的序号进行哈希映射，得到映射结果；

基于所述映射结果确定各所述目标分片数据对应的服务器序号；

将各所述服务器序号对应的服务器确定为各所述目标分片数据对应的目标服务器。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标分片数据存储至对应的所述目标服务器上。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述目标分片数据不存在对应的所述目标服务器，则为所述服务器集群添加新服务器；

将所述目标分片数据存储至所述新服务器中，并将所述新服务器与所述目标分片数据对应的目标批量执行器组之间的对应关系添加至所述第二对应关系中。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述目标分片数据不存在对应的所述目标批量执行器组，则添加新批量执行器组；

将所述目标分片数据与所述新批量执行器组之间的对应关系添加至所述第一对应关系中；以及，将所述目标分片数据对应的所述目标服务器与所述新批量执行器组之间的对应关系添加至所述第二对应关系中。

9.一种服务器，其特征在于，所述服务器包括：

处理模块，用于对待处理数据进行分片处理，得到多个目标分片数据；

确定模块，用于根据第一对应关系，确定各所述目标分片数据对应的目标批量执行器组，所述第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，所述目标批量执行器组包括至少两个批量执行器，所述批量执行器中存储有处理数据的执行逻辑代码；

确定生成模块，用于基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，并生成第二对应关系，以由所述目标批量执行器组处理对应的所述目标服务器上存储的所述目标分片数据，所述第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。

10.一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

Images