CN113342509B - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种数据处理方法、装置、电子设备及存储介质，所述方法包括：响应于任务处理指令，确定待处理任务的任务资源消耗信息；获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点。本公开能够解决相关技术中对集群中的处理节点分配不灵活的问题。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在对大量数据以及高数量级任务的处理场景下，例如对于高数量级数据的实时收集、实时计算以及实时反馈处理结果的任务，其具有数据量大、要求快速处理、要求结果可靠等特点，仅仅依靠单机处理效率较低。

相关技术中，为了应对单机计算性能上的不足，通过引入服务器集群参与并行计算，其一般为待处理任务分配的处理节点以及为存储数据资源分配的处理节点均是固定的，从而不能够对处理节点进行灵活分配。

发明内容

本公开提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中对集群中的处理节点分配不灵活的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：

响应于任务处理指令，确定待处理任务的任务资源消耗信息；

获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；

基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；

其中，所述第一目标节点对应至少一个子任务。

在一示例性实施例中，所述基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点包括：

基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

在一示例性实施例中，所述方法还包括：

响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；

其中，所述第二目标节点对应至少一项存储资源。

在一示例性实施例中，所述基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点包括：

基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

在一示例性实施例中，所述方法还包括：

基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

根据本公开实施例的第二方面，提供一种数据处理方法，所述方法包括：

接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；

获取与所述子任务对应的待处理资源；

基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

在一示例性实施例中，所述基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源包括：

在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

基于所述任务断点重复执行所述子任务，得到所述已处理资源。

在一示例性实施例中，所述子任务包括多个按序执行的任务分片；

所述在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点包括：

在对所述子任务的执行过程中，对已执行完成的任务分片进行标记；

在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

在一示例性实施例中，所述子任务包括多个任务分片，所述待处理资源包括与所述任务分片对应的待执行资源；

所述在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点包括：

在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源；

在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片；

基于所述未执行任务分片确定所述任务断点。

在一示例性实施例中，所述方法还包括：

接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的；

存储所述至少一项存储资源。

在一示例性实施例中，所述方法还包括：

接收资源获取请求，所述资源获取请求中包括子任务标识；

提取与所述子任务标识对应的待处理资源。

在一示例性实施例中，用于存储与所述子任务对应的资源信息的区域包括数据库区域；

所述方法还包括：

将所述数据库区域中的资源信息同步到缓存区域中；

所述提取与所述子任务对应的待处理资源包括：

从所述缓存区域中读取与所述子任务标识对应的待处理资源。

在一示例性实施例中，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；

所述将所述数据库区域中的资源信息同步到缓存区域中包括：

将所述第一分区的待处理资源同步给所述缓存区域；

所述存储所述至少一项存储资源包括：

将所述至少一项存储资源存储到所述第二分区。

根据本公开实施例的第三方面，提供一种数据处理装置，包括：

任务处理指令响应单元，被配置为执行响应于任务处理指令，确定待处理任务的任务资源消耗信息；

第一配置单元，被配置为执行获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；

第二配置单元，被配置为执行基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

子任务分配单元，被配置为执行基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

在一示例性实施例中，所述子任务分配单元包括：

第一目标节点标识确定单元，被配置为执行基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

第一分配单元，被配置为执行将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

在一示例性实施例中，所述装置还包括：

存储资源处理指令响应单元，被配置为执行响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

第三配置单元，被配置为执行获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

第四配置单元，被配置为执行基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

存储资源分配单元，被配置为执行基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；其中，所述第二目标节点对应至少一项存储资源。

在一示例性实施例中，所述存储资源分配单元包括：

第二目标节点标识确定单元，被配置为执行基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

第二分配单元，被配置为执行将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

在一示例性实施例中，所述装置包括：

意图确定单元，被配置为执行基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

集群变更单元，被配置为执行根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

根据本公开实施例的第四方面，提供一种数据处理装置，包括：

子任务接收单元，被配置为执行接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；

待处理资源获取单元，被配置为执行获取与所述子任务对应的待处理资源；

子任务执行单元，被配置为执行基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

在一示例性实施例中，所述子任务执行单元包括：

任务断点确定单元，被配置为执行在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

重复执行单元，被配置为执行基于所述任务断点重复执行所述子任务，得到所述已处理资源。

在一示例性实施例中，所述子任务包括多个按序执行的任务分片；

所述任务断点确定单元包括：

标记单元，被配置为执行在对所述子任务的执行过程中，对已执行完成的任务分片进行标记；

第一确定单元，被配置为执行在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

在一示例性实施例中，所述子任务包括多个任务分片，所述待处理资源包括与所述任务分片对应的待执行资源；

所述任务断点确定单元包括：

已执行信息确定单元，被配置为执行在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源；

资源比对单元，被配置为执行在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片；

第二确定单元，被配置为执行基于所述未执行任务分片确定所述任务断点。

在一示例性实施例中，所述装置还包括：

资源接收单元，被配置为执行接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的；

资源存储单元，被配置为执行存储所述至少一项存储资源。

在一示例性实施例中，所述装置还包括：

资源获取请求接收单元，被配置为执行接收资源获取请求，所述资源获取请求中包括子任务标识；

资源提取单元，被配置为执行提取与所述子任务标识对应的待处理资源。

在一示例性实施例中，用于存储与所述子任务对应的资源信息的区域包括数据库区域；

所述装置还包括：

数据同步单元，被配置为执行将所述数据库区域的资源信息同步到缓存区域中；

所述资源提取单元包括：

资源读取单元，被配置为执行从所述缓存区域中读取与所述子任务标识对应的待处理资源。

在一示例性实施例中，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；

所述数据同步单元包括：

缓存同步单元，被配置为执行将所述第一分区的待处理资源同步给所述缓存区域；

所述资源存储单元包括：

分区存储单元，被配置为执行将所述至少一项存储资源存储到所述第二分区。

根据本公开实施例的第五方面，提供一种数据处理系统，包括集群管理节点和数据处理节点；

所述集群管理节点，用于执行上述第一方面所述的数据处理方法；

所述数据处理节点，用于执行上述第二方面所述的数据处理方法。

根据本公开实施例的第六方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的数据处理方法。

根据本公开实施例的第七方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如上所述的数据处理方法。

根据本公开实施例的第八方面，提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述的数据处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开通过在接收到任务处理指令时，确定待处理任务的任务资源消耗信息；基于任务资源消耗信息，以及待处理任务的多个子任务的任务标识，对预设的任务模板配置信息中的节点资源参数，以及任务参数进行配置，得到待处理任务对应的目标任务配置信息；基于目标任务配置信息，将待处理任务中的多个子任务分配到多个第一目标节点上。本公开能够基于待处理任务的资源消耗信息以及任务参数动态配置任务模板配置信息，以实现多个子任务的动态分配，即通过待处理任务本身的特征信息来确定与之对应的任务模板信息，能够适用于多种不同的场景，实现适应性地进行子任务的动态分配，提高子任务分配的便利性和灵活性；进一步地，通过确定与资源消耗信息对应的节点资源参数，能够避免采用过多节点资源进行任务处理所带来的资源浪费，从而提高了资源利用效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的基于分布式集群的数据处理系统示意图。

图2是根据一示例性实施例示出的一种基于分布式集群的数据处理方法流程图。

图3是根据一示例性实施例示出的一种子任务分配方法流程图。

图4是根据一示例性实施例示出的一种存储资源处理方法流程图。

图5是根据一示例性实施例示出的一种存储资源分配方法流程图。

图6是根据一示例性实施例示出的集群管理节点对集群规模进行变更的方法流程图。

图7是根据一示例性实施例示出的另一种基于分布式集群的数据处理方法流程图。

图8是根据一示例性实施例示出的一种任务处理方法流程图。

图9是根据一示例性实施例示出的一种任务断点确定方法流程图。

图10是根据一示例性实施例示出的另一种任务断点确定方法流程图。

图11是根据一示例性实施例示出的一种资源存储方法流程图。

图12是根据一示例性实施例示出的一种资源提取方法流程图。

图13是根据一示例性实施例示出的每个数据处理节点处的第一结构示意图。

图14是根据一示例性实施例示出的每个数据处理节点处的第二结构示意图。

图15是根据一示例性实施例示出的一种基于分布式集群的数据处理装置示意图。

图16是根据一示例性实施例示出的另一种基于分布式集群的数据处理装置示意图。

图17是根据一示例性实施例示出的一种设备结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，其示出了本公开实施例提供的基于分布式集群的数据处理系统示意图，该数据处理系统可包括：集群管理节点110和多个数据处理节点120，该分布式集群中的每个节点具体可为服务器，包括物理服务器和云服务器等；集群管理节点110可分别与每个数据处理节点120进行交互，各数据处理节点120之间也可进行数据交互，每个数据处理节点120既可用于执行子任务，也可用于存储子任务对应的资源信息，也即每个数据处理节点均可具有两种功能：子任务的执行以及资源信息的存储。

本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。

为了解决相关技术中对集群中的处理节点分配不灵活的问题，本公开实施例提供了一种基于分布式集群的数据处理方法，该方法的执行主体可以为图1中的集群管理节点，请参阅图2，该方法可包括：

S210. 响应于任务处理指令，确定待处理任务的任务资源消耗信息。

这里的任务资源消耗信息可用于表征处理该待处理任务所需消耗的资源量，即集群管理节点在接收到任务处理指令时，首先可确定需要为该待处理任务分配的资源量；对于复杂的，或者任务量大的待处理任务，相应所需消耗的资源量较大；对于简单的，或者任务量小的待处理任务，相应所需消耗的资源量较小。

S220. 获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息。

任务模板配置信息中包括多个可动态配置的参数，对于不同的待处理任务，相应动态配置的参数可不同；节点资源参数是用于表征节点数量的参数，节点是指用于对待处理任务进行处理的数据处理节点。在本公开实施例中，消耗资源量大的待处理任务所对应的节点资源参数大于消耗资源量小的待处理任务所对应的节点资源参数，即消耗资源量大的待处理任务所需的数据处理节点数量大于消耗资源量小的待处理任务所需的数据处理节点数量。具体可根据待处理任务的资源消耗量确定所需的数据处理节点的数量，并将该数量配置到任务模板配置信息中。

S230. 基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息。

将多个子任务的任务标识配置到初始任务配置信息中，以便于后续基于配置生成的目标任务配置信息对相应任务标识的子任务进行分配处理。本公开中的目标任务配置信息用于将待处理任务拆分到与任务资源消耗信息对应的多个目标节点资源中。

S240. 基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

这里的待处理任务具体可以为一批任务，例如在为一个群组中的多个用户进行虚拟资源操作的场景中，可将该群组中每个用户对虚拟资源的操作作为一个子任务，相应的每个子任务的任务标识可以为相应用户的用户标识，与多个用户对应的子任务形成了一批任务，从而基于多个子任务生成待处理任务。

具体根据目标任务配置信息进行子任务分配的过程，请参阅图3，其示出了一种子任务分配方法，该方法可包括：

S310. 基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与每个子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数。

对于一个具体的待处理任务，目标任务参数即可指该待处理任务中所包含的子任务的任务标识，第一目标节点资源参数可指用于处理该待处理任务的数据处理节点的数量，第一目标节点标识可为用于处理该待处理任务的数据处理节点的节点标识。例如，处理当前待处理任务所需的数据处理节点数量为N个，相应地这N个数据处理节点的节点标识可以为0，1，2，3，4……N-1。

S320. 将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

本公开中可基于子任务的任务标识以及节点标识进行子任务的分配，具体可以是采用预设的任务分配算法进行分配，可包括：采用预设的任务分配算法对子任务的任务标识进行计算，得到任务标识计算结果；根据任务标识计算结果，确定与子任务对应的第一目标节点；将子任务分配到第一目标节点。

在一个具体实施例中，在基于分布式集群进行数据处理时，注册用于当前分布式任务集群的服务器，机器编号可以从0开始自增，这样每个机器均有其各自的编号。

本公开实施例中的任务分配算法具体可以为基于hash算法的分配方式，或者基于mod算法的分配方式，以基于mod算法方式为例进行说明：

对于子任务的分配：假设采用K个机器来处理一项待处理任务，可根据该待处理任务中各子任务的任务标识ID来分配子任务，具体可采用对任务标识ID取mod的方式进行子任务的分配，把mod的除数设置为机器的数量K，通过任务标识ID mod机器总数K之后的余数来进行子任务的分配，并将该子任务与当前余数对应的机器编号进行绑定，即通过绑定的机器对该子任务进行处理，这个机器就处理这个子任务对应的数据。

请参阅图4，其示出了一种存储资源处理方法，该方法可包括：

S410. 响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息。

资源存储消耗信息可用于表征存储该待处理存储资源所需消耗的资源量，在确定待处理存储资源的资源存储消耗信息时，若待处理存储资源中包含了已存储的资源信息，此时可基于已存储的资源信息来确定相应的资源存储消耗信息；若待处理存储资源中没有包含资源信息，此时可预设一个存储资源量，并基于该存储资源量确定资源存储消耗信息。

本公开中的存储资源可以是指在任务处理过程中所需要用到的资源信息，具体每项存储资源均可以存储资源表的形式存在；每张存储资源表中可包括与多项子任务对应的存储资源。例如在多用户进行虚拟资源操作的场景中，可预先创建多张存储资源表，每张存储资源表均有相应的存储标识，每张存储资源表可用于存储多个用户对应的虚拟资源信息，具体在存储一项虚拟资源信息时可包括用户标识和相应的虚拟资源信息。

S420. 获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息。

资源模板配置信息中包括多个可动态配置的参数，对于不同的待处理存储资源，相应动态配置的参数可不同；对于节点资源参数的说明，可参阅本实施例上述内容，在此不再赘述。具体可根据待处理存储资源的资源存储消耗量确定所需的数据处理节点的数量，并将该数量配置到资源模板信息中。

S430. 基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息。

将多项存储资源的资源标识配置到初始资源配置信息中，以便于后续基于配置生成的目标资源配置信息对相应资源标识的存储资源进行分配处理。本公开中的目标资源配置信息用于将待处理的存储资源表分配到与待处理存储资源的资源存储消耗信息对应的多个目标节点资源中。

S440. 基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；其中，所述第二目标节点对应至少一项存储资源。

本公开中任务模板配置信息以及资源模板配置信息可维护在相应的配置文件中，当需要使用任务模板配置信息或资源模板配置信息时，可加载相应的配置文件即可；另外在需要进行相关参数配置时，可直接基于配置文件进行配置修改，并即时生效，从而能够提高任务配置信息变更的便利性和灵活性。

具体根据目标资源配置信息进行存储资源分配的过程，请参阅图5，其示出了一种存储资源分配方法，该方法可包括：

S510. 基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数。

对于具体的待处理存储资源，其中包含的多项存储资源可以为存储资源表，目标资源参数即可指该待处理存储资源中所包含的各存储资源表的资源标识，第二目标节点资源参数可指用于处理该待处理存储资源的数据处理节点的数量，第二目标节点标识可为用于处理该待处理存储资源的数据处理节点的节点标识。例如，处理当前待处理存储资源所需的数据处理节点数量为M个，相应地这M个数据处理节点的节点标识可以为0，1，2，3，4……M-1。

S520. 将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

本公开中可基于存储资源表的资源标识以及节点标识进行子任务的分配，具体可以是采用预设的资源分配算法进行分配，可包括：采用预设的资源分配算法对存储资源表的资源标识进行计算，得到资源标识计算结果；根据资源标识计算结果，确定与资源表对应的第二目标节点；将资源表分配到第二目标节点。

其中，在多用户进行虚拟资源操作的场景中，每张资源存储表中存储了多个用户的资源信息，当需要对用户A对应的子任务进行处理时，可首先基于该用户A的用户标识确定与该用户A对应的资源信息被存储的存储资源表B，再基于存储资源表B的资源标识，确定存储资源表B所存储的数据处理节点C；从而在处理与用户A对应的子任务时，与用户A相关的资源信息可从数据处理节点C中的存储资源表B中进行获取。从而在任务执行过程中可基于子任务标识确定相应的资源信息所存储的数据处理节点，提高资源信息获取的便利性。

对于存储资源的分配：假设有L个机器，存储资源为1000张存储资源表，采用对存储资源表ID取mod的方式进行存储资源表拆分，将mod的除数设置为机器的数量L，通过存储资源表ID机器总数L之后的余数来进行资源分配，将该资源表与当前余数对应的机器ID进行存储资源表与机器的绑定，该机器就用于对相应资源表进行读取和存储。

需要说明的是，对存储资源进行分配处理的时机，可以是存储资源表创建时对资源存储进行初始存储；也可以是在存储资源表已经存储，需要调整存储资源表的存储位置时，此时可重新分配存储资源表的存储位置。另外，存储资源表中包含的存储资源的项数是不固定的，例如随着不断进行任务处理，对于同一用户的资源信息所占内存越来越大，这时可以减少每张存储资源表中所包含的用户资源数量，即若原来一张资源存储表用于存储100个用户对应的资源信息，此时可调整为存储80个用户对应的资源信息。

需要说明的是，在不同场景中，任务标识可能代表不同的含义，例如任务标识还可以为订单ID、商品ID等等，在对订单任务进行批量处理时，每个子任务的任务标识可以为订单ID；在对商品任务进行批量处理时，每个子任务的任务标识可以为商品ID。

请参阅图6，其示出了集群管理节点对集群规模进行变更的方法，该方法可包括：

S610. 基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图。

S620. 根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

在任务执行过程中，可启动分布式集群中的各台机器，并发执行各子任务，以实现快速完成计算任务。若当前并发计算的速度与所需处理机器不匹配时，可以对分布式集群的规模进行调整；例如，若当前任务处理速度与预设的处理速度相比偏快，那么说明集群中的机器数量偏多，此时可确定集群规模变更意图为缩容，即缩减机器数量；若当前任务处理速度与预设的处理速度相比偏慢，那么说明集群中的机器数量偏少，此时可确定集群规模变更意图为扩容，即增加机器数量；从而根据集群规模变更意图来对机器数量进行调整，以调整当前任务处理速度。扩容和缩容后，集群中机器编号仍然从0开始连续自增。通过对集群中处理节点数量的动态调整，能够实现任务处理速度与计算机器资源项适配，既不浪费计算资源，又能够实现所需的任务处理速度。

对于第一处理节点，请参阅图7，其示出了在数据处理节点侧实现的一种基于分布式集群的数据处理方法，该方法可包括：

S710. 接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的。

S720. 获取与所述子任务对应的待处理资源。

S730. 基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

对于集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及待处理任务中多个子任务的任务标识信息，对子任务进行分配的过程可参阅本实施例的上述内容，在此不再赘述。

另外，可预先建立子任务的任务标识与存储资源表的对应关系，即根据该对应关系，可确定任务标识对应的资源信息被存储在哪张存储资源表中；从而在获取与子任务对应的待处理资源时，可根据子任务的任务标识确定与该子任务对应的资源信息被存储在哪张存储资源表中。

在多用户进行虚拟资源操作的场景中，当接收到的子任务时对用户A对应的虚拟资源进行资源增加操作，此时子任务的任务标识可以为用户A的用户标识，基于用户A的用户标识确定与用户A对应的存储资源表B，以及存储资源表B所在的数据处理节点C，从数据处理节点C中获取与用户A对应的当前资源信息，即待处理资源，然后将该待处理资源获取到当前数据处理节点上进行处理，具体是在待处理资源的基础上进行资源增加操作，得到已处理资源，然后可将已处理资源按照原路返回给相应的数据处理节点进行存储。

在任务执行过程中，每个数据处理节点各自处理与其绑定的子任务，并对相应的资源数据进行读取和存储；请参阅图8，其示出了一种任务处理方法，该方法可包括：

S810. 在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点。

S820. 基于所述任务断点重复执行所述子任务，得到所述已处理资源。

如果在任务执行过程中出现异常，一方面可通过集群管理节点进行异常排查，确定出现异常的子任务在哪个节点上执行；另一方面，执行该异常子任务的节点会记录断点，然后重复执行该异常子任务即可，该节点再次执行该子任务时，进行断点传续，首先会进行断点校验，然后只处理该子任务中未完成的部分，由此保证任务执行的容错性和数据可靠性；另外在执行过程中，同一节点多次执行同一子任务，得到的结果都是相同的，以实现数据幂等性。

进一步地，所述子任务包括多个按序执行的任务分片；从而请参阅图9，其示出了一种任务断点确定方法，该方法可包括：

S910. 在对所述子任务的执行过程中，对已执行完成的任务分片进行标记。

S920. 在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

例如对于一个子任务，其包括任务分片1至任务分片10这10个任务分片，执行顺序按照标号顺序，若已经执行完成了任务分片1至任务分片5，那么任务分片1至任务分片5被标记为已完成，那么可将任务分片6作为任务断点，在稍后重复执行该子任务时，直接从任务分片6开始执行。

进一步地，所述子任务包括多个任务分片，所述待处理资源包括与每个任务分片对应的待执行资源；请参阅图10，其示出了另一种任务断点确定方法，该方法可包括：

S1010. 在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源。

S1020. 在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片。

S1030. 基于所述未执行任务分片确定所述任务断点。

在任务执行之前，对于每个任务分片均有相应的待处理资源；在任务执行之后，对于每个任务分片均有相应的已处理资源，由此可知，对于为处理完成的任务分片是没有对应的已处理资源的，从而可将没有已处理资源的任务分片确定为未执行的任务分片；若各任务分片是按分片编号顺序进行执行的，同样可确定任务断点。

上述两种任务断点的确定方法可基于具体实施情况而定，本公开实施例不做具体限定。

对于第二处理节点，请参阅图11，其示出了在数据处理节点侧的一种资源存储方法，该方法可包括：

S1110. 接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的。

S1120. 存储所述至少一项存储资源。

对于集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识，对多项存储资源进行分配的实施细节可参见本实施例的上述内容，在此不再赘述。

对于接收到的存储资源可进行存储，其中数据处理节点中用于存储与所述子任务对应的资源信息的区域包括数据库区域；可将数据库区域中的资源信息同步到缓存区域中，以使得在需要读取数据时，从缓存区域中进行数据读取，从而能够提高数据提取的速度和效率；而资源信息存储在数据库中，保证了数据存储的稳定性和可靠性。数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；从而在进行数据同步时，可将所述第一分区的待处理资源同步给所述缓存区域；在存储至少一项存储资源时，将所述至少一项存储资源存储到所述第二分区。

请参阅图12，其示出了一种资源提取方法，该方法可包括：

S1210. 接收资源获取请求，所述资源获取请求中包括子任务标识。

S1220. 提取与所述子任务标识对应的待处理资源。

在进行资源提取时，可从缓存区域中读取与所述子任务标识对应的待处理资源，从而能够提高数据提取的速度和效率。

基于任务分配算法确定第一处理节点，以及基于资源分配算法确定子任务对应的资源信息的节点的具体细节可参阅本公开上述实施例，在此不再赘述。

本公开实施例中处理子任务A的数据处理节点与存储与子任务A对应的资源信息的数据处理节点可以为同一数据处理节点，也可以为不同的数据处理节点；当为不同的数据处理节点时，可通过个数据处理节点之间的数据交互来实现资源信息的提取与存储。

图13示出了每个数据处理节点处的结构示意图，每个节点处可包括用于存储与所述子任务对应的资源信息的数据库区域，以及用于执行任务的服务器，以节点1为例进行说明，节点1可接收集群管理节点分配的子任务，从节点1或者其他节点的数据库区域获取执行当前子任务所需要的资源信息，然后基于获取的资源信息执行该子任务，将任务执行完成时的已处理资源发送给相应节点，以使得该节点将已处理资源存储到数据库区域中。

本公开中可对资源进行多级存储，即存储资源支持多级存储资源，可包括DB、Redis、Cache等，多级存储资源进行数据同步。例如请参阅图14，每个节点处还可包括用于存储与所述子任务对应的资源信息的缓存区域，数据库区域和所述缓存区域之间进行数据同步，还是以节点1为例，当接收到资源获取请求时，从所述缓存区域中读取与所述资源获取请求对应的待处理资源。在需要读取数据时，从缓存区域中进行数据读取，从而能够提高数据提取的速度和效率；而数据存储在数据库中，保证了数据存储的稳定性和可靠性。

另外，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；从而在数据库和缓存之间进行数据同步时，可将所述第一分区的待处理资源同步给所述缓存区域；可将第一处理节点发送的已处理资源存储到所述第二分区。通过对资源进行分类存储，便于将待处理资源同步给缓存区域，提高数据处理效率。

本公开通过在接收到任务处理指令时，确定待处理任务的任务资源消耗信息；基于任务资源消耗信息，以及待处理任务的多个子任务的任务标识，对预设的任务模板配置信息中的节点资源参数，以及任务参数进行配置，得到待处理任务对应的目标任务配置信息；基于目标任务配置信息，将待处理任务中的多个子任务分配到多个第一目标节点上。本公开能够基于待处理任务的资源消耗信息以及任务参数动态配置任务模板配置信息，以实现多个子任务的动态分配，即通过待处理任务本身的特征信息来确定与之对应的任务模板信息，能够适用于多种不同的场景，实现适应性地进行子任务的动态分配，提高子任务分配的便利性和灵活性；进一步地，通过确定与资源消耗信息对应的节点资源参数，能够避免采用过多节点资源进行任务处理所带来的资源浪费，提高了资源利用效率。

本公开实施例中的分布式集群框架支持复用，能够适配多种业务场景，比如该分布式计算框架，可以同时支持大数据量数据的实时收集、实时计算以及实时反馈处理结果等多种业务场景下的分布式任务执行；支持快速计算；支持单点重试和断点续传，保证数据安全性、幂等性，系统具有容错性，出现异常之后可以直接进行单点重试，不会造成数据损失；分配算法和任务执行参数支持配置，支持动态变更，集群机器支持动态扩容、缩容等弹性变更，可以实时调整，即时生效。

图15根据一示例性实施例示出的一种基于分布式集群的数据处理装置，包括：

任务处理指令响应单元1510，被配置为执行响应于任务处理指令，确定待处理任务的任务资源消耗信息；

第一配置单元1520，被配置为执行获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；

第二配置单元1530，被配置为执行基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

子任务分配单元1540，被配置为执行基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

在一示例性实施例中，所述子任务分配单元1540包括：

第一目标节点标识确定单元，被配置为执行基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与每个子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

第一分配单元，被配置为执行将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

在一示例性实施例中，所述装置还包括：

存储资源处理指令响应单元，被配置为执行响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

第三配置单元，被配置为执行获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

第四配置单元，被配置为执行基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

存储资源分配单元，被配置为执行基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；其中，所述第二目标节点对应至少一项存储资源。

在一示例性实施例中，所述存储资源分配单元包括：

第二目标节点标识确定单元，被配置为执行基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

第二分配单元，被配置为执行将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

在一示例性实施例中，所述装置包括：

意图确定单元，被配置为执行基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

集群变更单元，被配置为执行根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

请参阅图16，其示出了另一种基于分布式集群的数据处理装置，包括：

子任务接收单元1610，被配置为执行接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；

待处理资源获取单元1620，被配置为执行获取与所述子任务对应的待处理资源；

子任务执行单元1630，被配置为执行基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

在一示例性实施例中，所述子任务执行单元1630包括：

任务断点确定单元，被配置为执行在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

重复执行单元，被配置为执行基于所述任务断点重复执行所述子任务，得到所述已处理资源。

在一示例性实施例中，所述子任务包括多个按序执行的任务分片；

所述任务断点确定单元包括：

标记单元，被配置为执行在对所述子任务的执行过程中，对已执行完成的任务分片进行标记；

第一确定单元，被配置为执行在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

在一示例性实施例中，所述子任务包括多个任务分片，所述待处理资源包括与所述任务分片对应的待执行资源；

所述任务断点确定单元包括：

已执行信息确定单元，被配置为执行在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源；

资源比对单元，被配置为执行在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片；

第二确定单元，被配置为执行基于所述未执行任务分片确定所述任务断点。

在一示例性实施例中，所述装置还包括：

资源接收单元，被配置为执行接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的；

资源存储单元，被配置为执行存储所述至少一项存储资源。

在一示例性实施例中，所述装置还包括：

资源获取请求接收单元，被配置为执行接收资源获取请求，所述资源获取请求中包括子任务标识；

资源提取单元，被配置为执行提取与所述子任务标识对应的待处理资源。

在一示例性实施例中，用于存储与所述子任务对应的资源信息的区域包括数据库区域；

所述装置还包括：

数据同步单元，被配置为执行将所述数据库区域的资源信息同步到缓存区域中；

所述资源提取单元包括：

资源读取单元，被配置为执行从所述缓存区域中读取与所述子任务标识对应的待处理资源。

在一示例性实施例中，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；

所述数据同步单元包括：

缓存同步单元，被配置为执行将所述第一分区的待处理资源同步给所述缓存区域；

所述资源存储单元包括：

分区存储单元，被配置为执行将所述至少一项存储资源存储到所述第二分区。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，可选地，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等；当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如上所述的任一方法。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述的任一方法。

进一步地，图17示出了一种用于实现本公开实施例所提供的方法的设备的硬件结构示意图，所述设备可以参与构成或包含本公开实施例所提供的装置。如图17所示，设备10可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为I/O接口的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图17所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图17中所示更多或者更少的组件，或者具有与图17所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10（或移动设备）中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。

存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种播放器预加载方法或一种播放器运行方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与设备10（或移动设备）的用户界面进行交互。

本实施例上述的任一方法均可基于图17所示的设备进行实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (29)

1.一种数据处理方法，其特征在于，所述方法包括：

响应于任务处理指令，确定待处理任务的任务资源消耗信息；

获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；所述任务模板配置信息中包括多个可动态配置的参数；

基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点包括：

基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；

其中，所述第二目标节点对应至少一项存储资源。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点包括：

基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

6.一种数据处理方法，其特征在于，所述方法包括：

接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；所述任务模板配置信息中包括多个可动态配置的参数；

获取与所述子任务对应的待处理资源；

基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

7.根据权利要求6所述的方法，其特征在于，所述基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源包括：

在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

基于所述任务断点重复执行所述子任务，得到所述已处理资源。

8.根据权利要求7所述的方法，其特征在于，所述子任务包括多个按序执行的任务分片；

所述在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点包括：

在对所述子任务的执行过程中，对已执行完成的任务分片进行标记；

在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

9.根据权利要求7所述的方法，其特征在于，所述子任务包括多个任务分片，所述待处理资源包括与所述任务分片对应的待执行资源；

所述在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点包括：

在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源；

在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片；

基于所述未执行任务分片确定所述任务断点。

10.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的；

存储所述至少一项存储资源。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

接收资源获取请求，所述资源获取请求中包括子任务标识；

提取与所述子任务标识对应的待处理资源。

12.根据权利要求11所述的方法，其特征在于，用于存储与所述子任务对应的资源信息的区域包括数据库区域；

所述方法还包括：

将所述数据库区域中的资源信息同步到缓存区域中；

所述提取与所述子任务对应的待处理资源包括：

从所述缓存区域中读取与所述子任务标识对应的待处理资源。

13.根据权利要求12所述的方法，其特征在于，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；

所述将所述数据库区域中的资源信息同步到缓存区域中包括：

将所述第一分区的待处理资源同步给所述缓存区域；

所述存储所述至少一项存储资源包括：

将所述至少一项存储资源存储到所述第二分区。

14.一种数据处理装置，其特征在于，包括：

任务处理指令响应单元，被配置为执行响应于任务处理指令，确定待处理任务的任务资源消耗信息；

第一配置单元，被配置为执行获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；所述任务模板配置信息中包括多个可动态配置的参数；

第二配置单元，被配置为执行基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

子任务分配单元，被配置为执行基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

15.根据权利要求14所述的装置，其特征在于，所述子任务分配单元包括：

第一目标节点标识确定单元，被配置为执行基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

第一分配单元，被配置为执行将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

16.根据权利要求14所述的装置，其特征在于，所述装置还包括：

存储资源处理指令响应单元，被配置为执行响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

第三配置单元，被配置为执行获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

第四配置单元，被配置为执行基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

存储资源分配单元，被配置为执行基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；其中，所述第二目标节点对应至少一项存储资源。

17.根据权利要求16所述的装置，其特征在于，所述存储资源分配单元包括：

第二目标节点标识确定单元，被配置为执行基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

第二分配单元，被配置为执行将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

18.根据权利要求14所述的装置，其特征在于，所述装置包括：

意图确定单元，被配置为执行基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

集群变更单元，被配置为执行根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

19.一种数据处理装置，其特征在于，包括：

子任务接收单元，被配置为执行接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；所述任务模板配置信息中包括多个可动态配置的参数；

待处理资源获取单元，被配置为执行获取与所述子任务对应的待处理资源；

子任务执行单元，被配置为执行基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

20.根据权利要求19所述的装置，其特征在于，所述子任务执行单元包括：

任务断点确定单元，被配置为执行在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

重复执行单元，被配置为执行基于所述任务断点重复执行所述子任务，得到所述已处理资源。

21.根据权利要求19所述的装置，其特征在于，所述子任务包括多个按序执行的任务分片；

所述任务断点确定单元包括：

标记单元，被配置为执行在对所述子任务的执行过程中，对已执行完成的任务分片进行标记；

第一确定单元，被配置为执行在出现任务中断时，确定与已标记任务分片相邻的未标记任务分片为所述任务断点。

22.根据权利要求19所述的装置，其特征在于，所述子任务包括多个任务分片，所述待处理资源包括与所述任务分片对应的待执行资源；

所述任务断点确定单元包括：

已执行信息确定单元，被配置为执行在对所述子任务的执行过程中，基于所述任务分片对应的待执行资源，得到已执行完成的任务分片对应的已执行资源；

资源比对单元，被配置为执行在出现任务中断时，将所述任务分片对应的待执行资源与所述已执行完成的任务分片的已执行资源进行比对，得到未执行任务分片；

第二确定单元，被配置为执行基于所述未执行任务分片确定所述任务断点。

23.根据权利要求19所述的装置，其特征在于，所述装置还包括：

资源接收单元，被配置为执行接收至少一项存储资源，所述至少一项存储资源是集群管理节点基于预设的资源模板配置信息、待处理存储资源的资源存储消耗信息，以及待处理存储资源中多项存储资源的资源标识进行分配的；

资源存储单元，被配置为执行存储所述至少一项存储资源。

24.根据权利要求23所述的装置，其特征在于，所述装置还包括：

资源获取请求接收单元，被配置为执行接收资源获取请求，所述资源获取请求中包括子任务标识；

资源提取单元，被配置为执行提取与所述子任务标识对应的待处理资源。

25.根据权利要求24所述的装置，其特征在于，用于存储与所述子任务对应的资源信息的区域包括数据库区域；

所述装置还包括：

数据同步单元，被配置为执行将所述数据库区域的资源信息同步到缓存区域中；

所述资源提取单元包括：

资源读取单元，被配置为执行从所述缓存区域中读取与所述子任务标识对应的待处理资源。

26.根据权利要求25所述的装置，其特征在于，所述数据库区域包括第一分区以及第二分区；所述第一分区用于存储待处理资源，所述第二分区用于存储已处理资源；

所述数据同步单元包括：

缓存同步单元，被配置为执行将所述第一分区的待处理资源同步给所述缓存区域；

所述资源存储单元包括：

分区存储单元，被配置为执行将所述至少一项存储资源存储到所述第二分区。

27.一种数据处理系统，其特征在于，包括集群管理节点和数据处理节点；

所述集群管理节点，用于执行权利要求1-5任一项所述的方法；

所述数据处理节点，用于执行权利要求6-13任一项所述的方法。

28.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至13中任一项所述的数据处理方法。

29.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至13中任一项所述的数据处理方法。

Images