CN111078423A - 数据处理方法、装置、系统、计算机可读存储介质 - Google Patents

Abstract

本公开提供一种数据处理方法，包括：从至少一个父任务数据中获取目标父任务数据，其中，至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识；根据目标父任务的目标父任务类型标识，确定与目标父任务类型标识相匹配的目标配置数据，其中，目标配置数据表征针对目标父任务数据的处理方式；根据目标配置数据，处理目标父任务数据得到多个子任务数据；将多个子任务数据发送至多个子服务器中进行处理。本公开还提供了一种数据处理装置、一种数据处理系统以及一种计算机可读存储介质。

Description

数据处理方法、装置、系统、计算机可读存储介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、一种数据处理装置、一种数据处理系统、以及一种计算机可读存储介质。

背景技术

在日常生产中，为了提升异步业务的处理速度，一个完整的业务会被拆分成多个子任务并行处理。目前现有的数据处理方法包括由异步业务基于一个业务创建多个子任务数据，并将多个子任务数据添加至数据库中，由多个子任务处理服务器定时查询数据库中新添加的子任务数据，当查询到子任务数据后由子任务处理服务器处理子任务数据，处理成功后删除对应的子任务数据。或者，由异步业务创建多个子任务，并将多个子任务数据封装成消息发送到消息队列中，由指定的子任务处理服务器接收多个子任务数据后处理该指定子任务处理服务器可以处理的子任务，再将任务数据(包括未处理的子任务数据)发回到消息队列中，继续指定其他子任务处理服务器进行处理。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，相关技术中数据处理流程的可扩展性低，当业务需要添加新的子任务时必须要修改现有逻辑，并且增加了数据库的读写压力，数据处理过程对消息队列有较强依赖的关系，如果消息队列宕机或消息队列积压，整个业务处理将受到影响。

发明内容

有鉴于此，本公开提供了一种优化的数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。

本公开的一个方面提供了一种数据处理方法，包括：从至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识，根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式，根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据，将所述多个子任务数据发送至多个子服务器中进行处理。

根据本公开实施例，上述方法还包括：在处理所述目标父任务数据得到多个子任务数据之后，将所述目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，所述子任务类型标识列表包括所述多个子任务数据中每个子任务数据的子任务类型标识。在经由处理所述目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从所述校验缓存单元中获取所述校验信息，并通过所述校验服务器删除存储于所述校验缓存单元的所述校验信息。通过所述校验服务器根据所述校验信息校验所述多个子任务数据的处理状态。

根据本公开实施例，处理所述目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中，所述方法还包括以下至少一项：通过所述多个子服务器处理所述多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据，以及通过所述多个子服务器处理所述多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。

根据本公开实施例，上述根据所述校验信息校验所述多个子任务数据的处理状态包括：基于所述校验信息中的目标父任务类型标识，确定所述目标配置数据中关于目标父任务数据的预定重试次数，其中，所述多个子任务数据中每个子任务数据均能够被按照所述预定重试次数重新处理。确定存储于所述失败待重试存储单元中的子任务数据的已重试次数。根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据。

根据本公开实施例，上述根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据包括：如果所述子任务数据的已重试次数小于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据恢复至相应的缓存单元中，以便重新处理所述子任务数据，如果所述子任务数据的已重试次数等于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据存储至执行失败存储单元中，并删除存储于失败待重试存储单元中的子任务数据。

根据本公开实施例，上述根据所述校验信息校验所述多个子任务数据的处理状态包括：基于所述校验信息中的子任务类型标识列表，确定所述子任务类型标识列表中所有子任务类型标识对应的多个子任务数据是否存储于所述执行成功存储单元或者所述失败待重试存储单元中，如果所述多个子任务数据中的任意一个不在所述执行成功存储单元或者所述失败待重试存储单元中，确定所述所述多个子任务数据未被全部处理，响应于确定所述所述多个子任务数据未被全部处理，将所述校验信息重新添加至所述校验缓存单元，以便再次根据所述校验信息校验所述多个子任务数据的处理状态。

本公开的另一个方面提供了一种数据处理装置，包括：获取模块、确定模块、处理模块以及发送模块。其中，获取模块，从至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识。确定模块，根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式。处理模块，根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据。发送模块，将所述多个子任务数据发送至多个子服务器中进行处理。

根据本公开实施例，上述装置还包括：存储模块、获取及删除模块以及校验模块。其中，存储模块，在处理所述目标父任务数据得到多个子任务数据之后，将所述目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，所述子任务类型标识列表包括所述多个子任务数据中每个子任务数据的子任务类型标识。获取及删除模块，在经由处理所述目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从所述校验缓存单元中获取所述校验信息，并通过所述校验服务器删除存储于所述校验缓存单元的所述校验信息。校验模块，根据所述校验信息校验所述多个子任务数据的处理状态。

根据本公开实施例，处理所述目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中，所述装置还包括以下至少一个模块：第一存储及删除模块以及第二存储及删除模块。其中，第一存储及删除模块，通过所述多个子服务器处理所述多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据。第二存储及删除模块，通过所述多个子服务器处理所述多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。

根据本公开实施例，上述根据所述校验信息校验所述多个子任务数据的处理状态包括：基于所述校验信息中的目标父任务类型标识，确定所述目标配置数据中关于目标父任务数据的预定重试次数，其中，所述多个子任务数据中每个子任务数据均能够被按照所述预定重试次数重新处理。确定存储于所述失败待重试存储单元中的子任务数据的已重试次数。根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据。

根据本公开实施例，上述根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据包括：如果所述子任务数据的已重试次数小于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据恢复至相应的缓存单元中，以便重新处理所述子任务数据，如果所述子任务数据的已重试次数等于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据存储至执行失败存储单元中，并删除存储于失败待重试存储单元中的子任务数据。

根据本公开实施例，上述根据所述校验信息校验所述多个子任务数据的处理状态包括：基于所述校验信息中的子任务类型标识列表，确定所述子任务类型标识列表中所有子任务类型标识对应的多个子任务数据是否存储于所述执行成功存储单元或者所述失败待重试存储单元中，如果所述多个子任务数据中的任意一个不在所述执行成功存储单元或者所述失败待重试存储单元中，确定所述所述多个子任务数据未被全部处理，响应于确定所述所述多个子任务数据未被全部处理，将所述校验信息重新添加至所述校验缓存单元，以便再次根据所述校验信息校验所述多个子任务数据的处理状态。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例，可以至少部分地解决相关技术中数据处理的流程可扩展性低，当业务需要添加新的子任务时必须要修改现有逻辑，并且增加了数据库的读写压力，数据处理过程对消息队列有较强依赖的关系，如果消息队列宕机或消息队列积压，整个业务处理将受到影响的问题。本公开实施例通过预先定制配置数据，并基于配置数据对父任务数据进行拆分处理。具体地，在处理父任务数据时，可以通过获取与父任务数据对应的配置数据，并基于配置数据将父任务数据拆分为多个子任务数据，以便由多个子服务器分别处理多个子任务数据。可以理解，通过本公开实施例的技术方案，对于相同类型的父任务数据，如果业务需要增加父任务数据对应的子任务数据，则可以通过实时修改配置数据来实现，无需修改每个父任务的处理逻辑，由此实现了提高数据处理的流程的可扩展性，降低数据库或消息队列的压力，提高数据处理效率的技术效果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的数据处理方法和数据处理装置的应用场景；

图2示意性示出了根据本公开实施例的数据处理方法的流程图；

图3示意性示出了根据本公开实施例的数据处理方法的示意图；

图4示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图5示意性示出了根据本公开实施例的数据处理装置的框图；

图6示意性示出了根据本公开另一实施例的数据处理装置的框图；以及

图7示意性示出了根据本公开实施例的适于数据处理的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种数据处理方法，包括：从至少一个父任务数据中获取目标父任务数据，其中，至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识。然后，根据目标父任务的目标父任务类型标识，确定与目标父任务类型标识相匹配的目标配置数据，其中，目标配置数据表征针对目标父任务数据的处理方式。并根据目标配置数据，处理目标父任务数据得到多个子任务数据，最后可以将多个子任务数据发送至多个子服务器中进行处理。

图1示意性示出了根据本公开实施例的数据处理方法和数据处理装置的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示的应用场景100，为了提高数据处理的速度，例如可以将父任务数据110拆分为多个子任务数据121、122、123、……，多个子任务数据例如可以由多个子服务器131、132、133、……并行处理，以此提高数据处理的速度。

其中，父任务数据例如可以是关于购买商品的任务数据，将购买商品的任务数据拆分为多个子任务，例如拆分为支付子任务、支付成功通知子任务、通知配送商品子任务等等。

图2示意性示出了根据本公开实施例的数据处理方法的流程图。

如图2所示，该方法例如包括操作S210～S240。

在操作S210，从至少一个父任务数据中获取目标父任务数据，其中，至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识。

根据本公开实施例，至少一个父任务数据例如包括父任务数据A、父任务数据B、父任务数据C等等。每个父任务数据均包括父任务类型标识。例如，父任务数据A的父任务类型标识为001，父任务数据B的父任务类型标识为002，父任务数据C的父任务类型标识为001。其中，父任务类型标识001例如对应配置数据1，父任务类型标识002例如对应配置数据2。

即，父任务类型标识相同的父任务数据例如为相同类型的任务数据，因此，其对应的配置数据相同。例如，父任务数据A和父任务数据C的父任务类型标识相同，其对应相同的配置数据1。

例如，父任务数据A例如可以是关于购买商品A的任务数据，将购买商品A的任务数据拆分为多个子任务，例如拆分为支付子任务、支付成功通知子任务、通知配送商品子任务等等。父任务数据C例如可以是关于购买商品C的任务数据，将购买商品C的任务数据拆分为多个子任务，例如拆分为支付子任务、支付成功通知子任务、通知配送商品子任务等等。由此可见，父任务数据A和父任务数据C为相同类型的任务数据，均是关于购买商品的任务数据。

根据本公开实施例，配置数据例如可以表征将父任务数据拆分为子任务数据的拆分方式。例如，配置数据1为将父任务数据类型标识为001的父任务数据A或父任务数据C拆分为子任务数据0011、子任务数据0012、子任务数据0013。配置数据2例如为将父任务数据类型标识为002的父任务数据B拆分为子任务数据0011、子任务数据0022。其中，0011、0012、0013、0022例如为各个子任务数据对应的子任务类型标识。子任务类型标识相同的子任务数据例如为相同类型的子任务数据，例如由父任务数据A拆分得到的子任务数据0011与由父任务数据B拆分得到的子任务数据0011为相同类型的子任务数据。

在操作S220，根据目标父任务的目标父任务类型标识，确定与目标父任务类型标识相匹配的目标配置数据，其中，目标配置数据表征针对目标父任务数据的处理方式，例如，当目标父任务数据为上述所举例的父任务数据A，则目标配置数据为上述的配置数据1。

例如，从父任务数据A、父任务数据B、父任务数据C中获取任意一个作为目标父任务数据。例如获取父任务数据A作为目标父任务数据，目标父任务数据类型标识为001，与类型标识001相匹配的目标配置数据为配置数据1。其中，该配置数据1表征将目标父任务数据拆分为多个子任务数据的拆分方式。

在操作S230，根据目标配置数据，处理目标父任务数据得到多个子任务数据。例如，根据目标配置数据(配置数据1)，将目标父任务数据(父任务数据A)拆分为子任务数据0011、子任务数据0012、子任务数据0013。

在操作S240，将多个子任务数据发送至多个子服务器中进行处理。具体可以是将多个子任务数据分别存储至多个缓存单元中，便于多个子服务器从多个缓存单元中获取多个子任务数据进行处理。例如，将子任务数据0011、子任务数据0012、子任务数据0013分别存储至缓存单元1、缓存单元2、缓存单元3中，便于子服务器1、子服务器2、子服务器3分别从缓存单元1、缓存单元2、缓存单元3获取子任务数据0011、子任务数据0012、子任务数据0013进行处理，以此提高了任务的处理速度。

本公开实施例通过预先定制配置数据，并基于配置数据对父任务数据进行拆分处理。对于相同类型的父任务数据，如果业务需要增加父任务数据对应的子任务数据，则可以通过实时修改配置数据来实现，无需修改每个父任务的处理逻辑，提升了数据处理的可扩展性。

以下将结合图3和图4描述本公开另一实施例的数据处理方法的流程图。

图3示意性示出了根据本公开实施例的数据处理方法的示意图。

如图3所示，本公开实施例的数据处理方法例如可以由服务器系统执行，该服务器系统例如包括父任务数据处理服务器、子服务器1、子服务器2、校验服务器等等。其中，父任务数据处理服务器例如可以执行如图2所示的操作S210～S240。另外，该服务器系统例如还包括一系列的存储单元和缓存单元。

根据本公开实施例，业务A或业务B可以根据业务需求创建父任务数据。例如，业务A创建父任务数据A，业务B创建父任务数据B。将父任务数据A和父任务数据B进行初始化处理，并将初始化后的父任务数据A和父任务数据B存储至父任务数据缓存单元中。其中，以父任务数据A举例，对父任务数据A进行初始化处理例如包括：处理父任务数据A得到多个字段以及多个字段中每个字段对应的字段值，例如多个字段包括父任务数据类型标识、交易金额、交易商品名称等等，其中，父任务数据类型标识对应的字段值例如为001，交易金额对应的字段值例如为100元，交易商品名称对应的字段值例如为商品A。

然后，父任务数据处理服务器每隔固定时间段扫描父任务数据缓存单元，以便获得目标父任务数据，例如可以将本次扫描父任务数据缓存单元得到的父任务数据A作为目标父任务数据。

根据本公开实施例，父任务数据处理服务器扫描获得父任务数据A之后，例如可以根据配置数据1将父任务数据A拆分为子任务数据0011、子任务数据0012、子任务数据0013，并将子任务数据0011存储至缓存单元1，将子任务数据0012存储至缓存单元2，将子任务数据0013存储至缓存单元3(图中未示出)。类似的，如果父任务数据处理服务器扫描获得父任务数据B，可以根据配置数据2将父任务数据B拆分为子任务数据0011、子任务数据0022，并将子任务数据0011存储至缓存单元1，将子任务数据0022存储至缓存单元4(图中未示出)。

根据本公开实施例，将处理目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中之后，可以通过多个子服务器并行处理多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据。例如，每隔预设时间段，通过子服务器1扫描缓存单元1，以获取并处理缓存单元1中的子任务数据0011，如果处理成功，则将子任务数据0011存储至执行成功存储单元中，并删除存储在缓存单元1中的子任务数据0011。

或者，通过多个子服务器并行处理多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。例如，通过子服务器2扫描缓存单元2，以获取并处理缓存单元2中的子任务数据0012，如果处理失败，则将子任务数据0012存储至失败待重试存储单元中，并删除存储在缓存单元2中的子任务数据0012。

相关技术中通常将父任务数据或子任务数据存储在数据库中或者存储在消息队列中。其中，如果将数据存储在数据库中，在数据处理的过程中，会增加数据库的读写压力，当数据量较大时，会影响任务的处理速度，甚至可能会导致数据库宕机。如果将数据存储在消息队列中，数据处理过程中对消息队列有较强的依赖，如果消息队列宕机，数据处理的过程将受到影响，如果数据量较大，会造成消息队列积压，从而影响数据处理的速度。与此不同地，本公开通过将父任务数据或子任务数据存储至缓存单元中的方式，从缓存单元中获取数据的速度更快，既提升了任务处理的速度，又达到减少了数据处理过程中对消息队列或数据库的依赖的效果。

图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图4所示，该方法例如包括操作S210～S240以及操作S410～S430。其中，操作S210～S240与上参考图2描述的操作相同或类似，在此不再赘述。

在操作S410，在处理目标父任务数据得到多个子任务数据之后，将目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，子任务类型标识列表包括多个子任务数据中每个子任务数据的子任务类型标识。

例如，以目标父任务数据为父任务数据A举例，目标父任务类型标识为001，子任务类型标识列表中例如包括子任务类型标识0011、子任务类型标识0012、子任务类型标识0013。从配置数据1中获取目标父任务类型标识001与子任务类型标识列表，并存储至校验缓存单元中。

在操作S420，在经由处理目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从校验缓存单元中获取校验信息，并通过校验服务器删除存储于校验缓存单元的校验信息。

例如，校验服务器执行校验任务的时间间隔为预设时间段(例如10分钟)，校验服务器例如可以实时扫描校验缓存单元以获取校验信息。例如，在11：00时刻时成功将目标父任务数据拆分为多个子任务数据，校验服务器例如可以实时扫描校验缓存单元，并在11：10时刻从校验缓存单元中获取到关于在11：00时刻将目标父任务数据拆分为多个子任务数据的校验信息，并开始基于校验信息执行校验任务。

在操作S430，通过校验服务器根据校验信息校验多个子任务数据的处理状态。例如，校验服务器扫描校验缓存单元得到的校验信息为目标父任务类型标识001与子任务类型标识列表之后，校验服务器根据校验信息进行数据校验。

根据本公开实施例，之所以在处理目标父任务数据得到多个子任务数据之后，即刻将目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，是为了避免在处理目标父任务数据得到多个子任务数据之后对配置数据进行修改，导致修改后的配置数据中的目标父任务类型标识与子任务类型标识列表发生改变。

例如，开始的配置数据1包括将父任务数据类型标识001对应的父任务数据拆分为子任务数据0011、子任务数据0012、子任务数据0013，此时对应的正确的验证信息应该是父任务数据类型标识001和子任务类型标识列表(0011、0012、0013)。如果不及时将正确的验证信息存储至校验缓存单元，在之后如果对配置数据1进行了修改，例如将配置数据1修改为将父任务数据类型标识001对应的父任务数据拆分为子任务数据0011、子任务数据0012、子任务数据0013、子任务数据0014。则此时对应的错误的验证信息为父任务数据类型标识001和子任务类型标识列表(0011、0012、0013、0014)，如果将错误的验证信息作为验证依据，则将导致验证结果不准确。

根据本公开实施例，上述操作S430例如包括以下步骤(1)～(3)。

(1)基于校验信息中的目标父任务类型标识，确定目标配置数据中关于目标父任务数据的预定重试次数，其中，多个子任务数据中每个子任务数据均能够被按照预定重试次数重新处理。

根据本公开实施例，配置数据1中例如包括父任务类型标识001对应的父任务数据的预定重试次数为a次，a为大于等于0的正整数。配置数据2中例如包括父任务类型标识002对应的父任务数据的预定重试次数为b次，b为大于等于0的正整数。如果校验信息中的目标父任务类型标识为001，则根据父任务类型标识001从配置数据1中确定的预定重试次数为a次，其中，父任务数据类型标识001对应的子任务数据0011、子任务数据0012、子任务数据0013的预定重试次数均为a次。

(2)确定存储于失败待重试存储单元中的子任务数据的已重试次数。

根据本公开实施例，在子服务器处理某个子任务数据失败时，子服务器会将处理失败的子任务数据存储至失败待重试存储单元中，便于后续重新处理该失败的子任务数据。其中，子服务器每次重新处理该失败的子任务数据时，会将该子任务数据的重试次数加1。

(3)根据预定重试次数和已重试次数，确定是否重新处理存储于失败待重试存储单元中的子任务数据。

例如，如果子任务数据的已重试次数小于预定重试次数，将存储于失败待重试存储单元中的子任务数据恢复至相应的缓存单元中，以便重新处理子任务数据。例如，父任务类型标识001对应的父任务数据的预定重试次数为a＝3次。由校验服务器服务器确定子任务数据0011的已重试次数为2次，可知已重试次数小于预定重试次数3次，则校验服务器可以将存储于失败待重试存储单元中的子任务数据0011恢复至缓存单元1中，并删除失败待重试存储单元中的子任务数据0011，便于子服务器1在后续经过预设时间段扫描存储单元1中的子任务数据，以便重新处理子任务数据0011。其中，通过将处理失败的子任务数据存储于失败待重试存储单元中，方便系统维护人员查看任务执行时间、已经重试的次数、执行失败的原因以及执行任务的相关参数等等。

例如，如果子任务数据的已重试次数等于预定重试次数，将存储于失败待重试存储单元中的子任务数据存储至执行失败存储单元中，并删除存储于失败待重试存储单元中的子任务数据。例如，由校验服务器服务器确定子任务数据0011的已重试次数为3次，已重试次数等于预定重试次数a＝3，则校验服务器可以将存储于失败待重试存储单元中的子任务数据0011存储至执行失败存储单元中，不再自动重新处理该子任务数据0011，并删除存储于失败待重试存储单元中的子任务数据0011。其中，将重试处理失败的子任务数据存储至执行失败存储单元中，方便系统维护人员查看任务执行时间、已经重试的次数、执行失败的原因以及执行任务的相关参数等等。另外，根据实际需求，可以由系统维护人员通过后台系统查看执行失败的任务，确认原因后，系统维护人员可手动触发重试，即手动将存储于执行失败存储单元中的子任务数据恢复到相应的缓存单元中，便于后续重新处理。

根据本公开实施例，校验服务器还可以基于校验信息中的子任务类型标识列表，确定子任务类型标识列表中所有子任务类型标识对应的多个子任务数据是否存储于执行成功存储单元或者失败待重试存储单元中。例如，校验服务器可以基于校验信息中的与父任务类型标识001对应的子任务类型标识列表(0011、0012、0013)，确定子任务数据0011、子任务数据0012、子任务数据0013中的任意一个是否存储于执行成功存储单元或者失败待重试存储单元中。

如果多个子任务数据中的任意一个不在执行成功存储单元或者失败待重试存储单元中，则可以确定多个子任务数据未被全部处理，即，可以确定子任务数据0011、子任务数据0012、子任务数据0013中还有部分子任务数据还没被处理完成。

然后，响应于确定多个子任务数据未被全部处理，将校验信息重新添加至校验缓存单元，以便再次根据校验信息校验多个子任务数据的处理状态。例如，将包括父任务数据类型标识001和对应的子任务类型标识列表(0011、0012、0013)的验证信息重新添加至校验缓存单元中，便于校验服务器后续再次根据校验信息重新校验多个子任务数据的处理状态。

根据本公开实施例，如果父任务数据对应的所有子任务数据均被成功处理，则可以将该父任务数据存储至任务执行成功存储单元中，方便系统维护人员查看任务执行时间及执行任务的相关参数。

根据本公开实施例，通过添加校验任务，对拆分后的子任务数据的处理情况进行校验和对失败的子任务数据进行重试处理，实现校验所有子任务数据是否全部执行成功，保证任务处理的完整度。

图5示意性示出了根据本公开实施例的数据处理装置的框图。

如图5所示，数据处理装置500例如包括获取模块510、确定模块520、处理模块530以及发送模块540。

获取模块510可以用于从至少一个父任务数据中获取目标父任务数据，其中，至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识。根据本公开实施例，获取模块510例如可以执行上文参考图2描述的操作S210，在此不再赘述。

确定模块520可以用于根据目标父任务的目标父任务类型标识，确定与目标父任务类型标识相匹配的目标配置数据，其中，目标配置数据表征针对目标父任务数据的处理方式。根据本公开实施例，确定模块520例如可以执行上文参考图2描述的操作S220，在此不再赘述。

处理模块530可以用于根据目标配置数据，处理目标父任务数据得到多个子任务数据。根据本公开实施例，处理模块530例如可以执行上文参考图2描述的操作S230，在此不再赘述。

发送模块540可以用于将多个子任务数据发送至多个子服务器中进行处理，具体可以是将多个子任务数据分别存储至多个缓存单元中，便于多个子服务器从多个缓存单元中获取多个子任务数据进行处理。根据本公开实施例，发送模块540例如可以执行上文参考图2描述的操作S240，在此不再赘述。

图6示意性示出了根据本公开另一实施例的数据处理装置的框图。

如图6所示，数据处理装置600例如包括获取模块510、确定模块520、处理模块530、发送模块540、存储模块610、获取及删除模块620以及校验模块630。其中，获取模块510、确定模块520、处理模块530以及发送模块540例如与上参考图5描述的模块相同或类似，在此不再赘述。

存储模块610可以用于在处理目标父任务数据得到多个子任务数据之后，将目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，子任务类型标识列表包括多个子任务数据中每个子任务数据的子任务类型标识。根据本公开实施例，存储模块610例如可以执行上文参考图4描述的操作S410，在此不再赘述。

获取及删除模块620可以用于在经由处理目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从校验缓存单元中获取校验信息，并通过校验服务器删除存储于校验缓存单元的校验信息。根据本公开实施例，获取及删除模块620例如可以执行上文参考图4描述的操作S420，在此不再赘述。

校验模块630可以用于通过校验服务器根据校验信息校验多个子任务数据的处理状态。根据本公开实施例，校验模块630例如可以执行上文参考图4描述的操作S430，在此不再赘述。

根据本公开实施例，处理目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中，上述装置500或600例如还可以包括以下至少一个模块：第一存储及删除模块以及第二存储及删除模块。其中，第一存储及删除模块，通过多个子服务器处理多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据。第二存储及删除模块，通过多个子服务器处理多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。

根据本公开实施例，根据校验信息校验多个子任务数据的处理状态包括：基于校验信息中的目标父任务类型标识，确定目标配置数据中关于目标父任务数据的预定重试次数，其中，多个子任务数据中每个子任务数据均能够被按照预定重试次数重新处理。确定存储于失败待重试存储单元中的子任务数据的已重试次数。根据预定重试次数和已重试次数，确定是否重新处理存储于失败待重试存储单元中的子任务数据。

根据本公开实施例，根据预定重试次数和已重试次数，确定是否重新处理存储于失败待重试存储单元中的子任务数据包括：如果子任务数据的已重试次数小于预定重试次数，将存储于失败待重试存储单元中的子任务数据恢复至相应的缓存单元中，以便重新处理子任务数据，如果子任务数据的已重试次数等于预定重试次数，将存储于失败待重试存储单元中的子任务数据存储至执行失败存储单元中，并删除存储于失败待重试存储单元中的子任务数据。

根据本公开实施例，根据校验信息校验多个子任务数据的处理状态包括：基于校验信息中的子任务类型标识列表，确定子任务类型标识列表中所有子任务类型标识对应的多个子任务数据是否存储于执行成功存储单元或者失败待重试存储单元中，如果多个子任务数据中的任意一个不在执行成功存储单元或者失败待重试存储单元中，确定多个子任务数据未被全部处理，响应于确定多个子任务数据未被全部处理，将校验信息重新添加至校验缓存单元，以便再次根据校验信息校验多个子任务数据的处理状态。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块510、确定模块520、处理模块530、发送模块540、存储模块610、获取及删除模块620以及校验模块630中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块510、确定模块520、处理模块530、发送模块540、存储模块610、获取及删除模块620以及校验模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块510、确定模块520、处理模块530、发送模块540、存储模块610、获取及删除模块620以及校验模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于数据处理的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，根据本公开实施例的计算机系统700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是计算机非易失性的计算机可读存储介质，例如可以可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种数据处理方法，包括：

从至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识；

根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式；

根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据；以及

将所述多个子任务数据发送至多个子服务器中进行处理。

2.根据权利要求1所述的方法，还包括：

在处理所述目标父任务数据得到多个子任务数据之后，将所述目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，所述子任务类型标识列表包括所述多个子任务数据中每个子任务数据的子任务类型标识；

在经由处理所述目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从所述校验缓存单元中获取所述校验信息，并通过所述校验服务器删除存储于所述校验缓存单元的所述校验信息；以及

通过所述校验服务器根据所述校验信息校验所述多个子任务数据的处理状态。

3.根据权利要求2所述的方法，其中，处理所述目标父任务数据得到的多个子任务数据分别存储于多个缓存单元中，所述方法还包括以下至少一项：

通过所述多个子服务器处理所述多个子任务数据，并将处理成功的子任务数据存储至执行成功存储单元中，并删除存储于缓存单元中处理成功的子任务数据；以及

通过所述多个子服务器处理所述多个子任务数据，并将处理失败的子任务数据存储至失败待重试存储单元中，并删除存储于缓存单元中处理失败的子任务数据。

4.根据权利要求3所述的方法，其中，所述根据所述校验信息校验所述多个子任务数据的处理状态包括：

基于所述校验信息中的目标父任务类型标识，确定所述目标配置数据中关于目标父任务数据的预定重试次数，其中，所述多个子任务数据中每个子任务数据均能够被按照所述预定重试次数重新处理；

确定存储于所述失败待重试存储单元中的子任务数据的已重试次数；以及

根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据。

5.根据权利要求4所述的方法，其中，所述根据所述预定重试次数和所述已重试次数，确定是否重新处理存储于所述失败待重试存储单元中的子任务数据包括：

如果所述子任务数据的已重试次数小于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据恢复至相应的缓存单元中，以便重新处理所述子任务数据；以及

如果所述子任务数据的已重试次数等于所述预定重试次数，将存储于所述失败待重试存储单元中的子任务数据存储至执行失败存储单元中，并删除存储于失败待重试存储单元中的子任务数据。

6.根据权利要求5所述的方法，其中，所述根据所述校验信息校验所述多个子任务数据的处理状态包括：

基于所述校验信息中的子任务类型标识列表，确定所述子任务类型标识列表中所有子任务类型标识对应的多个子任务数据是否存储于所述执行成功存储单元或者所述失败待重试存储单元中；以及

如果所述多个子任务数据中的任意一个不在所述执行成功存储单元或者所述失败待重试存储单元中，确定所述所述多个子任务数据未被全部处理；以及

响应于确定所述所述多个子任务数据未被全部处理，将所述校验信息重新添加至所述校验缓存单元，以便再次根据所述校验信息校验所述多个子任务数据的处理状态。

7.一种数据处理装置，包括：

获取模块，从至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识；

确定模块，根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式；

处理模块，根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据；以及

发送模块，将所述多个子任务数据发送至多个子服务器中进行处理。

8.根据权利要求7所述的装置，还包括：

存储模块，在处理所述目标父任务数据得到多个子任务数据之后，将所述目标父任务类型标识和子任务类型标识列表作为校验信息存储于校验缓存单元，其中，所述子任务类型标识列表包括所述多个子任务数据中每个子任务数据的子任务类型标识；

获取及删除模块，在经由处理所述目标父任务数据得到多个子任务数据的预设时间段后，通过校验服务器从所述校验缓存单元中获取所述校验信息，并通过所述校验服务器删除存储于所述校验缓存单元的所述校验信息；以及

校验模块，根据所述校验信息校验所述多个子任务数据的处理状态。

9.一种数据处理系统，包括：

父任务数据缓存单元，用于存储至少一个父任务数据；

多个缓存单元，用于存储多个子任务数据；

多个子服务器，用于处理多个子任务数据；以及

父任务数据处理服务器，用于执行：

从所述父任务数据缓存单元中存储的至少一个父任务数据中获取目标父任务数据，其中，所述至少一个父任务数据中的每个父任务数据均包括与配置数据相匹配的父任务类型标识；

根据所述目标父任务的目标父任务类型标识，确定与所述目标父任务类型标识相匹配的目标配置数据，其中，所述目标配置数据表征针对所述目标父任务数据的处理方式；

根据所述目标配置数据，处理所述目标父任务数据得到多个子任务数据，所述多个子任务数据能够存储于所述多个缓存单元中；以及

将存储于所述多个缓存单元的多个子任务数据发送至所述多个子服务器中进行处理。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至6中任一项所述的方法。

Images