CN116501477A - 一种数据自动化处理方法、装置和设备 - Google Patents

Abstract

本说明书实施例公开了一种数据自动化处理方法、装置和设备。数据自动化处理方法包括：解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；基于所述可执行加工处理流程，生成子任务集合，所述子任务集合构成执行任务；基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

Description

一种数据自动化处理方法、装置和设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据自动化处理方法、装置和设备。

背景技术

随着各个领域用户持续沉淀大量数据资源，如何对其进行高效自动处理，进而实现数据处理流程的自动化执行和非致命性故障的自动化检测恢复，成为一个现实、急迫的需求。

目前，数据流程的自动化处理，主要采用的是基于编程模式的处理系统，或者基于大数据技术的数据平台等。不论是基于编程模式的处理系统，还是基于大数据技术的数据平台，均存在高工作量和过复杂操作，导致无法像普通应用软件一样交付即使用、且易用。

基于此，需要一种新的数据自动化处理方法，能够根据用户的数据处理需求，生成数据流程的自动化处理方法。

发明内容

本说明书实施例提供一种数据自动化处理方法、装置和设备，用于解决如下技术问题：现有的数据流程的自动化处理方法，存在高工作量和过复杂操作，导致无法像普通应用软件一样交付即使用、且易用。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据自动化处理方法，包括：

解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建所述候选子任务存储于子任务数据缓冲存储区；

执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

将所述子任务缓冲存储区的数据作为目标子任务，写入处理目标地址，实现所述数据处理需求的执行。

本说明书实施例提供的一种数据自动化处理装置，所述装置包括：

解析模块，解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

子任务生成模块，基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

筛选模块，基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

子任务执行模块，执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

任务输出模块，将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

本说明书实施例提供的一种数据自动化处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建所述候选子任务存储于子任务数据缓冲存储区；

执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

将所述子任务缓冲存储区的数据作为目标子任务，写入处理目标地址，实现所述数据处理需求的执行。

本说明书一个实施例至少能够达到以下有益效果：通过解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行，能够自动生成和自动执行数据加工处理逻辑，实现数据加工处理的自动化，支持集成、编排、调度异构数据处理能力，进而最终实现数据处理需求的快速响应和自动化执行。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的数据自动化处理方法的系统架构示意图；

图2为本说明书实施例提供的一种数据自动化处理方法的流程示意图；

图3为本说明书实施例提供的数据自动化处理方法的框架示意图；

图4为本说明书实施例提供的一种数据自动化处理装置的示意图。

具体实施方式

数据自动化处理，针对的是用户数据处理需求通过自动编排数据处理单元快速形成数据处理流程，支持数据处理流程的自动化执行和非致命性故障的自动化检测恢复。由于数据自动化处理涉及从数据接入到数据使用的众多环节，技术复杂，因此，尽管现有技术中存在一些针对数据自动化处理的方法，例如基于编程模式的处理系统、基于大数据技术的数据平台，但是仍无法实现交付即可用、且易用。

基于编程模式的处理系统面向用户单位的现有数据特点以及具体业务需求，通过人工编程的方式完成从数据接入到数据使用的全流程软件代码开发，实现具有领域特色的数据处理软件成果，可满足部分用户单位或用户领域的数据处理需求。但是基于编程模式的处理系统，其依赖开发人员的代码编程工作，工作量和周期巨大，且相关成果封闭，难以集成和复用。

基于大数据技术的数据中台基于现有的大数据处理组件，进行平台级的系统集成，形成具有较强通用性的数据中台产品，然后基于数据中台组件开发业务成果，可同时兼顾领域共性和用户个性的数据处理需求。基于大数据技术的数据平台，虽然可降低开发工作量和减少开发周期，且相关成果具备一定的可复用性，但仍需要业务人员基于数据中台组件进行业务成果开发（包括数据适配、治理流程定制等），对业务人员的技术要求较高，同时对运维人员的需求较多，需要其随时手动处理各种级别的运行故障问题等。

因此，本说明书实施例以现有数据处理自动化为出发点，拟解决如下问题：解决自动化、无人化使用数据处理能力的问题，即如何增强系统自适应性来降低使用人员门槛，如何通过提升系统鲁棒性来降低运维人员工作量；解决第三方数据处理成果的开放集成问题，即如何吸纳第三方数据处理成果，并支持定制能力的动态扩展。

基于此，本说明书实施例提供一种新的数据处理方法，通过自动生成和自动执行数据加工处理逻辑，实现数据加工处理的自动化，支持集成、编排、调度异构数据处理能力。针对结构化数据，接收用户的数据处理需求，自动产出数据处理结果。

为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。

应当理解，尽管在本申请文件中可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的数据自动化处理方法的系统架构示意图。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如具有数据处理等功能的专用应用程序。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如，服务器可以训练并运行数据处理，实现数据处理功能，以便将数据处理结果显示在终端设备101、102、103上。

服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

本公开实施例提供的数据自动化处理方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的数据自动化处理方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2为本说明书实施例提供的一种数据自动化处理方法的流程示意图。如图2所示，该数据处理方法包括：

步骤S201：解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据。

在本说明书实施例中，数据处理需求为基于数据而产生的数据相关操作的需求，数据处理需求的具体类型或者内容，并不构成对本申请的限定。

由于本说明书实施例中，数据处理需求为基于数据而产生的数据相关操作的需求，因此，必然涉及到数据。在本说明书实施例中，数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据。在具体实施例中，数据处理需求中的数据可以以key-value形式表示。其中，key表示关键字，value表示值。数据处理需求中的数据，可以为图像数据、文本数据、视频数据、音频数据。总之，只要是结构化数据或者可以转化为结构化数据的数据即可。

在本说明书实施例中，所述解析用户的数据处理需求，生成可执行加工处理流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程；

基于算子自带的测试数据集，对所述可执行流程进行自测，生成可执行加工处理流程。

由于生成的可执行流程，是基于配置获得的，因此，为了保证后续流程的正常执行，因此，有必要对生成的可执行流程进行测试。在本说明书实施例中，算子自带有测试数据集，因此，可以利用算子自带的测试数据集，对可执行流程进行自测，若自测通过，则将可执行流程作为可执行加工处理流程，以用于后续创建执行任务，实现用户的数据处理需求。

用户的数据处理需求的功能名称和/或功能ID均具有唯一性，且数据处理需求的功能名称与功能ID具有对应性，二者存在一一对应关系。在实际应用过程中，功能名称和/或功能ID是可以通过用户直接输入的方式获得，也可以通过数据处理所在的系统，直接查询获得。数据处理需求的功能名称和/或功能ID的获取方式，并不构成对本申请的限定。

在本说明书实施例中，所述根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置；

对所述加工处理功能集中的功能，按照所述功能注册库中的调用依赖关系，基于所述目标输出数据集及所述输入数据集，生成功能依赖关系图；

基于所述功能依赖关系图，读取所述加工处理功能集中的功能对应的映射算子，生成可执行流程。

目标输出数据集和输入数据集，规定了用户的数据处理需求的输入和输出，其实为单个算子，因此，相对而言，容易配置。加工处理集其实是为多个功能的集合，是多个算子的集合，因此，加工处理集的配置较为复杂。加工处理集的配置，为本发明的核心。需要基于用户的数据处理需求，结合目标输出数据集和输入数据集，生成能够执行的流程，以执行用户的数据处理需求，该过程必须依赖加工处理集予以实现，进而实现流程图的自动构建。

由于功能注册库中，预先设置有调用依赖关系，基于功能注册库的调用依赖关系，利用输入数据集、输出数据集，即可以实现数据处理需求中的功能的配置。

在本说明书实施例中，所述功能注册库包括功能注册信息，所述功能注册信息包括<功能名称，功能ID，功能描述，输入约束描述，输入数据要求，输出数据要求，验证输入数据集，验证输出数据集，通过性验证规则，算子映射关系>，其中，所述输入约束描述用于实现所述调用依赖关系。

为了进一步理解本说明书实施例中提到的功能注册库，下面将对功能注册库予以详细说明。

功能注册库是由预先设置的用户的数据处理需求注册为数据加工处理功能，进而形成功能注册库。功能注册库的功能注册信息包括<功能名称，功能ID，功能描述，输入约束描述，输入数据要求，输出数据要求，验证输入数据集，验证输出数据集，通过性验证规则，算子映射关系>。

具体而言，功能名称为数据加工处理功能的名称；

功能ID为数据加工处理功能的唯一标识ID；

功能描述为数据加工处理功能的自然语言说明；

输入约束描述能够与该功能进行编排的前序功能集合及集合中的关系，为<功能ID，约束关系>集合，其中约束关系为and或or；

输入数据要求即输入数据结构，包含字段及类型集合；

输出数据结构即输出数据结构，包含字段及类型集合；

验证输入数据集用于验证功能注册库中的功能是否能正确实现的输入数据，符合输入数据要求；

验证输出数据集用于验证功能注册库中的功能是否能正确实现的输出数据，符合输出数据要求；

通过性验证规则用于在算子映射关系中的指定算子在处理“验证输入数据”后，产出输出数据checkOutput与“验证输出数据集”进行比对，来判断是否能通过的规则，包括checkOutput等于“验证输出数据集”、checkOutput包含于“验证输出数据集”；

算子映射关系，能够实现该功能的算子集合，每个算子可独立实现该功能，且符合“通过性验证规则”。

由于功能注册库是预先设置的，因此，功能注册库并不可能覆盖所有的功能。因此，在实际的流程中，可能存在无法自动生成可执行流程的情况，或者即使可以生成可执行流程，无法通过测试数据集的测试完成可执行流程的流程自测，进而无法生成可执行加工处理流程。为了解决无法自动生成可执行流程，或者无法生成可执行加工处理流程的问题，在本说明书实施例中，若无法生成可执行流程，可以直接结束流程，也可以允许用户自己添加流程或者修改流程，以实现可执行流程的生成或者生成可执行加工处理流程。

关于功能注册库，其核心为输入约束描述，因此，需要特别说明并详细介绍。输入约束描述能够表明数据之间的依赖关系，数据之间的排斥关系，例如在算子中，哪些算子模块存在排斥关系，哪些算子模块是必须依赖其他算子模块才能实现其算子功能的。

在功能注册库中，预先定义了算子映射关系，算子映射关系的存在，能够获得需要的算子。算子即计算单元，在数学上可以解释为一个函数空间到函数空间上的映射，其实质为一个处理单元，往往是指一个函数，在使用算子时往往会有输入和输出，算子则完成相应数据的转化，例如Group算子，Sort算子。

为了进一步理解功能注册库中的算子映射关系，下面将结合算子注册以说明算子映射关系的形成。

具体而言，可以将异构数据处理软件或者程序注册为可执行算子，注册信息包括<算子名称、算子ID、算子分类、算子描述、输入数据要求、输出数据要求、环境满足度自测、自动部署、接口调用>，其中：

算子名称，为注册算子的名称；

算子ID，为注册算子的唯一标识ID；

算子分类，算子主分类包括数据接入、数据处理、数据输出等，二级分类进行细化，数据接入包括库表接入、Excel文件接入、JSON文件接入等，数据处理包括基础处理、分类聚类、特征分析、异常分析、统计分析等，数据输出包括库表输出、Excel文件输出、JSON文件输出等。

算子描述为算子功能的自然语言说明；

输入数据要求为算子输入数据结构，包含字段及类型集合；

输出数据要求为算子输出数据结构，包含字段及类型集合；

环境满足度自测用于提供自动运行的测试脚本，测试成功后才能进行部署；

自动部署用于提供安装部署包，完成自动安装部署；

调用接口用于描述算子调用接口参数说明。

前述基于算子自带的测试数据集，对所述可执行流程进行自测，生成可执行加工处理流程，具体到算子注册中，即利用算子注册中的环境满足度自测对可执行流程中的算子进行自测，测试成功后，才可以作为可执行加工处理流程。

步骤S203：基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务。

具体到实施例中，基于可执行加工处理流程，构建执行任务W，将流程中各个算子（假设为m个），映射成为子任务w，w={id，status，err，for}，其中：id为该子任务创建的唯一标识，status为该子任务执行状态（包含待执行pre、执行完suc、执行中exe、执行失败fail），err为该子任务执行失败次数，for为该子任务的前置子任务集合，W={w₁，w₂，w₃，w₄…w_m}，初始置W中各个w.status=pre，w.err=0。

步骤S205：基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区。

在本说明书实施例中，所述预设的筛选条件为所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕；

所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区，具体包括：

从所述执行任务中，筛选所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕的子任务，组成待处理子任务集合；

从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务；

将所述候选子任务的状态标记为“执行中”，创建所述子任务缓冲存储区。

继续延续前例，选取W中w.status==per或者w.status==fail，且w.for中所有前置子任务w.status==suc的w集合W’（待处理子任务集合），从W’中选择w.err最大的子任务（若同时存在多个相同的最大w.err，则随机选取其中一子任务），记为候选子任务集合w’。

在本说明书实施例中，所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，所述候选子任务存储于子任务数据缓冲区，进一步包括：

若所述候选子任务中子任务执行失败次数大于等于预设次数，则所述候选子任务执行失败。

在具体实施例中，预设次数可以选择为5。若执行任务W中存在w.err≥5的子任务，则候选子任务执行失败。

在本说明书实施例中，所述从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务，创建子任务缓冲存储区，进一步包括：

当系统资源负载不大于预设负载阈值时，执行所述候选子任务；

当所述系统资源负载大于所述预设负载阈值时，等待预设时间，直至所述系统资源负载不大于所述预设负载阈值，执行所述候选子任务。

在具体实施例中，预设负载阈值的设置，可以根据具体的业务场景而定，在本说明书的一个实施例中，预设负载阈值可以为70%。预设时间的设置，亦是根据具体的业务场景而定，在本说明书的一个实施例中，预设时间可以设置为1min。

具体地，当系统资源负载不大于70%时，执行所述候选子任务。当系统资源负载大于70%时，等待预设时间，预设时间可以选择1min，直至系统资源负载不大于70%，执行候选子任务。

步骤S207：执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”。

在本说明书实施例中，所述执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，进一步包括：

若所述候选子任务执行失败，则将执行失败的所述候选子任务的状态修改为失败，并将所述候选子任务的执行失败次数增加1，同时释放所述子任务缓冲存储区。

在本说明书实施例中，若候选子任务执行不成功，则基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务。

步骤S209：将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

若数据处理需求的执行不成功，则基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，从而最终实现数据处理需求的执行。

为了进一步理解本说明书实施例提供的数据自动化处理方法，下面将结合数据处理方法的框架图予以说明。图3为本说明书实施例提供的数据自动化处理方法的框架示意图，如图3所示，接收用户的数据处理需求后，对该需求进行解析，并生成可执行加工处理流程；若可执行加工处理流程生成成功，则创建执行任务，若可执行加工处理流程生成失败，则执行失败，直接结束流程。进一步地，基于执行任务，创建子任务集合，标记所有子任务的状态为待执行，任务执行失败次数为0，选取状态为“待执行or执行失败”、执行失败次数最高、前置依赖子任务状态为“执行完毕”的子任务作为候选子任务，同时创建子任务缓冲存储区，若子任务缓冲存储区中存在子任务执行失败次数大于等于预设次数，则执行结束，若子任务执行失败次数小于预设次数，则所有子任务状态均为“执行完毕”，则将缓冲存储区数据写入处理目标地址，则任务执行成功，即实现数据处理需求的执行。若所有子任务状态存在“执行完毕”之外的其他状态，则选取状态为“待执行or执行失败”、执行失败次数最高、前置依赖子任务状态为“执行完毕”的子任务。

确定候选子任务后，需要进一步判断系统资源负载是否大于预设负载阈值。若系统资源负载小于等于预设负载阈值，则执行该候选子任务，标记该候选子任务状态为“执行中”，创建子任务缓冲存储区。若系统资源负载大于预设负载阈值，则等待预设时间T时间间隔。子任务执行成功后，标记该子任务状态为“执行完毕”，并将执行结果写入子任务缓冲存储区。若子任务执行失败，则标记该子任务状态为“待执行”，执行失败次数+1，同时释放子任务缓冲存储区。需要特别说明的是，执行的子任务均为候选子任务中的子任务。

本说明书实施例提供的数据自动化处理方法，区别于代码编程模式，以及基于数据中台的业务成果开发模式，能够直接注册集成响应业务需求的功能模块，在满足领域业务需求的同时，保留了功能模块的可复用性；其次，区别于代码编程模式和数据中台的全流程功能暴露模式，能够将业务用户的使用空间集中到需求提交和需求响应，提升业务用户的易用性；第三，区别于代码编程模式和数据中台的强运维需求，本装置侧重于系统的自运行和自维护设计，可有效降低维护人员的工作量，并通过资源池化管理，实现外部成果集成和已有成果复用。

本说明书实施例提供的数据自动化处理方法，针对用户数据处理需求通过自动编排数据处理单元快速形成数据处理流程，支持数据处理流程的自动化执行和非致命性故障的自动化检测恢复，其核心是解决细分领域数据处理需求的快速响应和自动化执行问题，其优点如下：

易用性强：开发人员创建或集成各类功能组件，系统基于组件进行业务流程自动搭建，快速适配数据源和产出数据处理成果，缩短新增需求响应链路，降低技术门槛和上线周期。

可维护强：系统将自动测试、自动执行、自动容错加持到各个功能组件和整个任务流程中，形成自动部署、故障自动监测与恢复的解决方案，降低系统运维人员工作量。

灵活度高：整个系统对组件和流程资源进行统一的池化管理，在支持外部组件成果的随时集成外，支持流程的动态调整变更，降低变更需求响应代价，提升整个系统的灵活性。

本说明书前述实施例提供了一种数据自动化处理方法，基于同样的思路，本说明书实施例还提供一种数据自动化处理装置。图4为本说明书实施例提供的一种数据自动化处理装置的示意图，如图4所示，该数据自动化处理装置包括：

解析模块401，解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

子任务生成模块403，基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

筛选模块405，基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

子任务执行模块407，执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

任务输出模块409，将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

在本说明书实施例中，所述解析用户的数据处理需求，生成可执行加工处理流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程；

基于算子自带的测试数据集，对所述可执行流程进行自测，生成可执行加工处理流程。

在本说明书实施例中，所述根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置；

对所述加工处理功能集中的功能，按照所述功能注册库中的调用依赖关系，基于所述目标输出数据集及所述输入数据集，生成功能依赖关系图；

基于所述功能依赖关系图，读取所述加工处理功能集中的功能对应的映射算子，生成可执行流程。

在本说明书实施例中，所述功能注册库包括功能注册信息，所述功能注册信息包括<功能名称，功能ID，功能描述，输入约束描述，输入数据要求，输出数据要求，验证输入数据集，验证输出数据集，通过性验证规则，算子映射关系>，其中，所述输入约束描述用于实现所述调用依赖关系。

在本说明书实施例中，所述预设的筛选条件为所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕；

所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区，具体包括：

从所述执行任务中，筛选所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕的子任务，组成待处理子任务集合；

从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务；

将所述候选子任务的状态标记为“执行中”，创建所述子任务缓冲存储区。

在本说明书实施例中，所述从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务，进一步包括：

当系统资源负载不大于预设负载阈值时，执行所述候选子任务；

当所述系统资源负载大于所述预设负载阈值时，等待预设时间，直至所述系统资源负载不大于所述预设负载阈值，执行所述候选子任务。

在本说明书实施例中，所述执行所述候选子任务，将执行成功的所述候选子任务写入子任务缓冲存储区，进一步包括：

若所述候选子任务执行失败，则将执行失败的候选子任务的状态修改为失败，并将所述候选子任务的执行失败次数增加1，同时释放所述子任务数据缓冲区。所述执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，进一步包括：

若所述候选子任务执行失败，则将执行失败的所述候选子任务的状态修改为失败，并将所述候选子任务的执行失败次数增加1，同时释放所述子任务缓冲存储区。

在本说明书实施例中，所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区，进一步包括：

若所述候选子任务中子任务执行失败次数大于等于预设次数，则所述候选子任务执行失败。

本说明书实施例还提供一种数据自动化处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

上述对本说明书特定实施例进行了描述，在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。

本说明书实施例提供的装置、设备与方法是对应的，因此，装置、设备也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备的有益技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据自动化处理方法，其特征在于，所述方法包括：

解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

2.如权利要求1所述的数据自动化处理方法，其特征在于，所述解析用户的数据处理需求，生成可执行加工处理流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程；

基于算子自带的测试数据集，对所述可执行流程进行自测，生成所述可执行加工处理流程。

3.如权利要求2所述的数据自动化处理方法，其特征在于，所述根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置，生成所述可执行流程，具体包括：

根据所述用户的数据处理需求的功能名称和/或功能ID，从预先设置的功能注册库中，对目标输出数据集、加工处理功能集、输入数据集进行配置；

对所述加工处理功能集中的功能，按照所述功能注册库中的调用依赖关系，基于所述目标输出数据集及所述输入数据集，生成功能依赖关系图；

基于所述功能依赖关系图，读取所述加工处理功能集中的功能对应的映射算子，生成所述可执行流程。

4.如权利要求3所述的数据自动化处理方法，其特征在于，所述功能注册库包括功能注册信息，所述功能注册信息包括<功能名称，功能ID，功能描述，输入约束描述，输入数据要求，输出数据要求，验证输入数据集，验证输出数据集，通过性验证规则，算子映射关系>，其中，所述输入约束描述用于实现所述调用依赖关系。

5.如权利要求1所述的数据自动化处理方法，其特征在于，所述预设的筛选条件为所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕；

所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区，具体包括：

从所述执行任务中，筛选所述执行任务中的子任务执行状态为待执行，或者所述执行任务中的子任务执行状态为执行失败，且所述执行任务中的子任务的前置子任务的执行状态为执行完毕的子任务，组成待处理子任务集合；

从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务；

将所述候选子任务的状态标记为“执行中”，创建所述子任务缓冲存储区。

6.如权利要求5所述的数据自动化处理方法，其特征在于，所述从所述待处理子任务集合中选择子任务执行失败次数最多的子任务，作为所述候选子任务，进一步包括：

当系统资源负载不大于预设负载阈值时，执行所述候选子任务；

当所述系统资源负载大于所述预设负载阈值时，等待预设时间，直至所述系统资源负载不大于所述预设负载阈值，执行所述候选子任务。

7.如权利要求1所述的数据自动化处理方法，其特征在于，所述执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，进一步包括：

若所述候选子任务执行失败，则将执行失败的所述候选子任务的状态修改为失败，并将所述候选子任务的执行失败次数增加1，同时释放所述子任务缓冲存储区。

8.如权利要求1所述的数据自动化处理方法，其特征在于，所述基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区，进一步包括：

若所述候选子任务中子任务执行失败次数大于等于预设次数，则所述候选子任务执行失败。

9.一种数据自动化处理装置，其特征在于，所述装置包括：

解析模块，解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

子任务生成模块，基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

筛选模块，基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

子任务执行模块，执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

任务输出模块，将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。

10.一种数据自动化处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

解析用户的数据处理需求，生成可执行加工处理流程，所述数据处理需求至少包括功能名称和/或功能ID，所述数据处理需求中的数据为结构化数据或者可以转化为结构化数据的数据；

基于所述可执行加工处理流程，生成子任务集合，所述子任务集合至少包括：子任务唯一标识、子任务状态、子任务执行失败次数、子任务的前置子任务集合，所述子任务集合构成执行任务；

基于预设的筛选条件，从所述执行任务中筛选子任务，获得候选子任务，创建子任务缓冲存储区；

执行所述候选子任务，将执行成功的所述候选子任务的执行结果写入所述子任务缓冲存储区，作为子任务缓冲存储区数据，直至所述候选子任务的状态均为“执行完毕”；

将所述子任务缓冲存储区数据写入处理目标地址，实现所述数据处理需求的执行。