CN113407312A - 一种模型训练的任务协同处理方法、装置与系统 - Google Patents

Abstract

本发明提出一种模型训练的任务协同处理方法，所述方法作用于多个AI训练样本集合，所述方法通过将多个训练样本集合按不同的模型参数作拆解与联合，并基于拆解与联合的策略来构建联合神经网络，该联合神经网络支持训练任务的协同进行；通过联合神经网络训练得到联合模型，通过验证联合模型得到回报值。通过对联合神经网络的迭代构建，回报值得到收敛的模型参数，最终确定最优的联合神经网络以及联合模型。该模型训练的任务协同方法。使得多AI算法具有自动智能的协同能力，进而提升模型质量，使得AI应用更加灵活与便捷，加速AI应用的普及。

Description

一种模型训练的任务协同处理方法、装置与系统

技术领域

本申请涉及数据处理方法，主要涉及对在AI算法作模型训练时所需要的任务协同处理的方法。

背景技术

目前人们普遍认为人工智能(AI-Artificial Intelligence)会是二十一世纪及以后最具影响力的技术之一。而对于AI来说，核心的功能体现为AI模型，模型又是通过使用某种AI算法来训练样本得到的。因此，一个样本数据的质量往往对模型的效用与质量产生重大的影响。

从机器学习演进而来的增强学习，会使用数据增强的方式来提升样本的质量。一种典型的数据增强方式是输入更多的先验知识，另一种典型的数据增强方式是对数据作自循环式的广度组合或深度叠加。两种方式都希望最大可能地挖尽样本数据，提升样本数据的价值。

但对于任何一个特定样本数据来说，其包含的含义与模式也是有限的，因此上述数据增强方式的效果有限。

发明内容

因此，本申请提出解决上述问题、利用联合数据(集)自动通知提升样本质量、并进一步提升训练所得模型质量的方法、系统和装置。这些方法，应用于不特定的工具、设备、系统甚至数据中心或云服务中心，从而构成一个模型训练的任务协同处理系统。为此，本发明：

一方面，提出一种模型训练的任务协同处理方法，包括：

接收第一数据，所述第一数据为AI训练所使用的样本数据，所述第一数据具有对应的AI算法，将所述第一数据加入第一数据集；生成第二数据，所述第二数据包含第四数据的某个子集，所述第四数据为所述第一数据集中的至少两个第一数据的交集的超集，所述第二数据还包含形成所述交集的所述至少两个第一数据中的一个第一数据；生成第三数据，所述第三数据为所述第二数据的回报值，所述第三数据用于评估所述第二数据作为训练样本所得模型的效果，将所述第三数据加入第三数据集；生成第五数据，所述第五数据为模型参数，所述第五数据为通过所述第三数据加工生成，对所述第五数据评估收敛特征。进一步，在所述第三数据的生成过程中，按照所述第四数据的所述子集的生成方式构建联合神经网络；进一步，训练所述联合神经网络，得到联合模型，使用验证集得到一个所述第三数据；进一步，在所述第五数据的生成过程中，根据所述第三数据集的内容，确定所述第五数据；进一步，根据某个收敛阀值，确定所述第五数据的收敛效果；进一步，如果所述第五数据未达到收敛效果，则将所述第五数据作为模型参数，重新进行联合神经网络的构建迭代；进一步，如果所述第五数据达到收敛效果，则训练联合神经网络，生成所述第一数据集所具有的最优模型集。

在一个部署有服务器集群或云数据中心网络的环境中，通过AI平台化与引擎化，从而为用户提供来自于数据中心的便捷易用的AI能力，而一个具有联合模型任务协同训练的处理方法可以为用户提供更有吸引力的、高度可定制化的、高质量的协作式AI模型。该任务协同的AI建模方法的过程为：将m个数据集分别分解成训练数据与验证数据，初始化模型参数，将该m个训练数据集所构成的数据集上作n轮模型参数的收敛验证。针对任意一轮次的收敛验证操作，过程如下：比如在第k轮次，使用k个训练数据集来构建联合神经网络集与生成联合模型集，这里的k大于0且不小于m；根据模型参数决定的数据拆解与联合方式，对前k个数据生成数据间的交集，并生成各交集的超集；对各超集作元数据项粒度的拆解与联合，并根据拆解与联合方式来构建联合神经网络，从而得到联合神经网络集；使用训练数据集训练各联合神经网络，得到对应的联合模型，从而得到联合模型集；使用验证数据集验证各联合模型，得到对应的回报值，从而得到回报值集。实际情况下，由数据间联合方式的个数决定联合神经网络的个数，从而决定联合模式模型的个数。即：经由第k轮的数据拆解与联合得到联合神经网络、经由该第k轮联合神经网络得到第k轮的联合模型、经由总k轮联合模型得到k组回报值集的合集。最后，使用总m组回报值集合的合集计算得到新的模型参数，并对比该m轮与前一m轮的模型参数的收敛结果，确定联合模型是否已经达到最优。在确定模型参数尚未达到收敛效果的情况下，继续迭代构建联合神经网络与验证联合AI模型；在确定模型参数达到最优的情况下，分配联合模型所需要的协同学习任务作协同学习与模型训练。

这样，实施了包含上述部分或全部方法与步骤的产品与服务系统，能够基于可协同训练的模型任务作模型训练来提供更高质量的AI模型，为同一AI算法提供更灵活的、高度定制化的模型输出结果，从而使得AI具有助推更便捷云应用与大数据应用的能力，加速云应用与大数据应用的推广与普及。

另一方面，提出模型训练的任务协同处理装置，该装置包含：

数据-1：示意了联合建模与任务协同方法下，AI算法训练用的某个数据；

多个数据-2：示意了联合建模与任务协同方法下，多个AI算法训练用的多个第二数据。所述第一数据与多个第二数据可以保存于数据存储器件、存储模块、或提供外部访问接口的存储系统中。需要说明的，101与102所述的第一与第二并没有严格的区分，101与102所述的一个与多个也不代表具体确定的差异，仅是为描述上的方便；

模型训练单元：该单元用于算法训练，以输出相应的模型；

联合建模单元：该单元用于联合建模与协同训练，以最终输出最优的联合模型；

数据中台：该中台完成数据的各种转换与加工操作，以配合完成数据的协同与联合增强。具体地，该中台包含相应的数据访问接口、采集单元、拆解单元、表示单元、联合单元，这些单元分别提供对待协同训练之数据的收集、拆解、Embedding表示、联合等操作过程。

本发明提出的上述接口与模块，同产品实际实施时所需要的其它单元、模块以及相关平台与相关引擎一起，共同完成基于由多个样本数据(或者为训练数据，或者为验证数据，或者同时包含训练数据与验证数据)数据所构成的数据集作联合建模与协同训练的模型训练，从而实现一个模型训练的任务协同装置。体现在：任务协同装置将m个数据集分别分解成训练数据与验证数据，初始化模型参数，将该m个训练数据集所构成的数据集上作n轮模型参数的收敛验证。针对任意一轮次的收敛验证操作，过程如下：比如在第k轮次，任务协同装置使用k个训练数据集来构建联合神经网络集与生成联合模型集，这里的k大于0且不小于m；根据模型参数决定的数据拆解与联合方式，任务协同装置对前k个数据生成数据间的交集，并生成交集的超集；任务协同装置对该超集作元数据项粒度的拆解与联合，并根据拆解与联合方式来构建联合神经网络集，从而得到联合神经网络集；任务协同装置使用训练数据集训练各联合神经网络，得到对应的联合模型，从而得到联合模型集；任务协同装置使用验证数据集验证各联合模型，得到对应的回报值，从而得到回报值集。实际情况下，由数据间联合方式的个数决定联合神经网络的个数，从而决定联合模式模型的个数。即：经由第k轮的数据拆解与联合得到联合神经网络、经由该第k轮联合神经网络得到第k轮的联合模型、经由总k轮联合模型得到k组回报值集的合集。最后，任务协同装置使用总m组回报值集合的合集计算得到新的模型参数，并对比该m轮与前一m轮的模型参数的收敛结果，确定联合模型是否已经达到最优。在确定模型参数尚未达到收敛效果的情况下，任务协同装置继续迭代构建联合神经网络与验证联合AI模型；在确定模型参数达到最优的情况下，任务协同装置分配联合模型所需要的协同学习任务作协同学习与模型训练。。

这样，具有上述功能装置的产品与服务系统，能够基于可协同训练的模型任务作模型训练来提供更高质量的AI模型，为同一AI算法提供高度定制化的、更灵活的模型输出结果，从而使得AI具有助推更便捷云应用与大数据应用的能力，加速云应用与大数据应用的推广与普及。

另一方面，提供了一种计算机可读存储介质，该计算机存储介质存储有程序指令，该程序指令当被处理器运行时，该处理器(分别)具有执行上述关于方法的实施过程。

另一方面，提供了一种管理的装置，包括存储组件，处理组件和通信组件，存储组件，处理组件和通信组件相互连接。其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，分别行使上述关于装置的功能。

附图说明

为了更清楚地说明本发明实施的技术方案，更清楚地阐述发明目标的达成要素、方式与过程，下面将对本发明实施中所需要使用的附图进行说明：

图1是本发明提出的模型训练任务协同处理的系统组成图之一；

图2是本发明提出的模型训练任务协同处理的系统组成图之一；

图3是本发明提出的模型训练任务协同处理的系统组成图之一；

图4是本发明提出的模型训练任务协同处理的产品数据示意图之一；

图5是本发明提出的模型训练任务协同处理的产品数据示意图之一；

图6是本发明提出的模型训练任务协同处理的产品数据示意图之一；

图7是本发明提出的模型训练任务协同处理的操作执行流程之一；

图8是本发明提出的模型训练任务协同处理的操作执行流程之一；

图9是本发明提出的模型训练任务协同处理的操作执行流程之一。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例进行描述。

本申请的说明书和权利要求书及所述附图中的术语″第一″、″第二″和″第三″等是用于区别不同对象，而不是用于描述特定顺序。此外，″包括″和″具有″以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及″实施例″意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请书中使用的术语″服务器″、″设备″、″装置″、″单元″、″部件″、″模块″、″系统″等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，服务器可以是但不限于，处理器，数据处理平台，计算设备，计算机，两个或更多个计算机等；单元可以是但不限于，在处理器上运行的进程、可运行对象、可执行文件、执行线程、或其它任何可执行的计算机程序。一个或多个单元可驻留在进程和/或执行线程中，一个单元也可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一单元交互的二个单元的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。所列用语包含如下：

(1)云计算：即Cloud Computing，指那种拥有集成度优势、连接在网络环境中、以服务方式向用户提供计算、存储甚至软件能力的新型计算范式。这种新的计算范式跟旧有的计算范式的差异，体现在可感观与可用性上就是，它对用户而言并不存在可见的固定形态、甚至基本不存在无资源可用的状态，故被叫做云计算；

(2)人工智能：即Artificial Intelligence，简称AI，指那种通过计算系统模拟人类智能的方法、技术、软硬件及系统的泛称；

(3)机器学习：机器学习属于AI领域的一个重要分支性技术。机器学习会从样本数据中提取数据模式，以便对应用数据做出尽可能好的预测。从目前的发展结果来看，机器学习分为监督学习、无监督学习与强化学习；

(4)算法-样本-模型-回报值：这是机器学习的三个重要的概念。算法是一个先验性的指导，当然不同的机器学习类型决定了算法所具有的先验知识的多少；先验知识需要一定的数据量来转化及验证所得的预测能力，这些一定量的数据，叫做样本或样本数据；算法在样本数据所提供的值空间里寻找某种针对未来数据作预测与处理的能力，这种能力的机器表示，就是模型。一般情况下，样本会被分为训练样本与验证样本；所述模型经过验证样本验证，得到的结果为回报值。回报值可以叫做样本的回报值，也可以叫做模型的回报值；

(5)联合神经网络：指将多个存在公共参数模块的神经网络聚合起来形成的神经网络，该神经网络以各神经网络的所有输入作为输入、以各神经网络的所有输出作为输出，通过公共模块的参数共享实现多任务同时学习，使数据的语义表示(Embedding)更加精确、涵盖更多信息，从而提升每个神经网络的训练效果。

其次，对本发明的目标问题、解决目标问题的技术方法作概览。随着AI应用的深入，人们对AI提出了高质量、易用性与便捷性方面的要求。传统的AI基于特定样本作训练得到AI模型的方法，限制了AI的灵活性。在样本数据必定是有限而AI算法又是稀缺的现实情况下，为解决这个矛盾，本发明提出一种通过自动智能的模型训练任务协同方法来提升AI模型的灵活性，提升AI模型的质量，从而提升AI应用的易用性与便捷性，便于AI在更大范围内的推广与普及。

再次，结合各附图，对发明内容作进一步的阐述。其中：

如图1为本发明的系统组成图之一。该图示意了一种关于联合建模与任务协同功能实现的组成关系。其中：

101-数据-1：示意了联合建模与任务协同方法下，AI算法训练用的某个数据；

102-多个数据-2：示意了联合建模与任务协同方法下，AI算法训练用的多个第二数据。所述第一数据与多个第二数据可以保存于数据存储器件、存储模块、或提供外部访问接口的存储系统中。需要说明的，101与102所述的第一与第二并没有严格的区分，101与102所述的一个与多个也不代表具体确定的差异，仅是为描述上的方便；

103-模型训练单元：该单元用于算法训练，以输出相应的模型；

104-联合建模单元：该单元用于联合建模与任务协同，以最终输出最优的联合模型；

105-数据中台：该中台完成数据的各种转换与加工操作，以配合完成数据的协同与增强。具体地，该中台包含相应的数据访问接口、采集单元、拆解单元、表示单元、联合单元，这些单元分别提供对待协同训练之数据的收集、拆解、Embedding表示、联合等操作过程。

如图2为本发明的系统组成图之一。该图示意了一种关于联合建模与任务协同实现的组成关系。其中：

201-数据-1：示意了联合建模与任务协同方法下，AI算法训练用的某个数据；

202-多个数据-2：示意了联合建模与任务协同方法下，AI算法训练用的多个第二数据。所述第一数据与多个第二数据可以保存于数据存储器件、存储模块、或提供外部访问接口的存储系统中。需要说明的，201与202所述的第一与第二并没有严格的区分，201与202所述的一个与多个也不代表具体确定的差异，仅是为描述上的方便；

203-模型训练单元：该单元用于算法训练，以输出相应的模型；

204-联合建模单元：该单元用于联合建模与任务协同，以最终输出最优的联合模型；

205-数据存储接口：该接口用于完成对所需数据的存取操作；

206-数据采集单元：该单元用于数据中台所维护与管理数据的原始采集等操作；

207-数据拆解单元：该单元用于对数据联合所需要的数据拆解操作；

208-数据表示单元：该单元用于对数据联合过程中出现的数据Embedding表示所需要的操作实现；

209-数据联合单元：该单元用于对数据联合所需要的数据关联操作。

如图3为本发明的系统组成图之一。该图示意了联合建模与任务协同实现所需功能组成的进一步划分。其中：

311-数据交互单元：该单元用于提供应用层与中台间的数据交互与数据控制；

312-应用服务单元：该单元用于提供对应用中其它方面的数据操作要求作服务响应；

313-应用采集单元：该单元用于提供对应用的采集使能、数据采集；

321-联合策略单元：该单元用于提供与管理数据间联合所需要的联合策略；

322-模型训练单元：该单元用于执行算法模型的训练过程；

323-联合建模单元：该单元用于对执行训练过程所需要的强化学习过程；

324-模型评估单元：该单元用于所得到的联合模型作评估，评估使用验证数据子集；

331-数据采集单元：该单元用于对采集数据作管理；

332-数据关联单元：该单元用于对拆解后的数据作关联性分析；

333-数据拆解单元：该单元用于对各数据作拆解；

334-数据表示单元：该单元用于对数据联合过程中出现的数据Embedding表示所需要的操作实现；

341-AI建模引擎：该引擎用于提供算法建模所需要的运算支撑；

342-大数据引擎：该引擎用于提供数据其它处理所需要的能力与服务支撑。

如图4为本发明的产品数据示意图之一。该图示意了实施发明方法的产品所使用的数据之一与其它多个数据在映射、拆解与联合过程中的内部表示方式。其中：

401-数据示意1：示意了联合建模与任务协同训练方法下，AI算法训练用的某个数据；

402-多个数据示意2：示意了联合建模与任务协同训练方法下，AI算法训练用的多个第二数据；

403-数据1对应元数据项的示意：该示意了数据对应的元数据项；

404-多个数据2对应元数据项的示意：该示意了多个数据的元数据项；

405-数据1的元数据示意：该示意了数据之一对应的完整元数据；

406-多个数据2的元数据集示意：该示意了多个数据分别对应的元数据形成的元数据集，元数据集的各子集元数据间存在可能相同的元数据项；

407-数据1对应的验证数据：该示意了数据1划分出来的验证数据；

408-数据1的训练数据：该示意了数据1划分出来的训练数据；

409-多个数据2形成数据集：该示意了多个数据集里对应的部分数据子集；

需要说明的是：一方面，401与402所示意的一个与多个数据，其数量关于仅作模糊性的示意，其它部分的元数据层与数据层示意了一种映射关系；另一方面，无论是403～406，还是407～409，都不用于对数据的广度与深度的限定；再一方面，该图的数据关系的简单示意，更非对发明实施的具体限定。

如图5为本发明的产品数据示意图之一。该图示意(假设存在)了一个实施了发明核心方法的样例产品：通过照片直接判断职业与技能特长。先期该产品主要使用简历网站的数据作为样本来训练得到算法模型、再以该模型来识别目标图片的主人之职业与技能特长；在实施了发明核心方法后的产品具有：将简历网站的数据作为样本数据之一，将其它网站可获得的数据作为诸多样本数据之二，通过梳理其它网站的信息得到分门别类的信息，在类型可对应的情况下，将本网店的样本数据与其它网站样本数据进行联合建模与任务协同训练的总样本数据，以此得到新的″图片->职业″的联合识别模型。其中：

501-示意了实施产品的简历网站用来训练模型的样本数据之一即简历数据；

502-示意了实施产品的新闻/论坛/学术等用来训练模型的多种样本数据之新闻数据、论坛数据、学术数据等；

503-示意了描述简历数据的元数据的项；

504-示意了描述新闻/论坛/学术三类数据的元数据的项；

505-示意了描述简历数据的元数据；

506-示意了描述新闻/论坛/学术三类数据的元数据；

507-示意了简历数据集中的验证数据；

508-示意了简历数据集中用作模型训练的训练数据；

509-示意了新闻/论坛/学术三类来源的联合训练数据。

如图6为实现本发明的产品数据示意图之一。该图示意通过对待数据作联合作拆解与联合、并基于该拆解与联合部署联合训练任务的关系。其中：

601-示意了实施发明技术方法的某产品所处理的数据(图示为数据-1)之一，该数据包含将与另一数据(图示为数据-i)进行联合的数据子集；

602-示意了实施发明技术方法的某产品所处理的数据之二(图示为数据-i)，该数据包含将与另一个数据(图示为数据-1)进行联合的数据子集；

611-示意了实施发明技术方法的某产品的数据-1在完成拆解后的结果数据-10，即它明确标识出某部分数据将与其它数据进行联合训练；

612-示意了实施发明技术方法的某产品的数据-1在完成拆解后的结果数据-11，即基于该数据作联合训练；

613-示意了实施发明技术方法的某产品的数据-i在完成拆解后的结果数据-i1，即基于该数据作联合训练；

614-示意了实施发明技术方法的某产品的数据-i在完成拆解后的结果数据-i0，即它明确标识出某部分数据将与其它数据进行联合训练；

621-示意了实施发明技术方法的某产品的数据-10所对应的训练任务A；

622-示意了实施发明技术方法的某产品的数据-11所对应的训练任务B；

623-示意了实施发明技术方法的某产品的数据-i1所对应的训练任务B’；

624-示意了实施发明技术方法的某产品的数据-i0所对应的训练任务C。

需要说明的是：其一，图6仅作为实施发明核心方法的产品部分特征示意，而非产品全部特征示意，更非发明方法与特征的任何限定；其二，实施发明核心方法的产品所处理的数据可能不只两个，这里只仅示意其中的两个；其三，这示意的是数据联合训练的三阶段-即从数据到数据拆解、从数据拆解到联合训练任务部署-的转换与对应关系，其它操作与对应关系不在图中说明。

如图7为实现本发明的操作执行流程图之一。该图示意一个m轮循环作联合神经网络构建与联合模型训练的过程，其中的m代表进行联合的数据的个数，k代表m轮循环中的第k轮次。其中：

10A-加入第k个数据，准备第k轮次的联合神经网络的构建：该操作用于将第k个数据加入联合训练的数据集中，以作联合神经网络的构建；

10B-确定k的联合目标：该操作用于根据强化学习模型参数来确定新加入的第k个数据将要联合的目标数据；

10C-拆解第k个数据：该操作用于根据模型参数来拆解第k个数据；

10D-提取各数据间共同的元数据项：该操作用于在对第k个数据完成拆解后，基于已拆解数据识别数据间的共同元数据项；

10E-将共同元数据的数据项作Embedding表示：该操作用于，识别各拆解后数据间共同的元数据项，并根据这些共同项提取相应的数据，并形成Embedding表示；

10F-根据共同表示构建联合神经网络：该操作用于在前述共同数据的Embedding之上，构建联合神经网络。这样，多个共同元数据项可形成多个联合神经网络；

10G-联合训练得到训练模型：该操作用于使用前述所构建的联合神经网络，部署联合训练任务，加载训练相应的训练数据，得到联合模型。这样，多个联合神经网络可以得到多个联合模型；

10H-得到联合模型相应的回报值：该操作用于使用前述训练所得的联合模型，部署任务，加载相应的验证数据集，从而得到联合模型的回报值集。这样，多个联合模型可以得到回报值集。

如图8为实现本发明的操作执行流程图之一。该图示意一个基于前述回报值集作联合神经网络迭代、并最终得到最优训练模型结果的过程。其中：

20A-初始化与启动第一轮次的迭代：该操作用于启动联合神经网络的迭代，如对强化学习模型参数作必要的初始化，设置迭代轮次等；

20B-得到数据的拆解与联合方式：该操作用于由模型参数以及其它因素决定的数据拆解与联合策略，得到数据的拆解方式；

20C-构建联合神经网络-联合模型训练-得到模型回报值：该操作用于执行前述图7所示的第k轮次联合神经网络-联合训练模型-模型回报值的循环操作过程，取得回报值集；

20D-准备k+1轮次的迭代：该操作用于在k小于m的情况下，准备将第k+1个数据加入迭代过程；

20E-构建强化学习模型：该操作用于数据集的联合方式构建强化学习模型；

20F-强化学习模型训练：该操作用于根据所确定的数据联合方式与强化学习模型，安排联合训练任务，使得训练数据集训练得到联合学习模型；

20G-更新并判定强化学习模型的参数：该操作用于根据验证结果更新强化学习模型参数，并根据模型参数的收敛情况判定是否进行联合学习的迭代；

20J-结束训练：该操作用于，如果前述判定结果为收敛，则结束联合训练。

如图9为实现本发明的操作执行流程图之一。该图示意一个完整的联合训练模型获得的过程。其中：

30A-接收与提取数据集：该操作用于得到待作联合训练的数据集，该数据集由多个数据构成；

30B-划分各数据为训练数据与验证数据：该操作用于对数据要中的各数据进行划分，得到各自的训练数据与验证数据；

30C-初始化强化学习模型参数：该操作用于初始化强化学习模型参数；

30D-加载各数据的拆解与联合策略：该操作用于获取并加载各数据的拆解与联合策略，这些策略用于指导后续迭代过程所需要的数据拆解过程与数据联合过程；

30E-迭代训练：该操作用于调用执行如图8示的操作过程，从而得到最优的学习模型；

30F-输出学习模型：该操作用于获取经过联合训练与强化学习模型训练得到的学习模型；

30G-部署学习模型：该操作用于对最终的学习模型作部署。

在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于单个网络节点内，或者也可以分布到多个网络节点上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，根据具体约束与实现所需，在本申请各个实施例中的各功能组件可以集成在一个组件也可以是各个组件单独物理存在，也可以是两个或两个以上组件集成在一个组件中。上述集成的组件既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的组件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台或一台以上计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着先后执行的严格顺序，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。尽管在此结合各实施例对本申请进行了描述，然而，在实施例所要求保护的本申请过程中，本领域技术人员可理解并实现公开实施例的其他变化。

Claims (9)

1.一种模型训练的任务协同处理方法，所述方法用于AI模型训练，其特征在于，包括：

接收第一数据，所述第一数据为AI训练所使用的样本数据，将所述第一数据加入第一数据集；

生成第二数据，所述第二数据包含第四数据的某个子集，所述第四数据为所述第一数据集中的至少两个第一数据的交集的超集，所述第二数据还包含形成所述交集的所述至少两个第一数据中的一个第一数据；

生成第三数据，所述第三数据为所述第二数据的回报值，所述第三数据用于评估所述第二数据训练所得模型的效果，将所述第三数据加入第三数据集；

生成第五数据，所述第五数据为模型参数，所述第五数据为通过所述第三数据加工生成，对所述第五数据评估收敛特征。

2.根据权利要求1所述方法，其特征在于，所述第三数据的生成过程，还包括：

构建联合神经网络，所述联合神经网络的构建过程包含对所述第四数据的所述子集的确定方式。

3.根据权利要求2所述方法，其特征在于，所述第三数据的生成过程，还包括：

训练所述联合神经网络，得到联合模型；

使用联合模型得到一个所述第三数据。

4.根据权利要求1所述方法，其特征在于，所述第五数据的生成过程，还包括：

通过所述第三数据集，确定所述第五数据。

5.根据权利要求5所述方法，其特征在于，所述第五数据的生成过程，还包括：

比较所述第五数据与第六数据，所述第六数据为所述第五数据收敛效果的阀值。

6.根据权利要求1所述方法，其特征在于，还包括：

确定所述第五数据的收敛特征，在确定收敛的情况下，训练联合神经网络，生成所述第一数据集对应的最优模型集。

7.一种计算机程序，其特征在于，所述计算机程序包含执行权利要求1-7任一所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

9.一种执行计算机程序的装置，其特征在于，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，执行如权利要求1-7任一项所述的方法。

Images