CN109657804A - 云平台下的模型动态训练、校验、更新维护和利用方法 - Google Patents

Abstract

本发明属于机器学习技术领域，公开了一种云平台下的模型动态训练、校验、更新维护和利用方法；资源管理器根据不同业务请求、历史模型训练结果得工作流表；校验数据对模型进行校验将结果通知给资源管理器；服务管理器释放资源；资源管理器重新下发业务给业务池的调度器，启用新的计算模块用于业务模块。本发明减低大量人工标注成本，利用资源管理模块获得大量的模型监控统计数据，用于解决探索和利用两者平衡问题，在此过程中训练的模型和原始数据得到一定程度上的复用，在大量数据累计过后，可以以其优秀的智能编排完成一套高效的工作流。该方法利用云平台的特点，将硬件资源虚拟化，充分利用各个功能模块的特点，将资源加以最大化的利用。

Description

云平台下的模型动态训练、校验、更新维护和利用方法

技术领域

本发明属于机器学习技术领域，尤其涉及云平台下的模型动态训练、校验、更新维护和利用方法。

背景技术

目前，业内常用的现有技术是这样的：

机器学习，是指借助算法来分析数据规律、并利用规律来预测结果的算法，它分为监督学习、无监督学习和强化学习。深度学习是机器学习中神经网络算法的扩展，它是机器学习的第二个阶段--深层学习(第一阶段为浅层学习),其中深度是指神经网络的层数。深度学习本质上是层次特征提取学习的过程，它通过构建多层隐含神经网络模型，利用海量数据训练出模型特征来提取最有利的参数，将简单的特征组合抽象成高层次的特征，以实现对数据或实际对象的抽象表达。由于机器学习的发展，机器学习自动学习数据隐含高等级特征的能力，会随着模型的改进以及训练数据的扩充而逐步提升，这导致深度学习也随之发展，同时也带来了很多亟待解决的问题。

1)数据利用率不高。传统的机器学习需要对每个领域都标定大量训练数据，没有大量的标注数据，会使得很多与学习相关领域与应用无法开展。但当有大量的、在不同分布下的训练数据后，往往只是使用了最优的结果。原始的训练数据和不同阶段的训练模型并没有充分利用起来，造成了一定程度上的浪费。

2)训练模式有待优化。目前，深度学习模型训练在大多数情况下还是以监督学习为主，而监督学习的开展需要大量的人工标注训练样本，这个过程往往会耗费较长的时间，也需要投入大量的人力，极其繁杂。

3)探索和利用两者很难平衡。在实际的应用领域，特别是在大数据环境下，学习的参数个数很多，是一个典型的NP难问题，难以平衡最优化探索和利用。训练样本的多少、训练规模的大小会直接影响模型应用的精度，因此如何平衡训练规模、训练时间、训练精度和基础条件间的关系也是每项工作开展时所急需要解决的问题。

4)缺乏高效的工作流。使用机器学习来解决实际问题时通常包含一系列基本的步骤：数据预处理、特征提取、训练模型、模型验证、模型使用等，可以将其看作是一个包含多个步骤的工作流。许多机器学习库不提供工作流中所需要的全部功能，大多数机器学习库只专注于一项功能，比如数据预处理或者特征提取。因此往往需要使用各种库来拼凑出一条机器学习工作流，这样做既费时又费力。深度学习作为机器学习领域的重大分支，也不可避免的存在着这样的问题，如何创建一个高效的工作流也是亟待解决的问题。

综上所述，现有技术存在的问题是：

(1)现有技术的数据利用率不高；现有的深度学习模型训练在大多数情况下还是以监督学习为主，而监督学习的开展需要大量的人工标注训练样本，这个过程往往会耗费较长的时间，也需要投入大量的人力，极其繁杂，因此训练模式有待优化。

(2)在实际的应用领域，在大数据环境下，学习的参数个数很多，难以平衡最优化探索和利用；且缺乏高效的工作流。实际应用机器学习来解决问题的过程中，如何利用已有云资源来解决任务调度、异构资源管理、容错恢复、与存储系统交互问题。1.任务调度，对已有业务的量化编排，即任务流表的编排调度问题。2.异构资源管理，对于一个工作流而言，不同阶段的处理，所需要的平台资源不同。面对不同的服务，所需要针对性的云平台资源。如何管理并利用云平台的资源需要解决这一问题。其中包括采集、标注、训练、业务处理每一个步骤，如：采集过程中的网络通讯开销问题，标注过程中大量的CPU和少量的GPU资源协同问题，训练过程中GPU调度问题，以及业务资源保障问题等。3.容错恢复，如何将工作流进行模块化的服务切分，便于服务故障恢复和数据保护。4.存储系统交互，在采集、标注、训练、业务处理每一个步骤中如何解决工作流的数据流动交互问题。还需要对不同类型的数据进行差分存储处理。(缓冲仓、固定仓)

以及对云平台数据的利用与保护。

解决上述技术问题的难度和意义：

技术难点在于在提高数据利用率和降低人工成本和时间成本的基础上，如何以高效的工作流完成云平台下模型动态训练、检验、更新维护和利用。通过对原始模型数据和原始标注数据的利用不仅提高了数据的利用率，同时也降低了新增数据的标注成本，此外以历史训练详情作为先验经验，在一定程度上解决探索和利用的矛盾。最重要的是可以利用云平台整合出来的资源，根据工作流各个阶段的特点，来定制化功能池，以此来最大化使用云平台的资源，打造一条高效可靠的工作流。

发明内容

针对现有技术存在的问题，本发明提供了一种云平台下的模型动态训练、校验、更新维护和利用方法。

本发明是这样实现的，一种云平台下的模型动态训练、校验、更新维护和利用方法，具体包括以下步骤：

步骤一：模型动态训练：收到不同的业务请求时，将业务请求发送到资源管理器，资源管理器根据不同的业务请求，根据历史模型训练统计结果得到对应业务的编排工作流表，在工作流表的编排下完成数据的采集、标注和训练工作；

步骤二：模型校验：通过在标注过程中产生的校验数据对模型进行校验，将达到预期的模型进行存储，并将结果通知给资源管理器；

步骤三：模型更新维护：资源管理器将本次训练的详细情况加以记录，用于指导下一次训练；同时通知服务管理器停止相应的旧的计算模块，服务管理器释放资源；

步骤四：模型利用：在释放完失效的计算模块后，资源管理器会重新下发业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

进一步，步骤一中，流表中记录了启动采集、标注、训练服务时所需要的详细信息。

进一步，模型动态训练、校验、更新维护的方法，具体为：

在资源管理器接收到一个工作流的任务时，根据此刻云平台运行的状况计算流表，并下发给各个服务池的调度器；

在采集池中调度器在收到工作流表后，根据任务详情开始采集对应请求节点上的训练原始数据。

进一步，步骤四中，模型的更新利用方法，具体为：

资源管理器在收到通知后，会通知服务管理器停止相应的旧的计算模块，服务管理器在释放资源后，资源管理器会重新下发该业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

本发明的另一目的在于提供一种云平台系统，包括有控制中心、服务器、存储池；

控制中心，包括有资源管理和服务管理器；

服务池，包括采集池、标注池、训练池和业务池；

存储池，包括固定仓和缓存仓。

进一步，资源管理，具体包括以下功能：

(1)用于监控云平台中各个功能池中的网络、计算、内存、io资源使用情况；

(2)用于云平台所有模型数据的监控统计；包括原始标注数据的整理分类情况、存储位置、原始标注结果和历史参与模型训练统计；模型数据的整理分类情况、每个模型的详细描述(该模型对应的训练集和测试集、模型的精细度、训练的时间、训练的结果)；

(3)具备一个工作流的编排能力：根据丰富的资源管理历史数据可人为指定编排工作流或智能推荐编排工作流；将编排的工作流表下发到每一个池对应的调度器中。

进一步，流表具体包括以下信息：

1)一个工作流的任务详情；

2)对应先验模型信息表；该任务是否对应先验模型，如果有则附带该模型的详细描述这里记为1，相反记为0；

3)数据校验策略表；即根据请求任务确认是否在先验模型对应的源数据集中随机抽取一部分数据做新模型校验；如果任务不做特殊要求则直接按比例抽取新采集的数据集作为模型校验集；在这里前者记为1，后者记为0。

进一步，服务管理器，具有以下功能：

(1)用于云平台上所有服务监控，其中包括采集、标注、训练、业务等每个工作流对应的服务运行状态监控；

(2)用于维护每个工作流的健康状态，确保每一个工作流都可以完整的运行，在任务完成后可以释放各个功能池的资源；

(3)确保同一工作流不同服务之间的数据流传输正常。

进一步，服务池，服务池中的各池的任务调度器负责向各个功能池中的节点分配任务，并且监控服务运行状态，将每一个服务的运行转态反馈给服务管理器，确保每一个工作流的正常运行和完成后资源释放。

进一步，服务池，根据每类服务的各自的特点将服务池分为采集池、标注池、训练池、业务池；

采集池需要高带宽节点确保工作流高效性；标注池带有少量的计算节点用于模型的先验操作，同时要能够满足高并发web访问，用于人工标注数据；训练池中需要大量的计算节点，用于模型的训练、增强、重构和校验；业务池根据具体的业务进行调整。

进一步，存储池，根据平台利用数据的方式分为固定仓和缓存仓；固定仓用来存储不经常使用的数据；缓存仓用于存储临时数据；临时数据在一个工作流完成后会随着服务的结束而清除，固定仓的数据则不会。

综上所述，本发明的优点及积极效果为：

本发明用半监督学习与增强学习相结合的方法用于减低大量人工标注成本，同时利用资源管理模块获得大量的模型监控统计数据，用于解决探索和利用两者平衡问题，在此过程中训练的模型和原始数据也得到一定程度上的复用，在大量数据累计过后，可以以其优秀的智能编排完成一套高效的工作流。该方法利用云平台的特点，将硬件资源虚拟化，充分利用各个功能模块的特点，将资源加以最大化的利用。例如：

利用1200张纸箱标注数据所训练出来的纸箱模型，去识别塑料薄膜包装的易拉罐和矿泉水，发现识别效果不达预期。100个测试样本，随后进行测试，识别率仅达到了98.5％，如图6和图7所示。针对这类问题，在根据历史训练数据分析后，对增加500个塑料薄膜包装的易拉罐和矿泉水数据，进行纸箱模型的先验预处理后进行人工修正标注，对纸箱模型进行增强训练，得到新模型，对100个测试样本，随后进行测试，识别率达到了99.6％，结果到达预期。

附图说明

图1是本发明实施例提供的云平台下的模型动态训练、校验、更新维护和利用方法流程图。

图2是本发明实施例提供的云平台的深度模型动态训练、校验、维护和使用功能示意图。

图3是本发明实施例提供的模型动态训练、校验、更新方法流程图。

图4是本发明实施例提供的模型更新利用方法流程图。

图5是本发明实施例提供的存储池一个工作数据流交互过程流程图。

图6和图7是本发明实施例提供的测试结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理进行详细的说明；

如图1所示，本发明实施例提供的云平台下的模型动态训练、校验、更新维护和利用方法，具体包括以下步骤：

S101：模型动态训练：收到不同的业务请求时，将业务请求发送到资源管理器，资源管理器根据不同的业务请求，根据历史模型训练统计结果得到对应业务的编排工作流表，在工作流表的编排下完成数据的采集、标注和训练工作；

S102：模型校验：通过在标注过程中产生的校验数据对模型进行校验，将达到预期的模型进行存储，并将结果通知给资源管理器；

S103：模型更新维护：资源管理器将本次训练的详细情况加以记录，用于指导下一次训练；同时通知服务管理器停止相应的旧的计算模块，服务管理器释放资源；

S104：模型利用：在释放完失效的计算模块后，资源管理器会重新下发业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

步骤S101中，本发明实施例提供的流表中记录了启动采集、标注、训练服务时所需要的详细信息。

本发明实施例提供的模型动态训练、校验、更新维护的方法，具体为：

在资源管理器接收到一个工作流的任务时，根据此刻云平台运行的状况计算流表，并下发给各个服务池的调度器；

在采集池中调度器在收到工作流表后，根据任务详情开始采集对应请求节点上的训练原始数据。

步骤S104中，本发明实施例提供的模型的更新利用方法，具体为：

资源管理器在收到通知后，会通知服务管理器停止相应的旧的计算模块，服务管理器在释放资源后，资源管理器会重新下发该业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

如图2所示，本发明实施例提供的云平台的深度模型动态训练、校验、维护和使用功能示意图。

如图2所示，本发明实施例提供的云平台系统，包括有控制中心、服务器、存储池；

控制中心，包括有资源管理和服务管理器；

服务池，包括采集池、标注池、训练池和业务池；

存储池，进行工作数据交互，包括固定仓和缓存仓。

本发明实施例提供的资源管理，具体包括以下功能：

(1)用于监控云平台中各个功能池中的网络、计算、内存、io资源使用情况；

(2)用于云平台所有模型数据的监控统计；包括原始标注数据的整理分类情况、存储位置、原始标注结果和历史参与模型训练统计；模型数据的整理分类情况、每个模型的详细描述(该模型对应的训练集和测试集、模型的精细度、训练的时间、训练的结果)；

(3)具备一个工作流的编排能力：根据丰富的资源管理历史数据可人为指定编排工作流或智能推荐编排工作流；将编排的工作流表下发到每一个池对应的调度器中。

本发明实施例提供的流表具体包括以下信息：

1)一个工作流的任务详情；

2)对应先验模型信息表；该任务是否对应先验模型，如果有则附带该模型的详细描述这里记为1，相反记为0；

3)数据校验策略表；即根据请求任务确认是否在先验模型对应的源数据集中随机抽取一部分数据做新模型校验；如果任务不做特殊要求则直接按比例抽取新采集的数据集作为模型校验集；在这里前者记为1，后者记为0。

本发明实施例提供的服务管理器，具有以下功能：

(1)用于云平台上所有服务监控，其中包括采集、标注、训练、业务等每个工作流对应的服务运行状态监控；

(2)用于维护每个工作流的健康状态，确保每一个工作流都可以完整的运行，在任务完成后可以释放各个功能池的资源；

(3)确保同一工作流不同服务之间的数据流传输正常。

本发明实施例提供的服务池，服务池中的各池的任务调度器负责向各个功能池中的节点分配任务，并且监控服务运行状态，将每一个服务的运行转态反馈给服务管理器，确保每一个工作流的正常运行和完成后资源释放。

本发明实施例提供的服务池，根据每类服务的各自的特点将服务池分为采集池、标注池、训练池、业务池；

采集池需要高带宽节点确保工作流高效性；标注池带有少量的计算节点用于模型的先验操作，同时要能够满足高并发web访问，用于人工标注数据；训练池中需要大量的计算节点，用于模型的训练、增强、重构和校验；业务池根据具体的业务进行调整。

本发明实施例提供的存储池的工作数据交互工程，具体为：

(1)根据任务情况将数据进行分类处理得到待处理的数据；

(2)根据工作流表使用标注服务奖标注数据和校验数据放在工作流表编排的存储单元或存储位置处(以下简称存储位置)，校验数据也会根据工作流表决定是否获取原始标注放在指定的校验数据存储位置，在加载模型到指定位置后，开始进行模型训练；

(3)在模型训练完成后，随即进行模型校验数据检验，满足预期后就将新模型更新到模型仓库，同时标注数据也更新带对应的原始数据仓中；

(4)原始数据仓和模型数据仓会将整个模型更新的过程以及对应的信息更新到资源列表中，以备使用。

本发明实施例提供的存储池，根据平台利用数据的方式分为固定仓和缓存仓；固定仓用来存储不经常使用的数据；缓存仓用于存储临时数据；临时数据在一个工作流完成后会随着服务的结束而清除，固定仓的数据则不会。

如图3所示，本发明实施例提供的模型动态训练、校验、更新方法流程图。

在资源管理器接收到一个工作流的任务时，首先根据此刻云平台运行的状况计算流表，并下发给各个服务池的调度器。在采集池中调度器在收到工作流表后，根据任务详情开始采集对应请求节点上的训练原始数据。

在标注池的调度器收到工作流表一个，开始监听对应的采集服务是否完成采集工作，并启动相应的标注服务。如果数据校验策略表为1则根据工作流表中的数据校验策略表中的源数据抽取策略进行校验数据抽取，此外对新增的待处理数据也根据策略表进行随机抽取，这两部分数据一起用于数据校验，剩余带处理数据用于数据训练。如果数据校验策略表为0，则直接根据该策略表抽取一部分数据用于数据校验，剩余用于数据训练。如果工作流表中的先验模型信息表为1则标注服务会去固定仓中拉取相应的先验模型，等待训练数据准备完成后，进行对新增数据进行标注请求操作，在完成标注请求之后，人工在将不合理的标注数据进行手动修改以备用于训练。如果工作流表中的先验模型信息表为0，则直接对待训练数据进行人工标记。

在训练池中的调度器收到该工作流表时，开始时监听对应的标注服务是否完成标注工作，在收到标注完成信号后，开始启动训练服务。根据工作流表内容如果先验模型信息表为1则直接选用标注池中拉取的先验模型对待训练数据进行训练。反之则选用对应任务的基础模型进行拉取训练。在训练完成后使用校验数据对训练模型进行结果校验，如果满足预期值则将新模型更新到对应的固定仓中的模型库中，并将结果通知给资源管理器。

在一个工作流对应的采集、标注、和训练服务进行工作时各服务池中的调度器，定时把服务转态反馈给服务管理器，如果一个工作流有多个模型更新请求，那么标注、训练服务会根据工作流表启用对应数量的服务以满足需求。在服务受到意外中断时，服务管理器在检测到这一变化后，会再启用一个新的服务挂载未完成的数据继续工作。

如图4所示，本发明实施例提供的模型更新利用方法流程图。

在业务模块收到业务请求时，该模块会将业务请求发送到资源管理器，资源管理器下发工作流给各自的调度器后进而开始采集、标注、训练服务，在训练完成后通过校验并达到预期的模型，并将结果通知给资源管理器。资源管理器在收到通知后，会通知服务管理器停止相应的旧的计算模块，服务管理器在释放资源后，资源管理器会重新下发该业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

如图5所示，本发明实施例提供的存储池一个工作数据流交互过程流程图。

在采集到新增数据后，由于一个工作流可能对应处理多类数据，所以首先要根据任务情况将数据进行分类处理得到待处理的数据，在根据工作流表使用标注服务奖标注数据和校验数据放在工作流表编排的存储单元或存储位置处(以下简称存储位置)，校验数据也会根据工作流表决定是否获取原始标注放在指定的校验数据存储位置，在加载模型到指定位置后，开始进行模型训练，在模型训练完成后，随即进行模型校验数据检验，满足预期后就将新模型更新到模型仓库，同时标注数据也更新带对应的原始数据仓中。原始数据仓和模型数据仓会将整个模型更新的过程以及对应的信息更新到资源列表中，以备使用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种云平台下的模型动态训练、校验、更新维护和利用方法，其特征在于，所述云平台下的模型动态训练、校验、更新维护和利用方法包括以下步骤：

步骤一：收到不同的业务请求时，将业务请求发送到资源管理器，资源管理器根据不同的业务请求，根据历史模型训练统计结果得到对应业务的编排工作流表，在工作流表的编排下完成数据的采集、标注和训练工作；

步骤二：通过在标注过程中产生的校验数据对模型进行校验，将达到预期的模型进行存储，并将结果通知给资源管理器；

步骤三：资源管理器将本次训练的详细情况加以记录，用于指导下一次训练；同时通知服务管理器停止相应的旧的计算模块，服务管理器释放资源；

步骤四：在释放完失效的计算模块后，资源管理器会重新下发业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

2.如权利要求1所述的云平台下的模型动态训练、校验、更新维护和利用方法，其特征在于，所述步骤一中，流表中记录启动采集、标注、训练服务时的详细信息。

3.如权利要求1所述的云平台下的模型动态训练、校验、更新维护和利用方法，其特征在于，所述模型动态训练、校验、更新维护的方法具体为：

(1)在资源管理器接收到一个工作流的任务时，根据此刻云平台运行的状况计算流表，并下发给各个服务池的调度器；

(2)在采集池中调度器在收到工作流表后，根据任务详情开始采集对应请求节点上的训练原始数据。

4.如权利要求1所述的云平台下的模型动态训练、校验、更新维护和利用方法，其特征在于，所述步骤四中，模型的更新利用方法具体为：

资源管理器在收到通知后，会通知服务管理器停止相应的旧的计算模块，服务管理器在释放资源后，资源管理器会重新下发该业务给业务池的调度器，让调度器启用新的计算模块用于该业务模块。

5.一种实现权利要求1所述云平台下的模型动态训练、校验、更新维护和利用方法的云平台系统，其特征在于，所述的云平台系统包括：

控制中心，包括有资源管理模块和服务管理器；资源管理模块用于监控云平台中各个功能池中的网络、计算、内存、io资源使用情况；用于云平台所有模型数据的监控统计；根据丰富的资源管理历史数据可人为指定编排工作流或智能推荐编排工作流；将编排的工作流表下发到每一个池对应的调度器中；服务管理器用于云平台上所有服务监控；维护每个工作流的健康状态；确保同一工作流不同服务之间的数据流传输正常；

服务池，包括采集池、标注池、训练池和业务池；用于向各个功能池中的节点分配任务，并且监控服务运行状态，将每一个服务的运行转态反馈给服务管理器，确保每一个工作流的正常运行和完成后资源释放；

存储池，包括固定仓和缓存仓；固定仓用于存储不经常使用的数据；缓存仓用于存储临时数据；临时数据在一个工作流完成后会随着服务的结束而清除，固定仓的数据则不会。

6.如权利要求5所述的云平台系统，其特征在于，所述服务池分为采集池、标注池、训练池、业务池；

采集池；

标注池，用于人工标注数据；

训练池中，用于模型的训练、增强、重构和校验；

业务池，根据具体的业务进行调整。

7.一种实现权利要求1～4任意一项所述云平台下的模型动态训练、校验、更新维护和利用方法的计算机程序。

8.一种实现权利要求1～4任意一项所述云平台下的模型动态训练、校验、更新维护和利用方法的信息数据处理终端。

9.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的云平台下的模型动态训练、校验、更新维护和利用方法。