CN113780466A - 模型迭代优化方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请提供一种模型迭代优化方法、装置、电子设备和可读存储介质，基于采集的训练样本集对构建的模型进行训练得到初步模型，再将初步模型部署至目标应用环境中，基于初步模型对目标应用环境中采集到的数据进行处理得到处理结果，并从数据中筛选出目标数据，将目标数据加入至训练样本集以对训练样本集进行更新，利用更新后的训练样本集对初步模型进行迭代优化训练，直至满足预设要求。该方案，在初步训练的基础上，部署至目标应用环境以筛选目标数据加入到训练样本集中继续训练，利用的训练样本可与实际应用环境相符，且采用从中筛选出目标数据加入到训练样本集的方式，可有效地提高训练样本集的质量，从而提升模型训练效果。

Description

模型迭代优化方法、装置、电子设备和可读存储介质

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种模型迭代优化方法、装置、电子设备和可读存储介质。

背景技术

机器学习是人工智能的一个分支，机器学习理论主要是设计和分析一些让计算机可以自动学习的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、语音和手写识别和机器人等领域。

在机器学习的应用过程中，往往涉及到模型的训练过程，模型训练的优良程度直接影响到后续应用中模型的预测准确性。模型的训练需要基于学习样本的特征学习实现，但是，现有方式中往往由于学习样本有限、学习样本与实际应用环境并未完全贴合，或者是无策略地扩充学习样本等，导致模型训练效果不佳。

发明内容

本申请的目的包括，例如，提供了一种模型迭代优化方法、装置、电子设备和可读存储介质，其能够有效提高训练样本集的质量，进而提升模型训练效果。

本申请的实施例可以这样实现：

第一方面，本申请提供一种模型迭代优化方法，所述方法包括：

基于采集的训练样本集对构建的模型进行训练，得到初步模型；

将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果；

基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新；

利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

在可选的实施方式中，各所述数据的处理结果携带有置信度分值；

所述基于所述目标应用环境中的数据的处理结果，筛选出目标数据的步骤，包括：

获得所述目标应用环境中各所述数据的处理结果携带的置信度分值；

筛选出所述数据中置信度分值超过预设阈值的数据，从筛选出的数据中确定出目标数据。

在可选的实施方式中，所述训练样本集中包含多个类别的训练样本；

所述从筛选出的数据中确定出目标数据的步骤，包括：

获得所述训练样本集中各类别的训练样本各自的样本数；

确定出样本数最多的一类训练样本，并将其余类别的训练样本的样本数与所述样本数最多的一类训练样本的样本数进行比对，以确定出目标类别；

获得筛选出的数据中属于所述目标类别的数据，以作为目标数据。

在可选的实施方式中，所述从筛选出的数据中确定出目标数据的步骤，包括：

根据所述训练样本集中的训练样本的特征信息计算得到数据集方差；

针对筛选出的各所述数据，在将所述数据加入所述训练样本集且所述训练样本集的数据集方差降低的情况下，确定该数据为目标数据。

在可选的实施方式中，各所述训练样本和各所述数据为图像数据，所述特征信息为图像分辨率或图像尺寸。

在可选的实施方式中，筛选的数据包括多个类别的数据；

所述从筛选出的数据中确定出目标数据的步骤，包括：

针对筛选出的各个类别的数据，根据该类别的数据的处理结果计算得到该类别的设定指标值；

在所述设定指标值低于预设值时，将该类别的数据确定为目标数据。

在可选的实施方式中，所述方法还包括：

获得用户基于筛选出的数据的处理结果以及所述数据的真实结果，从筛选出的数据中指定的目标数据，所述指定的目标数据用于对所述训练样本集进行更新。

在可选的实施方式中，所述在将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新的步骤之前，所述方法还包括：

根据获得的修正信息对所述目标数据的处理结果进行修正，以作为所述目标数据的标签。

在可选的实施方式中，所述将所述初步模型部署至目标应用环境中的步骤，包括：

将所述初步模型进行量化处理；

将量化处理后的初步模型与所述目标应用环境所在平台的SDK组装形成可运行的算法数据包；

将所述算法数据包加载部署至所述目标应用环境，并提供所述算法数据包的接口。

第二方面，本申请提供一种模型迭代优化装置，所述装置包括：

训练模块，用于基于采集的训练样本集对构建的模型进行训练，得到初步模型；

处理模块，用于将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果；

筛选模块，用于基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新；

优化模块，用于利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

第三方面，本申请提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述实施方式中任意一项所述的方法步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现前述实施方式中任意一项所述的方法步骤。

本申请实施例的有益效果包括，例如：

本申请提供一种模型迭代优化方法、装置、电子设备和可读存储介质，通过基于采集的训练样本集对构建的模型进行训练得到初步模型，再将初步模型部署至目标应用环境中，基于初步模型对目标应用环境中采集到的数据进行处理得到处理结果，基于目标应用环境中的数据的处理结果，筛选出目标数据，将目标数据加入至训练样本集以对训练样本集进行更新，利用更新后的训练样本集对初步模型进行迭代优化训练，直至满足预设要求。该方案，在初步训练的基础上，部署至目标应用环境以筛选目标数据加入到训练样本集中继续训练，利用的训练样本可与实际应用环境相符，且采用从中筛选出目标数据加入到训练样本集的方式，可有效地提高训练样本集的质量，从而提升模型训练效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的模型迭代优化方法的流程图；

图2为图1中步骤S130包含的子步骤的流程图；

图3为图2中步骤S132包含的子步骤的流程图之一；

图4为图2中步骤S132包含的子步骤的流程图之二；

图5为图2中步骤S132包含的子步骤的流程图之三；

图6为本申请实施例提供的模型迭代优化方法的另一流程图；

图7为本申请实施例提供的各个处理单元的交互示意图；

图8为本申请实施例提供的电子设备的结构框图；

图9为本申请实施例提供的模型迭代优化装置的功能模块框图。

图标：110-存储器；120-处理器；130-电源组件；140-通信组件；150-输入/输出接口；160-模型迭代优化装置；161-训练模块；162-处理模块；163-筛选模块；164-优化模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

请参阅图1，为本申请实施例提供的模型迭代优化方法的流程图，该模型迭代优化方法有关的流程所定义的方法步骤可以由数据处理相关的电子设备实现。下面将对图1所示的具体流程进行详细阐述。

步骤S110，基于采集的训练样本集对构建的模型进行训练，得到初步模型。

步骤S120，将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果。

步骤S130，基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新。

步骤S140，利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

本实施例中，所述的训练样本集为采集的历史时段内的训练样本构成的集合，其中，在不同的应用场景下，训练样本的具体形式不同，例如可以是图片形式、文本形式、音频形式等不限。本实施例中，主要是针对例如监控应用场景下的模型训练，因此，训练样本可以是图片形式的训练样本。

各个训练样本携带有样本标签，例如，若模型用于检测图片中是否具有人脸，则训练样本的标签可包括表征训练样本中包含人脸、表征训练样本中不包含人脸或表征不确定训练样本中是否包含人脸等。

首先，利用携带有样本标签的训练样本对构建的模型进行训练，其中，构建的模型可以是神经网络模型，包括但不限于多层感知机、卷积神经网络、残差收缩网络等。在利用训练样本对构建的模型训练过程中，模型将对输入的训练样本进行处理，并得到模型输出标签。通过将训练的样本标签与模型输出标签比对，并基于比对结果调整模型参数再多次训练的方式，可以对模型进行一定程度的优化，在满足一定的条件时，可以得到利用训练样本集训练得到的初步模型。

得到的初步模型可以满足一定的预测要求，但是，由于采集的训练样本的场景可能相较于当前的场景具有一定差异，而不同场景下实际产生的数据将具有差异，若利用完全基于采集的训练样本集训练得到的初步模型直接投入正式应用，可能由于场景的变化导致检测准确率较低。

因此，本实施例中，为了提升模型的检测准确率，在上述基础上，将得到的初步模型部署至目标应用环境中，并采集目标应用环境中的数据。例如，目标应用环境可以是如监控应用环境，则初步模型可部署至对该监控应用环境采集的数据进行处理的平台中，如监控设备中的监控平台或与监控设备通信的后台处理设备的监控平台等。

如此，采集的目标应用环境中的数据可输入至初步模型进行处理，得到处理结果。

本实施例中，通过将初步模型部署至目标应用环境以提升模型的检测准确率，主要是借助利用目标应用环境中采集的数据对训练样本集进行扩充的方式来实现。而在确定如何对训练样本集进行扩充时，主要是基于目标应用环境中的数据的处理结果，筛选出部分数据，并从中确定出目标数据，将目标数据加入至训练样本集中以对训练样本集进行更新，从而达到扩充样本的目的。

如此，更新后的训练样本集是基于目标应用环境中的且筛选出的目标数据进行扩充得到，使得所利用的数据能够与当前实际的应用场景相符，并且，基于一定策略进行筛选得到的，可有效保障扩充后的训练样本集的质量。

在此基础上，利用更新后的训练样本集对初步模型进行迭代优化训练，直至满足预设要求时可停止训练。例如，预设要求可以是迭代次数达到预设最大次数，或模型的预测指标可满足预设指标要求、或迭代优化的时间达到预设最长时间等不限。

在初步模型的多次迭代优化过程中，针对每轮迭代优化，可在上一轮迭代优化利用的训练样本集的基础上，再按照上述的方式筛选出目标数据，利用目标数据对上一轮的训练样本集进行更新，以作为当前轮的训练样本集以对上一轮得到的模型进行继续训练。并且，可以将当前轮得到的模型的预测指标与上一轮的模型的预测指标进行比对，若当前轮的模型的预测指标相较于上一轮的模型的预测指标更优，则可以保留当前轮得到的模型，并在当前轮得到的模型的基础上，执行下一轮的模型的迭代优化。而若当前轮的模型的预测指标相较于上一轮的模型的预测指标更差，则可以放弃当前轮优化得到的模型，并对训练样本集进行更新之后，在上一轮的模型的基础上执行下一轮的模型的迭代优化。

如此，可以增加用户操作的灵活性，避免质量较差甚至是负向的迭代导致模型预测指标降低的缺陷。

本实施例所提供的模型迭代优化方法，可以在利用训练样本集训练得到初步模型的基础上，将初步模型部署至目标应用环境中，从而从目标应用环境中筛选出目标数据添加至训练样本集中，进而利用更新的训练样本集对初步模型进行继续迭代优化，直至满足预设要求为止。通过该方式，可以使得所利用的训练样本更加符合实际应用场景的特性，提高训练样本集的质量，进而提升训练得到的模型的准确性。

本实施例中，在将初步模型部署至目标应用环境中的步骤中，可以先将初步模型进行量化处理，将量化处理后的初步模型与目标应用环境所在平台的SDK(SoftwareDevelopment Kit，软件开发工具包)组装形成可运行的算法数据包，将该算法数据包加载部署至目标应用环境，并提供该算法数据包的接口。

如此，在目标应用环境中采集的数据可通过提供的接口传入，算法数据包运行在目标应用环境，并结合传入的数据进行分析处理，进而得到数据的处理结果。

由上述可知，得到的初步模型仅为基于历史时段内的训练样本集进行训练得到，在部署到目标应用环境中进行处理时，得到的数据的处理结果可能效果不佳。请参阅图2，在从目标应用环境中采集的数据筛选出部分目标数据时，可以通过以下方式实现：

步骤S131，获得所述目标应用环境中各所述数据的处理结果携带的置信度分值。

步骤S132，筛选出所述数据中置信度分值超过预设阈值的数据，从筛选出的数据中确定出目标数据。

本实施例中，通过初步模型对目标应用环境中的数据进行处理得到处理结果，各个数据的处理结果携带有置信度分值，该置信度分值可体现模型对数据的判别结果的置信度。

若置信度分值较低，则表明初步模型对于该数据的判别结果的确定性较低，若置信度分值较高，则表明初步模型对于该数据的判别结果的确定性较高。因此，为了避免处理结果确定性较低的数据加入到训练样本集后，对于模型的迭代训练可能产生的不良影响，因此，可将数据中置信度分值较低的数据滤除，从而筛选出数据中置信度分值超过预设阈值的目标数据，将目标数据加入到训练样本集中。

此外，本实施例中，在上述基础上，还可以将一些质量较差的数据、产生时间为非常规时间的数据滤除，例如，在数据为图像数据时，可以滤除掉其中图像质量较差的图像数据。或者，若模型主要用于在某个时间段内进行检测，例如工作日进行检测，则所述的非常规时间可以是除工作日时间之外的其他时间，即可以将非工作日时间采集的数据进行滤除。从而避免这些质量较差、对于任务无关的数据造成的影响。

本实施例中，由于上述的初步模型为利用训练样本集进行初步训练得到，利用初步模型进行处理得到的处理结果还是可以保持较高的准确性。为了更为有针对性地对训练样本集进行扩充添加，本实施例中，可以从不同的角度在上述基础上，进一步筛选出有针对性的数据添加到训练样本集中。

在一种可能的实现方式中，可以从数据类别角度对训练样本集进行扩充更新，详细地，请参阅图3，上述步骤S132可以包含以下子步骤。

步骤S1321A，获得所述训练样本集中各类别的训练样本各自的样本数。

步骤S1322A，确定出样本数最多的一类训练样本，并将其余类别的训练样本的样本数与所述样本数最多的一类训练样本的样本数进行比对，以确定出目标类别。

步骤S1323A，获得筛选出的数据中属于所述目标类别的数据，以作为目标数据。

本实施例中，训练样本集中包含多个类别的训练样本，例如上述的若检测图像中是否具有人脸，则可以包含图像中包含人脸的图像类别、图像中不包含人脸的图像类别。

训练样本集中各个类别的训练样本的数量可能分布不均匀，有些类别的数据可能占比很大、有些可能占比很小。这样导致模型进行特征学习时，对于一些数据量较少的训练样本可能存在特征学习不全面的问题，从而导致模型在实际应用阶段，对于这类数据可能存在预测准确率较低的问题。

基于此，本实施例中，可以获得训练样本集中各个类别的训练样本各自的样本数，例如，假设训练样本集中包含三个类别的训练样本，分别为类别A、类别B和类别C。其中，获得的类别A的训练样本的样本数为a、获得的类别B的训练样本的样本数为b、获得的类别C的训练样本的样本数为c。

确定出样本数最多的一类训练样本，将其余类别的训练样本的样本数与样本数最多的一类训练样本的样本数进行比对，以确定出目标类别。

例如，假设上述的类别A的训练样本的样本数最多，可将类别B和类别C分别与类别A的样本数进行比对，以判断是否为目标类别。作为一种示例，本实施例中，可分别计算b/a以及c/a，若结果小于预设值，例如0.5，则表明对应类别的样本的样本数较少，可以进行扩充，也即可以将对应的类别确定为目标类别。

而相应地，在目标应用环境中采集的数据同样包含多个类别，在确定出训练样本集中的目标类别后，可以将采集到的数据中属于该目标类别的数据作为目标数据。如此，可对原有的样本数较少的目标类别进行样本扩充，避免了由于某些类别的样本数过少，导致样本分布不平衡、模型特征学习效果不佳的问题。

此外，用于表征样本的分布情况的指标还包括方差，方差越大则样本分布离散程度越大，反之则样本分布离散程度越小。为了降低样本分布中出现的一些偏离正常情况较大的数据对离散程度造成的影响，在本实施例中，在一种可能的实现方式中，请参阅图4，还可以通过以下方式从筛选出的数据中确定出目标数据。

步骤S1321B，根据所述训练样本集中的训练样本的特征信息计算得到数据集方差。

步骤S1322B，针对筛选出的各所述数据，在将所述数据加入所述训练样本集且所述训练样本集的数据集方差降低的情况下，确定该数据为目标数据。

本实施例中，训练样本集中的训练样本可以是图像数据，相应地，目标应用环境下采集的各个数据可以是图像数据。其中，训练样本和数据的特征信息可以是图像分辨率或图像尺寸，图像尺寸可以为图像长宽比、图像长度、图像宽度等。

训练样本集中包含多个训练样本，可基于训练样本集中训练样本的特征信息计算得到数据集方差，也即，可以基于训练样本的图像分辨率计算得到表征图像分辨率离散程度的数据集方差，或者可以基于训练样本的图像尺寸计算得到表征图像持续离散程度的数据集方差。其中，数据集方差的具体计算方式可参见现有常规方式，本实施例在此不作赘述。

而针对目标应用环境中采集的各个数据，在确定是否将对应数据作为目标数据时，可以先假设将数据添加至训练数据集中，再计算添加了该数据之后的训练数据集的数据集方差。若添加之后计算得到的数据集方差小于添加之前计算得到的数据集方差，则可以将对应数据确定为目标数据，并正式将该数据添加至训练数据集中。

本实施例中，作为一种示例，假设目标应用环境中采集的数据的特征信息表征为X，训练样本集的数据集方差表示为S，训练样本集中训练样本的数量为n，训练样本的特征信息的平均值为M。则若有(n*S+(X-M)^2)/(n+1)<S，则表明新加入数据之后数据集方差降低，可将数据作为目标数据。

此外，在本实施例中，对于训练样本集的数据集方差的更新，可以是在每加入一个数据的情况下，即进行更新，如此，可以保障数据集方差的及时更新。也可以是在加入多个数据之后，再进行数据集方差的更新，对此本实施例不作限制。

通过以上方式，基于添加数据前后的训练数据集方差的方式判断是否将数据确定为目标数据，可以从样本分布的离散程度的角度进行样本的扩充，从而降低训练样本集的离散程度。

本实施例中，通过以上方式可以将一些对于训练样本集有益的数据添加至训练样本集中，例如上述的对于类别分布平衡有益的数据、对于样本分布离散程度有益的数据等。而目标应用场景中还存在一些可能利用目前的初步模型进行处理，但是处理效果不佳的数据，对于这类数据为了提高后续正式应用阶段的效果提升，也可以将这类数据添加至训练样本集中，从而使初步模型能够更多地对这类数据进行特征学习，提升预测效果。

本实施例中，在一种可能的实现方式中，可以基于指标异常筛选的方式确定目标数据，详细地，请参阅图5，可以通过以下方式实现：

步骤S1321C，针对筛选出的各个类别的数据，根据该类别的数据的处理结果计算得到该类别的设定指标值。

步骤S1322C，在所述设定指标值低于预设值时，将该类别的数据确定为目标数据。

本实施例中，所述的设定指标值可为F1值，F1值可根据预测准确率和召回率计算得到。详细地，针对各个类别的数据，预测准确率可根据正确预测为该类别数据占实际预测为该类别数据的比例计算得到，例如预测准确率＝TP/(TP+FP)，而召回率可根据正确预测为该类别数据占该类别数据的比例计算得到，例如召回率＝TP/(TP+FN)，其中，TP表示正确预测为该类别数据的数量，FP表示实际预测为该类别数据的数量，FN表示该类别数据的数量。F1值＝2/((1/预测准确率)+(1/召回率))。

若某个类别的数据的F1值较低，表明初步模型对于该类别的数据预测效果不佳，可将该类别数据作为目标数据添加至训练样本集中，以供模型进行进一步地特征学习训练。

此外，在本实施例中，作为一种可能的实现方式，还可以获得用户基于筛选出的数据的处理结果以及数据的真实结果，从筛选出的数据中指定的目标数据，该指定的目标数据同样同于对训练样本集进行更新。

也即，在初步模型对数据进行处理的阶段，可能存在一些漏报、误报的现象，例如在进行是否包含人脸图像的检测应用中，初步模型对于某个图像数据的处理结果为包含人脸图像，但工作人员在排查时发现该图像数据并未包含人脸图像，也即初步模型对于数据的处理结果与数据的真实结果并不一致，这种情况下，工作人员可将该数据指定为目标数据，以加入到训练样本集中进行进一步地特征学习。

此外，在本实施例中，上述基于置信度分值筛选出的数据为置信度分值超过预设阈值的数据，例如预设阈值可为95％。除了上述的确定目标数据的方式之外，工作人员也可以在此基础上，进一步筛选出置信度分值超过预设阈值但低于设定阈值的数据作为目标数据，例如置信度分值低于98％的数据。

对于上述的指标异常、置信度阈值低于设定阈值、漏报误报的目标数据，由于初步模型对于这类数据的处理结果的效果不佳，因此，在将这类数据加入到训练样本集之前，方法还包括以下步骤：根据获得的修正信息对目标数据的处理结果进行修正，以作为目标数据的标签。

也即，上述的各个目标数据由于初步模型对其的处理效果不佳，因此导致处理结果可能并不准确。因此，可以结合工作人员对其的修正信息进行其标签的修正，例如，以上述为例，初步模型将某张不具有人脸图像的图像数据判定为具有人脸图像，则将该处理结果作为标签加入到训练样本集中进行继续训练，将由于标签错误影响模型的性能，因此，获得的修正信息可以是将该图像数据的标签修正为不具有人脸图像的信息，进而作为新的标签。

如此，可以保障这类处理结果不够准确的目标数据在加入训练样本集后，不会存在由于标签错误导致降低模型的训练效果的目的。

为了对本申请提供的模型迭代优化的整体流程进行详细说明，请结合参阅图6和图7，本实施例所提供的模型迭代优化方法可包括以下步骤：

步骤S201，采集训练样本集，该训练样本集包含多个训练样本。

步骤S202，对各个训练样本进行标签标注。

本实施例中，对采集的训练样本进行标签标注，其中，首次需要进行人工标注，或者是导入数据管理单元可以识别的已标注的训练样本集。

步骤S203，利用携带标签的训练样本集对构建的模型进行训练得到初步模型。

数据管理单元可发起训练，模型训练单元可基于训练样本集对构建的模型进行训练。

步骤S204，检测初步模型是否满足设定要求，若满足则执行步骤S205，若不满足则跳回至步骤S203。

步骤S250，将初步模型部署至目标应用环境。

在训练得到的初步模型满足设定要求时，例如准确率达到一定要求时，模型训练单元可发起部署申请。部署发布单元可将初步模型部署到目标应用环境中。

步骤S206，利用初步模型对目标应用环境采集的数据进行处理得到处理结果。

步骤S207，筛选出置信度分值超过预设阈值的数据。

在该步骤中，图片采集单元可采集目标应用环境中的数据，例如图像数据，并对采集到的数据进行粗筛选。

步骤S208，根据训练样本集中各类别的样本数据的数据量从筛选出的数据中确定出目标数据，和/或基于训练样本集的数据集方差从筛选出的数据中确定出目标数据；

步骤S209，基于设定指标从筛选出的数据中确定出目标数据，和/或基于用户指定信息从筛选出的数据中确定出目标数据，和/或基于置信度分值的设定阈值从筛选出的目标中确定出目标数据。

在步骤S208和步骤S209中，可由回流诊断单元来实现判别出目标数据的工作，在该过程中，回流诊断单元可从数据管理单元和模型训练单元处获取诊断依据，例如训练样本集中各个类别的训练样本的数量、训练样本集中训练样本的数据集方差等。回流诊断单元基于粗筛选后的数据以及获取的诊断依据，确定出目标数据。

其中，回流诊断单元还可以丢弃目标数据中一些基于设置信息确定的不需要的数据，且回流的目标数据携带有所属的类别信息，在回流至训练样本集后可以实现类别之间的相互区分。

步骤S210，对目标数据的标签信息进行修正。

步骤S211，将目标数据加入至训练样本集中，并跳转至步骤S203。

回流诊断单元在将目标数据回流至数据管理单元以加入到训练数据集之前，对于经由上述步骤S209确定的目标数据，可先进行这类目标数据的标签信息的修正，以避免标签误差影响优化效果。

本实施例所提供的模型迭代优化方法，在初步训练的基础上，部署至目标应用环境以筛选目标数据加入到训练样本集中继续训练，利用的训练样本可与实际应用环境相符，且采用从中筛选出目标数据加入到训练样本集的方式，可有效地提高训练样本集的质量，从而提升模型训练效果。该方案，采用了闭环迭代优化的方式，模型迭代不断基于目标应用环境进行扩充和训练优化，达到模型指标有目标的提升的目的。

在进行训练数据集的扩充时，从多个角度进行目标数据的筛选，能够从多个维度进行数据扩充目的的强化，从而保障样本扩充的全面性以及针对性。

请参阅图8，本申请实施例还提供一种电子设备。图8是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备可以被提供为服务器或终端设备，可支持数据分析、处理等功能。参照图8，电子设备包括处理器120，其数量可以为一个或多个，以及存储器110，用于存储可由处理器120执行的计算机程序。存储器110中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器120可以被配置为执行该计算机程序，以执行上述的模型迭代优化方法。

另外，电子设备还可以包括电源组件130和通信组件140，该电源组件130可以被配置为执行电子设备的电源管理，该通信组件140可以被配置为实现电子设备的通信，例如，有线或无线通信。此外，该电子设备还可以包括输入/输出接口150。电子设备可以操作基于存储在存储器110的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM等等。

请参阅图9，本申请实施例还提供一种模型迭代优化装置160，该模型迭代优化装置160可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述模型迭代优化方法的软件功能模块。

如图9所示，上述模型迭代优化装置160可以包括训练模块161、处理模块162、筛选模块163和优化模块164。下面分别对该模型迭代优化装置160的各个功能模块的功能进行详细阐述。

训练模块161，用于基于采集的训练样本集对构建的模型进行训练，得到初步模型；

可以理解，该训练模块161可以用于执行上述步骤S110，关于该训练模块161的详细实现方式可以参照上述对步骤S110有关的内容。

处理模块162，用于将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果；

可以理解，该处理模块162可以用于执行上述步骤S120，关于该处理模块162的详细实现方式可以参照上述对步骤S120有关的内容。

筛选模块163，用于基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新；

可以理解，该筛选模块163可以用于执行上述步骤S130，关于该筛选模块163的详细实现方式可以参照上述对步骤S130有关的内容。

优化模块164，用于利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

可以理解，该优化模块164可以用于执行上述步骤S140，关于该优化模块164的详细实现方式可以参照上述对步骤S140有关的内容。

在一种可能的实现方式中，各所述数据的处理结果携带有置信度分值，上述筛选模块163可以用于：

获得所述目标应用环境中各所述数据的处理结果携带的置信度分值；

筛选出所述数据中置信度分值超过预设阈值的数据，从筛选出的数据中确定出目标数据。

在一种可能的实现方式中，所述训练样本集中包含多个类别的训练样本，上述筛选模块163具体可以用于：

获得所述训练样本集中各类别的训练样本各自的样本数；

确定出样本数最多的一类训练样本，并将其余类别的训练样本的样本数与所述样本数最多的一类训练样本的样本数进行比对，以确定出目标类别；

获得筛选出的数据中属于所述目标类别的数据，以作为目标数据。

在一种可能的实现方式中，上述筛选模块163具体可以用于：

根据所述训练样本集中的训练样本的特征信息计算得到数据集方差；

针对筛选出的各所述数据，在将所述数据加入所述训练样本集且所述训练样本集的数据集方差降低的情况下，确定该数据为目标数据。

在一种可能的实现方式中，各所述训练样本和各所述数据为图像数据，所述特征信息为图像分辨率或图像尺寸。

在一种可能的实现方式中，筛选的数据包括多个类别的数据，上述筛选模块163具体可以用于：

针对筛选出的各个类别的数据，根据该类别的数据的处理结果计算得到该类别的设定指标值；

在所述设定指标值低于预设值时，将该类别的数据确定为目标数据。

在一种可能的实现方式中，所述模型迭代优化装置160还包括指定信息获取模块，该模块用于：

获得用户基于筛选出的数据的处理结果以及所述数据的真实结果，从筛选出的数据中指定的目标数据，所述指定的目标数据用于对所述训练样本集进行更新。

在一种可能的实现方式中，所述模型迭代优化装置160还包括修正模块，该模块用于：

根据获得的修正信息对所述目标数据的处理结果进行修正，以作为所述目标数据的标签。

在一种可能的实现方式中，所述处理模块162具体可以用于：

将所述初步模型进行量化处理；

将量化处理后的初步模型与所述目标应用环境所在平台的SDK组装形成可运行的算法数据包；

将所述算法数据包加载部署至所述目标应用环境，并提供所述算法数据包的接口。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器110，上述程序指令可由电子设备的处理器120执行以完成上述的模型迭代优化方法。

具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述模型迭代优化方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。

综上所述，本申请实施例提供的模型迭代优化方法、装置、电子设备和可读存储介质，通过基于采集的训练样本集对构建的模型进行训练得到初步模型，再将初步模型部署至目标应用环境中，基于初步模型对目标应用环境中采集到的数据进行处理得到处理结果，基于目标应用环境中的数据的处理结果，筛选出目标数据，将目标数据加入至训练样本集以对训练样本集进行更新，利用更新后的训练样本集对初步模型进行迭代优化训练，直至满足预设要求。该方案，在初步训练的基础上，部署至目标应用环境以筛选目标数据加入到训练样本集中继续训练，利用的训练样本可与实际应用环境相符，且采用从中筛选出目标数据加入到训练样本集的方式，可有效地提高训练样本集的质量，从而提升模型训练效果。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种模型迭代优化方法，其特征在于，所述方法包括：

基于采集的训练样本集对构建的模型进行训练，得到初步模型；

将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果；

基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新；

利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

2.根据权利要求1所述的模型迭代优化方法，其特征在于，各所述数据的处理结果携带有置信度分值；

所述基于所述目标应用环境中的数据的处理结果，筛选出目标数据的步骤，包括：

获得所述目标应用环境中各所述数据的处理结果携带的置信度分值；

筛选出所述数据中置信度分值超过预设阈值的数据，从筛选出的数据中确定出目标数据。

3.根据权利要求2所述的模型迭代优化方法，其特征在于，所述训练样本集中包含多个类别的训练样本；

所述从筛选出的数据中确定出目标数据的步骤，包括：

获得所述训练样本集中各类别的训练样本各自的样本数；

确定出样本数最多的一类训练样本，并将其余类别的训练样本的样本数与所述样本数最多的一类训练样本的样本数进行比对，以确定出目标类别；

获得筛选出的数据中属于所述目标类别的数据，以作为目标数据。

4.根据权利要求2所述的模型迭代优化方法，其特征在于，所述从筛选出的数据中确定出目标数据的步骤，包括：

根据所述训练样本集中的训练样本的特征信息计算得到数据集方差；

针对筛选出的各所述数据，在将所述数据加入所述训练样本集且所述训练样本集的数据集方差降低的情况下，确定该数据为目标数据。

5.根据权利要求4所述的模型迭代优化方法，其特征在于，各所述训练样本和各所述数据为图像数据，所述特征信息为图像分辨率或图像尺寸。

6.根据权利要求2所述的模型迭代优化方法，其特征在于，筛选的数据包括多个类别的数据；

所述从筛选出的数据中确定出目标数据的步骤，包括：

针对筛选出的各个类别的数据，根据该类别的数据的处理结果计算得到该类别的设定指标值；

在所述设定指标值低于预设值时，将该类别的数据确定为目标数据。

7.根据权利要求2所述的模型迭代优化方法，其特征在于，所述方法还包括：

获得用户基于筛选出的数据的处理结果以及所述数据的真实结果，从筛选出的数据中指定的目标数据，所述指定的目标数据用于对所述训练样本集进行更新。

8.根据权利要求6或7所述的模型迭代优化方法，其特征在于，所述将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新的步骤之前，所述方法还包括：

根据获得的修正信息对所述目标数据的处理结果进行修正，以作为所述目标数据的标签。

9.根据权利要求1所述的模型迭代优化方法，其特征在于，所述将所述初步模型部署至目标应用环境中的步骤，包括：

将所述初步模型进行量化处理；

将量化处理后的初步模型与所述目标应用环境所在平台的SDK组装形成可运行的算法数据包；

将所述算法数据包加载部署至所述目标应用环境，并提供所述算法数据包的接口。

10.一种模型迭代优化装置，其特征在于，所述装置包括：

训练模块，用于基于采集的训练样本集对构建的模型进行训练，得到初步模型；

处理模块，用于将所述初步模型部署至目标应用环境中，基于所述初步模型对所述目标应用环境中采集到的数据进行处理，得到处理结果；

筛选模块，用于基于所述目标应用环境中的数据的处理结果，筛选出目标数据，并将所述目标数据加入至所述训练样本集以对所述训练样本集进行更新；

优化模块，用于利用更新后的训练样本集对所述初步模型进行迭代优化训练，直至满足预设要求时停止训练。

11.一种电子设备，其特征在于，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行权利要求1-9中任意一项所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-9中任意一项所述的方法步骤。

Images