CN114021479A - 模型优化方法、设备和存储介质 - Google Patents

Abstract

本申请提供了一种模型优化方法、设备和存储介质，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中各样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。能够提高模型的识别准确性。

Description

模型优化方法、设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型优化方法、设备和存储介质。

背景技术

由于自动机器学习模型技术，能够有效地缓解模型开发人才稀缺的问题，而得到了广泛的研究及应用。目前，自动机器学习模型技术通过人工智能平台采用定位易混淆标签的方法对模型进行性能评估及优化。具体地，定位易混肴标签的方法主要是查找识别错误结果对应的样本中目标对象的共性来确定产生误识别的原因，进而根据错误原因对优化样本，从而提高模型的性能。然而，由于模型的识别准确性受多个因素的影响，仅根据识别错误的样本中目标对象的共性无法准确提高模型的识别准确性。

发明内容

本申请提供了一种模型优化方法、设备和存储介质，旨在通过分析样本的场景信息对模型识别准确性的影响，生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。

第一方面，本申请实施例提供了一种模型优化方法，包括：

获取根据第一数据集预训练的第一模型；

根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果；

根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；

分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

第二方面，本申请实施例提供了一种模型优化设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述的模型优化方法的步骤。

第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的模型优化方法的步骤。

本申请实施例提供了一种模型优化方法、设备和存储介质，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；再根据所述测试结果，从所述第二数据集中提取出测试结果不准确的样本对应的第三数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。通过分析样本的场景信息对模型识别准确性的影响，生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例公开的模型优化设备的架构示意图；

图2是本申请实施例提供的模型优化系统的架构示意图；

图2是本申请实施例提供的模型优化系统的架构示意图；

图4是图3中S305的具体实现流程图；

图5是图4中S412的第一具体实现流程图；

图6是图4中S412的第二具体实现流程图；

图7是图4中S412的第三具体实现流程图；

图8是本申请另一实施例提供的模型优化方法的实现流程示意图；

图9是本申请实施例提供的模型优化方法的一应用场景示意图；

图10是图9所示应用场景中第三数据集中场景信息的分布示意图；

图11是本申请一实施例提供的模型优化设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是，本申请提供的模型优化方法、设备及存储介质，用于有效地对模型进行优化，提高模型的识别准确性。

目前，人工智能受到了学术界和工业界的广泛关注，其在不少应用领域都发挥了超乎普通人类的水平。例如：人工智能技术在机器视觉领域(如人脸识别、图像分类、物体检测等)的应用使得机器视觉的准确率高于人类，人工智能技术在自然语言处理和和推荐系统等领域也有较好的应用。

机器学习是一种实现人工智能的核心手段，计算机针对要解决的技术问题，根据已有的数据构建一种模型，再利用模型对未知数据进行推理，获得推理结果。这种方法就好像计算机像人类一样学习了某一能力(如认知能力、辨别能力、分类能力等)，因此，将这种方法称为机器学习。

现有技术中，人工智能平台在对初始模型进行训练，得到模型之后，根据模型对评估数据集进行推理得到推理结果，之后可以根据推理结果和评估数据集中样本的共性来确定对模型优化方案。而由于样本的共性是一个比较笼统的概念，无法准确地提供影响模型识别准确性的信息，进而不能给模型优化提供更多的信息。

本申请实施例公开了一种模型优化方法、设备及存储介质，所述的模型优化方法可以通过模型对评估数据集中样本的场景信息进行分析，根据分析结果生成对所述模型优化方案，可以更有效地对所述模型进行优化，提高模型的识别准确性。

为了更好地理解本申请实施例公开的一种模型优化方法、设备及存储介质，下面先对本申请实施例使用的场景架构进行描述。请参阅图1，图1是本申请一实施例公开的模型优化设备的架构示意图。如图1所示，模型优化设备10上集成有模型优化系统111，其中，模型优化设备10可以是服务器或者终端设备，所述服务器可以是远程服务器、云端服务器或者服务器集群等可以用于对模型进行优化的服务器。所述终端设备可以是笔记本、PAD、手持设备、机器人或者智能可穿戴设备等。集成在模型优化设备10上的模型优化系统111为应用程序。

可以理解地，本申请实施例中所描述的模型优化方法可以适用于所有在模型优化设备10中集成模型优化系统111，通过模型优化系统111对模型进行优化的应用场景。

应理解，在模型优化设备10中还可以集成有训练系统112和测试系统113。对应地，训练系统112、测试系统113和模型优化系统111可以集成在一段计算机程序中，在模型优化设备10中，作为同一应用程序用于完成对初始模型的训练后，对第一模型进行测试，进而根据测试结果完成对第一模型优化。此外，训练系统112、测试系统113和模型优化系统111也可以以三个不同的应用程序分别集成在模型优化设备10中，模型优化设备10通过分别调用对应的应用程序完成各自的功能。

应理解，当模型优化设备10具有较高的计算能力时，例如为服务器或者服务器集群时，对应的训练系统112、测试系统113和模型优化系统111均集成在模型优化设备10中。当模型优化设备12的计算能力有限时，可以考虑在模型优化设备10中仅集成训练系统112与模型优化系统111，或者测试系统113和模型优化系统111，或者模型优化系统111。对应地，将剩余的系统可以集成在人工智能平台上。

示例性地，如图2所示，图2是本申请实施例提供的模型优化系统的架构示意图。如图2所示，模型优化系统20包括人工智能平台11和模型优化设备10。需要说明的是，人工智能平台11可以是部署在云环境中用于向各终端设备提供云服务的实体。云环境包括云数据中心和云服务平台，云数据中心包括云服务提供商拥有的大量基础资源，例如初始模型；云数据中心包括的计算资源可以是大量的计算设备，例如服务器或者服务器集群。

在本实施例中，示例性地，人工智能平台11可以包括训练系统112和测试系统113。训练系统112和测试系统113可以通过人工智能平台11提供模型的训练和测试服务。

应理解，本实施例示意性地将训练系统112和测试系统113部署在人工智能平台11上，在实际应用中，人工智能平台11可以仅包括训练系统112或者测试系统113。对应随着终端设备的计算力不同，可选择将训练系统112和测试系统113同时部署在人工智能平台上，或者选择将训练系统112或者测试系统113部署在人工智能平台上。具体地，可以根据实际应用场景中模型优化设备10的计算能力确定，以保证对第一模型的优化效率。

在一些实施例中，训练系统112用于根据第一数据集对人工智能平台11中预设的初始模型进行训练，生成第一模型。其中，第一数据集可以是模型优化设备10获取的样本图像构成，也可以是预先由其它设备获取并存储在人工智能平台中的样本图像构成。

其中，第一数据集不限于图像、文本、语音、视频等，此处不做唯一限定。

在本申请的实施例中，第一模型为训练系统112根据自动机器学习模型技术预先训练得到的模型。由于第一模型的训练过程完全依赖于自动机器学习模型技术，而自动机器学习模型技术的算法为固定的，在才用自动机器学习模型技术对模型训练过程中无法灵活应对影响模型识别准确性的因素，导致训练得到的第一模型存在识别误差的问题。因此，本申请实施例中，需通过测试系统113对第一模型进行测试，并根据测试结果生成对应的优化方案，以保证对第一模型的优化效果。

具体地，测试系统113用于对训练系统112根据第一数据集训练生成的第一模型，根据第二数据集进行模型准确性测试，得到测试结果。其中，第二数据集也可以是模型优化设备10获取的样本图像构成，或者是预先由其它设备获取并存储在人工智能平台中的样本图像构成。

应理解，第一数据集和第二数据集可以包括不同数量的样本图像或其他样本数据，此处不做唯一限定。

模型优化设备12获取测试系统113得到的测试结果，根据所述测试结果，从所述第二数据集中提取出第三数据集，分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，根据所述优化方案对所述第一模型进行优化，得到第二模型。

示例性地，所述场景信息包括但不限于图像场景信息、光场景信息、密集度场景信息中的至少之一。

应理解，训练系统112和测试系统113均是集成在人工智能平台11上具有不同功能的程序代码，也可以称为运行在人工智能平台11上的应用。在一些实施例中，测试系统113和模型优化系统111可以集成在一段程序代码中，可以同时集成在模型优化设备10上的一个目标应用中，用于完成对第一模型的测试以及优化功能。

请参阅图3所示，图3是本申请一实施例提供的模型优化方法的实现流程示意图。本实施例提供的模型优化方法可以由图1所示模型优化方设备10完成。详述如下：

S301，获取根据第一数据集预训练的第一模型。

其中，所述第一数据集可以为预先采集的样本图像，但不限于样本图像，此处不做唯一限定，仅为示例。该样本图像对应为预设应用场景下的图像数据，例如预设应用场景为识别工地建筑工人的着装安全，则对应该应用场景下的图像数据为通过预设图像采集设备采集的包含有工人的工地图像。在本实施例中，第一模型为预先根据自动机器学习模型技术对初始模型利用第一数据集进行训练得到的模型。

示例性地，根据自动机器学习模型技术对所述初始模型利用所述第一数据集进行训练的过程中，可以根据初始模型对应的预设损失函数的变化，或者根据初始模型的模型函数随着训练的收敛状况，来确定训练是否结束。

例如，当所述预设损失函数的值小于预设函数阈值，例如预设函数阈值为0.3，当所述预设损失函数的值小于0.3时，确定对所述初始模型训练完成，以训练之后的模型为所述第一模型。或者当所述模型函数的各预设参数值的变化率小于预设变化率，所述模型函数完成收敛，则确定对初始模型训练完成，得到所述第一模型。

示例性地，所述第一数据集的获取过程，可以包括：建立所述模型的样本索引信息，根据所述样本索引信息，从预先确定的数据库中获取预设数量的样本图像，生成所述第一数据集。

S302，根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果。

在一些实施例中，所述测试结果包括：对目标对象的类别和位置均识别准确的结果、对目标对象的类别识别错误的结果、对目标对象的位置识别错误的结果和漏识别目标对象的结果；其中，将对目标对象的类别识别错误的结果和将目标对象的位置识别错误的结果统称为误识别结果。

应理解，所述第二数据集对应为与所述第一数据集包含有相同样本数据的数据集。也就是说，样本数据包括训练样本集和测试样本集，所述第一数据集为训练样本集，所述第二数据集为测试样本集。所述训练样本集和所述测试样本集可以包含有不同数量的样本数据，该数据可以为图像。

S303，根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集。

示例性地，根据所述测试结果，从所述第二数据集中提取出第三数据集，可以包括：从所述测试结果中提取出误识别结果，从所述第二数据集中获取所述误识别结果对应的样本，得到所述第三数据集。

应理解，所述第三数据集包括对目标对象的类别识别错误的结果对应的样本、对目标对象的位置识别错误的结果对应的样本、漏识别目标对象的结果对应的样本中的至少之一。

S304，分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

所述场景信息可以包括但不限于图像场景信息、目标对象密集度场景信息、目标对象完整性场景信息、目标对象尺寸大小场景信息、目标对象与背景相似性场景信息中的至少之一。

在一些实施例中，所述分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，包括：

确定所述第三数据集中所有样本对应的至少一个场景，其中，所述至少一个场景中的每个场景对应有场景信息列表，所述场景信息列表中包括至少一个场景信息；获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案。

应理解，所述第三数据集中不同样本对应的场景可能不同，同一样本也可能对应多个场景。在本实施例中，将每个样本对应的场景信息记录在场景信息列表中。

示例性地，所述场景信息列表包括场景类别和样本数量，例如，场景信息列表显示为：图像场景信息，10；表示具有10张由于图像场景信息影响而导致测试结果不准确的样本；其中，图像场景信息包括但不限于由于图像采集设备或者图像采集环境导致的图像不清晰的场景信息。又如，场景信息列表显示：目标对象完整性，18；表示具有18张由于目标对象完整性导致测试结果不准确的样本等。其中，目标对象完整性可以用目标对象完整度来度量。

在一些实施例中，所述确定所述第三数据集中所有样本对应的至少一个场景，包括：提取所述第三数据集中所有样本在预设场景下的场景指标值；将所述场景指标值分别与所述预设场景下的指标阈值进行比较；若有样本对应在所述场景下的场景指标值符合所述预设场景下的指标阈值，则确定所述预设场景为对应样本的图像场景。

示例性地，所述场景指标值用于度量样本在预设场景下对第一模型的识别结果的影响程度。例如，所述场景指标值包括但不限于光照强度值、目标对象密集度、前景与背景图像颜色相似度、目标完整度、目标尺寸大小等。所述预设场景下的指标阈值指的是场景指标临界值，当样本在对应场景下的场景指标值大于对应的场景指标临界值时，影响第一模型识别结果的准确性。或者，随着预设场景的不同，当样本在对应场景下的场景指标值小于对应的场景指标临界值时，影响第一模型识别结果的准确性。

应理解，所述场景指标临界值也可以不限于一个，例如，当所述场景指标值为光照强度值时，对应有第一场景指标临界值和第二场景指标临界值，具体地，当光照强度值小于所述第一场景指标临界值时，确定为光照不足的图像场景，当光照强度值大于所述第一场景指标临界值时，确定为光照太强的图像场景。

在一些实施例中，在所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案之前，还包括：获取所述至少一个场景对应的第二场景信息。应理解，所述第一模型的识别结果受至少一个场景的影响，在至少一个场景中可能包括多个场景信息，也可能仅包括一个场景信息。例如在对工地工作人员着装检测的应用场景下，所述第一场景信息为目标对象的密集度，所述第二场景信息为目标对象的完整性。又如在对特定动物如猫头鹰进行识别的应用场景下，所述场景信息仅为目标对象的姿态信息，此时第一场景信息和第二场景信息均为目标对象的姿态信息。由于第一模型的识别结果可能同时受多个场景信息的影响，本申请为了保证对第一模型优化过程中，充分考虑到每个场景信息的影响，在生成针对第一模型的优化方案之前，从至少一个场景信息中，获取第一场景信息和第二场景信息，通过分析第一场景信息和第二场景信息的关联关系，来保证覆盖所有的场景信息对第一模型的影响，提高对第一模型优化的准确性。

示例性，如图4所示，图4是图3中S305的具体实现流程图。由图4可知，可选地S305包括S411与S412。详述如下：

S411，确定所述第一场景信息和所述第二场景信息的关联关系。

S412，根据所述关联关系，确定所述优化方案。

应理解，所述第一场景信息和所述第二场景信息可以完全相关，即所述第二场景信息包括所述第一场景信息中的全部场景信息，或者所述第一场景信息和所述第二场景部分相关，即所述第二场景信息包括所述第一场景信息中的部分场景信息，或者所述第一场景信息和所述第二场景信息完全不相关，即所述第二场景信息不包括所述第一场景信息中的任何场景信息。对应在不同的相关关系下，采取不同的优化方案，来提高对第一模型的优化效果，得到具有识别准确性较高的第二模型。

在一些实施例中，所述关联关系为所述第二场景信息包括所述第一场景信息中的全部场景信息。示例性地，如图5所述，图5是图4中S412的第一具体实现流程图。详述如下：

S511，若所述第二场景信息包括所述第一场景信息中的全部场景信息，则根据所述第二场景信息对所述第三数据集中的所有样本进行优化。

可选地，根据所述第二场景信息对所述第三数据集中的所有样本进行优化，包括：根据所述第二场景信息，将所述第三数据集中的所有样本在对应场景下的场景指标值根据对应所述第二场景信息下的指标阈值进行调整，当所述第三数据集中的所有样本在对应所述第二场景信息下的场景指标值满足预设的指标阈值后，完成对所述第三数据集中的所有样本的优化。

应理解，预设的指标阈值可以根据场景信息进行预先设置，并可以随着场景信息的变化以及对模型识别精度的影响而进行修改，且随着场景信息的不同，对应不同的场景下可以设置第一指标阈值和第二指标阈值等，具体地，对指标阈值的设置在此不做限定。

S512，根据优化后的第三数据集对对应的目标算法进行分析更新，形成目标计算框架。

其中，目标算法为第一模型的模型架构。所述目标计算框架为根据优化后的第三数据集，对所述目标算法对应的模型架构进行调整，得到的与优化后的第三数据集相匹配的模型架构。

应理解，第一模型的模型架构包括但不限于神经网络模型、随机森林模型或决策树模型等。例如，第一模型为神经网络模型，所述神经网络模型的模型架构包括卷积层的层数、每个卷积层的函数表达式、链接层的函数表达式、损失函数表达式以及输出函数表达式等。

S513，根据所述目标计算框架对所述第一模型进行更新。

具体地，根据所述目标计算框架对所述第一模型进行更新，包括：将优化后的第三数据集输入所述目标计算框架进行训练。其中，对目标计算框架进行训练的过程，可参考现有的模型训练过程，在此不再赘述。

在一些实施例中，所述关联关系为所述第二场景信息包括所述第一场景信息中的部分场景信息；示例性地，如图6所示，图6是图4中S412的第二具体实现流程图。详述如下：

S611，若所述第二场景信息包括所述第一场景信息中的部分场景信息，则将所述第一场景信息对应的场景和所述第二场景信息对应的场景相结合，根据结合后的场景生成第一优化策略。

在本实施例中，确定所述第一场景信息对应的场景和所述第二场景信息对应的场景的交集，将所述交集内的场景信息和交集之外的场景信息进行合并，完成对所述第一场景信息包括的场景和所述第二场景信息包括的场景的结合。

需要说明的是，所述第一优化策略包括但不限于第一数据补充策略。例如，所述第一优化策略还可以包括针对第一模型的模型算法的优化方案，具体在此不做详述。

其中，所述第一数据补充策略包括需补充的合并后的每个场景下的样本图像比例。具体地，根据合并后的每个场景的样本图像的分布，确定需补充的合并后的每个场景下的样本图像比例，根据需补充的合并后的每个场景下的样本图像比例，确定需补充的每个场景下的样本数量。

示例性地，根据合并后的每个场景的样本图像的分布，确定合并后的包含的每个场景的样本图像占所述第三数据集中总样本的比例，以确定的合并后的包含的每个场景的样本图像占所述第三数据集中总样本的比例为需补充的合并后的每个场景下的样本图像比例。

S612，根据所述第一优化策略对所述第一模型进行更新。

示例性地，根据所述第一优化策略对所述第一模型进行更新，包括：根据所述第一数据补充策略，得到第一补充数据集，根据所述第一补充数据集对所述第一模型进行更新。

其中，根据所述第一数据补充策略，得到第一补充数据集，包括：根据需补充的合并后的每个场景下的样本图像比例，获取对应比例的每个场景下的样本图像，得到所述第一补充数据集。具体地，可以从预先确定的数据库中获取所述样本图像，在所述数据库中预先建立每个场景下的样本索引信息，根据所述样本索引信息从所述数据库中获取每个场景下的样本图像。提高样本图像获取的效率。

其中，样本索引信息可以是预设的任意数字、字母或者数字与字母的组合等，具体在此不做任何限定。

应理解，根据所述第一补充数据集对所述第一模型进行更新，包括：将所述第一补充数据集输入所述第一模型，根据所述第一补充数据集对所述第一模型进行训练。其中，对所述第一模型进行训练的过程，可参考现有的模型训练过程。

示例性地，可以通过监测所述第一模型的损失函数的变化，或者监测所述第一模型的收敛状态来确定对所述第一模型的更新结束。

例如，若监测到所述第一模型的损失函数的值小于预设的损失阈值，则确定对所述第一模型的更新结束。或者若监测到所述第一模型的参数在预设时长内的变化率小于预设变化率阈值，则确定对所述第一模型的更新结束，得到优化后的所述第二模型，其中，所述预设的损失阈值可以为用户自行设定或是根据历史数据得到，此处不做唯一限定。

在一些实施例中，所述关联关系为所述第二场景信息不包括所述第一场景信息；示例性地，如图7所述，图7是图4中S412的第三具体实现流程图。详述如下：

S711，若所述第二场景信息不包括所述第一场景信息，则分别根据所述第一场景信息对应的场景生成第二优化策略和根据所述第二场景信息对应的场景生成第三优化策略；

示例性地，所述第二优化策略为第二数据补充策略。应理解，所述第二优化策略包括但不限于第二数据补充策略，例如，所述第二优化策略可以是针对第一模型的模型算法的不同优化方案，具体在此不做详述。

在本实施例中，所述第二数据补充策略为需补充的所述第一场景信息对应的每个应用场景下的样本数量。示例性地，根据所述第一场景信息对应的每个场景下的样本图像的分布，确定需补充的所述第一场景信息对应的每个场景下的样本图像比例，根据需补充的所述第一场景信息对应的每个场景下的样本图像比例，确定需补充的所述第一场景信息对应的每个应用场景下的样本数量。

示例性地，根据所述第一场景信息对应的每个场景下的样本图像的分布，确定所述第一场景信息对应的每个场景的样本图像占所述第三数据集中总样本的比例，以确定的所述第一场景信息对应的每个场景的样本图像占所述第三数据集中总样本的比例为需补充的所述第一场景信息对应的每个应用场景下的样本图像比例。

示例性地，所述第三优化策略为第三数据补充策略。应理解，所述第三优化策略包括但不限于第三数据补充策略。例如，所述第三优化策略可以是针对第一模型的模型算法的优化方案，具体在此不做详述。

其中，所述第三数据补充策略为需补充的所述第二场景信息对应的每个应用场景下的样本数量。具体确定所述第二场景信息对应的每个应用场景下的样本数量的过程与确定所述第一场景信息对应的每个应用场景下的样本数量的过程相同，在此不再赘述。

S712，根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新。

示例性地，根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新，包括：根据所述第二数据补充策略和所述第三数据补充策略得到目标补充数据集，根据所述目标补充数据集对所述第一模型进行更新。

其中，根据所述目标补充数据集对所述第一模型进行更新，包括：确定所述目标补充数据集与所述第一模型的目标算法是否匹配；若所述目标补充数据集与所述目标算法匹配，则根据所述目标补充数据集对所述第一模型进行更新；若所述目标补充数据集与所述目标算法不匹配，则生成优化方案有误的提示信息。

应理解，根据所述目标补充数据集对所述第一模型进行更新，包括：将所述目标补充数据集输入所述第一模型，根据所述目标补充数据集对所述第一模型进行训练。其中，对所述第一模型进行训练的过程，可参考现有的模型训练过程。示例性地，可以通过监测所述第一模型的损失函数的变化，或者监测所述第一模型的收敛状态来确定对所述第一模型的更新结束。例如，若监测到所述第一模型的损失函数的值小于预设的损失阈值，则确定对所述第一模型的更新结束。或者若监测到所述第一模型的参数在预设时长内的变化率小于预设变化率阈值，则确定对所述第一模型的更新结束，得到优化后的所述第二模型。

在一些实施例中，为了提高对第一模型的更新效率，所述根据所述第二数据补充策略得到目标补充数据集，根据所述目标补充数据集对所述第一模型进行更新，包括：确定所述目标补充数据集与所述第一模型的目标算法是否匹配；若所述目标补充数据集与所述目标算法匹配，则根据所述目标补充数据集对所述第一模型进行更新；若所述目标补充数据集与所述目标算法不匹配，则生成优化方案有误的提示信息。

通过上述分析可知，本申请实施例提供的模型优化方法，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。通过分析样本的场景信息对模型的识别准确性影响，根据样本的场景信息生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。

请参阅图8所示，图8是本申请另一实施例提供的模型优化方法的实现流程示意图。本实施例提供的模型优化方法可以由图2所示的模型优化系统20完成。需要说明的是，本实施例是示例性地将第一模型的训练和测试过程由人工智能平台完成，由模型优化设备根据测试结果完成对模型优化，应理解，第一模型的训练或者测试过程也可以由模型优化设备完成，具体可参加图2中的描述，在此不再赘述。示例性地，本申请实施例包括如下步骤S801至S805。

S801，人工智能平台获取预设数量的样本图像，将所述样本图像分为预设比例的第一数据集和第二数据集。

S802，人工智能平台根据所述第一数据集进行模型训练，生成第一模型。

S803，人工智能平台根据所述第二数据集对所述第一模型进行模型准确性测试，得到测试结果。

S804，模型优化设备根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集。

S805，模型优化设备分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

需要说明的是，上述各步骤的具体实现原理与图3所示实施例中各步骤的具体实现原理类似，在此不再赘述。

由上述分析可知，本申请实施例提供的模型优化方法，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。通过分析样本的场景信息对模型的识别准确性影响，根据样本的场景信息生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。

请参阅图9所示，图9是本申请实施例提供的模型优化方法的一应用场景示意图。在本实施例中，将模型优化方法应用于对工地施工人员进行着装检测模型优化。在该应用场景下，可以获取安装在施工现场的至少一个图像采集设备90在不同的时间段以及对应不同的施工地点拍摄的工地施工图像。由于不同时间段以及不同的施工地点拍摄的工地施工图像91具有多样性，通过多样性的样本对初始模型进行训练，以实现第一模型对图像场景的适应性。但是由于施工场地受周围环境影响较大，例如光线强度、施工进度中用到的工具、施工人员的动作等都会影响到第一模型的识别准确性。本实施例为了提高着装检测模型的识别准确性，将施工图像分为预设比例的第一数据集和第二数据集，利用第一数据集对初始模型进行训练，得到第一模型，然后根据第二数据集对所述第二模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

应理解，本实施例中，根据第二数据集对所述第二模型进行模型准确性测试，得到的测试结果包括对目标对象是否佩戴安全帽进行标注的结果。其中，对目标对象是否佩戴安全帽的正确标注结果包括：将佩戴安全帽的目标对象的头部标注为helmet、将未佩戴安全帽的目标对象的头部标注为head，将不是目标对象的位置不进行目标对象框的标注、将目标对象的位置标注为目标对象框。

对目标对象是否佩戴安全帽的错误标注结果包括：将佩戴安全帽的目标对象的头部标注为head、将未佩戴安全帽的目标对象的头部标注为helmet、将不是目标对象的位置标注为目标对象框、将目标对象的位置未进行目标对象框标注等。

进一步地，根据第二数据集中所有样本对应的测试结果，从第二测试样本中提取对目标对象是否佩戴安全帽的错误标注结果对应的样本，得到所述第三数据集。分析所述第三数据集中所有样本对应的场景信息，示例性地，第三数据集中所有样本对应的场景信息包括：图像的光照质量、图像中目标对象的尺寸大小、图像中目标对象的完整性、图像数据均衡度、图像中目标对象的类别可区分性、图像中目标对象的密集度、图像中目标对象的姿态信息中的至少之一。

示例性地，图10是图9所示应用场景中第三数据集中场景信息的分布示意图。由图10可知，在本实施例中，对第三数据集中场景信息进行分析后，得到场景信息包括图像中目标对象的完整性、图像中目标对象的尺寸大小以及图像的光照质量。

示例性地，第三数据集中对应包含有不完整目标对象的样本占第三数据集中样本总数的25％，包含有尺寸不合格的目标对象的样本占第三数据集中样本总数的22％，包含有图像光照质量不合格的样本占第三数据集中样本总数的17％。

应理解，在第三数据集中场景信息对应的分布结果后，可以或者对应比例的样本，或者根据确定的分布结果生成对应图像场景下的样本补充提示信息。在本实施例中，根据第三数据集中场景信息对应的分布结果可以确定，需要补充占第三数据集中样本总数的25％的包含有完整目标对象的样本、占第三数据集中样本总数的22％的包含有合格尺寸目标对象的样本和占第三数据集中样本总数的17％的光照质量满足预设光照条件的样本。

在确定了需补充的样本数据后，分别获取对应图像场景下需要的样本，得到新的训练集，进而根据新的训练集对该应用场景下的第一模型进行更新，得到优化后的第一模型。能够有效避免由于应用场景下对应的图像场景对模型识别准确性的影响，提供模型识别的准确性。

需要说明的是，上述实施例仅是示例性地说明本申请实施例提供的模型优化方法的应用，不够成对本申请提供的模型优化方法应用的限定。

请参阅图11所示，图11是本申请一实施例提供的模型优化设备的示意性框图。

示例性的，模型优化设备10可以是服务器或者终端，所述服务器可以是云服务器、远程服务器、服务器集群等，所述终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等用户的电子设备。

所述模型优化设备10包括处理器101和存储器102。

示例性的，处理器101和存储器102通过总线103连接，所述总线103比如为I2C(Inter-integrated Circuit)总线。

具体地，处理器101可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。

具体地，存储器102可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

其中，所述处理器101用于运行存储在存储器102中的计算机程序，并在执行所述计算机程序时实现上述模型优化方法的步骤。

示例性的，所述处理器101用于运行存储在存储器102中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取根据第一数据集预训练的第一模型；

根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果；

根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；

分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

在一些实施例中，所述分析所述第三数据集中各样本的场景信息，根据所述场景信息生成优化方案，包括：

确定所述第三数据集中所有样本对应的至少一个场景，其中，所述至少一个场景中的每个场景对应有场景信息列表，所述场景信息列表中包括至少一个场景信息；

获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案。

在一些实施例中，所述确定所述第三数据集中所有样本对应的至少一个场景，包括：

提取所述第三数据集中所有样本在预设场景下的场景指标值；

将所述场景指标值分别与所述预设场景下的各指标阈值进行比较；

若有样本对应在所述预设场景下的场景指标值符合所述预设场景下的指标阈值，则确定所述预设场景为对应样本的场景。

在一些实施例中，所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案之前，还包括：

获取所述至少一个场景对应的第二场景信息；

对应地，所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案，包括：

确定所述第一场景信息和所述第二场景信息的关联关系；

根据所述关联关系，确定所述优化方案。

在一些实施例中，所述关联关系为所述第二场景信息包括所述第一场景信息中的全部场景信息；所述根据所关联关系，确定所述优化方案，包括：

若所述第二场景信息包括所述第一场景信息中的全部场景信息，则根据所述第一场景信息对所述第三数据集中的各样本进行优化；

根据优化后的第三数据集对对应的目标算法进行分析更新，形成目标计算框架；

根据所述目标计算框架对所述第一模型进行更新。

在一些实施例中，所述关联关系为所述第二场景信息包括所述第一场景信息中的部分场景信息；所述根据所述关联关系，确定所述优化方案，包括：

若所述第二场景信息包括所述第一场景信息中的部分场景信息，则将所述第一场景信息对应的图像场景和所述第二场景信息对应的图像场景相结合，根据结合后的场景生成第一优化策略；

根据所述第一优化策略对所述第一模型进行更新。

在一些实施例中，所述关联关系为所述第二场景信息不包括所述第一场景信息；所述根据所述关联关系，确定所述优化方案，包括：

若所述第二场景信息不包括所述第一场景信息，则分别根据所述第一场景信息对应的场景生成第二优化策略和根据所述第二场景信息对应的场景生成第三优化策略；

根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新。

在一些实施例中，所述根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新，包括：

根据所述第二优化策略和所述第三优化策略确定目标补充数据集；

确定所述目标补充数据集与所述第一模型的目标算法是否匹配；

若所述目标补充数据集与所述目标算法匹配，则根据所述目标补充数据集对所述第一模型进行更新；

若所述目标补充数据集与所述目标算法不匹配，则生成优化方案有误的提示信息。

本实施例提供的模型优化设备的具体原理和实现方式均与前述实施例中模型优化方法实现过程类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上实施例提供的模型优化方法的步骤。

其中，所述计算机可读存储介质可以是前述实施例中所述的模型优化设备的内部存储单元，例如所述模型优化设备的硬盘或内存。所述计算机可读存储介质也可以是所述模型优化设备的外部存储设备，例如所述模型优化设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种模型的优化方法，其特征在于，包括：

获取根据第一数据集预训练的第一模型；

根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果；

根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；

分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。

2.根据权利要求1所述的方法，其特征在于，所述分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，包括：

确定所述第三数据集中所有样本对应的至少一个场景，其中，所述至少一个场景中的每个场景对应有场景信息列表，所述场景信息列表中包括至少一个场景信息；

获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第三数据集中所有样本对应的至少一个场景，包括：

提取所述第三数据集中所有样本在预设场景下的场景指标值；

将所述场景指标值与所述预设场景下的至少一个指标阈值进行比较；

若有样本在所述预设场景下的场景指标值符合所述预设场景下的指标阈值，则确定所述预设场景为对应样本的场景。

4.根据权利要求3所述的方法，其特征在于，所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案之前，还包括：

获取所述至少一个场景对应的第二场景信息；

所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案，包括：

确定所述第一场景信息和所述第二场景信息的关联关系；

根据所述关联关系，确定所述优化方案。

5.根据权利要求4所述的方法，其特征在于，所述关联关系为所述第二场景信息包括所述第一场景信息中的全部场景信息；所述根据所关联关系，确定所述优化方案，包括：

若所述第二场景信息包括所述第一场景信息中的全部场景信息，则根据所述第二场景信息对所述第三数据集中的所有样本进行优化；

根据优化后的第三数据集对对应的目标算法进行分析更新，形成目标计算框架；

根据所述目标计算框架对所述第一模型进行更新。

6.根据权利要求4所述的模型优化方法，其特征在于，所述关联关系为所述第二场景信息包括所述第一场景信息中的部分场景信息；所述根据所述关联关系，确定所述优化方案，包括：

若所述第二场景信息包括所述第一场景信息中的部分场景信息，则将所述第一场景信息对应的场景和所述第二场景信息对应的场景相结合，根据结合后的场景生成第一优化策略；

根据所述第一优化策略对所述第一模型进行更新。

7.根据权利要求4所述的模型优化方法，其特征在于，所述关联关系为所述第二场景信息不包括所述第一场景信息；所述根据所述关联关系，确定所述优化方案，包括：

若所述第二场景信息不包括所述第一场景信息，则分别根据所述第一场景信息对应的场景生成第二优化策略和根据所述第二场景信息对应的场景生成第三优化策略；

根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第二优化策略和所述第三优化策略对所述第一模型进行更新，包括：

根据所述第二优化策略和所述第三优化策略得到目标补充数据集；

确定所述目标补充数据集与所述第一模型的目标算法是否匹配；

若所述目标补充数据集与所述目标算法匹配，则根据所述目标补充数据集对所述第一模型进行更新；

若所述目标补充数据集与所述目标算法不匹配，则生成优化方案有误的提示信息。

9.一种模型优化设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1至8任一项所述模型优化方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8任一项所述模型优化方法的步骤。

Images