CN115049892A - 模型训练及图像检测方法、装置及设备 - Google Patents

Abstract

本申请提供一种模型训练及图像检测方法、装置及设备，该方法包括：获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。在训练样本规模不变的情况下，由于加入了无标签的训练样本进行训练，因此减小了对样本图像进行标注的图像数量，降低了模型训练的人力成本。

Description

模型训练及图像检测方法、装置及设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种模型训练及图像检测方法、装置及设备。

背景技术

图像检测指的是图像中识别是否有目标物，以及目标物在图像中的位置的过程。图像检测具有广泛的应用场景，如货物识别、智能医疗等等。

目前的图像检测主要是基于图像检测模型实现的。在图像检测模型的训练过程中，需要获取样本图像以及样本图像的标注信息，然后通过样本图像和标注信息对图像检测模型进行训练。在训练完成后，图像检测模型具备对图像进行检测的能力。将待检测图像输入至图像检测模型，即可得到相应的检测结果。

由于图像检测模型训练中需要的训练样本十分庞大，往往需要大量的标注人员对样本图像进行标注，因此图像检测模型训练的人力成本较高。

发明内容

本申请为解决上述问题，提供一种模型训练及图像检测方法、装置及设备。

第一方面，本申请提供一种模型训练方法，包括：

获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；

根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

在一种可能的实施方式中，根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练完成的第一模型，包括：

根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型；

将所述第二样本图像输入至所述训练好的标注模型，得到所述第二样本图像的样本检测图像；

根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到所述训练好的第一模型。

在一种可能的实施方式中，根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型，包括：

针对所述多张第一样本图像中的任意一张第一样本图像，将所述第一样本图像输入至标注模型，得到所述标注模型输出的标注检测图像；

根据所述标注检测图像和所述第一样本图像的样本检测图像对所述标注模型的参数进行调整；

在所述标注检测图像和所述第一样本图像的样本检测图像之间的差异值小于或等于第一预设值时，得到所述训练好的标注模型。

在一种可能的实施方式中，所述第一模型包括分割子模型和识别子模型；根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到所述训练好的第一模型，包括：

针对所述多张第一样本图像和所述多张第二样本图像中的任意样本图像，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，所述分割图像上包括前景区域和背景区域，所述前景区域的像素点的像素值为第一像素值，所述背景区域的像素点的像素值为第二像素值；

将所述样本图像输入至所述识别子模型，得到所述识别子模型输出的候选结果，所述候选结果指示所述样本图像上包括目标物体，或者，不包括所述目标物体；

根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像；

根据所述候选检测图像和所述样本图像的样本检测图像之间的差异值，调整所述第一模型的参数，直至所述检测图像和所述样本检测图像之间的差异值小于或等于第二预设值时，得到所述训练好的第一模型。

在一种可能的实施方式中，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，包括：

对所述样本图像进行特征提取处理，得到所述样本图像的特征向量；

根据第一卷积层对所述特征向量进行语义分割处理，得到所述样本图像的语义分割向量；

根据第二卷积层对所述特征向量进行超像素分割处理，得到所述样本图像的超像素分割向量；

根据所述语义分割向量和所述超像素分割向量，得到所述分割图像。

在一种可能的实施方式中，根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像，包括：

若所述候选结果指示所述样本图像上包括所述目标物体，则将所述分割图像确定为所述候选检测图像；

若所述候选结果指示所述样本图像上不包括所述目标物体，则更新所述分割图像中的所述前景区域中的像素点的像素值为所述第二像素值，得到所述候选检测图像。

第二方面，本申请提供一种图像检测方法，包括：

获取待检测的第一图像；

将所述第一图像输入至第一模型，得到所述第一图像的检测图像，所述检测图像指示所述第一图像上包括目标物体以及所述目标物体在所述第一图像上的位置，或者，所述检测图像指示所述第一图像上不包括所述目标物体，其中，所述第一模型为根据第一方面任一项所述的模型训练方法训练得到的模型。

第三方面，本申请提供一种模型训练装置，包括：

获取模块，用于获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；

处理模块，用于根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

在一种可能的实施方式中，所述处理模块具体用于：

根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型；

将所述第二样本图像输入至所述训练好的标注模型，得到所述第二样本图像的样本检测图像；

根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到训练好的第一模型。

在一种可能的实施方式中，所述处理模块具体用于：

针对所述多张第一样本图像中的任意一张第一样本图像，将所述第一样本图像输入至标注模型，得到所述标注模型输出的标注检测图像；

根据所述标注检测图像和所述第一样本图像的样本检测图像对所述标注模型的参数进行调整；

在所述标注检测图像和所述第一样本图像的样本检测图像之间的差异值小于或等于第一预设值时，得到所述训练好的标注模型。

在一种可能的实施方式中，所述第一模型包括分割子模型和识别子模型；所述处理模块具体用于：

针对所述多张第一样本图像和所述多张第二样本图像中的任意样本图像，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，所述分割图像上包括前景区域和背景区域，所述前景区域的像素点的像素值为第一像素值，所述背景区域的像素点的像素值为第二像素值；

将所述样本图像输入至所述识别子模型，得到所述识别子模型输出的候选结果，所述候选结果指示所述样本图像上包括所述目标物体，或者，不包括所述目标物体；

根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像；

根据所述候选检测图像和所述样本图像的样本检测图像之间的差异值，调整所述第一模型的参数，直至所述检测图像和所述样本检测图像之间的差异值小于或等于第二预设值时，得到所述训练好的第一模型。

在一种可能的实施方式中，所述处理模块具体用于：

对所述样本图像进行特征提取处理，得到所述样本图像的特征向量；

根据第一卷积层对所述特征向量进行语义分割处理，得到所述样本图像的语义分割向量；

根据第二卷积层对所述特征向量进行超像素分割处理，得到所述样本图像的超像素分割向量；

根据所述语义分割向量和所述超像素分割向量，得到所述分割图像。

在一种可能的实施方式中，所述处理模块具体用于：

若所述候选结果指示所述样本图像上包括所述目标物体，则将所述分割图像确定为所述候选检测图像；

若所述候选结果指示所述样本图像上不包括所述目标物体，则更新所述分割图像中的所述前景区域中的像素点的像素值为所述第二像素值，得到所述候选检测图像。

第四方面，本申请提供一种图像检测装置，包括：

获取模块，用于获取待检测的第一图像；

检测模块，用于将所述第一图像输入至第一模型，得到所述第一图像的检测图像，所述检测图像指示所述第一图像上包括目标物体以及所述目标物体在所述第一图像上的位置，或者，所述检测图像指示所述第一图像上不包括所述目标物体，其中，所述第一模型为根据第一方面任一项所述的模型训练方法训练得到的模型。

第五方面，本申请提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的模型训练方法，或者，使得所述至少一个处理器执行如第二方面所述的图像检测方法。

第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的模型训练方法，或者，实现如第二方面所述的图像检测方法。

本申请实施例提供的模型训练及图像检测方法、装置及设备，首先获取训练样本，训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，样本检测图像为对第一样本图像上的样本物体进行标注得到的图像；然后根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。由于本申请实施例中对第一模型训练时，采用的训练样本包括由第一样本图像和第一样本图像的样本检测图像组成的有标签的训练样本、以及由第二样本图像组成的无标签的训练样本，通过有标签的训练样本和无标签的训练样本进行半监督模型训练，在训练样本规模不变的情况下，由于加入了无标签的训练样本进行训练，因此减小了对样本图像进行标注的图像数量，降低了模型训练的人力成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的应用场景示意图；

图2为本申请实施例提供的模型训练方法的流程示意图；

图3为本申请实施例提供的模型训练流程示意图；

图4为本申请实施例提供的半监督模型训练示意图；

图5为本申请实施例提供的第一模型处理流程示意图；

图6为本申请实施例提供的分割子模型网络模块示意图；

图7为本申请实施例提供的分割子模型处理架构示意图；

图8为本申请实施例提供的分割图像和候选结果融合示意图；

图9为本申请实施例提供的图像检测方法的流程示意图；

图10为本申请实施例提供的模型训练装置的结构示意图；

图11为本申请实施例提供的图像检测装置的结构示意图；

图12为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，首先，对本申请所涉及的概念进行说明。

多任务学习：多任务学习是一种与单任务学习相对应的机器学习方法。在机器学习领域，标准算法理论是一次学习一个任务，即系统输出为实数的情况。首先将复杂学习问题分解为理论上独立的子问题，然后对每个子问题分别进行学习，最后结合子问题的学习结果建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，学习结果相互影响。多任务学习主要利用相关任务训练数据中包含的领域特定信息，通过推导偏差来提高主要任务的泛化效果。多任务学习中包括多个相关任务的同时并行学习和梯度的同时反向传播，多个任务通过底层的共享表示相互帮助学习，以提高泛化效果。

半监督学习：又称自监督学习，主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。该学习方式最大的有点即只需要少量的带有标签的数据，既可以指导大量的无标签数据进行训练，十分契合图像数据标注困难、数据量少的特点。

图1为本申请实施例提供的应用场景示意图，如图1所示，包括客户端11和服务器12，其中，客户端11和服务器12之间通过有线或无线网络连接。

客户端11可以向服务器12发送待检测图像13，服务器12对待检测图像13进行图像检测处理，得到待检测图像13的检测图像14，从而根据检测图像14得到待检测图像13上的目标物体，实现图像检测过程。

在一些实施例中，客户端11和服务器12可以是独立的两个设备，在另一些实施例中，客户端11和服务器12的功能也可以集成在同一个设备中，本申请实施例对此不作限定。

本申请实施例提供的模型训练以及图像检测方法，可以应用于不同的技术领域和应用场景，例如包括货物检测、目标检测、辅助病理判断等等。以货物检测为例，在对某区域的货物进行拍摄得到货物图像后，可以采用本申请实施例提供的方法检测货物图像中是否包括某个特定的货物；以目标车辆检测为例，在道路上拍摄图像后，可以采用本申请实施例提供的方法检测图像中是否包括目标车辆；以辅助病理判断为例，在获取病理学图像后，可以采用本申请实施例提供的方法检测病理学图像中是否包括相应的病灶，以助于确定相应的疾病，等等。

图像检测通常是基于模型完成的，而模型在应用之前需要通过大量的训练样本进行训练。通常，训练样本的规模越大，训练得到的模型的准确性越高，且随着模型结构越来越复杂，所需要的训练样本的规模也随即上升。而对样本图像进行标注通常是由人工完成的，需要的训练样本的规模越大，标注的人力成本也越高，且在一些情况下，标注需要具备专门的专家完成，例如病理学图像只能由经验丰富的医生进行标注，这进一步提高了标注的人力成本。

基于此，本申请实施例提供了一种模型训练方法，在只有少量标记样本的情况下完成模型的训练。下面将根据图1示例的应用场景，结合图2对本申请的方案进行介绍。

图2为本申请实施例提供的模型训练方法的流程示意图，如图2所示，该方法可以包括：

S21，获取训练样本，训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，样本检测图像为对第一样本图像上的样本物体进行标注得到的图像。

本申请中各实施例的执行主体例如可以为服务器、处理器、微处理器、芯片等具备数据处理功能的设备，本实施例的具体的执行主体不做限制，其可以根据实际需求进行选择和设置，只要是具备数据处理功能的设备均可以作为本申请中各实施例的执行主体。

通过多组训练样本可以进行第一模型的训练，其中训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，其中，一张第一样本图像和该第一样本图像的样本检测图像可以构成一组有标签的训练样本，一张第二样本图像可以构成一组无标签的训练样本，多组训练样本包括这些有标签的训练样本和无标签的训练样本。

本申请实施例中，对第一样本图像上的样本物体进行标注后可以得到第一样本图像的样本检测图像。例如，一种可能的实现方式是，将第一样本图像上的样本物体对应的像素点的像素值设置为第一像素值，将第一样本图像上除样本物体外的其他区域的像素点的像素值设置为第二像素值。可选地，在对第一样本图像进行标注后，还可以对第一样本图像进行图像翻转、对比度变换、灰度变换等一系列图像增强方法得到多个样本图像，从而达到扩充训练样本的效果，也能够增强模型的鲁棒性。

样本检测图像上还包括样本物体的类别信息，该类别信息指示样本物体是否为目标物体。例如，可以设置类别信息为0时，表示样本物体不是目标物体，设置类别信息为1时，表示样本物体是目标物体；例如，可以设置类别信息为1时，标识样本物体不是目标物体，设置类别信息为0时，表示样本物体是目标物体，等等。

S22，根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

在获取多组训练样本后，由于多组训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，即多组训练样本中既包括有标签的训练样本，也包括无标签的训练样本，因此根据这些有标签的训练样本和无标签的训练样本可以对第一模型进行至少一次半监督模型训练。本申请实施例中，半监督模型训练指的是同时采用有标签的训练样本和无标签的训练样本进行深度学习模型训练的方法。

在根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像对第一模型进行至少一次半监督模型训练后，得到训练好的第一模型，第一模型具备对图像进行检测的能力，能够检测出图像上是否包括目标物体。若包括目标物体，根据第一模型还可以得到目标物体在图像上的位置。

本申请实施例提供的模型训练方法，首先获取训练样本，训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，样本检测图像为对第一样本图像上的样本物体进行标注得到的图像；然后根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。由于本申请实施例中对第一模型训练时，采用的训练样本包括由第一样本图像和第一样本图像的样本检测图像组成的有标签的训练样本、以及由第二样本图像组成的无标签的训练样本，通过有标签的训练样本和无标签的训练样本进行半监督模型训练，在训练样本规模不变的情况下，由于加入了无标签的训练样本进行训练，因此减小了对样本图像进行标注的图像数量，降低了模型训练的人力成本。

在上述任意实施例的基础上，下面结合附图对本申请的方案进行进一步详细介绍。

图3为本申请实施例提供的模型训练流程示意图，如图3所示，包括：

S31，根据多张第一样本图像和第一样本图像的样本检测图像获取训练好的标注模型。

本申请实施例中，根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像可以对第一模型进行至少一次半监督模型训练。具体的，首先可以根据多张第一样本图像和第一样本图像的样本检测图像训练标注模型，其中，标注模型的结构和第一模型的结构可以相同，也可以不同，标注模型的结构可以采用常用的卷积神经网络结构、深度学习网络结构等，本实施例对此不作限定。

针对多张第一样本图像中的任意一张第一样本图像，可以将第一样本图像输入至该标注模型，通过标注模型对第一样本图像进行处理，得到该标注模型输出的标注检测图像。然后，根据标注检测图像和第一样本图像的样本检测图像之间的差异值对该标注模型的参数进行调整。参数调整之后可以向标注模型输入至下一张第一样本图像，通过标注模型对下一张第一样本图像进行处理，得到该标注模型输出的标注检测图像。类似的，仍根据标注检测图像和第一样本图像的样本检测图像之间的差异值对该标注模型的参数进行调整。

当标注检测图像和第一样本图像的样本检测图像之间的差异值大于第一预设值时，重复执行上述操作步骤进行标注模型的训练，直至标注检测图像和第一样本图像的样本检测图像之间的差异值小于或等于第一预设值时，停止训练过程，得到训练好的标注模型。

S32，将第二样本图像输入至训练好的标注模型，得到第二样本图像的样本检测图像。

标注模型可以用于对样本图像进行标注，生成伪标签。具体的，由于第二样本图像未被标注，在得到训练好的标注模型后，可以将第二样本图像输入至训练好的标注模型，通过训练好的标注模型对第二样本图像进行处理，得到第二样本图像的样本检测图像，第二样本图像的样本检测图像即为第二样本图像的伪标签。通过上述方式，针对未被标注的第二样本图像，基于训练好的标注模型实现了对第二样本图像的标注，无需人工对第二样本图像进行标注，进一步节省了图像标注的人力成本。

S33，根据第一样本图像、第一样本图像的样本检测图像、第二样本图像和第二样本图像的样本检测图像对第一模型进行训练，得到训练好的第一模型。

在得到第二样本的样本检测图像后，根据第一样本图像、第一样本图像的样本检测图像、第二样本图像和第二样本图像的样本检测图像对第一模型进行训练，可以得到训练好的第一模型。

具体的，针对任意一张第一样本图像，该第一样本图像和第一样本图像的样本检测图像可以构成一组有标签的训练样本；针对任意一张第二样本图像，该第二样本图像和第二样本图像的样本检测图像可以构成一组有标签的训练样本。因此，根据第一样本图像、第一样本图像的样本检测图像、第二样本图像和第二样本图像的样本检测图像可以得到多组有标签的训练样本，这多组有标签的训练样本可以用于第一模型的训练。

可以参考图4对上述半监督模型训练进行理解。图4为本申请实施例提供的半监督模型训练示意图，如图4所示，训练样本包括无标签的训练样本(即多张第二样本图像)和有标签的训练样本(即多张第一样本图像和第一样本图像的样本检测图像)。

通过有标签的训练样本，可以训练教师网络(即本申请中的标注模型)。在训练完成后，可以通过标注模型输出第二样本图像的样本检测图像，第二样本图像和第二样本图像的样本检测图像共同构成有标签的训练样本，结合第一样本图像和第一样本图像的样本检测图像构成的有标签的训练样本，共同训练学生网络(即本申请中的第一模型)。

在上述实施例中介绍了通过半监督模型训练的方法来训练第一模型的方案，下面将介绍第一模型对样本图像的具体处理过程。

本申请实施例中，第一模型包括分割子模型和识别子模型，下面结合图5对分割子模型和识别子模型的具体处理过程进行介绍。

图5为本申请实施例提供的第一模型处理流程示意图，如图5所示，包括：

S51，针对多张第一样本图像和多张第二样本图像中的任意样本图像，将样本图像输入至分割子模型，得到分割子模型输出的分割图像，分割图像上包括前景区域和背景区域，前景区域的像素点的像素值为第一像素值，背景区域的像素点的像素值为第二像素值。

可以结合图6和图7对分割子模型的处理过程进行理解。图6为本申请实施例提供的分割子模型网络模块示意图，图7为本申请实施例提供的分割子模型处理架构示意图。

如图6所示，分割子模型包括特征向量化模块、分割模块和Softmax层。针对多张第一样本图像和多张第二样本图像中的任意样本图像，首先通过特征向量化模块对样本图像进行特征提取处理，得到样本图像的特征向量。然后，通过分割模块对特征向量处理，得到分割图像。分割模块中包括残差卷积神经网络模块和注意力机制模块，残差卷积神经网络模块和注意力机制模块交替设置，其数量可以根据需要设定，此处不作限定。Softmax层用于计算分割图像和样本检测图像之间的差异值，计算损失函数，用于后续模型参数的调整。

本申请实施例中构建了一个多任务学习框架，来实现目标物体的分割和识别。如图7所示，分割子模型构建了一个结合超体素的分割框架，该分割框架是一个双分支网络模型结构，主要由二维卷积层组成，可以同时进行语义分割和超体素分割。这两个网络模型结构为第一卷积层和第二卷积层。根据第一卷积层对特征向量进行语义分割处理，得到样本图像的语义分割向量，根据第二卷积层对特征向量进行超像素分割处理，得到样本图像的超像素分割向量。

具体的，两个分支网络模型结构共享多尺度卷积层来提取相应的特征信息，由多方向注意捕获的细粒度细节，如水平、垂直和深度信息，结合先验指示。然后，建立超像素分割迭代算法，将提取的特征信息转化为超像素数据，并将得到的超像素分割数据输入到超像素层进行池运算，将影像的特征向量减少为每个超像素的一个特征向量。通过添加完全连接的层，超像素激活功能将映射到输出空间。最后，将两个分支的结果以像素级的形式组合，以获得最终的分割结果。此外，在使用梯度下降算法进行模型优化迭代的过程中，将根据像素级分割任务和超像素分割任务构造两种不同的损失函数，以获得更好的训练效果。通过从不同方向和水平进行空间建模，提供精细的局部细节，以实现低水平特征的类别定位。进一步的，在特征提取模块中加入了注意机制和残差网络模块，进一步提高了分割子模块的分割能力。

在得到语义分割向量和超像素分割向量后，可以根据语义分割向量和超像素分割向量得到分割图像。例如，可以将语义分割向量和超像素分割向量进行融合，得到分割图像，融合例如可以向向量的相加或者连接等等。

S52，将样本图像输入至识别子模型，得到识别子模型输出的候选结果，候选结果指示样本图像上包括目标物体，或者不包括目标物体。

识别子模型用于识别样本图像上是否包括目标物体，目标物体为需要检测的物体。在样本图像上可能包括各种不同的物体，而只有目标物体才是需要检测的物体。通过识别子模型对样本图像进行识别处理，得到识别子模型输出的候选结果，该候选结果即用于指示样本图像上是否包括目标物体。

S53，根据分割图像和候选结果，得到样本图像的候选检测图像。

在得到分割子模型输出的分割图像和识别子模型输出的候选结果后，可以根据分割图像和候选结果融合后得到样本图像的候选检测图像。

具体的，当候选结果指示样本图像上包括目标物体时，直接将分割图像确定为候选检测图像，候选检测图像指示样本图像上包括目标物体，第一像素值对应的前景区域在后续检测图像上的位置即为目标物体在样本图像上的位置。当候选结果指示样本图像上不包括目标物体时，更新分割图像中的前景区域中的像素点的像素值为第二像素值，得到候选检测图像，即候选检测图像上的像素点的像素值均为第二像素值，候选检测图像指示样本图像上不包括目标物体。

图8为本申请实施例提供的分割图像和候选结果融合示意图，如图8所示，样本图像分别输入至分割子模型和识别子模型，分割子模型对样本图像进行处理，得到分割图像，识别子模型对样本图像进行处理，得到候选结果。

然后，将分割图像和候选结果进行融合处理，得到候选检测图像即可。

S54，根据候选检测图像和样本图像的样本检测图像之间的差异值小于或等于第二预设值时，得到训练好的第一模型。

在得到候选检测图像后，根据候选检测图像和样本图像的样本检测图像之间的差异值对该第一模型的参数进行调整。

当候选检测图像和样本图像的样本检测图像之间的差异值大于第二预设值时，重复执行上述操作步骤进行第一模型的训练，直至候选检测图像和样本图像的样本检测图像之间的差异值小于或等于第二预设值时，停止训练过程，得到训练好的第一模型。

在上述实施例中，介绍了第一模型的训练过程，在第一模型训练完成后，可以通过第一模型进行图像检测，下面结合图9进行介绍。

图9为本申请实施例提供的图像检测方法的流程示意图，如图9所示，该方法可以包括：

S91，获取待检测的第一图像。

第一图像为待检测的图像，第一图像上可能包括目标物体，也可能不包括目标物体。

S92，将第一图像输入至第一模型，得到第一图像的检测图像，检测图像指示第一图像上包括目标物体以及目标物体在第一图像上的位置，或者，检测图像指示第一图像上不包括目标物体。

第一模型为图2-图8实施例所示例的方法训练得到的第一模型。将第一模型输入至第一模型后，通过第一模型对第一图像处理，得到第一图像的检测图像，该检测图像指示第一图像上包括目标物体以及目标物体在第一图像上的位置，或者，检测图像指示第一图像上不包括目标物体。

具体的，第一模型中包括分割子模型和识别子模型，通过分割子模型对第一图像处理，得到第一图像对应的分割图像。该分割图像上的像素点与第一图像上的像素点一一对应，分割图像上包括前景区域和背景区域，前景区域的像素点的像素值为第一像素值，背景区域的像素点的像素值为第二像素值，前景区域和背景区域通过像素点的像素值进行区分，前景区域即为通过分割子模型分割出的第一图像上的物体。

通过识别子模型对第一图像处理，得到第一图像的候选结果，该候选结果指示第一图像上包括目标物体，或者，第一图像上不包括目标物体。

在得到分割图像和候选结果后，可以对分割图像和候选结果进行融合，得到第一图像对应的分割图像。具体的，若候选结果指示第一图像上包括目标物体，则将分割图像确定为第一图像的检测图像，检测图像上前景区域对应的物体即为目标物体。若候选结果指示第一图像上不包括目标物体，则更新分割图像中前景区域中的像素点的像素值为第二像素值，得到检测图像，此时检测图像上不包括目标物体。

本申请实施例提供的模型训练及图像检测方法，首先获取训练样本，训练样本中包括多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像，样本检测图像为对第一样本图像上的样本物体进行标注得到的图像；然后根据多张第一样本图像、第一样本图像的样本检测图像和多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练完成的第一模型。由于本申请实施例中对第一模型训练时，采用的训练样本包括由第一样本图像和第一样本图像的样本检测图像组成的有标签的训练样本、以及由第二样本图像组成的无标签的训练样本，通过有标签的训练样本和无标签的训练样本进行半监督模型训练，在训练样本规模不变的情况下，由于加入了无标签的训练样本进行训练，因此减小了对样本图像进行标注的图像数量，降低了模型训练的人力成本。

图10为本申请实施例提供的模型训练装置的结构示意图，如图10所示，包括：

获取模块101，用于获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；

处理模块102，用于根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

在一种可能的实施方式中，所述处理模块102具体用于：

根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型；

将所述第二样本图像输入至所述训练好的标注模型，得到所述第二样本图像的样本检测图像；

根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到训练好的第一模型。

在一种可能的实施方式中，所述处理模块102具体用于：

针对所述多张第一样本图像中的任意一张第一样本图像，将所述第一样本图像输入至标注模型，得到所述标注模型输出的标注检测图像；

根据所述标注检测图像和所述第一样本图像的样本检测图像对所述标注模型的参数进行调整；

在所述标注检测图像和所述第一样本图像的样本检测图像之间的差异值小于或等于第一预设值时，得到所述训练好的标注模型。

在一种可能的实施方式中，所述第一模型包括分割子模型和识别子模型；所述处理模块102具体用于：

针对所述多张第一样本图像和所述多张第二样本图像中的任意样本图像，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，所述分割图像上包括前景区域和背景区域，所述前景区域的像素点的像素值为第一像素值，所述背景区域的像素点的像素值为第二像素值；

将所述样本图像输入至所述识别子模型，得到所述识别子模型输出的候选结果，所述候选结果指示所述样本图像上包括所述目标物体，或者，不包括所述目标物体；

根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像；

根据所述候选检测图像和所述样本图像的样本检测图像之间的差异值，调整所述第一模型的参数，直至所述检测图像和所述样本检测图像之间的差异值小于或等于第二预设值时，得到所述训练好的第一模型。

在一种可能的实施方式中，所述处理模块102具体用于：

对所述样本图像进行特征提取处理，得到所述样本图像的特征向量；

根据第一卷积层对所述特征向量进行语义分割处理，得到所述样本图像的语义分割向量；

根据第二卷积层对所述特征向量进行超像素分割处理，得到所述样本图像的超像素分割向量；

根据所述语义分割向量和所述超像素分割向量，得到所述分割图像。

在一种可能的实施方式中，所述处理模块102具体用于：

若所述候选结果指示所述样本图像上包括所述目标物体，则将所述分割图像确定为所述候选检测图像；

若所述候选结果指示所述样本图像上不包括所述目标物体，则更新所述分割图像中的所述前景区域中的像素点的像素值为所述第二像素值，得到所述候选检测图像。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图11为本申请实施例提供的图像检测装置的结构示意图，如图11所示，包括：

获取模块111，用于获取待检测的第一图像；

检测模块112，用于将所述第一图像输入至第一模型，得到所述第一图像的检测图像，所述检测图像指示所述第一图像上包括目标物体以及所述目标物体在所述第一图像上的位置，或者，所述检测图像指示所述第一图像上不包括所述目标物体，其中，所述第一模型为根据上述实施例所述的模型训练方法训练得到的模型。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图12为本申请实施例提供的电子设备的硬件结构示意图，如图12所示，本实施例的电子设备包括：处理器121以及存储器122；其中

存储器122，用于存储计算机执行指令；

处理器121，用于执行存储器存储的计算机执行指令，以实现上述实施例中模型训练方法或图像检测方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器122既可以是独立的，也可以跟处理器121集成在一起。

当存储器122独立设置时，该电子设备还包括总线123，用于连接所述存储器122和处理器121。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上电子设备所执行的模型训练方法或图像检测方法。

本申请实施例还可提供一种计算机程序产品，该计算机程序产品可以由处理器执行，在计算机程序产品被执行时，可实现上述任一所示的模型训练方法或图像检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；

根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

2.根据权利要求1所述的方法，其特征在于，根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练完成的第一模型，包括：

根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型；

将所述第二样本图像输入至所述训练好的标注模型，得到所述第二样本图像的样本检测图像；

根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到所述训练好的第一模型。

3.根据权利要求2所述的方法，其特征在于，根据所述多张第一样本图像和所述第一样本图像的样本检测图像获取训练好的标注模型，包括：

针对所述多张第一样本图像中的任意一张第一样本图像，将所述第一样本图像输入至标注模型，得到所述标注模型输出的标注检测图像；

根据所述标注检测图像和所述第一样本图像的样本检测图像对所述标注模型的参数进行调整；

在所述标注检测图像和所述第一样本图像的样本检测图像之间的差异值小于或等于第一预设值时，得到所述训练好的标注模型。

4.根据权利要求2或3所述的方法，其特征在于，所述第一模型包括分割子模型和识别子模型；根据所述第一样本图像、所述第一样本图像的样本检测图像、所述第二样本图像和所述第二样本图像的样本检测图像对所述第一模型进行训练，得到所述训练好的第一模型，包括：

针对所述多张第一样本图像和所述多张第二样本图像中的任意样本图像，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，所述分割图像上包括前景区域和背景区域，所述前景区域的像素点的像素值为第一像素值，所述背景区域的像素点的像素值为第二像素值；

将所述样本图像输入至所述识别子模型，得到所述识别子模型输出的候选结果，所述候选结果指示所述样本图像上包括目标物体，或者，不包括所述目标物体；

根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像；

根据所述候选检测图像和所述样本图像的样本检测图像之间的差异值，调整所述第一模型的参数，直至所述检测图像和所述样本检测图像之间的差异值小于或等于第二预设值时，得到所述训练好的第一模型。

5.根据权利要求4所述的方法，其特征在于，将所述样本图像输入至所述分割子模型，得到所述分割子模型输出的分割图像，包括：

对所述样本图像进行特征提取处理，得到所述样本图像的特征向量；

根据第一卷积层对所述特征向量进行语义分割处理，得到所述样本图像的语义分割向量；

根据第二卷积层对所述特征向量进行超像素分割处理，得到所述样本图像的超像素分割向量；

根据所述语义分割向量和所述超像素分割向量，得到所述分割图像。

6.根据权利要求4所述的方法，其特征在于，根据所述分割图像和所述候选结果，得到所述样本图像的候选检测图像，包括：

若所述候选结果指示所述样本图像上包括所述目标物体，则将所述分割图像确定为所述候选检测图像；

若所述候选结果指示所述样本图像上不包括所述目标物体，则更新所述分割图像中的所述前景区域中的像素点的像素值为所述第二像素值，得到所述候选检测图像。

7.一种图像检测方法，其特征在于，包括：

获取待检测的第一图像；

将所述第一图像输入至第一模型，得到所述第一图像的检测图像，所述检测图像指示所述第一图像上包括目标物体以及所述目标物体在所述第一图像上的位置，或者，所述检测图像指示所述第一图像上不包括所述目标物体，其中，所述第一模型为根据权利要求1-6任一项所述的模型训练方法训练得到的模型。

8.一种模型训练装置，其特征在于，包括：

获取模块，用于获取训练样本，所述训练样本中包括多张第一样本图像、所述第一样本图像的样本检测图像和多张第二样本图像，所述样本检测图像为对所述第一样本图像上的样本物体进行标注得到的图像；

处理模块，用于根据所述多张第一样本图像、所述第一样本图像的样本检测图像和所述多张第二样本图像对第一模型进行至少一次半监督模型训练，得到训练好的第一模型。

9.一种图像检测装置，其特征在于，包括：

获取模块，用于获取待检测的第一图像；

检测模块，用于将所述第一图像输入至第一模型，得到所述第一图像的检测图像，所述检测图像指示所述第一图像上包括目标物体以及所述目标物体在所述第一图像上的位置，或者，所述检测图像指示所述第一图像上不包括所述目标物体，其中，所述第一模型为根据权利要求1-6任一项所述的模型训练方法训练得到的模型。

10.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-6任一项所述的模型训练方法，或者，使得所述至少一个处理器执行如权利要求7所述的图像检测方法。

Images