CN112149693A - 轮廓识别模型的训练方法和目标对象的检测方法 - Google Patents

Abstract

本申请提供了一种轮廓识别模型的训练方法，包括：提供多个样本的基础数据，所述基础数据对应所述样本中识别对象的轮廓；基于每个所述样本的所述基础数据获取多个训练数据；以及基于带有所述多个训练数据的所述样本对神经网络模型进行训练，以使得所述神经网络模型能基于所述样本输出与所述多个训练数据分别对应的多个轮廓识别数据。由于样本的基础数据对应样本中识别对象的轮廓，多个训练数据对应基于样本中识别对象的轮廓获得的多个训练轮廓，一个样本带有多个训练样本，基于带有多个训练数据的样本对神经网络模型进行训练，通过该训练方法，使得轮廓识别模型具有输入一个样本输出与多个训练数据的分别对应的多个轮廓识别数据的能力。

Description

轮廓识别模型的训练方法和目标对象的检测方法

技术领域

本申请涉及计算机技术领域，具体涉及一种轮廓识别模型的训练方法、目标对象的检测方法、目标对象的检测装置、电子设备和计算机可读存储介质。

背景技术

目标检测是计算机视觉领域的一个经典问题，目的是检测出输入图像中目标对象的位置、轮廓以及种类等。现有技术中的目标检测方法利用代表不同目标类别的卷积核对待检测图像进行卷积计算，通过分类获得目标对象的位置、轮廓及种类，但该方法针对目标对象或者重叠的多个目标对象的检测准确度低，无法精准检测目标对象的轮廓，也无法精确地将重叠的多个目标对象分割开，且计算速度慢，耗时较长。

发明内容

有鉴于此，本申请实施例提供了一种轮廓识别模型的训练方法、目标对象的检测方法、目标对象的检测装置、电子设备和计算机可读存储介质，以解决现有技术中无法兼顾精准识别目标对象且耗时短的技术问题。

根据本申请的一个方面，本申请一实施例提供的一种轮廓识别模型的训练方法，包括：提供多个样本的基础数据，所述基础数据对应所述样本中识别对象的轮廓；基于每个所述样本的所述基础数据获取多个训练数据；以及基于带有所述多个训练数据的所述样本对神经网络模型进行训练，以使得所述神经网络模型能基于所述样本输出与所述多个训练数据分别对应的多个轮廓识别数据。

根据本申请另一个方面，本申请一实施例提供的一种目标对象的检测方法，包括：提取待检测图像的特征信息，所述待检测图像包括一个或多个目标对象；将所述特征信息输入如上述任一所述的方法训练得到的轮廓识别模型，获得所述待检测图像的多个轮廓预测数据；对所述多个轮廓预测数据进行特征叠加，获得预测叠加数据；以及基于所述预测叠加数据，获得所述目标对象的轮廓数据。

根据本申请的又一个方面，本申请一实施例提供的本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的方法。

根据本申请的又一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的方法。

本申请实施例提供的一种轮廓识别模型的训练方法，通过获取样本的基础数据的多个训练数据，基于带有多个训练数据的样本对神经网络模型进行训练，以使得神经网络模型能基于样本输出与多个训练数据分别对应的多个轮廓识别数据。通过该训练方法，使得轮廓识别模型具有输入一个样本输出与多个训练数据的分别对应的多个轮廓识别数据的能力。具体地，样本的基础数据对应样本中识别对象的轮廓，多个训练数据对应基于样本中识别对象的轮廓获得的多个训练轮廓，由于一个样本带有多个训练样本，基于带有多个训练数据的样本对神经网络模型进行训练，该神经网络模型能够具有能输出与多个训练数据分别对应的多个轮廓识别数据。

本申请实施例提供的一种目标对象的检测方法，通过提取待检测图像的特征信息，将待检测图像的特征信息输入利用上述训练方法训练得到的轮廓识别模型，获得待检测图像的多个轮廓预测数据，通过对多个轮廓预测数据进行叠加，获得预测叠加数据，基于预测叠加数据，获得目标对象的轮廓数据。通过上述训练方法获得的轮廓识别模型获得一个待检测图像的多个轮廓预测数据，通过叠加多个轮廓预测数据，使一个或多个目标对象的轮廓更加精准清晰的被获得，最终高效准确地得目标对象的轮廓数据。具体地，由于轮廓识别模型可以获得多个轮廓预测数据，多个轮廓预测数据从多个尺寸范围反映待检测图像中一个或多个目标对象的轮廓，目标对象或者重叠在一起的多个目标对象，即使在一个尺寸范围预测不出来，但在其他的尺寸范围可以被预测。将代表多个尺寸范围预测待检测图像的中目标对象的轮廓的多个轮廓预测数叠加，预测叠加数据可以清楚地反映目标对象或者重叠在一起的多个目标对象的检测结果。通过叠加多个轮廓预测数据最终获得目标对象的轮廓数据。

附图说明

图1所示为本申请一实施例提供的一种轮廓识别模型的训练方法的流程示意图。

图2所示为本申请一实施例提供的一种轮廓识别模型的训练方法中基于带有多个训练数据的样本对神经网络模型进行训练的流程示意图。

图3所示为本申请一实施例提供的一种轮廓识别模型的训练方法中基于带有多个训练数据的样本对神经网络模型进行训练的流程示意图。

图4所示为本申请一实施例提供的一种目标对象的检测方法的流程示意图。

图5所示发明一实施例提供的一种目标对象的检测方法中对多个轮廓预测数据进行特征叠加获得预测叠加数据的流程示意图。

图6所示为本申请一实施例提供的一种目标对象的检测方法的流程示意图。

图7所示为本申请一实施例提供的一种目标对象的检测方法中基于预测叠加数据获得目标对象的轮廓数据的流程示意图。

图8所示为本申请一实施例提供的一种目标对象的检测方法中基于预测叠加数据以及类别轮廓预测数据确定目标对象的轮廓数据的流程示意图。

图9所示为本申请一实施例提供的一种目标对象的检测方法中提取待检测图像的特征信息的流程示意图。

图10所示为本申请一实施例提供的一种目标对象的检测方法中获取待检测图像的流程示意图。

图11a所示为本申请一实施例提供的一种布料图像上瑕疵的检测方法的流程示意图。

图11b所示为本申请一实施例提供的一种布料图像上瑕疵的检测方法的流程示意图。

图12所示为本申请一实施例提供的一种轮廓识别模型的训练装置的结构示意图。

图13所示为本申请一实施例提供的一种目标对象的检测装置的结构示意图。

图14所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如上所述，目标检测是计算机视觉领域的一个经典问题，目的是检测出输入图像中目标对象的位置、轮廓以及种类等。现有技术中的目标检测方法利用代表不同目标类别的卷积核对待检测图像进行卷积计算，通过分类获得目标对象的位置、轮廓及种类。但该方法对目标对象或者重叠的多个目标对象的检测准确度低，无法精准检测目标对象的轮廓，也无法精确地将重叠的多个目标对象分割开，且计算速度慢，耗时较长。

针对上述的技术问题，本申请的基本构思提供的一种轮廓识别模型的训练方法，基于样本的基础数据获得多个训练数据，通过带有多个训练数据的一个样本，对神经网络模型进行训练，使得轮廓识别模型具有输入一个样本输出与多个训练数据的分别对应的多个轮廓识别数据的能力。基于上述轮廓识别模型，本申请提供一种检测方法，将待检测图像的特征信息输入上述轮廓识别模型，获得待检测图像的多个轮廓预测数据多个轮廓预测数据，从多个尺寸范围反映待检测图像中一个或多个目标对象的轮廓，通过叠加多个轮廓预测数据，使一个或多个目标对象的轮廓更加精准清晰的被获得，最终高效准确地得目标对象的轮廓数据。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图1所示为本申请一实施例提供的一种轮廓识别模型的训练方法的流程示意图。如图1所示，该训练方法包括如下步骤：

步骤101：提供多个样本的基础数据，基础数据对应样本中识别对象的轮廓。

具体而言，样本中识别对象的位置、轮廓以及类别都是已知的，是为了训练该轮廓识别模型提供的参考。样本中的基础数据对应样本中识别对象的轮廓。样本可以是一张已知布料瑕疵位置以及轮廓的布料图片，也可以是一张已知螺纹缺口位置以及轮廓的螺栓的图片，样本根据该轮廓识别模型的应用场景而确定。

步骤102：基于每个样本的基础数据获取多个训练数据。

具体而言，基础数据对应样本中识别对象的轮廓，训练数据对应的就是基于样本中识别对象的轮廓获得的训练轮廓。样本具有基础数据与训练数据。

步骤103：基于带有多个训练数据的样本对神经网络模型进行训练，以使得神经网络模型能基于样本输出与多个训练数据分别对应的多个轮廓识别数据。

具体而言，将一个带有多个训练样本的样本输入神经网路模型，对神经网络模型进行训练，使得神经网络模型能够具有能输出多个与多个训练数据分别对应的多个轮廓识别数据的能力。

在一个实施例中，该轮廓识别模型可以是MobilenetV2、Fast-RCNN、Faster-RCNN、R-FCN、YOLO(You Only Look Once)以及SSD(Single Shot Mutibox Detector)等神经网络模型。应当理解，轮廓识别模型还可以是其他可以实现输出多个与多个训练数据分别对应的多个轮廓识别数据的神经网络模型。

本申请实施例中，通过获取样本的基础数据的多个训练数据，基于带有多个训练数据的样本对神经网络模型进行训练，以使得神经网络模型能基于样本输出与多个训练数据分别对应的多个轮廓识别数据。通过该训练方法，使得轮廓识别模型具有输入一个样本输出与多个训练数据的分别对应的多个轮廓识别数据的能力。具体地，样本的基础数据对应样本中识别对象的轮廓，多个训练数据对应基于样本中识别对象的轮廓获得的多个训练轮廓，由于一个样本带有多个训练样本，基于带有多个训练数据的样本对神经网络模型进行训练，该神经网络模型能够具有能输出多个与多个训练数据分别对应的多个轮廓识别数据。

图2所示为本申请一实施例提供的一种轮廓识别模型的训练方法中基于带有多个训练数据的样本对神经网络模型进行训练的流程示意图。如图2所示，基于带有多个训练数据的样本对神经网络模型进行训练具体包括如下步骤：

步骤2031：提取样本的特征信息。

具体而言，样本的特征信息用于表征样本。将样本输入特征提取模型获得样本的特征信息。特征提取模型可以如MobileNetv2、SqueezeNet、ShuffleNet等卷积神经网络模型，对样本的像素通过多个不同卷积核进行卷积处理，以得到样本对应的若干个特征层。从若干特征层中筛选出基础特征层，在将基础特征层进行叠加获得样本的特征信息。

在一个实施例中，特征提取模型为MobileNetv2时，则可从19层特征层将第3，7，14，19层作为基础特征层，选择的各层的特征矩阵的维度分别是原图的1/2，1/4，1/8，1/16，将第3，7，14，19层作为基础特征层进行叠加，获得样本的特征信息。

步骤2032：将特征信息输入神经网络模型，以获取与多个训练数据分别对应的多个轮廓识别数据。

具体而言，将一个样本的特征信息输入神经网络模型中，神经网络模型输出与多个训练数据分别对应的多个轮廓识别数据。

步骤2033：基于多个轮廓识别数据以及多个训练数据获得损失结果。

具体而言，由于多个轮廓识别数据与多个训练数据分别对应，以每个训练数据为参考，分别计算轮廓识别数据与训练数据的损失，获得损失结果。

步骤2034：基于损失结果，调整神经网络模型的参数。

具体而言，输入神经网络模型的样本的训练数据是输入参考值，与该训练数据对应的轮廓识别数据是输出值，输出值与输入参考值存在差异，就需要调整神经网络模型的参数，直至损失结果在预设范围内，停止调整神经网络模型的参数。损失结果在预设范围表明多个轮廓识别数据与对应的多个轮廓识别数据的差别在预设范围内。

本申请实施例中，提取样本的特征信息，将样本的特征信息输入神经网络模型，获得分别与多个训练数据对应的多个轮廓识别数据，以每个训练数据为参考，分别计算轮廓识别数据与训练数据的损失，获得损失结果，基于损失结果调整神经网络模型的参数，直至损失结果在预设范围内，停止调整神经网络模型的参数。以训练数据为参考值，通过训练使神经网络模型输出值与参考值的差别在预设范围内。

在一个实施例中，多个训练数据各自所对应的轮廓范围小于等于基础数据对应的识别对象的轮廓范围。由于训练数据所对应的轮廓范围小于等于对应的识别对象的轮廓范围，从轮廓识别模型中输出的多个轮廓识别数据所反映的也是不同尺寸范围内的识别对象，从不同范围调整轮廓识别模型的参数，使轮廓识别模型的识别能力更准确。

在一个实施例中，基于样本的基础数据获取多个训练数据包括：以基础数据对应的识别对象的轮廓的几何中心为缩放中心，按照M个不同的缩放倍数缩小基础数据对应的识别对象的轮廓，以获取M个训练数据。

按照上述缩小方式获取的M个训练数据可以从不同比例反映样本中识别对象的轮廓，使得在不同比例下参考值更加清晰，输出的多个轮廓识别数据所反映的也是不同比例下的识别对象，使得该轮廓识别模型具有从不同尺度下识别出识别对象的能力，更全面准确且快速地识别出识别对象。

在一个进一步实施例中，M可以为2-8中的任意整数，缩放倍数的取值范围为0.5-1。

在一个进一步实施例中，M＝6，6个不同的缩放倍数的取值为0.5、0.6、0.7、0.8、0.9和1.0。以基础数据对应的识别对象的轮廓的几何中心为缩放中心，按照0.5、0.6、0.7、0.8、0.9和1.0的缩放倍数缩小基础数据对应的识别对象的轮廓，从而获得6个训练数据。从6个不同比例反映样本中识别对象的轮廓，通过具有6个训练数据的样本训练该轮廓识别模型，使得该轮廓识别模型具有从6个不同尺度下识别出识别对象的能力。

图3所示为本申请一实施例提供的一种轮廓识别模型的训练方法中基于带有多个训练数据的样本对神经网络模型进行训练的流程示意图。如图3所示，将特征信息输入神经网络模型，以获取与多个训练数据分别对应的多个轮廓识别数据包括下列步骤：

步骤30321：利用卷积核大小为1×1，输出通道数为N的卷积层对特征信息进行卷积，以获得多个轮廓识别数据，N为训练数据的个数。

具体地，卷积核的大小为1×1，使样本中识别对象是在像素尺度上的，识别对象的轮廓获取的更准确，N个卷积层对应N个训练数据，不仅从不同尺度识别出识别对象，识别结果更全面与准确，且同时识别出不同尺度的轮廓识别数据，效率更高，更节约时间。

图4所示为本申请一实施例提供的一种目标对象的检测方法的流程示意图。如图4所示，该检测方法包括如下步骤：

步骤401：提取待检测图像的特征信息，待检测图像包括一个或多个目标对象。

具体而言，待检测图像中目标对象的个数、位置以及轮廓都是未知的，需要基于本检测方法去检测识别的。待检测图像可以是一张布料图片，也可以是一张医学图像，也可以是一张工业零件的图。提取待检测图像的特征信息的特征提取模型可采用如MobileNetv2、SqueezeNet、ShuffleNet等卷积神经网络模型。

在一个实施例中，提取待检测图像的特征信息的特征提取模型与训练轮廓识别模型的训练方法中提取样本的特征信息的特征提取模型相同。

步骤402：将特征信息输入如上述任一的方法训练得到的轮廓识别模型，获得待检测图像的多个轮廓预测数据。

具体而言，由于利用上述方法训练的轮廓识别模型具有输入一个样本的特征信息输出与多个训练数据的分别对应的多个轮廓预测数据的能力，且多个训练数据是基于样本中识别对象的轮廓获得的，多个轮廓预测数据代表不同尺寸范围的预测目标对象的轮廓。那么输入一个待检测图像的特征信息，就能输出待检测图像的多个轮廓预测数据，多个轮廓预测数据从多个尺寸范围预测待检测图像的中目标对象的轮廓。

在一个实施例，轮廓识别模型可以是利用上述方法训练的MobilenetV2、Fast-RCNN、Faster-RCNN、R-FCN、YOLO(You Only Look Once)以及SSD(Single Shot MutiboxDetector)等神经网络模型。

步骤403：对多个轮廓预测数据进行特征叠加，获得预测叠加数据。

具体而言，对于待检测图像中目标对象或者重叠在一起的多个目标对象，在现有技术中的从一个尺寸范围获得轮廓预测数据中无法被预测或者无法清楚地分割预测。但由于多个轮廓预测数据从多个尺寸范围预测待检测图像的中目标对象的轮廓。对于目标对象或者重叠在一起的多个目标对象，即使在一个尺寸范围预测不出来，但在其他的尺寸范围可以被预测。将代表多个尺寸范围预测待检测图像的中目标对象的轮廓的多个轮廓预测数叠加，预测叠加数据可以清楚地反映目标对象或者重叠在一起的多个目标对象的检测结果。

步骤404：基于预测叠加数据，获得目标对象的轮廓数据。

预测叠加数据可以清楚地反映目标对象或者重叠在一起的多个目标对象的检测结果，基于预测叠加数据，获得目标对象的轮廓数据，确定目标对象的位置以及轮廓，输出检测结果。重叠的多个目标对象的轮廓都可以清楚地别分隔开，每个目标对象的轮廓都可以被准确预测。

本申请实施例中，通过上述训练方法获得的轮廓识别模型获得一个待检测图像的多个轮廓预测数据，通过叠加多个轮廓预测数据，使一个或多个目标对象的轮廓更加精准清晰的被获得，最终高效准确地得目标对象的轮廓数据。由于轮廓识别模型可以获得多个轮廓预测数据，多个轮廓预测数据从多个尺寸范围反映待检测图像中一个或多个目标对象的轮廓，目标对象或者重叠在一起的多个目标对象，即使在一个尺寸范围预测不出来，但在其他的尺寸范围可以被预测。将代表多个尺寸范围预测待检测图像的中目标对象的轮廓的多个轮廓预测数叠加，预测叠加数据可以清楚地反映目标对象或者重叠在一起的多个目标对象的检测结果。通过叠加多个轮廓预测数据最终获得目标对象的轮廓数据。

在一个实施例中，轮廓预测数据所对应的轮廓范围内的区域为目标区域，轮廓范围外的区域为背景区域，图5所示发明一实施例提供的一种目标对象的检测方法中对多个轮廓预测数据进行特征叠加获得预测叠加数据的流程示意图，如图5所示，对多个轮廓预测数据进行特征叠加，获得预测叠加数据包括下列步骤：

步骤5031：当多个轮廓预测数据中同一像素均位于目标区域时，则预测叠加数据中像素为第一目标对象的目标区域。

具体而言，由于多个预测轮廓数据从多个尺寸范围反映目标对象的轮廓的预测结果，当多个轮廓预测数据中同一像素均位于目标区域时，表明在多个尺度范围内，轮廓预测模块对这个像素都认定为是属于目标对象的，因此，将预测叠加数据中像素为第一目标对象的目标区域。

步骤5032：当多个轮廓预测数据中同一像素均位于背景区域时，则预测叠加数据中像素为背景区域。

当多个轮廓预测数据中同一像素均位于背景区域时，表明在多个尺度范围内，轮廓预测模块对这个像素都认定为是属于背景区域的，因此，将预测叠加数据中像素为背景区域。

步骤5033：当多个轮廓预测数据中同一像素分别位于目标区域和背景区域时，则预测叠加数据中像素为第二目标对象的目标区域。

当多个轮廓预测数据中同一像素分别位于目标区域和背景区域时，则表明该像素在某个尺度范围被预测为目标对象，在某个尺度范围被预测为背景区域，则预测叠加数据中像素为第二目标对象的目标区域，则多个重叠的目标对象在不同尺度范围上被分割开，使每个目标对象的轮廓被清楚地获得。

应当理解，第二目标对象为区别于第一目标对象的目标对象。当多个轮廓预测数据中同一像素均位于目标区域时，表明无论在哪个尺度上该像素都属于目标对象，如果轮廓预测数据中每一个像素均位于目标区域，表明轮廓预测数据中的目标对象是一个目标对象，而不是多个目标对象重叠导致的。当多个轮廓预测数据中同一像素均位于背景区域时，表明该像素无论在哪个尺度上来讲都属于背景，不是目标对象上的像素，则该像素肯定并不属于任何一个目标对象。之所以出现一个像素在不同尺度上分别被认为是背景区域和目标区域是因为有两个目标对象的目标区域重叠导致的。一个目标对象的目标区域中的一些像素在某些尺度上被误认为是背景像素，这时候这样的像素会被划分为不同与第一目标对象的第二目标对象，使得第二目标对象与第一目标对象拆分开。

本申请实施例中，通过判定多个轮廓预测数据上的同一像素是均位于目标区域或均位于背景区域或位于目标区域和背景区域，使目标对象可以被检测出来或者重叠在一起的多个目标对象的可以被清楚的分割。

在一个实施例中，基于预测叠加数据，获得目标对象的轮廓数据包括：将预测叠加数据作为目标对象的轮廓数据。本实施例中，目标对象可以被检测出来或者重叠在一起的多个目标对象的可以被清楚的分割。当目标对象为小尺寸目标对象时，效果更好，其中小尺寸对象包括例如1像素-256×256像素尺寸范围内的瑕疵。

图6所示为本申请一实施例提供的一种目标对象的检测方法的流程示意图。如图6所示，该检测方法还包括如下步骤：

步骤605：利用卷积核为1×1，输出通道数与预设目标类别的个数相同的卷积层，对待检测图像的特征信息进行卷积，获得待检测图像的多个初步目标分类数据，初步目标分类数据包括用于表征待检测图像上的像素属于多个预设的目标类别中的某一种目标类别的类别概率值；

具体而言，由于卷积层的卷积核为1×1且输出通道数与预设目标类别的个数，利用该卷积层进行卷积，输出待检测图像的多个初步目标分类数据，分别获得每一个像素属于某一个目标类别的概率值。例如卷积层为1*1，卷积层为3，则目标对象被分为三类，当待检测图像为布料图片，目标对象为布料图片上的瑕疵时，预设目标类别可以为勾丝、破损以及斑点，通过该卷积可以确定该布料图片上的像素属于那种瑕疵的概率值。

步骤606：对多个初步目标分类数据中的每个像素对应的多个类别概率值进行最大概率取值，确定待检测图像中的每个像素分别属于的目标类别。

具体而言，通过上述卷积可以获得同一个像素属于不同预设目标类别的概率值，最大概率取值通过像素最大可能属于哪种目标类别，确定该像素属于的目标分类。

步骤607：基于预测叠加数据，获得与预测叠加数据对应的目标分类结果。

具体而言，由于预测叠加数据可以更准确清晰的获得目标对象的轮廓，但并不能确定目标对象的类别，通过上述步骤获得每个像素属于的类别，再确定位于预测叠加数据中预测的目标对象轮廓上的每一个像素属于的目标分类，从而确定与预测叠加数据对应的目标分类结果。

在一个实施例中，基于预测叠加数据获得与预测叠加数据对应的目标分类结果可以是直接获得应预测叠加数据中预测轮廓数据对应的像素的类别，也可以获得预测叠加数据中每一个像素的类别，在确定出预测轮廓数据对应的像素的类别。

本申请实施例中，通过卷积计算获得待检测图像的多个初步目标分类数据，通过最大概率取值获得每个像素分别属于的目标类别，在确定与预测叠加数据对应的目标分类结果，不仅精准高效地获取目标对象的位置与轮廓、还能确定目标对象的种类。

图7所示为本申请一实施例提供的一种目标对象的检测方法中基于预测叠加数据获得目标对象的轮廓数据的流程示意图。如图7所示，基于预测叠加数据，获得目标对象的轮廓数据包括下列步骤：

步骤7041：基于待检测图像中的像素分别属于的目标类别，确定待检测图像的类别轮廓预测数据。

具体而言，获取待检测图像中的每一个像素属于的目标类别，不论属于哪一种类别的均属于目标对象的轮廓，基于检测图像中所有确定出目标类别的像素，确定出待检测图像的类别轮廓预测数据。

步骤7042：基于预测叠加数据以及类别轮廓预测数据，确定目标对象的轮廓数据。

虽然预测叠加数据通过多个尺度范围内轮廓预测数据叠加而来，可以获得准确的目标对象的轮廓，但是无法准确获得预测叠加数据中目标对象的轮廓属于那个分类。通过类别轮廓预测数据与预测叠加数据，可以获得目标对象位置、轮廓以及类别。

本申请实施例中，通过检测图像中的每一个像素属于的目标类别确定出待检测图像的类别轮廓预测数据，通过预测叠加数据以及类别轮廓预测数据，精准获得目标对象位置、轮廓以及类别。

图8所示为本申请一实施例提供的一种目标对象的检测方法中基于预测叠加数据以及类别轮廓预测数据确定目标对象的轮廓数据的流程示意图。如图8所示，基于预测叠加数据以及类别轮廓预测数据，确定目标对象的轮廓数据具体包括：

步骤80421：当类别轮廓预测数据所对应的轮廓线划分了预测叠加数据对应的轮廓区域时，基于轮廓线将轮廓区域划分为分别对应两个目标对象的两个轮廓子区域。

具体而言，虽然预测叠加数据可以将叠加的多个目标对象的轮廓分割开，但其无法确定每个目标对象的类别，预测叠加数据的一个轮廓线被类别轮廓预测数据分割，表明该轮廓属于两个类别，获得分别对应两个目标对象的两个轮廓子区域。

本申请实施例中，通过类别轮廓预测数据划分了预测叠加数据对应的轮廓区域，在获得轮廓的基础上，获得更准确的类别。

图9所示为本申请一实施例提供的一种目标对象的检测方法中提取待检测图像的特征信息的流程示意图。如图9所示，提取待检测图像的特征信息包括下列步骤：

步骤9011：对待检测图像进行特征提取处理，获得待检测图像的多个输出特征信息；

具体而言，将待检测图像输入特征提取模型获得样本的特征信息。特征提取模型可以如MobileNetv2、SqueezeNet和ShuffleNet等卷积神经网络模型，对待检测图像通过多个不同卷积核进行卷积处理，输出多个输出特征信息；例如，特征提取模型为MobileNetv2，可以获得19个输出特征信息。

步骤9012：从多个输出特征信息中筛选出多个基础特征信息；对按照预设顺序排序后的多个基础特征信息，利用上采样使多个基础特征信息的通道数相同；

具体而言，可以是从19个输出特征信息中筛选出第3，7，14，19个作为基础特征信息，选择的各层的特征矩阵的维度分别是原图的1/2，1/4，1/8，1/16。为了方便特征融合，利用上采样使多个基础特征信息的通道数相同。

步骤9013：对上采样后的多个基础特征信息进行特征融合，获得待检测图像的特征信息。

具体而言，通过特征连接或者特征叠加对上采样后的多个基础特征信息进行特征融合，对待检测图像的特征进行加深。

图10所示为本申请一实施例提供的一种目标对象的检测方法中获取待检测图像的流程示意图。如图10所示，获取待检测图像包括下列步骤：

步骤1001：获取原始图像；

应当理解，只要可以获得原始图像即可，本申请实施例原始图像的获取方式不做限定。

步骤1002：对原始图像进行滑窗处理，获取待检测图像集，待检测图像集包括多个待检测图像。

本申请实施例中，通过滑窗处理获取多个待检测图像，将原始图像分割成多个待检测图像同时处理，既减少了每次处理的计算量，同时处理也提高了运算速度。

在一个实施例中，目标对象为以下任一种：布料图像上的瑕疵、医学图像上的病灶影像和工业零件上的缺陷。

图11a所示为本申请一实施例提供的一种布料图像上瑕疵的检测方法的流程示意图。如图11a所示，该布料图像上瑕疵的检测方法包括：获取布料原始图像(如图11a中步骤11001所示),对布料原始图像进行滑窗处理，获取待检测布料图像集，待检测布料图像集包括多个待检测布料图像(如图11a中步骤11002所示)。利用MobileNetv2作为特征提取模型，获得19个布料输出特征信息(如图11a中步骤11011所示)。从19个布料输出特征信息中筛选出第3，7，14，19个作为布料基础特征信息，利用上采样使多个布料基础特征信息的通道数相同(如图11a中步骤11012所示)。通过特征连接或者特征叠加对上采样后的多个布料基础特征信息进行特征融合，获得待检测布料图像的特征信息(如图11a中步骤11013所示)。将待检测布料图像的特征信息输入如上述任一的方法训练得到的轮廓识别模型，轮廓识别模型中卷积核大小为1×1，输出通道数为N的卷积层对特征信息进行卷积，获得N个预测瑕疵轮廓数据(如图11a中步骤1102所示)，当N个瑕疵轮廓预测数据中同一像素均位于瑕疵时，表明在多个尺度范围内，轮廓预测模块对这个像素都认定为是属于瑕疵的，将预测叠加数据中像素为第一瑕疵的轮廓区域(如图11a中步骤11031所示)。当N个瑕疵轮廓预测数据中同一像素均位于合格布料区域时，表明在多个尺度范围内，轮廓预测模块对这个像素都认定为是属于合格布料区域，将预测叠加数据中像素为合格布料区域(如图11a中步骤11032所示)。多个瑕疵轮廓预测数据中同一像素分别位于瑕疵区域和合格布料区域时，则表明该像素在某个尺度范围被预测为瑕疵区域，在某个尺度范围被预测为合格布料区域，则预测叠加数据中像素为第二瑕疵的轮廓区域，则多个重叠的瑕疵在不同尺度范围上被分割开(如图11a中步骤11033所示)。将第一瑕疵的轮廓与第二瑕疵的轮廓作为瑕疵数据(如图11a中步骤1104所示)。第一瑕疵与第二瑕疵指代两个轮廓可以被分割开的瑕疵，布料图像上被检测出来且轮廓被分割开的两个瑕疵。本申请实施例中，在布料图像上处于1像素-256×256像素尺寸范围内的小瑕疵可以被检测出来或者重叠在一起的多个瑕疵的可以被清楚的分割。

图11b所示为本申请一实施例提供的一种布料图像上瑕疵的检测方法的流程示意图。考虑到预测叠加数据虽然可以更准确清晰的获得瑕疵的轮廓，但并不能确定瑕疵的类别。如图11b所示，该布料图像上瑕疵的检测方法还包括：利用卷积核为1×1，输出通道数与预设瑕疵类别的个数相同的卷积层，对待检测图像的特征信息进行卷积，获得待检测图像的多个初步瑕疵分类数据，初步瑕疵分类数据包括用于表征待检测图像上的像素属于多个预设的瑕疵类别中的某一种瑕疵标类别的类别概率值(如图11a中步骤1105所示)，最大概率取值通过像素最大可能属于哪种瑕疵类别，确定该像素属于的瑕疵分类(如图11a中步骤1106所示)，获取待检测图像中的每一个像素属于的瑕疵类别，不论属于哪一种类别的均属于瑕疵的轮廓，基于检测图像中所有确定出瑕疵的像素，确定出待检测图像的类别轮廓预测数据(如图11a中步骤11041所示)。预测叠加数据的一个轮廓线被类别轮廓预测数据分割，表明该轮廓属于两个瑕疵类别，获得分别对应两中瑕疵的两个轮廓子区域。通过类别轮廓预测数据划分了预测叠加数据对应的轮廓区域，在获得瑕疵轮廓的基础上，获得更准确的瑕疵类别(如图11a中步骤11042所示)。

图12所示为本申请一实施例提供的一种轮廓识别模型的训练装置的结构示意图。如图12所示，该装置1200包括：输入模块1201，配置为提供多个样本的基础数据，基础标记数据对应样本中的样本识别对象的轮廓；标记模块1202，配置为基于样本的基础标记数据获取多个训练标记数据；以及训练模块1203，配置为基于带有多个训练标记数据的样本对神经网络模型进行训练，以使得神经网络模型能基于样本输出与多个训练标记数据分别对应的多个预测轮廓数据。

在一个实施例中，训练模块1203进一步包括：特征提取子模块12301，配置为提取样本的特征信息；识别子模块12302，配置为将特征信息输入所述神经网络模型，以获取与多个训练数据分别对应的多个轮廓识别数据；损失计算模块12303，配置为基于多个轮廓识别数据以及所述多个训练数据获得损失结果；调整子模块12304，配置为基于损失结果，调整所述神经网络模型的参数。

在一个实施例中，多个训练数据各自所对应的轮廓范围小于等于基础数据对应的识别对象的轮廓范围。

在一个实施例中，标记模块1202进一步配置为：以基础数据对应的识别对象的轮廓的几何中心为缩放中心，按照M个不同的缩放倍数缩小基础数据对应的识别对象的轮廓，以获取M个训练数据。

在一个进一步实施例中，M可以为2-8中的任意整数，缩放倍数的取值范围为0.5-1。

在一个进一步实施例中，M＝6，6个不同的缩放倍数的取值为0.5、0.6、0.7、0.8、0.9和1.0。

在一个实施例中，识别子模块12302进一步配置为利用卷积核大小为1×1，输出通道数为N的卷积层对所述特征信息进行卷积，以获得所述多个轮廓识别数据，N为所述训练数据的个数。

图13所示为本申请一实施例提供的一种目标对象的检测装置的结构示意图。如图13所示，该检测装置包括：

提取模块1301，配置为提取待检测图像的特征信息；如上述任一所述的训练方法训练轮廓识别模块1302，配置为基于输入的待检测图像的特征信息，获得待检测图像的多个预测轮廓数据；叠加模块1303，配置为对多个预测轮廓数据进行特征叠加，获得预测叠加数据；识别模块1304，配置为基于预测叠加数据，获得目标对象的轮廓数据。

在一个实施例中，轮廓预测数据所对应的轮廓范围内的区域为目标区域，轮廓范围外的区域为背景区域，叠加模块1303进一步配置为：当所述多个轮廓预测数据中同一像素均位于目标区域时，则预测叠加数据中所述像素为第一目标对象的目标区域；当所述多个轮廓预测数据中同一像素均位于背景区域时，则预测叠加数据中所述像素为背景区域；当所述多个轮廓预测数据中同一像素分别位于目标区域和背景区域时，则预测叠加数据中所述像素为第二目标对象的目标区域。

在一个实施例中，该检测装置还包括：类别概率获取模块1305，配置为利用卷积核为1×1，输出通道数与预设目标类别的个数相同的卷积层，对待检测图像的特征信息进行卷积，获得待检测图像的多个初步目标分类数据，初步目标分类数据包括用于表征待检测图像上的像素属于多个预设的目标类别中的某一种目标类别的类别概率值；类别判定模块1306，配置为对多个初步目标分类数据中的每个像素对应的多个类别概率值进行最大概率取值，确定待检测图像中的每个像素分别属于的目标类别；分类模块1307，配置为获得与预测叠加数据对应的目标分类结果。

在一个实施例中，识别模块1304进一步包括：类别识别子模块13041，配置为基于类别提取模块1306获取的待检测图像中的像素分别属于的目标类别，确定待检测图像的类别轮廓预测数据，以及整合识别模块13042，配置为基于预测叠加数据以及类别轮廓预测数据，确定目标对象的轮廓数据。

在一个实施例中，整合识别模块13042进一步配置为当类别轮廓预测数据所对应的轮廓线划分了预测叠加数据对应的轮廓区域时，基于轮廓线将轮廓区域划分为分别对应两个目标对象的两个轮廓子区域。

在一个实施例中，提取模块1301进一步配置为对待检测图像进行特征提取处理，获得待检测图像的多个输出特征信息；从多个输出特征信息中筛选出多个基础特征信息；对按照预设顺序排序后的多个基础特征信息，利用上采样使多个基础特征信息的通道数相同；对上采样后的多个基础特征信息进行特征融合，获得待检测图像的特征信息。

图14所示为本申请一实施例提供的电子设备的结构示意图。如图14所示，该电子设备1400包括：一个或多个处理器1401和存储器1402；以及存储在存储器1402中的计算机程序指令，计算机程序指令在被处理器1401运行时使得处理器1401执行如上述任一方法。

处理器1401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器1402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1701可以运行所述程序指令，以实现上文所述的本申请如上述任一方法的步骤以及/或者其他期望的功能。

在一个示例中，电子设备1400还可以包括：输入装置1403和输出装置1404，这些组件通过总线系统和/或其他形式的连接机构(图14中未示出)互连。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一方法的中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性轮廓识别模型的训练方法”或“示例性目标对象的检测方法”部分中描述的根据本申请上述任一实施例的训练方法或上述任一实施例的检测方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种轮廓识别模型的训练方法，其特征在于，包括：

提供多个样本的基础数据，所述基础数据对应所述样本中识别对象的轮廓；

基于每个所述样本的所述基础数据获取多个训练数据；以及

基于带有所述多个训练数据的所述样本对神经网络模型进行训练，以使得所述神经网络模型能基于所述样本输出与所述多个训练数据分别对应的多个轮廓识别数据。

2.根据权利要求1所述的训练方法，其特征在于，所述基于带有所述多个训练数据的所述样本对神经网络模型进行训练包括：

提取所述样本的特征信息；

将所述特征信息输入所述神经网络模型，以获取与所述多个训练数据分别对应的多个轮廓识别数据；

基于所述多个轮廓识别数据以及所述多个训练数据获得损失结果；以及

基于所述损失结果，调整所述神经网络模型的参数。

3.根据权利要求1所述的训练方法，其特征在于，所述多个训练数据各自所对应的轮廓范围小于等于所述基础数据对应的识别对象的轮廓范围。

4.根据权利要求3所述的训练方法，其特征在于，所述基于样本的基础数据获取多个训练数据包括：

以所述基础数据对应的识别对象的轮廓的几何中心为缩放中心，按照M个不同的缩放倍数缩小所述基础数据对应的识别对象的轮廓，以获取M个训练数据。

5.根据权利要求2所述的训练方法，其特征在于，所述将所述特征信息输入神经网络模型，以获取与所述多个训练数据分别对应的多个轮廓识别数据包括：

利用卷积核大小为1×1，输出通道数为N的卷积层对所述特征信息进行卷积，以获得所述多个轮廓识别数据，N为所述训练数据的个数。

6.一种目标对象的检测方法，其特征在于，包括：

提取待检测图像的特征信息，所述待检测图像包括一个或多个目标对象；

将所述特征信息输入如权利要求1-5中任一所述的方法训练得到的轮廓识别模型，获得所述待检测图像的多个轮廓预测数据；

对所述多个轮廓预测数据进行特征叠加，获得预测叠加数据；以及

基于所述预测叠加数据，获得所述目标对象的轮廓数据。

7.根据权利要求6所述的检测方法，其特征在于，所述轮廓预测数据所对应的轮廓范围内的区域为目标区域，所述轮廓范围外的区域为背景区域其中，所述对所述多个轮廓预测数据进行特征叠加，获得预测叠加数据包括：

当所述多个轮廓预测数据中同一像素均位于目标区域时，则预测叠加数据中所述像素为第一目标对象的目标区域；

当所述多个轮廓预测数据中同一像素均位于背景区域时，则预测叠加数据中所述像素为背景区域；

当所述多个轮廓预测数据中同一像素分别位于目标区域和背景区域时，则预测叠加数据中所述像素为第二目标对象的目标区域。

8.根据权利要求7所述的检测方法，其特征在于，还包括：

利用卷积核为1×1，输出通道数与预设目标类别的个数相同的卷积层，对所述待检测图像的特征信息进行卷积，获得所述待检测图像的多个初步目标分类数据，所述初步目标分类数据包括用于表征所述待检测图像上的像素属于多个预设的目标类别中的某一种目标类别的类别概率值；

对所述多个初步目标分类数据中的每个像素对应的多个所述类别概率值进行最大概率取值，确定所述待检测图像中的每个像素分别属于的目标类别；以及

基于所述预测叠加数据，获得与所述预测叠加数据对应的目标分类结果。

9.根据权利要求8所述的检测方法，其特征在于，所述基于所述预测叠加数据，获得目标对象的轮廓数据包括：

基于所述待检测图像中的像素分别属于的目标类别，确定所述待检测图像的类别轮廓预测数据；以及

基于所述预测叠加数据以及所述类别轮廓预测数据，确定所述目标对象的轮廓数据。

10.根据权利要求9所述的检测方法，其特征在于，基于所述预测叠加数据以及所述类别轮廓预测数据，确定所述目标对象的轮廓数据包括：

当所述类别轮廓预测数据所对应的轮廓线划分了所述预测叠加数据对应的轮廓区域时，基于所述轮廓线将所述轮廓区域划分为分别对应两个目标对象的两个轮廓子区域。

11.根据权利要求6所述的检测方法，其特征在于，所述提取待检测图像的特征信息，包括：

对所述待检测图像进行特征提取处理，获得所述待检测图像的多个输出特征信息；

从所述多个输出特征信息中筛选出多个基础特征信息；对按照预设顺序排序后的多个所述基础特征信息，利用上采样使多个所述基础特征信息的通道数相同；以及

对上采样后的所述多个基础特征信息进行特征融合，获得所述待检测图像的特征信息。

12.根据权利要求6所述的检测方法，其特征在于，获取所述待检测图像包括：

获取原始图像；以及

对所述原始图像进行滑窗处理，获取待检测图像集，所述待检测图像集包括多个所述待检测图像。

13.根据权利要求6-12任一所述的检测方法，其特征在于，所述目标对象为以下任一种：布料图像上的瑕疵、医学图像上的病灶影像和工业零件上的缺陷。

14.一种轮廓识别模型的训练装置，其特征在于，包括：

输入模块，配置为提供多个样本的基础数据，所述基础标记数据对应所述样本中的样本识别对象的轮廓；

标记模块，配置为基于样本的基础标记数据获取多个训练标记数据；以及

训练模块，配置为基于带有所述多个训练标记数据的所述样本对神经网络模型进行训练，以使得所述神经网络模型能基于所述样本输出与所述多个训练标记数据分别对应的多个预测轮廓数据。

15.一种目标对象的检测装置，其特征在于，包括：

提取模块，配置为提取待检测图像的特征信息；

如权利要求1-5中任一所述的方法训练得到的轮廓识别模块，配置为基于输入的所述待检测图像的特征信息，获得所述待检测图像的多个预测轮廓数据；

叠加模块，对所述多个预测轮廓数据进行特征叠加，获得预测叠加数据；以及

识别模块，配置为基于所述预测叠加数据，获得目标对象的轮廓数据。

16.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-13中任一所述的方法。

17.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-13中任一所述的方法。

Images