CN112052883B - 一种衣物检测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种衣物检测方法、装置及存储介质，包括如下步骤：采集衣物训练图像集，并对所述衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集；构建初始神经网络，通过所述衣物标记图像集对所述初始神经网络进行训练，得到目标神经网络；获取衣物目标图像，并输入到所述目标神经网络中进行检测，得到所述衣物目标图像的检测结果；所述检测结果包括：有污点和无污点。本发明能够对衣物进行自动检测，便于用户获知衣物上是否有污点，从而提高衣物筛选的效率和准确率，提高衣物生产的质量。

Description

一种衣物检测方法、装置及存储介质

技术领域

本发明涉及图像处理领域，具体涉及一种衣物检测方法、装置及存储介质。

背景技术

在衣物生产的过程中，可能会使衣物沾上污渍和脏点，因此工厂一般会对衣物进行检测与筛选，从而对衣物作进一步的清理或回收。目前，衣物的检测一般都是通过人工操作，而人工检测需要花费大量的时间和精力，从而导致衣物生产速度的下降；同时，人工检测的准确度也较低，容易造成衣物生产合格率的下降，大大影响了企业的品牌形象。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种衣物检测方法、装置及存储介质，能够对衣物进行自动检测，便于用户获知衣物上是否有污点，从而提高衣物筛选的效率和准确率，提高衣物生产的质量。

根据本发明的第一方面的实施例的衣物检测方法，包括如下步骤：采集衣物训练图像集，并对所述衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集；

构建初始神经网络，通过所述衣物标记图像集对所述初始神经网络进行训练，得到目标神经网络；

获取衣物目标图像，并输入到所述目标神经网络中进行检测，得到所述衣物目标图像的检测结果；所述检测结果包括：有污点和无污点。

根据本发明实施例的衣物检测方法，至少具有如下有益效果：通过对衣物训练图像集中的每个样本进行污点标记，便于对初始神经网络的训练；目标神经网络能够对衣物目标图像的特征进行提取，从而识别衣物目标图像上是否带有污点，进而得到衣物目标图像的检测结果，便于用户根据检测结果而衣物进行筛选，大大提高了衣物筛选的效率和准确率，并提高了衣物生产的质量。

根据本发明的一些实施例，所述采集衣物训练图像集，并对所述衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集，包括如下步骤：

采集衣物训练图像集，对所述衣物训练图像集中的每个样本进行X轴和Y轴的镜像翻转，得到衣物翻转图像集；

通过对所述衣物翻转图像集的颜色饱和度和对比度进行增强处理，得到衣物增强图像集；

对所述衣物增强图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集。

根据本发明的一些实施例，所述构建初始神经网络，包括如下步骤：

通过Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

通过ResNeXt残差网络结构和FPN网络结构优化所述卷积神经网络，得到初始神经网络。

根据本发明的一些实施例，所述初始神经网络包括有若干全连接层，所述全连接层对所述衣物标记图像集执行如下步骤：

对所述衣物标记图像集进行污点检测框的提取；

计算所述污点检测框与所述污点标记框之间的IoU值；

若所述IoU值小于IoU阈值，则通过梯度下降法更新所述初始神经网络。

根据本发明的一些实施例，所述初始神经网络包括：第一卷积层，以及依次连接的RPN层、第二卷积层、第一全连接层、第三卷积层、第二全连接层、第四卷积层和第三全连接层；所述第一卷积层分别与所述第二卷积层、所述第三卷积层和所述第四卷积层连接。

根据本发明的一些实施例，所述第一全连接层上设置有第一IoU阈值、所述第二全连接层上设置有第二IoU阈值，所述第三全连接层上设置有第三IoU阈值；所述第一IoU阈值、所述第二IoU阈值和所述第三IoU阈值的大小为依次增大。

根据本发明的一些实施例，所述衣物训练图像集中的每个样本至少包含有一个所述污点。

根据本发明的第二方面的实施例的一种衣物检测装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如以上任一项所述的一种衣物检测方法。

根据本发明的第三方面的实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如以上任一项所述的一种衣物检测方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的衣物检测方法的流程图；

图2是根据本发明实施例的初始神经网络的结构图。

具体实施方式

下面结合附图，对本发明实施例作进一步阐述。

如图1所示，根据本发明实施例的衣物检测方法，包括如下步骤：

步骤S100：采集衣物训练图像集，并对衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集；

步骤S200：构建初始神经网络，通过衣物标记图像集对所述初始神经网络进行训练，得到目标神经网络；

步骤S300：获取衣物目标图像，并输入到所述目标神经网络中进行检测，得到衣物目标图像的检测结果；所述检测结果包括：有污点和无污点。

例如，如图1所示，在步骤S100中，衣物训练图像集中含有若干个衣物训练图像的样本，通过使用污点标记框对样本中的污点进行标记，便于对初始神经网络进行训练；其中，可以使用人工对污点进行标记，但不限于人工标记。

在步骤S200中，由于初始神经网络能够对衣物标记图像集的特征进行提取，进而通过使特征与污点标记框之间进行比较，有利于提高初始神经网络的对污点识别的准确率，还能提高初始神经网络的训练速度。

在步骤S300中，目标神经网络能够对衣物目标图像的特征进行提取，从而识别衣物目标图像上是否带有污点，进而得到衣物目标图像的检测结果，便于用户根据检测结果而衣物进行筛选，大大提高了衣物筛选的效率和准确率，并提高了衣物生产的质量。

在本发明的一些具体实施例中，采集衣物训练图像集，并对衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集，包括如下步骤：

步骤S110：采集衣物训练图像集，对所述衣物训练图像集中的每个样本进行X轴和Y轴的镜像翻转，得到衣物翻转图像集；

步骤S120：通过对所述衣物翻转图像集的颜色饱和度和对比度进行增强处理，得到衣物增强图像集；

步骤S130：对所述衣物增强图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集。

具体地，在步骤S110中，通过使衣物训练图像集中的每个样本进行X轴和Y轴的镜像翻转，能够增加每个样本中的污点数量，并且使污点分布在不同的位置，从而能够较好的模拟污点随机产生和分布的特点，并且能够有效的扩大训练数据，提高初始神经网络的训练准确性。

在步骤S120和步骤S130中，由于衣物训练图像在采集的过程中，不同的光线照射会对衣物训练图像产生不同的差异；因此，通过增加衣物翻转图像集的颜色饱和度和对比度，能够模拟衣物翻转图像集在不同光照条件下的效果，同时也能使衣物翻转图像集中的污点轮廓更加清晰，便于初始神经网络的训练。

在本发明的一些具体实施例中，构建初始神经网络，包括如下步骤：

步骤S210：通过Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

步骤S220：通过ResNeXt残差网络结构和FPN网络结构优化所述卷积神经网络，得到初始神经网络。

具体地，在步骤S210中，Faster R-CNN网络和Cascade R-CNN网络都是常用的R-CNN神经网络结构，Faster R-CNN网络使用RPN层来替换传统的选择性搜索算法，使得最终的检测速率大幅度提升，但存在如何选择IoU阈值的问题；Cascade R-CNN网络，通过连接多个检测网络来改进模型训练后的预测结果，其中通过设置不同IoU阈值来确定正例样本和负例样本的训练数量来训练检测网络。

因此，在Faster R-CNN网络中，通过连接多个检测网络，并在多个检测网络中设置不同的IoU阈值，实现正例样本和负例样本数量的确定，从而实现Faster R-CNN网络和Cascade R-CNN网络之间的结合，构建卷积神经网络。

在步骤S220中，传统目标检测算法在预测的时候只利用到最顶层的特征图谱，虽然顶层的特征语义信息丰富，但同时也丧失部分待检测目标的精确位置信息，而低层特征当中却拥有大量精确位置信息，若能合理使用低层特征信息，有利于提升对小物体检测的精度。而FPN网络结构的顶层特征输出后不做预测，而是经过上采样之后再与低层特征做融合，最后再进行预测，同时保持每一层之间都是独立预测。通过这种网络结构能够保留低层和高层特征中的有效信息，从而，结合了每一层的特征信息，使所有尺度下的特征都具有丰富的语义信息。

在卷积神经网络中加入ResNeXt残差网络结构，其中ResNeXt残差网络结构使用的是平行堆叠的残差结构块，在参数数量没有太大改变的情况下，提升检测效果的准确率，然后将网络的输入以及输出相加得到的特征图谱作为残差网络的输出，能够实现在不明显增加参数数量的情况下，提升网络模型精确度的目的，同时还因为ResNeXt网络的残差块结构相同，训练网络相应的超参数也会减少，更有利于模型的移植。

由于卷积神经网络是具有多层网络结构的，通过使卷积神经网络中的若干连接层之间采用FPN网络结构，从而提取更好的特征信息；通过使卷积神经网络中的若干连接层之间采用ResNeXt残差网络结构，实现整体网络深度的增加，从而使得卷积神经网络能够具有提取深层次特征的能力，进而提高最终的检测效果。

在本发明的一些具体实施例中，初始神经网络包括有若干全连接层，所述全连接层对所述衣物标记图像集执行如下步骤：

步骤S240：对衣物标记图像集进行污点检测框的提取；

步骤S250：计算污点检测框与污点标记框之间的IoU值；

步骤S260：若IoU值小于IoU阈值，则通过梯度下降法更新初始神经网络。

具体地，在步骤S240和步骤S250中，全连接层能够对衣物标记图像集进行特征的提取，并通过污点检测框将污点进行框出，并计算污点检测框与污点标记框之间的IoU值。其中，IoU值也称为重叠度，因此IoU值的大小能够反映污点检测框与污点标记框之间的重合程度，即IoU值越大，重合度越高，则初始神经网络的训练效果越好。

例如，全连接层能够对某一样本上的所有污点进行污点检测框的框出，得到若干污点检测框，而该样本上原本也存在有若干污点标记框，全连接层通过对污点检测框的位置坐标的检测，寻找到唯一对应的污点标记框，然后再计算这两个对应框之间的IoU值。

在步骤S260中，当IoU值小于IoU阈值，说明污点检测框与污点标记框之间的重合程度较小，即初始神经网络的特征提取效果较差，从而通过梯度下降法计算出初始神经网络的梯度下降，再根据梯度下降方向改变初始神经网络的参数，实现对初始神经网络的更新，从而提高初始神经网络的特征提取效果，进而提高初始神经网络的对污点框出的准确率。其中，IoU阈值的大小没有限制，可以根据实际的需要而设置。

在本发明的一些具体实施例中，初始神经网络包括：第一卷积层，以及依次连接的RPN层、第二卷积层、第一全连接层、第三卷积层、第二全连接层、第四卷积层和第三全连接层；所述第一卷积层分别与第二卷积层、第三卷积层和第四卷积层连接。

例如，如图2所示，将衣物标记图像集的输入到初始神经网络后，经过第一卷积层形成第一特征图谱，同时衣物标记图像集经过RPN层生成推荐区域，推荐区域表示衣物标记图像中的污点的初始预测位置，最后特征图谱和推荐区域一起输入到第二卷积层中进行处理，得到第二特征图谱。

第一全连接层能够对第二特征图谱进行污点检测框的提取，并计算污点检测框与污点标记框之间的IoU值，若IoU值大于IoU阈值，则通过梯度下降法更新初始神经网络的参数，直到IoU值小于或等于IoU阈值，则将污点检测框与第一特征图谱进行融合后，输入到第三卷积层中进行处理，得到第三特征图谱。

同理，第二全连接层和第三全连接层的处理步骤与第一全连接层的处理步骤相似。

在本发明的一些具体实施例中，第一全连接层上设置有第一IoU阈值、所述第二全连接层上设置有第二IoU阈值，所述第三全连接层上设置有第三IoU阈值；所述第一IoU阈值、第二IoU阈值和第三IoU阈值的大小为依次增大。

具体地，第一IoU阈值、第二IoU阈值和第三IoU阈值的大小设置为依次增大，即第一全连接层、第二全连接层和第三全连接层对污点检测框与污点标记框之间的重合度要求逐渐增加。

当第一全连接层中的污点检测框与污点标记框之间的IoU值小于第一IoU阈值，则通过梯度下降法更新初始神经网络的参数，从而调整污点检测框的位置，提高污点检测框与污点标记框之间的IoU值，使其重合度增加，从而提高第二全连接层的IoU值，使其适应更高要求的第二IoU阈值，即提高了污点检测框位置的准确度，进而提高污点识别的准确率。

通过设置第一IoU阈值、第二IoU阈值和第三IoU阈值，逐步对污点检测框的位置进行调整，使得污点检测框的位置与污点标记框的位置更加接近，从而提高污点识别的准确率，有利于提高初始神经网络的检测精度。

在本发明的一些具体实施例中，衣物训练图像集中的每个样本至少包含有一个所述污点。

具体地，如果衣物训练图像中存在大量不含有污点的正常图片，即这些正常图片中并没有需要检测的污点信息，从而对初始神经网络的训练并没有任何帮助。另外，由于含有污点的衣物训练图像中也包含有正常图片的特征，那么在初始神经网络的训练过程中，会降低对污点提取和识别的效果，因此为了保证初始神经网络的检测能力，样本中至少包含有一个污点。

根据本发明实施例的衣物检测方法的其他构成以及操作，对于本领域普通技术人员而言都是已知的，这里不再详细描述。

下面参考图1和图2，以一个具体的实施例详细描述根据本发明实施例的衣物检测方法，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。

如图1和图2所示，一种衣物检测方法，包括如下步骤：

步骤S110：采集衣物训练图像集，对所述衣物训练图像集中的每个样本进行X轴和Y轴的镜像翻转，得到衣物翻转图像集；衣物训练图像集中的每个样本至少包含有一个所述污点；

步骤S120：通过对所述衣物翻转图像集的颜色饱和度和对比度进行增强处理，得到衣物增强图像集；

步骤S130：对所述衣物增强图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集；

步骤S200：构建初始神经网络，通过衣物标记图像集对所述初始神经网络进行训练，得到目标神经网络；所述初始神经网络包括：第一卷积层，以及依次连接的RPN层、第二卷积层、设置有第一IoU阈值的第一全连接层、第三卷积层、设置有第二IoU阈值的第二全连接层、第四卷积层，以及设置有第三IoU阈值的第三全连接层；所述第一IoU阈值、第二IoU阈值和第三IoU阈值的大小为依次增大；

步骤S300：获取衣物目标图像，并输入到所述目标神经网络中进行检测，得到衣物目标图像的检测结果；所述检测结果包括：有污点和无污点。

根据本发明实施例的衣物检测方法，通过如此设置，可以达成至少如下的一些效果，通过对衣物增强图像集中的每个样本进行污点标记，便于对初始神经网络的训练。初始神经网络中的第一全连接层、第二全连接层和第三全连接层，能够的对初始神经网络的参数进行有效的更新，从而提高初始神经网络对污点的识别准确度。

目标神经网络能够对衣物目标图像的特征进行提取，从而识别衣物目标图像上是否带有污点，进而得到衣物目标图像的检测结果，便于用户根据检测结果而衣物进行筛选，大大提高了衣物筛选的效率和准确率，并提高了衣物生产的质量。

此外，本发明的另一个实施例还提供了一种衣物检测装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上的任一项所述的一种衣物检测方法。

在本实施例中，检测装置包括：一个或多个控制处理器和存储器，控制处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的检测方法对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行检测装置的各种功能应用以及数据处理，即实现上述方法实施例的检测方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据检测装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的检测方法，例如，执行以上描述检测方法步骤S100至S300、S110至S130、以及S210至S260的功能。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，一个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的检测方法，例如，执行以上描述的方法步骤S100至S300、S110至S130、以及S210至S260的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、或“本实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种衣物检测方法，其特征在于，包括如下步骤：

采集衣物训练图像集，并对所述衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集；

通过Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

通过ResNeXt残差网络结构和FPN网络结构优化所述卷积神经网络，得到初始神经网络；所述初始神经网络包括：第一卷积层，以及依次连接的RPN层、第二卷积层、第一全连接层、第三卷积层、第二全连接层、第四卷积层和第三全连接层；所述第一卷积层分别与所述第二卷积层、所述第三卷积层和所述第四卷积层连接；

通过所述衣物标记图像集对所述初始神经网络进行训练，得到目标神经网络；

获取衣物目标图像，并输入到所述目标神经网络中进行检测，得到所述衣物目标图像的检测结果；所述检测结果包括：有污点和无污点；

其中，所述第一全连接层、所述第二全连接层和所述第三全连接层对所述衣物标记图像集均执行如下步骤：对所述衣物标记图像集进行污点检测框的提取；计算所述污点检测框与所述污点标记框之间的IoU值；若所述IoU值小于IoU阈值，则通过梯度下降法更新所述初始神经网络；

所述第一全连接层上设置有第一IoU阈值、所述第二全连接层上设置有第二IoU阈值，所述第三全连接层上设置有第三IoU阈值；所述第一IoU阈值、所述第二IoU阈值和所述第三IoU阈值的大小为依次增大。

2.根据权利要求1所述的一种衣物检测方法，其特征在于：所述采集衣物训练图像集，并对所述衣物训练图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集，包括如下步骤：

采集衣物训练图像集，对所述衣物训练图像集中的每个样本进行X轴和Y轴的镜像翻转，得到衣物翻转图像集；

通过对所述衣物翻转图像集的颜色饱和度和对比度进行增强处理，得到衣物增强图像集；

对所述衣物增强图像集中的每个样本进行污点标记，得到带有污点标记框的衣物标记图像集。

3.根据权利要求1所述的一种衣物检测方法，其特征在于：所述衣物训练图像集中的每个样本至少包含有一个所述污点。

4.一种衣物检测装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1-3任一项所述的衣物检测方法。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-3任一项所述的衣物检测方法。