CN110245697A - 一种表面脏污检测方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种表面脏污检测方法、终端设备及存储介质，在该方法中，包括：S1：采集检测对象的表面图像的样本组成训练集，并对训练集内的图片中的脏污部分进行标注；S2：构建表面脏污检测模型，将训练集输入表面脏污检测模型中进行训练后得到最终模型；所述表面脏污检测模型基于Yolov3网络构建，并针对Yolov3网络的每个残差块，将其中的每个ResNet子结构的输出特征图连接到该残差块的末尾；S3：将待检测的表面图像输入最终模型以检测表面脏污情况。本发明基于Yolov3检测网络，提出了一种稠密连接的实现方法，提高浅层特征的利用率，可以有效的提高表面脏污的检测能力。

Description

一种表面脏污检测方法、终端设备及存储介质

技术领域

本发明涉及图像检测技术领域，尤其涉及一种表面脏污检测方法、终端设备及存储介质。

背景技术

近年来深度学习技术在图像分类、检测等领域取得的重大的成就，尤其在图像目标检测领域，新的网络和方法层出不穷，检测能力不断提升。但是，目前主流的目标检测方法主要聚焦在自然场景下的目标检测，在工业领域尤其是缺陷检测，由于数据的稀缺性和检测对象的特性，针对这类对象的检测网络并不多。在各种设备涉及屏幕生产和组装过程中，由于环境和人为因素，在屏幕表面会留下脏污痕迹，需要检测出脏污并和其他缺陷区分开。传统的脏污检测主要依靠手工设计的特征规则，依据图像的灰度、边缘纹理信息来检测脏污，这种方法不仅鲁棒性差且检测难度大。基于深度学习的目标检测方法已经被证明能够有效地解决这些问题。但是，自然图像中的同类对象具有相对一致的形态和结构特征，而在表面脏污检测领域中，脏污的形态不一，很难寻找到统一的模式来定义脏污，所以传统的深度学习目标检测网络在脏污检测领域还需要进一步的改善。

发明内容

针对上述问题，本发明旨在提供一种表面脏污检测方法、终端设备及存储介质，在Yolov3(You Only Look Once V3)网络基础上进行改进，以提高表面脏污的检测能力。

具体方案如下：

一种表面脏污检测方法，包括以下步骤：

S1：采集检测对象的表面图像的样本组成训练集，并对训练集内的图像中的脏污部分进行标注；

S2：构建表面脏污检测模型，将训练集输入表面脏污检测模型中进行训练后得到最终模型；

所述表面脏污检测模型基于Yolov3网络构建，并针对Yolov3网络的每个残差块，将其中的每个ResNet子结构的输出特征图连接到该残差块的末尾；

S3：将待检测的表面图像输入最终模型以检测表面脏污情况。

进一步的，Yolov3网络中的FPN结构设定为：每一层预测层融合上一层采样后的信息、当前信息和下一层采样后的信息。

进一步的，所述表面脏污检测模型的构建还包括：删除下采样为16和32 的网络层并增加下采样为4的预测层。

进一步的，步骤S1中的标注还包括：针对细长的脏污，采用分块标注的方式。

进一步的，所述表面脏污检测方法用于对屏幕作为检测对象进行表面脏污检测。

一种表面脏污检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，基于Yolov3检测网络，提出了一种稠密连接的实现方法，提高浅层特征的利用率，可以有效的提高表面脏污的检测能力。

附图说明

图1所示为本发明实施例一中图像的脏污标注示意图。

图2所示为该实施例中细长脏污标注示意图。

图3所示为该实施例中的网络框架图。

图4所示为该实施例中的Yolov3结构到该实施例中的改进结构的示意图。

图5所示为该实施例中的Dense Block结构示意图。

图6所示为该实施例中的残差块的稠密连接示意图。

图7所示为该实施例中的传统FPN结构示意图。

图8所示为该实施例中的改进FPN结构示意图。

图9所示为该实施例中的方法与其他方法的漏检数和误检数的对比图。

图10所示为该实施例中的方法与其他方法的检测效果对比图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明提供了一种表面脏污检测方法，基于改进的Yolov3网络实现，本实施例以屏幕的表面脏污检测为例，在其他的实施例中，本方法也可以应用于其他物品的表面脏污检测，尤其是一些电子产品屏幕的表面脏污较小情况下的检测，如电子手表，掌上游戏机等等。

该实施例中所述方法包括以下步骤：

步骤1：采集屏幕表面图像的样本组成训练集和测试集。

该实施例中，采集的样本均来自自动化流水线下的屏幕成品的表面图像。采集的样本中包括1205张图像，其中，234张图像中含有脏污(即为目标图像)， 971张为正常图像。

在234张目标图像中，随机以3:1的比例分配到训练集与测试集中，得到 173张训练集样本，61张测试集样本。

另外，在训练集中加入数量为训练集中脏污图像数量的3倍的正常图像，最终得到包含692张图像的训练集，如表1所示。

表1

	训练集	测试集	总计
				有目标	173	61	234
无目标	519	0	519
				总计	692	61	753

完成训练集和测试集的划分后，使用常用的标注工具如yolo_mark(为YOLO 系列网络训练数据准备工具)对脏污图像进行标注，如图1所示为部分图像的标注效果。

在脏污检测问题中，形态细长的脏污目标占据一定比例，在框定此类目标的矩形框内，脏污只占到较小的面积，如图2所示，左图采用原始标注方法，从中可以看出，原始标注方式在用矩形框标注出目标的情况下，矩形框内的绝大部分面积由背景占据，脏污目标信息较少，可能导致模型学习到错误的背景信息，导致模型产生误检。为了避免此问题，该实施例中优选选用分块标注方式，如图2中的右图所示，在同样标注出目标的情况下，分块标注方式框定的总面积更少，减少了标注框内的背景信息，使模型训练可以集中于目标特征。

步骤2：基于YOLOv3网络构建表面脏污检测模型并训练。

该实施例中所述模型使用darknet深度学习框架，基于Yolov3网络进行构建，其网络框架图如图3所示。

建立模型的配置文件如下：

1)网络结构文件smich.cfg，文件中包含设置网络训练的超参数，例如学习率及调整策略、优化方法和batch大小等，定义网络结构层和分配 pre-anchors等等；

2)设置检测类别数、训练集路径、测试集路径、检测对象名称文件路径和模型权重文件路径；

3)设置检测对象名称。

在Yolov3网络中，使用聚类算法(如kmeans聚类算法)对ground truth进行聚类，并分配不同大小的pre-anchor到Yolov3的不同的预测层中。使用聚类得到的pre-anchor信息能够加速目标检测框的回归速度。该实施例中将ground truth聚类为9类，得到的9类pre-anchors大小为6,9、11,14、14,21、16,38、 22,70、24,22、36,36、42,57、86,21，如6,9为一类。

该实施例中对Yolov3的网络结构进行了以下改进：

(1)、删除下采样为16和32的网络层并增加下采样为4的预测层。

Yolov3是一种一阶段目标检测网络，使用darknet53作为主干网络，为了应对检测对象尺度变化，使用了FPN结构在下采样为8、16和32进行多尺度预测，如图4左图所示。然而该实施例中模型的检测样本所对应的屏幕表面图像的大小为200*200pixel左右，脏污大小分布从几个像素到几十个像素，为了避免下采样次数过多导致丢失过多有用信息，因此，该实施例中删除下采样为16 和32的网络层。由于部分脏污ground truth的大小在8*8像素(pixel)以下，因此增加下采样为4的预测层能够有效地检测到这部分脏污，如图4右图所示。

(2)、引入稠密连接：在残差块内将ResNet子结构的输出特征图连接到本块的末尾。

稠密连接最早出现在密集连接卷积网络(Densenet)中，如图5所示，在 Denseblock内，每一层输出均连接到后面的每一层，这种结构加强了特征的重用和网络监督的多样性。

在表面脏污检测中，边缘特征是我们更加关注的特征信息，而在经典的卷积神经网络中，浅层的网络层包含更丰富的边缘特征信息和较少的语义特征信息，深层的网络层包含更丰富的语义特征信息和较少的边缘特征信息。基于这些特性和darknet53主干网络的结构特性，该实施例中提出一种区别于密集连接卷积网络的稠密连接，如图6所示。因为darknet53网络中采用了残差(residual) 的思想，其由多个残差块组成，每个残差块内均包括多个ResNet子结构，将每个ResNet子结构的输出特征图连接到该残差块的末尾。

(3)、修改FPN结构为：每一预测层融合上一层采样后的信息、当前信息和下一层采样后的信息。

FPN是一种常用的多尺度检测的方法。FPN的结构如图7所示，是一种bottom-up，top-down的结构，除了顶层，每一预测层融合上一层上采样后的信息和当前层信息。

该实施例中改进的FPN结构在原始FPN基础上增加了下一层的信息，下一层特征经过特征重组融入上层预测。改进的FPN结构如图8所示。通过该改进的FPN结构使模型检测小目标时利用更加丰富的特征，提升准确度。

该实施例的实验环境配置如下：Xeon(R)CPU E5-2620 v4@ 2.10GHz×32处理器，GeForce GTX 1080Ti显卡，CUDA版本为10.0，操作系统为Ubuntu 16.04 LTS。输入图像尺寸为224*224，数据增强采用水平随机翻转、加入曝光噪声和图像伸缩。Batch取64，subdivisions取8。初始学习率设置为0.001，采用warm-up方式学使习率在训练1000次后达到初始学习率，最大迭代次数8000次，学习率在4000次和6000次分别缩小为原来十分之一。采用带动量的随机梯度下降方法优化目标函数。设置每迭代1000次保存网络权重文件。具体网络参数配置如表2所示。

表2

步骤3：使用测试集对模型进行测试。

使用保存的网络权重对应的模型对测试集进行测试，取nms阈值为0.1对检测结果进行非极大值抑制删除重复的检测框。统计检测精度和召回率，将检测效果最好的网络权重文件作为最终模型。

步骤4：将待检测的屏幕表面图像输入最终模型以检测表面脏污情况。

实验对比

评价指标：目标检测常用的评价指标是召回率(recall)和精度(precision)，在该实施例中召回率更被看重。召回率和正确率计算如公式(1)，(2)所示：

其中：TP表示检测为阳性(positive)且为真；FP表示检测为阳性且为假； FN表示检测为阴性(negative)且为假。召回率反映了漏检率，精度反映了误检率。

为了验证我们在该实施例中提出的表面脏污检测方法的有效性，将该方法与Yolov3模型进行对比，并在该实施例中提出的改进模型的基础上去除某项数据增强方式进行对比，证明该实施例中所提出的优化方式的有效性。

测试集中共有61张图像，327个脏污目标。实验结果数据见表3、图9和图10。由表3可知，该实施例中的改进模型的综合表现是最好的。

通过稠密连接能够提高5.8％的召回率和6.7％的精度。

数据增强中增加曝光噪声能够很好地提高召回率，这是因为工业现场采集图片的采光环境无法保持一致，增加曝光噪声能提高模型鲁棒性。

实验结果表明，针对细长倾斜的脏污，采用分块标注的方式能有效降低检测难度。

因为脏污尺寸较小，Yolov3模型虽然误检目标数低，但具有过高的漏检目标数，导致召回率不足50％，效果远远不及改进的模型。由于该实施例中提出的改进模型减少了下采样为16和32的网络层，故检测帧率比Yolov3模型有较大提升。

如图9所示，在不同模型和各种数据增强对比实验数据中，该实施例中提出的改进模型具有最低的漏检目标数和误检目标数，说明该实施例采取的结构优化和采用的数据增强方式都能提升模型检测能力。

表3：

本发明实施例一提出的一种基于改进Yolov3的表面脏污检测方法的创新性主要体现在3个方面：

第一，本实施例为了能够提高浅层特征的利用率，在残差块内引入了稠密连接，这种结构不仅适合脏污检测，而且适合更关注表面边缘信息的对象检测，比如划痕等缺陷，具有较好的迁移能力。

第二，本实施例为了适应检测对象的大小对高层网络层进行了删除并增加适合检测对象大小的预测层，网络结构可以根据图像大小和检测对象大小灵活修改。

第三，本实施例对FPN进行了改进，在原来的基础上与下一层网络特征重组相融合以提高边缘纹理信息比例，进而提高浅淡脏污的检测能力。

实施例二：

本发明还提供一种表面脏污检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述表面脏污检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述表面脏污检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述表面脏污检测终端设备的组成结构仅仅是表面脏污检测终端设备的示例，并不构成对表面脏污检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述表面脏污检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述表面脏污检测终端设备的控制中心，利用各种接口和线路连接整个表面脏污检测终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述表面脏污检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储程序的运行过程中所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述表面脏污检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM， Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种表面脏污检测方法，其特征在于，包括以下步骤：

S1：采集检测对象的表面图像的样本组成训练集，并对训练集内的图像中的脏污部分进行标注；

S2：构建表面脏污检测模型，将训练集输入表面脏污检测模型中进行训练后得到最终模型；

所述表面脏污检测模型基于Yolov3网络构建，并针对Yolov3网络的每个残差块，将其中的每个ResNet子结构的输出特征图连接到该残差块的末尾；

S3：将待检测的表面图像输入最终模型以检测表面脏污情况。

2.根据权利要求1所述的表面脏污检测方法，其特征在于：Yolov3网络中的FPN结构设定为：每一层预测层融合上一层采样后的信息、当前信息和下一层采样后的信息。

3.根据权利要求1所述的表面脏污检测方法，其特征在于：所述表面脏污检测模型的构建还包括：删除下采样为16和32的网络层并增加下采样为4的预测层。

4.根据权利要求1所述的表面脏污检测方法，其特征在于：步骤S1中的标注还包括：针对细长的脏污，采用分块标注的方式。

5.根据权利要求1所述的表面脏污检测方法，其特征在于：所述表面脏污检测方法用于对屏幕作为检测对象进行表面脏污检测。

6.一种表面脏污检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。