CN112102224A

CN112102224A - 一种基于深度卷积神经网络的布匹疵点识别方法

Info

Publication number: CN112102224A
Application number: CN201910527733.3A
Authority: CN
Inventors: 朱威; 陈康; 任振峰; 郑雅羽
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-06-18
Filing date: 2019-06-18
Publication date: 2020-12-18

Abstract

本发明涉及一种基于深度卷积神经网络的布匹疵点识别方法，包括以下四个部分：（1）修改Faster R‑CNN神经网络模型，包括使用全局平局池化层替代特征提取网络中的前两个全连接层，并增加区域建议网络中的锚点框；（2）使用数据增强的方法扩充数据集；（3）采用变化的学习率训练改进后的Faster R‑CNN网络模型；（4）使用工业线阵相机采集布匹图像，并使用训练好的网络模型识别疵点，输出疵点类别和位置信息。本发明能对断纬、断经、破洞、浮纬等多种类型布匹瑕疵进行识别，具有较快的识别速度和较高的识别精度。

Description

一种基于深度卷积神经网络的布匹疵点识别方法

技术领域

本发明属于深度学习技术在纺织行业机器视觉检测领域的应用，具体涉及一种基于深度卷积神经网络的布匹疵点识别方法。

背景技术

中国是纺织品大国，纺织行业在国家经济发展中起着重要的作用，其中布匹质量是制约纺织品行业发展的一个关键性问题。随着科学技术的快速进步，国际纺织行业的竞争日趋激烈，各大纺织企业面临着高质量标准和高人力成本的巨大压力，带有疵点的布匹价格往往比正常布匹低50％左右。但目前在中国，绝大部分纺织企业的布匹疵点检测都依然停留在传统的人工检测阶段。在传统的人工检测下，布匹的移动速度通常只有5-10m/min，导致验布工序效率低下，而且人眼在高度集中地工作一段时间后必然产生视觉疲劳，从而导致许多本应能检测出的疵点被遗漏，布匹疵点人眼检测的漏检率最高达30％以上。近几年，随着光学技术、数字电路技术和图像处理技术的快速发展，机器视觉已经在工业表面检测领域中得到越来越广泛的应用，布匹疵点自动检测系统已经成为必然趋势。

对于布匹疵点自动检测系统来说，核心部分就是疵点检测方法，现有方法主要分为：基于统计分析、频域分析、模型分析、学习分析等几大类。直方图统计技术由于低计算成本等特点被用于布匹疵点检测，Zhang等人通过检查被染色和无缺陷的布匹图像的直方图差异进行疵点检测(见Zhang W Y,Zhang J,Hou Y,et al.MWGR:A new method for real-time detection of cord fabric defects.International Journal of AdvancedMechatronic Systems,2012:458-461.)。该方法虽然具有简单性和高计算速度等特点，但存在检测准确率较低的问题。常见的频域的分析方法有Gabor滤波、小波变换等，Karlekar等人提出了一种结合小波变换和图像形态学的布匹纹理检测方法，取得了不错的效果(见Karlekar V V,Biradar M S,Bhangale K B.Fabric Defect Detection Using WaveletFilter.IEEE International Conference on Computing Communication Control andAutomation,2015:712-715)。

申请号为201410200849.3的专利公开了一种基于大津法的布面疵点检测及分类方法。该方法中下位机对采集的图像信息进行滤波、插值、方差采样预处理，大津法分割及二值化，空洞填充和小块处理，二值图像通道连通处理，提取各个疵点区域并保存；上位机将疵点分为区域类和非区域类疵点、经类疵点和纬类疵点、暗疵点和亮疵点。该方法的识别效率较高，满足实时要求，但识别疵点类型较为单一，对于纹理复杂的布匹检测效果欠佳。

自从2012年深度神经网络AlexNet大获成功之后，接连涌现了例如VGG-16和VGG-19(见Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-ScaleImage Recognition[J].Computer Science,2014)、Inception、ResNet等优秀的分类网络，使用深度卷积神经网络(CNN)促使机器视觉研究进入了一个新的阶段。目前主流的卷积神经网络目标检测与识别算法主要有：1)基于区域建议的目标检测与识别算法，具有代表性的是R-CNN、Fast R-CNN、Faster R-CNN(见Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2017,39(6):1137-1149)，几乎覆盖了从分类到检测、分割、定位各个领域；2)基于回归的目标检测与识别算法，具有代表性的是YOLO、SSD。景军峰等人基于深度卷积神经网络的疵点检测算法对色织物疵点的检测率达到了87.5％，使色织物的缺陷位置和形状取得了较好的可视化效果(见景军锋,范晓婷,李鹏飞,等.应用深度卷积神经网络的色织物缺陷检测[J].纺织学报,2017,38(2):68-74.)。但该方法的神经网络参数较多，计算复杂度较高，而且只能对疵点的分类，不能实现疵点的定位，需要使用其他方法或者人工形式先检测出疵点位置以及截取出疵点图像，再做疵点分类，尚不能直接应用于实际的检测任务。申请号为201810052130.8的专利公开了一种基于深度学习的织物疵点检测方法。该方法把样本库中的图像分割为图像块集合；建立六层深度神经网络，对第五层与第六层的连接权值用BP算法进行调节，以输出疵点对应的类型；把待检测图像进行分割成图像块输入神经网络；统计该检测图像中包含的所有图像块的检测结果，并据此给出该布匹的质量等级，显示疵点的具体坐标位置。虽然该方法使用层数较少的卷积神经网络，检测速度得以提升，但在实际疵点种类多、特征复杂，识别精度存在不足。

发明内容

为了自动检测与分类胚布、漂白布、染色布和色织布中的疵点，本发明提供了一种基于深度卷积神经网络的布匹疵点识别方法，具体包括以下四部分：Faster R-CNN神经网络修改、布匹疵点数据集制作、神经网络训练优化、布匹疵点实时检测与分类。

(1)Faster R-CNN神经网络修改

本发明使用的深度卷积神经网络是在Faster R-CNN的基础上修改得到，具体包括以下两个方面：

(1-1)Faster R-CNN特征提取网络修改

布匹疵点的检测既要有较高的检测精度，又要有较好的实时效果，结合这两点最终本方法选择以VGG-16网络为特征提取网络，并针对布匹瑕疵分类对VGG-16网络进行优化。

VGG-16网络采用连续的3×3的卷积核替代较大尺寸的卷积核，可以在保证具有相同感知野的条件下，提升网络的深度，进而提升了网络的特征提取能力。VGG-16网络具体由13个卷积层和3个全连接层叠加而成：在卷积层采用3×3滤波器，每2个或者3个滤波器连续堆叠组成卷积序列，模仿出更大的感受野效果；在池化层采用2×2的最大值池化，步长为2，用于卷积之后的降维操作；全连接层由3个通道数分别为4096、4096、1000个全连接组合而成；最后输入到SoftMax分类器进行分类输出。

虽然VGG-16的结构非常简洁，但却耗费非常大的计算资源，其中绝大部分的参数都来自于第一个全连接层，第一个全连接层FC1有4096个节点，上一层池化输出有7×7×512＝25088个节点，则该全连接层需要4096×25088，仅仅这一个全连接层就占据了74％的参数数量，会消耗了很大的计算资源。

在布匹检测过程中需要有较高的检测速度，但全连接层太多的参数将会大大拖慢检测速度。为了降低布匹图像的疵点检测复杂度，本发明采用全局平均池化层(GlobalAverage Pooling,GAP)替代全连接层，不仅可以起到减少参数数量加快网络运算的目的，而且还可以很好的减轻过拟合的发生。全局平均池化层直接使用特征图(feature map)的均值表示某个类的置信图(confidence map)，比如有10个类，就在最后输出10个特征图，每个特征图中的所有特征值加起来求出1个平均值，得到的10个平均值就是对应类的概率或者置信度。由于全局平均池化层的参数数量为零，既起到减少参数加快计算速度、防止数据冗余的作用，又达到了避免由于全连接层参数过多带来的过拟合风险，同时也剔除了全连接层黑箱子操作的特征，直接赋予了每个channel实际的类别意义。本发明具体将VGG-16网络中的前两个全连接层FC1、FC2用一个全局平均池化层替代，第三个全连接层FC3保持不变。输入全局平均池化层的为7×7×512的特征图，将每个通道做7×7大小的平均池化的运算，经过全局平均池化之后生成512个特征映射，特征值代表该通道特征，再将各通道特征值输入原先的第三个全连接层FC3进一步提纯的特征，经全连接层进一步提纯的特征分类输出。使用一个全局平均池化层替代前两个全连接层总共减少了75％以上的参数量，大大减少了资源占用，优化了运行速度。

(1-2)增加Faster R-CNN的锚点框

Faster R-CNN网络模型其核心理念是端到端的设计模式，要求场景中目标区域的定位与识别同时输出，创新工作在于提出了区域生成网络(Region Proposal Networks,RPN)。RPN是一个全卷积神经网络(Fully Convolutional Network,FCN)，其输入为任意大小的特征图，输出为一系列矩形目标框。为生成候选区域，使用一个小型网络在共享卷积层的最后一层输出上做滑窗选择。该网络的输入为特征图的一个n×n的窗口，对于每个像素点，同时预测k个目标候选区，这些目标候选区都与这个窗口存在关联，称为锚点框(anchorboxs)。

在Faster R-CNN原始网络中，设置了两个参数用于生成锚点框，分别为ratios＝[0.5,1,2]代表生成锚点框的长宽比条件，以及scales＝[8,16,32]代表生成锚点框的面积条件。原始图像在经过卷积特征提取之后变成原始输入图像的1/16，那么scales中的尺寸为8×8、16×16、32×32分别对应原图的锚点框大小为像素面积为(16×8)×(16×8)＝128×128、(16×16)×(16×16)＝256×256、(16×32)×(16×32)＝512×512的区域，每个大小的区域按照ratios中的长宽比为1:2、1:1、2:1进行变换，例如16×16大小的生成形式有23×12、16×16、11×22，像素面积保持不变。综合所有变换，每个窗口生成9个锚点框，再对每个候选框进行评估。

如果锚点框没有正确地调整，神经网络将永远不会知道某些小的、大的或不规则对象的存在，并且永远不会有机会检测它们，增加锚点框的多样性有助于对多尺度的疵点检测。在增加锚点框的种类，使得ratios＝[0.25,0.5,1,2]、scales＝[4,8,16,32]，每个可以窗口生成16个尺度变化的锚点框，改进后的网络对于多种尺度的疵点检测以及小目标检测更加精准。

(2)布匹疵点数据集制作

由于布匹疵点图像的数据量比较少，疵点出现的频率在整卷布匹中占的比例很低，实际采集比较困难，且没有统一标准的公开数据集，因此在通过摄像头采集基础布匹疵点图像后，可以采用图像翻转、缩放、融合的方式扩充数据集以实现数据增强，并将疵点划分为重经重纬、断经断纬、筘痕、斑点、破洞、折痕、渍疵七个大类。图像融合如式(1)所示，ImageM为融合后的图像，Image1和Image2为两张分辨率相同的布匹疵点图像；α为Image1所占的权重系数，其取值范围为[0,1]，β为Image2所占的权重系数,其取值范围为[0,1]，且要求α+β＝1；图像融合的形式包含类间组合以及类内组合。

ImageM＝α×Image1+β×Image2 (1)

(3)神经网络训练优化

训练过程中学习率(Learning rate)作为深度学习中的重要超参，其决定着目标函数能收敛到局部最小值以及合适收敛到最小值。当学习率设置的过小时，收敛过程将变得十分缓慢。而当学习率设置的过大时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛，固定学习率时，当到达收敛状态时，会在最优值附近一个较大的区域内摆动；而当随着迭代轮次的增加而减小学习率，会使得在收敛时，在最优值附近一个更小的区域内摆动。因此，选择一个合适的学习率，对于模型的训练将至关重要。

为了在训练初始阶段能快速收敛，后期能稳定至局部最优值，所以本发明采用变化的学习率训练(1)中改进后的Faster R-CNN网络模型：初始设置学习率lr为0.001，使模型能快速收敛；当训练的总迭代次数达到n1次之时，将降低学习率lr到0.0001；当训练的总迭代次数达到n2之时，将学习率lr降至0.00001，使目标函数能稳定收敛至局部最小值，直至迭代结束得到训练好的模型参数；其中n1的取值范围为[10000,500000]，次数n2的范围为[20000,1000000]，要求n2大于n1，数据集的样本数量越大，n1和n2的取值越大。

(4)布匹图像实时检测与分类

(4-1)使用工业线阵相机采集一幅最新的布匹图像。

(4-2)使用训练好的改进Faster R-CNN神经网络对布匹图像进行疵点检测，得到疵点在图像中的位置及其类型。该网络首先用VGG-16的13个共享卷积层提取布匹图像特征，生成特征图，再经过RPN网络生成区域得分与区域建议；接着对特征图做维度为256卷积核大小为3×3步长为1卷积，根据RPN网络对每个锚点框做分类学习，区分属于前景还是后景，以及对分类框位置回归微调至合适位置，输出分类得分与各个框回归后的位置坐标；然后根据RPN的区域意见生成ROI区域，并将各ROI区域统一至7×7大小，每个ROI区域包含512个通道，ROI区域经过全局平均池化层与全连接层将特征映射到样本空间，得到在各样本空间上的分类得分，以及回归后的目标边框；最后根据分类得分和回归后的目标边框位置信息输出检测出的疵点类别以及位置信息。

(4-3)重复步骤(4-1)至步骤(4-2)，完成整卷布匹的检测。

本发明的技术构思为：使用全局平均池化层替代Faster R-CNN特征提取网络中的前两个全连接层，以达到减少网络参数和加快网络运算速度的目的；增加Faster R-CNN中RPN网络的锚点框，提升网络对于多种尺度的疵点检测以及小目标检测的检测效果；在训练过程中，使用变化的学习率，使得模型训练能快速收敛，又可以稳定收敛至局部最小值；使用训练得到得模型参数，对工业线阵相机采集的原始布匹图像进行疵点检测，取得较好的检测定位和疵点分类的效果。

与现有技术相比，本方法具有以下有益效果：支持包括断纬、断经、破洞、浮纬等多种类型布匹瑕疵的检测和分类，通过改进Faster R-CNN减少网络的参数量，提升检测效果，对具有复杂纹理信息、各种颜色背景的图像也能精确检测出疵点，能够实现高效率、高准确率、快速的检测，提高了工业现场布匹检测的效率，降低了人为因素带来的误检影响。

附图说明

图1为本发明的流程图；

图2为本发明中疵点图像数据增强效果图，其中(a)的右图为左图的图像翻转效果图，(b)的右图为左图的图像缩放效果图，(c)的右图为左侧两图的图像融合效果图；

图3为本发明中修改前后的VGG-16网络结构与现有技术的对比，其中上方实线路径为修改后的网络结构，下方虚线路径为现有技术的网络结构；

图4为本发明中增加锚点框后检测效果的对比图，其中，上图为使用原始锚点框的检测效果图，下图为增加锚点框后的检测效果图；

图5为本发明中使用改进后的Faster R-CNN布匹疵点识别效果图。

具体实施方式

下面结合实施例和附图来详细描述本发明，但本发明并不仅限于此。

本发明疵点识别的实施例对象布匹为染色布，本发明选用的处理平台为Inteli9-9900k、NVIDIA RTX2080ti和32G RAM的组合，操作系统为LINUX64Ubuntu16.04。在深度学习框架的选择上有Caffe、Pytorch、TensorFlow等，考虑到TensorFlow具有良好的可视化效果，以及Faster R-CNN在TensorFlow上配置方便等优点，本发明方法最终选择在TensorFlow框架上进行实现。

如图1基于深度卷积神经网络的布匹疵点识别方法，包括四个部分：

(1)Faster R-CNN神经网络修改；

(2)布匹疵点数据集制作；

(3)神经网络训练优化；

(4)布匹图像实时检测与分类。

第一部分Faster R-CNN神经网络修改具体包括：

(1-1)全连接层替换

将原网络中的前两个全连接层FC1、FC2用一个全局平均池化层(Global AveragePooling,GAP)替代，第三个全连接层FC3保持不变。输入全局平均池化全连接层的为7×7×512的特征图，经过全局平均池化之后生成512个特征映射经全连接层进一步提纯的特征之后分类输出。使用一个全局平均池化层替代前两个全连接层总共减少了75％以上的参数量。在使用全局平均池化层改进过后的Faster R-CNN的检测速度较改进前提升了将近40％，在本发明的实验平台上进行测试实验，检测一张分辨率为640×480的图像用时仅为0.051s，且检测的精度与改进前相较差别不大。

(1-2)增加Faster R-CNN的锚点框

在原网络的基础上增加锚点框的种类，使得ratios＝[0.25,0.5,1,2]、scales＝[4,8,16,32]，这里代表四种像素面积大小的锚点框，即4×4、8×8、16×16、32×32，每种像素面积按照长宽比1:4、1:2、1:1、2:1的形式生成，则每个可以窗口生成16个尺度变化的锚点框，如图5所示改进后的网络对于多种尺度的疵点检测以及小目标检测更加精准。通过调整anchor boxes，Faster R-CNN在第二部分的实验数据集上的所有类标签的平均精确率(mAP)达到了0.8935，相较调整前的0.7448有了较大的提升。

第二部分布匹疵点数据集制作具体包括：

由于布匹疵点图像的数据量比较少，疵点出现的频率在整卷布匹中占的比例很低，实际采集比较困难，且没有统一标准的公开数据集，因此通过摄像头采集520张染色布基础疵点图像后经过的图像翻转如图2(a)所示、图像缩放如图2(b)所示、图像融合如图2(c)所示的方式扩充数据集实现数据增强，将原本520张的布匹疵点数据集扩充至2080张，并将疵点划分为重经重纬、断经断纬、筘痕、斑点、破洞、折痕、渍疵七个大类。图像融合如式(1)所示，ImageM为融合后的图像，Image1和Image2为两张分辨率相同的布匹疵点图像；α为Image1所占的权重系数，取值范围为[0,1]，在此处取0.5，β为Image2所占的权重系数,取值范围为[0,1]，在此处取0.5，满足α+β＝1；图像融合的形式包含类间组合以及类内组合。

ImageM＝α×Image1+β×Image2 (1)

第三部分神经网络训练优化具体包括：

在本发明中，随着训练的深入，逐渐减低学习率。在训练初始设置学习率lr为0.001，使模型能快速收敛；当训练的总迭代次数达到n1次之时，将降低学习率lr到0.0001；当训练的总迭代次数达到n2将学习率lr降至0.00001，使目标函数能稳定收敛至局部最小值；其中次数n1的取值范围为[10000,500000]，此处取40000，次数n2的范围为[20000,1000000]，此处取60000，一次完整训练的总迭代次数为80000次。通过训练过程中的学习率调整进一步将mAP提升至了0.9237。

第四部分布匹图像实时检测与分类具体包括：

(4-1)使用工业相机采集布匹的原始图像。

(4-3)重复步骤(4-1)至步骤(4-2)，完成整卷布匹的检测。

Claims

1.一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述的识别方法包括以下步骤：

(1)Faster R-CNN神经网络修改；

(2)收集布匹疵点原始数据，使用数据增强的方法扩充数据集；

(3)神经网络训练优化：

采用变化的学习率训练(1)中改进后的Faster R-CNN网络模型；

(4)布匹图像实时检测与分类：

(4-1)使用工业相机采集布匹的原始图像；

(4-2)使用训练好的改进Faster R-CNN神经网络对布匹图像进行疵点检测，得到疵点在图像中的位置及其类型；

(4-3)重复步骤(4-1)至步骤(4-2)，完成整卷布匹的检测。

2.如权利要求1所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述的步骤(1)中包含以下子步骤：

(1-1)将Faster R-CNN的特征提取网络VGG-16中的前两个全连接层FC1、FC2用一个全局平均池化层替代，第三个全连接层FC3保持不变；

(1-2)在Faster R-CNN的原区域生成网络的9种预测锚点框的基础上增加锚点框的尺度大小与尺度变化种类，生成多于9个尺度变化的锚点框。

3.如权利要求2所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述步骤(1-2)中，生成16个尺度变化的锚点框，生成锚点框的长宽比条件ratios＝[0.25,0.5,1,2]、生成锚点框的面积条件scales＝[4,8,16,32]。

4.如权利要求1所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述的步骤(2)中包含以下子步骤：

(2-1)通过摄像头采集基础布匹疵点图像；

(2-2)经过图像翻转、图像缩放、图像融合的方式扩充数据集，实现数据增强；

(2-3)将疵点分类。

5.如权利要求4所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述步骤(2-2)中，图像融合如式(1)所示，

ImageM＝α×Image1+β×Image2 (1)

其中，ImageM为融合后的图像，Image1和Image2为任意两张分辨率大小、图像格式相同的布匹疵点图像，α为Image1所占的权重系数，取值范围为[0,1]，β为Image2所占的权重系数,取值范围为[0,1]，α+β＝1。

6.如权利要求4所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述步骤(2-3)中，将疵点分类为重经重纬、断经断纬、筘痕、斑点、破洞、折痕、渍疵七个大类，图像融合的形式包含疵点类间组合以及类内组合。

7.如权利要求1所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述的步骤(3)中包含以下子步骤：

(3-1)设置训练初始学习率lr为0.001，以步骤(2)的数据集训练步骤(1)中改进后的Faster R-CNN网络模型；

(3-2)当训练的总迭代次数达到n1次之时，将降低学习率lr到0.0001，其中n1的取值范围为[10000,500000]；

(3-3)当训练的总迭代次数达到n2之时，将学习率降lr至0.00001，直至收敛到局部最优迭代结束得到训练好的模型参数，其中次数n2的范围为[20000,1000000]，且要求n2大于n1。

8.如权利要求1所述的一种基于深度卷积神经网络的布匹疵点识别方法，其特征在于，所述的步骤(4)中的步骤(4-2)使用训练好的改进Faster R-CNN神经网络模型对布匹图像进行疵点检测包含以下子步骤：

(4-2-1)使用VGG-16的13个共享卷积层提取布匹图像特征，生成特征图；

(4-2-2)对特征图做维度为256、卷积核大小为3×3、步长为1的卷积，根据RPN网络对每个锚点框做分类学习，区分属于前景还是后景，以及对分类框位置回归调整至疵点所在的区域范围，输出分类得分与各个框回归后的位置坐标；

(4-2-3)根据RPN的区域意见生成ROI区域，并将各ROI区域统一至7×7大小，每个ROI区域包含512个通道，ROI区域经过全局平均池化层与全连接层将特征映射到样本空间，得到在各样本空间上的分类得分及回归后的目标边框；

(4-2-4)根据分类得分和回归后的目标边框位置信息，对每个目标框的分类得分做分类排序，获取最高得分的类，当最高得分超过设定阈值TH时则该目标框内为最高得分的疵点类，否则目标框内无疵点，输出检测出的疵点类别以及位置信息，TH的取值范围为[0,1]。