CN111882546A - 基于弱监督学习的三分支卷积网络织物疵点检测方法 - Google Patents

基于弱监督学习的三分支卷积网络织物疵点检测方法 Download PDF

Info

Publication number
CN111882546A
CN111882546A CN202010753915.5A CN202010753915A CN111882546A CN 111882546 A CN111882546 A CN 111882546A CN 202010753915 A CN202010753915 A CN 202010753915A CN 111882546 A CN111882546 A CN 111882546A
Authority
CN
China
Prior art keywords
convolution
layer
network
conv2
conv3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010753915.5A
Other languages
English (en)
Other versions
CN111882546B (zh
Inventor
丁淑敏
李春雷
霍昭辰
刘洲峰
郭振铎
魏苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan University of Technology
Original Assignee
Zhongyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan University of Technology filed Critical Zhongyuan University of Technology
Priority to CN202010753915.5A priority Critical patent/CN111882546B/zh
Publication of CN111882546A publication Critical patent/CN111882546A/zh
Application granted granted Critical
Publication of CN111882546B publication Critical patent/CN111882546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于弱监督学习的三分支卷积网络织物疵点检测方法，其步骤为：首先，基于弱监督网络中的互斥原则，建立多示例学习的检测网络，以便利用图像级标签进行训练。然后，建立三分支网络框架，并采用长连接结构以便对多层级卷积特征图进行提取及融合；同时，利用SE模块和空洞卷积，分别学习了通道之间的相关性和扩大了卷积感受野。最后，利用类激活映射的方法计算出目标的定位信息，获得疵点图像的注意力映射。本发明综合考虑了织物图片所包含的丰富的纹理特征及疵点标签缺失的问题，通过采用弱监督网络机制及互斥原则，在减少对标签的依赖性的同时，提升对织物图像的表征能力，使得检测结果具有更高的检测精度和自适应性。

Description

基于弱监督学习的三分支卷积网络织物疵点检测方法
技术领域
本发明涉及纺织品图像处理技术领域，特别是指一种基于弱监督学习的三分支卷积网络织物疵点检测方法。
背景技术
织物缺陷检测在织物产品的质量控制中起着至关重要的作用，一直是科学研究人员的主要研究方向。但是，由于织物种类繁多，一个生产厂商能同时生产上百种不同纹理的布匹，这就导致了缺陷检测极其复杂。传统的织物检测主要是通过人工视觉进行的。由于工人本身的感官问题及长时间连续工作的疲劳，使得漏检，误检等情况经常出现。这会导致较高的人工成本和较低的生产效率。因此，快速自动检测缺陷的机器视觉为织物检测提供了理想的解决方案。
近年来，深度学习技术，特别是深度卷积神经网络CNN(Convolutional NeuralNetwork)在机器视觉中表现出更强大的特征表示能力，并在目标检测领域取得了显著的进步。于是，相关学者提出将CNN与显著性检测相结合，应用到疵点的检测和定位方面。文献[Ouyang W,Xu B,Hou J,et al.Fabric Defect Detection Using Activation LayerEmbedded Convolutional Neural Network[J].IEEE Access,2019:70130-70140]在CNN中引入了新型的成对电位激活层，以在具有复杂特征和不平衡数据集的织物上实现高精度的缺陷分割。文献[Jing J,Ma H,Zhang H,et al.Automatic fabric defect detectionusing a deep convolutional neural network[J].Coloration Technology,2019,135(3):213-223.]提出了一种功能强大的检测方法，该方法使用深度卷积神经网络进行转移学习，从而自动检测织物缺陷。文献[PR.Jeyaraj,ER.Samuel Nadar.Computer vision forautomatic detection and classification of fabric defect employing deeplearning algorithm[J].International Journal of Clothing Science andTechnology,2019.]提出了一种利用高级学习算法专注于计算机辅助织物缺陷检测和分类的设计和开发的方法。
虽然这些深度学习的方法在织物缺陷检测领域已达到令人满意的准确性。但是，这些网络模型的检测精度取决于带像素级标签织物训练集的规模。在训练过程中，为了提高织物缺陷的检测精度，研究人员需要为每种织物缺陷图像构造一个具有标记的大规模数据集。然而，在实际生产中，为上百种类型的织物标记大规模的训练集是非常困难的。因此，如何解决标签高度依赖的问题已成为研究的主流。
为解决像素级标签缺失的问题，有关学者提出弱监督目标检测WSOD(WeaklySupervised Object Detection)，采用比手动注释更弱且更便宜的图像级标签。该方法依赖于基于注意力的神经网络的多示例学习MIL(Multiple Instance Learning)。文献[JoonOh,Seong,et al."Exploiting saliency for object segmentation from image levellabels."Proceedings of the IEEE conference on computer vision and patternrecognition.2017.]提出了一种将种子区域与显著性检测技术相结合的弱监督语义分割方法。将种子区域和显著性模型作为附加信息，并以此作为先验知识。首先输入图像和图像级别标签，指导标注器(guide labeller)结合种子区域和显著性模型，产生一个粗糙的标注，再利用这个标注，以监督方式训练分割网络。文献[Zeng,Yu,et al."Joint learningof saliency detection and weakly supervised semantic segmentation."Proceedings of the IEEE International Conference on Computer Vision.2019.]提出一种多任务学习框架，可同时解决显著性检测和弱监督语义分割。但精度有进一步提升的空间。
虽然，弱监督检测算法虽然取得了一定的检测效果。但是，很少有弱监督网络致力于织物检测领域。现有的弱监督方法为了提高检测精度，往往采用的都是深度卷积。对于织物领域而言，这些网络会丢失一些较小的疵点；因此，并不适合使用丰富的织物图像纹理信息进行检测。
发明内容
针对现有的深度学习织物检测方法一直受到数据集标签缺失的限制这一问题，本发明提出了一种基于弱监督学习的三分支卷积网络织物疵点检测方法，利用弱监督网络中的互斥原则建立多示例学习的检测网络；采用多层级特征融合及感受野的扩张的方法来提升织物图像的表征能力；利用空洞卷积组和Squeeze-and-Excitation(SE)模块来增强网络的鲁棒性，以便更好地预测疵点区域提高疵点的检测精度；最后，利用弱监督网络中的定位方法(类激活映射，CAM)来计算出目标的定位信息，可以更加有效的利用纹理信息来准确地定位对象区域以获得更好的训练线索。
本发明的技术方案是这样实现的：
一种基于弱监督学习的三分支卷积网络织物疵点检测方法，其步骤如下：
S1、从织物图像库中选取数据集，并将数据集分为正样本数据集和负样本数据集，其中，正样本数据集中的图像为包含疵点的织物图像，负样本数据集中的图像为正常织物图像；
S2、构建弱监督网络，利用正样本数据集和负样本数据集同时对弱监督网络进行训练，得到弱监督检测网络；
S3、将全局平均池化层加入弱监督检测网络中，以便引入类激活映射，得到完整的弱监督检测网络模型；
S4、将待检测的织物图像输入完整的弱监督检测网络模型中进行识别，输出织物图像的类激活图和类别。
所述正样本数据集的数量最少为3000张，负样本数据集的数量最少为3000张。
所述步骤S2中的弱监督网络包括第一阶段、第二阶段、第三阶段、第四阶段和全局平均池化层；第一阶段与第二阶段相连接，第二阶段与第三阶段相连接，第三阶段与第四阶段相连接，第四阶段与全局平均池化层相连接。
所述第一阶段包括卷积层Conv1-1和卷积层Conv1-2，卷积层Conv1-1与卷积层Conv1-2相连接；所述第二阶段包括卷积结构conv2-T、卷积层conv2-M和卷积结构conv2-B；卷积结构conv2-T包括卷积层Conv2-T和第一SE模块，卷积层Conv2-T与第一SE模块相连接；卷积结构conv2-B包括池化层pool-1、卷积层Conv2-B-1、卷积层Conv2-B-2、第二SE模块和上采样层UnPooling-1，池化层pool-1与卷积层Conv2-B-1相连接，卷积层Conv2-B-1与卷积层Conv2-B-2相连接，卷积层Conv2-B-2与第二SE模块相连接，第二SE模块与上采样层UnPooling-1相连接；第三阶段为空洞卷积模块，空洞卷积模块包括卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4；第四阶段包括卷积层Conv4；所述卷积层Conv1-2分别与卷积层Conv2-T和池化层pool-1相连接，卷积层Conv1-2、卷积层Conv2-T、池化层pool-1均与卷积层conv2-M相连接，卷积层conv2-M分别与卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4相连接，卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4均与卷积层Conv4相连接，卷积层Conv4与全局平均池化层相连接。
所述利用正样本数据集和负样本数据集对弱监督网络进行训练，得到弱监督检测网络的方法为：
S21、设置训练次数k＝1和最大训练次数kmax；
S22、分别从正样本数据集和负样本数据集随机选取Q张图像，将Q张图像输入弱监督网络中，通过网络迭代优化器中的Adam算法来优化并更新弱监督网络的权重，得到第k次训练对应的中间弱监督网络，其中，Q>100；
S23、再分别从正样本数据集和负样本数据集随机选取Q'张图像，将Q'张图像输入中间弱监督网络中进行测试，输出检测正确率，其中，Q'>20；
S24、训练次数k＝k+1，判断检测正确率是否大于90％或者训练次数k是否达到最大训练次数，若是，保留中间弱监督网络的权重值，并将中间弱监督网络作为弱监督检测网络，否则，返回步骤S22。
所述将待检测的织物图像输入弱监督检测网络模型中进行识别，输出织物图像的类激活图和类别的方法为：
S41、将待检测的织物图像输入卷积层Conv1-1和卷积层Conv1-2，得到第一分支特征图Fm；
S42、将第一分支特征图Fm输入卷积结构conv2-T，得到第二分支特征图Ft；
S43、将第一分支特征图Fm输入卷积结构conv2-B，得到第三分支特征图Fb；
S44、利用长连接结构对第一分支特征图Fm、第二分支特征图Ft和第三分支特征图Fb进行融合，得到第一特征图Fc1，
Figure BDA0002610905940000041
S44、将第一特征图Fc1输入卷积层conv2-M得到第二特征图Fc2，再将第二特征图Fc2分别输入卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4得到第三组多级特征图Fc3,1、Fc3,2、Fc3,3、Fc3,4；
S45、将第三组多级特征图Fc3,1、Fc3,2、Fc3,3、Fc3,4进行融合，得到第三特征图Fc3，
Figure BDA0002610905940000042
S46、将第三特征图Fc3输入卷积层Conv4得到第四特征图Fc4，再将第四特征图Fc4输入全局平均池化层得到特征向量X，其中，X＝{x1,x2,…,xN}，xi为第i个特征值，i＝1,2,…,N，N为特征值的数量；
S47、利用弱监督检测网络模型的权重W与特征向量X进行加权求和，得到织物图像的类别，其中，W＝{w1,w2,…,wN}，wi为第i个权重值；
S48、利用弱监督检测网络模型的权重W与第四特征图Fc4进行加权求和，得到织物图像的类激活图CAM，CAM＝w1F1+w2F2+…+wiFi+…+wNFN，其中，Fc4＝{F1,F2,…,Fi,…,FN}，Fi为第四特征图Fc4中的第i个特征图。
所述卷积层Conv1-1、Conv1-2的卷积核大小均为3×3、通道数均为32；所述卷积层Conv2-T、卷积层Conv2-B-1的卷积核大小均为3×3、通道数均为64；所述卷积层conv2-M、卷积层Conv2-B-2的卷积核大小均为3×3、通道数均为128；所述卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4的卷积核大小均为3×3、通道数均为64，且卷积层Conv3-1的膨胀率R＝1，卷积层Conv3-2的膨胀率R＝2，卷积层Conv3-3的膨胀率R＝4，卷积层Conv3-4的膨胀率R＝6；所述卷积层Conv4的卷积核大小为3×3、通道数为64。
本技术方案能产生的有益效果：本发明基于弱监督方法，利用多示例学习中的互斥原则用以建立使用图像级别标签的检测网络；采用多分支网络建构可以有效的对多层级特征进行征融合，同时，采用SE模块增强有用特征，避免无用特征的干扰；较浅的特征表征与较深的特征表征相结合，可帮助网络准确定位疵点区域，有效的提高对织物疵点的检测精度和自适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为SE模块结构图；
图3为空洞卷积原理图；
图4为CAM原理图；
图5(a)～(d)为本发明实施例中常见的原始织物图像；
图6(a)～(d)分别为图5(a)～(d)基于文献[1]方法生成的热力图；
图7(a)～(d)分别为图5(a)～(d)基于文献[1]方法生成的类激活图；
图8(a)～(d)分别为图5(a)～(d)基于文献[2]方法生成的热力图；
图9(a)～(d)分别为图5(a)～(d)基于文献[2]方法生成的类激活图；
图10(a)～(d)分别为图5(a)～(d)基于文献[3]方法生成的热力图；
图11(a)～(d)分别为图5(a)～(d)基于文献[3]方法生成的类激活图；
图12(a)～(d)分别为图5(a)～(d)基于本发明的消融实验所生成的热力图；
图13(a)～(d)分别为图5(a)～(d)基于本发明的消融实验所生成的类激活图；
图14(a)～(d)分别为图5(a)～(d)基于本发明方法生成的热力图；
图15(a)～(d)分别为图5(a)～(d)基于本发明方法生成的类激活图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于弱监督学习的三分支卷积网络织物疵点检测方法，包括长连接结构、空洞卷积模块、SE模块和CAM模块，本发明所提模型的训练和测试是在训练图像Xn＝{xj,j＝1,2,…,n}和其对应的类激活图Yn＝{yj,j＝1,2,…,n}中的所有像素上计算的，具体步骤如下：
S1、从织物图像库中选取数据集，并将数据集分为正样本数据集和负样本数据集，其中，正样本数据集中的图像为包含疵点的织物图像，负样本数据集中的图像为正常织物图像；正样本数据集的数量最少为3000张，负样本数据集的数量最少为3000张。
S2、针对于织物数量集的庞大和注释时间的昂贵等问题，本发明基于弱监督网络中的互斥原则构建弱监督网络，采用多示例学习中的互斥原则来建立仅用图像级别标签的织物疵点检测网络。搭建弱监督网络框架：通过有限的标记数据进行模型优化来解决训练过程中像素级标签缺失的问题。使得网络在仅有图像级标签的情况下，也能对图像中的目标进行检测。尤其是对于需要从庞大的织物库中提取信息并加以分析的检测网络模型而言，弱监督的应用是非常有价值。利用多示例学习互斥原则来重新定位图像中所有的候选区域。原理如下：将每张织物图片认为是一个包，每张图片分割出来的候选区域称为示例。如果一个包里面至少有一个示例是包含疵点的，则该包就为正样本；如果一个包里面所有的示例都是不包含疵点的，则该包才为负样本。网络模型通过迭代优化学习对每个训练样本进行再预测并更新它们的标记。利用正样本数据集和负样本数据集对弱监督网络进行训练，得到弱监督检测网络的整体训练步骤如下：(1)采用图像级标签初始化检测网络；(2)重新定位图像中所有的候选区域；(3)循环往复直至所有数据完成训练，以便得到最后的网络模型。具体训练方法为：
S21、初始化弱监督网络的权重、训练次数k＝1，设置最大训练次数kmax＝400；
S22、分别从正样本数据集和负样本数据集随机选取Q张图像，将Q张图像输入弱监督网络中，通过网络迭代优化器中的Adam算法来优化并更新弱监督网络的权重，得到第k次训练对应的中间弱监督网络，其中，Q>100；
S23、再分别从正样本数据集和负样本数据集随机选取Q'张图像，将Q'张图像输入中间弱监督网络中进行测试，输出检测正确率，其中，Q'>20；
S24、训练次数k＝k+1，判断检测正确率是否大于90％或者训练次数k是否达到最大训练次数，若是，保留中间弱监督网络的权重值，并将中间弱监督网络作为弱监督检测网络，否则，返回步骤S22。
所述步骤S2中的弱监督网络包括第一阶段、第二阶段、第三阶段、第四阶段和全局平均池化层；第一阶段与第二阶段相连接，第二阶段与第三阶段相连接，第三阶段与第四阶段相连接，第四阶段与全局平均池化层相连接。所述第一阶段包括卷积层Conv1-1、Conv1-2，卷积层Conv1-1与卷积层Conv1-2相连接；所述第二阶段包括卷积结构conv2-T、卷积层conv2-M和卷积结构conv2-B；卷积结构conv2-T包括卷积层Conv2-T和第一SE模块，卷积层Conv2-T与第一SE模块相连接；卷积结构conv2-B包括池化层pool-1、卷积层Conv2-B-1、卷积层Conv2-B-2、第二SE模块和上采样层UnPooling-1，池化层pool-1与卷积层Conv2-B-1相连接，卷积层Conv2-B-1与卷积层Conv2-B-2相连接，卷积层Conv2-B-2与第二SE模块相连接，第二SE模块与上采样层UnPooling-1相连接；第三阶段为空洞卷积模块，空洞卷积模块包括卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4；第四阶段包括卷积层Conv4；所述卷积层Conv1-2分别与卷积层Conv2-T和池化层pool-1相连接，卷积层Conv1-2、卷积层Conv2-T、池化层pool-1均与卷积层conv2-M相连接，卷积层conv2-M分别与卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4相连接，卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4均与卷积层Conv4相连接，卷积层Conv4与全局平均池化层相连接。弱监督网络的卷积结构如表1所示，其中，卷积层Conv1-1、Conv1-2的卷积核大小均为3×3、通道数均为32；所述卷积层Conv2-T、卷积层Conv2-B-1的卷积核大小均为3×3、通道数均为64；所述卷积层conv2-M、卷积层Conv2-B-2的卷积核大小均为3×3、通道数均为128；所述卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4的卷积核大小均为3×3、通道数均为64，且卷积层Conv3-1的膨胀率R＝1，卷积层Conv3-2的膨胀率R＝2，卷积层Conv3-3的膨胀率R＝4，卷积层Conv3-4的膨胀率R＝6；所述卷积层Conv4的卷积核大小为3×3、通道数为64。
表1主网络的网络配置表
Figure BDA0002610905940000071
为了进一步提高网络性能，最关键的挑战是如何利用纹理信息来准确地定位对象区域以获得更好的训练线索。为了解决这个问题，本发明在弱监督网络中增加了SE模块和空洞卷积模块来提升网络性能。
SE模块将在不同卷积层的特征图中增强具有定位信息的通道，并抑制不包含相关信息的图像通道，从而提高定位能力。空洞卷积模块具有不同的膨胀率，可以生成可靠的对象定位图，并有效地使弱监督网络受益。尽管表面上看起来很简单，但是不同的膨胀率可以有效地扩展内核的接受范围，从而促进这些区域在注意力图中的显示。
SE模块(Squeeze-and-Excitation Networks)原本作为一个重要的attention机制而被研究。SE模块的设计思路简单易于实现，并且很容易可以加载到现有的网络模型框架中。其主要目的是学习了通道(channel)之间的相关性，并筛选出针对目标区域更有效的通道。虽然，计算量有所增加，但是网络模型的性能有较好的提升。受SE模块的启发，将部分卷积层中加入相应权重。图2为SE模块的实现过程，通过对卷积层得到的特征图进行处理，得到一个和通道数一样的一维向量作为每个通道的权重，然后分别施加到对应的通道上，得到其结果。
空洞卷积(Dilated Convolution)是指在标准的convolution map里注入空洞。其具有两个优点：扩大感受野(receptive field)和更多的捕获多尺度上下文信息。
扩大感受野：在原本的深度网络中为了增加感受野且降低计算量，就要进行降采样，这样虽然可以增加感受野，但会降低图片的空间分辨率。为了达到不丢失分辨率的同时仍然扩大感受野的效果，可以在网络中使用空洞卷积。一方面，由于感受野的增大，可以检测分割大目标。另一方面，所提高的分辨率可以捕获多尺度上下文信息，使网络更加精准的定位目标。相比原来的正常卷积层，空洞卷积层多了一个参数：膨胀率(dilation rate，简称R)。具体含义就是在卷积核中填充多少个空白量。因此，当设置不同膨胀率时，感受野就会不一样，也即获取了多尺度信息。这在视觉任务中具有相当重要的意义。
捕获多尺度上下文信息：空洞卷积解决了网络内部的数据结构丢失，空间层级化信息丢失及小物体信息无法重建的问题。具体而言，就是在不做池化操作的情况下，让每个卷积输出都包含较大范围的信息，以防止小目标信息的丢失。在网络结构的第三阶段中，所采用的空洞卷积模块中包合4种膨胀率(R＝1，2，4，6)，如图3所示。
S3、将全局平均池化层加入弱监督检测网络中，以便引入类激活映射，得到完整的弱监督检测网络模型；全局平均池化层(Global Average Pooling，GAP)是指计算整个区域的平均值，仅用一个值来表示整个区域。GAP的作用不仅可以降低维度使得结构变得简单，防止过拟合，减少大量参数；同时，还能保留空间信息并且定位，以此来可以保持网络的高性能特性。
类激活映射(Class Activation Map，CAM)将在不同空间位置处存在的这些特征图进行加权线性求和。同时，将类激活映射的尺寸上采样至与输入图像的大小保持一致，以此来识别与定位特定类别最相关的图像区域。如图4所示，本发明将类激活映射通过全局平均池化层与卷积层Conv4相连接，以获取织物图像的类别及相关图像。
S4、将待检测的织物图像输入弱监督检测网络模型中进行识别，输出织物图像的类激活图和类别，具体方法为：
S41、将待检测的织物图像输入卷积层Conv1-1和卷积层Conv1-2，得到第一分支特征图Fm；
S42、将第一分支特征图Fm输入卷积结构conv2-T，得到第二分支特征图Ft；
S43、将第一分支特征图Fm输入卷积结构conv2-B，得到第三分支特征图Fb；
S44、利用长连接结构对第一分支特征图Fm、第二分支特征图Ft和第三分支特征图Fb进行融合，得到第一特征图Fc1，
Figure BDA0002610905940000091
S44、将第一特征图Fc1输入卷积层conv2-M得到第二特征图Fc2，再将第二特征图Fc2分别输入卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4得到第三组多级特征图Fc3，1、Fc3，2、Fc3，3、Fc3，4；
S45、将第三组多级特征图Fc3，1、Fc3，2、Fc3，3、Fc3，4进行融合，得到第三特征图Fc3：
Figure BDA0002610905940000092
S46、将第三特征图Fc3输入卷积层Conv4得到第四特征图Fc4，再将第四特征图Fc4输入全局平均池化层得到特征向量X，其中，X＝{x1，x2，…，xN}，xi为第i个特征值，i＝1，2，…，N，N＝64为特征值的数量；
S47、利用弱监督检测网络模型的权重W与特征向量X进行加权求和，得到织物图像的类别C，C＝w1x1+w2x2+…+wixi+…+wNxN，其中，W＝{w1，w2，…，wN}，wi为第i个权重值；
S48、利用弱监督检测网络模型的权重W与第四特征图Fc4进行加权求和，得到织物图像的类激活图CAM，CAM＝w1F1+w2F2+…+wiFi+…+wNFN，其中，Fc4＝{F1，F2，…，Fi，…，FN}，Fi为第四特征图Fc4中的第i个特征图。
具体实例：
在实施例中，本发明从织物生产工业现场的图片库中，随机选取3000张含有疵点的图像，图像大小选为512pixel×512pixel。训练和测试期间，学习速率设为1e-5，动量参数为0.2，重量衰减设为0.0005。特征融合模块中的融合权值在训练阶段均初始化为正态分布。具体实施例详见图5-图10。
图5(a)～(d)为原始疵点图片；图6(a)～(d)为文献[1]-[Schlemper J,Oktay O,Chen L,et al.Attention-Gated Networks for Improving Ultrasound Scan PlaneDetection.[J].arXiv:Computer Vision and Pattern Recognition,2018.]的方法生成的热力图(由疵点图像与相应的类激活图之间，加权组合所生成的)；图7(a)～(d)为文献[1]所生成的类激活图。该方法能检测一般纹理织物的疵点区域，但对于疵点与背景相差较小的疵点的检测效果不理想，且定位信息严重缺失。图8(a)～(d)为文献[2]-[Dubost F,Bortsova G,Adams H H,et al.GP-Unet:Lesion Detection from Weak Labels with a3D Regression Network[C].medical image computing and computer assistedintervention,2017:214-221.]的方法生成的热力图；图9(a)～(d)为文献[2]所生成的类激活图。该方法对大多数织物疵点都有较好的检测效果，检测精度较高；但是对疵点边缘的检测效果一般。图10(a)～(d)为文献[3]-[Dubost F,Adams H H,Yilmaz P,et al.WeaklySupervised Object Detection with 2D and 3D Regression Neural Networks.[J].arXiv:Computer Vision and Pattern Recognition,2019.]]的方法生成的热力图；图11(a)～(d)为文献[3]所生成的类激活图。该方法与文献[2]相比：在检测精度方面虽有下降，但是疵点的定位效果得到了一定程度上的提升。图12(a)～(d)为本发明的消融实验(不含空洞卷积)生成的热力图；图13(a)～(d)为本发明的消融实验(不含空洞卷积)生成的类激活图。可以看出，该提出的方法与之前的方法相比：检测精度方面有一定的提高，同时能够较好地还原了疵点形状。图14(a)～(d)为本发明方法生成的热力图；图15(a)～(d)为本发明方法生成的类激活图。作为本发明所提出的方法：该方法能够更加精准的检测出织物疵点，不仅可以很好的定位出疵点位置，而且较好地还原了疵点轮廓。
如表2所示，第一种方法Attention Gated Network是由文献[1]提出的，其检测精度为85.16％。第二种方法GP-Unet(no residual)是由文献[2]提出的，检测精度为89.7％。第三种方法为GP-Unet是由文献[3]提出的；作为文献[2]的改进网络，牺牲了近1％的精度，以换取增强网络的定位能力。第四种方法为本发明的消融实验(不含空洞卷积)，检测精度为90.96％，定位效果优于前3种方法。第四种方法为本发明所提出的方法。与其他方法相比，该方法的检测精度提高了约4％，而且定位效果更加契合疵点。相比之下，本发明所提出的弱监督三分支网络的织物疵点检测方法可以更有效地利用织物图片本身的纹理信息来训练网络。
表2：5种方法的检测精度
Figure BDA0002610905940000111
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，其步骤如下：
S1、从织物图像库中选取数据集，并将数据集分为正样本数据集和负样本数据集，其中，正样本数据集中的图像为包含疵点的织物图像，负样本数据集中的图像为正常织物图像；
S2、构建弱监督网络，利用正样本数据集和负样本数据集同时对弱监督网络进行训练，得到弱监督检测网络；
S3、将全局平均池化层加入弱监督检测网络中，以便引入类激活映射，得到完整的弱监督检测网络模型；
S4、将待检测的织物图像输入完整的弱监督检测网络模型中进行识别，输出织物图像的类激活图和类别。
2.根据权利要求1所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述正样本数据集的数量最少为3000张，负样本数据集的数量最少为3000张。
3.根据权利要求1所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述步骤S2中的弱监督网络包括第一阶段、第二阶段、第三阶段、第四阶段和全局平均池化层；第一阶段与第二阶段相连接，第二阶段与第三阶段相连接，第三阶段与第四阶段相连接，第四阶段与全局平均池化层相连接。
4.根据权利要求3所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述第一阶段包括卷积层Conv1-1和卷积层Conv1-2，卷积层Conv1-1与卷积层Conv1-2相连接；所述第二阶段包括卷积结构conv2-T、卷积层conv2-M和卷积结构conv2-B；卷积结构conv2-T包括卷积层Conv2-T和第一SE模块，卷积层Conv2-T与第一SE模块相连接；卷积结构conv2-B包括池化层pool-1、卷积层Conv2-B-1、卷积层Conv2-B-2、第二SE模块和上采样层UnPooling-1，池化层pool-1与卷积层Conv2-B-1相连接，卷积层Conv2-B-1与卷积层Conv2-B-2相连接，卷积层Conv2-B-2与第二SE模块相连接，第二SE模块与上采样层UnPooling-1相连接；第三阶段为空洞卷积模块，空洞卷积模块包括卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4；第四阶段包括卷积层Conv4；所述卷积层Conv1-2分别与卷积层Conv2-T和池化层pool-1相连接，卷积层Conv1-2、卷积层Conv2-T、池化层pool-1均与卷积层conv2-M相连接，卷积层conv2-M分别与卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4相连接，卷积层Conv3-1、卷积层Conv3-2、卷积层Conv3-3和卷积层Conv3-4均与卷积层Conv4相连接，卷积层Conv4与全局平均池化层相连接。
5.根据权利要求1所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述利用正样本数据集和负样本数据集对弱监督网络进行训练，得到弱监督检测网络的方法为：
S21、设置训练次数k＝1和最大训练次数kmax；
S22、分别从正样本数据集和负样本数据集随机选取Q张图像，将Q张图像输入弱监督网络中，通过网络迭代优化器中的Adam算法来优化并更新弱监督网络的权重，得到第k次训练对应的中间弱监督网络，其中，Q>100；
S23、再分别从正样本数据集和负样本数据集随机选取Q'张图像，将Q'张图像输入中间弱监督网络中进行测试，输出检测正确率，其中，Q'>20；
S24、训练次数k＝k+1，判断检测正确率是否大于90％或者训练次数k是否达到最大训练次数，若是，保留中间弱监督网络的权重值，并将中间弱监督网络作为弱监督检测网络，否则，返回步骤S22。
6.根据权利要求4所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述将待检测的织物图像输入弱监督检测网络模型中进行识别，输出织物图像的类激活图和类别的方法为：
S41、将待检测的织物图像输入卷积层Conv1-1和卷积层Conv1-2，得到第一分支特征图Fm；
S42、将第一分支特征图Fm输入卷积结构conv2-T，得到第二分支特征图Ft；
S43、将第一分支特征图Fm输入卷积结构conv2-B，得到第三分支特征图Fb；
S44、利用长连接结构对第一分支特征图Fm、第二分支特征图Ft和第三分支特征图Fb进行融合，得到第一特征图Fc1，
Figure FDA0002610905930000021
S44、将第一特征图Fc1输入卷积层conv2-M得到第二特征图Fc2，再将第二特征图Fc2分别输入卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4得到第三组多级特征图Fc3,1、Fc3,2、Fc3,3、Fc3,4；
S45、将第三组多级特征图Fc3,1、Fc3,2、Fc3,3、Fc3,4进行融合，得到第三特征图Fc3，
Figure FDA0002610905930000022
S46、将第三特征图Fc3输入卷积层Conv4得到第四特征图Fc4，再将第四特征图Fc4输入全局平均池化层得到特征向量X，其中，X＝{x1,x2,…,xN}，xi为第i个特征值，i＝1,2,…,N，N为特征值的数量；
S47、利用弱监督检测网络模型的权重W与特征向量X进行加权求和，得到织物图像的类别，其中，W＝{w1,w2,…,wN}，wi为第i个权重值；
S48、利用弱监督检测网络模型的权重W与第四特征图Fc4进行加权求和，得到织物图像的类激活图CAM，CAM＝w1F1+w2F2+…+wiFi+…+wNFN，其中，Fc4＝{F1,F2,…,Fi,…,FN}，Fi为第四特征图Fc4中的第i个特征图。
7.根据权利要求4所述的基于弱监督学习的三分支卷积网络织物疵点检测方法，其特征在于，所述卷积层Conv1-1、Conv1-2的卷积核大小均为3×3、通道数均为32；所述卷积层Conv2-T、卷积层Conv2-B-1的卷积核大小均为3×3、通道数均为64；所述卷积层conv2-M、卷积层Conv2-B-2的卷积核大小均为3×3、通道数均为128；所述卷积层Conv3-1、Conv3-2、Conv3-3、Conv3-4的卷积核大小均为3×3、通道数均为64，且卷积层Conv3-1的膨胀率R＝1，卷积层Conv3-2的膨胀率R＝2，卷积层Conv3-3的膨胀率R＝4，卷积层Conv3-4的膨胀率R＝6；所述卷积层Conv4的卷积核大小为3×3、通道数为64。
CN202010753915.5A 2020-07-30 2020-07-30 基于弱监督学习的三分支卷积网络织物疵点检测方法 Active CN111882546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753915.5A CN111882546B (zh) 2020-07-30 2020-07-30 基于弱监督学习的三分支卷积网络织物疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753915.5A CN111882546B (zh) 2020-07-30 2020-07-30 基于弱监督学习的三分支卷积网络织物疵点检测方法

Publications (2)

Publication Number Publication Date
CN111882546A true CN111882546A (zh) 2020-11-03
CN111882546B CN111882546B (zh) 2023-08-01

Family

ID=73205821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753915.5A Active CN111882546B (zh) 2020-07-30 2020-07-30 基于弱监督学习的三分支卷积网络织物疵点检测方法

Country Status (1)

Country Link
CN (1) CN111882546B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329793A (zh) * 2020-11-05 2021-02-05 天津大学 基于结构自适应和规模自适应感受野的显著性检测方法
CN112801102A (zh) * 2021-01-11 2021-05-14 成都圭目机器人有限公司 一种用于道面块状病害检测的网络模型和检测方法
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117437465A (zh) * 2023-10-23 2024-01-23 长讯通信服务有限公司 基于不平衡数据的改进soft-NMS目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法
CN110866907A (zh) * 2019-11-12 2020-03-06 中原工学院 基于注意力机制的全卷积网络织物疵点检测方法
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法
CN110866907A (zh) * 2019-11-12 2020-03-06 中原工学院 基于注意力机制的全卷积网络织物疵点检测方法
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329793A (zh) * 2020-11-05 2021-02-05 天津大学 基于结构自适应和规模自适应感受野的显著性检测方法
CN112329793B (zh) * 2020-11-05 2022-09-27 天津大学 基于结构自适应和规模自适应感受野的显著性检测方法
CN112801102A (zh) * 2021-01-11 2021-05-14 成都圭目机器人有限公司 一种用于道面块状病害检测的网络模型和检测方法
CN112801102B (zh) * 2021-01-11 2023-06-16 成都圭目机器人有限公司 一种道面块状病害检测的方法
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法
CN114565607B (zh) * 2022-04-01 2024-06-04 汕头市鼎泰丰实业有限公司 基于神经网络的织物缺陷图像分割方法
CN117437465A (zh) * 2023-10-23 2024-01-23 长讯通信服务有限公司 基于不平衡数据的改进soft-NMS目标检测方法
CN117437465B (zh) * 2023-10-23 2024-06-07 长讯通信服务有限公司 基于不平衡数据的改进soft-NMS目标检测方法
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117291921B (zh) * 2023-11-27 2024-03-12 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质

Also Published As

Publication number Publication date
CN111882546B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111882546B (zh) 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN106250895B (zh) 一种光学遥感图像感兴趣区域检测方法
CN106991388B (zh) 关键点定位方法
Ran et al. Applications of a simple characterization of human gait in surveillance
Chen et al. Learning linear regression via single-convolutional layer for visual object tracking
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN114118303B (zh) 基于先验约束的人脸关键点检测方法及装置
Zhao et al. Detecting insulators in the image of overhead transmission lines
Zhao et al. Learning probabilistic coordinate fields for robust correspondences
CN109543700B (zh) 一种抗遮挡的服饰关键点检测方法
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN111709997B (zh) 一种基于点与平面特征的slam实现方法及系统
US20240104885A1 (en) Method and system for unsupervised deep representation learning based on image translation
CN113158870B (zh) 2d多人姿态估计网络的对抗式训练方法、系统及介质
Li et al. RaP-Net: A region-wise and point-wise weighting network to extract robust features for indoor localization
Tao et al. Learning multiresolution features for unsupervised anomaly localization on industrial textured surfaces
CN110503061B (zh) 一种融合多特征的多因素视频遮挡区域检测方法及系统
Liu et al. 3D human pose and shape estimation from video
He et al. Darkfeat: noise-robust feature detector and descriptor for extremely low-light raw images
CN112200005A (zh) 一种社区监控场景下基于穿着特征和人体特征的行人性别识别方法
Zong et al. Deep feature filtering and contextual information gathering network for RGB-d salient object detection
Chen et al. Fast and Accurate Homography Estimation Using Extendable Compression Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant