CN115457553A - 一种基于深度学习的布匹缺陷检测方法 - Google Patents

一种基于深度学习的布匹缺陷检测方法 Download PDF

Info

Publication number
CN115457553A
CN115457553A CN202211414811.7A CN202211414811A CN115457553A CN 115457553 A CN115457553 A CN 115457553A CN 202211414811 A CN202211414811 A CN 202211414811A CN 115457553 A CN115457553 A CN 115457553A
Authority
CN
China
Prior art keywords
cloth
defect detection
cloth defect
feature
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211414811.7A
Other languages
English (en)
Inventor
江结林
崔超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211414811.7A priority Critical patent/CN115457553A/zh
Publication of CN115457553A publication Critical patent/CN115457553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的布匹缺陷检测方法，包括：将布匹缺陷数据集通过数据增强的方式，提升算法的鲁棒性，利用多层特征提取算法，通过横向连接的自上而下的体系结构，将底层位置特征信息与高层分类特征信息相融合，提高了不同尺度布匹缺陷的检测效果，在此基础上添加可变形卷积算法，在卷积中的常规采样位置添加二维偏移量，使偏移之后的采样网格可以发生形变，解决了不规则形状布匹缺陷检测能力弱的问题，同时，使用RoiAlign与Cascade Rcnn卷积神经网络相融合，通过不断增强IOU阈值的方法，增强了缺陷检测算法在复杂图案背景下的适应性，减少了假阳性目标的错误检测，增强了布匹缺陷的检测精度。

Description

一种基于深度学习的布匹缺陷检测方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于深度学习的布匹缺陷检测方法。
背景技术
在纺织行业中，布匹表面是否存在缺陷是决定布匹质量好坏的一个非常关键的因素，因此，布匹缺陷检测是布匹生产过程中非常重要的环节。
近年来国际学者针对普通素布，白色纱布，单一条纹织物等特定材质的布匹缺陷检测已经提出了很多解决办法，如傅里叶变换，Gabor滤波器，使用Wigner分布进行缺陷检测，通过人工设计缺陷特征，需要针对不同缺陷类别和不同布匹材质分别设计参数，而这些方法只能检测单一织物材质或者单一缺陷种类，这些方法很难推广到其他种类的织物当中，对缺陷分类检测有比较大的局限性。
近几年，比较流行的基于卷积神经网络的缺陷检测算法主要分为两种，一种是YOLO等为代表的一阶段算法模型，另一种是以Faster RCNN为代表的基于候选区域的两阶段算法。YOLO检测模型经过了几代发展，通过很多方式改进了模型的性能，但是面对布匹缺陷中小目标问题时检测效果较差，Faster RCNN算法在面对复杂形状和多尺度布匹缺陷时检测效果仍然不佳。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种基于深度学习的布匹缺陷检测方法。
为了实现上述技术目的，本发明的技术方案为：
一种基于深度学习的布匹缺陷检测方法，包括以下步骤：
S1、创建含有布匹缺陷的布匹图像集；
S2、对步骤S1中的布匹图像集按照缺陷类型进行标注；布匹图像标注之后形成数据集进行后续布匹缺陷检测模型的训练；
S3、构建布匹缺陷检测模型；
S4、对S2中的数据集通过随机旋转和随机缩放方式进行数据增强；
S5、利用步骤S4得到的增强后的布匹图像训练步骤S3得到的布匹缺陷检测模型；
S6、通过验证集优化步骤S5得到的布匹缺陷检测模型；
S7、利用步骤S6得到的布匹缺陷检测模型对目标布匹进行缺陷检测。
优选地，步骤S3中布匹缺陷检测模型使用ResNet-101 作为 backbone，并且使用在 ImageNet 的预训练参数进行初始化。
优选地，步骤S4具体指：对布匹图像进行数据增强，经过随机反转、随机旋转、缩放、平移、抖动和添加高斯噪声的方式进行数据增强。
优选地，步骤S5中训练过程中使用随机梯度下降算法进行优化，每张图片的学习率设置为 0.00125，级联检测的检测器阈值设置成逐级提高的值，具体为0.5、0.6和0.7，优化参数动量因子和权重衰减因子分别为 0.9 和0.0001，在训练过程中，对学习率进行热启动。
优选地，步骤S5中引入多层特征提取算法在布匹缺陷检测模型的训练中；
多层特征提取算法第一个部分为前向传播的卷积神经网络主干部分，计算出一个缩放步长为2的特征层次结构，随后经过卷积和池化，将特征图大小逐步缩放，此时的特征图根据分辨率由大到小分层排开，将相邻的几层输出相同尺度的特征图放在一个stage上，每一个stage中最后一层特征层输出作为布匹缺陷特征提取的一部分，此时可将这每个bolck的输出按顺序标记为{C1,C2,C3,C4,C5}；
多层特征提取算法第二个部分为语义融合结构，将特征图通过最邻近上采样方式得到更高分辨率及语义更强的特征图，通过侧向连接取左侧的顶层输出C5，尺寸为16x16；经由1x1的卷积调整通道数后，所得的结果即为语义融合结构的顶层，标记为P5，尺寸为7x7；
多层特征提取算法第三个部分通过侧向连接选取左侧的输出C4，尺寸为32x32，然后将M5通过最近邻值插值法进行2倍上采样，将C4与上采样的结果进行加和，所得结果标记为P4，尺寸为32x32；以此类推，运算求得P3和P2，将上述步骤所获得的结果按顺序标记为{P2,P3,P4,P5}。
优选地，在多层特征提取算法上采样过程中进行一次3x3的卷积，并生成最终的特征图，利用自顶向下路径和横向连接将低分辨率、语义强的布匹缺陷特征信息与高分辨率、语义弱的布匹缺陷位置信息结合，使得在所有的特征层次上都具有位置与特征语义。
优选地，步骤S5中引入可变形卷积算法对布匹缺陷检测模型尺度和感受野大小进行自适应，在正常的布匹缺陷采样坐标上加上一个位移量使感受野与物体的实际形状更加贴近，在两阶段的布匹缺陷检测算法Faster Rcnn中，对于每个输出
Figure 100002_DEST_PATH_IMAGE002
，从x上采样与卷积核大小一致的z个位置R，公式表达如下：
R = {(-1， -1)，(-1， 0)， …，(0， 1)，(1， 1)} (1)
在基于可变形卷积的布匹缺陷检测算法中 R是经过偏移之后的，则位置
Figure 100002_DEST_PATH_IMAGE004
的表达式为：
Figure 100002_DEST_PATH_IMAGE006
(2)
式中，w为采样值的加权，x为输入特征映射，
Figure 100002_DEST_PATH_IMAGE008
为公式（1）R的枚举
将布匹缺陷特征采样在不规则且有偏移的位置
Figure 100002_DEST_PATH_IMAGE010
中进行；
式中，δ为随机偏移量，范围为0-1；
利用双线性插值的方式计算特征值，公式表达为
Figure 100002_DEST_PATH_IMAGE012
Figure 100002_DEST_PATH_IMAGE014
Figure 100002_DEST_PATH_IMAGE016
（3）
式中，
Figure 100002_DEST_PATH_IMAGE018
表示任意位置，q为进行变形卷积之前感受野对应的坐标，G表示双线性插值的二维核函数，
Figure 100002_DEST_PATH_IMAGE020
为H的横坐标，
Figure 100002_DEST_PATH_IMAGE022
为H的纵坐标。
优选地，步骤S5中使用一种改进的Cascade Rcnn卷积神经网络，通过每次增加0.1的IOU阈值，增强缺陷检测算法在复杂图案背景下的适应性，减少模型过拟合情况的发生，改进的Cascade Rcnn卷积神经网络的损失函数公式为：
Figure 100002_DEST_PATH_IMAGE024
（4）
式中，
Figure DEST_PATH_IMAGE025
、
Figure 100002_DEST_PATH_IMAGE026
分别为每一个t阶段的分类器和回归器，
Figure 100002_DEST_PATH_IMAGE028
是交叉熵损失，，
Figure 100002_DEST_PATH_IMAGE030
，
Figure 100002_DEST_PATH_IMAGE032
是Cascade Rcnn卷积神经网络L2阶段的损失函数，
Figure DEST_PATH_IMAGE033
为数据
Figure DEST_PATH_IMAGE035
的基础真值，β = 1为权衡系数，[ ]为指示函数，
Figure 100002_DEST_PATH_IMAGE036
是数据
Figure 100002_DEST_PATH_IMAGE038
在给定阈值的t阶段的标签。
优选地，步骤S5中，将改进的Cascade Rcnn网络与ROI Align相同融合，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，遍历每一个候选区域，将候选区域分割成M×M个单元,使浮点数边界和每个单元坐标都不进行量化，每个单元中固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作，公式表达为：
Figure 100002_DEST_PATH_IMAGE040
(5)
式中，
Figure DEST_PATH_IMAGE041
为特征图在池化操作之前上的像素点，
Figure DEST_PATH_IMAGE043
为
Figure DEST_PATH_IMAGE045
像素值的来源，
Figure 97927DEST_PATH_IMAGE045
为池化操作后第r个区域上的第j个像素点，其中d表示两点间的距离，
Figure DEST_PATH_IMAGE047
和
Figure DEST_PATH_IMAGE049
分别为为
Figure DEST_PATH_IMAGE041A
和
Figure DEST_PATH_IMAGE051
的横纵坐标间的差值。
采用上述技术方案带来的有益效果：
本发明公开了一种基于深度学习的通用布匹缺陷检测方法，通过图像增强的方式，提升缺陷检测的鲁棒性，使用RoiAlign与Cascade Rcnn相融合，通过不断增加IOU阈值的方法，增强了缺陷检测算法在复杂图案背景下的适应性，减少了检测结果中的假阳性目标，增强了布匹缺陷的检测精度，该方法适合大部分的织物材料，对不同材质的布匹和不同种类的缺陷具有通用性。
本发明使用多层特征提取算法，结合上层与下层缺陷特征语义，提升多尺度布匹缺陷的检测精度，同时利用底层布匹缺陷特征的视觉信息提升布匹缺陷检测中的小尺寸缺陷的检测能力。
本发明使用可变形卷积算法，布匹缺陷在卷积过程中提高采样能力，增强了应对复杂形状缺陷的泛化能力，能更准确地提取到布匹缺陷特征，提高了复杂形状和极端长宽比布匹缺陷的提取能力和检测精度。
附图说明
图1是基于深度学习的布匹缺陷检测算法流程图；
图2是基于深度学习的布匹缺陷检测算法网络框架图；
图3为布匹甲的布匹缺陷原始数据图；
图4为布匹乙的布匹缺陷原始数据图；
图5为布匹丙的布匹缺陷原始数据图；
图6为布匹甲的Faster- RCNN检测效果图；
图7为布匹乙的Faster- RCNN检测效果图；
图8为布匹丙的Faster- RCNN检测效果图；
图9为布匹甲的Cascade- RCNN检测效果图；
图10为布匹乙的Cascade- RCNN检测效果图；
图11为布匹丙的Cascade- RCNN检测效果图；
图12为布匹甲的本方法检测效果图；
图13为布匹乙的本方法检测效果图；
图14为布匹丙的本方法检测效果图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本文所提出的FMADC模型使用 ResNet-101 作为 backbone，并且使用在ImageNet 的预训练参数进行初始化，布匹图像数据经输入到布匹缺陷检测网络中。
本文所提出基于深度学习的布匹缺陷检测方法，具体流程如图1所示，首先对工厂中的布匹缺陷图像进行收集，其次，对布匹图像集按照缺陷类型进行标注；布匹图像标注之后形成数据集进行后续布匹缺陷检测模型的训练。然后构建本文所提的FMADC布匹缺陷检测网络框架，FMADC布匹缺陷网络框架首先对收集到的数据集通过随机反转、随机缩放等方式进行数据增强，其次本文提出FMADC布匹缺陷检测网络模型利用多层特征提取技术、可变形卷积技术、Cascade RCNN与ROI Align融合技术对增强后的布匹图像进行训练，训练之后的FMADC网络模型可以对工厂生产的布匹进行缺陷检测，通过对比实验可以得出，本文所提的基于深度学习的布匹缺陷检测方法的将测精度远高于Faster RCNN等同类布匹缺陷检测方法。
如图2所示，为本方法的网络框架图，首先经过随机反转。随机旋转、缩放、平移、抖动、添加高斯噪声等方式进行数据增强，提升模型鲁棒性，降低模型对图像的敏感度。在训练过程中使用的优化算法是随机梯度下降算法，每张图片的学习率设置为 0.00125，级联检测的检测器阈值设置成逐级提高的值，IOU的阈值设置为0.5、0.6、0.7，优化参数动量因子和权重衰减因子分别为 0.9 和0.0001。同时在训练过程中，我们对学习率进行热启动，热启动有助于减缓模型在初始阶段的提前过拟合现象，保持分布平稳。为加快模型收敛速度，使用预训练模型对本文所提FMADC的网络模型进行加速训练。
采用一种多层特征提取算法来解决传统布匹缺陷检测算法对小尺寸缺陷检测能力不足的问题。所述多层特征提取算法第一个部分为前向传播的卷积神经网络主干部分，它计算出一个特征层次结构，缩放步长为2，随后经过卷积和池化，将特征图大小逐步缩放，此时的特征图根据分辨率由大到小一次排开，形成一个金字塔的结构。这之中可能会有相邻的几层输出相同尺度的特征图，于是我们将这几个特征图放在一个stage上，每一个stage中最后一层特征最为明显，我们将这一特征层输出作为布匹缺陷特征提取的一部分，此时可将这每个bolck的输出按顺序标记为{C1,C2,C3,C4,C5}
所述多层特征提取算法第二个部分为语义融合结构，将特征图通过最邻近上采样方式得到更高分辨率及语义更强的特征图，通过侧向连接取左侧的顶层输出C5（size=16x16）。经由1x1的卷积调整通道数后，所得的结果即为语义融合结构的顶层，可标记为P5（size=7x7）。
所述多层特征提取算法第三个部分通过侧向连接选取左侧的输出C4（size=32x32），然后将M5通过最近邻值插值法进行2倍上采样，将C4与上采样的结果进行加和，所得结果可标记为P4（size=32x32）, 以此类推，运算求得P3、P2、P1，因为P1仅由原图经一次卷积所得，几乎不具备任何语义信息，因此P1不需计算。上述步骤所获得的结果可按顺序标记为{P2,P3,P4,P5}。
所述多层特征提取算法由于上采样过程中产生的混叠效应会对后续预测造成影响，所以我们对所有经由上采样得到的特征图进行一次3x3的卷积，来消除混叠效应造成的影响，并生成最终的特征图. 我们利用自顶向下路径和横向连接将低分辨率、语义强的布匹缺陷特征信息与高分辨率、语义弱的布匹缺陷位置信息结合在一起，使得特征金字塔在所有层次上都具有丰富的语义，从而提高多尺度布匹缺陷的检测精度，尤其对小尺寸缺陷能获得更优的检测效果。
本方法采用可变形卷积算法对尺度和感受野大小进行自适应，来提高对复杂缺陷的建模能力。本文使用的可变形卷积方法在正常的布匹缺陷采样坐标上加上一个位移量使感受野与物体的实际形状更加贴近，布匹缺陷检测算法中，以 3x3卷积为例对于每个输出
Figure 185707DEST_PATH_IMAGE002
，都要从 x上采样 9个位置为R：
其中R的公式为：R = {(-1， -1)，(-1， 0)， ...，(0， 1)，(1， 1)}；
在基于可变形卷积的布匹缺陷检测算法中 R是经过偏移之后的，则位置
Figure DEST_PATH_IMAGE053
的表达式为:
Figure DEST_PATH_IMAGE055
可变形卷积是在传统的卷积操作上加入了一个偏移量. 通过这个偏移量，使得固定尺度的卷积转为不规则卷积，布匹缺陷特征采样是在不规则且有偏移的位置
Figure DEST_PATH_IMAGE057
中进行。
由于偏移量
Figure DEST_PATH_IMAGE059
通常是小数，非整数坐标无法在图像这种离散数据中使用，因此公式中的特征值需通过双线性插值完成，因此
Figure DEST_PATH_IMAGE061
公式为：
Figure DEST_PATH_IMAGE063
Figure DEST_PATH_IMAGE065
Figure DEST_PATH_IMAGE067
其中
Figure DEST_PATH_IMAGE069
表示任意位置，q为进行变形卷积之前感受野对应的坐标，G表示双线性插值的二维核函数。
本方法使用一种改进的Cascade Rcnn卷积神经网络作为布匹缺检测网络架构，本文使用三个检测器，通过逐渐增加的IOU阈值进行训练，不同阶段对应不同的IOU阈值,这种方式有助于消除离群点和假阳性目标，适应新的proposal分布，前一个检测器的输出是后一个更高质量检测器的输入. 通过这种方式，各个检测分支可以逐步输出高质量的缺陷目标，改进的Cascade Rcnn回归函数公式为：
Figure DEST_PATH_IMAGE071
其中T为级联阶段数，
Figure DEST_PATH_IMAGE073
为对应阶段的数据分布，每个分支
Figure DEST_PATH_IMAGE075
通过各个分支上的训练数据bt优化，
Figure DEST_PATH_IMAGE077
来源于
Figure DEST_PATH_IMAGE079
经过所有分支运算后输出后的结果。
本方法使用一种改进的Cascade Rcnn卷积神经网络的损失函数公式为：
Figure DEST_PATH_IMAGE081
其中，
Figure DEST_PATH_IMAGE083
，
Figure DEST_PATH_IMAGE085
为数据
Figure DEST_PATH_IMAGE087
的基础真值，β = 1为权衡系数，[ ]为指示函数，
Figure DEST_PATH_IMAGE089
是数据
Figure DEST_PATH_IMAGE091
在给定阈值的t阶段的标签。
本方法使用ROI Align替换ROI Pooling，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，取消量化过程，遍历每一个候选区域，将候选区域分割成M×M个单元,使浮点数边界和每个单元坐标都不进行量化，每个单元中固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
ROI Pooling的反向传播公式为：
Figure DEST_PATH_IMAGE093
ROIAlign的反向传播公式为：
Figure DEST_PATH_IMAGE095
其中d()表示两点间的距离，
Figure DEST_PATH_IMAGE097
和
Figure DEST_PATH_IMAGE099
分别为
Figure DEST_PATH_IMAGE101
和
Figure DEST_PATH_IMAGE103
的横纵坐标间的差值。这种方式能解决ROI Pooling两次量化过程造成的区域不匹配(mis-alignment)问题，增强了小尺寸布匹缺陷的检测精度。
在训练过程中，采用mAP和ACC作为评价指标，通常来说，ACC和Map的值越高，则表示布匹缺陷检测模型检测能力越强,
mAP是指所有分类的平均精度,mAP的数学表达式为：
Figure DEST_PATH_IMAGE105
ACC (Accuracy) ：分类正确的样本数除以所有的样本数，通常来说，ACC的值越高，则表示布匹缺陷检测模型能够检测出布匹缺陷的能力越强。
Figure DEST_PATH_IMAGE107
其中FP为假阳性样本数，FN为假阴性样本数, TP为真阳性样本数，TN为真阴性样本数。
如表1所示通过三种算法在两种公开数据集上的测试集评价指标进行对比，本方法可以在增加少量推理时间的基础上，大幅提高Map和ACC。为了更直观地对比本文所提方法的优越性，如图3所示，展示了三种算法在两种数据集上的布匹缺陷检测可视化对比图，通过表1和图3~图14可以得出，本方法在布匹检测的平均精度和正确识别布匹图像是否含有布匹缺陷的能力上更加具有优越性。
表1 三种算法测试结果对比表
Figure DEST_PATH_IMAGE109
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于深度学习的布匹缺陷检测方法，其特征在于，包括以下步骤：
S1、创建含有布匹缺陷的布匹图像集；
S2、对步骤S1中的布匹图像集按照缺陷类型进行标注；布匹图像标注之后形成数据集进行后续布匹缺陷检测模型的训练；
S3、构建布匹缺陷检测模型；
S4、对S2中的数据集通过随机旋转和随机缩放方式进行数据增强；
S5、利用步骤S4得到的增强后的布匹图像训练步骤S3得到的布匹缺陷检测模型；
S6、通过验证集优化步骤S5得到的布匹缺陷检测模型；
S7、利用步骤S6得到的布匹缺陷检测模型对目标布匹进行缺陷检测。
2.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S3中布匹缺陷检测模型使用ResNet-101 作为 backbone，并且使用在 ImageNet 的预训练参数进行初始化。
3.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S4具体指：对布匹图像进行数据增强，经过随机反转、随机旋转、缩放、平移、抖动和添加高斯噪声的方式进行数据增强。
4.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S5中训练过程中使用随机梯度下降算法进行优化，每张图片的学习率设置为 0.00125，级联检测的检测器阈值设置成逐级提高的值，具体为0.5、0.6和0.7，优化参数动量因子和权重衰减因子分别为 0.9 和0.0001，在训练过程中，对学习率进行热启动。
5.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S5中引入多层特征提取算法在布匹缺陷检测模型的训练中；
多层特征提取算法第一个部分为前向传播的卷积神经网络主干部分，计算出一个缩放步长为2的特征层次结构，随后经过卷积和池化，将特征图大小逐步缩放，此时的特征图根据分辨率由大到小分层排开，将相邻的几层输出相同尺度的特征图放在一个stage上，每一个stage中最后一层特征层输出作为布匹缺陷特征提取的一部分，此时可将这每个bolck的输出按顺序标记为{C1,C2,C3,C4,C5}；
多层特征提取算法第二个部分为语义融合结构，将特征图通过最邻近上采样方式得到更高分辨率及语义更强的特征图，通过侧向连接取左侧的顶层输出C5，尺寸为16x16；经由1x1的卷积调整通道数后，所得的结果即为语义融合结构的顶层，标记为P5，尺寸为7x7；
多层特征提取算法第三个部分通过侧向连接选取左侧的输出C4，尺寸为32x32，然后将M5通过最近邻值插值法进行2倍上采样，将C4与上采样的结果进行加和，所得结果标记为P4，尺寸为32x32；以此类推，运算求得P3和P2，将上述步骤所获得的结果按顺序标记为{P2,P3,P4,P5}。
6.根据权利要求5所述一种基于深度学习的布匹缺陷检测方法，其特征在于，在多层特征提取算法上采样过程中进行一次3x3的卷积，并生成最终的特征图，利用自顶向下路径和横向连接将低分辨率、语义强的布匹缺陷特征信息与高分辨率、语义弱的布匹缺陷位置信息结合，使得在所有的特征层次上都具有位置与特征语义。
7.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S5中引入可变形卷积算法对布匹缺陷检测模型尺度和感受野大小进行自适应，在正常的布匹缺陷采样坐标上加上一个位移量使感受野与物体的实际形状更加贴近，在两阶段的布匹缺陷检测算法Faster Rcnn中，对于每个输出
Figure DEST_PATH_IMAGE002
，从x上采样与卷积核大小一致的z个位置R，公式表达如下：
R = {(-1， -1)，(-1， 0)， …，(0， 1)，(1， 1)} (1)
在基于可变形卷积的布匹缺陷检测算法中 R是经过偏移之后的，则位置
Figure DEST_PATH_IMAGE004
的表达式为：
Figure DEST_PATH_IMAGE006
(2)
式中，w为采样值的加权，x为输入特征映射，
Figure DEST_PATH_IMAGE008
为公式（1）R的枚举
将布匹缺陷特征采样在不规则且有偏移的位置
Figure DEST_PATH_IMAGE010
中进行；
式中，δ为随机偏移量，范围为0-1；
利用双线性插值的方式计算特征值，公式表达为：
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE016
（3）
式中，
Figure DEST_PATH_IMAGE018
表示任意位置，q为进行变形卷积之前感受野对应的坐标，G表示双线性插值的二维核函数，
Figure DEST_PATH_IMAGE020
为H的横坐标，
Figure DEST_PATH_IMAGE022
为H的纵坐标。
8.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S5中使用一种改进的Cascade Rcnn卷积神经网络，通过每次增加0.1的IOU阈值，增强缺陷检测算法在复杂图案背景下的适应性，减少模型过拟合情况的发生，改进的Cascade Rcnn卷积神经网络的损失函数公式为：
Figure DEST_PATH_IMAGE024
（4）
式中，
Figure DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE028
分别为每一个t阶段的分类器和回归器，
Figure DEST_PATH_IMAGE030
是交叉熵损失，，
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE034
是Cascade Rcnn卷积神经网络L2阶段的损失函数，
Figure DEST_PATH_IMAGE036
为数据
Figure DEST_PATH_IMAGE038
的基础真值，β = 1为权衡系数，[ ]为指示函数，
Figure DEST_PATH_IMAGE040
是数据
Figure DEST_PATH_IMAGE042
在给定阈值的t阶段的标签。
9.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法，其特征在于，步骤S5中，将改进的Cascade Rcnn网络与ROI Align相同融合，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，遍历每一个候选区域，将候选区域分割成M×M个单元,使浮点数边界和每个单元坐标都不进行量化，每个单元中固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作，公式表达为：
Figure DEST_PATH_IMAGE044
(5)
式中，
Figure DEST_PATH_IMAGE046
为特征图在池化操作之前上的像素点，
Figure DEST_PATH_IMAGE048
为
Figure DEST_PATH_IMAGE050
像素值的来源，
Figure 139477DEST_PATH_IMAGE050
为池化操作后第r个区域上的第j个像素点，其中d表示两点间的距离，
Figure DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE054
分别为为
Figure 259880DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE056
的横纵坐标间的差值。
CN202211414811.7A 2022-11-11 2022-11-11 一种基于深度学习的布匹缺陷检测方法 Pending CN115457553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211414811.7A CN115457553A (zh) 2022-11-11 2022-11-11 一种基于深度学习的布匹缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211414811.7A CN115457553A (zh) 2022-11-11 2022-11-11 一种基于深度学习的布匹缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115457553A true CN115457553A (zh) 2022-12-09

Family

ID=84295678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211414811.7A Pending CN115457553A (zh) 2022-11-11 2022-11-11 一种基于深度学习的布匹缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115457553A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN111768365A (zh) * 2020-05-20 2020-10-13 太原科技大学 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114419413A (zh) * 2022-01-12 2022-04-29 国网河南省电力公司电力科学研究院 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN111768365A (zh) * 2020-05-20 2020-10-13 太原科技大学 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114419413A (zh) * 2022-01-12 2022-04-29 国网河南省电力公司电力科学研究院 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN114782311B (zh) 一种基于CenterNet改进的多尺度缺陷目标检测方法及系统
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN117854072B (zh) 一种工业视觉缺陷自动标注方法
Fan et al. A novel sonar target detection and classification algorithm
CN114612937B (zh) 基于单模态增强的红外与可见光融合行人检测方法
CN110610210B (zh) 一种多目标检测方法
Guo et al. BSCN: bidirectional symmetric cascade network for retinal vessel segmentation
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN116468663A (zh) 一种基于改进YOLOv5的表面微小缺陷检测的方法
CN117611963A (zh) 基于多尺度扩展残差网络的小目标检测方法及系统
Salian et al. Melanoma skin lesion classification using improved efficientnetb3
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
Wang et al. MeDERT: A metal surface defect detection model
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN115457553A (zh) 一种基于深度学习的布匹缺陷检测方法
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN117274355A (zh) 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法
CN116452599A (zh) 基于轮廓的图像实例分割方法及系统
CN115205616A (zh) 一种基于生成对抗网络的布匹瑕疵数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221209