CN111815620B - 一种基于卷积特征和低秩表示的织物疵点检测方法 - Google Patents

一种基于卷积特征和低秩表示的织物疵点检测方法 Download PDF

Info

Publication number
CN111815620B
CN111815620B CN202010722573.0A CN202010722573A CN111815620B CN 111815620 B CN111815620 B CN 111815620B CN 202010722573 A CN202010722573 A CN 202010722573A CN 111815620 B CN111815620 B CN 111815620B
Authority
CN
China
Prior art keywords
matrix
low
rank
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010722573.0A
Other languages
English (en)
Other versions
CN111815620A (zh
Inventor
李春雷
刘洲峰
江伴
董燕
夏敏捷
杨瑞敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan University of Technology
Original Assignee
Zhongyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan University of Technology filed Critical Zhongyuan University of Technology
Priority to CN202010722573.0A priority Critical patent/CN111815620B/zh
Publication of CN111815620A publication Critical patent/CN111815620A/zh
Application granted granted Critical
Publication of CN111815620B publication Critical patent/CN111815620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于卷积特征和低秩表示的织物疵点检测方法，其步骤为：首先，采用构建的浅层卷积神经网络对织物图像进行特征提取，得到织物图像的不同卷积层生成的深度特征图；其次，构造低秩表示模型，并采用交替方向乘子法交替迭代寻找每一层卷积层的深度特征矩阵对应的最优稀疏矩阵；再根据最优稀疏矩阵生成每一层卷积层对应的显著图，利用双低秩表示模型融合不同卷积层显著图生成最终显著图；最后，通过迭代最优阈值分割算法对最终显著图进行分割并定位出疵点位置。本发明采用浅层深度卷积神经网络和低秩表示模型相结合，提升对织物图像的表征能力，在模型求解阶段采用凸替代提高求解精度，使得检测结果具有更高的自适应性和检测精度。

Description

一种基于卷积特征和低秩表示的织物疵点检测方法
技术领域
本发明涉及纺织品图像处理技术领域，特别是指一种基于卷积特征和低秩表示的织物疵点检测方法。
背景技术
纺织行业中的织物疵点检测是提高产品质量的重要途径之一，织物缺陷检测的任务是确定织物上是否存在任何缺陷。长期以来，纺织行业大都采用人工检测的方式来进行疵点检测，其检测速度与精度受到工人的主观因素的影响。基于机器视觉的织物疵点检测方法具有检测速度快、检测精度高、稳定性好等特点已成为研究热点。
一般来说，基于机器视觉的织物缺陷检测技术大致可分为四类：基于统计的方法、基于光谱分析的方法、基于模型的方法和基于字典学习的方法。这些方法虽然取得了一定程度的效果，但仍然不能满足工业现场的需求。特别是在面对一些疵点与背景差异性较小的情况下，不能有效的检测出疵点的位置。
低秩表示模型已被证明能有效地从受噪声污染的观测矩阵中恢复低秩和噪声矩阵，并已应用于许多计算机视觉领域，包括物体检测和图像分类等。织物图像的背景通常在宏观上是一致的，并且具有很高的冗余度，可以认为它位于一个低维的子空间中。偏离此子空间的疵点区域破坏了这种一致性可视为稀疏部分。因此，低秩表示模型适用于织物疵点的检测。文献[Li C,Gao G,Liu Z,et al.Fabric defect detection based onbiological vision modeling[J].IEEE Access,2018:1-1.]提出了一种基于生物视觉模型的低秩表示算法；文献[Li P,Liang J,Shen X,et al.Textile fabric defectdetection based on low-rank representation[J].Multimedia Tools andApplications,2017,78(3):1-26.]采用特征值分解代替奇异值分解，提出了一种基于低秩表示的织物疵点检测算法；这些方法虽然取得了很好的效果，但在求解阶段采用凸替代，导致求解精度较差。
此外，有效的特征描述子可以扩大低秩部分和稀疏部分之间的差距，提高低秩模型的性能。因此，为基于低秩表示的模型设计一个有效的特征描述子至关重要。卷积神经网络CNN在图像分割、目标检测等领域表现出了强大的特征提取能力，受到了广泛关注。相关学者已经开始尝试将其应用到织物疵点检测领域。文献[Wang J,Li C,Liu Z,etal.Combing Deep and Handcrafted Features for NTV-NRPCA Based Fabric DefectDetection[C]//Chinese Conference on Pattern Recognition and Computer Vision,(PRCV).Springer,Cham,2019.]提出了一种结合深度特征与手工特征的织物疵点检测算法。由于基于卷积神经网络的检测任务在训练阶段需要大量标注过的图像样本，而目前尚无公开的具有充足图像数据量的数据库。此外，现有的深度卷积神经网络一般向更深层更大规模的方向发展，而织物图像相对于人脸等检测目标较为简单，较深的卷积网络反而会影响其表征能力。
目前基于低秩表示模型的织物疵点检测算法虽然取得了一定的检测效果，但是依然存在一些缺陷：1)织物图像疵点种类较多，传统的手工特征提取方法往往仅关注图像某一方面的特征，不能全面的表征整体特征。2)求解过程中采用凸替代，影响检测精度。
发明内容
针对现有织物疵点检测技术存在的特征提取片面和检测精度低的技术问题，本发明提出了一种基于卷积特征和低秩表示的织物疵点检测方法，利用卷积网络SNET提取织物图像的多层次特征，提升织物图像的表征能力；在低秩表示模型中引入一个非凸正则项来代替原来的秩函数，以提高疵点的检测精度。
本发明的技术方案是这样实现的：
一种基于卷积特征和低秩表示的织物疵点检测方法，其步骤如下：
S1、将待测织物图像输入构建的浅层卷积神经网络中，利用浅层卷积神经网络SNET中的各个卷积层分别提取织物图像对应的多层次深度特征，并根据每一层次深度特征建立织物图像对应的深度特征图；
S2、对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；
S3、在低秩表示模型中引入非凸l-p范数构建低秩表示模型，并利用交替方向乘子法分别对包含特征矩阵的低秩表示模型进行交替迭代获得每一层次的最优稀疏矩阵；
S4、根据步骤S3中得到的每一层次的最优稀疏矩阵生成每一层次的显著图，再采用双低秩表示模型对所有层次的显著图进行融合，获得待测织物图像的最终显著图；
S5、采用迭代最优阈值分割算法对最终显著图进行分割，定位出待测织物图像的疵点区域。
所述步骤S1中的浅层卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第一全连接层、第二全连接层和分类网络；第一卷积层与第二卷积层相连接，第二卷积层与第三卷积层相连接，第三卷积层与第一全连接层相连接，第一全连接层与第二全连接层相连接，第二全连接层与分类网络相连接；所述第一卷积层、第二卷积层和第三卷积层均包括卷积层、非线性激活层和池化层；所述浅层卷积神经网络包含3个卷积层，待测织物图像通过浅层卷积神经网络生成对应的3组深度特征图，每组深度特征图包含H维特征图，特征图的大小为M×M；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xiH,l]，其中，l＝1,2,3为卷积层的数量，h＝1,2,…,H为特征图的数量，i＝1,2,…,M,M+1,…,M×M为像素的序号。
所述步骤S2中的均匀重叠分块的方法为：将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块{RjH,l}j＝1,2,…,N，图像块重叠的步长为n，其中，H为每组深度特征图包含的特征图的数目，N为图像块的数目，且
Figure BDA0002600542710000031
m<M为图像块的大小。
所述第l组深度特征图对应的特征矩阵的计算方法为：
Figure BDA0002600542710000032
其中，
Figure BDA0002600542710000033
为图像块RjH,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。
所述步骤S3中在低秩表示模型中引入非凸l-p范数构建低秩表示模型的方法为：
Figure BDA0002600542710000034
其中，Fl为第l组深度特征图的特征矩阵，Ll为特征矩阵Fl分解后的低秩矩阵，El为特征矩阵Fl分解后的稀疏矩阵，
Figure BDA0002600542710000035
为低秩矩阵Ll的非凸l-p范数，
Figure BDA0002600542710000036
为低秩矩阵Ll的第i1个奇异值，
Figure BDA0002600542710000037
为非负权重，i1＝1,2,…,min(m1,n1)，m1为低秩矩阵Ll的行数，n1为低秩矩阵Ll的列数，
Figure BDA0002600542710000038
为矩阵的l-2,1范数，i2＝1,2,…,n2，n2为稀疏矩阵El的列数，λ>0是一个平衡系数；
引入辅助变量Jl＝Ll，将低秩表示模型(1)转化为公式(2)：
Figure BDA0002600542710000039
利用增广朗格朗日函数L对公式(2)进行转化：
Figure BDA00026005427100000310
其中，Y1和Y2均为拉格朗日乘子，<·>为内积运算，||·||F是Frobenius范数，μ>0为惩罚项。
通过最小化增广朗格朗日函数L获得每一层次的最优稀疏矩阵的方法为：
S31、初始化：低秩矩阵
Figure BDA0002600542710000041
稀疏矩阵
Figure BDA0002600542710000042
辅助变量
Figure BDA0002600542710000043
拉格朗日乘子Y1 0＝0，拉格朗日乘子
Figure BDA0002600542710000044
平衡系数λ＝0.05，惩罚项μ0＝1e-4，惩罚项的最大值μmax＝105，迭代次数k＝0，误差阈值tol＝1e-8；
S32、更新辅助变量矩阵Jl：保持其他变量不变，则第k+1次迭代中辅助变量矩阵
Figure BDA0002600542710000045
为：
Figure BDA0002600542710000046
其中，
Figure BDA0002600542710000047
为第k次迭代的辅助变量矩阵，
Figure BDA0002600542710000048
为第k次迭代的稀疏矩阵，Y1 k为第k次迭代的拉格朗日乘子，
Figure BDA0002600542710000049
为第k次迭代的拉格朗日乘子，μk为第k次迭代的惩罚项；
S33、更新低秩矩阵Ll：保持其他变量不变，则第k+1次迭代中矩阵
Figure BDA00026005427100000410
为：
Figure BDA00026005427100000411
S34、更新矩阵El：保持其他变量不变，则第k+1次迭代中矩阵
Figure BDA00026005427100000412
为：
Figure BDA00026005427100000413
S35、更新拉格朗日乘子项Y1、Y2和惩罚项μ：
Figure BDA00026005427100000414
Figure BDA00026005427100000415
μk+1＝min(μmax,ρμk) (9)，
其中，ρ为常系数；
S36、迭代次数k＝k+1，循环步骤S32—S35，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵
Figure BDA00026005427100000416
为第l组深度特征图的最优稀疏矩阵
Figure BDA00026005427100000417
所述步骤S36中的收敛条件为：
Figure BDA0002600542710000051
所述采用双低秩表示模型对所有层次的显著图进行融合，获得待测织物图像的最终显著图的方法为：
S41、对于第l组深度特征图的最优稀疏矩阵
Figure BDA0002600542710000052
图像块RjH,1的显著度为
Figure BDA0002600542710000053
根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图el；
S42、将3个深度特征图对应的显著图合并为一个矩阵：
Figure BDA0002600542710000054
S43、将矩阵
Figure BDA0002600542710000055
转化为双低秩矩阵表示模型：
Figure BDA0002600542710000056
其中，b为低秩矩阵，s为低秩矩阵，λ'为平衡系数，||·||*为核范数；
S44、根据双低秩矩阵表示模型构造矩阵
Figure BDA0002600542710000057
对应的增广拉格朗日函数：
Figure BDA0002600542710000058
其中，Y为拉格朗日乘子，μ1为惩罚项；
S45、采用交替方向乘子法对矩阵
Figure BDA0002600542710000059
对应的增广拉格朗日函数进行交替求解获得最优低秩矩阵s；
S46、将最优低秩矩阵s中的每一行进行求和后转换为列向量：
Figure BDA00026005427100000510
然后将列向量s1恢复至矩阵el尺寸大小即得到最终显著图。
所述采用交替方向乘子法对矩阵
Figure BDA00026005427100000511
对应的增广拉格朗日函数进行交替求解获得最优低秩矩阵s的方法为：
S45.1、初始化：低秩矩阵b0＝0，低秩矩阵s0＝0，拉格朗日乘子Y0＝0，平衡系数λ'＝1，惩罚项
Figure BDA00026005427100000514
惩罚项最大值
Figure BDA00026005427100000515
迭代次数k'＝0，误差阈值tol1＝1e-6；
S45.2、更新低秩矩阵b：
Figure BDA00026005427100000512
S45.3、更新稀疏矩阵s：
Figure BDA00026005427100000513
S45.4、更新更新拉格朗日乘子项Y和惩罚项μ1：
Figure BDA0002600542710000061
Figure BDA0002600542710000062
其中，ρ为常系数；
S45.5、迭代次数k'＝k'+1，循环步骤S45.2—S45.4，直到满足收敛条件
Figure BDA0002600542710000063
或达到最大迭代次数停止；获得最优低秩矩阵s。
所述采用迭代最优阈值分割算法对最终显著图进行分割，定位出待测织物图像的疵点区域的方法为：
S51、将最终显著图转换为灰度图：
Figure BDA0002600542710000064
其中，S为最终显著图，G为灰度图；
S52、对灰度图G进行阈值分割，得到：
Figure BDA0002600542710000065
其中，(x,y)为像素点位置，
Figure BDA0002600542710000066
为阈值分割后像素点(x,y)的灰度值，G(x,y)为像素点(x,y)的灰度值，μ'为灰度图G中像素的均值，σ为灰度图G中像素的标准差，c为常数。
本技术方案能产生的有益效果：
(1)采用浅层卷积神经网络表征织物图像的特征，减少了训练过程中的卷积层深度，保留了对织物疵点检测较为重要的浅层特征，提高了表征能力；
(2)采用非凸低秩表示模型来实现分离出图像中的疵点，提高了优化求解精度；
(3)采用双低秩表示模型对各卷积层产生的显著图进行融合，提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的浅层卷积神经网络SNET的架构图；
图3(a)～(d)为本发明实施例中常见的原始织物图像；
图4(a)～(d)分别为图3(a)～(d)的真值图；
图5(a)～(d)分别为图3(a)～(d)基于文献[1]方法生成的显著图；
图6(a)～(d)分别为图3(a)～(d)基于文献[2]方法生成的显著图；
图7(a)～(d)分别为图3(a)～(d)基于本发明方法对应生成的显著图；
图8(a)～(d)分别为图7(a)～(d)经过阈值分割得到的结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于卷积特征和低秩表示的织物疵点检测方法，具体步骤如下：
S1、将待测织物图像输入构建的浅层卷积神经网络中，利用浅层卷积神经网络SNET中的各个卷积层分别提取织物图像对应的多层次深度特征，并根据每一层次深度特征建立织物图像对应的深度特征图；
如图2所示，浅层卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第一全连接层、第二全连接层和分类网络；第一卷积层与第二卷积层相连接，第二卷积层与第三卷积层相连接，第三卷积层与第一全连接层相连接，第一全连接层与第二全连接层相连接，第二全连接层与分类网络相连接；所述第一卷积层、第二卷积层和第三卷积层均包括卷积层、非线性激活层和池化层；所述浅层卷积神经网络包含3个卷积层，待测织物图像通过浅层卷积神经网络生成对应的3组深度特征图，每组深度特征图包含H维特征图，特征图的大小为M×M；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xiH,l]，其中，l＝1,2,3为卷积层的数量，h＝1,2,…,H为特征图的数量，i＝1,2,…,M,M+1,…,M×M为像素的序号。
S2、对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；均匀重叠分块的方法为：将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块{RjH,l}j＝1,2,…,N，图像块重叠的步长为n，其中，H为每组深度特征图包含的特征图的数目，N为图像块的数目，且
Figure BDA0002600542710000071
m为图像块的大小。
所述第l组深度特征图对应的特征矩阵的计算方法为：
Figure BDA0002600542710000072
其中，
Figure BDA0002600542710000073
为图像块RjH,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。
S3、在低秩表示模型中引入非凸l-p范数构建低秩表示模型，并利用交替方向乘子法分别对包含特征矩阵的低秩表示模型进行交替迭代获得每一层次的最优稀疏矩阵；
在低秩表示模型中引入非凸l-p范数构建低秩表示模型的方法为：
Figure BDA0002600542710000081
其中，Fl为第l组深度特征图的特征矩阵，Ll为特征矩阵Fl分解后的低秩矩阵，El为特征矩阵Fl分解后的稀疏矩阵，
Figure BDA0002600542710000082
为低秩矩阵Ll的非凸l-p范数，
Figure BDA0002600542710000083
为低秩矩阵Ll的第i1个奇异值，
Figure BDA0002600542710000084
为非负权重，i1＝1,2,…,min(m1,n1)，m1为低秩矩阵Ll的行数，n1为低秩矩阵Ll的列数，
Figure BDA0002600542710000085
为矩阵的l-2,1范数，i2＝1,2,…,n2，n2为稀疏矩阵El的列数，λ>0是一个平衡系数；
引入辅助变量Jl＝Ll，将低秩表示模型(1)转化为公式(2)：
Figure BDA0002600542710000086
通过最小化下面的增广朗格朗日函数L对公式(2)进行求解：
Figure BDA0002600542710000087
其中，Y1和Y2均为拉格朗日乘子，<·>为内积运算，||·||F是Frobenius范数，μ>0为惩罚项。
所述利用交替方向乘子法分别对包含特征矩阵的低秩表示模型进行交替迭代获得每一层次的最优稀疏矩阵的方法为：
S31、初始化：低秩矩阵
Figure BDA0002600542710000088
稀疏矩阵
Figure BDA0002600542710000089
辅助变量
Figure BDA00026005427100000810
拉格朗日乘子Y1 0＝0，拉格朗日乘子
Figure BDA00026005427100000811
平衡系数λ＝0.05，惩罚项μ0＝1e-4，惩罚项的最大值μmax＝105，迭代次数k＝0，误差阈值tol＝1e-8；
S32、更新辅助变量矩阵Jl：保持其他变量不变，则第k+1次迭代中辅助变量矩阵
Figure BDA00026005427100000812
为：
Figure BDA00026005427100000813
其中，
Figure BDA00026005427100000814
为第k次迭代的辅助变量矩阵，
Figure BDA00026005427100000815
为第k次迭代的稀疏矩阵，Y1 k为第k次迭代的拉格朗日乘子，
Figure BDA0002600542710000091
为第k次迭代的拉格朗日乘子，μk为第k次迭代的惩罚项；
S33、更新低秩矩阵Ll：保持其他变量不变，则第k+1次迭代中矩阵
Figure BDA0002600542710000092
为：
Figure BDA0002600542710000093
S34、更新矩阵El：保持其他变量不变，则第k+1次迭代中矩阵
Figure BDA0002600542710000094
为：
Figure BDA0002600542710000095
S35、更新拉格朗日乘子项Y1、Y2和惩罚项μ：
Figure BDA0002600542710000096
Figure BDA0002600542710000097
μk+1＝min(μmax,ρμk) (9)，
其中，ρ＝1.1为常系数；
S36、迭代次数k＝k+1，循环步骤S32—S35，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵
Figure BDA0002600542710000098
为第l组深度特征图的最优稀疏矩阵
Figure BDA0002600542710000099
步骤S36中的收敛条件为：
Figure BDA00026005427100000910
S4、根据步骤S3中得到的每一层次的最优稀疏矩阵生成每一层次的显著图，再采用双低秩表示模型对所有层次的显著图进行融合，获得待测织物图像的最终显著图，具体方法为：
S41、对于第l组深度特征图的最优稀疏矩阵
Figure BDA00026005427100000911
图像块RjH,1的显著度为
Figure BDA00026005427100000912
根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图el；
S42、将3个深度特征图对应的显著图合并为一个矩阵：
Figure BDA00026005427100000913
S43、将矩阵
Figure BDA00026005427100000914
转化为双低秩矩阵表示模型：
Figure BDA00026005427100000915
其中，b为低秩矩阵，s为低秩矩阵，λ'为平衡系数，||·||*为核范数；
S44、根据双低秩矩阵表示模型构造矩阵
Figure BDA0002600542710000101
对应的增广拉格朗日函数：
Figure BDA0002600542710000102
其中，Y为拉格朗日乘子，μ1为惩罚项；
S45、采用交替方向乘子法对矩阵
Figure BDA0002600542710000103
对应的增广拉格朗日函数进行交替求解获得最优低秩矩阵s；具体方法包括步骤S45.1—S45.5：
S45.1、初始化：低秩矩阵b0＝0，低秩矩阵s0＝0，拉格朗日乘子Y0＝0，平衡系数λ'＝1，惩罚项
Figure BDA00026005427100001013
惩罚项最大值
Figure BDA00026005427100001014
迭代次数k'＝0，误差阈值tol1＝1e-6；
S45.2、更新低秩矩阵b：
Figure BDA0002600542710000104
S45.3、更新稀疏矩阵s：
Figure BDA0002600542710000105
S45.4、更新更新拉格朗日乘子项Y和惩罚项μ1：
Figure BDA0002600542710000106
Figure BDA0002600542710000107
其中，ρ＝1.1为常系数；
S45.5、迭代次数k'＝k'+1，循环步骤S45.2—S45.4，直到满足收敛条件
Figure BDA0002600542710000108
或达到最大迭代次数停止；获得最优低秩矩阵s。
S46、将最优低秩矩阵s中的每一行进行求和后转换为列向量：
Figure BDA0002600542710000109
然后将列向量s1恢复至矩阵el尺寸大小即得到最终显著图。
S5、采用迭代最优阈值分割算法对最终显著图进行分割，定位出待测织物图像的疵点区域；具体方法为：
S51、将最终显著图转换为灰度图：
Figure BDA00026005427100001010
其中，S为最终显著图，G为灰度图；
S52、对灰度图G进行阈值分割，得到：
Figure BDA00026005427100001011
其中，(x,y)为像素点位置，
Figure BDA00026005427100001012
为阈值分割后像素点(x,y)的灰度值，G(x,y)为像素点(x,y)的灰度值，μ'为灰度图G中像素的均值，σ为灰度图G中像素的标准差，c为常数。
具体实例：
在实施例中，从一个包含4000张织物图像的数据库中随机挑选几类常见的疵点图像，如图3(a)～(d)所示，图像大小选为256pixel×256pixel，选取的平衡因子λ为0.05。实施例详见图4～图7。
图4(a)～(d)为逐像素标注的ground truth。图5(a)～(d)为采用文献[1]-[CaoJ,Zhang J,Wen Z,et al.Fabric defect inspection using prior knowledge guidedleast squares regression[J].Multimedia Tools and Applications,2017,76(3):4141-4157.]的方法生成的显著图，该方法能够检测出疵点区域，但其定位出的疵点区域远大于真实的疵点区域。图6(a)～(d)为文献[2]-[Zhang D,Gao G,Li C.Fabric defectdetection algorithm based on Gabor filter and low-rank decomposition[C]//Eighth International Conference on Digital Image Processing.InternationalSociety for Optics and Photonics,2016.]的方法生成的显著图，该方法对大多数织物疵点都有较好的检测效果，但是当疵点与背景差异较小时出现了漏检现象。图7(a)～(d)为本发明方法生成的显著图。图8(a)～(d)为图7(a)～(d)经过阈值分割得到的结果。可以看出，本发明的方法能够检测出多种织物图像中的疵点。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，其步骤如下：
S1、将待测织物图像输入构建的浅层卷积神经网络中，利用浅层卷积神经网络SNET中的各个卷积层分别提取织物图像对应的多层次深度特征，并根据每一层次深度特征建立织物图像对应的深度特征图；
S2、对每一层次的深度特征图进行均匀重叠分块，并分别计算每一层次的深度特征图对应的特征矩阵；
S3、在低秩表示模型中引入非凸l-p范数构建低秩表示模型，并利用交替方向乘子法分别对包含特征矩阵的低秩表示模型进行交替迭代获得每一层次的最优稀疏矩阵；
在低秩表示模型中引入非凸l-p范数构建低秩表示模型的方法为：
Figure FDA0002957751470000011
其中，Fl为第l组深度特征图的特征矩阵，Ll为特征矩阵Fl分解后的低秩矩阵，El为特征矩阵Fl分解后的稀疏矩阵，
Figure FDA0002957751470000012
为低秩矩阵Ll的非凸l-p范数，
Figure FDA0002957751470000013
为低秩矩阵Ll的第i1个奇异值，
Figure FDA0002957751470000014
为非负权重，i1＝1,2,…,min(m1,n1)，m1为低秩矩阵Ll的行数，n1为低秩矩阵Ll的列数，
Figure FDA0002957751470000015
为矩阵的l-2,1范数，i2＝1,2,…,n2，n2为稀疏矩阵El的列数，λ>0是一个平衡系数；
引入辅助变量Jl＝Ll，将低秩表示模型(1)转化为公式(2)：
Figure FDA0002957751470000016
利用增广朗格朗日函数L对公式(2)进行转化：
Figure FDA0002957751470000017
其中，Y1和Y2均为拉格朗日乘子，<·>为内积运算，||·||F是Frobenius范数，μ>0为惩罚项；
S4、根据步骤S3中得到的每一层次的最优稀疏矩阵生成每一层次的显著图，再采用双低秩表示模型对所有层次的显著图进行融合，获得待测织物图像的最终显著图；
S5、采用迭代最优阈值分割算法对最终显著图进行分割，定位出待测织物图像的疵点区域。
2.根据权利要求1所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述步骤S1中的浅层卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第一全连接层、第二全连接层和分类网络；第一卷积层与第二卷积层相连接，第二卷积层与第三卷积层相连接，第三卷积层与第一全连接层相连接，第一全连接层与第二全连接层相连接，第二全连接层与分类网络相连接；所述第一卷积层、第二卷积层和第三卷积层均包括卷积层、非线性激活层和池化层；所述浅层卷积神经网络包含3个卷积层，待测织物图像通过浅层卷积神经网络生成对应的3组深度特征图，每组深度特征图包含H维特征图，特征图的大小为M×M；针对第l个卷积层，第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l，则第l组深度特征图中的第i个像素的深度特征fi,l为：fi,l＝[xi1,l,xi2,l,...,xih,l,...,xiH,l]，其中，l＝1,2,3为卷积层的数量，h＝1,2,…,H为特征图的数量，i＝1,2,…,M,M+1,…,M×M为像素的序号。
3.根据权利要求2所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述步骤S2中的均匀重叠分块的方法为：将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块{RjH,l}j＝1,2,…,N，图像块重叠的步长为n，其中，H为每组深度特征图包含的特征图的数目，N为图像块的数目，且
Figure FDA0002957751470000021
m<M为图像块的大小。
4.根据权利要求3所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述第l组深度特征图对应的特征矩阵的计算方法为：
Figure FDA0002957751470000022
其中，
Figure FDA0002957751470000023
为图像块RjH,l的特征向量，fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量，z＝1,2,…,m,m+1,…,m×m。
5.根据权利要求1或4所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，通过最小化增广朗格朗日函数L获得每一层次的最优稀疏矩阵的方法为：
S31、初始化：低秩矩阵
Figure FDA0002957751470000024
稀疏矩阵
Figure FDA0002957751470000025
辅助变量
Figure FDA0002957751470000026
拉格朗日乘子Y1 0＝0，拉格朗日乘子
Figure FDA0002957751470000027
平衡系数λ＝0.05，惩罚项μ0＝1e-4，惩罚项的最大值μmax＝105，迭代次数k＝0，误差阈值tol＝1e-8；
S32、更新辅助变量矩阵Jl：保持其他变量不变，则第k+1次迭代中辅助变量矩阵
Figure FDA0002957751470000028
为：
Figure FDA0002957751470000031
其中，
Figure FDA0002957751470000032
为第k次迭代的辅助变量矩阵，
Figure FDA0002957751470000033
为第k次迭代的稀疏矩阵，Y1 k为第k次迭代的拉格朗日乘子，
Figure FDA0002957751470000034
为第k次迭代的拉格朗日乘子，μk为第k次迭代的惩罚项；
S33、更新低秩矩阵Ll：保持其他变量不变，则第k+1次迭代中矩阵
Figure FDA0002957751470000035
为：
Figure FDA0002957751470000036
S34、更新矩阵El：保持其他变量不变，则第k+1次迭代中矩阵
Figure FDA0002957751470000037
为：
Figure FDA0002957751470000038
S35、更新拉格朗日乘子项Y1、Y2和惩罚项μ：
Figure FDA0002957751470000039
Figure FDA00029577514700000310
μk+1＝min(μmax,ρμk) (9)，
其中，ρ为常系数；
S36、迭代次数k＝k+1，循环步骤S32—S35，直到满足收敛条件或达到最大迭代次数停止；求得的矩阵
Figure FDA00029577514700000311
为第l组深度特征图的最优稀疏矩阵
Figure FDA00029577514700000312
6.根据权利要求5所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述步骤S36中的收敛条件为：
Figure FDA00029577514700000313
7.根据权利要求5所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述采用双低秩表示模型对所有层次的显著图进行融合，获得待测织物图像的最终显著图的方法为：
S41、对于第l组深度特征图的最优稀疏矩阵
Figure FDA00029577514700000314
图像块RjH,1的显著度为
Figure FDA00029577514700000315
根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图el；
S42、将3个深度特征图对应的显著图合并为一个矩阵：
Figure FDA0002957751470000041
S43、将矩阵
Figure FDA0002957751470000042
转化为双低秩矩阵表示模型：
Figure FDA0002957751470000043
其中，b为低秩矩阵，s为低秩矩阵，λ'为平衡系数，||·||*为核范数；
S44、根据双低秩矩阵表示模型构造矩阵
Figure FDA0002957751470000044
对应的增广拉格朗日函数：
Figure FDA0002957751470000045
其中，Y为拉格朗日乘子，μ1为惩罚项；
S45、采用交替方向乘子法对矩阵
Figure FDA0002957751470000046
对应的增广拉格朗日函数进行交替求解获得最优低秩矩阵s；
S46、将最优低秩矩阵s中的每一行进行求和后转换为列向量：
Figure FDA0002957751470000047
然后将列向量s1恢复至矩阵el尺寸大小即得到最终显著图。
8.根据权利要求7所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述采用交替方向乘子法对矩阵
Figure FDA0002957751470000048
对应的增广拉格朗日函数进行交替求解获得最优低秩矩阵s的方法为：
S45.1、初始化：低秩矩阵b0＝0，低秩矩阵s0＝0，拉格朗日乘子Y0＝0，平衡系数λ'＝1，惩罚项
Figure FDA0002957751470000049
惩罚项最大值
Figure FDA00029577514700000410
迭代次数k'＝0，误差阈值tol1＝1e-6；
S45.2、更新低秩矩阵b：
Figure FDA00029577514700000411
S45.3、更新稀疏矩阵s：
Figure FDA00029577514700000412
S45.4、更新更新拉格朗日乘子项Y和惩罚项μ1：
Figure FDA00029577514700000413
Figure FDA00029577514700000414
其中，ρ为常系数；
S45.5、迭代次数k'＝k'+1，循环步骤S45.2—S45.4，直到满足收敛条件
Figure FDA00029577514700000415
或达到最大迭代次数停止；获得最优低秩矩阵s。
9.根据权利要求1所述的基于卷积特征和低秩表示的织物疵点检测方法，其特征在于，所述采用迭代最优阈值分割算法对最终显著图进行分割，定位出待测织物图像的疵点区域的方法为：
S51、将最终显著图转换为灰度图：
Figure FDA0002957751470000051
其中，S为最终显著图，G为灰度图；
S52、对灰度图G进行阈值分割，得到：
Figure FDA0002957751470000052
其中，(x,y)为像素点位置，
Figure FDA0002957751470000053
为阈值分割后像素点(x,y)的灰度值，G(x,y)为像素点(x,y)的灰度值，μ'为灰度图G中像素的均值，σ为灰度图G中像素的标准差，c为常数。
CN202010722573.0A 2020-07-24 2020-07-24 一种基于卷积特征和低秩表示的织物疵点检测方法 Active CN111815620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722573.0A CN111815620B (zh) 2020-07-24 2020-07-24 一种基于卷积特征和低秩表示的织物疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722573.0A CN111815620B (zh) 2020-07-24 2020-07-24 一种基于卷积特征和低秩表示的织物疵点检测方法

Publications (2)

Publication Number Publication Date
CN111815620A CN111815620A (zh) 2020-10-23
CN111815620B true CN111815620B (zh) 2021-05-04

Family

ID=72860987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722573.0A Active CN111815620B (zh) 2020-07-24 2020-07-24 一种基于卷积特征和低秩表示的织物疵点检测方法

Country Status (1)

Country Link
CN (1) CN111815620B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561892A (zh) * 2020-12-22 2021-03-26 东华大学 一种印花与提花面料的疵点检测方法
CN113269777B (zh) * 2021-06-18 2023-10-27 常州信息职业技术学院 基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845556A (zh) * 2017-02-09 2017-06-13 东华大学 一种基于卷积神经网络的织物疵点检测方法
CN107392128A (zh) * 2017-07-13 2017-11-24 南京邮电大学 基于双低秩表示和局部约束矩阵回归的鲁棒图像识别方法
CN109584303A (zh) * 2018-12-03 2019-04-05 电子科技大学 一种基于Lp范数和核范数的红外弱小目标检测方法
CN109919242A (zh) * 2019-03-18 2019-06-21 长沙理工大学 一种基于深度特征和联合稀疏的图像目标识别方法
CN110310277A (zh) * 2019-07-05 2019-10-08 中原工学院 基于深度特征和ntv-rpca的织物疵点检测方法
US10690740B2 (en) * 2014-11-01 2020-06-23 Mayo Foundation For Medical Education And Research Sparse reconstruction strategy for multi-level sampled MRI

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10690740B2 (en) * 2014-11-01 2020-06-23 Mayo Foundation For Medical Education And Research Sparse reconstruction strategy for multi-level sampled MRI
CN106845556A (zh) * 2017-02-09 2017-06-13 东华大学 一种基于卷积神经网络的织物疵点检测方法
CN107392128A (zh) * 2017-07-13 2017-11-24 南京邮电大学 基于双低秩表示和局部约束矩阵回归的鲁棒图像识别方法
CN109584303A (zh) * 2018-12-03 2019-04-05 电子科技大学 一种基于Lp范数和核范数的红外弱小目标检测方法
CN109919242A (zh) * 2019-03-18 2019-06-21 长沙理工大学 一种基于深度特征和联合稀疏的图像目标识别方法
CN110310277A (zh) * 2019-07-05 2019-10-08 中原工学院 基于深度特征和ntv-rpca的织物疵点检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fabric defect detection based on deep-feature and low-rank decomposition;Zhoufeng Liu等;《Journal of Engineered Fibers and Fabrics》;20200304;1-12 *
非凸低秩稀疏约束的图像超像素分割方法;张文娟等;《西安电子科技大学学报（自然科学版）》;20131031;第40卷(第5期);86-91 *

Also Published As

Publication number Publication date
CN111815620A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
Xie et al. Weakly supervised low-rank representation for hyperspectral anomaly detection
Fu et al. A novel band selection and spatial noise reduction method for hyperspectral image classification
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN110310277B (zh) 基于深度特征和ntv-rpca的织物疵点检测方法
CN109063663B (zh) 一种由粗到精的时序遥感影像厚云检测与去除方法
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN111815620B (zh) 一种基于卷积特征和低秩表示的织物疵点检测方法
CN111046868B (zh) 基于矩阵低秩稀疏分解的目标显著性检测方法
CN112288761B (zh) 一种异常发热的电力设备检测方法、装置和可读存储介质
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法
Yang et al. Graph evolution-based vertex extraction for hyperspectral anomaly detection
Dong et al. Fusing multilevel deep features for fabric defect detection based NTV-RPCA
CN111209886B (zh) 一种基于深度神经网络的快速行人再识别方法
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
Qian et al. Infrared dim moving target tracking via sparsity-based discriminative classifier and convolutional network
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN110992301A (zh) 一种气体轮廓识别方法
US20230073223A1 (en) Method for detecting anomalies in images using a plurality of machine learning programs
CN114841930A (zh) 一种基于平行多尺度融合网络的产品缺陷检测方法
CN113888538B (zh) 一种基于内存分块模型的工业异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant