CN110310277A - 基于深度特征和ntv-rpca的织物疵点检测方法 - Google Patents
基于深度特征和ntv-rpca的织物疵点检测方法 Download PDFInfo
- Publication number
- CN110310277A CN110310277A CN201910604527.8A CN201910604527A CN110310277A CN 110310277 A CN110310277 A CN 110310277A CN 201910604527 A CN201910604527 A CN 201910604527A CN 110310277 A CN110310277 A CN 110310277A
- Authority
- CN
- China
- Prior art keywords
- depth characteristic
- matrix
- notable
- ntv
- rpca
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 230000007547 defect Effects 0.000 title claims abstract description 45
- 239000004744 fabric Substances 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 84
- 239000004753 textile Substances 0.000 claims abstract description 62
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000005192 partition Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 52
- 230000011218 segmentation Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 101100001678 Emericella variicolor andM gene Proteins 0.000 claims description 3
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims description 3
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Treatment Of Fiber Materials (AREA)
Abstract
本发明提出一种基于深度特征和NTV‑RPCA的织物疵点检测方法,其步骤为:首先,采用深度网络VGG16对织物图像进行特征提取,得到织物图像的多层次深度特征图,并对多层次深度特征图进行均匀重叠分块;然后,构造NTV‑RPCA模型,并采用ADMM算法交替迭代搜索每一层次的特征矩阵对应的最优的稀疏矩阵;再根据最优的稀疏矩阵生成多个显著图,并利用低秩分解模型融合多个显著图获得最终显著图;最后,通过自适应阈值分割算法对最终显著图进行分割,定位出疵点位置。本发明采用深度网络和NTV‑RPCA模型相结合,有效地表征织物图像的复杂纹理特征和消除图像中的噪声影响,使得检测结果具有更高的自适应性和检测精度。
Description
技术领域
本发明涉及纺织品图像处理的技术领域,特别是指一种基于深度特征和NTV-RPCA的织物疵点检测方法。
背景技术
在纺织品生产制造过程中,疵点的出现会极大影响纺织品的质量和价值,因此织物疵点检测在纺织品生产制造过程中是不可或缺的环节。传统疵点检测工作主要由人工完成的,检测精度和可靠性易受视觉疲劳、主观意识影响的问题。随着图像处理技术的发展,基于机器视觉的自动织物疵点检测方法已经成为研究的热点。
根据织物图像背景纹理的不同特点,现有的疵点检测方法可大致分为两种:针对纹理简单的非模式织物图像检测方法和针对纹理复杂的模式织物图像检测方法。针对非模式织物图像的检测方法包括:基于统计的方法、基于光谱分析的方法、基于模型的方法和基于字典学习的方法,这些方法对具有平纹和斜纹纹理的非模式织物图像有较好的检测性能,但由于模式织物的背景纹理复杂,上述方法对模式织物图像的检测性能不佳。针对模式织物图像的检测方法包括:黄金图像减法(GIS)、图像分解法和基于基元的方法等,然而这些复杂的模式织物疵点检测方法大多采用模板匹配技术对疵点进行定位,并且是在有监督下执行的,检测精度取决于精确的对准和选择合适的模板。
随着深度学习技术的发展,已经有学者开始尝试将卷积神经网络CNN应用到织物疵点分类和疵点定位领域。Cui等提出了一种卷积神经网络MC-CNN来实现织物疵点的分类;Liu等提出了一种改进的SSD目标检测方法,可用于定位小尺寸织物疵点。由于基于CNN的分割任务需要大量具有像素级标注的图像样本,而目前尚未有包含充足数据量的公开织物图像数据库,这一问题制约着基于深度学习的织物疵点检测方法的发展。实际上,基于CNN的视觉任务取得较高的检测性能,这得益于CNN可以从织物图像数据中自动学习特征,此外,其提取的深度特征优于传统的手工特征描述子,具有很高的通用性和可迁移性。
低秩分解模型又称为鲁棒主成分分析RPCA,可将数据矩阵分解为跨越多个低秩子空间的冗余部分和偏离低秩结构的稀疏部分。因此,该模型能够同时恢复矩阵的低维子空间并检测离群点,已成功应用于目标检测和分割等领域。尽管织物图像背景纹理多样,疵点类型复杂多变,但其整体上还是由特定图案重复叠加构成,具有高度的视觉冗余性,通常可以认为背景处于低秩子空间中,而其中的疵点打破了局部的低秩性,通常可以认为疵点是显著稀疏的,这一现象很好地符合了低秩分解显著性检测模型。目前,已有相关学者将低秩分解模型用于疵点检测。李春雷等提取织物图像的HOG特征矩阵,然后通过低秩分解模型进行背景和疵点的分离;Cao等提取织物图像的局部纹理特征矩阵,然后通过融合了局部先验信息的低秩分解模型来提升背景和疵点的分离效果。
目前基于低秩分解模型的织物疵点检测方法虽然取得了一定的检测效果,但检测精度仍有提升的空间,仍有一些问题未得到解决:1)织物图像纹理复杂多样、疵点形态各异,但现有织物图像表征方法仍主要采用人工设计的提取方法,往往只能描述图像的某一方面特征,弱化甚至忽略了其它方面的特征;2)织物图像易受到噪声污染,现有模型极易将其中的稀疏噪声分解到稀疏矩阵(疵点显著图)中,影响检测效果。
发明内容
针对现有的织物疵点检测方法存在检测精度较低和易受噪声污染的技术问题,本发明提出了一种基于深度特征和NTV-RPCA的织物疵点检测方法,利用深度网络VGG16提取多层次深度特征来提升织物图像的表征能力,在低秩分解模型中引入一个非凸全变差正则项来进一步限定稀疏疵点部分,以提高疵点的检测精度。
本发明的技术方案是这样实现的:
一种基于深度特征和NTV-RPCA的织物疵点检测方法,其步骤如下:
步骤一:特征提取:将织物图像输入深度网络VGG16中,利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征,根据每一层次深度特征建立织物图像对应的深度特征图;
步骤二:图像分块:对每一层次的深度特征图进行均匀重叠分块,并分别计算每一层次的深度特征图对应的特征矩阵;
步骤三:模型构建及求解:根据非凸全变差正则项和低秩分解模型构建NTV-RPCA模型,并采用ADMM算法对包含特征矩阵的NTV-RPCA模型进行交替迭代搜索获得最优的稀疏矩阵;
步骤四:显著图生成及融合:根据步骤三中求得的稀疏矩阵生成多个显著图,再采用低秩分解模型对多个显著图进行融合,获得织物图像的最终显著图;
步骤五:阈值分割:采用自适应阈值分割方法对最终显著图进行阈值分割,定位出织物图像的疵点位置。
所述步骤一中利用深度网络VGG16获得织物图像的多层深度特征图的方法为:深度网络VGG16包含13个卷积层,织物图像通过深度网络VGG16生成对应的13组深度特征图,每组深度特征图包含H维特征图,特征图的大小为M×M;针对第l个卷积层,第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l,则第l组深度特征图中的第i个像素的深度特征fi,l为:fi,l=[xi1,l,xi2,l,...,xih,l,...,xiH,l],其中,l=1,2,…,13,h=1,2,…,H,i=1,2,…,M,M+1,…,M×M。
所述步骤二中的均匀重叠分块的方法为:将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块图像块重叠的步长为n,其中,H为每组深度特征图包含的特征图的数目,N为图像块的数目,且m为图像块的大小。
所述第l组深度特征图对应的特征矩阵的计算方法为:其中,为图像块RjH,l的特征向量,fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量,z=1,2,…,m,m+1,…,m×m。
所述步骤三中建立NTV-RPCA模型的方法为:
其中,Fl为第l组深度特征图的特征矩阵,Ll为特征矩阵Fl分解后的低秩矩阵,Sl为特征矩阵Fl分解后的稀疏矩阵,||Ll||*为低秩矩阵Ll的核范数,||Sl||1为稀疏矩阵Sl的l1范数,||Sl||NTV为稀疏矩阵Sl的非凸全变差正则项,β、γ均为特征矩阵的平衡系数;
所述NTV-RPCA模型是凸优化问题,引入辅助变量Jl=Sl,则公式(1)可转化为公式(2):
通过最小化下面的增广拉格朗日函数对公式(2)进行求解:
其中,Y1和Y2均为拉格朗日乘子,表示两向量的内积,表示Frobenius范数,μ>0为一个惩罚项。
所述采用ADMM算法交替迭代搜索获得最优的稀疏矩阵的求解方法为:
S1:初始化:低秩矩阵稀疏矩阵非凸全变差正则项 μmax=μ0107,ρ=1.5,tol=3e-4,迭代次数k=0;
S2:更新低秩矩阵Ll:保持其他变量不变,则第k+1次迭代中矩阵为:
S3:更新稀疏矩阵Sl:保持其他变量不变,则第k+1次迭代中矩阵为:
S4:更新非凸全变差正则项Jl:保持其他变量不变,则第k+1次迭代中矩阵为:
S5:更新拉格朗日乘子项Y1、Y2和惩罚项μ:
S6:迭代次数k=k+1,循环步骤S2-S5,直到满足收敛条件或达到最大迭代次数停止;求得的矩阵为第l组深度特征图的最优的稀疏矩阵
所述采用RPCA模型对多个显著图进行融合,获得织物图像的显著图的方法为:对于第l组深度特征图的最优的稀疏矩阵图像块RjH,l的显著度为:根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml;
将13个不同层次的显著图分别展开为一个行向量{ml},l=1,…,13,并将它们堆积成一个矩阵:
由于是对同一织物图像的疵点检测,所以矩阵满足低秩性,通过低秩矩阵分解模型计算矩阵中的低秩矩阵s:
低秩矩阵分解模型的最优解s的某一行sl表示对应层次显著图的不一致性,每个层次的显著图ml被赋予权重:
织物图像的最终显著图为:
所述步骤五中的采用自适应阈值分割方法对最终显著图进行阈值分割的实现方法为:
其中,p和q为像素点位置,为融合后的显著图,μ和σ分别为显著图M(p,q)中像素值的均值和标准差,c为常数。
本发明的有益效果:首先采用深度网络VGG16提取织物图像的多层次深度特征图,然后采用重叠均匀分块对各个特征图进行分块处理,以减少计算量,构造NTV-RPCA模型,采用交替方向乘子算法(Alternating Direction Method of Multipliers,ADMM)将织物图像分解为背景部分和疵点部分,根据空间对应关系,由分解出的稀疏疵点部分得到对应的疵点显著图,并采用低秩分解模型对多层次显著图进行融合,最后采用阈值分割算法对融合的显著图进行分割,以定位疵点位置。本发明采用深度网络VGG16表征织物图像复杂纹理信息,以提升图像表征能力;采用NTV-RPCA模型来实现织物背景和疵点分离的同时,可以有效地消除图像中的噪声影响,并提高最优解求解精度;采用低秩分解模型对多层次疵点显著图进行融合,使检测结果具有更高的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2(a)~(h)为本发明具体实施示例1中常见的原始织物图像。
图3(a)~(h)分别为图2(a)~(h)基于低秩矩阵恢复方法生成的显著图。
图4(a)~(h)分别为图2(a)~(h)基于HOG和低秩分解方法生成的显著图。
图5(a)~(h)分别为图2(a)~(h)基于先验知识指导的最小二乘回归方法生成的显著图。
图6(a)~(h)分别为图2(a)~(h)基于本发明方法对应生成的显著图。
图7(a)~(h)分别为对图6(a)~(h)中的显著图进行阈值分割得到的结果图。
图8为本发明具体实例2中,本发明与其他3种不同方法的ROC曲线的比较图,其中,(a)为盒子型模式织物,(b)为点型模式织物,(c)为星型模式织物。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于深度特征和NTV-RPCA的织物疵点检测方法,其步骤如下:
步骤一:特征提取:将织物图像输入深度网络VGG16中,利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征,根据每一层次深度特征建立织物图像对应的深度特征图。
所述织物图像的大小为256×256,深度网络VGG16包含13个卷积层,织物图像通过深度网络VGG16生成对应的13组深度特征图,每组深度特征图包含H维特征图,将H维特征图的大小统一调整为M×M,M=256;针对第l个卷积层,第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l,则第l组深度特征图中的第i个像素的深度特征fi,l为:fi,l=[xi1,l,xi2,l,...,xih,l,...,xiH,l],其中,l=1,2,…,13,h=1,2,…,H,i=1,2,…,M,M+1,…,M×M。
步骤二:图像分块:对每一层次深度特征图进行均匀重叠分块,并分别计算每一层次深度特征图对应的特征矩阵。
将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块图像块重叠的步长为n,其中,H为每组深度特征图包含的特征图的数目,N为图像块的数目,且m为图像块的大小;m=16,n=8,则N=961。
所述第l组深度特征图对应的特征矩阵的计算方法为:其中,为图像块RjH,l的特征向量,fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量,z=1,2,…,m,m+1,…,m×m。
步骤三:模型构建及求解:根据非凸全变差正则项和低秩分解模型构建NTV-RPCA模型,并采用ADMM算法对包含特征矩阵的NTV-RPCA模型进行交替迭代搜索最优的稀疏矩阵。
通过提取织物图像的深度特征,可以使背景图像块处于一个低秩空间,稀疏疵点偏离该低秩空间,通过低秩分解模型可以实现疵点与背景的有效分离,达到检测疵点目的;为了有效地消除织物图像中的噪声影响,并提高模型求解精度,本发明在低秩分解模型的基础上,将低秩约束、稀疏约束和非凸全变差正则项进行整合,提出了基于非凸全变差正则项的低秩分解模型NTV-RPCA:
其中,Fl为第l组深度特征图的特征矩阵,Ll为特征矩阵Fl分解后的低秩矩阵,Sl为特征矩阵Fl分解后的稀疏矩阵,||Ll||*为低秩矩阵Ll的核范数,||Sl||1为稀疏矩阵Sl的l1范数,||Sl||NTV为稀疏矩阵Sl的非凸全变差正则项,β、γ均为特征矩阵的平衡系数。
所述NTV-RPCA模型是凸优化问题,为了便于求解,引入辅助变量Jl=Sl,则公式(1)可转化为公式(2):
通过最小化公式(3)的增广拉格朗日函数对公式(2)进行求解:
其中,Y1和Y2均为拉格朗日乘子,表示两向量的内积,表示Frobenius范数,μ>0为一个惩罚项。
步骤四:显著图生成及融合:根据步骤三中求得的稀疏矩阵生成多个显著图,再采用RPCA模型对多个显著图进行融合,获得织物图像的显著图。
所述采用ADMM算法交替迭代搜索获得最优的稀疏矩阵的求解方法为:
S1:初始化:低秩矩阵稀疏矩阵非凸全变差正则项 μmax=μ0107,ρ=1.5,tol=3e-4,迭代次数k=0;
S2:更新低秩矩阵Ll:保持其他变量不变,则第k+1次迭代中矩阵为:
S3:更新稀疏矩阵Sl:保持其他变量不变,则第k+1次迭代中矩阵为:
S4:更新非凸全变差正则项Jl:保持其他变量不变,则第k+1次迭代中矩阵为:
S5:更新拉格朗日乘子项Y1、Y2和惩罚项μ:
S6:迭代次数k=k+1,循环步骤S2-S5,直到满足收敛条件或达到最大迭代次数停止;求得的矩阵为第l组深度特征图的最优的稀疏矩阵
因此,通过NTV-RPCA模型求得的织物图像对应的13组深度特征图的最优的稀疏矩阵S*为:
所述采用RPCA模型对多个显著图进行融合,获得织物图像的最终显著图的方法为:通过NTV-RPCA模型将深度特征矩阵分解出一个对应疵点的稀疏矩阵S*,对于第l组深度特征图的最优的稀疏矩阵图像块RjH,l的显著度为:m(Rj,l)的值越大表示该图像块属于疵点的概率越大,根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml。因此,可得到13个不同层次的显著图,为了得到一个包含较全面特征信息的显著图,将对这13个不同层次的显著图进行融合获得最终显著图。
将13个不同层次的显著图分别展开为一个行向量{ml},l=1,…,13,并将它们堆积成一个矩阵:
由于是对同一织物图像的疵点检测,所以矩阵满足低秩性,通过低秩矩阵分解模型计算矩阵中的低秩矩阵s:
低秩矩阵分解模型的最优解s的某一行sl表示对应层次显著图的不一致性,每个层次的显著图ml被赋予权重:
因此,织物图像对应的最终显著图为:
步骤五:阈值分割:采用自适应阈值分割方法对最终显著图进行阈值分割,定位出织物图像的疵点位置。
所述采用自适应阈值分割方法对最终显著图进行阈值分割的实现方法为:
其中,p和q为像素点位置,为融合后的显著图,μ和σ分别为显著图M(p,q)中像素值的均值和标准差,c为常数,c的取值根据待检测织物类型而改变。
仿真与验证:
具体实例1中,从非模式织物图像库TILDA中随机挑选几类常见的疵点图像,如图2(a)~(b)所示;从香港大学模式织物图像数据库中随机挑选几类常见的疵点图像,疵点图像包括盒子型、星型、点型等,图片大小均为256pixel×256pixel,如图2(c)~(h)所示。图像块大小为16pixel×16pixel,选取的平衡因子γ为0.0016,平衡因子β为0.01。
图3(a)~(h)为采用文献[1]([1]Cao J,Zhang J,Wen Z,et al.Fabric defectinspection using prior knowledge guided least squares regression[J].Multimedia Tools and Applications,2017,76(3):4141-4157.)的方法生成的显著图。由图3(a)~(h)可知,基于先验知识指导下的最小二乘回归(prior knowledge guidedleast squares regression,PGLSR)方法极易受到图像背景纹理的影响,无法检测模式织物图像的疵点。图4(a)~(h)为采用文献[2]([2]Li C,Gao G,Liu Z,et al.Fabric defectdetection algorithm based on histogram of oriented gradient and low-rankdecomposition[J].J Textile Res,2017,38(3):153-158.)的方法生成的显著图,由图4(a)~(h)可知,基于方向梯度直方图(histogram of oriented gradient,HOG)方法可以检测到大部分类型的织物疵点,但出现了严重的疵点不连续情况。图5(a)~(h)为采用文献[3]([3]Shen X,Wu Y.A unified approach to salient object detection via lowrank matrix recovery[C]//2012IEEE Conference on Computer Vision and PatternRecognition.IEEE,2012:853-860.)的方法生成的显著图,由图5(a)~(h)可知,统一低秩矩阵恢复(unified low rank matrix recovery,ULR)方法可以检测出所有类型的疵点,但其检测结果中丢失了大量的疵点轮廓信息,而轮廓信息对疵点的后续修补工作是极有参考价值的。图6(a)~(h)为本发明生成的显著图,图7(a)~(h)为对图6(a)~(h)显著图进行阈值分割的结果。本发明的方法可以检测出多种织物图像,不仅可以很好的定位出疵点位置,而且较好地还原了疵点轮廓,并且类似于图2(e)这种疵点占据整幅图像大部分的情况,现有的疵点检测一直难以有效地检测,但本发明的方法可以较好的检测出这类疵点。
具体实例2中,数据库为香港大学模式织物图像数据库,包括星型、盒子型及点型三种模式织物,盒子型包括26幅疵点图像,星型包括25幅疵点图像,点型包括30幅疵点图像,根据疵点图像及其对应的真值图,绘制三种模式织物的ROC曲线。图8为本发明方法(OURS)和文献[1](PGLSR)、文献[2](HOG)、文献[3](ULR)方法的ROC曲线定量分析结果。由图8可知,在三种织物类型的ROC曲线图中,本发明方法OURS的曲线下面积AUC是最大的,本发明所提方法的检测结果最优。说明了本发明所提方法的有有效性,可以很好的处理复杂纹理的模式织物图像。
综上所述,本发明提出采用深度网络提取织物图像纹理特征,并构建NTV-RPCA模型进行显著度计算的织物疵点检测方法,具有较高的鲁棒性和检测率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内。
Claims (8)
1.一种基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,其步骤如下:
步骤一:特征提取:将织物图像输入深度网络VGG16中,利用深度网络VGG16中的各个卷积层分别提取织物图像对应的多层次深度特征,根据每一层次深度特征建立织物图像对应的深度特征图;
步骤二:图像分块:对每一层次的深度特征图进行均匀重叠分块,并分别计算每一层次的深度特征图对应的特征矩阵;
步骤三:模型构建及求解:根据非凸全变差正则项和低秩分解模型构建NTV-RPCA模型,并采用ADMM算法对包含特征矩阵的NTV-RPCA模型进行交替迭代搜索获得最优的稀疏矩阵;
步骤四:显著图生成及融合:根据步骤三中求得的稀疏矩阵生成多个显著图,再采用低秩分解模型对多个显著图进行融合,获得织物图像的最终显著图;
步骤五:阈值分割:采用自适应阈值分割方法对最终显著图进行阈值分割,定位出织物图像的疵点位置。
2.根据权利要求1所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述步骤一中利用深度网络VGG16获得织物图像的多层深度特征图的方法为:深度网络VGG16包含13个卷积层,织物图像通过深度网络VGG16生成对应的13组深度特征图,每组深度特征图包含H维特征图,特征图的大小为M×M;针对第l个卷积层,第l组深度特征图中的特征图h的第i个像素的激活特征为xih,l,则第l组深度特征图中的第i个像素的深度特征fi,l为:fi,l=[xi1,l,xi2,l,...,xih,l,...,xiH,l],其中,l=1,2,…,13,h=1,2,…,H,i=1,2,…,M,M+1,…,M×M。
3.根据权利要求1或2所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述步骤二中的均匀重叠分块的方法为:将大小为M×M×H的第l组深度特征图均匀重叠分为m×m×H的图像块{RjH,l}j=1,2,…,N,图像块重叠的步长为n,其中,H为每组深度特征图包含的特征图的数目,N为图像块的数目,且m为图像块的大小。
4.根据权利要求3所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述第l组深度特征图对应的特征矩阵的计算方法为:其中,为图像块RjH,l的特征向量,fjz,l是第l组深度特征图的第j个图像块的第z个像素点的特征向量,z=1,2,…,m,m+1,…,m×m。
5.根据权利要求4所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述步骤三中建立NTV-RPCA模型的方法为:
其中,Fl为第l组深度特征图的特征矩阵,Ll为特征矩阵Fl分解后的低秩矩阵,Sl为特征矩阵Fl分解后的稀疏矩阵,||Ll||*为低秩矩阵Ll的核范数,||Sl||1为稀疏矩阵Sl的l1范数,||Sl||NTV为稀疏矩阵Sl的非凸全变差正则项,β、γ均为特征矩阵的平衡系数;
所述NTV-RPCA模型是凸优化问题,引入辅助变量Jl=Sl,则公式(1)可转化为公式(2):
通过最小化下面的增广拉格朗日函数对公式(2)进行求解:
其中,Y1和Y2均为拉格朗日乘子,表示两向量的内积,表示Frobenius范数,μ>0为一个惩罚项。
6.根据权利要求5所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述采用ADMM算法交替迭代搜索获得最优的稀疏矩阵的求解方法为:
S1:初始化:低秩矩阵稀疏矩阵非凸全变差正则项 μmax=μ0107,ρ=1.5,tol=3e-4,迭代次数k=0;
S2:更新低秩矩阵Ll:保持其他变量不变,则第k+1次迭代中矩阵为:
S3:更新稀疏矩阵Sl:保持其他变量不变,则第k+1次迭代中矩阵为:
S4:更新非凸全变差正则项Jl:保持其他变量不变,则第k+1次迭代中矩阵为:
S5:更新拉格朗日乘子项Y1、Y2和惩罚项μ:
S6:迭代次数k=k+1,循环步骤S2-S5,直到满足收敛条件或达到最大迭代次数停止;求得的矩阵为第l组深度特征图的最优的稀疏矩阵
7.根据权利要求6所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述采用RPCA模型对多个显著图进行融合,获得织物图像的显著图的方法为:对于第l组深度特征图的最优的稀疏矩阵图像块RjH,l的显著度为:根据均匀重叠分块时的空间对应关系可生成第l组深度特征图对应的显著图ml;
将13个不同层次的显著图分别展开为一个行向量{ml},l=1,…,13,并将它们堆积成一个矩阵:
由于是对同一织物图像的疵点检测,所以矩阵满足低秩性,通过低秩矩阵分解模型计算矩阵中的低秩矩阵s:
低秩矩阵分解模型的最优解s的某一行sl表示对应层次显著图的不一致性,每个层次的显著图ml被赋予权重:
织物图像的最终显著图为:
8.根据权利要求3所述的基于深度特征和NTV-RPCA的织物疵点检测方法,其特征在于,所述步骤五中的采用自适应阈值分割方法对最终显著图进行阈值分割的实现方法为:
其中,p和q为像素点位置,为融合后的显著图,μ和σ分别为显著图M(p,q)中像素值的均值和标准差,c为常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910604527.8A CN110310277B (zh) | 2019-07-05 | 2019-07-05 | 基于深度特征和ntv-rpca的织物疵点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910604527.8A CN110310277B (zh) | 2019-07-05 | 2019-07-05 | 基于深度特征和ntv-rpca的织物疵点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110310277A true CN110310277A (zh) | 2019-10-08 |
CN110310277B CN110310277B (zh) | 2020-07-24 |
Family
ID=68079273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910604527.8A Active CN110310277B (zh) | 2019-07-05 | 2019-07-05 | 基于深度特征和ntv-rpca的织物疵点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110310277B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866907A (zh) * | 2019-11-12 | 2020-03-06 | 中原工学院 | 基于注意力机制的全卷积网络织物疵点检测方法 |
CN111210417A (zh) * | 2020-01-07 | 2020-05-29 | 创新奇智(北京)科技有限公司 | 基于卷积神经网络的布匹缺陷检测方法 |
CN111815620A (zh) * | 2020-07-24 | 2020-10-23 | 中原工学院 | 一种基于卷积特征和低秩表示的织物疵点检测方法 |
CN111882545A (zh) * | 2020-07-30 | 2020-11-03 | 中原工学院 | 基于双向信息传递及特征融合的织物疵点检测方法 |
US11625822B2 (en) * | 2018-08-07 | 2023-04-11 | Ashok OSWAL | System and method for determining quality attributes of raw material of textile |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678788A (zh) * | 2016-02-19 | 2016-06-15 | 中原工学院 | 一种基于hog和低秩分解的织物疵点检测方法 |
CN107064160A (zh) * | 2017-04-01 | 2017-08-18 | 佛山市南海天富科技有限公司 | 基于显著性检测的纺织品表面瑕疵检测方法及系统 |
CN107705306A (zh) * | 2017-10-26 | 2018-02-16 | 中原工学院 | 一种基于多特征矩阵低秩分解的织物疵点检测方法 |
CN107977661A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法 |
CN108389180A (zh) * | 2018-01-19 | 2018-08-10 | 浙江工业大学 | 一种基于深度学习的织物疵点检测方法 |
CN109712113A (zh) * | 2018-11-28 | 2019-05-03 | 中原工学院 | 一种基于级联低秩分解的织物疵点检测方法 |
US10395388B2 (en) * | 2015-08-26 | 2019-08-27 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
-
2019
- 2019-07-05 CN CN201910604527.8A patent/CN110310277B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10395388B2 (en) * | 2015-08-26 | 2019-08-27 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
CN105678788A (zh) * | 2016-02-19 | 2016-06-15 | 中原工学院 | 一种基于hog和低秩分解的织物疵点检测方法 |
CN107064160A (zh) * | 2017-04-01 | 2017-08-18 | 佛山市南海天富科技有限公司 | 基于显著性检测的纺织品表面瑕疵检测方法及系统 |
CN107977661A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法 |
CN107705306A (zh) * | 2017-10-26 | 2018-02-16 | 中原工学院 | 一种基于多特征矩阵低秩分解的织物疵点检测方法 |
CN108389180A (zh) * | 2018-01-19 | 2018-08-10 | 浙江工业大学 | 一种基于深度学习的织物疵点检测方法 |
CN109712113A (zh) * | 2018-11-28 | 2019-05-03 | 中原工学院 | 一种基于级联低秩分解的织物疵点检测方法 |
Non-Patent Citations (2)
Title |
---|
JUNPU WANG,CHUNLEI LI,ZHOUFENG LIU等: "A Novel Patterned Fabric Defect Detection Algorithm based on Dual Norm Low Rank Decomposition", 《2018 14TH IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP) IN IEEE》 * |
李春雷,王珺璞,刘洲峰等: "基于对偶范数低秩分解的织物疵点检测方法", 《棉纺织技术》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11625822B2 (en) * | 2018-08-07 | 2023-04-11 | Ashok OSWAL | System and method for determining quality attributes of raw material of textile |
CN110866907A (zh) * | 2019-11-12 | 2020-03-06 | 中原工学院 | 基于注意力机制的全卷积网络织物疵点检测方法 |
CN111210417A (zh) * | 2020-01-07 | 2020-05-29 | 创新奇智(北京)科技有限公司 | 基于卷积神经网络的布匹缺陷检测方法 |
CN111210417B (zh) * | 2020-01-07 | 2023-04-07 | 创新奇智(北京)科技有限公司 | 基于卷积神经网络的布匹缺陷检测方法 |
CN111815620A (zh) * | 2020-07-24 | 2020-10-23 | 中原工学院 | 一种基于卷积特征和低秩表示的织物疵点检测方法 |
CN111815620B (zh) * | 2020-07-24 | 2021-05-04 | 中原工学院 | 一种基于卷积特征和低秩表示的织物疵点检测方法 |
CN111882545A (zh) * | 2020-07-30 | 2020-11-03 | 中原工学院 | 基于双向信息传递及特征融合的织物疵点检测方法 |
CN111882545B (zh) * | 2020-07-30 | 2023-07-25 | 中原工学院 | 基于双向信息传递及特征融合的织物疵点检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110310277B (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110310277A (zh) | 基于深度特征和ntv-rpca的织物疵点检测方法 | |
Yang et al. | Real-time face detection based on YOLO | |
CN109117876A (zh) | 一种稠密小目标检测模型构建方法、模型及检测方法 | |
CN109559338B (zh) | 一种基于加权主成分分析法及m估计的三维点云配准方法 | |
CN109711474A (zh) | 一种基于深度学习的铝材表面缺陷检测算法 | |
CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN108009509A (zh) | 车辆目标检测方法 | |
CN107093205A (zh) | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 | |
CN107871124A (zh) | 一种基于深度神经网络的遥感图像目标检测方法 | |
CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
CN107358223A (zh) | 一种基于yolo的人脸检测与人脸对齐方法 | |
CN107341499A (zh) | 一种基于无监督分割和elm的织物缺陷检测和分类方法 | |
CN109118528A (zh) | 基于区域分块的奇异值分解图像匹配算法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN108537264A (zh) | 基于深度学习的异源图像匹配方法 | |
Li et al. | JointsGait: A model-based gait recognition method based on gait graph convolutional networks and joints relationship pyramid mapping | |
Zeng et al. | An improved object detection method based on deep convolution neural network for smoke detection | |
CN106991411B (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
CN109741268A (zh) | 一种针对壁画的破损图像补全方法 | |
CN109712113A (zh) | 一种基于级联低秩分解的织物疵点检测方法 | |
CN108875819B (zh) | 一种基于长短期记忆网络的物体和部件联合检测方法 | |
CN111445426B (zh) | 一种基于生成对抗网络模型的目标服装图像处理方法 | |
CN107564007A (zh) | 融合全局信息的场景分割修正方法与系统 | |
CN112488211A (zh) | 一种织物图像瑕疵分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |