CN107705306B - 一种基于多特征矩阵低秩分解的织物疵点检测方法 - Google Patents

一种基于多特征矩阵低秩分解的织物疵点检测方法 Download PDF

Info

Publication number
CN107705306B
CN107705306B CN201711013036.3A CN201711013036A CN107705306B CN 107705306 B CN107705306 B CN 107705306B CN 201711013036 A CN201711013036 A CN 201711013036A CN 107705306 B CN107705306 B CN 107705306B
Authority
CN
China
Prior art keywords
matrix
image
low
gradient
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711013036.3A
Other languages
English (en)
Other versions
CN107705306A (zh
Inventor
李春雷
刘洲峰
刘超蝶
张爱华
杨瑞敏
董燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan University of Technology
Original Assignee
Zhongyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan University of Technology filed Critical Zhongyuan University of Technology
Priority to CN201711013036.3A priority Critical patent/CN107705306B/zh
Publication of CN107705306A publication Critical patent/CN107705306A/zh
Application granted granted Critical
Publication of CN107705306B publication Critical patent/CN107705306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种基于多特征矩阵低秩分解的织物疵点检测方法，包括图像分块及多通道特征矩阵提取、联合低秩分解、显著图生成及分割；将织物图像划分为大小相同的图像块，计算每个图像块的二阶梯度方向图，采用视网膜P型神经节细胞的编码方式提取图像特征，生成特征矩阵；针对特征矩阵构建有效的低秩分解模型，通过方向交替乘子方法进行优化求解，生成低秩矩阵和稀疏矩阵；采用阈值分割算法对由稀疏矩阵生成的显著图进行分割，定位出疵点位置。本发明综合考虑了织物纹理特征的复杂性和疵点种类的多样性，提取能有效表征织物纹理特性的二阶特征，采用联合低秩分解模型有效地实现疵点与背景的快速分离，具有较高的检测精度。

Description

一种基于多特征矩阵低秩分解的织物疵点检测方法
技术领域
本发明涉及纺织品图像处理的技术领域，尤其涉及一种基于多特征矩阵低秩分解的织物疵点检测方法，使用多通道二阶梯度特征提取、低秩分解方法对织物疵点图像进行疵点的检测和定位。
背景技术
织物疵点检测是纺织品质量控制的重要环节。传统的人工检查结果受人类的主观影响较大，使得检测的准确性和实时性难以保证。因此，基于图像处理的织物疵点自动检测技术已成为近年来的研究热点。
目前，根据织物种类的不同，疵点检测算法主要分为两类，一类是针对背景较为简单的平纹或斜纹图像，一类是针对背景纹理复杂的模式图像。其中针对背景较为简单的平纹或斜纹图像的疵点检测方法主要分为：统计学方法、频谱分析方法、模型法、稀疏表示及字典学习方法等。基于统计学方法从图像中提取不同的纹理特征，利用图像灰度空间分布，将背景纹理和疵点通过统计特性的差异区分开。频谱分析法的基本思想是将图像变换到某个频域下，对频谱稀疏进行异常分析，从而定位疵点。常用的变换有：傅里叶变换，小波变换和Gabor滤波器。基于模型的方法假设正常织物纹理符合一定的分布，进行建模和参数估计。通过分析图像是否符合正常模型进行疵点检测，主要有高斯马尔科夫随机场模型、Poisson模型、Wold模型。稀疏表示及字典学习方法首先通过训练图像或测试图像自身学习出字典集，然后利用稀疏求解重构正常织物图像，并计算与测试图像的残差，最后利用阈值分割残差图像定位出疵点区域。
上述疵点检测方法在平纹和斜纹织物上取得了不错的检测效果。但模式织物由于其纹理的复杂性，上述方法不能有效用于模式织物疵点检测。研究人员针对模式织物图像，研究了相应的检测方法，如：布林带法(BB)、散列函数法、黄金图像减法(GIS)和图像分解法(ID)。布林带法(BB)是一种基于移动平均和标准差度量的高效快速的变换方法，主要思想是基于模式织物纹理的周期规则性；它适用于清晰织物图像疵点的分割，但疵点区域小于模式织物的重复单元时，不能检测出疵点，而且对疵点区域和背景区域较强的对比度比较敏感。散列函数法也是模式织物疵点检测算法之一。散列函数法是一维方法，计算速度快，但它对织物疵点纹的微小变化和噪声非常敏感。黄金图像减法(GIS)可以从正常织物图像中获取重复单元，GIS可以检测出织物疵点的形状；但是对于对比度较高的黑白色织物图像，疵点区域定位阈值的选择需要进一步研究。为了检测模式织物疵点，Ng等根据图像分解方法(ID)把目标图像分解对应于织物疵点的卡通结构和对应于重复模式的纹理结构。通过给定的正常织物图像和测试图像的纹理结构之间的最大相关性来优化ID，图像分解方法可以在高质量的模式织物上取得了不错的效果。但由于直接在像素域进行的图像分解，且需要一幅正常织物图像作为参考，因此对有偏转或亮度不均匀的织物图像，检测效果较差。
低秩分解模型认为图像可以有两部分组成：低秩部分(背景)及稀疏部分(目标)。低秩部分处于一个低维特征子空间中，可以表示为一个低秩矩阵；稀疏部分和该低秩子空间相背离，可以表示为一个稀疏矩阵。对于不同的织物图像，大面积的正常区域视觉上都是一致的，处于一个低秩子空间中。疵点区域和背景区域相背离，属于稀疏部分。因此，相比对自然场景中的目标检测，织物疵点检测更好地符合了低秩分解模型。
然而，直接针对织物图像的像素矩阵，或通过简单特征提取构成的特征矩阵进行低秩分解，对复杂纹理的织物图像效果较差。原因在于，像素值或提取的简单特征，不能有效描述复杂的纹理，造成背景区域特征与疵点区域特征区分性不大，不能使正常背景处于一个低秩子空间中。因此有效的织物图像特征提取对低秩分解模型的性能至关重要。
为了更有效地描述织物图像图像特征，以下因素需要考虑：1)织物图像有复杂的纹理，像素值变化频率较高，因此高阶的梯度信息更能有效描述复杂的织物纹理；2)最新研究表明，人眼能支持复杂的视觉任务，因此模拟人类视觉特性能有效提升描述子的表征能力；3)织物图像纹理丰富，如果把所有的特征放到一个特征向量中，降低了特征的区分能力，因此针对不同方向通道的特征进行单独表征有望进一步提升描述子的性能。
发明内容
针对现有疵点检测方法不能与较多布匹种类和织物疵点种类相适应，检测精度低的技术问题，本发明提出一种基于多特征矩阵低秩分解的织物疵点检测方法，提出一个多通道二阶梯度特征提取方法，生成多个特征矩阵；采用联合低秩分解方法对多通道特征矩阵进行分解，得到低秩矩阵及稀疏矩阵；由稀疏矩阵生成显著图，经过分割后定位出疵点区域，实现对织物图像疵点的有效检测与定位，并具有较高的检测精度。
为了达到上述目的，本发明的技术方案是这样实现的：一种基于多特征矩阵低秩分解的织物疵点检测方法，其步骤如下：
步骤一：将原始织物图像均匀分成大小相同、互不重叠的图像块；
步骤二：计算每个图像块的多通道二阶梯度方向图，基于P型神经节细胞的编码方式，提取图像块的多个通道二阶梯度特征，将所有图像块多通道特征组成多特征矩阵，实现多通道二阶梯度特征矩阵的提取；
步骤三：对多个特征矩阵建立低秩分解模型，得到MTSP模型；
步骤四：通过方向交替乘子方法对MTSP模型进行求解，得到每个图像块的稀疏矩阵；
步骤五：通过稀疏矩阵求每个图像块的显著度，所有图像块显著度组合得到显著图，采用阈值分割算法对显著图进行分割定位疵点区域。
把大小为A×B的图像X均匀分为大小为m×m的图像块Xi，其中i＝1,2,……,N，N为图像块的数目，图像块互不重叠；其中，m为16，A和B取值为大于等于256、小于等于1024的整数，
Figure BDA0001445892460000031
为向下取整。
所述计算每个图像块的多通道二阶梯度方向图的方法为：
(1)计算每个图像块Xi各个方向的一阶梯度方向图：
Figure BDA0001445892460000032
其中，o是梯度方向，H表示梯度方向数，即通道的个数；(·)+是非负算子；
(2)将一阶梯度方向图Go作为输入，计算其二阶梯度图：
Figure BDA0001445892460000033
(3)所述多通道二阶梯度特征矩阵的提取方法为：
(1)将每个二阶梯度图Gseco采用S+1不同尺度∑s的高斯卷积核进行卷积，其中1≤s≤S，S为尺度数，生成二阶高斯卷积方向图
Figure BDA0001445892460000034
其中，*为卷积操作，
Figure BDA0001445892460000035
为尺度是∑s的高斯卷积核；
(2)对二阶高斯卷积方向图的每个方向，用相邻两幅梯度方向图的小尺度二阶高斯卷积方向图减去大尺度二阶高斯卷积方向图得到二阶DoG卷积的梯度方向图：
Figure BDA0001445892460000036
在每个方向下共得到S个二阶DoG卷积的梯度方向图；
(3)分别提取N个图像块Xi的多个通道的多尺度特征
Figure BDA0001445892460000037
维数为d；然后将所有图像块的多尺度特征特征组成特征矩阵
Figure BDA0001445892460000038
每个通道特征分别生成一个特征矩阵Fo，则一个图像的特征表示为多特征矩阵：F＝[F1,F2,...,FH]。
以像素坐标(x,y)为中心的图像块，一个方向上的多尺度特征向量MFo(x,y)为：
Figure BDA0001445892460000041
其中，梯度方向1≤o≤H，H表示梯度方向数，ho1(x,y)表示中心点像素值，hop(x,y,∑s)表示(x,y)在不同尺度∑s上第p个采样点梯度方向为o的点，1≤p≤P，P表示P型神经节细胞感受野的每个同心圆上抽样点的数目，1≤s≤S，S为尺度数。
所述MTSP模型为：
Figure BDA0001445892460000042
其中，Lo表示在o方向分解出的低秩矩阵，So表示在o方向上分解出的稀疏矩阵；||·||*表示矩阵的核范数，||·||1是
Figure BDA0001445892460000043
范数，λ为控制低秩度和稀疏度的平衡因子；
MTSP模型的求解利用最小化增广拉格朗日函数
Figure BDA0001445892460000044
求解：
Figure BDA0001445892460000045
其中，
Figure BDA0001445892460000046
为核范数Frobenius范数的平方；Y是拉格朗日乘数；β＞0是惩罚参数；Tr是矩阵的迹。
所述最小化增广拉格朗日函数
Figure BDA0001445892460000047
使用ADMM交替迭代地搜索最优的低秩矩阵、稀疏矩阵、拉格朗日乘数；每次迭代的方法为：
更新低秩矩阵：当稀疏矩阵和拉格朗日乘数固定时，更新
Figure BDA0001445892460000048
Figure BDA0001445892460000049
其中，
Figure BDA00014458924600000410
表示在第o个方向上、第k次迭代计算得出的低秩矩阵；
Figure BDA00014458924600000411
表示在第o个方向上、第k次迭代计算得出的稀疏矩阵；
Figure BDA00014458924600000412
表示在第o个方向上、第k次迭代计算得出的拉格朗日乘数；
更新稀疏矩阵：当低秩矩阵和拉格朗日乘数固定时，得到最小化问题：
Figure BDA0001445892460000051
其中，
Figure BDA0001445892460000052
表示在第o个方向上、第k+1次迭代计算得出的稀疏矩阵，
Figure BDA0001445892460000053
的封闭解为：
Figure BDA0001445892460000054
其中，shrink(·)是软阈值函数，且：shrink(Z,t)＝sign(X)max(abs(X)-t,0)其中，Z表示要处理的对象，t为设置的阈值，max(·)表示取最大值操作，abs(·)表示取绝对值操作；
更新拉格朗日乘数：通过以下公式获得
Figure BDA0001445892460000055
步骤四分解出H个稀疏矩阵S1,S2,...,SH，第i个图像块Xi的显著度为：
Figure BDA0001445892460000056
其中，||So(:,i)||2表示稀疏矩阵So的第i列的
Figure BDA0001445892460000057
范数；
所有图像块显著度的值构成一个显著图SM，计算显著图SM所有显著度的值的均值和方差，分别表示为μ和σ，采用阈值分割算法对显著图SM进行分割：
Figure BDA0001445892460000058
其中，c为预先设置的常量，(x，y)表示图像中的像素坐标，0表示像素值处于背景区域；255表示处于疵点区域。
本发明首先对织物疵点图像进行均匀分块，针对每个图像块分别计算其二阶梯度图，在二阶梯度图的基础上，模拟视网膜P型神经节细胞编码方式进行特征采样与提取，进而组装特征得到多个特征矩阵；然后针对多个特征矩阵，构建联合低秩分解模型，并通过乘法器方向交替方法对该模型进行优化求解，将分解得到的稀疏矩阵生成相应的显著图；最后阈值分割算法对显著图进行分割，实现疵点区域的定位。本发明综合考虑了织物纹理特征的复杂性和疵点种类的多样性，提取能有效表征织物纹理特性的二阶特征，采用联合低秩分解模型有效地实现疵点与背景的快速分离，具有较高的检测精度。本发明的二阶梯度特征能有效地提高了织物图像的表征能力，构建的联合低秩分解模型；对织物图像中存在的噪声具有鲁棒性；对平纹织物和模式织物均具有很好的自适应性及检测性能，扩大了使用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明二阶提取的流程图。
图3为本发明实施例处理的图像，(a)原始织物图像；(b)；基于低层特征小波变换的显著性模型生成的显著图；(c)基于方向梯度直方图和低秩分解模型生成的显著图；(d)基于先验知识指导的最小乘方回归显著性模型生成的显著图；(e)本发明得到的显著图；(f)对(e)中阈值分割的检测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于多通道特征矩阵低秩分解的织物疵点检测方法，首先对织物疵点图像进行均匀分块，针对每个图像块分别计算其二阶梯度图，在二阶梯度图的基础上，模拟视网膜P型神经节细胞编码方式进行图像特征的采样与提取，生成多通道的特征矩阵；然后针对生成的多个特征矩阵采用联合低秩分解模型，并通过乘法器方向交替方法(Alternating Direction Method of Multipliers，ADMM)对低秩分解模型进行优化求解，将求解得到的稀疏阵生成相应的显著图；最后采用阈值分割算法对显著图进行分割，实现疵点区域的定位。具体步骤如下：
步骤一：将原始织物图像均匀分成大小相同、互不重叠的图像块。
把大小为A×B的图像X均匀分为大小为m×m的图像块Xi，其中i＝1,2,……,N，N为图像块的数目，图像块互不重叠。其中，m为16，A和B取值为大于等于256、小于等于1024的整数，
Figure BDA0001445892460000061
为向下取整。
步骤二：计算每个图像块的多通道二阶梯度方向图，基于P型神经节细胞的编码方式，提取图像块的多个通道二阶梯度特征，最后将所有图像块多通道特征组成多个特征矩阵，实现多通道二阶梯度特征矩阵的提取。
计算二阶梯度方向图的方法为：
(1)计算每个图像块Xi各个方向的一阶梯度方向图。
Figure BDA0001445892460000071
其中，o是梯度方向，H表示梯度方向数，即通道的个数，取值为8，(·)+是非负算子，即(a)+＝max(a,0)。
(2)当获得所有梯度方向的梯度方向图Go后，将梯度方向图Go作为输入，计算其二阶梯度图
Figure BDA0001445892460000072
基于P型神经节细胞的编码方式提取图像块的多个通道二阶梯度特征，实现多通道二阶梯度特征矩阵的提取即特征抽样的方法是：
(1)为了模拟人类视觉神经节细胞对噪声的鲁棒性，将每个二阶梯度图Gseco采用S+1不同的尺度∑s的高斯卷积核进行卷积，其中1≤s≤S(尺度数S为大于1，小于10的整数)，生成二阶高斯卷积方向图
Figure BDA0001445892460000073
Figure BDA0001445892460000074
其中，*为卷积操作，即对于图像的每一个像素点，计算它的邻域像素和卷积核的对应元素的乘积，然后加起来作为该像素位置的值。
Figure BDA0001445892460000075
为尺度是∑s的高斯卷积核。
(2)对二阶高斯卷积方向图的每个方向，用相邻两幅梯度方向图的小尺度二阶高斯卷积方向图减去大尺度二阶高斯卷积方向图得到二阶DoG卷积的梯度方向图
Figure BDA0001445892460000076
Figure BDA0001445892460000077
经过公式(3)操作，则在每个方向下共得到S个二阶DoG卷积的梯度方向图。
通过抽样二阶DoG卷积的梯度方向图中的值组装特征向量。模仿视网膜P神经节细胞感受野的分布，采样点分布在同心圆上(同心圆环数，也是尺度的个数S＝3；每个同心圆环上采样点的数目P＝6)，同心圆的半径和抽样点的DoG卷积核的尺度从内往外按指数方式增长，得到抽样点的形状，P型节神经细胞编码方式如图2中所示。每个圆圈代表一个卷积区域，区域的半径正比于该抽样点处DoG卷积核的标准差δs＝η·Rs，本发明中，η为0.1，s＝1,2,3,Rs为1，3，8。卷积区域的重叠使得区域间的过度变得平滑，并能获得一定程度的旋转鲁棒性。
用S表示尺度数，P表示每个同心圆上抽样点的数目，以(x,y)为中心的图像块，一个方向上的特征向量SFo(x,y)可以表示为h向量的串联：
Figure BDA0001445892460000081
其中，1≤o≤H,ho1(x,y)表示中心点像素值，hop(x,y,∑)表示(x,y)在不同尺度∑s上第p个采样点梯度方向为o的点，1≤p≤P。
考虑到神经节细胞的动态调整机制，对上述每个采样点都添加两个与采样点固有尺度相邻的尺度。对于最小尺度的采样点，只添加第二大的尺度，对于最大尺度的采样点，只添加倒数第二大的尺度。以(x,y)为中心的图像块，一个方向上的多尺度特征向量MFo(x,y)定义如下：
Figure BDA0001445892460000082
公式(5)是公式(4)的多尺度形式，公式(4)是对公式(3)生成的梯度方向图进行抽样获取。对于N个大小相同的图像块Xi，分别提取其多个通道的多尺度特征
Figure BDA0001445892460000083
维数为d。然后将所有图像块的特征组成特征矩阵
Figure BDA0001445892460000084
每个通道特征分别生成一个特征矩阵F，则一个测试图像的特征可表示为多个特征矩阵的组合F＝[F1,F2,...,FH]。
步骤三：对多个特征矩阵建立低秩分解模型，即多任务稀疏追踪模型(multi-tasksparsity pursuit，MTSP)。
MTSP模型通过求解下面的凸优化问题得到一个联合稀疏矩阵：
Figure BDA0001445892460000085
其中，Lo表示在o方向分解出的低秩矩阵，So表示在o方向上分解出的稀疏矩阵。||·||*表示矩阵的核范数，为矩阵奇异值之和；||·||1是
Figure BDA0001445892460000086
范数，为向量中各元素的绝对值之和。λ为控制低秩度和稀疏度的平衡因子，λ取为0.75。
步骤四：通过方向交替乘子方法对MTSP模型进行求解，得到每个图像块的稀疏矩阵。
MTSP模型显然是个凸优化问题，可以通过方向交替乘子方法(alternatingdirection method of multipliers，ADMM)有效解决。
公式(6)的求解可以通过最小化下面的增广拉格朗日函数
Figure BDA0001445892460000091
求解：
Figure BDA0001445892460000092
其中，
Figure BDA0001445892460000093
为核范数Frobenius范数的平方，即矩阵中所有元素的平方和，即
Figure BDA0001445892460000094
Y是拉格朗日乘数；β＞0是惩罚参数，设为0.15；Tr是矩阵的迹，即矩阵奇异值的和。
使用ADMM交替迭代地搜索最优的低秩矩阵、稀疏矩阵、拉格朗日乘数。每次迭代的详细信息为：
更新低秩矩阵：当稀疏矩阵和拉格朗日乘数固定时，更新
Figure BDA0001445892460000095
可以通过下面公式求解：
Figure BDA0001445892460000096
Figure BDA0001445892460000097
表示在第o个方向上，第k次迭代计算得出的低秩矩阵；
Figure BDA0001445892460000098
表示在第o个方向上，第k次迭代计算得出的稀疏矩阵；
Figure BDA0001445892460000099
表示在第o个方向上，第k次迭代计算得出的拉格朗日乘数；
更新稀疏矩阵：当低秩矩阵和拉格朗日乘数固定时，得到以下最小化问题：
Figure BDA00014458924600000910
其中，
Figure BDA00014458924600000911
表示在第o个方向上，第k+1次迭代计算得出的稀疏矩阵，
Figure BDA00014458924600000912
的封闭解如下所示：
Figure BDA00014458924600000913
其中，shrink(·)是软阈值函数，定义如下：
shrink(Z,t)＝sign(X)max(abs(X)-t,0)(11)
其中，Z表示要处理的对象；t为设置的阈值；max(·)表示取最大值操作；abs(·)表示取绝对值操作。
更新拉格朗日乘数：通过以下公式获得
Figure BDA0001445892460000101
Figure BDA0001445892460000102
步骤五：求每个图像块的显著度得到显著图，采用阈值分割算法对显著图进行分割定位疵点区域。
经过步骤四分解出H个稀疏矩阵S1,S2,...,SH，然后，为了求解第i个图像块Xi的显著度，定义如下：
Figure BDA0001445892460000103
||So(:,i)||2表示So的第i列的
Figure BDA0001445892460000105
范数。Sal(Xi)越大，表明图像块Xi显著度越高，为疵点的概率越大；相反，Sal(Xi)越小，表明Xi显著度越低，为疵点的概率越小。这样每个图像块都有个显著度值，这样由所有图像块显著度值构成一个显著图SM。计算显著图SM所有值的均值和方差，分别表示为μ和σ。然后采用阈值分割算法对显著度进行分割：
Figure BDA0001445892460000104
其中，c为预先设置的常量，设为2.7，c的值越大，SM(x,y)判为背景的概率越大；c的值越小，SM(x,y)判为背景的概率越小。0表示像素值处于背景区域；255表示处于疵点区域。
具体实施例：
在具体实施例中，从织物图像库中随机挑选几类常见的疵点图像(包括错纬、断经、跳花、破损、断纬等)，图片大小均为256pixel×256pixel，如图3(a)所示，其由上到下依次是疵点图像。图像块大小选为16pixel×16pixel。选取的特征维数d为128，平衡因子λ为0.75，通道数H＝8。对图3(a)中基于低层特征小波变换的显著性模型生成的显著图如图3(b)所示，从图中可以看出该方法针对复杂的模式图像，几乎不能有效检测疵点区域。对图3(a)中基于方向梯度直方图和低秩分解模型生成的显著图如图3(c)所示，从图中可以看出该方法对前两幅纹理相对简单的织物图像，取得了不错的检测效果，但对后面几幅图像，检测效果较差。对图3(a)中基于先验知识指导的最小乘方回归显著性模型生成的显著图如图3(d)所示，从图中可以看出，该方法对第二幅、第三幅疵点图像，仅能大致定位出疵点区域，但不能检测出疵点形状。对图3(a)中基于本发明方法得到的显著图如图3(e)所示，从图中可以看出，本发明方法能有效突出疵点区域和形状。对图3(e)中阈值分割检测结果的结果如图3(f)，可以看出本发明方法能有效定位出疵点区域，并能有效分割出疵点的形状。
本发明首先，将织物图像划分为大小相同的图像块，计算每个图像块的二阶梯度方向图，在二阶梯度方向图的基础上，采用视网膜P型神经节细胞的编码方式提取图像特征，进而生成特征矩阵；然后，针对特征矩阵，构建有效的低秩分解模型，通过方向交替乘子方法对其进行优化求解，生成低秩矩阵和稀疏矩阵；最后采用阈值分割算法对由稀疏矩阵生成的显著图进行分割，从而定位出疵点位置。本发明综合考虑了织物纹理特征的复杂性和疵点种类的多样性，提取能有效表征织物纹理特性的二阶特征，并采用联合低秩分解模型，有效的实现疵点与背景的快速分离，具有较高的检测精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，其步骤如下：
步骤一：将原始织物图像均匀分成大小相同、互不重叠的图像块；
步骤二：计算每个图像块的多通道二阶梯度方向图，基于P型神经节细胞的编码方式，提取图像块的多个通道二阶梯度特征，将所有图像块多通道特征组成多特征矩阵，实现多通道二阶梯度特征矩阵的提取；
步骤三：对多个特征矩阵建立低秩分解模型，得到MTSP模型；
步骤四：通过方向交替乘子方法对MTSP模型进行求解，得到每个图像块的稀疏矩阵；
步骤五：通过稀疏矩阵求每个图像块的显著度，所有图像块显著度组合得到显著图，采用阈值分割算法对显著图进行分割定位疵点区域；
所述MTSP模型为：
Figure FDA0002498773420000011
其中，Lo表示在o方向分解出的低秩矩阵，So表示在o方向上分解出的稀疏矩阵；||·||*表示矩阵的核范数，||·||1是l1范数，λ为控制低秩度和稀疏度的平衡因子；
MTSP模型的求解利用最小化增广拉格朗日函数
Figure FDA0002498773420000012
求解：
Figure FDA0002498773420000013
其中，
Figure FDA0002498773420000014
为核范数Frobenius范数的平方；Y是拉格朗日乘数；β＞0是惩罚参数；Tr是矩阵的迹；
所述最小化增广拉格朗日函数F使用ADMM交替迭代地搜索最优的低秩矩阵、稀疏矩阵、拉格朗日乘数；每次迭代的方法为：
更新低秩矩阵：当稀疏矩阵和拉格朗日乘数固定时，更新
Figure FDA0002498773420000015
Figure FDA0002498773420000016
其中，
Figure FDA0002498773420000017
表示在第o个方向上、第k次迭代计算得出的低秩矩阵；
Figure FDA0002498773420000018
表示在第o个方向上、第k次迭代计算得出的稀疏矩阵；
Figure FDA0002498773420000019
表示在第o个方向上、第k次迭代计算得出的拉格朗日乘数；
更新稀疏矩阵：当低秩矩阵和拉格朗日乘数固定时，得到最小化问题：
Figure FDA0002498773420000021
其中，
Figure FDA0002498773420000022
表示在第o个方向上、第k+1次迭代计算得出的稀疏矩阵，
Figure FDA0002498773420000023
的封闭解为：
Figure FDA0002498773420000024
其中，shrink(·)是软阈值函数，且：shrink(Z,t)＝sign(X)max(abs(X)-t,0)其中，Z表示要处理的对象，t为设置的阈值，max(·)表示取最大值操作，abs(·)表示取绝对值操作；
更新拉格朗日乘数：通过以下公式获得
Figure FDA0002498773420000025
2.根据权利要求1所述的基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，把大小为A×B的图像X均匀分为大小为m×m的图像块Xi，其中i＝1,2,……,N，N为图像块的数目，图像块互不重叠；其中，m为16，A和B取值为大于等于256、小于等于1024的整数，
Figure FDA0002498773420000026
Figure FDA0002498773420000027
为向下取整。
3.根据权利要求1所述的基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，所述计算每个图像块的多通道二阶梯度方向图的方法为：
(1)计算每个图像块Xi各个方向的一阶梯度方向图：
Figure FDA0002498773420000028
其中，o是梯度方向，H表示梯度方向数，即通道的个数；(·)+是非负算子；
(2)将一阶梯度方向图Go作为输入，计算其二阶梯度图：
Figure FDA0002498773420000029
4.根据权利要求1所述的基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，所述多通道二阶梯度特征矩阵的提取方法为：
(1)将每个二阶梯度图Gseco采用S+1不同尺度∑s的高斯卷积核进行卷积，其中1≤s≤S，S为尺度数，生成二阶高斯卷积方向图
Figure FDA00024987734200000210
其中，*为卷积操作，
Figure FDA00024987734200000211
为尺度是∑s的高斯卷积核；
(2)对二阶高斯卷积方向图的每个方向，用相邻两幅梯度方向图的小尺度二阶高斯卷积方向图减去大尺度二阶高斯卷积方向图得到二阶DoG卷积的梯度方向图：
Figure FDA00024987734200000212
在每个方向下共得到S个二阶DoG卷积的梯度方向图；
(3)分别提取N个图像块Xi的多个通道的多尺度特征
Figure FDA00024987734200000213
维数为d；然后将所有图像块的多尺度特征特征组成特征矩阵
Figure FDA00024987734200000214
每个通道特征分别生成一个特征矩阵Fo，则一个图像的特征表示为多特征矩阵：F＝[F1,F2,...,FH]。
5.根据权利要求4所述的基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，以像素坐标(x,y)为中心的图像块，一个方向上的多尺度特征向量MFo(x,y)为：
Figure FDA0002498773420000031
其中，梯度方向1≤o≤H，H表示梯度方向数，ho1(x,y)表示中心点像素值，hop(x,y,Σs)表示(x,y)在不同尺度Σs上第p个采样点梯度方向为o的点，1≤p≤P，P表示P型神经节细胞感受野的每个同心圆上抽样点的数目，1≤s≤S，S为尺度数。
6.根据权利要求1所述的基于多特征矩阵低秩分解的织物疵点检测方法，其特征在于，步骤四分解出H个稀疏矩阵S1,S2,...,SH，第i个图像块Xi的显著度为：
Figure FDA0002498773420000032
其中，||So(:,i)||2表示稀疏矩阵So的第i列的l2范数；
所有图像块显著度的值构成一个显著图SM，计算显著图SM所有显著度的值的均值和方差，分别表示为μ和σ，采用阈值分割算法对显著图SM进行分割：
Figure FDA0002498773420000033
其中，c为预先设置的常量，(x，y)表示图像中的像素坐标，0表示像素值处于背景区域；255表示处于疵点区域。
CN201711013036.3A 2017-10-26 2017-10-26 一种基于多特征矩阵低秩分解的织物疵点检测方法 Active CN107705306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711013036.3A CN107705306B (zh) 2017-10-26 2017-10-26 一种基于多特征矩阵低秩分解的织物疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711013036.3A CN107705306B (zh) 2017-10-26 2017-10-26 一种基于多特征矩阵低秩分解的织物疵点检测方法

Publications (2)

Publication Number Publication Date
CN107705306A CN107705306A (zh) 2018-02-16
CN107705306B true CN107705306B (zh) 2020-07-03

Family

ID=61182753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711013036.3A Active CN107705306B (zh) 2017-10-26 2017-10-26 一种基于多特征矩阵低秩分解的织物疵点检测方法

Country Status (1)

Country Link
CN (1) CN107705306B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102161B1 (ko) * 2018-05-18 2020-04-20 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
US11625822B2 (en) * 2018-08-07 2023-04-11 Ashok OSWAL System and method for determining quality attributes of raw material of textile
CN109410192B (zh) * 2018-10-18 2020-11-03 首都师范大学 一种多纹理分级融合的织物缺陷检测方法及其装置
CN109461166A (zh) * 2018-10-26 2019-03-12 郑州轻工业学院 一种基于kcf混合mfo的快速运动目标跟踪方法
CN109615604B (zh) * 2018-10-30 2020-12-18 中国科学院自动化研究所 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN109712113A (zh) * 2018-11-28 2019-05-03 中原工学院 一种基于级联低秩分解的织物疵点检测方法
CN109799829B (zh) * 2019-02-28 2020-06-02 清华大学 一种基于自组织映射的机器人群体协同主动感知方法
CN110310277B (zh) * 2019-07-05 2020-07-24 中原工学院 基于深度特征和ntv-rpca的织物疵点检测方法
CN111462064B (zh) * 2020-03-26 2023-05-12 西安工程大学 一种基于大脑皮层细胞方向选择性的织物疵点检测方法
CN111862027B (zh) * 2020-07-15 2024-02-20 常州大学 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法
CN112435232A (zh) * 2020-11-23 2021-03-02 南京信息工程大学 一种基于哈尔小波结合图像方差的疵点检测方法
CN113554593B (zh) * 2021-06-15 2023-07-25 汕头大学 一种脉络膜厚度估计方法、装置、设备及介质
CN113269777B (zh) * 2021-06-18 2023-10-27 常州信息职业技术学院 基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法
CN116092016B (zh) * 2023-04-06 2023-06-27 成都超有范儿科技有限公司 基于云技术多维度识别功能的系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678788A (zh) * 2016-02-19 2016-06-15 中原工学院 一种基于hog和低秩分解的织物疵点检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678788A (zh) * 2016-02-19 2016-06-15 中原工学院 一种基于hog和低秩分解的织物疵点检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chaodie Liu et al..Fabric Defect Detection Algorithm Based on Multi-channel Feature Extraction and Joint Low-Rank Decomposition.《ICIG 2017》.2017, *
Fabric Defect Detection Algorithm Based on Multi-channel Feature Extraction and Joint Low-Rank Decomposition;Chaodie Liu et al.;《ICIG 2017》;20170915;第443-453页 *

Also Published As

Publication number Publication date
CN107705306A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107705306B (zh) 一种基于多特征矩阵低秩分解的织物疵点检测方法
US20200401842A1 (en) Human Hairstyle Generation Method Based on Multi-Feature Retrieval and Deformation
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN112862792B (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
Machairas et al. Waterpixels: Superpixels based on the watershed transformation
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN106650744B (zh) 局部形状迁移指导的图像对象共分割方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN105701493A (zh) 基于阶层图形的图像提取以及前景估测的方法和系统
CN111046868A (zh) 基于矩阵低秩稀疏分解的目标显著性检测方法
CN105868711B (zh) 一种基于稀疏低秩的人体行为识别方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN111862027A (zh) 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法
CN108985161A (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
Samsi et al. Colorization of H&E stained tissue using Deep Learning
CN107945164B (zh) 基于峰值阈值、旋转校准和混合特征的纺织品瑕疵检测方法
CN111709429B (zh) 一种基于卷积神经网络的机织物结构参数识别方法
CN111815620B (zh) 一种基于卷积特征和低秩表示的织物疵点检测方法
Hao et al. Active cues collection and integration for building extraction with high-resolution color remote sensing imagery
CN113591740B (zh) 基于深度学习的复杂河流环境下泥沙颗粒识别方法及装置
EP2776979B1 (en) Post processing for improved generation of intrinsic images
Marques et al. Deep learning-based pore segmentation of thin rock sections for aquifer characterization using color space reduction
CN111462014B (zh) 一种基于深度学习和模型驱动的单图去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 451191 No. 1 Huaihe Road, Shuang Hu Economic and Technological Development Zone, Xinzheng, Zhengzhou, Henan

Applicant after: Zhongyuan University of Technology

Address before: 451191 No. 1 Huaihe Road, Shuanghu Town Economic and Technological Development Zone, Zhengzhou City, Henan Province

Applicant before: Zhongyuan University of Technology

GR01 Patent grant
GR01 Patent grant