CN112802074A - 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 - Google Patents
一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 Download PDFInfo
- Publication number
- CN112802074A CN112802074A CN202110012031.9A CN202110012031A CN112802074A CN 112802074 A CN112802074 A CN 112802074A CN 202110012031 A CN202110012031 A CN 202110012031A CN 112802074 A CN112802074 A CN 112802074A
- Authority
- CN
- China
- Prior art keywords
- image
- textile
- illumination
- illumination correction
- quaternion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000004753 textile Substances 0.000 title claims abstract description 77
- 238000005286 illumination Methods 0.000 title claims abstract description 67
- 238000012937 correction Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 239000004744 fabric Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法，包括光照校正阶段，背景纹理去除阶段和提取视觉显著特征阶段；所述光照校正阶段通过光照校正方法解决纺织品图像受到光照不均匀影响的问题；所述背景纹理去除阶段通过L0梯度最小化方法去除纺织品图像的背景纹理；所述提取视觉显著特征阶段通过提取纺织品图像的视觉显著特征进行纺织品瑕疵的检测与识别。本发明的有益效果：本发明提供了一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法，该方法从全局角度对图像进行光照校正、从局部角度增强图像的对比度，结合视觉显著特征，提高了对受光照影响的纺织品图像的瑕疵检测效果。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及图像特征提取。
背景技术
纺织品的瑕疵缺陷会带来巨大的经济损失，保证纺织品的质量、检测纺织品的瑕疵尤为重要。现今，纺织品的瑕疵检测主要针对2类织物：1)没有复杂的纹理图案，结构简单，多为纯色纺织品。2)具有复杂图案，含周期性的纺织品。
对于第1类织物，研究方法已经较为成熟。主要分为：1)统计法，如共生矩阵法、形态学法；2)谱方法，如傅里叶变换、小波变换、Gabor滤波；3)模型法，如Markov随机场模型；4)训练法，如神经网络；统计法和谱方法对于面积过大或者过小的瑕疵容易造成误检。模型法需要预先定义模型，且对于不同类型瑕疵需要定义不同模型，不具有普适性。训练法需要大量样本作为训练集，并且训练参数需要耗费很长时间。对于第2类织物，如今较为成熟可用的方法不多，主要为有监督的基于小波预处理的黄金图像相减法(WaveletPreprocessed Golden Image Subtraction，WGIS)、布林带法(Bollinger Bands，BB)、规则带法(Regular Bands，RB)、棋盘法(Elo Rating，ER)。这类方法实时性不佳，检测瑕疵的查准率和查全率都有待提高。
频率调谐显著性算法(Frequency-tuned Salient Region Detection，FT)将瑕疵图像由RGB(Red Green Blue)颜色空间转到LAB颜色空间，利用瑕疵与背景颜色、亮度的差异将瑕疵视为具有显著性特征的区域。基于小波变换的低层视觉显著性检测算法采用多方向的小波对LAB颜色空间的三通道分别进行二维离散小波变换，采用全局与局部特征融合的方式形成瑕疵区域的显著图。
在采集纺织品瑕疵图像过程中，易受到光照不均匀的影响，增大图像特征提取的难度，提高瑕疵检测的误检率，传统的直方图均衡法和自商图像法易使图像过增强，光照校正效果不佳。近年来，同态滤波法和基于Retinex理论的方法被广泛用于图像的光照校正。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述纺织品瑕疵检测过程中存在不均匀光照影响、复杂纹理干扰以及需要大量样本的问题，提出了本发明。
因此，本发明提供了一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法，提高瑕疵检测率和增强检测的鲁棒性。
为了解决上述技术问题，本发明提供如下技术方案：首先，利用多尺度侧窗引导滤波提取瑕疵图像的光照分量，然后利用光照分量的分布特性调整构造的二维伽马校正函数的参数，提高光照过暗区域的亮度值，结合局部对比度增强算法实现从全局和局部角度对图像进行自适应的光照校正。其次，利用L0梯度最小化方法去除纺织品图像的背景纹理。然后将纺织品图像表示为四元数图像，图像中的每个像素由一个颜色、强度和运动特征组成的四元数表示，并利用四元傅里叶变换获得纺织品图像的显著图。最后，对显著图进行区域生长分割，实现瑕疵与背景的分离，并用形态学操作去除细小的可能造成误检的非瑕疵点，完成瑕疵检测流程。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述光照校正过程还包括以下步骤，首先提取图像的光照分量I(x,y)，(x,y)为图像的像素点位置；其次在全局角度构建伽马校正函数对图像进行光照校正；最后在局部角度增强图像的对比度。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述背景纹理去除阶段还包括以下步骤，让q表示输入的纺织品图像，S为平滑处理后的图像，
和
分别为处理后的图像在p处沿x和y方向的偏导数，图像S在p像素出的梯度可表示为：
其中λ是一个非负参数，直接控制平滑项的权重。β是一个自动适应的参数，约束着被引入的变量与其对应图像梯度的相似性。h是辅助变量。通过交替计算h和S得到输出结果。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述提取视觉显著特征阶段还包括以下步骤，首先将纺织品图像表示为四元数图像；其次利用四元傅里叶变换提取四元数图像的显著图；最后利用高斯滤波和区域生长法对显著图进行阈值分割。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述提取图像的光照分量过程还包括以下步骤，首先将图像由RGB颜色空间转为HSV颜色空间，构建多尺度的侧窗箱型滤波器(MS-BOX)：
其中
F为滤波核，qi和Ii分别为输入图像q和输出图像I在第i点处的强度，r为侧窗箱型滤波器的窗口半径，
k∈[0,3]，ρ∈{0,r}，j为尺度，n为尺度的数目；其次利用MS-BOX与HSV空间下的V分量进行卷积得到预测的光照分量I(x,y)：
I(x,y)＝MS-BOX(x,y)·V(x,y)
最后构建二维伽马校正函数对图像进行光照分量调整：
其中O(x,y)为调整后的输出，m为I(x,y)的均值，λ为强度增强的指数。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述在局部角度增强图像的对比度过程还包括以下步骤，利用局部对比度增强法增强图像的对比度：
其中：Θ为预定义的阈值，L(m,n)表示在像素(m,n)处的灰度值。
表示像素(m,n)在Ω领域范围内的局部灰度值，本发明采用5×5的领域，N是所选领域的像素数总和。由于Y(m,n)得到的局部值可正可负，本发明对其进行数据归一化处理：
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述纺织品图像表示为四元数图像过程还包括以下步骤，将图像I先由RGB颜色空间转为CIE LUV颜色空间。定义l，u，v表示图像I在LUV色彩空间中的不同通道。以此本发明创建了四个广泛调谐的颜色通道：
L＝l-(u+v)/2
U＝u-(l+v)/2
V＝v-(l+u)/2
Y＝(l+u)/2-|l-u|/2-v
在人类视觉注意力机制中，对颜色和色度的注意往往是相互对立的。本发明通过下式获得对立的颜色通道LU、VY和强度通道F：
LU＝L-U
VY＝V-Y
F＝(l+u+v)/3
根据以上得到的四个通道定义四元数q如下：
q＝f1+f2·μ2
f1＝E+LU·μ1
f2＝VY+F·μ1
其中μi,i＝1,2满足μi 2＝-1,μ1⊥μ2，E为Canny算子提取的边缘特征通道。
作为本发明所述的光照校正与视觉显著特征的纺织品瑕疵检测方法的一种优选方案，其中：所述利用四元傅里叶变换提取四元数图像的显著图过程还包括以下步骤，四元数图像q的四元傅里叶变换可以表示为如下形式：
Q[u,v]＝F1[u,v]+F2[u,v]μ2
其中(n,m)和(u,v)分别表示像素点在频域和时域中的位置，N和M为图像的长度和宽度。逆四元傅里叶变换的形式为：
本发明将Q[u,v]表示为极坐标形式：
Q[u,v]＝||Q[u,v]||eμφ(u,v)
其中||·||为幅度谱，φ(u,v)为相位谱，μ为纯四元数矩阵。最后对Q[u,v]的逆四元傅里叶变换结果
进行高斯滤波获得显著图S：
其中g为高斯核为2.5的高斯滤波器。
本发明的有益效果：本发明提供了一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法，该方法从全局角度对图像进行光照校正、从局部角度增强图像的对比度，结合视觉显著特征，提高了对受光照影响的纺织品图像的瑕疵检测效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实例所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法的流程示意图；
图2为本发明第二个实例所述的多尺度侧窗箱型滤波的窗口示意图；
图3为本发明第三个实例所述的纺织品瑕疵图像背景纹理去除图；
图4为本发明第三个实例所述的L0梯度最小化方法结果图；
图5为本发明第二个实例所述的光照分量提取结果对比图；
图6为本发明第二个实例所述的不同光照校正方法对比图；
图7为本发明第四个实例所述的星型图案纺织品瑕疵检测显著图；
图8为本发明第四个实例所述的箱型图案纺织品瑕疵检测显著图；
图9为本发明第四个实例所述的点型图案纺织品瑕疵检测显著图；
图10为本发明第四个实例所述的星型图案纺织品不同算法瑕疵检测结果比较图；
图11为本发明第四个实例所述的盒型图案纺织品不同算法瑕疵检测结果比较图；
图12为本发明第四个实例所述的点型图案纺织品不同算法瑕疵检测结果比较图；
图13为本发明第四个实例所述的不同类型图案纺织品瑕疵检测的查全率(TPR)-查准率(PPV)散点图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的第一个实施例，提供了一种光照校正与视觉显著特征的纺织品瑕疵检测方法的流程示意图，如图1所示，一种光照校正与视觉显著特征的纺织品瑕疵检测方法包括：光照校正阶段，背景纹理去除阶段和提取视觉显著特征阶段；所述光照校正阶段在全局角度提取图像的光照分量，构造二维伽马校正函数，对图像进行光照校正，在局部角度利用局部对比度增强法增强图像的对比度，解决纺织品图像受到光照不均匀影响的问题；所述背景纹理去除阶段通过L0梯度最小化方法去除纺织品图像的背景纹理。所述提取视觉显著特征阶段将图像表示为四元数图像，并用四元傅里叶变换提取四元数图像的视觉显著特征进行纺织品瑕疵的检测与识别。
具体的，本实施例所述的提取图像的光照分量过程还包括以下步骤，首先将图像由RGB颜色空间转为HSV颜色空间，构建多尺度的侧窗箱型滤波器(MS-BOX)：
其中
F为滤波核，qi和Ii分别为输入图像q和输出图像I在第i点处的强度，r为侧窗箱型滤波器的窗口半径，
k∈[0,3]，ρ∈{0,r}，j为尺度，n为尺度的数目；其次利用MS-BOX(Multi-scale Side Window Box Filter，多尺度侧窗箱型滤波器)与HSV(Hue Saturation Value，色调饱和度亮度)空间下的V分量进行卷积得到预测的光照分量I(x,y)：
I(x,y)＝MS-BOX(x,y)·V(x,y)
最后构建二维伽马校正函数对图像进行光照分量调整：
其中O(x,y)为调整后的输出，m为I(x,y)的均值，λ为强度增强的指数。
本实施例所述的在局部角度增强图像的对比度过程还包括以下步骤，用局部对比度增强法增强图像的对比度：
其中：Θ为预定义的阈值，L(m,n)表示在像素(m,n)处的灰度值。
表示像素(m,n)在Ω领域范围内的局部灰度值，本发明采用5×5的领域，N是所选领域的像素数总和。由于Y(m,n)得到的局部值可正可负，本发明对其进行数据归一化处理：
本实施例所述的背景纹理去除阶段还包括以下步骤，让q表示输入的纺织品图像，S为平滑处理后的图像，
和
分别为处理后的图像在p处沿x和y方向的偏导数，图像S在p像素出的梯度可表示为：
其中λ是一个非负参数，直接控制平滑项的权重。β是一个自动适应的参数，约束着被引入的变量与其对应图像梯度的相似性。h是辅助变量。通过交替计算h和S得到输出结果。
本实施例所述的纺织品图像表示为四元数图像过程还包括以下步骤，将图像I先由RGB颜色空间转为LUV颜色空间。定义l，u，v表示图像I在LUV色彩空间中的不同通道。以此本发明创建了四个广泛调谐的颜色通道：
L＝l-(u+v)/2
U＝u-(l+v)/2
V＝v-(l+u)/2
Y＝(l+u)/2-|l-u|/2-v
在人类视觉注意力机制中，对颜色和色度的注意往往是相互对立的。本发明通过下式获得对立的颜色通道LU、VY和强度通道F：
LU＝L-U
VY＝V-Y
F＝(l+u+v)/3
根据以上得到的四个通道定义四元数q如下：
q＝f1+f2·μ2
f1＝E+LU·μ1
f2＝VY+F·μ1
其中μi,i＝1,2满足
μ1⊥μ2，E为Canny算子提取的边缘特征通道。
本实施例所述的利用四元傅里叶变换提取四元数图像的显著图过程还包括以下步骤，四元数图像q的四元傅里叶变换可以表示为如下形式：
Q[u,v]＝F1[u,v]+F2[u,v]μ2
其中(n,m)和(u,v)分别表示像素点在频域和时域中的位置，N和M为图像的长度和宽度。逆四元傅里叶变换的形式为：
本发明将Q[u,v]表示为极坐标形式：
Q[u,v]＝||Q[u,v]||eμφ(u,v)
其中||·||为幅度谱，φ(u,v)为相位谱，μ为纯四元数矩阵。最后对Q[u,v]的逆四元傅里叶变换结果
进行高斯滤波获得显著图S：
其中g为高斯核为2.5的高斯滤波器。
实施例2
参照图2、图5和图6，为本发明的第二个实施例，提供了光照校正的示意和结果对比图；其中图2为侧窗箱型滤波的窗口示意图，通过调整窗口大小，将其改造成多尺度形式，加强光照校正过程的鲁棒性；从图5中可看出，与多尺度滚动引导滤波相比，多尺度侧窗箱型滤波在一定程度上消除了光照分量图中的光晕现象，这是因为在多尺度侧窗箱型滤波能最大程度保留图像的边缘信息。本实施例使用的多尺度侧窗箱型滤波提取出来的光照分量可以有效的描述光照变化信息，符合对光照分量提取的特征要求。从图6中可看出，本发明对纺织品图像的光照校正效果较其他方法更好，可有效的改善细节特征的可视化。Retinex和同态滤波方法虽然可以基本消除光照的影响，但是仍有部分区域亮度过暗，不能有效的提取细节特征。自商图像法使图像过增强，不利于细节特征的提取，且降低了瑕疵与背景的对比度。
实施例3
参照图3和图4，为本发明的第三个实施例，提供了图像背景纹理去除的过程；本实施例所述的背景纹理去除阶段还包括以下步骤，让q表示输入的纺织品图像，S为平滑处理后的图像，
和
分别为处理后的图像在p处沿x和y方向的偏导数，图像S在p像素出的梯度可表示为：
其中λ是一个非负参数，直接控制平滑项的权重。β是一个自动适应的参数，约束着被引入的变量与其对应图像梯度的相似性。h是辅助变量。通过交替计算h和S得到输出结果。经过L0梯度最小化算法出来后，纺织品图像复杂的纹理背景被去除，结果如图3(b)所示。注意到瑕疵的高对比度边缘得到了保留，缺陷特征更为突出，其网格图如图4(b)所示。
实施例4
参照图7-13，为本发明的第四个实施例；星型图案纺织品瑕疵检测显著图如图7所示；箱型图案纺织品瑕疵检测显著图如图8所示；点型图案纺织品瑕疵检测显著图如图9所示。从图7-图9可看出，本发明可以有效地突出具有显著性特征的瑕疵区域，对不同类型瑕疵的适应性和鲁棒性较强。从图10可看出，本发明在星型图案纺织品上的检测精度在视觉上是好于其余方法的，瑕疵的定位和形态都与ground-truth最为接近，BB和RB方法基本无法检测；从图11可看出，本发明和SR方法都可检测出瑕疵，但本发明在瑕疵形态上与ground-truth更接近，ER方法引入了很多非瑕疵的错误检测；从图12可看出，除了RB方法，其余方法皆可检测出瑕疵，本发明的检测效果更为突出。在图13中，TPR与PPV的值越接近1(100％)，说明方法的综合查全查准效果越好，散点值分布越集中，说明方法的鲁棒性和普适性性能越好；从图13可看出，本发明在星型图案、箱型图案和点型图案纺织品瑕疵检测的TPR-PPV散点图中都最为接近图中右上角，即本发明的综合查全-查准效果更佳，同时本发明的散点值最聚集，表明本发明对不同图案纺织品的瑕疵检测鲁棒性和适应性更强。
为了评价本发明的普适性和鲁棒性，对标准瑕疵图像Ground-truth作0-1操作，将瑕疵区域标记为1，无瑕区域标记为0；定义样本的瑕疵检测图与Ground-truth均为1的部分为真阳性(True Positive，TP)，均为0的部分为真阴性(True Negative，TN)，而检测结果中标计为1，Ground-truth标记为0的部分为假阳性(False Positive，FP)，反之为假阴性(False Negative，FN)；定义真阳性率(True Positive Rate，TPR)，也称查全率，假阳性率(False Positive，FPR)，也称误检率，阳性预测值(Positive Predictive Value，PPV)，也称查准率，阴性预测值(Negative Predictive Value，NPV)，将以上4个指标作为方法的评价标准，TPR、PPV和NPV的值越高，FPR的值越低，瑕疵检测的效果就越好；表1-表3分别为不同方法的纺织品瑕疵检测数值结果对比。
表1 不同方法对星型图案纺织品瑕疵检测效果
Table1 Numerical results of each defect type for star-pattern fabric
表2 不同方法对箱型图案纺织品瑕疵检测效果
Table2 Numerical results of each defect type for box-pattern fabric
表3 不同方法对点型图案纺织品瑕疵检测效果
Table3 Numerical results of each defect type for dot-pattern fabric
从表1中可看出，对于星型图案纺织品，本发明的平均TPR和PPV是最高的，同时FPR是最低的，表明本文方法取得了更好的平均查全率和查准率，同时误检率最低。从表2中可看出，对于盒型图案纺织品，本发明的平均TPR和平均NPV是最高的。RB虽然取得了最高的平均PPV，但是平均TPR很低，平均FPR偏高，不利于实际生产。SR虽然取得了最低的平均FPR，但是平均TPR和平均NPV不是最高的。从表3中可看出，对于点型图案纺织品，本发明的平均TPR和平均NPV是最高的。RB虽然取得了最高的平均PPV，但是平均TPR很低，表明该算法的查全效果不佳。ER虽然取得了最低的平均FPR，但是平均TPR和平均NPV不是最高的。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：包括，
光照校正阶段，通过光照校正方法解决纺织品图像受到光照不均匀影响的问题；
背景纹理去除阶段，通过L0梯度最小化方法去除纺织品图像的背景纹理；以及，
提取视觉显著特征阶段，通过提取纺织品图像的视觉显著特征进行纺织品瑕疵的检测与识别。
2.如权利要求1所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述光照校正方法还包括，
提取图像的光照分量I(x,y)，(x,y)为图像的像素点位置；
在全局角度构建伽马校正函数对图像进行光照校正；
在局部角度增强图像的对比度。
3.如权利要求1或2所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述L0梯度最小化方法还包括，
让q表示输入的纺织品图像，S为平滑处理后的图像，
和
分别为处理后的图像在p处沿x和y方向的偏导数，图像S在p像素出的梯度可表示为：
其中，λ是一个非负参数，直接控制平滑项的权重；β是一个自动适应的参数，约束着被引入的变量与其对应图像梯度的相似性；h是辅助变量；通过交替计算h和S得到输出结果。
4.如权利要求1或2所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述提取视觉显著特征阶段还包括，
将纺织品图像表示为四元数图像；
利用四元傅里叶变换提取四元数图像的显著图；
利用高斯滤波和区域生长法对显著图进行阈值分割。
5.如权利要求2所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述提取图像的光照分量I(x,y)，(x,y)为图像的像素点位置，包括，
将图像由RGB颜色空间转为色调饱和度亮度颜色空间，构建多尺度侧窗箱型滤波器：
其中，
F为滤波核，qi和Ii分别为输入图像q和输出图像I在第i点处的强度，r为侧窗箱型滤波器的窗口半径，
ρ∈{0,r}，j为尺度，n为尺度的数目；
利用多尺度侧窗箱型滤波器与色调饱和度亮度空间下的V分量进行卷积得到预测的光照分量I(x,y)：
I(x,y)＝MS-BOX(x,y)·V(x,y)
构建二维伽马校正函数对图像进行光照分量调整：
其中，O(x,y)为调整后的输出，m为I(x,y)的均值，λ为强度增强的指数。
6.如权利要求2所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述在局部角度增强图像的对比度，包括，
利用局部对比度增强法增强图像的对比度：
其中：Θ为预定义的阈值，L(m,n)表示在像素(m,n)处的灰度值，
表示像素(m,n)在Ω领域范围内的局部灰度值，采用5×5的领域，N是所选领域的像素数总和，由于Y(m,n)得到的局部值可正可负，对其进行数据归一化处理：
7.如权利要求4所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述将纺织品图像表示为四元数图像，包括，
将图像I先由RGB颜色空间转为CIE LUV颜色空间，其中，L表示亮度，U和V表示色度，定义l，u，v表示图像I在LUV色彩空间中的不同通道，以此创建四个广泛调谐的颜色通道：
L＝l-(u+v)/2
U＝u-(l+v)/2
V＝v-(l+u)/2
Y＝(l+u)/2-|l-u|/2-v
在人类视觉注意力机制中，对颜色和色度的注意往往是相互对立的，通过下式获得对立的颜色通道LU、VY和强度通道F：
LU＝L-U
VY＝V-Y
F＝(l+u+v)/3
根据以上得到的四个通道定义四元数q如下：
q＝f1+f2·μ2
f1＝E+LU·μ1
f2＝VY+F·μ1
其中，μi,i＝1,2满足
E为Canny算子提取的边缘特征通道。
8.如权利要求4所述的基于光照校正与视觉显著特征的纺织品瑕疵检测方法，其特征在于：所述利用四元傅里叶变换提取四元数图像的显著图，包括，
四元数图像q的四元傅里叶变换可以表示为如下形式：
Q[u,v]＝F1[u,v]+F2[u,v]μ2
其中，(n,m)和(u,v)分别表示像素点在频域和时域中的位置，N和M为图像的长度和宽度；
逆四元傅里叶变换的形式为：
将Q[u,v]表示为极坐标形式：
Q[u,v]＝||Q[u,v]||eμφ(u,v)
其中，||·||为幅度谱，φ(u,v)为相位谱，μ为纯四元数矩阵，对Q[u,v]的逆四元傅里叶变换结果
进行高斯滤波获得显著图S：
其中，g为高斯核为2.5的高斯滤波器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110012031.9A CN112802074A (zh) | 2021-01-06 | 2021-01-06 | 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110012031.9A CN112802074A (zh) | 2021-01-06 | 2021-01-06 | 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112802074A true CN112802074A (zh) | 2021-05-14 |
Family
ID=75808507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110012031.9A Withdrawn CN112802074A (zh) | 2021-01-06 | 2021-01-06 | 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802074A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN117372276A (zh) * | 2023-12-04 | 2024-01-09 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986065A (zh) * | 2018-04-19 | 2018-12-11 | 三明学院 | 一种经编织物瑕疵融合滤波检测方法、装置、设备和存储介质 |
| CN109507193A (zh) * | 2018-11-06 | 2019-03-22 | 江南大学 | 一种基于局部对比度增强与二值模式的织物瑕疵检测方法 |
| CN109949287A (zh) * | 2019-03-15 | 2019-06-28 | 江南大学 | 一种基于自适应分割与模板校正的织物瑕疵检测方法 |
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
| CN111080574A (zh) * | 2019-11-19 | 2020-04-28 | 天津工业大学 | 一种基于信息熵和视觉注意机制的织物疵点检测方法 |
-
2021
- 2021-01-06 CN CN202110012031.9A patent/CN112802074A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
| CN108986065A (zh) * | 2018-04-19 | 2018-12-11 | 三明学院 | 一种经编织物瑕疵融合滤波检测方法、装置、设备和存储介质 |
| CN109507193A (zh) * | 2018-11-06 | 2019-03-22 | 江南大学 | 一种基于局部对比度增强与二值模式的织物瑕疵检测方法 |
| CN109949287A (zh) * | 2019-03-15 | 2019-06-28 | 江南大学 | 一种基于自适应分割与模板校正的织物瑕疵检测方法 |
| CN111080574A (zh) * | 2019-11-19 | 2020-04-28 | 天津工业大学 | 一种基于信息熵和视觉注意机制的织物疵点检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| LAN DI 等: "Fabric Defect Detection Based on Illumination Correction and Visual Salient Features", 《SENSORS》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN114841977B (zh) * | 2022-05-17 | 2023-04-25 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
| CN117372276A (zh) * | 2023-12-04 | 2024-01-09 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
| CN117372276B (zh) * | 2023-12-04 | 2024-03-08 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934802B (zh) | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 | |
| Yiyang | The design of glass crack detection system based on image preprocessing technology | |
| CN109961426B (zh) | 一种人脸皮肤肤质的检测方法 | |
| CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
| CN105844278B (zh) | 一种多特征融合的织物扫描图案识别方法 | |
| CN103914708B (zh) | 基于机器视觉的食品品种检测方法及系统 | |
| CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| CN101059425A (zh) | 基于多光谱图像的纹理分析鉴别不同品种绿茶的方法和装置 | |
| CN108563979B (zh) | 一种基于航拍农田图像判别水稻稻瘟病病情的方法 | |
| CN114118144A (zh) | 抗干扰的航空遥感图像阴影精准检测方法 | |
| CN112802074A (zh) | 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法 | |
| CN108830857B (zh) | 一种自适应的汉字碑帖图像二值化分割方法 | |
| CN113793337A (zh) | 基于人工智能的机车配件表面异常程度评估方法 | |
| CN111738931A (zh) | 光伏阵列无人机航拍图像的阴影去除算法 | |
| CN115578660A (zh) | 基于遥感图像的土地地块分割方法 | |
| CN108460380A (zh) | 一种基于主颜色的竹条颜色分类方法及系统 | |
| He et al. | Structure-preserving texture smoothing via scale-aware bilateral total variation | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN201041547Y (zh) | 基于多光谱图像的纹理分析鉴别不同品种绿茶的装置 | |
| CN111611940A (zh) | 一种基于大数据处理的快速视频人脸识别方法 | |
| CN111862027A (zh) | 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法 | |
| CN103871084B (zh) | 蓝印花布图案识别方法 | |
| CN110807747A (zh) | 一种基于前景蒙版的文档图像降噪方法 | |
| KR100488014B1 (ko) | ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법 | |
| CN115063375A (zh) | 一种对排卵试纸检测结果进行自动分析的图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210514 |