CN113269777B - 基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法 - Google Patents

Abstract

本发明公开了一种基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法，包括，首先使用自编码器重构瑕疵样品图像，从而获得符合真实分布的无暇背景；其次，利用重构图像和原图像构造差异性矩阵作为后续检测的先验，并定义一个广义的卷积来增强瑕疵区域；然后，设计误差项来表征自编码器在无暇部分形成的重构误差；最后，对输入图像进行低秩分解，并使用显著性分割和阈值分割来提取瑕疵区域。本发明将自编码器引入低秩分解模型的优化部分，代替奇异值分解来优化低秩项，以获得唯一的最优解，从而解决当前模型存在的不确定多解问题。设计的广义卷积是非线性的，使得模型能够在稀疏项中鼓励瑕疵区域的同时惩罚无暇区域，从而获得更精确的检测结果。

Description

基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法

技术领域

本发明涉及纺织品检测技术领域，尤其是一种基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法。

背景技术

纺织品瑕疵检测旨在定位各种常见的织物表面瑕疵，是提高产品质量的关键环节之一。目前，该项工作大部分是由操作工人完成的。然而，人工检测的结果往往容易受到主观因素的影响，且精度较低。相反，基于计算机视觉的自动织物检测技术可以在满足一致性和客观性要求的同时保证较高的检测精度。因此，发展快速且准确的纺织品瑕疵检测方法已经成为计算机视觉领域的热点问题。

根据不同的纹理特征，可以将纺织品简单的分为两类：一类是具有简单纹理的平斜纹织物，另一类是具有周期性复杂纹理的织物。针对第一类织物的算法发展较早，经多年研究，已相对成熟。由于复杂的纹理背景，第二类织物的检测难度较高，但是，近几年陆续出现了大量针对性的算法。

由于现存的纺织品数据库都是小样本数据库，所以现存的方法大多都是传统方法。根据是否使用先验，现存的传统方法分为类：自下而上和自上而下。自下而上的模型从一般性的问题出发，通常使用亮度、颜色和纹理等低级特征计算全局相似性和局部差异性来定位瑕疵。这些方法的局限性在于，模型太依赖于瑕疵区域和无暇区域的特征差异性，当瑕疵区域相对低秩时，该类模型无法从背景中准确定位瑕疵位置。另一方面，自上而下的模型从可控部分出发，使用先验知识去指导后续的瑕疵定位。但是瑕疵样本的高度多样性限制了这些模型的一般性和可扩展性。

最近的研究趋势是使用高级先验知识引导特征选择和模型求解，以获得更精确的检测结果。基于这种思想，一系列改进的低秩恢复模型被提出并应用于纺织品瑕疵检测。这些基于低秩分解的纺织品瑕疵检测方法通常假定一幅图像由具有高度冗余信息的背景和稀疏的前景组成。背景部分通常位于低秩子空间，可以用低秩矩阵表示。相反，前景部分可以被当作噪声或者误差，用稀疏矩阵表示。因此，给定输入图像D，可以被分解为对应于无暇区域的低秩矩阵A和表示瑕疵区域的稀疏矩阵E。现有的研究忽略了(1)瑕疵区域的大小和损坏程度对重构低秩项的影响，当瑕疵区域严重破坏无暇纹理的结构特征或瑕疵区域面积太大时(例如粗块油污瑕疵)，奇异值分解算法对瑕疵区域的重构效果很差；(2)根据低秩分解理论，当低秩矩阵与稀疏矩阵有较高的相干性时，观测矩阵的分解性能会降低，即当瑕疵区域由多个非连续且相对低秩的小面积区域组成时，当前模型无法从复杂的背景纹理中分离出瑕疵区域。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法，使用自编码代替奇异值分解来优化传统模型的低秩项，以弥补奇异值算子的局限性，从而获得更符合真实分布的图像背景；利用重构图与原图的差异性构造差异性矩阵作为模型的先验，并定义一个广义的卷积来增强瑕疵区域，从而获得更精确的检测结果。

本发明采用的技术方案是：

基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法，包括：

采用自编码器对输入纺织品图像瑕疵图像进行重构，得到无瑕背景；

计算重构前后的差异性矩阵；

基于差异性矩阵计算重构误差和重构残差；

基于重构误差和重构残差计算瑕疵先验；

对瑕疵先验采用定义的广义卷积进行卷积处理；

将卷积处理过后的瑕疵先验和重构图像输入低秩分解模型，进行低秩分解；

将低秩分解得到的稀疏矩阵进行显著性检测和阈值分割处理，定位最终的检测结果。

进一步的，所述采用自编码器对输入纺织品图像瑕疵图像进行重构，包括：

将纺织品图像瑕疵样本D输入训练好的自编码器，得到重构图像A，表示为：

A＝f₁(f₂(D))

其中，f₁为解码器，f₂为编码器。

进一步的，还包括：

选择纺织品无瑕样本图像训练自编码器，

在训练过程中，采用平移和旋转图像增强手段增加训练样本数。

进一步的，所述计算重构前后的差异性矩阵，包括：

其中，d(i,j)为像素点(i,j)的差异性，D(i,j)为输入的瑕疵图像点(i,j)的像素值，A(i,j)为重构图像点(i,j)的像素值。

进一步的，所述基于差异性矩阵计算重构误差和重构残差，包括：

d₂(i,j)＝|(D(i,j)-A(i,j))|；

其中，d₁(i,j)为像素点(i,j)的重构误差，d₂(i,j)为像素点(i,j)的重构残差，m,n表示差异性矩阵的尺寸。

进一步的，所述基于重构误差和重构残差计算瑕疵先验，包括：

P(i,j)＝d₁(i,j)×d₂(i,j)

其中，P(i,j)为像素点(i,j)的瑕疵先验。

进一步的，所述对瑕疵先验采用定义的广义卷积进行卷积处理，包括：

设计广义卷积为，首先设置卷积模板的大小为3，并计算模板内像素点的最大值p_max、最小值p_min和均值p_med；判断当前像素点是否为脉冲，若是，则以均值代替，否则不变；增大模板尺寸，重复上述动作，将每一次的结果与已有的像素级先验作LK度量，选择KL散度最小值对应的模板大小作为最终的卷积模板；

采用定义的广义卷积进行卷积处理：

其中，r_,c为最终的卷积尺寸，T(·；(r^*,c^*))是定义的模板为r^*×c^*的广义卷积，T_R和T_C分别对应于图像的行周期和列周期，P_min是卷积窗口中的最小值，P_max是卷积窗口中的最大值，P_med是卷积窗口中的中值，表示用图像块相似性的求得瑕疵先验。

进一步的，所述将卷积处理过后的瑕疵先验和重构图像输入低秩分解模型，进行低秩分解，包括：

低秩分解模型为：

其中，rank(A)表示重构图像A的秩，||·||₁表示l₁范数，E为稀疏矩阵，表示F范数的平方，W为权重矩阵，Δ为噪声矩阵，α，β为设定的平衡参数；

采用交替方向法求解低秩分解模型，得到稀疏矩阵和噪声矩阵，

交替方向法进行求解的近似增强拉格朗日函数为：

其中，L是近似增强拉格朗日函数，Y是拉格朗日乘数，μ表示惩罚参数。

进一步的，所述将低秩分解得到的稀疏矩阵进行显著性检测和阈值分割处理，定位最终的检测结果，包括：

计算稀疏矩阵E中每一列E_i的l₁范数生成显著图：

S(D_i)＝||E_i||₁；

其中，S(D_i)为输入第i列得到的显著图；

对显著图做内积运算，并使用平滑滤波器进行滤波操作，获得新的显著图

其中，g是平滑滤波器的半径，“*”卷积算子，“·”表示内积算子；

采用改进的自适应阈值算法分割定位瑕疵区域G：

其中，和/>表示计算的所有的/>的最小值和最大值。

本发明的有益效果为：

本发明将自编码器引入低秩分解模型的优化部分，代替奇异值分解来优化低秩项，以获得唯一的最优解，从而解决当前模型存在的不确定多解问题。本发明设计的广义卷积是非线性的，这使得模型能够在稀疏项中鼓励瑕疵区域的同时惩罚无暇区域，从而获得更精确的检测结果。

附图说明

图1是本发明的基于低秩矩阵重构与广义卷积的纺织品瑕疵检测方法流程图；

图2是本发明实施例中瑕疵先验计算和广义卷积效果图；

图3是本发明实施例中低秩分解过程效果图；

图4是本发明实施例提供的原图和检测结果对比图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种基于低秩矩阵重构与广义卷积的纺织品瑕疵检测方法。在传统低秩分解的基础上做了如下三项重要改进：首先，使用自编码代替奇异值分解来优化传统模型的低秩项，以弥补奇异值算子的局限性，从而获得更符合真实分布的图像背景。其次，利用重构图与原图的差异性构造差异性矩阵作为模型的先验，并定义一个广义的卷积来增强瑕疵区域。最后，在传统低秩分解模型的基础上加入噪声项，以解决自编码器在无暇部分形成的重构误差。

作为本发明的一个实施例，一种基于低秩矩阵重构与广义卷积的纺织品瑕疵检测方法，参见图1，包括：

1)输入纺织品图像瑕疵样本D。

2)使用自编码器重构输入图像，获得无瑕背景A。

构造自编码器，首先，选择纺织品无瑕样本图像进行训练，然后使用无暇样本图像进行测试，得到训练好的自编码器；

将纺织品图像瑕疵样本D输入训练好的自编码器，得到无瑕背景A，公式表示为：

A＝f₁(f₂(D)) (1)

式中，f₁为解码器，f₂为编码器。

本实施例中，在训练过程中，由于数据库样本有限，使用平移、旋转等图像增强手段增加数据量，以获得足够的特征。

3)计算重构前后的差异性矩阵。

根据如步骤1)，输入的瑕疵图像为D，对应的像素点为D(i,j)，重构图像为A，对应的像素点为A(i,j)。输入图像与重构图像之间的差异性矩阵定义如下：

4)计算重构误差d₁和重构残差d₂，如图2的第二列所示。

虽然重构图像与原图像在无瑕部分也存在重构误差，但是其差异性远小于瑕疵区域的误差。该方法使用d中各元素之间的差异性来描述瑕疵区域：

其中，m_,n表示差异性矩阵的尺寸。

为了保证先验的准确性，使用重构残差来增强瑕疵区域：

d₂(i,j)＝|(D(i,j)-A(i,j))| (4)

5)计算像素级的瑕疵先验P，如图2的第三列所示。

使用步骤4)计算所得的重构误差和重构残差计算瑕疵先验：

P(i,j)＝d₁(i,j)×d₂(i,j) (5)

6)计算块级先验并构造广义卷积，消除先验信息在无暇区域的异常点，如图2的最后一列所示。

考虑到这些异常点与椒盐噪声的分布很相似，设计一种非线性广义卷积以消除这些异常点，设计广义卷积的方法是，首先设置卷积模板的大小为3，并计算模板内像素点的最大值p_max、最小值p_min和均值p_med；判断当前像素点是否为脉冲，若是，则以均值代替，否则不变；增大模板尺寸，重复上述动作，将每一次的结果与已有的像素级先验作LK度量，选择KL散度最小值对应的模板大小作为最终的卷积模板。

将步骤5)计算的瑕疵先验采用定义的广义卷积进行卷积处理：

式中，

式中，r_,c为最终的卷积尺寸，T(·；(r^*,c^*))是定义的模板为r^*×c^*的广义卷积，T_R和T_C分别对应于图像的行周期和列周期，p_min是卷积窗口中的最小值，p_max是卷积窗口中的最大值，p_med是卷积窗口中的中值，表示用图像块相似性的求得瑕疵先验。

虽然这种方法求得的先验不准确，但是可以大体的定位瑕疵位置，且在无瑕区域不会产生误判。而广义卷积的目的是消除无瑕区域的误差，从而达到增强疵点的作用，所以两者之间的互信息可以作为确定卷积模板大小的衡量标准。

7)将卷积处理过后的瑕疵先验和重构样本A加入低秩分解模型，进行低秩分解。分解过程如图3所示。

设计低秩分解模型的方法是，针对纺织品瑕疵检测的问题设计了一个有效的模型，该模型将输入图像分解为包含大量冗余信息的低秩矩阵A(由自编码器获得)，代表缺陷区域的特征矩阵E和对应于重构残差的噪声部分Δ。

低秩分解模型的具体表达如下：

其中，Δ为噪声矩阵，E为特征矩阵，α＝0.08，β＝0.2是平衡三项的参数，Ψ(·)表示低秩正则化项，Ω(·)表示稀疏正则化项，Θ(·)表示噪声正则化项。

观察可得，无瑕纹理为低秩子空间中，所以用低秩正则化表征其固有的特性，定义为：

Ψ(A)＝rank(A) (9)

其中，rank(·)表示矩阵的秩，表示低秩正则化。

l₁范数只考虑稀疏性，忽略了图像的结构特征。所以，本发明设计瑕疵先验P，并将其引入l₁范数，以规范化模型的分解。因此基于先验引导的稀疏项定义如下：

Ω(E)＝||W·E||₁ (10)

其中，W是权重矩阵。

由于自编码器重构的低秩部分A与真实图像存在误差，因此本发明设计误差项来表征重构误差，以抑制其在稀疏空间中的生长。定义如下：

其中，是F范数的平方，用于表征噪声。

结合上述说明，将公式(8)写成：

这里，将β改写成β/2是为了方便后面的求导运算。

由于直接用仿射变换(affine)约束最小化矩阵的秩是一个NP难问题。传统的方法采用核范数做凸优化，然后用SVD求解。但是SVD算子对部分缺陷的重构效果很差，这会误导稀疏项的求解。考虑到基于自动编码器的图像重建可以解决此问题，使用自编码器重构的结果近似低秩矩阵A。

求解稀疏矩阵E和噪声项Δ是一个凸优化问题，可以通过交替方向法(ADM)来解决。公式(12)的近似增强拉格朗日函数为：

式中，A是自编码器重构的唯一最优解，Y是拉格朗日乘数，μ表示惩罚参数。

先固定噪声矩阵Δ，更新稀疏矩阵E；再固定稀疏矩阵E，更新噪声矩阵Δ。

8)将获得的稀疏矩阵进行显著性检测和阈值分割处理(如图3第五六列所示)，定位最终的检测结果。首先，计算稀疏矩阵E中每一列E_i的l₁范数可以生成显著图S。其定义如下：

S(D_i)＝||E_i||₁ (14)

其中，D_i对应输入的第i列，S(D_i)的值越大，表示E_i越有可能成为瑕疵。

然后，对显著图S做内积运算，并使用平滑滤波器进行滤波操作，以获得新的显著图

式中，g是平滑滤波器的半径，“*”卷积算子，“·”表示内积算子。

最后，使用改进的自适应阈值算法分割以定位瑕疵区域G：

其中，和/>分别表示计算的/>的最小值和最大值。

图4为本发明实施例给出的一系列的原图与采用本发明方法检测的对比效果图，可以看出，检测结果精确。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (1)

1.基于低秩矩阵重构和广义卷积的纺织品瑕疵检测方法，其特征在于，包括：

采用自编码器对输入纺织品图像瑕疵图像进行重构，得到无瑕背景；所述进行重构的过程包括：

选择纺织品无瑕样本图像训练自编码器，在训练过程中，采用平移和旋转图像增强手段增加训练样本数；

将纺织品图像瑕疵样本D输入训练好的自编码器，得到重构图像A，表示为：

A＝f₁(f₂(D))；

其中，f₁为解码器，f₂为编码器；

计算重构前后的差异性矩阵，计算如下：

其中，d(i,j)为像素点(i,j)的差异性，D(i,j)为输入的瑕疵图像点(i,j)的像素值，A(i,j)为重构图像点(i,j)的像素值；

基于差异性矩阵计算重构误差和重构残差，包括：

d₂(i,j)＝|(D(i,j)-A(i,j))|；

其中，d₁(i,j)为像素点(i,j)的重构误差，d₂(i,j)为像素点(i,j)的重构残差，m,n表示差异性矩阵的尺寸；

基于重构误差和重构残差计算瑕疵先验，包括：

P(i,j)＝d₁(i,j)×d₂(i,j)；

其中，P(i,j)为像素点(i,j)的瑕疵先验；

对瑕疵先验采用定义的广义卷积进行卷积处理，包括：

设计广义卷积为，首先设置卷积模板的大小为3，并计算模板内像素点的最大值p_max、最小值p_min和均值p_med；判断当前像素点是否为脉冲，若是，则以均值代替，否则不变；增大模板尺寸，重复上述动作，将每一次的结果与已有的像素级先验作LK度量，选择KL散度最小值对应的模板大小作为最终的卷积模板；

采用定义的广义卷积进行卷积处理：

其中，r_,c为最终的卷积尺寸，T(·；(r^*,c^*))是定义的模板为r^*×c^*的广义卷积，T_R和T_C分别对应于图像的行周期和列周期，P_min是卷积窗口中的最小值，P_max是卷积窗口中的最大值，P_med是卷积窗口中的中值，表示用图像块相似性的求得瑕疵先验；

将卷积处理过后的瑕疵先验和重构图像输入低秩分解模型，进行低秩分解，包括：

所述低秩分解模型为：

其中，rank(A)表示重构图像A的秩，||·||₁表示l₁范数，E为稀疏矩阵，表示F范数的平方，W为权重矩阵，Δ为噪声矩阵，α，β为设定的平衡参数；

采用交替方向法求解低秩分解模型，得到稀疏矩阵和噪声矩阵，

其中交替方向法进行求解的近似增强拉格朗日函数为：

其中，L是近似增强拉格朗日函数，Y是拉格朗日乘数，μ表示惩罚参数；

将低秩分解得到的稀疏矩阵进行显著性检测和阈值分割处理，定位最终的检测结果，包括：

计算稀疏矩阵E中每一列E_i的l₁范数生成显著图：

S(D_i)＝||E_i||₁；

其中，S(D_i)为输入第i列得到的显著图；

对显著图做内积运算，并使用平滑滤波器进行滤波操作，获得新的显著图

其中，g是平滑滤波器的半径，“*”卷积算子，“·”表示内积算子；

采用改进的自适应阈值算法分割定位瑕疵区域G：

其中，和/>表示计算的所有的/>的最小值和最大值。