CN115115637B - 基于图像金字塔思想的布匹缺陷检测方法 - Google Patents

Abstract

本发明涉及布匹缺陷检测领域，具体涉及基于图像金字塔思想的布匹缺陷检测方法。方法包括：根据待检测布匹金字塔图像中的各下采样图像中各像素点的梯度方向和梯度幅值，得到各下采样图像中各区域的HOG特征；根据各下采样图像中各区域的HOG特征计算各类别纹理为缺陷纹理的概率；判断各类别纹理数量是否小于分割阈值且纹理为缺陷纹理的概率是否大于概率阈值，若是，则判定当前纹理为疑似缺陷纹理；若不是，则判定当前纹理为周期纹理；根据疑似缺陷纹理的位置，判断各疑似缺陷纹理序列对应的数量序列的差值序列中是否存在正数，若存在，根据缺陷纹理序列，判断缺陷纹理在待检测布匹图像中的位置。本发明提高了布匹缺陷检测的效率。

Description

基于图像金字塔思想的布匹缺陷检测方法

技术领域

本发明涉及布匹缺陷检测领域，具体涉及基于图像金字塔思想的布匹缺陷检测方法。

背景技术

随着纺织工业的快速发展，布匹的产量变得越来越大，给布匹缺陷检测带来了更大挑战。布匹表面会存在各种各样的缺陷，缺陷的存在会严重影响到产品质量的等级，从而影响企业的利益。因此为确保产品质量，布匹缺陷检测是非常重要的。

现有方法对布匹缺陷的检测往往是采用人工视觉离线检测等方法，但是待检测的布匹一般都是生产出来的未使用的新布匹，这种新布匹即使存在缺陷，缺陷区域面积也一般较小，为了保证检测结果的准确，人工需要仔细观察布匹才能够发现布匹上存在的缺陷，使得这种采用人工视觉离线检测的检测效率较低。

发明内容

为了解决现有方法检测布匹缺陷时存在效率较低的问题，本发明的目的在于提供一种基于图像金字塔思想的布匹缺陷检测方法，所采用的技术方案具体如下：

本发明提供了一种基于图像金字塔思想的布匹缺陷检测方法,该方法包括以下步骤：

获取待检测布匹图像，对待检测布匹图像进行下采样，得到待检测布匹的金字塔图像；

根据待检测布匹金字塔图像中的各下采样图像中各像素点的梯度方向和梯度幅值，得到待检测布匹的各下采样图像中各区域的HOG特征；根据所述待检测布匹的各下采样图像中各区域的HOG特征，得到待检测布匹的各下采样图像中各区域对应的向量；

根据所述待检测布匹的各下采样图像中各区域对应的向量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率；判断各下采样图像中的各类别纹理数量是否小于分割阈值且纹理为缺陷纹理的概率是否大于概率阈值，若是，则判定当前纹理为疑似缺陷纹理；若不是，则判定当前纹理为周期纹理；

根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，计算各疑似缺陷纹理序列对应的数量序列的差值序列；判断所述差值序列中是否存在正数，若存在，则判定该序列为缺陷纹理序列，根据缺陷纹理序列，判断缺陷纹理在待检测布匹图像中的位置。

优选的，所述根据所述待检测布匹的各下采样图像中各区域的HOG特征，得到待检测布匹的各下采样图像中各区域对应的向量，包括：

以设定角度为一个单元，将梯度方向划分为多个组，得到待检测布匹的各下采样图像中的各区域的方向梯度直方图；

根据待检测布匹的各下采样图像中的各区域的方向梯度直方图，得到待检测布匹的各下采样图像中各区域对应的向量。

优选的，所述根据所述待检测布匹的各下采样图像中各区域对应的向量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率，包括：

计算待检测布匹的各下采样图像中任意两个区域对应的向量对应位置元素的比值，得到各比值序列；根据各比值序列与单位序列的余弦相似度，得到待检测布匹的各下采样图像中的任意两个区域HOG特征的相似性；

将待检测布匹的各下采样图像中两个区域HOG特征的相似性大于设定阈值的区域的纹理归为同一类纹理，将待检测布匹的各下采样图像中两个区域HOG特征的相似性小于等于设定阈值的区域的纹理归为其它类别的纹理；

根据待检测布匹中纹理类别的数量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率。

优选的，采用如下公式计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率：

其中，

为某类别的纹理为缺陷纹理的概率，

为该类别的纹理数量归一化处理后的值，

为自然常数。

优选的，所述根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，计算各疑似缺陷纹理序列对应的数量序列的差值序列，包括：

根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，得到待检测布匹的各疑似缺陷纹理序列，所述疑似缺陷纹理序列中各元素为对应采样次数下对应位置的纹理；

根据所述待检测布匹的各疑似缺陷纹理序列，得到各疑似缺陷纹理序列对应的数量序列，所述数量序列中各元素为对应纹理的相似纹理的数量；根据各疑似缺陷纹理序列对应的数量序列，得到各疑似缺陷纹理序列对应的数量序列的差值序列，所述差值序列中各元素为所述数量序列中对应位置的后一元素与前一元素的差值。

优选的，所述判断缺陷纹理在待检测布匹图像中的位置，包括：

将各疑似缺陷纹理序列对应的数量序列的差值序列中正数对应的层数作为目标层数；

将目标层数中较大的层数作为对应缺陷纹理的根节点，得到各缺陷纹理的树结构；

根据所述缺陷纹理的树结构，得到缺陷纹理在待检测布匹图像中的位置。

优选的，所述对待检测布匹图像进行下采样，得到待检测布匹的金字塔图像，包括：

将采集到的初始图像输入到目标语义分割网络中，得到初始图像对应的 0-1掩膜图像；

将所述初始图像对应的 0-1掩膜图像与初始图像相乘，得到待检测布匹图像；

利用均值采样的方法对待检测布匹图像进行金字塔下采样，得到待检测布匹的金字塔图像。

本发明具有如下有益效果：本发明对待检测布匹图像进行了下采样处理，得到待检测布匹的金字塔图像，根据各下采样图像中各区域的HOG特征，判断各下采样图像中的各类别纹理是否为疑似缺陷纹理。本发明考虑到缺陷区域对应的相似性纹理会随着采样次数的增加，呈现先增加后减少的趋势，因此根据待检测布匹的各下采样图像中疑似缺陷纹理，计算各疑似缺陷纹理序列对应的数量序列的差值序列；判断差值序列中是否存在正数，若存在，说明当前疑似缺陷纹理为缺陷纹理，进而得到待检测布匹的缺陷位置。本发明无需再依赖人工对待检测织布匹进行缺陷检测，解决了现有依赖人工对待检测布匹进行缺陷检测存在的效率较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的一种基于图像金字塔思想的布匹缺陷检测方法的流程图；

图2为待检测布匹金字塔图像对应的部分树结构的示意图；

图3为待检测布匹各下采样图像中部分缺陷位置的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像金字塔思想的布匹缺陷检测方法进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于图像金字塔思想的布匹缺陷检测方法的具体方案。

基于图像金字塔思想的布匹缺陷检测方法实施例

现有基于人工视觉检测的方法检测布匹缺陷时存在效率较低的问题。为了解决上述问题，本实施例提出了基于图像金字塔思想的布匹缺陷检测方法，如图1所示，本实施例的基于图像金字塔思想的布匹缺陷检测方法包括以下步骤：

步骤S1，获取待检测布匹图像，对待检测布匹图像进行下采样，得到待检测布匹的金字塔图像。

本实施例需要对布匹进行缺陷检测，布匹一般包含多种周期纹理，不同种类的周期纹理对应的像素点数量不同，有的周期纹理对应的像素点数量占比相对较大，有的周期纹理对应的像素点数量占比相对较小。本实施例是对生产出来的未使用的新布匹进行检测，这种布匹即使存在缺陷，缺陷区域面积也一般较小，即缺陷区域的面积往往小于任一周期纹理对应的面积，即缺陷区域包括的像素点的数量往往小于任一周期纹理对应的像素点的数量。基于此，本实施例获取了待检测布匹图像，通过对获取的待检测布匹图像上像素点进行分析来自动检测布匹上的缺陷。

首先，利用相机俯视采集初始图像，本实施例采用DNN语义分割的方式识别采集到的初始图像中的布匹图像。该DNN网络的训练过程如下：

获取训练集，训练集包括多种多样的布匹图像。该DNN网络的任务是分类，需要将像素分为两类，训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于布匹的标注为1。该DNN网络loss函数为交叉熵损失函数。将初始图像输入到训练好的DNN网络中，通过语义分割得到的0-1掩膜图像与初始图像相乘，得到的图像中只含有布匹的图像，即待检测布匹图像，排除了背景的干扰。

本实施例对待检测布匹图像进行金字塔下采样，以n*n的窗口进行均值采样，本实施例中n的值为3，得到待检测布匹的多张下采样图像。

步骤S2，根据待检测布匹金字塔图像中的各下采样图像中各像素点的梯度方向和梯度幅值，得到待检测布匹的各下采样图像中各区域的HOG特征；根据所述待检测布匹的各下采样图像中各区域的HOG特征，得到待检测布匹的各下采样图像中各区域对应的向量。

本实施例将待检测布匹的各下采样图像进行灰度化处理，根据待检测布匹的各灰度化图像，计算待检测布匹的各下采样图像中各区域的HOG特征。

计算待检测布匹的各下采样图像中各区域的HOG特征的过程如下：

1) 利用Sobel算子获得每个像素点的梯度方向和梯度幅值。设第p个像素点的梯度幅值为

，梯度方向为

。

2) 在每个下采样图像中，将8*8像素作为一个cell区域（单元），梯度方向取值范围是[0,180]，以每20°为一个单元，所有的梯度方向可以划分为9组，进而计算得到每个cell区域的方向梯度直方图，即得到每个cell区域的HOG特征。直方图横坐标表示梯度方向，纵坐标表示该梯度方向的出现频数。本实施例将方向梯度直方图转化为向量，向量中的每个值表示的是各个梯度方向的频数，向量大小为1*9。不同采样图像上的像素表示的原图像的范围不同，采样层数越多的图像，每个像素点表示的原图上的区域范围越大。

3) 通过滑窗得到待检测布匹每个采样图像上每个cell区域的向量，滑窗步长为1。

本实施例通过滑窗，得到待检测布匹每个采样图像上每个cell区域的向量。

步骤S3，根据所述待检测布匹的各下采样图像中各区域对应的向量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率；判断各下采样图像中的各类别纹理数量是否小于分割阈值且纹理为缺陷纹理的概率是否大于概率阈值，若是，则判定当前纹理为疑似缺陷纹理；若不是，则判定当前纹理为周期纹理。

本实施例将待检测布匹图像中的缺陷部分的纹理称为缺陷纹理，将其它部分的纹理称为周期纹理。布匹一般包含多种周期纹理，在同一层采样图像中，任一种周期纹理的数量往往大于缺陷纹理的数量。例如待检测布匹存在两种周期纹理分别为A和B，A周期纹理对应的数量较大，B周期纹理对应的数量较小，如果A类周期纹理的数量为n_A个，B类周期纹理的数量为n_B个，缺陷纹理的数量为n_C个，那么n_A>n_B>n_C。鉴于上述纹理数量的相对大小关系，本实施例首先根据纹理数量判定疑似缺陷纹理，过程如下。

具体的，利用向量来表示各纹理：每个纹理都用一个1*9的向量表示，第1个元素表示8*8区域中方向值接近0度的像素数量为a，即64个像素的梯度方向中方向值接近0度的像素数量为a；…；第9个元素表示8*8区域中方向值接近180度的像素数量为i，即64个像素的梯度方向中方向值接近180度的像素数量为i。

本实施例对纹理相似性进行计算，对于任意两个向量，首先，通过计算它们对应位置元素的比值，得到比值序列，计算比值序列与[111111111]的余弦相似度，得到的余弦相似度即为这两个HOG特征的相似性。至此，得到任意两个HOG特征的相似性。

将相似性大于0.9的HOG特征作为一类，将相似性小于0.9的HOG特征作为一类。本实施例根据相似纹理的数量，计算纹理为缺陷的概率。具体的，对不同类别的数量进行统计，得到纹理数量少的类别，纹理数量越少，该类别为缺陷的概率越大，首先对不同类别的纹理数量进行归一化处理，通过把所有类别的数量分别除以最大数量得到归一化后的不同类别的纹理数量。利用如下公式计算不同纹理类别的缺陷率，即不同纹理为缺陷纹理的概率：

其中，

为某类别的纹理为缺陷纹理的概率，

为该类别的纹理数量归一化处理后的值，

为自然常数。

本实施例对不同类别的纹理数量的归一化值进行升序排序，得到升序序列，利用otsu大津阈值法对升序序列进行分割，得到分割阈值，每张下采样图像得到的分割阈值不同，同时，设置缺陷纹理的概率阈值为

；本实施例基于每张采样图像中不同类别的纹理数量和不同类别的纹理属于缺陷纹理的概率，得到采样图像中的疑似缺陷纹理和周期纹理。具体的，本实施例将纹理数量小于对应分割阈值且纹理为缺陷纹理的概率大于

的类别中的HOG纹理作为疑似缺陷纹理，采样图像中其余类别的HOG纹理为周期纹理。大津阈值法为公知技术，此处不再赘述。由于周期纹理B的数量小于周期纹理A的数量，因此上述步骤根据分割阈值和概率阈值得到的疑似缺陷纹理中可能会包含周期纹理B。为了提高对缺陷识别的准确性，本实施例从疑似缺陷纹理中进一步筛选缺陷纹理。

步骤S4，根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，计算各疑似缺陷纹理序列对应的数量序列的差值序列；判断所述差值序列中是否存在正数，若存在，则判定该序列为缺陷纹理序列，根据缺陷纹理序列，判断缺陷纹理在待检测布匹图像中的位置。

随着采样次数的增加，图像中的像素数量逐渐减少，图像中每个像素的感受野不断变大，无论是周期纹理还是缺陷纹理的数量都在减少。对于缺陷纹理，在某次采样时，缺陷纹理区域变成单像素，由于缺陷像素点的数量较小，因此该单像素所属区域中缺陷单像素的占比较小，缺陷单像素对所属区域的HOG的影响较小，使得该所属区域纹理开始向着周期纹理转化，由于周期纹理对应的相似性纹理的数量较多，因此该所属区域纹理的相似性纹理的数量会呈现增加的趋势，之后随着采样次数的增加，周期纹理的数量继续减少，上述增加的趋势之后对应的相似纹理数量还是呈现继续减少的趋势，因此缺陷区域纹理的相似性纹理的数量会出现先增加后减少的变化。而对于疑似纹理中的周期纹理B，其数量虽然小于周期纹理A的数量但也不至于数量太少，因此，其对应的单像素所属区域中同类单像素也存在一定的占比，这类单像素对所属区域的HOG也存在一定的影响，使得所属区域可能会生成一种新的周期纹理，随着采样次数的增加，这种新的周期纹理对应的纹理的相似性纹理数量一直在减少，因此疑似缺陷纹理中的周期纹理B的相似性纹理的数量会一直减少；鉴于上述趋势不同，本实施例根据相似性纹理数量的变化，进一步筛选疑似缺陷纹理中的缺陷纹理。

具体的，本实施例用部分树结构表示部分采样过程，如图2所示，在采样的第(k-2)层，a1,a2,a3，…,a9形成第(k-1)层的区域a，…，c1,c2,…,c9形成第(k-1)层的区域c。树结构的第一层（树结构的最下层）表示的是原待检测布匹图像中的HOG特征，首先对不同采样图像中的疑似缺陷纹理进行标记，先找到第一层标注的疑似缺陷纹理，然后找到该纹理对应的第二层的纹理，接着找到第三层的纹理，…，直至找到最后一层采样图像的纹理，从第一层开始依次形成纹理序列。对纹理序列进行分析，对上述得到的疑似缺陷纹理进一步筛选。

本实施例在得到不同的纹理序列后，统计了各采样图像中各纹理的数量，获取了纹理序列对应的数量序列，对数量序列进行分析，计算得到数量序列的差值序列，对于差值序列中元素均为负数的序列，序列中元素为周期纹理的概率大，即如周期纹理B；差值序列中存在正数的序列中存在缺陷纹理的概率大。本实施例将差值序列中存在正数的序列对应的纹理区域作为缺陷纹理区域进行保留，即排除了周期纹理B的干扰，提高了布匹缺陷检测的准确性。

本实施例将差值序列中正数对应的层数作为目标层数，差值是后一层的数量减去前一层的数量。由于差值是通过两个数相减得到的，因此得到的目标层数有两个，将目标层数中较大的层数的缺陷位置作为根节点，该根节点对应的树结构作为缺陷区域的树结构，在树结构中，通过从上到下的顺序，得到每一层对应的标注纹理，直到找到第一层对应的标注纹理，将第一层对应的标注纹理对应的像素作为布匹缺陷。由于待检测布匹金字塔图像对应的树结构较大，图3所示仅为待检测布匹金字塔图像对应的部分树结构，k层不是最后一个采样层，只根据该示意图并不能反映出待检测布匹相似性纹理的变化情况，要想得到待检测布匹相似性纹理的变化情况，需要基于待检测布匹金字塔图像对应的整个树结构进行获取。假设得到的纹理序列为(a1,a,o,…)，通过计算得到该序列中存在正数，判定该序列中存在缺陷区域，差值是通过相邻采样层数中纹理数量做差得到的，将层数较大的缺陷纹理所在的位置作为该缺陷纹理对应的根节点，获取该根节点对应的树结构。假设o所在的位置为缺陷纹理对应的根节点，获取以o为根节点的树结构，找到下一层中a区域是标记区域，然后根据a区域找到下一层中区域a1和a9是标记区域，因此将待检测布匹图像中的a1和a9区域对应的位置作为缺陷位置。

按照上述方法，得到待检测布匹的缺陷位置。

本实施例对待检测布匹图像进行了下采样处理，得到待检测布匹的金字塔图像，根据各下采样图像中各区域的HOG特征，判断各下采样图像中的各类别纹理是否为疑似缺陷纹理。本实施例考虑到缺陷的相似性纹理会随着采样次数的增加，呈现先增加后减少的趋势，因此根据待检测布匹的各下采样图像中疑似缺陷纹理，计算各疑似缺陷纹理序列对应的数量序列的差值序列；判断差值序列中是否存在正数，若存在，说明当前疑似缺陷纹理为缺陷纹理，进而得到待检测布匹的缺陷位置。本实施例无需再依赖人工对待检测织布匹进行缺陷检测，解决了现有依赖人工对待检测布匹进行缺陷检测存在的效率较低的问题。

需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像金字塔思想的布匹缺陷检测方法，其特征在于，该方法包括以下步骤：

获取待检测布匹图像，对待检测布匹图像进行下采样，得到待检测布匹的金字塔图像；

根据待检测布匹金字塔图像中的各下采样图像中各像素点的梯度方向和梯度幅值，得到待检测布匹的各下采样图像中各区域的HOG特征；根据所述待检测布匹的各下采样图像中各区域的HOG特征，得到待检测布匹的各下采样图像中各区域对应的向量；

根据所述待检测布匹的各下采样图像中各区域对应的向量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率；判断各下采样图像中的各类别纹理数量是否小于分割阈值且纹理为缺陷纹理的概率是否大于概率阈值，若是，则判定当前纹理为疑似缺陷纹理；若不是，则判定当前纹理为周期纹理；

根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，计算各疑似缺陷纹理序列对应的数量序列的差值序列；判断所述差值序列中是否存在正数，若存在，则判定该序列为缺陷纹理序列，根据缺陷纹理序列，判断缺陷纹理在待检测布匹图像中的位置；

所述根据所述待检测布匹的各下采样图像中各区域的HOG特征，得到待检测布匹的各下采样图像中各区域对应的向量，包括：

以设定角度为一个单元，将梯度方向划分为多个组，得到待检测布匹的各下采样图像中的各区域的方向梯度直方图；

根据待检测布匹的各下采样图像中的各区域的方向梯度直方图，得到待检测布匹的各下采样图像中各区域对应的向量；

所述根据所述待检测布匹的各下采样图像中各区域对应的向量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率，包括：

计算待检测布匹的各下采样图像中任意两个区域对应的向量对应位置元素的比值，得到各比值序列；根据各比值序列与单位序列的余弦相似度，得到待检测布匹的各下采样图像中的任意两个区域HOG特征的相似性；

将待检测布匹的各下采样图像中两个区域HOG特征的相似性大于设定阈值的区域的纹理归为同一类纹理，将待检测布匹的各下采样图像中两个区域HOG特征的相似性小于等于设定阈值的区域的纹理归为其它类别的纹理；

根据待检测布匹中纹理类别的数量，计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率；

所述根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，计算各疑似缺陷纹理序列对应的数量序列的差值序列，包括：

根据待检测布匹的各下采样图像中疑似缺陷纹理的位置，得到待检测布匹的各疑似缺陷纹理序列，所述疑似缺陷纹理序列中各元素为对应采样次数下对应位置的纹理；

根据所述待检测布匹的各疑似缺陷纹理序列，得到各疑似缺陷纹理序列对应的数量序列，所述数量序列中各元素为对应纹理的相似纹理的数量；根据各疑似缺陷纹理序列对应的数量序列，得到各疑似缺陷纹理序列对应的数量序列的差值序列，所述差值序列中各元素为所述数量序列中对应位置的后一元素与前一元素的差值；

所述对待检测布匹图像进行下采样，得到待检测布匹的金字塔图像，包括：

将采集到的初始图像输入到目标语义分割网络中，得到初始图像对应的0-1掩膜图像；

将所述初始图像对应的0-1掩膜图像与初始图像相乘，得到待检测布匹图像；

利用均值采样的方法对待检测布匹图像进行金字塔下采样，得到待检测布匹的金字塔图像。

2.根据权利要求1所述的一种基于图像金字塔思想的布匹缺陷检测方法，其特征在于，采用如下公式计算待检测布匹的各下采样图像中的各类别纹理为缺陷纹理的概率：

其中，

为某类别的纹理为缺陷纹理的概率，

为该类别的纹理数量归一化处理后的值，

为自然常数。

3.根据权利要求1所述的一种基于图像金字塔思想的布匹缺陷检测方法，其特征在于，所述判断缺陷纹理在待检测布匹图像中的位置，包括：

将各疑似缺陷纹理序列对应的数量序列的差值序列中正数对应的层数作为目标层数；

将目标层数中较大的层数作为对应缺陷纹理的根节点，得到各缺陷纹理的树结构；

根据所述缺陷纹理的树结构，得到缺陷纹理在待检测布匹图像中的位置。

Images