CN115100214A - 基于图像处理的纺织品质量检测方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及基于图像处理的纺织品质量检测方法。该方法是一种应用电子设备进行识别的方法，利用生产领域人工智能系统完成纺织品的质量检测。该方法通过相机识别图像获取纺织品图像和对应的目标区域，对目标区域进行数据处理，得到多个高亮点类别，进一步对高亮点类别进行数据处理得到异常区域，并根据异常区域对纺织品进行评价。本发明实施例采用数据识别的方法，并通过相关的数据处理，获取了纺织品的异常区域，实现对纺织品的质量检测。

Description

基于图像处理的纺织品质量检测方法

技术领域

本发明涉及数据处理技术领域，具体涉及基于图像处理的纺织品质量检测方法。

背景技术

随着人们对健康的不断重视，进而使得对纺织产品的质量需求越来越高。对纺织品质量的把控是纺织行业的关键步骤，当纺织产品出现质量异常时，不仅会影响纺织产品的美观，严重的还会影响人们的健康，当质量出现异常时，异常区域直接接触人体皮肤存在对皮肤造成磨损的情况。在纺织品生产过程中难以做到百分百无缺陷，故对纺织品的异常检测是纺织品生产过程中的重要一环。对于网孔织物图像来说，往往是首先沿着某个方向进行纺织，然后将另一个方向的纺织线与第一个方向的纺织线通过捆绑联系在一起，形成一个个的网孔，由于在捆绑过程中往往存在偏差和错位，导致形成纺织品缺陷。

目前，常见的对纺织品进行缺陷检测的方法为阈值分割检测得到缺陷，该方法对前景和背景的要求较高，必须在前景和背景差别较为明显的情况下检测效果较好，对检测环境的要求高，且在对前景区域进行计算时，通过网孔大小得到质量参数，计算过程复杂，计算量大。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于图像处理的纺织品质量检测方法，所采用的技术方案具体如下：

采集纺织品图像，通过语义分割获得目标区域；

提取所述目标区域的边缘，得到边缘二值图；将所述边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构；基于所述拓扑图结构，对所述高亮点进行聚类，得到多个高亮点类别；

通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别；在所述纺织品图像上对异常类别进行定位，得到异常区域；根据所述异常区域对纺织品进行评价。

优选的，所述提取所述目标区域的边缘，得到边缘二值图，包括：

利用canny边缘检测算法，提取所述目标区域的边缘，得到边缘二值图。

优选的，所述将所述边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构，包括：

构建高亮点数量直方图；通过高亮点数量直方图得到不同横坐标对应的高亮点的数量信息，对所述高亮点数量直方图进行多阈值分割，得到不同的横坐标类别，计算不同横坐标类别中高亮点数量最大值，将归一化后的高亮点数量最大值作为所述横坐标类别的高亮点数量最大性；计算不同横坐标类别中高亮点的投票值均值最大值，将归一化后投票制均值最大值作为所述横坐标类别的高亮点值最大性；计算每个横坐标类别对应的高亮点数量最大性和投票值均值最大值的乘积，作为第一乘积；将霍夫空间中最大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第一方向；将霍夫空间中第二大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第二方向；

构建高亮点在所述第一方向和所述第二方向上的拓扑图结构。

优选的，所述基于所述拓扑图结构，对所述高亮点进行聚类，得到多个高亮点类别，包括：

基于拓扑图结构，将相连接的高亮点的欧式距离作为边权值，利用拉普拉斯图聚类方法对高亮点进行聚类，得到多个高亮点类别。

优选的，所述通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别，包括：

将所述第一方向和所述第二方向对应的两个横坐标类别中，高亮点数量最大值较大的横坐标类别作为第一类别；高亮点值最大性较大的横坐标类别作为第二类别；

计算每次采样后高亮点对应的第二方向下拓扑图结构中不同高亮点类别与原始的边缘二值图对应的拓扑图结构中不同类别的匹配关系，所述匹配关系的计算过程为：计算得到每个高亮点类别中所有高亮点的纵坐标的均值，得到均值序列，对所述均值序列进行降序排列，根据降序序列中的顺序赋予每个高亮点类别标号；将每次采样前后标号相同的高亮点类别进行数量匹配，当标号相同的高亮点类别内的数量相同时，匹配度为一；当标号相同的高亮点类别内的数量不相同时，匹配度为零；

当所述匹配度为零的高亮点类别的类别数量的占比小于预设异常数量阈值时，将所述匹配度为零的高亮点类别作为异常类别。

优选的，所述在所述纺织品图像上对异常类别进行定位，得到异常区域，包括：

边缘二值图对应的霍夫空间中对每个异常类别进行直方图统计，得到每个横坐标对应的高亮点数量，计算得到当前采样对应的霍夫空间中每个类别的直方图，相减得到差值不为0的值对应的横坐标，作为异常高亮点对应横坐标，在边缘二值图对应的霍夫空间中计算得到异常类别中横坐标对应高亮点的纵坐标值的降序排序，计算降序排序后一个纵坐标值与前一个纵坐标值的比值，得到比值序列；获取每个采样层对应的比值序列，比较相邻采样层对应的两个比值序列，将两个比值序列中消失的比值对应的边缘二值图中的高亮点作为异常高亮点；

将异常高亮点对应的区域作为所述纺织品图像对应的灰度图上的掩膜区域；对所述掩膜区域进行分割得到前景区域和背景区域，将所述前景区域作为异常区域。

优选的，所述根据所述异常区域对纺织品进行评价，包括：

获取纺织品图像上异常区域内像素点数量的占比，所述占比大于预设异常占比阈值的纺织品图像对应的纺织品为质量异常的纺织品。

本发明实施例至少具有如下有益效果：

本发明通过金字塔采样过程中对噪声的抑制作用，通过图结构的变化对异常区域进行识别，避免了原图上噪声对检测结果精度的影响。

通过霍夫直线对纺织品上的经纬线进行检测，然后通过金字塔采样过程中霍夫空间中高亮点图结构的变化情况对缺陷区域进行逐级定位，最终获得准确的稀密路缺陷的严重程度，受环境影响较小，计算量较小，结果也较为准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的基于图像处理的纺织品质量检测方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像处理的纺织品质量检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了基于图像处理的纺织品质量检测方法的具体实施方法，该方法适用于纺织品质量检测场景。该场景下利用相机采集纺织品的纺织品图像。为了解决通过阈值分割检测得到缺陷，对前景和背景的要求较高，必须在前景和背景差别较为明显情下的检测效果较好，对检测环境的要求高的问题。本发明通过霍夫直线对纺织品上的经纬线进行检测，然后通过金字塔采样过程中霍夫空间中高亮点图结构的变化情况对缺陷区域进行逐级定位，最终获得准确的稀密路缺陷的严重程度，受环境影响较小，计算量较小，结果也较为准确。

下面结合附图具体的说明本发明所提供的基于图像处理的纺织品质量检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于图像处理的纺织品质量检测方法的步骤流程图，该方法包括以下步骤：

步骤S100，采集纺织品图像，通过语义分割获得目标区域。

通过相机采集纺织品的纺织品图像，采用DNN语义分割的方式来识别纺织品图像中的目标。

该DNN网络使用的数据集为俯视采集的纺织品图像的数据集，其中，纺织品的样式为多种多样的；纺织品图像中需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于纺织品的标注为1。该DNN网络的任务是分类，所有使用的损失函数为交叉熵损失函数。

通过语义分割得到的0-1掩膜图像与纺织品图像相乘得到目标区域图像，得到的目标区域图像中只含有纺织品的区域，去除了背景的干扰。

步骤S200，提取所述目标区域的边缘，得到边缘二值图；将所述边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构；基于所述拓扑图结构，对所述高亮点进行聚类，得到多个高亮点类别。

提取目标区域图像中目标区域的边缘，得到边缘二值图。具体的：利用canny边缘检测算法，提取目标区域的边缘，得到边缘图像，然后将边缘图像中像素值不为0的像素点的值设置为1，得到边缘二值图。进而将边缘二值图转化到霍夫空间中进行直线检测，这是由于目的是为了检测缺陷，而缺陷是由于第二方向线的错位等原因导致的，因此首先分别检测得到第一方向线和第二方向线，有助于接下来的缺陷的检测和分析。

边缘二值图中的直线对应霍夫空间中的一个高亮点，边缘二值图中的直线的长度越长，霍夫空间中对应高亮点的投票值越大，边缘二值图中的平行直线对应霍夫参数空间中同一个横坐标对应的高亮点，由于纺织品图像中的直线主要为两个方向的直线，因此在霍夫空间中表现为两个横坐标上的高亮点的数量较多，同时第一方向线的长度较长，因此对应该方向上的高亮点的投票值较大。通过上述分析，在霍夫参数空间中得到第一方向和第二方向及得到对应方向上的高亮点的过程，具体的：

首先在霍夫空间中构造直方图，该直方图的横坐标表示霍夫空间中的横坐标值，纵坐标表示不同横坐标值对应的点的数量，对直方图进行otsu阈值分割，得到最佳阈值，将大于最佳阈值的投票值对应的点称之为高亮点。

由于实际计算中在将边缘二值图中的直线转化到霍夫空间中的高亮点的过程中存在误差，例如本身转化方法的误差，图像噪声的误差等原因，导致边缘二值图中的平行线并非绝对对应同一个横坐标值，而是在同一个横坐标的左右聚集。

因此首先构建高亮点数量直方图，通过高亮点数量直方图得到不同横坐标对应的高亮点的数量，对高亮点数量直方图通过多阈值分割，得到不同的横坐标类别，同一横坐标类别中的横坐标对应的高亮点表示的是边缘二值图中同一个方向的平行线。计算得到不同横坐标类别中高亮点数量最大值，通过该高亮点数量最大值对每个横坐标类别对应的高亮点数量进行归一化，将归一化后的高亮点数量最大值作为横坐标类别的高亮点数量最大性；计算不同横坐标类别中高亮点的投票值均值最大值，通过该投票值均值最大值对每个横坐标类别中高亮点的投票值均值进行归一化，将归一化后投票制均值最大值作为横坐标类别的高亮点值最大性；计算每个横坐标类别对应的高亮点数量最大性和投票值均值最大值的乘积，作为第一乘积；将霍夫空间中最大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第一方向；将霍夫空间中第二大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第二方向。需要说明的是，在霍夫空间中横坐标为图像空间中的方向。

将第一方向和第二方向对应的两个横坐标类别中，高亮点数量最大值较大的横坐标类别作为第一类别；高亮点值最大性较大的横坐标类别作为第二类别。

构建高亮点在第一方向和第二方向上的拓扑图结构。对边缘二值图对应的霍夫空间中的高亮点建立拓扑图结构。进一步的，基于拓扑图结构，对高亮点进行聚类，得到多个高亮点类别。具体的：基于拓扑图结构，将相连接的高亮点的欧式距离作为边权值，利用拉普拉斯图聚类方法对高亮点进行聚类，得到多个高亮点类别，同一个高亮点类别内的高亮点之间的欧式距离相近，不同高亮点类别内的高亮点之间的欧式距离相差较大。

对边缘二值图上对应的霍夫空间中的高亮点建立拓扑图结构，进行图聚类，得到多个的高亮点类别，目的是为了方便后续的异常区域的定位。

步骤S300，通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别；在所述纺织品图像上对异常类别进行定位，得到异常区域；根据所述异常区域对纺织品进行评价。

纺织品图像中的异常区域分为两种，一种是第二方向线较为密集，另一种是第二方向线较为分散，考虑到在金字塔采样过程中第二方向线密集区域在图像空间的合并速度较正常区域快，第二方向线稀疏区域在图像空间的合并速度较正常区域慢，其表现在霍夫空间中为同一个类别中高亮点的合并速度的快慢，合并速度过快或过慢区域均存在缺陷。

在边缘二值图上直接计算每个高亮点类别中高亮点之间的距离异常，可直接得到疑似异常区域，但其受噪声影响较大，考虑到金字塔采样过程中对噪声存在抑制作用，会较少噪声影响，同时金字塔采样过程中通过合并速度的异常可以表示缺陷，因此通过金字塔采样过程中图结构的变化对异常区域进行识别。

金字塔采样过程中，图像空间中第二方向的直线在某次采样时合并，异常直线的合并或快或慢，表现在霍夫空间中为每次采样图像对应的第二类别中的高亮点的拓扑图中为某个区域的节点合并速度异常，则该节点合并速度异常的区域即为异常区域。合并速度异常是指与正常类别相比，正常类别为大多数类别。

通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别，具体的：采用3*3的滑动窗口进行滑窗实现高斯金字塔采样过程，高斯金字塔采样中的采样模板为现有技术，为本领域技术人员的公知技术。对每次采样得到的二值图像进行霍夫空间转换，为了减少计算量，在霍夫空间转换过程中，对原始的边缘二值图对应霍夫空间中的第二类别中的横坐标方向上进行统计，得到对应的第二类别。计算每次采样后高亮点对应的第二方向下拓扑图结构中不同高亮点类别与原始的边缘二值图对应的拓扑图结构中不同类别的匹配关系，该匹配关系的计算过程为：计算得到每个高亮点类别中所有高亮点的纵坐标的均值，得到均值序列，对均值序列进行降序排列，根据降序序列中的顺序赋予每个高亮点类别标号；将每次采样前后标号相同的高亮点类别进行数量匹配，当标号相同的高亮点类别内的数量相同时，匹配度为一，即采样前后标号相同的两个类别没有发生变化。当标号相同的高亮点类别内的数量不相同时，匹配度为零，即采样前后标号相同的两个类别发生变化；

当匹配度为零的高亮点类别的类别数量的占比小于预设异常数量阈值时，将匹配度为零的高亮点类别作为异常类别。即在采样过程中该类别中存在以下现象：该类别中某些高亮点对应的直线合并了。同时，每次计算对应匹配的匹配度的众数，即如果大部分高亮点类别中不存在合并现象，少数类别中存在合并现象，则少数高亮点类别中存在异常，否则大部分类别中存在合并现象，但少数类别中不存在该现象，则少数类别中存在异常。在本发明实施例中预设异常数量阈值的取值为0.8，在其他实施例中实施者可根据实际情况调整该取值。获取各高亮点类别的匹配度，首先通过对应高亮点类别的数量计算匹配度，如果数量相等，则匹配度为1，该类别在采样过程中不存在异常直线的合并。如果数量不相等，则匹配度为0，匹配度异常，数量差越大，产生合并的异常直线的数量越多。当匹配度为零的高亮点类别的类别数量的占比大于等于预设异常数量阈值时，认为是正常直线的合并过程，不对该次采样计算异常直线，直接对下一次采样进行计算异常直线。

在纺织品图像上对异常类别进行定位，得到异常区域：

首先边缘二值图对应的霍夫空间中对每个类别进行直方图统计，得到每个横坐标对应的高亮点数量，首先计算得到当前采样对应的霍夫空间中每个类别的直方图，相减得到差值不为0的值对应的横坐标，即为异常高亮点对应横坐标，在边缘二值图的霍夫空间中计算得到该类别中横坐标对应高亮点的纵坐标值的降序排序，计算得到降序排序序列的后一个与前一个元素的比值，得到比值序列，这是因为在采样过程中直线的长度信息会变化，但同一个类别中的高亮点之间的距离之间的比值关系不变，因此通过相同方法计算得到采样层的比值序列，获取每个采样层对应的比值序列，比较相邻采样层对应的两个比值序列，将两个比值序列中消失的比值对应的边缘二值图中的高亮点作为异常高亮点。

将所有采样过程中的异常高亮点在图像空间中的对应区域作为原图对应灰度图上的掩膜区域，对每个掩膜区域通过otsu分割得到前景区域和背景区域，将前景区域作为异常区域，实现异常区域的定位。

根据异常区域对纺织品进行评价，具体的：获取纺织品图像上异常区域内像素点数量的占比，占比大于预设异常占比阈值的纺织品图像对应的纺织品为质量异常的纺织品。对质量异常的纺织品的异常区域进行修复。

综上所述，本发明实施例涉及数据处理技术领域。该方法采集纺织品图像，通过语义分割获得目标区域；提取目标区域的边缘，得到边缘二值图；将边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构；基于拓扑图结构，对高亮点进行聚类，得到多个高亮点类别；通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别；在纺织品图像上对异常类别进行定位，得到异常区域；根据异常区域对纺织品进行评价。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于图像处理的纺织品质量检测方法，其特征在于，该方法包括以下步骤：

采集纺织品图像，通过语义分割获得目标区域；

提取所述目标区域的边缘，得到边缘二值图；将所述边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构；基于所述拓扑图结构，对所述高亮点进行聚类，得到多个高亮点类别；

通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别；在所述纺织品图像上对异常类别进行定位，得到异常区域；根据所述异常区域对纺织品进行评价。

2.根据权利要求1所述的基于图像处理的纺织品质量检测方法，其特征在于，所述提取所述目标区域的边缘，得到边缘二值图，包括：

利用canny边缘检测算法，提取所述目标区域的边缘，得到边缘二值图。

3.根据权利要求1所述的基于图像处理的纺织品质量检测方法，其特征在于，所述将所述边缘二值图转换到霍夫空间中，构造高亮点在不同方向上的拓扑图结构，包括：

构建高亮点数量直方图；通过高亮点数量直方图得到不同横坐标对应的高亮点的数量信息，对所述高亮点数量直方图进行多阈值分割，得到不同的横坐标类别，计算不同横坐标类别中高亮点数量最大值，将归一化后的高亮点数量最大值作为所述横坐标类别的高亮点数量最大性；计算不同横坐标类别中高亮点的投票值均值最大值，将归一化后投票制均值最大值作为所述横坐标类别的高亮点值最大性；计算每个横坐标类别对应的高亮点数量最大性和投票值均值最大值的乘积，作为第一乘积；将霍夫空间中最大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第一方向；将霍夫空间中第二大的第一乘积对应的横坐标类别的类别横坐标均值在边缘二值图上对应的方向，作为第二方向；

构建高亮点在所述第一方向和所述第二方向上的拓扑图结构。

4.根据权利要求1所述的基于图像处理的纺织品质量检测方法，其特征在于，所述基于所述拓扑图结构，对所述高亮点进行聚类，得到多个高亮点类别，包括：

基于拓扑图结构，将相连接的高亮点的欧式距离作为边权值，利用拉普拉斯图聚类方法对高亮点进行聚类，得到多个高亮点类别。

5.根据权利要求3所述的基于图像处理的纺织品质量检测方法，其特征在于，所述通过金字塔采样过程中不同高亮点类别的变化，从高亮点类别中筛选出异常类别，包括：

将所述第一方向和所述第二方向对应的两个横坐标类别中，高亮点数量最大值较大的横坐标类别作为第一类别；高亮点值最大性较大的横坐标类别作为第二类别；

计算每次采样后高亮点对应的第二方向下拓扑图结构中不同高亮点类别与原始的边缘二值图对应的拓扑图结构中不同类别的匹配关系，所述匹配关系的计算过程为：计算得到每个高亮点类别中所有高亮点的纵坐标的均值，得到均值序列，对所述均值序列进行降序排列，根据降序序列中的顺序赋予每个高亮点类别标号；将每次采样前后标号相同的高亮点类别进行数量匹配，当标号相同的高亮点类别内的数量相同时，匹配度为一；当标号相同的高亮点类别内的数量不相同时，匹配度为零；

当所述匹配度为零的高亮点类别的类别数量的占比小于预设异常数量阈值时，将所述匹配度为零的高亮点类别作为异常类别。

6.根据权利要求1所述的基于图像处理的纺织品质量检测方法，其特征在于，所述在所述纺织品图像上对异常类别进行定位，得到异常区域，包括：

边缘二值图对应的霍夫空间中对每个异常类别进行直方图统计，得到每个横坐标对应的高亮点数量，计算得到当前采样对应的霍夫空间中每个类别的直方图，相减得到差值不为0的值对应的横坐标，作为异常高亮点对应横坐标，在边缘二值图对应的霍夫空间中计算得到异常类别中横坐标对应高亮点的纵坐标值的降序排序，计算降序排序后一个纵坐标值与前一个纵坐标值的比值，得到比值序列；获取每个采样层对应的比值序列，比较相邻采样层对应的两个比值序列，将两个比值序列中消失的比值对应的边缘二值图中的高亮点作为异常高亮点；

将异常高亮点对应的区域作为所述纺织品图像对应的灰度图上的掩膜区域；对所述掩膜区域进行分割得到前景区域和背景区域，将所述前景区域作为异常区域。

7.根据权利要求1所述的基于图像处理的纺织品质量检测方法，其特征在于，所述根据所述异常区域对纺织品进行评价，包括：

获取纺织品图像上异常区域内像素点数量的占比，所述占比大于预设异常占比阈值的纺织品图像对应的纺织品为质量异常的纺织品。

Images