CN111402225A - 一种布匹折叠误检疵点判别方法 - Google Patents

Abstract

本发明涉及一种布匹折叠误检疵点判别方法，包括以下步骤：（1）输入一幅布匹图像及其经过预设的神经网络模型检测后得到的疵点信息；（2）基于疵点信息，对疵点进行误检预判断；（3）对布匹图像进行预处理；（4）对布匹图像进行灰度二值化处理；（5）选择二值化处理后的最大阴影区域；（6）以最大阴影区域与阴影面积阈值TH _area进行比较，进行疵点有效性判别。本发明使用了尺寸预判别和阴影检测方法，整体计算复杂度低，保证了自动布匹验布系统的实时性和疵点布匹数据集的准确性。

Description

一种布匹折叠误检疵点判别方法

技术领域

本发明涉及机器视觉技术在纺织领域的应用，具体涉及一种布匹折叠误检疵点判别方法。

背景技术

在纺织生产领域，织物疵点的检测是评价织物质量优劣、评定档次等级的主要依据。一般根据缺陷影响程度、缺陷大小以及缺陷对后处理加工的要求进行评分，并对缺陷进行清除、修复或开剪，保证后处理加工产品的正品率，这对纺织生产企业具有重要的经济意义。

传统的人工验布存在速度慢、精度低的问题。人工验布对检验员有一定的技术要求和视力要求，长期视力集中，劳动强度大，容易导致检验员眼睛疲劳、患职业病。一般情况下，检测人员每小时只能检测出200个左右的疵点，并且容易出现漏检和误判，不能跟上织机生产速度的提高和织物宽度的不断增加的发展现状。因此，借助人工智能、计算机视觉等先进技术，对织物疵点进行智能检测无疑具有重要价值。基于机器视觉的自动验布系统的出现是企业需求与人工智能技术发展相结合的产物。它可以对获取的图像，采用神经网络等方法进行识别，实现高效的自动验布系统，打破了人工验布的瓶颈。

目前公开的专利中有不少针对布匹疵点检测的方法。传统的有基于图像处理、小波变换、傅里叶变换、GMM、神经网络等等的检测方法。申请号为CN201810881758.9的专利发明了一种利用分层梯度方向直方图和支持向量机的布匹疵点检测方法。该方法通过图像分块、分层梯度方向直方图特征提取、支持向量机模型训练、检测分类等判定图像疵点，具有较好的分类效果，有一定的鲁棒性，可应用于实际生产中。申请号为CN201811098348.3的专利发明了一种基于GMM和图像金字塔的布匹疵点检测方法，利用Laws纹理能量度量方法度量出图像的特征向量，用GMM分类器对其进行纹理缺陷识别，并进一步地在图像金字塔上进行疵点分割及类型判别。该方法可以减少样本数量，保留分割区域的完整性，能够准确的定位疵点区域，提高分割精度和检测效率。

在实际自动验布系统机器视觉检验布匹的过程中，由于机器设备运作的不稳定性，布匹在横向上难免会存在没有完全展开的现象。拉幅机制使得布匹在运行的过程中可以通过轻微左右移动，减少没有展开或折叠的现象。但是就算存在拉幅机制，也会有部分图像在拉幅过程中出现折叠。对于折叠图像，现有的深度学习神经网络往往难以有好的识别效果，会出现将折叠痕迹误识别成重经、断经、细经、粗经等情况。重经是由于平纹组织穿错而导致的两根经纱重叠在一起，断经是由于经线断裂而导致的织物在部分长度上缺少经纱。与此类似的误检都是由于其疵点形状与折叠形状的相似导致的。这些错误的识别结果不仅仅会造成布匹检验评分偏差甚至评级误判，也会对后续收集的数据集造成一定程度的污染，不利于训练数据的进一步拓展，更不利于系统识别效果的进一步训练优化。另外，由于深度神经网络的层数多、运算复杂，对系统计算资源的占用量极大，使得其后的误检判别算法可用资源较为有限。而验布机运行速度快，每张图像都必须尽快检验完成，否则容易造成图像缓存囤积而导致内存溢出或漏检。因此，设计一种计算速度快、准确度高的折叠图像的误检判别方法，不仅可以实时更正神经网络的检测结果，还可以剔除疵点数据集中的误检图片，具有良好的实际应用价值。

发明内容

为了解决深度神经网络在单色布匹瑕疵检测系统中容易将布匹折叠误检为疵点的问题，本发明提供了一种布匹疵点折叠误检判别方法，所述方法包括以下步骤：

(1) 输入一幅布匹图像及其经过预设的神经网络模型检测后得到的疵点信息；

输入一幅经过预设的神经网络模型检测得到包含指定类别疵点的布匹图像及对应的疵点信息。所述的疵点信息包括疵点数目、疵点类别、疵点经向像素长度和疵点纬向像素宽度，以及疵点所在布匹图像的每英寸像素点个数N _dpi，N _dpi是数码领域常用的分辨率度量，其值越大表示采集到的图像越清晰，本发明中其要求的范围为[100，300]。

疵点的经向为布匹传送的方向。

所述的指定类别疵点包括：重经、断经、细经、粗经、松经、紧经、错经、吊经、布辊皱、直条痕。

重经是指两根经纱并列或重叠，织物的组织被破坏；断经是由于织造时断经而未及时处理，布面上通匹或一段长度内缺少一根经；细经是指织物上的某根经纱细于其他经纱；粗经是指织物上的某根经纱粗于其他经纱；松经是指布面上的某根经纱呈松弛或起皱的外观；紧经是指某根经纱的捻度过大，使经纱的屈曲程度不正常；错经是指组织错误或其他错误，使织物部分经纱与相邻的其他经纱明显不同；吊经是指织物上一根或几根经纱的张力过大，致使这些经纱不正常被拉紧；布辊皱是指由于布辊不良形成的经向折皱；直条痕是指织物的经向有一根或几根纱线异于临近的正常纱线，在布面有明显的直条状外观。由于布匹折叠与这些指定类别疵点在形态上非常相似，容易被误检为这些疵点，所以本发明对检测到这些疵点的输入布匹图像进行误检判别。

(2) 基于疵点信息，对疵点进行误检预判断；

尺寸预判别可以有效减少大量不必要的运算，对提升判别方法的处理速度、减少计算负荷都有很大的帮助。该步骤中所述的布匹图像纬向就是空域横坐标方向，经向就是空域纵坐标方向，也是布匹在检测过程中传送的方向。

(2-1) 从输入的疵点图像中选取一个未进行预判别的指定疵点作为当前疵点，根据疵点经向像素长度、疵点纬向像素宽度和布匹图像的N _dpi计算疵点经向物理长度和疵点纬向物理宽度。

(2-2) 在将折叠误检为疵点的图像中，疵点的分布是纵向且细长的，且疵点经向长度较长，有些能接近全部的布匹图像高度。本发明利用这一特性，首先对布匹图像中的当前疵点进行长度判别，若在神经网络检测返回的疵点信息中，疵点经向物理长度大于经向阈值TH _height，则认为该疵点符合经向折叠特征，否则不具备经向折叠特征，必定不是误检；TH _height为该布匹疵点在经向上的物理长度阈值，取值范围为[0.2, 5]，单位为英寸。

(2-3) 在实际布匹中，重经、断经、细经、粗经等指定疵点往往不会大面积出现，可能只存在一条或几条，宽度不会特别大。针对仍然有可能存在疵点误检的布匹图像，本发明对当前疵点再进行宽度判别。若疵点纬向物理宽度小于阈值TH _width，则认为该疵点符合纬向折叠特征，否则不具备纬向折叠特征，必定不是误检；TH _width为该布匹疵点在纬向上的物理宽度阈值，取值范围为[0.2, 2]，单位为英寸。

(2-4) 重复步骤(2-1)至步骤(2-3)，直到该图像中所有指定类别疵点的都遍历完毕。

(2-5) 若存在任意一个指定疵点同时符合经向特征和纬向特征，则该图像有可能存在折叠误检，需要进行后续判别，否则认为该布匹图像为有效的疵点图像，提前判定当前布匹图像中没有误检，结束本次判别。

(3) 对布匹图像进行预处理；

很多因素都有可能影响图像的成像效果，从而导致折叠布匹的误检。例如光照强度大小会影响图像的灰度值大小，光源的位置分布会影响图像的灰度值分布，相机传输过程中产生的不可控噪声信号，验布机运作时或拉幅时抖动产生的模糊等等。由于线阵相机所拍摄的布匹图像分辨率较高，布匹上的正常纹路也会对阴影检测产生影响。因此，本发明在进一步判别之前对布匹图像进行预处理，减少不可控因素带来的影响。

噪声信号有着不可期望性和无规则性的特点，往往会在图像中呈现随机分布。而针对随机分布，均值滤波是一种较为有效的滤波方式。均值滤波器是一种线性滤波器，使用滤波器窗口内的像素平均值代替图像中心处像素的灰度值，从而可以在整体图像上有效地降低尖锐噪声。传统的均值滤波器在滤除尖锐噪声的同时，往往会使图像产生一定程度的模糊，使用的滤波器尺寸越大，模糊的程度越严重。由于本发明的目标是为后续阴影检测做准备，最终只需要得到阴影部分的面积大小进行判别，其检测受模糊的影响较小；采集的布匹图像分辨率往往也较大，模糊有利于去除布匹本身的纹理干扰。因此本发明使用较大的均值滤波窗口，对图像进行滤波，有效减少噪声和布匹纹理对后续分割的影响。均值滤波窗口大小可根据检测规模、相机成像效果等因素从5×5、7×7、9×9、11×11中选择。

(4) 对布匹图像进行灰度二值化处理；

对于存在折叠现象的图像，由于层次与厚度差的存在，图像会存在较为明显的阴影痕迹。针对这一特性，本发明采用阴影检测方法来进一步判断该布匹图像是否为误检。若布匹图像中的阴影区域足够大，则说明该疵点中确实存在阴影，可以用于判定该疵点图像是由布匹重叠导致的误检测。为了获取阴影区域，需要对布匹灰度图进行二值化，具体步骤如下：

(4-1) 统计预处理后布匹图像的灰度直方图。灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计。灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的次数。灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。

(4-2) 利用灰度直方图寻找出现次数最多的灰度值PeakGray。针对预处理模糊后的图像，除疵点外的大部分布匹图像区域的灰度值较为稳定，出现次数较高，由此可以有效地区分阴影与布匹，且针对不同的图像，也能保证很大程度上的自适应性。

(4-3) 把最高次数灰度值PeakGray与R _adapt的相加得到的灰度值作为二值化分割阈值TH _adapt，进行阈值分割；R _adapt为根据具体光照强弱等环境因素设定，取值范围为[-50，+50]；对图像中每个像素点的灰度值，将灰度值大于TH _adapt的像素点赋值为白色，属于布匹区域集合White，小于等于TH _adapt的像素点赋值为黑色，属于阴影区域集合Black。所述的白色灰度值为255，黑色灰度值为0。

(5) 选择二值化处理后的最大阴影区域；

(5-1) 由于阈值分割存在一定程度的噪声，分割的效果往往欠佳，所以本发明对分割后区域进行内部填充。本发明在布匹区域的区域集合White中，分离出每个连通域R _white。所述连通域是指图像中具有相同像素值且八邻域位置相邻的前景像素点组成的图像区域。

(5-2)对每一个分离出的连通域R _white，判断其像素坐标是否完全包含于其他连通域内部，若完全包含则去除，赋值白；直到全部连通域R _white遍历完毕，最终可以只保留最外围的连通域，去除内部细小区域，得到较为完整清晰的布匹区域A。

(5-3) 按式(1)求取布匹区域A的补区域∁ _U A，该补区域包含了阴影区域的区域集合，式中U是图像区域全集，x为补区域中的像素。

∁ _U A=U-A={x=|x∈U且x∉A} (1)

(5-4) 对获取的阴影部分，仍有可能包含错误的噪点区域，以及一些不可控因素产生的错误分割。因此，本发明进一步筛选阴影部分，通过面积找到我们需要的阴影。本发明在包含阴影区域的区域集合∁ _U A中，分离出每个连通域R _black。该连通域同样是图像中具有相同像素值且八邻域位置相邻的前景像素点组成的图像区域。

(5-5) 统计R _black中每个连通域的像素面积S _R，选取面积最大的连通域R _max作为最大阴影区域。该步骤可以避免大量细小区域产生的误差，精准选取到我们需要的阴影部分。

(6) 以最大阴影区域与阴影面积阈值TH _area进行比较，进行疵点有效性判别；

将最大阴影区域R _max的像素面积S _max与阴影面积阈值TH _area进行比较，若S _max大于阈值TH _area，则判定当前布匹疵点图像存在布匹折叠产生的疵点误检，需要剔除；若S _max小于等于阈值TH _area，则判定当前布匹图像为有效的疵点检测图像；TH _area为面积阈值，取值范围为[1000，8000]，根据实际图像分辨率选取，分辨率越大取值越大。

附图说明

图1为本发明流程框图。

图2为线阵相机采集到的原始图像。

图3中框选部分为经神经网络检测后，疑似为折叠的布匹图像。

图4为经过预处理后的布匹图像。

图5为示例布匹图像的灰度直方图可视化。

图6阈值分割之后的布匹区域图像。

图7为取补集后的阴影区域图像。

图8为最终分割出的阴影图像。

具体实施方式

下面结合实施例和附图来详细描述本发明，但本发明并不仅限于此。

如图1所示的一种布匹折叠误检疵点判别方法，包括如下步骤：

(1)输入一幅布匹图像及其经过预设的神经网络模型检测后得到的疵点信息；

(2)基于疵点信息，对疵点进行误检预判断；

(3)对布匹图像进行预处理；

(4)对布匹图像进行灰度二值化处理；

(5)选择二值化处理后的最大阴影区域；

(6)以最大阴影区域与阴影面积阈值TH _area进行比较，进行疵点有效性判别。

步骤(1)具体包括：

使用线阵相机收集布匹图像，基于采集图像的dpi为N _dpi，确定线阵相机的位置、焦距和行分辨率，相机将采集到的每一行数据的灰度信息传输至处理计算机，当行数达到N _row时，即可生成一副完整的布匹原始图像。N _dpi为布匹原始图像的每英寸像素点个数，取值范围为[100，300]，此处取160。N _row的范围为[400，4000]，此处取1080。采集图像示例如图2所示。

对采集到的图像，传输至经过预设的深度神经网络模型进行初步检测，本发明不限制深度神经网络的使用，仅针对网络检测结果进行二次判别。此处使用较为经典的Faster R-CNN网络，对其进行深度学习训练后得到深度神经网络模型，可对大部分疵点类型进行精确定位和识别。对检测得到的所有布匹图像，本例筛选出判别为重经、断经、细经、粗经、松经、紧经、错经、吊经、布辊皱、直条痕的布匹图像，用作后续进一步剔分。示例布匹图像检测结果如图3所示。

步骤(2)具体包括：

(2-1) 从输入的疵点图像中选取一个未进行预判别的指定疵点作为当前疵点, 根据疵点经向像素长度、疵点纬向像素宽度和布匹图像的N _dpi计算疵点经向物理长度和疵点纬向物理宽度。

(2-2) 若神经网络检测返回的疵点信息中，疵点经向物理长度大于经向阈值TH _height，则认为该疵点符合经向折叠特征，否则不具备经向折叠特征，必定不是误检；TH _height为该布匹疵点在经向上的物理长度阈值，取值范围为[0.2, 5]，单位为英寸，此处取2。

(2-3) 若神经网络检测返回的疵点信息中，疵点纬向物理宽度小于阈值TH _width，则认为该疵点符合纬向折叠特征，否则不具备纬向折叠特征，必定不是误检；TH _width为该布匹疵点在纬向上的物理宽度阈值，取值范围为[0.2, 2]，单位为英寸，此处取0.6。

(2-4) 重复步骤(2-1)至步骤(2-3)，直到该图像中所有指定类别疵点的都遍历完毕。

(2-5) 若存在任意一个指定疵点同时符合经向特征和纬向特征，则该图像有可能存在折叠误检，需要进行后续判别，否则认为该布匹图像为有效的疵点图像，提前判定当前布匹图像中没有误检，结束本次判别。

步骤(3)具体包括：

根据成像效果，此处采取9×9的均值滤波窗口对该布匹图像进行滤波操作。预处理后的示例图像如图4所示。

步骤(4)具体包括：

(4-1) 统计预处理后该布匹图像的灰度直方图。示例图像的灰度直方图如图5所示。

(4-2) 利用灰度直方图寻找出现次数最高的灰度值PeakGray，此处取167。

(4-3) 把与最高次数灰度值PeakGray加上R _adapt的灰度值作为二值化分割阈值TH _adapt，进行阈值分割；R _adapt为根据具体环境设定的允许阈值，取值范围为[-50，+50]，此处取-30；分割阈值TH _adapt即PeakGray加上R _adapt，此处取137。对图像中每个像素点的灰度值，将灰度值大于TH _adapt的像素点赋值为白，属于布匹区域集合White，小于等于TH _adapt的像素点赋值为黑，属于阴影区域集合Black。所述的白色灰度值为255，黑色灰度值为0。分割出的布匹区域图像如图6所示，为了视觉效果图中用黑色部分展示分割出的布匹区域White，可见其区域仍然含有少量噪声。

步骤(5)具体包括：

(5-1)对分割区域内部填充：获取布匹区域集合White的一个连通域R _white，若该区域被其他连通域包含，则将其赋白。遍历全部连通域完毕后，所有白色区域即较为完整清晰的布匹区域A。

(5-2) 求取布匹区域A的补区域∁ _U A，即获取到包含阴影区域的区域集合∁ _U A。获取的阴影区域图像如图7所示，图中可见获取的阴影区域，在图像边缘仍然含有一部分噪声。

(5-3) 在包含阴影区域的区域集合∁ _U A中，分离出每个连通域R _black。示例图像中，分割出两块连通域R ₁、R ₂，R ₁包括阴影区域，R ₂为图像边缘一小点的噪声区域。

(5-4) 计算每个连通域的像素面积S _R，选取面积最大的连通域，即可获得图中阴影部分的区域R _max。示例图像中，面积最大的阴影区域R ₁，其像素面积为9316，远大于R ₂，最终分割出的阴影区域为连通域R _max即为R ₁，图像如图8所示。

步骤(6)具体包括：

比较最大阴影区域的区域R _max的像素面积S _max和阴影面积阈值TH _area的大小，若S _max大于阈值TH _area，则判定当前布匹疵点图像存在布匹折叠产生的疵点误检，需要剔除。若S _max小于等于阈值TH _area，则判定当前布匹图像为有效的疵点检测图像；TH _area为设定好的面积阈值，取值范围为[1000，8000]，此处选取4000。

该图像分割出的阴影区域面积S _max为9316，可知该示例图像为折叠误检测图像，需要剔除。

Claims (7)

1.一种布匹折叠误检疵点判别方法，其特征在于：所述方法包括以下步骤：

步骤1：输入一幅布匹图像及其经过预设的神经网络模型检测后得到的疵点信息；

步骤2：基于疵点信息，对疵点进行误检预判断；

步骤3：对布匹图像进行预处理；

步骤4：对布匹图像进行灰度二值化处理；

步骤5：选择二值化处理后的最大阴影区域；

步骤6：以最大阴影区域与阴影面积阈值TH _area进行比较，进行疵点有效性判别。

2.根据权利要求1所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤1中，疵点信息包括疵点数目、疵点类别、疵点经向像素长度、疵点纬向像素宽度及疵点所在布匹图像的每英寸像素点个数N _dpi，其中，疵点的经向为布匹传送的方向；所述的疵点类别包括重经、断经、细经、粗经、松经、紧经、错经、吊经、布辊皱、直条痕。

3.根据权利要求2所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤2包括以下步骤：

步骤2.1：取任一未进行预判断的疵点作为当前疵点；以疵点经向像素长度、疵点纬向像素宽度和布匹图像的N _dpi计算疵点的经向物理长度和疵点纬向物理宽度；

步骤2.2：若当前疵点经向物理长度大于经向阈值TH _height，则当前疵点符合经向折叠特征，否则非误检； TH _height 取值范围为[0.2, 5]；

步骤2.3：若当前疵点纬向物理宽度小于纬向阈值TH _width，则当前疵点符合纬向折叠特征，否则非误检；TH _width取值范围为[0.2, 2]；

步骤2.4：若还存在未进行预判断的疵点，则返回步骤2.1，否则，进行下一步；

步骤2.5：若存在任意一个指定疵点同时符合经向折叠特征和纬向折叠特征，则执行步骤3，否则，判定当前布匹图像的疵点有效，提前终止本次判别。

4.根据权利要求1所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤3中，预处理包括对布匹图像进行均值滤波，滤波窗口包括5×5、7×7、9×9或11×11。

5.根据权利要求1所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤4包括以下步骤：

步骤4.1：统计预处理后当前布匹图像的灰度直方图；

步骤4.2：寻找灰度直方图中出现次数最多的灰度值PeakGray；

步骤4.3：以PeakGray加上预设的R _adapt后的灰度值作为二值化分割阈值TH _adapt，进行阈值分割；R _adapt的取值范围为[-50，+50]；

步骤4.4：将灰度值大于TH _adapt的像素点赋值为255，作为布匹区域集合White，小于等于TH _adapt的像素点赋值为0，作为阴影区域集合Black。

6.根据权利要求5所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤5包括以下步骤：

步骤5.1：对二值化后像素值为255的区域进行连通域分离，得到每个连通域R _white；

步骤5.2：对每个连通域，判断其像素坐标是否完全包含于其他连通域内部，若是，则去除当前连通域并赋值为255，否则，重复步骤5.2，直至所有连通域遍历完毕，得到布匹区域A；

步骤5.3：按式(1)，求布匹区域A的补区域∁ _U A，

∁ _U A=U-A={x=|x∈U且x∉A} (1)

其中，U是图像区域全集，x为补区域中的像素；

步骤5.4：在包含阴影区域的区域集合∁ _U A中，分离出每个连通域R _black；

步骤5.5：统计R _black中每个连通域的像素面积S _R，选取面积最大的连通域R _max作为最大阴影区域。

7.根据权利要求1所述的一种布匹折叠误检疵点判别方法，其特征在于：所述步骤6中，将最大阴影区域R _max的像素面积S _max与阴影面积阈值TH _area进行比较；

若S _max大于阈值TH _area，则判定当前布匹疵点图像存在布匹折叠产生的疵点误检，需要剔除；若S _max小于等于阈值TH _area，则判定当前布匹图像为有效的疵点检测图像；TH _area的取值范围为[1000，8000]。

Images