CN115308215B - 基于激光束的织物织造疵点检测方法 - Google Patents

Abstract

本发明涉及光学检测技术领域，具体涉及基于激光束的织物织造疵点检测方法。该方法包括：在织物生产机床上，部署空间光调节器与相机，通过空间光调节器产生激光束打在织物表面，利用相机获取织物表面光斑图像；建立神经网络对所述织物表面光斑图像进行光斑区域提取，获取高斯光斑区域图像；并对其利用贝叶斯混合高斯模型进行拟合，获取时序的高斯光束特征向量；利用机器学习模型对所述时序的高斯光束特征向量进行识别，判断疵点类型。本发明方法可以检测复杂背景与织物图案下任意数量的高斯激光束，同时结合高斯光束的特征向量，对高斯光束进行了更有效的量化，有效提高了织物疵点的判断精度。

Description

基于激光束的织物织造疵点检测方法

技术领域

本发明涉及光学检测技术领域，具体涉及基于激光束的织物织造疵点检测方法。

背景技术

织物疵点检测在纺织工业中起着关键的质量控制作用。训练有素的检验员进行质量检查，以发现任何潜在的织物缺陷。然而，由于人类劳动的固有局限性，如眼睛疲劳和注意力分散，该过程被认为是耗时、不一致、容易出错和昂贵的。因此，为了改进这一重要过程，高度期望自动化和精确的检查系统，其中图像分析和处理技术在工业中被广泛应用，可以自动化的进行缺陷检测和分类。织物图案上经常出现的缺陷限制了制造商从劣质产品中回收的利润，因此，纺织工业中的缺陷检测过程需要满足接近高检测精度的期望。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于激光束的织物织造疵点检测方法，所采用的技术方案具体如下：

本发明提出基于激光束的织物织造疵点检测方法，所述方法包括：

在织物生产机床上，部署空间光调节器与相机，通过所述空间光调节器产生激光束打在织物表面，同时利用所述相机获取织物表面光斑图像；建立高斯光斑检测神经网络对所述织物表面光斑图像进行光斑区域提取，获取高斯光斑区域图像；对所述高斯光斑区域图像进行分析，获取织物光斑区域图像，根据所述织物光斑区域图像获取激光束光强图像，根据所述织物光斑图像及所述激光束光强图像用贝叶斯混合高斯模型进行拟合，得到高斯光束分布图像及高斯光束的形态参数；基于所述高斯光束分布图像进行分析，得到所述光强对称熵，将所述高斯光束的形态参数及所述光强对称熵进行结合获取时序的高斯光束特征向量； 利用机器学习模型对所述时序的高斯光束特征向量进行识别，判断疵点类型。

进一步的，所述空间光调节器打出的激光束为高斯光束。

进一步的，所述建立高斯光斑检测神经网络对所述织物表面光斑图像进行光斑区域提取的方法包括：构建标签数据集，首先人为通过标注工具标记出图像中的光斑区域，所述光斑区域的标注采用椭圆形进行标注，然后对每一个光斑区域内的光斑像素坐标进行二维高斯分布拟合，得到该光斑区域的高斯分布函数；然后通过计算机代码生成一张与采集图像等大小的全0图像，将每一个光斑区域内的光斑像素空间坐标带入其所属的光斑区域的高斯分布函数，并进行归一化，得到该像素的标注值，最终得到高斯光斑标注图像；然后建立高斯光斑检测神经网络，其输入为采集的织物表面光斑图像，输出为高斯光斑区域图像，然后将高斯光斑区域图像与高斯光斑标注图像进行损失函数计算，损失函数采用均方差损失，神经网络训练完毕后，输入采集的织物表面光斑图像，输出高斯光斑区域图像。

进一步的，所述对所述高斯光斑区域图像进行分析，获取织物光斑区域图像，根据所述织物光斑区域图像获取激光束光强图像，包括：利用阈值法提取高斯光斑区域图像中的光斑坐标，大于光斑阈值的像素值置为1，代表为高斯光斑坐标，小于光斑阈值的值为0，得到高斯光斑区域二值图像；然后将高斯光斑区域二值图像与织物表面光斑图像进行相乘，得到织物光斑区域图像；利用基于Retinex理论的MSRCR 算法对织物光斑区域图像进行处理，得到织物表面的反射分量图像，然后根据下述公式，得到激光束光强图像：

I(x,y)代表织物光斑区域图像；L(x,y)代表激光束光强图像；R(x,y)表示织物表面的反射分量图像，所述激光束光强图像需要进行归一化操作。

进一步的，所述根据所述织物光斑区域图像及所述激光束光强图像用贝叶斯混合高斯模型进行拟合，得到高斯光束分布图像及高斯光束的形态参数，包括：贝叶斯高斯混合模型对高斯光斑区域二值图像中的高斯光斑坐标及激光束光强图像相应坐标下的激光照射分量值进行拟合，最终得到多个高斯分布的均值与标准差；然后获取每一个高斯分布的区域范围，其中区域范围的中心为高斯分布中坐标的均值，坐标的标准差的两倍分别作为区域的长轴、短轴，最终得到高斯光束分布图像；对于高斯光束分布图像中每一个高斯光束分布区域进行椭圆拟合，获取椭圆的特征参数旋转角度，每一个高斯光束分布区域的长轴、短轴与旋转角度作为该高斯光束的形态参数。

进一步的，所述基于所述高斯光束分布图像进行分析，得到所述光强对称熵，将所述高斯光束的形态参数及所述光强对称熵进行结合获取时序的高斯光束特征向量，包括：根据每个光斑区域的长轴、短轴位置，获取其长轴像素序列、短轴像素序列，并根据所述长轴像素序列、短轴像素序列分析每一对称像素对的距离，判断其是否为光强对称分布，得到长轴光强对称序列，短轴光强对称序列；对于每一个光强对称序列，计算其光强对称熵；将每个光斑区域所对应的高斯分布的均值、标准差及光强对称熵与高斯光束的形态参数进行组合，得到高斯光束的特征向量；然后根据激光束的间距及织物织造机床的运动距离进行规定采样，得到单个光斑在不同传输位置上激光束的光斑成像，然后将采样的图像的同一光斑位置的高斯光束特征向量按顺序排列，组成时序的高斯光束特征向量。

进一步的，所述根据所述长轴像素序列、短轴像素序列分析每一对称像素对的距离，判断其是否为光强对称分布，得到长轴光强对称序列，短轴光强对称序列，包括：所述对称像素对是指序列中像素以中心点为对称的像素，当对称像素对像素值的L1距离小于该像素对所对应的对称阈值G时，认为其光强对称分布，距离阈值的经验值为：

为阈值常数，需要人为根据激光束的标准大小进行调试，d为该对称像素对任一像素点与中心点的距离，L为该序列中最大的像素点与中心点的距离；当光强对称分布时，置为1，不符合时置为0，最终得到一个光强对称序列，然后对于长轴像素序列、短轴像素序列都进行上述分析，得到长轴光强对称序列，短轴光强对称序列。

进一步的，所述对于每一个光强对称序列，计算其光强对称熵包括：将光强对称序列中每两个相邻的序列值，组成一个共生对，然后求取每一种共生对的概率，最终得到光强对称共生矩阵；然后计算下述光强对称熵S：

n为光强对称序列的个数，

表示第i个光强对称序列第j个共生对的概率, 所述共生对只分析包含0的共生对，k表示共生对的种类数量，最终得到S越大，表明光强分布非均匀程度越大。

本发明具有如下有益效果：

本发明方法通过光斑检测网络方法来实现织物织造过程中光斑的检测，可以避免复杂背景与织物图案的影响，提高了光斑检测精度，相比其他方法，大大简化了波束分析的流程，可以检测任意数量的高斯激光束。

本发明结合贝叶斯高斯混合模型技术，可以有效避免多光束粘连导致检测精度下降问题，同时获取高斯光束的特征向量，对高斯光束进行了更有效的量化，而不单只基于其中心坐标，有效提高了织物疵点的判断精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的基于激光束的织物织造疵点检测方法流程框图。

图2为本发明一个实施例所提供的一种高斯光束的图像示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于激光束的织物织造疵点检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于激光束的织物织造疵点检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于激光束的织物织造疵点检测方法流程框图，该方法包括：

步骤一：在织物生产机床上，部署空间光调节器与相机，通过空间光调节器产生激光束打在织物表面，同时利用相机获取织物表面光斑图像。

在织物生产机床的合适位置部署空间光调节器与相机，然后织物生产过程中，开启空间光调节器，产生激光束，并照射到织物上，织物由纱线和织针构成，因此其会与激光所形成的光幕交织形成亮斑，从而纱线和织针被激光光源点亮。由于织物由单丝编织而成，当激光束聚焦的太薄时，不可能将织物缺陷信号与单丝之间的信号区分开来。此外，如果织物输送速度太高，激光束的扫描范围间隔将增加。鉴于上述原因，很容易造成漏检。所有光束的照射角度、扫描的速度调节以及激光束和光接收器的角度的最佳状态应是可调节的，因此激光束的产生，采用空间光调制器，可以创建多个动态控制的激光束，所述激光束采用高斯光束，采集的光斑图像如图2所示。

相机采集所形成的亮斑的图像，其色彩空间为RGB颜色空间，所述相机应采用高速相机，可以采集织造过程中的瞬时图像。实时采集并判断运动规律，当运动规律被破坏，可以判断纱线或织针的相应位置出现了断纱或织针运动异常等问题，也可以判断为疵点发生的先兆，从而及时停车避免织造过程的浪费。

步骤二：建立高斯光斑检测神经网络对织物表面光斑图像进行光斑区域提取，获取高斯光斑区域图像。

首先对织物表面光斑图像进行光斑区域的提取，光斑通常会在织物表面产生呈高斯分布的亮斑。直接采用阈值的方法，通常受织物本身颜色及图像背景的影响，从而导致光斑的分割精度不精确，使得后续判断疵点类型出现错误。

对采集的图像数据进行标注，首先人为通过标注工具标记出图像中的光斑区域，所述光斑区域的标注采用椭圆形进行标注，然后对每一个光斑区域内的光斑像素坐标进行二维高斯分布拟合，得到该光斑区域的高斯分布函数。然后通过计算机代码生成一张与采集图像等大小的全0图像，将每一个光斑区域内的光斑像素空间坐标带入其所属的光斑区域的高斯分布函数，并进行归一化，得到该像素的标注值，最终得到高斯光斑标注图像。之所以采用二维高斯分布拟合是为了统一标注图像标准，使得神经网络可以对任意背景或任意种类的织物表面图像都提取其光斑区域。

然后建立高斯光斑检测神经网络，该神经网络包含高斯光斑检测编码器及高斯光斑检测解码器，可以利用Unet等全卷积神经网络，其输入图像为采集的织物表面光斑图像，输出为高斯光斑区域图像，然后将高斯光斑区域图像与高斯光斑标注图像进行损失函数计算，损失函数采用均方差损失，优化方法采用Adam。

至此，即可通过高斯光斑检测神经网络对织物表面光斑图像进行光斑区域的准确检测，输出为高斯光斑区域图像，该图像中像素值越大代表其越可能为光斑，同时距离光斑中心越近。

步骤三：对所述高斯光斑区域图像进行分析，获取织物光斑区域图像，根据所述织物光斑区域图像获取激光束光强图像，根据所述织物光斑图像及所述激光束光强图像用贝叶斯混合高斯模型进行拟合，得到高斯光束分布图像及高斯光束的形态参数；基于所述高斯光束分布图像进行分析，得到所述光强对称熵，将所述高斯光束的形态参数及所述光强对称熵进行结合获取时序的高斯光束特征向量。

首先利用阈值法提取高斯光斑区域图像中的光斑坐标，光斑阈值的经验值为0.08，最终得到高斯光斑区域二值图像，即大于光斑阈值的像素值置为1，代表为高斯光斑坐标，小于光斑阈值的值置为0。

然后将高斯光斑区域二值图像与织物表面光斑图像进行相乘，得到织物光斑区域图像。

在 Retinex 理论中：

其中，I(x,y)代表相机接收到的图像信号，即织物光斑区域图像；L(x,y)代表入射光的照射分量，即激光束光强图像；R(x,y)表示携带图像细节信息的目标物体的反射分量，即织物表面的反射分量图像。

此处利用基于Retinex理论的MSRCR 算法对织物光斑区域图像进行处理，最终得到织物表面的反射分量图像

。然后根据下述公式，得到入射光的照射分量图像：

入射光的照射分量图像可以用来近似的代表激光束的光强图像，因此称为激光束光强图像，该图像中每个光斑区域都有其激光束的激光照射分量，所述激光束光强图像需要进行归一化操作。

对于激光束光强图像，其存在多个光斑区域，由于光斑易受织物缺陷影响，容易造成光斑的合并或空间变化，因此此处采用贝叶斯高斯混合模型对高斯光斑区域二值图像中的高斯光斑坐标及激光束光强图像相应坐标下的激光照射分量值进行拟合，采用贝叶斯高斯混合模型可以自动化提取织物光斑区域图像中呈高斯分布的区域个数，利用普通高斯混合模型需要定义高斯分布个数，可能会因织物缺陷导致拟合错误，进而影响后续精度，最终得到多个高斯分布的均值与标准差。

然后获取每一个高斯分布的区域范围，该区域范围是以高斯分布的均值、标准差所形成，其中区域范围的中心为高斯分布中坐标的均值，坐标的标准差的两倍分别作为区域的长轴、短轴，最终得到高斯光束分布图像。

进一步的，对于高斯光束分布图像中每一个高斯光束分布区域进行椭圆拟合，获取椭圆的特征参数旋转角度，旋转角度即长轴与图像坐标系Y轴之间的角度，然后将该高斯光束分布区域的长轴、短轴、旋转角度作为高斯光束的形态参数。椭圆拟合及特征参数的获取可以通过OpenCV库中的图像分析函数实现，这里不再赘述。

通常而言其激光束是符合高斯分布的，但当部分疵点存在于光斑区域内时，会导致该光斑区域的像素值与高斯分布差异较大，使得不符合以光斑区域中心点的高斯分布，因此对于激光束光强图像中每一个光斑区域，分析其光斑强度的对称性，通过对称性反映光斑区域内光强分布不均的情况。

对于每个光斑区域的长轴、短轴，都获取其长轴像素序列、短轴像素序列，然后分析每一对称像素对的距离，所述对称像素对是指序列中像素以中心点为对称的像素，如序列中第一个像素与最后一个像素。当对称像素对像素值的L1距离小于该对称像素对所对应的对称阈值G时，认为其光强对称分布，距离阈值的经验值为：

的经验值为0.02，需要人为根据激光束的标准大小进行调试，d为该对称像素对任一像素点与中心点的距离，L为该序列中最大的像素点与中心点的距离。由于高斯光束具有中心光强大，距中心越远光强越小的特点，因此采用基于距离的对称阈值。

当光强对称分布时，置为1，不符合时置为0，最终得到一个光强对称序列。最终对于长轴像素序列、短轴像素序列都进行上述分析，得到长轴光强对称序列，短轴光强对称序列。

进一步的，对于每一个光强对称序列，将每两个相邻的序列值，组成一个共生对，然后求取每一种共生对的概率，最终得到光强对称共生矩阵，光强对称共生矩阵的大小为2*2，即共生对只有下述四种(0,0),(0,1),(1,0),(1,1)。

然后计算下述光强对称熵S：

n为光强对称序列的个数，即2个，分别为长轴光强对称序列，短轴光强对称序列，

表示第i个光强对称序列第j个共生对的概率, 所述共生对只分析包含0的共生对，即分析存在不对称光强分布的共生对(0,0),(0,1),(1,0)，k表示共生对的种类数，即4种，最终得到S越大，表明光强分布非均匀程度越大。

最终再将每个光斑区域所对应的高斯分布的均值、标准差及光强对称熵与高斯光束的形态参数进行组合，得到高斯光束的特征向量。高斯分布的均值与标准差可以有效反映高斯光束的空间分布及光束强度信息。

然后根据激光束的间距及织物织造机床的运动距离进行规定采样，如相同行排列的激光束的间距为0.1m，当织物织造机床的运动距离每运动0.1m就开始采样图像，进而保证采集到的图像为不同激光束在同一位置时的光斑图像，最终得到单个光斑在不同传输位置上激光束的光斑成像，然后将采样的图像的同一光斑位置的高斯光束特征向量按顺序排列，组成时序的高斯光束特征向量。

步骤四：利用机器学习模型对所述时序的高斯光束特征向量进行识别，判断疵点类型。

此处机器学习模型采用循环神经网络模型，优选的，采用GRU模型，网络训练的过程如下：GRU模型的输入为每个光斑处时序的高斯光束特征向量，GRU网络损失函数采用交叉熵，分类函数采用Softmax。训练标签数据通过人为标注，即为织物织造过程中存在的各种缺陷类型。网络的输出结果为各类缺陷或正常的概率值，相加和为1，最终通过Argmax操作，得到具体的缺陷结果。

最终根据诊断的结果，确定织物异常的位置并进行记录，并安排工作人员对织物进行处理。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于激光束的织物织造疵点检测方法，其特征在于，所述方法包括：

在织物生产机床上，部署空间光调节器与相机，通过所述空间光调节器产生激光束打在织物表面，同时利用所述相机获取织物表面光斑图像；

建立高斯光斑检测神经网络对所述织物表面光斑图像进行光斑区域提取，获取高斯光斑区域图像；

对所述高斯光斑区域图像进行分析，获取织物光斑区域图像，根据所述织物光斑区域图像获取激光束光强图像，根据所述织物光斑区域图像及所述激光束光强图像用贝叶斯混合高斯模型进行拟合，得到高斯光束分布图像及高斯光束的形态参数；基于所述高斯光束分布图像进行分析，得到光强对称熵，将所述高斯光束的形态参数及所述光强对称熵进行结合获取时序的高斯光束特征向量；

利用机器学习模型对所述时序的高斯光束特征向量进行识别，判断疵点类型；

所述建立高斯光斑检测神经网络对所述织物表面光斑图像进行光斑区域提取的方法包括：

构建标签数据集，首先人为通过标注工具标记出图像中的光斑区域，所述光斑区域的标注采用椭圆形进行标注，然后对每一个光斑区域内的光斑像素坐标进行二维高斯分布拟合，得到该光斑区域的高斯分布函数；然后通过计算机代码生成一张与采集图像等大小的全0图像，将每一个光斑区域内的光斑像素空间坐标带入其所属的光斑区域的高斯分布函数，并进行归一化，得到该像素的标注值，最终得到高斯光斑标注图像；

然后建立高斯光斑检测神经网络，其输入为采集的织物表面光斑图像，输出为高斯光斑区域图像，然后将高斯光斑区域图像与高斯光斑标注图像进行损失函数计算，损失函数采用均方差损失，神经网络训练完毕后，输入采集的织物表面光斑图像，输出高斯光斑区域图像；

所述对所述高斯光斑区域图像进行分析，获取织物光斑区域图像，根据所述织物光斑区域图像获取激光束光强图像，包括：

利用阈值法提取高斯光斑区域图像中的光斑坐标，大于光斑阈值的像素值置为1，代表为高斯光斑坐标，小于光斑阈值的值为0，得到高斯光斑区域二值图像；然后将高斯光斑区域二值图像与织物表面光斑图像进行相乘，得到织物光斑区域图像；

利用基于Retinex理论的MSRCR 算法对织物光斑区域图像进行处理，得到织物表面的反射分量图像，然后根据下述公式，得到激光束光强图像：

I(x,y)代表织物光斑区域图像；L(x,y)代表激光束光强图像；R(x,y)表示织物表面的反射分量图像，所述激光束光强图像需要进行归一化操作；

所述根据所述织物光斑区域图像及所述激光束光强图像用贝叶斯混合高斯模型进行拟合，得到高斯光束分布图像及高斯光束的形态参数，包括：

采用贝叶斯高斯混合模型对高斯光斑区域二值图像中的高斯光斑坐标及激光束光强图像相应坐标下的激光照射分量值进行拟合，最终得到多个高斯分布的均值与标准差；

然后获取每一个高斯分布的区域范围，其中区域范围的中心为高斯分布中坐标的均值，坐标的标准差的两倍分别作为区域的长轴、短轴，最终得到高斯光束分布图像；

对于高斯光束分布图像中每一个高斯光束分布区域进行椭圆拟合，获取椭圆的特征参数旋转角度，每一个高斯光束分布区域的长轴、短轴与旋转角度作为该高斯光束的形态参数；

所述基于所述高斯光束分布图像进行分析，得到所述光强对称熵，将所述高斯光束的形态参数及所述光强对称熵进行结合获取时序的高斯光束特征向量，包括：

根据每个光斑区域的长轴、短轴位置，获取其长轴像素序列、短轴像素序列，并根据所述长轴像素序列、短轴像素序列分析每一对称像素对的距离，判断其是否为光强对称分布，得到长轴光强对称序列，短轴光强对称序列；

对于每一个光强对称序列，计算其光强对称熵；

将每个光斑区域所对应的高斯分布的均值、标准差及光强对称熵与高斯光束的形态参数进行组合，得到高斯光束的特征向量；

然后根据激光束的间距及织物织造机床的运动距离进行规定采样，得到单个光斑在不同传输位置上激光束的光斑成像，然后将采样的图像的同一光斑位置的高斯光束特征向量按顺序排列，组成时序的高斯光束特征向量；

所述根据所述长轴像素序列、短轴像素序列分析每一对称像素对的距离，判断其是否为光强对称分布，得到长轴光强对称序列，短轴光强对称序列，包括：

所述对称像素对是指序列中像素以中心点为对称的像素，当对称像素对像素值的L1距离小于该像素对所对应的对称阈值G时，认为其光强对称分布，距离阈值的经验值为：

为阈值常数，需要人为根据激光束的标准大小进行调试，d为该对称像素对任一像素点与中心点的距离，L为序列中最大的像素点与中心点的距离；

当光强对称分布时，置为1，不符合时置为0，最终得到一个光强对称序列，然后对于长轴像素序列、短轴像素序列都进行上述分析，得到长轴光强对称序列，短轴光强对称序列；

所述对于每一个光强对称序列，计算其光强对称熵包括：

将光强对称序列中每两个相邻的序列值，组成一个共生对，然后求取每一种共生对的概率，最终得到光强对称共生矩阵；

然后计算下述光强对称熵S：

n为光强对称序列的个数，

表示第i个光强对称序列第j个共生对的概率，所述共生对只分析包含0的共生对，k表示共生对的种类数量，最终得到S越大，表明光强分布非均匀程度越大。

2.根据权利要求1所述的基于激光束的织物织造疵点检测方法，其特征在于，所述空间光调节器打出的激光束为高斯光束。

Images