CN114913138A

CN114913138A - 一种基于人工智能的移印机产品缺陷检测方法及系统

Info

Publication number: CN114913138A
Application number: CN202210453748.1A
Authority: CN
Inventors: 李克晶; 袁燕卫
Original assignee: Nantong Feixuan Intelligent Technology Co ltd
Current assignee: Nantong Feixuan Intelligent Technology Co ltd
Priority date: 2022-04-24
Filing date: 2022-04-24
Publication date: 2022-08-16

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的移印机产品缺陷检测方法及系统。该方法获得每个像素点包含纹理信息和颜色信息的特征信息。根据特征信息进行聚类，获得超像素块数量。根据特征信息拟合混合高斯模型。根据混合高斯模型中子高斯模型的参数获得超像素块种子点。根据像素点和超像素块种子点的特征信息，获得第一边权值和第二边权值，进一步结合超像素块数量构建分割约束条件。根据分割约束条件对产品图像进行分割，获得第一超像素块。标准产品图像中以同样分割方法获得第二超像素块，根据对应的第一超像素块和第二超像素块的差异确定缺陷程度。本发明通过优化超像素分割方法，准确获得每个缺陷位置和缺陷程度。

Description

一种基于人工智能的移印机产品缺陷检测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的移印机产品缺陷检测方法及系统。

背景技术

移印机为工业成衣领域常用的印花设备，移印机以橡胶作为印刷头，塑胶作为印刷材料，在衣物上印刷各种图案。

由于塑胶作为印刷物料，在移印机内需要保持适当的温度以确保塑胶流动性。因为印刷头为具备弹性的橡胶做成的，如果对于塑胶材料的温度控制不当，会导致在印刷过程中在印刷衣物上的塑胶出现毛刺等缺陷。

对于缺陷区域可通过图像特征对缺陷进行判断，对于移印机产品而言，产品上对应的印花都有一个标准图像，可通过产品图像与标准图像进行对比判断缺陷。但是直接进行对比的话考虑到的特征较少，且有些区域缺陷程度不同，无法准确定位缺陷区域。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的移印机产品缺陷检测方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于人工智能的移印机产品缺陷检测方法，所述方法包括：

获取产品图像；获取所述产品图像中的噪声信息；结合所述噪声信息获得所述产品图像中每个像素点的纹理信息，以所述产品图像中每个像素点的所述纹理信息和颜色信息作为特征信息；

根据所述特征信息进行聚类，获得多个聚类簇；以所述聚类簇的数量作为超像素块数量；

根据像素点的所述特征信息进行高斯拟合，获得混合高斯模型；所述混合高斯模型中子高斯模型的数量与所述超像素块数量相等；根据所述子高斯模型的参数获得多个超像素块种子点；

根据所述特征信息的差异获得所述产品图像中像素点与像素点间的第一边权值；根据所述特征信息的差异和所述超像素块种子点对应的所述子高斯模型的参数获得像素点与所述超像素块种子点的第二边权值；根据所述第一边权值、所述第二边权值和所述超像素块数量构建分割约束条件；根据所述分割约束条件对所述产品图像进行超像素分割，获得多个第一超像素块；

获得标准产品图像中的多个第二超像素块；所述第二超像素块与所述第一超像素块的分割方法相同；根据对应的所述第一超像素块和所述第二超像素块的差异获得缺陷程度。

进一步地，所述获取产品图像后还包括：

将所述产品图像输入高动态范围渲染网络中进行图像增强。

进一步地，所述获取所述产品图像中的噪声信息包括：

根据所述产品图像中像素点的像素值进行聚类，将未被归为簇内的像素点作为噪声点；获得所述噪声点的平均像素值信息作为所述噪声信息。

进一步地，所述结合所述噪声信息获得所述产品图像中每个像素点的纹理信息，以所述产品图像中每个像素点的所述纹理信息和颜色信息作为特征信息包括：

将所述噪声信息灰度化，获得噪声阈值；根据所述噪声阈值利用LTP算子获得所述产品图像中每个像素点的所述纹理信息；根据所述产品图像中每个像素点的像素值获得所述颜色信息。

进一步地，所述根据所述子高斯模型参数获得多个超像素块种子点包括：

获取每个所述子高斯模型的模型均值和模型权重和模型均值；以与每个所述模型均值最相似的所述特征信息对应的像素点作为所述超像素块种子点。

进一步地，所述根据所述特征信息的差异获得所述产品图像中像素点与像素点间的第一边权值包括：

根据第一边权值公式获得所述第一边权值；所述第一边权值公式包括：

其中，

为第a个像素点与第b个像素点之间的所述第一边权值；F_a为第a个像素点的所述特征信息，F_b为第b个像素点的所述特征信息。

进一步地，所述根据所述特征信息的差异获得像素点与所述超像素块种子点的第二边权值包括：

根据第二边权值公式获得所述第二边权值；所述第二边权值公式包括：

其中，

为第c个像素点与第k个所述超像素块种子点的所述第二边权值，α_k为第k个所述超像素块种子点对应的所述子高斯模型的所述模型权值，β为数据调整参数；F_c为第c个像素点的所述特征信息，F_k第k个所述超像素块种子点的所述特征信息。

进一步地，所述根据所述第一边权值、所述第二边权值和所述超像素块数量构建分割约束条件包括：

其中，E(L)为所述分割约束条件，H为第k个所述超像素种子点对应的超像素区域内像素点的个数；K为所述超像素块个数，

为第k个所述超像素种子点与对应的所述超像素区域内第c个像素点的所述第二边权值，A为由属于不同所述超像素区域的相邻像素点构成的集合，

为第a个像素点与第b个像素点之间的所述第一边权值，第a个像素点与第b个像素点为所述相邻像素点。

进一步地，所述根据对应的所述第一超像素块和所述第二超像素块的差异获得缺陷程度包括：

获得每个第一超像素块在所述产品图像中的面积占比；以所述第一超像素块与所述第二超像素块的差异和所述面积占比的乘积作为每个所述第一超像素块对应位置处的缺陷程度。

本发明还提出了一种基于人工智能的移印机产品缺陷检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于人工智能的移印机产品缺陷检测方法的步骤。

本发明具有如下有益效果：

1.本发明实施例结合纹理信息和颜色信息作为图像的特征信息。通过特征信息获得超像素分割所需分割的超像素块数量和超像素种子点位置。根据超像素块数量和超像素块种子点进行超像素块分割，获得特征信息一致的第一超像素块。通过对标准图像进行相同的操作，获得与第一超像素块对应的第二超像素块。通过第一超像素块和第二超像素块的差异精确的获得每个缺陷的位置和缺陷程度。

2.本发明实施例考虑到超像素块内特征信息均一致，因此使用混合高斯模型对像素点的特征信息进行拟合，表现出特征信息的分布情况。通过每个子高斯模型的参数确定种子点的位置，方便后续的超像素块分割，并提高准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的移印机产品缺陷检测方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的移印机产品缺陷检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的移印机产品缺陷检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的移印机产品缺陷检测方法流程图，该方法包括：

步骤S1：获取产品图像；获取产品图像中的噪声信息；结合噪声信息获得产品图像中每个像素点的纹理信息，以产品图像中每个像素点的纹理信息和颜色信息作为特征信息。

在生产流水线上部署相机，使得相机可以采集到经过移印机印花后产品的产品图像。需要说明的是，在流水线上需要保证印花产品平整，产品图像中印花产品的图像信息清晰且完整。

在分析产品图像时，需要获得产品图像中的多种特征，因此在分析产品图像的特征前需要对图像进行增强处理。

优选的，将产品图像输入高动态范围渲染网络(HDR Net)中进行图像增强处理，增强产品图像中的特征，方便后续对特征的分析。

对于实时采集的产品图像而言，会因为拍摄时间点的环境影响出现多种噪声，经过图像增强后可去除大部分噪声，但是在图像中还是会存在一些难去除的噪声。为了后续的分析处理需要获取产品图像中的噪声信息，具体包括：

根据产品图像中像素点的像素值进行聚类，因为传统相机都为RGB相机，因此像素点的像素值可拆分为R、G、B三个通道的分量，将未被归为簇内的像素点作为噪声点。因为噪声数量较少，且并不均匀分布，因此获得噪声点的平均像素值信息作为噪声信息，该噪声信息可作为产品图像的全局噪声信息。

在本发明实施例中，利用密度聚类算法对像素点的像素值进行聚类，聚类邻域半径设置为4，最小密度阈值设置为5。

噪声信息能够反映产品图像的全局噪声信息，因此可根据噪声信息获得每个像素点的纹理信息，具体包括：

将噪声信息转换为灰度信息，因为噪声信息为R、G、B三个通道的分量组成的信息，因此本发明实施例中采用通用的RGB转灰度公式进行转换，即：

其中，

为灰度转换后的噪声信息，R_error为噪声信息对应的R通道的分量，G_error为噪声信息对应的G通道的分量，B_error为噪声信息对应的B通道的分量。

灰度化后的噪声信息可作为噪声阈值，利用LTP算子获得所述产品图像中每个像素点的纹理信息。需要说明的是，利用求取出来的噪声信息作为LTP算子提取纹理信息的噪声阈值，可以提高算法鲁棒性，能够获取每个像素点参考性强的纹理信息，利用LTP算子获取纹理信息为本领域技术人员熟知的公知技术，在此不再赘述。

进一步考虑到因为移印机胶头与塑胶物料因为温度产生的反映，导致产品印花上的缺陷也会存在颜色上的变化，因此根据产品图像中每个像素点的像素值获得颜色信息。以产品图像中每个像素点的纹理信息和颜色信息作为特征信息，即像素点(x,y)的特征信息F_x,y表示为：F_x,y＝[LTP_x,y,R_x,y,G_x,y,B_x,y]，其中，LTP_x,y为像素点的LTP值，LTP值可用于表示纹理信息；R_x,y,G_x,y,B_x,y分别为像素点在R、G、B三个通道上的分量。

步骤S2：根据特征信息进行聚类，获得多个聚类簇；以聚类簇的数量作为超像素块数量。

每个连续像素点的特征信息相似的区域需要分为一个区域，便于对缺陷的定位即缺陷程度的检测，因此需要根据每个像素点的特征信息进行分类，根据特征信息进行聚类，获得多个聚类簇，每个聚类簇之间的特征信息差异较为明显，因此获得的聚类簇的数量即可作为需要分割的超像素块数量。

在本发明实施例中，根据特征信息进行聚类的算法使用密度聚类算法，邻域半径设置为4，最小密度阈值设置为5。

步骤S3：根据像素点的特征信息进行高斯拟合，获得混合高斯模型；混合高斯模型中子高斯模型的数量与超像素块数量相等；根据子高斯模型的参数获得多个超像素块种子点。

高斯分布为自然界中常见的数据分布，因为本发明实施例想要获得的超像素块中的特征信息需要保持一致，即特征信息均趋与一个值，因此可利用高斯分布进行分析。因为需要分割出多个超像素块，因此根据像素值的特征信息进行高斯拟合，获得混合高斯模型，混合高斯模型中子模型的数量与步骤S2中获得的超像素块数量相等。根据子高斯模型的参数可获得多个超像素快种子点，具体包括：

因此获取每个子高斯模型的模型均值和模型，每个子高斯模型的模型均值即为所需要分割的超像素块中特征信息趋向的值。以与每个模型均值最相似的特征信息对应的像素点作为超像素块种子点。

在本发明实施例中，获取子高斯模型的均值时采用EM算法进行迭代，求取最优化的混合高斯模型作为最符合像素数据分布的模型，以最优化的混合高斯模型中每个子高斯模型的均值集合作为该模型均值的集合。利用欧式距离计算模型均值与像素点的特征信息的相似情况。

步骤S4：根据特征信息的差异获得产品图像中像素点与像素点间的第一边权值；根据特征信息的差异和超像素块种子点对应的子高斯模型的参数获得像素点与超像素块种子点的第二边权值；根据第一边权值、第二边权值和超像素块数量构建分割约束条件；根据分割约束条件对产品图像进行超像素分割，获得多个第一超像素块。

在本发明实施例中，使用图割算法进行超像素块的分割，以超像素块种子点作为图割算法中的交汇点，在此后说明中均以超像素块种子点进行描述。在使用图割算法进行分割时，需要获得产品图像中每个像素点的边权值，构建无向图。边权值分为两种，一种为像素点与像素点之间的第一边权值，一种为像素点与超像素块种子点之间的第二边权值。

第一边权值根据产品图像中像素点与像素点之间的差异获得，具体包括：

根据第一边权值公式获得第一边权值；第一边权值公式包括：

其中，

为第a个像素点与第b个像素点之间的第一边权值；F_a为第a个像素点的特征信息，F_b为第b个像素点的特征信息。‖‖₂为二范数，特征信息差异的二范数可表示为两个像素点的特征信息之间的欧氏距离，欧氏距离越大，两个像素点的特征信息相似度越小，则第一边权值越小。

第二边权值根据特征信息的差异和超像素块种子点对应的子高斯模型的参数获得，具体包括：

根据第二边权值公式获得第二边权值；第二边权值公式包括：

其中，

为第c个像素点与第k个超像素块种子点的第二边权值，α_k为第k个超像素块种子点对应的子高斯模型的模型权值，β为数据调整参数；F_c为第c个像素点的特征信息，F_k第k个超像素块种子点的特征信息。

为两个特征信息的余弦相似度，余弦相似度越大则边权值越高。以模型权重作为第二边权值的权重，模型权重越大则像素点与超像素块种子点属于同一个子高斯模型的概率越高，则第二边权值越大。

在本发明实施例中，数据调整参数β设置为1，以保证第二边权值不会出现负值。

在本发明实施例中，期望最后的超像素块分割满足三个约束条件：1.每个超像素块区域内部像素点之间的特征信息尽可能的一致，即特征信息尽可能的趋近超像素块种子点；2.超像素块边缘两侧相邻的像素点之间的特征信息的相似度尽可能的低；3.超像素块的分割需要基于超像素块数量和超像素块种子点。

根据以上的期望约束条件和第一边权值、第二边权值和超像素块数量构建分割约束条件，具体包括：

其中，E(L)为分割约束条件，H为第k个超像素种子点对应的超像素区域内像素点的个数；K为所述超像素块个数；

为第k个超像素种子点与对应的超像素区域内第c个像素点的第二边权值，A为由属于不同超像素区域的相邻像素点构成的集合，

为第a个像素点与第b个像素点之间的第一边权值，第a个像素点与第b个像素点为相邻像素点。

在图割算法中分割约束条件为算法中的能量函数，即第L种分割方式的能量。在第L种分割方式中分割出K个超像素块，其中第k个超像素块对应的超像素区域的像素点数量为H，由属于不同超像素区域的相邻像素点构成的集合为A。

在分割约束条件中，是在期望约束条件3作为基础上分割的；

表示每个超像素块区域中像素点与超像素块种子点第二边权值之和的倒数，因为需要满足期望约束条件1，因此需要保证每个超像素块区域中像素点与超像素块种子点边权值之和尽可能的大，即

尽可能的小；

为集合A中对应的相邻像素点之间的第一边权值之和，因为需要满足期望约束条件2，因此需要保证

尽可能的小。即当分割约束条件尽可能的小时，对应的分割方法为最优分割方法。

根据该最优分割方法对产品图像进行分割，获得多个第一超像素块。

步骤S5：获得标准产品图像中的多个第二超像素块；第二超像素块与第一超像素块的分割方法相同；根据对应的第一超像素块和第二超像素块的差异获得缺陷程度。

标准产品图像即为没有印花缺陷的标准图像。在标准产品图像中进行与产品图像同样分割方法的超像素分割，即分割得到的第二超像素块和第一超像素块的数量相同，且一一对应，因此可根据对应的第一超像素块和第二超像素块的差异获得缺陷程度，具体包括：

获得每个第一超像素块在产品图像中的面积占比；以第一超像素块与第二超像素块的差异和面积占比的乘积作为每个第一超像素块对应位置处的缺陷程度。

相较于直接进行图像整体的差异性计算，本发明实施例经过超像素块分割考虑到了不同超像素块中存在的缺陷程度可能不同，进一步利用面积占比作为权重，使得最终的缺陷权重更加准确，实现缺陷的准确分析及定位。

需要说明的是，在产品生产过程中在一定范围内存在少量缺陷是合理的，因此可将每个超像素块的缺陷程度累加得到整体缺陷程度，当整体缺陷程度大于预设阈值时，对当前移印机的参数进行检修并重新设置。在本发明实施例中，预设阈值设置为0.1。

综上所述，本发明实施例获得每个像素点包含纹理信息和颜色信息的特征信息。根据特征信息进行聚类，获得超像素块数量。根据特征信息拟合混合高斯模型。根据混合高斯模型中子高斯模型的参数获得超像素块种子点。根据像素点和超像素块种子点的特征信息，获得第一边权值和第二边权值，进一步结合超像素块数量构建分割约束条件。根据分割约束条件对产品图像进行分割，获得第一超像素块。标准产品图像中以同样分割方法获得第二超像素块，根据对应的第一超像素块和第二超像素块的差异确定缺陷程度。本发明实施例通过优化超像素分割方法，准确获得每个缺陷位置和缺陷程度。

本发明还提出了一种基于人工智能的移印机产品缺陷检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现任意一项一种基于人工智能的移印机产品缺陷检测方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。