CN113808138B

CN113808138B - 一种基于人工智能的电线电缆表面缺陷检测方法

Info

Publication number: CN113808138B
Application number: CN202111381597.5A
Authority: CN
Inventors: 束建磊; 刘建强
Original assignee: Shandong Yinglian Photoelectric Technology Co ltd
Current assignee: Shandong Yinglian Photoelectric Technology Co ltd
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2022-02-18
Anticipated expiration: 2041-11-22
Also published as: CN113808138A

Abstract

本发明涉及一种基于人工智能的电线电缆表面缺陷检测方法；获取电线电缆的RGB图像，对RGB图像进行图像转换得到灰度图像和Lab图像；获取各图像对应的若干超边区域，经超图卷积网络输出各超边区域的图像特征向量；计算各图像超边区域之间的相似性，将具有相似性的超边区域进行合并，得到若干检测区域；将若干检测区域进行各像素点对齐，获取重叠区域；计算重叠区域的空间分布熵，当空间分布熵大于空间分布熵阈值时，计算像素点的差异度，对差异度大于差异度阈值的像素点进行降维处理，得到重叠区域的维度特征；根据重叠区域的维度特征、空间分布熵和重叠区域，计算电线电缆的缺陷进行评估。本发明能准确检测电线电缆的表面缺陷情况。

Description

一种基于人工智能的电线电缆表面缺陷检测方法

技术领域

本发明涉及图像处理，具体涉及一种基于人工智能的电线电缆表面缺陷检测方法。

背景技术

电线电缆的表面缺陷类型包括杂质疙瘩、焦烧疙瘩、积压缺陷、脱料、划伤破裂、斑点凸起等。

现有的检测方法为：

1.通过人工对电线电缆进行逐一逐段的检测。

2. 通过线缆表面缺陷检测仪检测。

其中，人工检测不仅需要消耗大量的人力，而且检测效率较低，与此同时，人工检测的自动化程度不够，无法实现对电线电缆表面缺陷检测的自动化检测。通过线缆表面缺陷检测仪检测的方法需要获取电线电缆表面图像，通过神经网络得到缺陷图像，而神经网络较容易受到噪声图像区域的干扰，导致输出的缺陷图像不准确。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的电线电缆表面缺陷检测方法，所采用的技术方案具体如下：

获取电线电缆的RGB图像，对所述RGB图像进行图像转换得到灰度图像和Lab图像；

分别对所述RGB图像、灰度图像和Lab图像进行图像处理，获取若干超边区域；

构建超图卷积网络，将所述超边区域输入训练好的超图卷积网络，得到所述超边区域的图像特征向量；

根据每个图像的各超边区域的图像特征向量，计算各超边区域之间的相似性，将具有相似性的超边区域进行合并，得到检测区域，进而得到每个图像对应的若干检测区域；

将所有图像对应的若干检测区域进行各像素点对齐，获取相同像素点的重叠区域；

根据重叠区域的各像素点出现的频数以及重叠区域的像素点总数，计算重叠区域的空间分布熵；

判断所述空间分布熵与空间分布熵阈值的大小，当像素点的空间分布熵大于空间分布熵阈值时，计算所述像素点在三个图像对应的检测区域之间的差异度；

当像素点的差异度大于差异度阈值时，将所述像素点进行降维处理，直至像素点的差异度小于差异度阈值，停止降维操作，得到重叠区域的维度特征；

根据重叠区域的维度特征、空间分布熵和重叠区域的大小，得到电线电缆的缺陷程度评估值，对电线电缆的缺陷进行评估。

进一步地，超边区域的获取方法为：

1）分别对RGB图像、灰度图像和Lab图像的像素点进行聚类，得到各图像对应的m个簇，m为聚类中心点的个数；其中每个簇为包含所有像素点的初始超边区域；

2）计算任意两像素点在各通道的差值均值得到两像素点的边权；当所述边权小于边权阈值，则该两像素点进行连线；所述任意两像素点为簇内的像素点或者任意两簇间的像素点；若连线的两像素点为任意两簇间的像素点，则两簇间的两像素点对应的簇形成新超边区域；根据所述边权得到所有像素点之间的连线情况，进而得到所有超边区域，所述超边区域包括初始超边区域和新超边区域。

进一步地，当图像为RGB图像时，边权为：

其中，R为像素点在R通道的像素值，G为像素点在G通道的像素，B为像素点在B通道的像素值，

为另一像素点在R通道的像素值，

为另一像素点在G通道的像素，

为另一像素点在B通道的像素值。

进一步地，合并是当所述相似性大于设定阈值时，将两超边区域合成为一个检测区域。

进一步地，所述相似性为：

其中，

为第i个超边区域对应的图像特征向量，

为第i个超边区域对应的图像特征向量的模

为第j个超边区域对应的图像特征向量，

为第j个超边区域对应的图像特征向量的模；i和j为相邻的两超边区域。

进一步地，所述空间分布熵为：

其中，

表示第k个三元组在重叠区域中出现的频数，

表示重叠区域的像素点总数。

进一步地，所述差异度的获取方法为：

1）利用海森矩阵获取所述重叠区域中像素点在对应图像的检测区域的特征值和特征向量；

2）根据所述特征值和特征向量，计算所述像素点的差异度；

其中差异度为：

，

其中，D为各特征向量的余弦距离，C为各特征值之间的差值。

进一步地，所述重叠区域的维度特征的获取方法为：获取重叠区域中进行降维操作像素点的维度，计算所有进行降维操作像素点的平均维度，进而得到平均维度的倒数，所述平均维度的倒数为重叠区域的维度特征。

本发明实施例至少具有如下有益效果：

本发明通过选取三个图像，即RGB图像、灰度图像和Lab图像，通过对每个图像进行图像处理，获取对应的若干超边区域，通过对超边区域的分析，确定电线表面的检测区域，根据检测区域确定三幅图像的重叠区域的特征，进行缺陷的评估；即本发明通过确定三幅图像的重叠区域，能够从多个图像信息上得到电线表面同一位置处的不同信息，也即通过多个维度的图像区域的数据，实现电线表面缺陷的检测，使得缺陷分类精度更高。同时，本发明通过多维图像数据构建超图，能够使超图图像像素点包含更高维的图像信息，多维数据有利于图像分割区域的有效性和准确性，提高后续缺陷检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的一种基于人工智能的电线电缆表面缺陷检测方法实施例的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的电线电缆表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明针对的具体场景为：电线电缆生产缺陷检测场景。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的电线电缆表面缺陷检测方法的步骤流程图，该方法包括以下步骤：

步骤1，获取电线电缆的RGB图像，对所述RGB图像进行图像转换得到灰度图像和Lab图像。

具体地，利用相机获取电线电缆的RGB图像，通过固定相机位置对电线电缆表面图像进行采集，相机采用固定焦距、固定光源的工作方式，即不考虑其他因素对图像的影响。

需要说明的是，在获取图像数据时，为了提高电线电缆表面缺陷的检测效率，可将多条电线电缆合并在一起，得到一个固定大小的阵列，然后通过相机进行图像采集，此时，所得到的图像为包括多条电线电缆合并的图像，且不存在其他背景图像信息。

本实施例中，对所述RGB图像采用加权均值法得到灰度图像，R、G、B三通道的权重分别为：

，灰度图像为：

；

进一步地，对灰度图像采用中值滤波法去除图像在信号传输过程中产生的椒盐噪声；图像灰度化的加权均值法和中值滤波去噪均为公知技术，不再赘述实现过程。

本实施例中，将RGB图像的RGB颜色空间进行Lab颜色空间转换，得到L，a，b三通道分量，进而得到Lab图像，其中，通道L表示亮度，通道a表示绿色到红色的分量值，通道b表示蓝色到黄色的分量值，通道a、b表征颜色分量之间的迁移特征，a、b的取值范围分别是[127,-128]，L的取值范围是[0,100]。

步骤2，分别对RGB图像、灰度图像和Lab图像进行图像处理，获取若干超边区域。

本实施例中：以RGB图像为例，对若干超边区域的获取过程进行说明：

1）对RGB图像中所有像素点进行聚类操作，得到m个簇，m为聚类中心点的个数；每个簇连同对应簇内的所有像素点作为初始超边区域。

本实施例中，聚类操作的方法采用K-means聚类，其中，K取10，即在图像中均匀选取10个聚类中心点，通过像素点之间的距离进行K-means聚类，选取最相邻的像素点；在实际操作过程中，实施者可根据经验设定K值。

其中，选用K-means聚类的原因是电线电缆表面图像的缺陷数量和缺陷分布均为未知状态。

2）计算任意两像素点在各通道的差值均值得到两像素点的边权；当所述边权小于边权阈值，则两像素点进行连线；所述任意两像素点为簇内的像素点或者任意两簇间的像素点；若连线的两像素点为任意两簇间的像素点，则两簇间的两像素点对应的簇形成新超边区域；根据所述边权得到所有像素点之间的连线情况，进而得到所有超边区域，所述超边区域包括初始超边区域和新超边区域。

上述步骤中的边权为：

为另一像素点在R通道的像素值，

为另一像素点在G通道的像素，

为另一像素点在B通道的像素值。

本实施例中，边权阈值为5。

同样地，根据上述步骤，得到灰度图像和Lab图像对应的若干超边区域，此时，每个图像的若干超边区域构成对应图像的超图。

步骤3，构建超图卷积网络，将超边区域输入训练好的超图卷积网络，得到超边区域的图像特征向量。

具体地，分别将步骤2中获取的各超图输入超图卷积网络中，得到每张超图中各超边区域对应的特征向量。

本实施例中，超图卷积网络的结构为：Encoder-Fc，输入为：包含若干超边区域的超图，输出为：超图中各超边区域对应的图像特征向量；损失函数为：交叉熵损失函数。

其中，在超图卷积网络里，获取各超边区域对应的特征向量的过程为：

1.根据上述各超边区域中各像素点的连线情况得到各像素点的度和超边的度；各像素点的度为：

，超边的度为

，其中

为像素点之间的邻接矩阵，

为第e个像素点的边权。

2.根据各像素点的度和超边的度得到像素点度矩阵

和超边度矩阵

；然后，将图像进行拉普拉斯矩阵变换，得到超边对应的标准化拉普拉斯矩阵，进而获得各超边区域对应的特征向量

，

为特征向量的总个数。

如何获取超图中各超边区域的特征向量为公知技术，在此只是简要说明。

需要说明的是，选用超图卷积网络分别对三张超图进行处理，保证了输出图像的准确性。现有的图卷积网络主要针对的是两个节点之间的关系，关系表征是二元的，未考虑不同数据节点的多元关系；在超图卷积网络中虽然考虑了不同数据节点之间的多元关系，但是仍未考虑多维图像信息，所以在表征图像中多元数据关系时，会存在一定误差，输出的图像依然存在不准确的问题。

步骤4，根据每个图像的各超边区域的图像特征向量，计算任意相邻两超边区域的相似性，将具有相似性的超边区域进行合并，得到检测区域，进而得到每个图像对应的若干检测区域。

具体地，各超边区域之间的相似性为：

其中，

为第i个超边区域对应的图像特征向量，

为第i个超边区域对应的图像特征向量的模，

为第j个超边区域对应的图像特征向量，

为第j个超边区域对应的图像特征向量的模，i和j为相邻的两超边区域；其中，

和

均属于

。

进一步地，判断相似性与相似性阈值的大小，将大于相似性阈值对应的超边区域进行聚合，得到检测区域；将小于等于相似性阈值对应的超边区域作为独立的超边区域单独保留，作为检测区域，进而得到图像中的若干检测区域。

本实施例中，相似性阈值设置为0.8。

需要说明的是，将大于相似性阈值对应的超边区域进行聚合，得到检测区域，是为了弥补K-means聚类算法的局部最优的缺陷问题。

同样的，对灰度图像和Lab图像进行上述步骤的操作，得到灰度图像的若干检测区域和Lab图像的若干检测区域。

步骤5，将所有图像对应的若干检测区域进行各像素点对齐，获取相同像素点的重叠区域；根据重叠区域的各像素点出现的频数以及重叠区域的像素点总数，计算重叠区域的空间分布熵；判断空间分布熵与空间分布熵阈值的大小，当像素点的空间分布熵大于空间分布熵阈值时，计算像素点在三个图像对应的检测区域之间的差异度。

本实施例中的重叠区域是以灰度图像、Lab图像和RGB图像中相同位置的像素点对齐的方式，将该像素点所在的三个检测区域进行重叠，选取三个检测区域重合的区域作为重叠区域。

需要说明的是，对重叠区域进行分析是因为重叠区域图像包含颜色、灰度梯度、纹理和亮度等更多维度的信息，能够避免采用单一图像特征分析时，部分缺陷特征不明显造成漏检和错检（例如：电线电缆表面凸起时，颜色变化不明显），提高了电线电缆缺陷识别的精度。

本实施例中，空间分布熵为：

，其中，

表示第k个三元组在重叠区域中出现的频数，

表示重叠区域的像素点总数。

上述三元组可表征空间分布情况，三元组的选取规则为：选取Lab图像中L通道值和Gray图像中Gr通道值作为通道系数，选取RGB图像中R,G,B三个通道的最大值作为通道系数，即三元组为

,由于Lab图像中L通道值的取值范围为[0,100]，而Gr通道和R,G,B通道的取值范围均为[0,255]，所以，对Gr通道和选取的R,G,B通道的任一通道进行统一量纲处理，即三元组中各通道值的取值范围分别为[0,100]。

需要说明的是，重叠区域图像的三张图像中对应的各通道的取值范围分别为[0,100]，即在任何通道上的通道值变化都会得到一个新的三元组，相当于，三元组中每个通道的通道值都有100种取值，且各通道之间相互独立，所以一共有

种取值。当电线表面都为正常情况下，三元组中的通道值不会发生大的变化，当电线表面出现异常情况下，会存在不同维度上的变化；例如，电线表面存在烧焦，会在L通道上存在变化，造成三元组出现多个情况；电线表面存在皱纹或凸包，会在Gr通道上存在变化，造成三元组出现多个情况，最终，空间分布熵大，反映电线电缆表面复杂度高。

进一步地，设置空间分布熵阈值，对空间分布熵大于空间分布熵阈值的重叠区域进行后续检测，其中空间分布熵阈值为0.2。

需要说明的是，设置空间分布熵阈值是为了排除光照对后续检测的影响，部分三元组会因为光照的影响，造成三元组内的通道值发生变化。

本实施例中，差异度的获取方法为：

2）根据所述特征值和特征向量，计算所述像素点的差异度；

其中差异度为：

，

上述各特征向量和各特征值为像素点对应海森矩阵的特征向量和特征值，因为重叠区域为三张图像，所以像素点在每张图像下均有一个海森矩阵，且每个海森矩阵有一组特征向量和特征值。

需要说明的是，在海森矩阵中，特征值及特征向量表示：在不同图像下，像素点在邻域范围内的纹理走向；当在不同图像下，同一像素点的纹理走向一致（各特征向量之间的余弦距离近）各特征值的差异较小，说明像素点在不同图像下的，重叠的像素点差异度较低。

步骤6，当像素点的差异度大于差异度阈值时，将所述像素点进行降维处理，直至像素点的差异度小于差异度阈值，停止降维操作，得到重叠区域的维度特征。

本实施例中，差异度阈值设为0.2。其中，差异度阈值可在实际操作过程中由实施者凭经验设定。

具体地，降维操作的方法为：在未进行降维操作时，认为所述像素点的维度为7，有7维数据，即所述像素点的值为在不同通道下值的集合，像素点的值为

，降维操作就是删去7个通道中任意一个通道的值，如此反复，直至所述像素点的差异度小于等于差异度阈值停止降维操作，进而得到进行降维操作的像素点的维度，并将进行降维操作的像素点作为缺陷像素点。

需要说明的是，本实施例中像素点的差异度小于等于差异度阈值时，该像素点的维度数据保持不变，即像素点的维度为7。

需要说明的是，电线电缆表面正常区域的像素点在不同图像下，像素点的对应的三个海森矩阵是相同或者相似的，所以，像素点的维度会始终为7。当出现缺陷像素点时，不同层像素点的海森矩阵存在差异，造成像素点的差异度大，像素点的数据维度降低，所以，当像素点的维度小于7时，说明电线电缆表面存在缺陷。

上述步骤中的重叠区域的维度特征是根据重叠区域内的像素点的维度获取的，具体地，获取步骤6中重叠区域中所有缺陷像素点的维度，计算所有缺陷像素点的平均维度，进而得到平均维度的倒数。

当然作为其他实施方式，还可以选取其中的一个像素点的维度代表区域的所有像素点的维度。

步骤7，根据重叠区域的维度特征、空间分布熵和重叠区域的大小，得到电线电缆的缺陷程度评估值，对电线电缆的缺陷进行评估。

具体地，将重叠区域的维度特征、空间分布熵和重叠区域的大小三者相乘，得到电线电缆的缺陷程度评估值，其中，评估值越大，电线电缆的缺陷程度越明显。

需要说明的是，重叠区域的大小表示当前缺陷区域的面积大小，像素点的维度表示当前缺陷特征的分布维度范围，即在色彩、灰度纹理和图像本身都存在问题，空间分布熵表示当前缺陷区域的特征复杂程度，彼此之间都为正相关关系，表征当前缺陷区域的缺陷程度。

此方法不作为本申请的重点，不再过多赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。