CN114998356A - 一种基于图像处理的车桥缺陷检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像处理的车桥缺陷检测方法，该方法通过获取待检测的焊接区域的拍摄图像，并对该拍摄图像进行图像数据处理，从而得到拍摄图像中焊接区域的形状特征值、灰度特征值和纹理特征值，将焊接区域的形状特征值、灰度特征值和纹理特征值输入到预先获取的缺陷类型识别网络中，由缺陷类型识别网络输出检测的焊接区域的缺陷类型。本发明通过获取焊接区域的拍摄图像，然后通过图像数据处理的方式，得到焊接区域的形状特征值、灰度特征值和纹理特征值，由于这三个特征值可以对焊接区域进行全面的准确评判，从而有效提高了焊接区域的缺陷类型的判断准确性。

Description

一种基于图像处理的车桥缺陷检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于图像处理的车桥缺陷检测方法。

背景技术

近年来，在技术的不断发展过程中，焊接工艺日渐成熟，随着越来越多的先进焊接工艺的出现，汽车领域对焊接工艺的要求也是越来越高，尤其是承受汽车载荷的车桥部分。当车桥焊接质量较差时，就需要对焊接后的车桥进行返工以进行二次焊接。由于车桥焊接一般是由智能化焊接机械进行焊接，当需要对车桥的某个部位进行二次焊接时，就需要提前知道该部位存在的焊接缺陷，进而针对不同的焊接缺陷类型进行二次焊接修补。

传统通常采用人工目视的方法来确定焊接缺陷类型，但是这种确定焊接缺陷类型的方法受到主观因素的影响，导致确定的焊接缺陷类型存在较大的误差。随着机器视觉的发展，基于图像处理的缺陷检测方法被逐渐应用到各行各业。例如，申请公布号为CN113674260A的中国专利文件就公开了一种SMT焊点缺陷检测方法，但是该方法在确定焊点缺陷类型时，仅根据灰度梯度特征来反映缺陷，无法准确表征缺陷的整体特征，进而导致所确定的焊接缺陷类型不够准确。

发明内容

本发明的目的在于提供一种基于图像处理的车桥缺陷检测方法，用于解决现有确定焊接缺陷类型不够准确的问题。

为解决上述技术问题，本发明提供了一种基于图像处理的车桥缺陷检测方法，包括以下步骤：

获取待检测的焊接区域的拍摄图像，对拍摄图像进行图像数据处理，从而得到焊接区域图像；

根据焊接区域图像，确定焊接区域图像中的焊接区域，并根据焊接区域的大小，确定焊接区域的外包围框；

根据焊接区域的外包围框的大小，确定焊接区域的形状特征值；

根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的梯度幅值；

根据焊接区域的外包围框内各个像素点的梯度幅值，确定焊接区域的灰度特征值；

根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点以及各个关联点的灰度值；

根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的纹理指标值；

根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，确定焊接区域的纹理特征值；

将焊接区域的形状特征值、灰度特征值和纹理特征值输入到预先获取的缺陷类型识别网络中，由缺陷类型识别网络输出焊接区域的缺陷类型。

进一步的，确定焊接区域的形状特征值，包括：

所述焊接区域的外包围框为焊接区域的最小外接矩形，确定焊接区域的外包围框的宽度和长度，并将焊接区域的外包围框的宽度和长度的比值作为焊接区域的形状特征值。

进一步的，确定焊接区域的外包围框内各个像素点的梯度幅值，包括：

根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内各个像素点的八邻域像素点；

计算焊接区域的外包围框内每个像素点与其八邻域像素点的灰度差值的绝对值，并将最大的灰度差值的绝对值作为焊接区域的外包围框内对应的像素点的梯度幅值，从而得到焊接区域的外包围框内各个像素点的梯度幅值。

进一步的，确定焊接区域的灰度特征值，包括：

对焊接区域的外包围框内各个像素点的梯度幅值进行统计，从而得到梯度幅值直方图；

根据梯度幅值直方图，确定各个梯度幅值对应的像素点占比值；

将各个梯度幅值对应的像素点占比值按照设定顺序进行排列，从而得到像素点占比值序列，将像素点占比值序列确定为焊接区域的灰度特征值。

进一步的，确定焊接区域的外包围框内各个像素点的各个关联点以及各个关联点的灰度值，包括：

根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内每个像素点的各个关联点；

根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点；

根据焊接区域的外包围框内每个像素点的位置和灰度值、每个像素点的各个关联点的位置以及每个像素点的各个关联点所属的像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的灰度值。

进一步的，确定焊接区域的外包围框内每个像素点的各个关联点对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，K为焊接区域的外包围框内第E个像素点的关联点的总数目，R为旋转半径。

进一步的，确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点，包括：

根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定距离每个关联点最近的像素点，并将该距离每个关联点最近的像素点作为对应关联点所属的像素点。

进一步的，确定焊接区域的外包围框内各个像素点的各个关联点的灰度值对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的第k个关联点的灰度值，

为焊接区域的外包围框内第E个像素点的灰度值，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的灰度值，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的纵坐标。

进一步的，确定焊接区域的外包围框内各个像素点的纹理指标值，包括：

根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的二进制值，当关联点的灰度值大于其对应的像素点的灰度值时，则该关联点对应的二进制值为1，否则该关联点对应的二进制值为0；

根据焊接区域的外包围框内各个像素点的各个关联点的二进制值，从每个像素点的不同关联点开始，对每个像素点的各个关联点的二进制值进行编码，从而得到每个像素点的各个二进制编码值；

根据焊接区域的外包围框内每个像素点的各个二进制编码值，选取最小的一个二进制编码值作为对应像素点的纹理指标值，从而得到焊接区域的外包围框内各个像素点的纹理指标值。

进一步的，确定焊接区域的纹理特征值，包括：

根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，构造初始的纹理指标值矩阵；

对初始的纹理指标值矩阵进行元素填充处理，从而得到固定尺寸的纹理指标值矩阵；

根据固定尺寸的纹理指标值矩阵，按照设定顺序对纹理指标值矩阵中的纹理指标值进行排列，从而得到纹理指标值序列，并将该纹理指标值序列作为焊接区域的纹理特征值。

本发明具有如下有益效果：通过获取待检测的焊接区域的拍摄图像，进而通过图像处理的方式，对该拍摄图像中每个焊接区域的外包围框进行形状特征、灰度特征和纹理特征三个特征的提取，得到拍摄图像中焊接区域的形状特征值、灰度特征值和纹理特征值，其中形状特征值可以从整体上表征焊接区域的形状；灰度特征值不仅考虑了不同缺陷类别的局部灰度值，同时考虑了同种缺陷类别的整体灰度分布情况，能够更加准确的表征焊接区域的灰度特征；纹理特征值考虑了纹理提取时的旋转不变性问题，将传统纹理提取时的正方形区域变换为圆形区域，能够更加准确的表征焊接区域的纹理特征，将焊接区域的形状特征值、灰度特征值和纹理特征值输入到预先获取的缺陷类型识别网络中，由缺陷类型识别网络输出检测的焊接区域的缺陷类型。本发明通过获取焊接区域的拍摄图像，然后通过图像数据处理的方式，得到焊接区域的形状特征值、灰度特征值和纹理特征值，与现有技术相比，由于这三个特征值可以对焊接区域进行全面的准确评判，从而有效提高了焊接区域的缺陷类型的判断准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例的基于图像处理的车桥缺陷检测方法的流程图；

图2为本发明实施例的焊接区域的外包围框内某个像素点的8个关联点的二进制值的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

为了确定车辆车桥的焊接缺陷类型，本实施例提供了一种基于图像处理的车桥缺陷检测方法，该方法对应的流程图如图1所示，包括以下步骤：

步骤S1：获取待检测的焊接区域的拍摄图像，对拍摄图像进行图像数据处理，从而得到焊接区域图像。

针对车辆车桥的焊接区域，使用图像采集模块采集焊接区域的信息，采集的方式为采用X光或者超声波等射线对焊接区域进行照射，射线在穿透物体过程中会与物质发生相互作用，因吸收和散射而使其强度减弱，强度衰减程度取决于物质的衰减系数和射线在物质中穿越的厚度，而穿透物体的局部如果存在缺陷，该局部区域的透过射线强度就会和周围产生差异，将胶片放在一定位置使其在透过射线的作用下感光，经过暗室处理就会得到一张灰度图像，该灰度图像即为对应焊接区域的拍摄图像，记该拍摄图像的大小为n×m。

在得到焊接区域的拍摄图像之后，对该拍摄图像进行图像数据处理，从而得到焊接区域图像，具体处理过程包括：

考虑到使用图像采集模块采集到的拍摄图像会出现失真现象，因此需要对该拍摄图像进行图像增强处理。在进行图像增强处理时，对拍摄图像进行去噪，噪声一般是图像采集或传递过程中加载在原图中的一些随机信号，数字化图像在生产、传输过程中不可避免会产生噪声信号，本实施例使用小波变换对拍摄图像进行去噪，小波变换能够较好的进行时域和频域两种之间的分解，针对不同的频带进行分类处理，在进行重构恢复成原来的图像，得到的就是除噪之后的图像，该去噪之后的图像即为图像增强处理后的拍摄图像。由于小波变换属于公知技术，在此只做大概说明，不详细解释其原理。

由于拍摄图像时会拍摄进去部分背景信息，而本实施例只想对焊接区域进行处理，也就是说只关心焊接区域，因此针对图像增强处理后的拍摄图像，采用现有的感兴趣区域ROI提取方法对图像增强处理后的拍摄图像进行焊接区域提取，从而得到焊接区域图像。由于图像增强处理后的拍摄图像在之前已经通过小波变换除去了噪声干扰信息，因此采用感兴趣区域ROI提取方法对图像增强处理后的拍摄图像进行焊接区域提取的效果会变得更精准。在提取出焊接区域之后，后续就省去了对背景区域的相关计算，检测效率会有较大程度的提升。

步骤S2：根据焊接区域图像，确定焊接区域图像中的焊接区域，并根据焊接区域的大小，确定焊接区域的外包围框。

在得到去除了背景区域的焊接区域图像后，采用图像分割算法，将焊接区域与车桥区域分割开来，从而可以得到焊接区域。考虑到焊接区域的数目不明确且焊接区域的缺陷种类不明确，使用大津阈值和K均值聚类等方法无法较好的分割图像，因此本实施例利用区域生长算法来对焊接区域图像进行分割，从而得到焊接区域图像中的焊接区域。由于利用区域生长算法来对焊接区域图像进行分割的具体实现过程属于现有技术，此处不再赘述。在利用区域生长算法对焊接区域图像进行分割完成后，所得到的焊接区域的数目可能是1个，也可能是多个。

对于图像分割后所得到的每个焊接区域，根据该焊接区域所占的大小，确定该焊接区域的最小外接矩形，并将该最小外接矩形作为该焊接区域的外包围框。按照这种方式，可以得到图像分割后所得到的各个焊接区域的外包围框，后续基于该外包围框，可以进行焊接区域的特征提取。

步骤S3：根据焊接区域的外包围框的大小，确定焊接区域的形状特征值。

由于不同缺陷类型的焊接区域在形态上有较大的差异，因此通过提取焊接区域的形态特征，有助于后续确定焊接区域的缺陷类型。为了确定每个焊接区域的形态特征，本实施例对于图像分割后所得到的每个焊接区域，由于该焊接区域的外包围框为焊接区域的最小外接矩形，因此可以确定该焊接区域的外包围框的宽度和长度，并将该焊接区域的外包围框的宽度和长度的比值作为该焊接区域的形状特征值，并记为

。

步骤S4：根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的梯度幅值。

由于不同缺陷类型的焊接区域在灰度上也有较大的差异，因此本实施例通过对焊接区域的像素点的灰度情况进行分析，可以确定焊接区域的外包围框内各个像素点的梯度幅值，后续可根据这些梯度幅值，来对焊接区域的灰度特征进行提取，进而确定焊接区域的缺陷类型。其中，确定焊接区域的外包围框内各个像素点的梯度幅值的具体实现步骤包括：

步骤S41：根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内各个像素点的八邻域像素点。

由于每个焊接区域及其对应的外包围框所框住的区域均位于焊接区域图像中，因此对于图像分割后所得到的每个焊接区域，根据焊接区域图像中各个像素点的位置，可以确定焊接区域的外包围框内各个像素点的八邻域像素点。

步骤S42：计算焊接区域的外包围框内每个像素点与其八邻域像素点的灰度差值的绝对值，并将最大的灰度差值的绝对值作为焊接区域的外包围框内对应的像素点的梯度幅值，从而得到焊接区域的外包围框内各个像素点的梯度幅值。

在通过上述步骤S41得到每个焊接区域的外包围框内各个像素点的八邻域像素点之后，为了对焊接区域的灰度特征进行提取，本实施例采用灰度梯度来表示灰度特征，即将焊接区域的外包围框内每个像素点的灰度值与其八邻域像素点的灰度值分别做差，并将8个差值的绝对值中选出最大的一个值作为焊接区域的外包围框内对应像素点的梯度幅值。

步骤S5：根据焊接区域的外包围框内各个像素点的梯度幅值，确定焊接区域的灰度特征值。

在通过上述步骤S4得到焊接区域的外包围框内各个像素点的梯度幅值之后，由于每个梯度幅值只能表示局部的信息，并不能很好的体现出外包围框中整体的灰度情况，因此本实施使用统计的方式得到整体的灰度情况，具体实现步骤包括：

步骤S51：对焊接区域的外包围框内各个像素点的梯度幅值进行统计，从而得到梯度幅值直方图。

对于图像分割后所得到的每个焊接区域，对该焊接区域的外包围框内各个像素点的梯度幅值进行统计，从而得到一个梯度幅值直方图。在该梯度幅值直方图中，横坐标表示的是梯度幅值，其取值范围为0-255，纵坐标表示是每个梯度幅值所对应的像素点的数目。

步骤S52：根据梯度幅值直方图，确定各个梯度幅值对应的像素点占比值。

即便是同样缺陷类型的不同焊接区域，根据焊接区域所占厚度的不同，射线检测得到的灰度值也不同，但是对于同一种缺陷类型的不同焊接区域，其像素点灰度分布所占的比例应该是大致相近的。基于这种特点，根据梯度幅值直方图，可以确定该梯度幅值直方图中每个梯度幅值对应的像素点占比值，像素点占比是指梯度幅值直方图中每个梯度幅值对应的像素点的数目与梯度幅值直方图中所有梯度幅值对应的像素点的总数目的比值。

步骤S53：将各个梯度幅值对应的像素点占比值按照设定顺序进行排列，从而得到像素点占比值序列，将像素点占比值序列确定为焊接区域的灰度特征值。

对于图像分割后所得到的每个焊接区域，在得到该焊接区域的各个梯度幅值对应的像素点占比值之后，将这些像素点占比值按照从低到高的顺序进行排列，得到像素点占比值序列，由于根据该像素点占比值序列中像素点占比值的走势，可以区别某些缺陷，因此将该像素点占比值序列作为对应焊接区域的灰度特征值，并记为

，该灰度特征值

可以反映出焊接区域的整体灰度特征。

步骤S6：根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点以及各个关联点的灰度值。

由于不同缺陷类型的焊接区域在纹理上也有较大的差异，通过对焊接区域的像素点的纹理特征进行提取，有助于后续确定焊接区域的缺陷类型。LBP(Local BinaryPattern)算法作为经典的纹理提取方法，对于图像中任意一个像素点来说，将该像素点的灰度值及其八邻域像素点的灰度值进行比较，将灰度值大于中心像素点的邻域像素点记为1，反之则记为0，这样将该像素点的八邻域像素点按照设定的顺序进行排列就构成了一串二进制数据，将该二进制数据对应的二进制编码值赋给中心像素点，从而可以得到整个图像对应的纹理特征。

但是考虑到本实施例需要对焊接区域的外包围框进行纹理特征提取，当焊接区域倾斜时，其对应的外包围框也是倾斜的，而又因为LBP算法不具有旋转不变性，因此无法直接对焊接区域的外包围框进行纹理特征提取。另外，考虑到气孔很大概率为圆形缺陷，通过采用具备旋转不变性的纹理提取方法更能体现出气孔与焊缝缺陷的差别。

因此，为了获取具备旋转不变性的纹理提取方法，本实施例首先将LBP算法中的正方形区域变成圆形区域，即将LBP算法中每个中心像素点对应的八邻域像素点所构成的正方形区域，变成每个中心像素点对应的八个关联点所构成的圆形区域，后续可基于每个中心像素点的灰度值以及该中心像素点对应的八个关联点的灰度值，实现焊接区域的外包围框的纹理特征提取，具体实现步骤包括：

步骤S61：根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内每个像素点的各个关联点，对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，K为焊接区域的外包围框内第E个像素点的关联点的总数目，R为旋转半径，本实施例设置K=8，R=2。

步骤S62：根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点。

考虑到通过上述步骤S61得到的焊接区域的外包围框内每个像素点的各个关联点的位置横纵坐标可能会出现小数，而每个像素点的坐标都表示像素点的中心位置，例如某像素点坐标为(1,1)，在此认为该像素点的中心位置是(1,1)，该像素点还包括了横坐标0.5-1.5以及纵坐标0.5-1.5的部分。由于关联点的位置横纵坐标可能并不正好对应一个像素点的中心位置，而一个像素点的中心位置对应一个像素值，因此为了后续确定各个关联点的灰度值，需要确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点。

在确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点时，根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定距离每个关联点最近的像素点，并将该距离每个关联点最近的像素点作为对应关联点所属的像素点。例如，当某个关联点的位置坐标为(22.3,20)时，那么其所属的像素点的位置坐标为(22,20)。

步骤S63：根据焊接区域的外包围框内每个像素点的位置和灰度值、每个像素点的各个关联点的位置以及每个像素点的各个关联点所属的像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的灰度值，对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的第k个关联点的灰度值，

为焊接区域的外包围框内第E个像素点的灰度值，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的灰度值，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的纵坐标。

为了便于理解上述确定焊接区域的外包围框内各个像素点的各个关联点的灰度值的方式，假设焊接区域的外包围框内某个像素点的位置坐标为(20,20)，为了便于区分，将该位置为(20,20)的像素点称为中心像素点，通过上述步骤S61，确定该中心像素点的某个关联点的位置坐标为(22.3,20)，那么此时该某个关联点所属的像素点的位置坐标为(22,20)。假设位置坐标为(20,20)的中心像素点的灰度值为80，位置坐标为(22,20)的像素点的灰度值为100，那么此时位置坐标为(22.3,20)的关联点的灰度值为

。

步骤S7：根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的纹理指标值。

在通过上述步骤S6得到焊接区域的外包围框内各个像素点的各个关联点的灰度值之后，再结合焊接区域的外包围框内各个像素点的灰度值，可以确定焊接区域的外包围框内各个像素点的纹理指标值，具体实现步骤如下：

步骤S71：根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的二进制值，当关联点的灰度值大于其对应的像素点的灰度值时，则该关联点对应的二进制值为1，否则该关联点对应的二进制值为0。

对于焊接区域的外包围框内每个像素点，将该像素点的灰度值与其对应的8个关联点的灰度值分别进行比较，将灰度值大于像素点的灰度值的关联点的二进制值记为1，将灰度值小于或等于像素点的灰度值的关联点的二进制值记为0，从而可以得到焊接区域的外包围框内各个像素点的各个关联点的二进制值。

步骤S72：根据焊接区域的外包围框内各个像素点的各个关联点的二进制值，从每个像素点的不同关联点开始，对每个像素点的各个关联点的二进制值进行编码，从而得到每个像素点的各个二进制编码值。

在得到焊接区域的外包围框内各个像素点的各个关联点的二进制值之后，对于焊接区域的外包围框内每个像素点，对该像素点的这些关联点的二进制值按照一定顺序的进行排列，如按照顺时针顺序排列，就构成了一串二进制数据。但是由于一个像素点对应的关联点有8个，即便是按照顺时针顺序排列，当从不同的关联点开始排列时，所得到的二进制数据也是不同的。如图2所示为焊接区域的外包围框内某个像素点的8个关联点的二进制值，这8个关联点位于一个圆形区域内，当从12点钟方向的关联点开始排列，并按照顺时针顺序排列，所得到的一串二进制数据为10110110，当从6点钟方向的关联点开始排列，并按照顺时针顺序排列，所得到的一串二进制数据为01101011。

为了保证旋转不变性，对于焊接区域的外包围框内每个像素点，本实施例从该像素点对应的8个关联点分别开始排列，并按照顺时针顺序排列，可以得到8串二进制数据，然后参考LBP算法，对这8串二进制数据分别进行编码，从而可以得到8个二进制编码值。

步骤S73：根据焊接区域的外包围框内每个像素点的各个二进制编码值，选取最小的一个二进制编码值作为对应像素点的纹理指标值，从而得到焊接区域的外包围框内各个像素点的纹理指标值。

在得到焊接区域的外包围框内每个像素点的各个二进制编码值之后，选取最小的一个二进制编码值作为对应像素点的纹理指标值。按照这种方式，可以得到图像分割后所得到的每个焊接区域的外包围框内各个像素点的纹理指标值。

步骤S8：根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，确定焊接区域的纹理特征值，具体实现过程包括：

步骤S81：根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，构造初始的纹理指标值矩阵。

在通过上述步骤S7得到图像分割后所得到的每个焊接区域的外包围框内各个像素点的纹理指标值之后，对于每个焊接区域，根据焊接区域的外包围框内各个像素点的位置，构造初始的纹理指标值矩阵，该初始的纹理指标值矩阵的每个位置与外包围框内每个像素点的位置一一对应，该初始的纹理指标值矩阵中的每个位置的元素为外包围框内对应像素点的纹理指标值。

步骤S82：对初始的纹理指标值矩阵进行元素填充处理，从而得到固定尺寸的纹理指标值矩阵。

为了便于后续得到固定维度的纹理特征值，以输入到缺陷类型识别网络中，在得到每个焊接区域对应的初始的纹理指标值矩阵之后，对该初始的纹理指标值矩阵进行填充，使得填充后的纹理指标值矩阵的大小为固定尺寸n×m，从而得到每个焊接区域填充后的纹理指标值矩阵。在对每个焊接区域对应的初始的纹理指标值矩阵进行填充时，在每个焊接区域对应的初始的纹理指标值矩阵的右侧插入列和下侧插入行，插入列和插入行的元素值均为0。为了便于理解，假设某个焊接区域对应的初始的纹理指标值矩阵如下面的表1所示，该初始的纹理指标值矩阵的尺寸大小为3×5，假设填充后的纹理指标值矩阵的尺寸大小为9×9，那么通过填充之后，所得到的填充后的纹理指标值矩阵如下面的表2所示。

表1

表2

步骤S83：根据固定尺寸的纹理指标值矩阵，按照设定顺序对纹理指标值矩阵中的纹理指标值进行排列，从而得到纹理指标值序列，并将该纹理指标值序列作为焊接区域的纹理特征值。

在得到每个焊接区域对应的填充后的纹理指标值矩阵之后，将该纹理指标值矩阵中的元素按照上到小、从左到右的顺序排成一列，从而得到一个纹理指标值序列，该纹理指标值序列即为对应焊接区域的纹理特征值，并记为

。以上述表2中的填充后的纹理指标值矩阵为例，其对应的纹理指标值序列为[8 24 25 16 3 0 0 0 0 19 18 17 26 27 0 0 0 032 36 28 15 16 0 0 0 0 …… 0 0 0]。

步骤S9：将焊接区域的形状特征值、灰度特征值和纹理特征值输入到预先获取的缺陷类型识别网络中，由缺陷类型识别网络输出焊接区域的缺陷类型。

对于图像分割后所得到的每个焊接区域，在通过上述步骤S1-S8得到该焊接区域的形状特征值

、灰度特征值

和纹理特征值

之后，将该形状特征值

、灰度特征值

和纹理特征值

输入到预先获取的缺陷类型识别网络中，由该缺陷类型识别网络输出焊接区域的缺陷类型，这里的焊接缺陷类型包括：气孔、裂纹、未焊透等缺陷。其中，气孔缺陷的特点是缺陷区域的形状接近圆形，裂纹缺陷的特点是缺陷区域有向外的延展性，比较弯曲，未焊透缺陷的特点是缺陷区域的形状为比较直的一条线，并且没有向外扩展的细小部分。

由先验知识可知，卷积神经网络最适合做图像识别分类，因此在本实施例中，该预先获取的缺陷类型识别网络是由卷积神经网络构成的，由于由卷积神经网络构建实质上为分类网络的缺陷类型识别网络的具体实现过程属于现有技术，此处不再赘述。

在构建好缺陷类型识别网络之后，获取该缺陷类型识别网络的训练数据集，这些训练数据集的获取过程为：获取大量的焊接区域的拍摄图像，参考上述步骤S1-S8，得到这大量的拍摄图像中每个焊接区域的形状特征值、灰度特征值和纹理特征值，这每个焊接区域的形状特征值、灰度特征值和纹理特征值即构成了一个训练数据样本，并为每一个训练数据样本所对应的缺陷类型进行标记，这些标记了缺陷类型的大量训练数据样本就构成了训练数据集。

在获得该缺陷类型识别网络的训练数据集之后，将训练数据集输入到该缺陷类型识别网络中，以对该缺陷类型识别网络进行训练。在对该缺陷类型识别网络进行训练时，该缺陷类型识别网络采用交叉熵损失函数作为网络的损失函数，用于获得实际缺陷分类和预测缺陷分类之间的差值，并不断反复运算并更新网络中的卷积核的参数和各个层之间的连接权重，从而得到训练好的缺陷类型识别网络。由于对该缺陷类型识别网络的具体训练过程属于现有技术，此处不再赘述。

本发明通过获取待检测的焊接区域的拍摄图像，进而通过图像处理的方式，对该拍摄图像中每个焊接区域的外包围框进行形状特征、灰度特征和纹理特征三个特征的提取，得到每个焊接区域的形状特征值、灰度特征值和纹理特征值，其中形状特征值可以从整体上表征焊接区域的形状，灰度特征值不仅考虑了不同缺陷类别的局部灰度值，同时考虑了同种缺陷类别的整体灰度分布情况，纹理特征值考虑了纹理提取时的旋转不变性问题，将传统纹理提取时的正方形区域变换为圆形区域，与现有技术相比，通过获取每个焊接区域的形状特征值、灰度特征值和纹理特征值，这是三个特征值可以对每个焊接区域进行全面的准确评判，从而有效提高了焊接区域的缺陷类型的判断准确性。

需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图像处理的车桥缺陷检测方法，其特征在于，包括以下步骤：

获取待检测的焊接区域的拍摄图像，对拍摄图像进行图像数据处理，从而得到焊接区域图像；

根据焊接区域图像，确定焊接区域图像中的焊接区域，并根据焊接区域的大小，确定焊接区域的外包围框；

根据焊接区域的外包围框的大小，确定焊接区域的形状特征值；

根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的梯度幅值；

根据焊接区域的外包围框内各个像素点的梯度幅值，确定焊接区域的灰度特征值；

根据焊接区域图像中各个像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点以及各个关联点的灰度值；

根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的纹理指标值；

根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，确定焊接区域的纹理特征值；

将焊接区域的形状特征值、灰度特征值和纹理特征值输入到预先获取的缺陷类型识别网络中，由缺陷类型识别网络输出焊接区域的缺陷类型。

2.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的形状特征值，包括：

所述焊接区域的外包围框为焊接区域的最小外接矩形，确定焊接区域的外包围框的宽度和长度，并将焊接区域的外包围框的宽度和长度的比值作为焊接区域的形状特征值。

3.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内各个像素点的梯度幅值，包括：

根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内各个像素点的八邻域像素点；

计算焊接区域的外包围框内每个像素点与其八邻域像素点的灰度差值的绝对值，并将最大的灰度差值的绝对值作为焊接区域的外包围框内对应的像素点的梯度幅值，从而得到焊接区域的外包围框内各个像素点的梯度幅值。

4.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的灰度特征值，包括：

对焊接区域的外包围框内各个像素点的梯度幅值进行统计，从而得到梯度幅值直方图；

根据梯度幅值直方图，确定各个梯度幅值对应的像素点占比值；

将各个梯度幅值对应的像素点占比值按照设定顺序进行排列，从而得到像素点占比值序列，将像素点占比值序列确定为焊接区域的灰度特征值。

5.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内各个像素点的各个关联点以及各个关联点的灰度值，包括：

根据焊接区域图像中各个像素点的位置，确定焊接区域的外包围框内每个像素点的各个关联点；

根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点；

根据焊接区域的外包围框内每个像素点的位置和灰度值、每个像素点的各个关联点的位置以及每个像素点的各个关联点所属的像素点的位置和灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的灰度值。

6.根据权利要求5所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内每个像素点的各个关联点对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，K为焊接区域的外包围框内第E个像素点的关联点的总数目，R为旋转半径。

7.根据权利要求5所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内每个像素点的各个关联点所属的像素点，包括：

根据焊接区域的外包围框内每个像素点的位置以及每个像素点的各个关联点的位置，确定距离每个关联点最近的像素点，并将该距离每个关联点最近的像素点作为对应关联点所属的像素点。

8.根据权利要求5所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内各个像素点的各个关联点的灰度值对应的计算公式为：

其中，

为焊接区域的外包围框内第E个像素点的第k个关联点的灰度值，

为焊接区域的外包围框内第E个像素点的灰度值，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的灰度值，

为焊接区域的外包围框内第E个像素点的横坐标，

为焊接区域的外包围框内第E个像素点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点的纵坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的横坐标，

为焊接区域的外包围框内第E个像素点的第k个关联点所属的像素点的纵坐标。

9.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的外包围框内各个像素点的纹理指标值，包括：

根据焊接区域的外包围框内各个像素点的灰度值以及各个像素点的各个关联点的灰度值，确定焊接区域的外包围框内各个像素点的各个关联点的二进制值，当关联点的灰度值大于其对应的像素点的灰度值时，则该关联点对应的二进制值为1，否则该关联点对应的二进制值为0；

根据焊接区域的外包围框内各个像素点的各个关联点的二进制值，从每个像素点的不同关联点开始，对每个像素点的各个关联点的二进制值进行编码，从而得到每个像素点的各个二进制编码值；

根据焊接区域的外包围框内每个像素点的各个二进制编码值，选取最小的一个二进制编码值作为对应像素点的纹理指标值，从而得到焊接区域的外包围框内各个像素点的纹理指标值。

10.根据权利要求1所述的基于图像处理的车桥缺陷检测方法，其特征在于，确定焊接区域的纹理特征值，包括：

根据焊接区域的外包围框内各个像素点的位置以及各个像素点的纹理指标值，构造初始的纹理指标值矩阵；

对初始的纹理指标值矩阵进行元素填充处理，从而得到固定尺寸的纹理指标值矩阵；

根据固定尺寸的纹理指标值矩阵，按照设定顺序对纹理指标值矩阵中的纹理指标值进行排列，从而得到纹理指标值序列，并将该纹理指标值序列作为焊接区域的纹理特征值。

Images