CN115760884A - 基于图像处理的半挂车表面焊渣优化分割方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的半挂车表面焊渣优化分割方法，该方法包括：获取半挂车表面灰度图像中的异常高亮区域；根据每个异常高亮区域的边缘像素点以及边缘像素点的梯度方向得到对应的梯度方向变化程度，进而选取出所有异常高亮区域中的圆滑区域；根据圆滑区域中边缘像素点与最大灰度值的目标点连接的线段上每个像素点的灰度值得到渐变特征，进而选取出渐变特征区域；根据渐变特征区域中每个边缘像素点的梯度方向得到向心程度并区分出保留点和剩余点；根据所有剩余点的梯度方向得到相近程度并结合向心程度均值得到轮廓值，根据轮廓值分割出灰度图像中的焊渣区域，提高了焊渣区域检测的准确性。

Description

基于图像处理的半挂车表面焊渣优化分割方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的半挂车表面焊渣优化分割方法。

背景技术

半挂车作为运输行业中的重要组成部分，其主要用于运输体积较大且不易拆分的大件货物或者大量长途运输某类物品，往往需要较大的承重要求。而半挂车包含梁架在内通常是通过焊接进行组合，而较大的承重量对焊接质量也有着极高的要求，而焊接处存在焊渣可能会引发焊接缺陷得到半挂车的质量不佳，严重时甚至会影响较大的安全隐患，因此需要将焊接处的焊渣清理干净。

对于焊接处的焊渣，由于其经过高温喷溅，往往会形成灰黑色小块分布于焊接处，一般是通过机器视觉进行检测，利用阈值分割得到黑色小块；但是对于半挂车部分的焊接，由于其整体结构复杂，焊接部位较多，在图像采集进行焊渣检测过程中，无法确保每个焊接部分都被分析到，即使是通过多角度进行图像采集分析，也会存在拐角处出现阴影部分，而阴影部分区域与焊渣区域的灰度特征较为接近，通过传统的阈值分割很难将焊渣区域进行准确的提取，无法保证焊渣区域检测的准确性。

发明内容

为了解决焊渣区域检测准确性低的问题，本发明的目的在于提供一种基于图像处理的半挂车表面焊渣优化分割方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于图像处理的半挂车表面焊渣优化分割方法，该方法包括以下步骤：

获取半挂车表面的灰度图像，对所述灰度图像进行分割得到异常高亮区域；

获取每个所述异常高亮区域的边缘像素点以及每个边缘像素点的梯度方向，基于所述梯度方向获取每个边缘像素点的梯度方向变化程度，并根据所述梯度方向变化程度选取出所有所述异常高亮区域中的圆滑区域；

选取所述圆滑区域中最大灰度值的像素点作为目标点，获取所述圆滑区域中边缘像素点与所述目标点连接的线段，并根据所述线段上每个像素点的灰度值得到渐变特征，基于所述渐变特征得到所有所述圆滑区域中的渐变特征区域；

根据所述渐变特征区域中每个边缘像素点的梯度方向得到向心程度，选取所述向心程度大于预设阈值的边缘像素点为保留点，所述向心程度不大于预设阈值的边缘像素点为剩余点；根据所有所述剩余点的梯度方向得到所述剩余点之间的相近程度，根据所述相近程度以及所有所述保留点的向心程度均值得到轮廓值；

根据每个所述渐变特征区域的轮廓值分割出所述灰度图像中的焊渣区域。

优选的，所述基于所述梯度方向获取每个边缘像素点的梯度方向变化程度，并根据所述梯度方向变化程度选取出所有所述异常高亮区域中的圆滑区域的步骤，包括：

获取每个边缘像素点对应的邻域范围内的邻域边缘像素点，计算每个邻域边缘像素点的梯度方向与对应边缘像素点的梯度方向之间的差值，所述差值进行余弦运算得到邻域边缘像素点的余弦值；

边缘像素点对应的所有邻域边缘像素点的余弦值的均值为所述梯度方向变化程度；

预设梯度变化阈值，若所述异常高亮区域中所有边缘像素点的梯度方向变化程度均大于所述梯度变化阈值，所述异常高亮区域为圆滑区域。

优选的，所述根据所述线段上每个像素点的灰度值得到渐变特征的步骤，包括：

以边缘像素点为起点，获取边缘像素点对应的所述线段上，当前像素点与其相邻前一个像素点的灰度差值和灰度差值绝对值；计算所述灰度差值绝对值与所述灰度差值的比值；

将所述线段上所有像素点与其相邻前一个像素点之间的比值的平均值作为所述渐变特征。

优选的，所述根据所述渐变特征区域中每个边缘像素点的梯度方向得到向心程度的步骤，包括：

获取每个边缘像素点的梯度方向的反向，梯度方向的反向为180度与所述梯度方向的差值绝对值；

以每个边缘像素点指向所述目标点的方向为参考方向；

获取每个边缘像素点的梯度方向的反向与所述参考方向的差值，并计算所述差值的余弦值为对应边缘像素点的向心程度。

优选的，所述根据所有所述剩余点的梯度方向得到所述剩余点之间的相近程度的步骤，包括：

获取所有所述剩余点的梯度方向均值；计算每个所述剩余点的梯度方向与所述梯度方向均值的差值，并获取所述差值的余弦值，将所有所述剩余点的余弦值的平均值作为所述相近程度。

优选的，所述根据所述相近程度以及所有所述保留点的向心程度均值得到轮廓值的步骤，包括：

所述轮廓值为所述相近程度与所有所述保留点的向心程度均值的求和结果。

优选的，所述对所述灰度图像进行分割得到异常高亮区域的步骤，包括：

采用大津自适应阈值分割算法得到所述灰度图像中灰度值大于最佳分割阈值的像素点，和所述灰度图像中灰度值不大于最佳分割阈值的像素点；灰度值大于最佳分割阈值的像素点构成白色区域；灰度值不大于最佳分割阈值的像素点构成黑色区域；

获取白色区域和黑色区域中每个连通域的面积；

将黑色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为阴影部分的概率，当连通域为阴影部分的概率大于设定的阴影阈值时，连通域为阴影区域；当连通域为阴影部分的概率不大于设定的阴影阈值时，连通域为黑色焊渣区域；

将白色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为正常部分的概率，当连通域为正常部分的概率小于设定的正常阈值，并且连通域被阴影部分包围时，连通域为异常高亮区域；其中，连通域被阴影部分包围是指连通域的所有相邻连通域均为阴影区域。

优选的，所述根据每个所述渐变特征区域的轮廓值分割出所述灰度图像中的焊渣区域的步骤，包括：

选取所述轮廓值大于设定的焊渣轮廓阈值的所述渐变特征区域；

以选取出的每个所述渐变特征区域的目标点为圆心，对所述渐变特征区域的所有边缘像素点进行圆拟合得到圆形区域；

所有所述圆形区域以及黑色焊渣区域为灰度图像中所有的焊渣区域。

优选的，所述基于所述渐变特征得到所有所述圆滑区域中的渐变特征区域的步骤，包括：

当所述圆滑区域中所有的边缘像素点均满足渐变的特征，所述圆滑区域为所述渐变特征区域；判断边缘像素点是否满足渐变的特征的方法为：设定特征阈值，当边缘像素点的渐变特征大于所述特征阈值时，边缘像素点满足渐变的特征。

本发明具有如下有益效果：本发明实施例首先通过对灰度图像进行初步分割得到其中的异常高亮区域进行分析，更加针对性的分析能够减少了分析中的计算量；获取每个异常高亮区域中的边缘像素点以及每个边缘像素点对应的梯度方向，通过所有边缘像素点的梯度方向获取梯度方向变化程度，基于梯度方向变化程度反映反光的焊渣区域具有圆滑平缓的边缘这一特征初步选取出所有异常高亮区域中的圆滑区域，对圆滑区域中各像素点的灰度值进行分析，通过圆滑区域中每个边缘像素点到最大灰度值的目标点之间的像素点灰度值进行渐变特征的获取，基于反光的焊渣区域具备的渐变特征再次从圆滑区域中选取渐变特征区域；以边缘平滑以及灰度渐变两个特征综合进行渐变特征区域的选取，得到的渐变特征区域更加准确，且更加符合反光的焊渣区域的特征；进一步的，根据渐变特征区域中边缘像素点的梯度方向这一主要指标得到渐变特征区域的轮廓值，且轮廓值是由不同类型的像素点的向心程度和相近程度结合得到，反映的轮廓信息更加合理和准确，由此根据更加准确的轮廓信息分割出灰度图像中的焊渣区域，减少了反光对焊渣区域检测的误差影响，提高了分析效率的同时保证了焊渣区域获取的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于图像处理的半挂车表面焊渣优化分割方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的半挂车表面焊渣优化分割方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于图像处理的半挂车表面焊渣优化分割方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的半挂车表面焊渣优化分割方法流程图，该方法包括以下步骤：

步骤S100，获取半挂车表面的灰度图像，对灰度图像进行分割得到异常高亮区域。

由于半挂车的组成结构比较复杂，其表面焊接部位较多，因此在基于视觉检测时，拍摄的图像中往往会在焊接部分存在阴影区域，而利用传统的阈值分割对阴影区域中的信息区分效果不佳，会导致最终检测分割出的焊渣区域精度不高，无法达到理想的焊渣分割效果。

考虑半挂车架结构复杂并且体积较大，在流水线半挂车焊接生产环节之后，于半挂车架的上方等距安装一组自动对焦的工业相机，且保证这组工业相机能够拍摄到完整的半挂车架的图像；在半挂车架的焊带区域的灰度特征通常表现较大，也即是存在较大的灰度值，而焊接部分的阴影区域与焊带区域接近，因此固定相机的位置以及视角，通过人工标注将采集图像中较大灰度特征所在的位置标记为目标位置，将目标位置所在的图像分割出来进而得到半挂车表面的灰度图像，采集得到的图像为RGB图像，灰度图像是根据目标位置所在的采集图像进行灰度化处理后得到的图像，灰度化处理的方法为现有公知技术，不再赘述。

灰度图像中的阴影区域可能会造成对焊接部位的遮挡，而焊渣是由于高温喷溅形成，整体表现为黑色小球区域，因此阴影部分中可能会存在难以辨别的焊渣区域；但焊渣区域会存在一定的反光表现，反光的部分主要呈现在黑色小球的顶端和向光方向的边缘部分，且从最亮的中心位置向边缘呈现出灰度值渐变的特征表现，也即是焊渣区域会在阴影区域中呈现出反光现象，因此对灰度图像中的异常高亮区域进行检测，通过对异常高亮区域进行后续分析，以减少焊渣区域检测整体分析的计算量。

采用大津自适应阈值分割算法得到灰度图像中灰度值大于最佳分割阈值的像素点，和灰度图像中灰度值不大于最佳分割阈值的像素点；灰度值大于最佳分割阈值的像素点构成白色区域；灰度值不大于最佳分割阈值的像素点构成黑色区域；获取白色区域和黑色区域中每个连通域的面积；将黑色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为阴影部分的概率，当连通域为阴影部分的概率大于设定的阴影阈值时，连通域为阴影区域；当连通域为阴影部分的概率不大于设定的阴影阈值时，连通域为黑色焊渣的区域；将白色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为正常部分的概率，当连通域为正常部分的概率小于设定的正常阈值，并且连通域被阴影部分包围时，连通域为异常高亮区域；其中，连通域被阴影部分包围是指连通域的所有相邻连通域均为阴影区域。

具体的，对灰度图像进行大津自适应阈值分割，通过最佳分割阈值将灰度图像划分为两个部分，其中，灰度值大于最佳分割阈值的像素点属于正常部分或者阴影区域中的异常高亮部分，灰度值不大于最佳分割阈值的像素点属于阴影部分或者不存在反光的黑色焊渣的区域，大津自适应阈值分割算法为现有公知手段，不作详细说明；将灰度值大于最佳分割阈值的像素点的灰度值置为255，构成白色区域；将灰度值不大于最佳分割阈值的像素点的灰度值置为0，构成黑色区域。

由于黑色区域中可能包括阴影部分和不存在反光的黑色焊渣区域，因此对黑色区域进行区分：获取黑色区域中所有的连通域，并统计每个连通域对应的面积以及整张灰度图像对应的面积，连通域以及连通域面积的获取均为公知手段，不再赘述；根据每个连通域的面积在灰度图像的面积中的占比得到该连通域为阴影部分的概率，即概率的获取为：

其中，

表示连通域为阴影部分的概率；

表示黑色区域中连通域的面积；

表示 灰度图像的面积。

连通域的面积与灰度图像的面积比值

越大，说明该连通域的面积占比越大；由 于黑色焊渣较小，因此黑色焊渣区域的面积会小于阴影区域的面积，因此比值越大，该连通 域为阴影区域的概率越大。

设定阴影阈值，当连通域为阴影部分的概率大于阴影阈值时，对应的连通域为阴影区域；反之，当连通域为阴影部分的概率不大于阴影阈值时，连通域为黑色焊渣区域；由此对黑色区域中所有连通域为阴影部分的概率进行计算，标记出其中所有为阴影部分的连通域。

作为优选，本发明实施例中设定阴影阈值为0.2，即

时，对应的连通域为阴 影部分。

进一步的，白色区域包括正常部分和存在反光的异常高亮部分，同样对白色区域 进行区域分析，获取白色区域中所有的连通域，并获取每个连通域对应的面积，根据每个连 通域的面积与灰度图像的面积的比值作为对应连通域为正常部分的概率，记为

；由于异 常高亮区域较小，因此异常高亮区域的面积与灰度图像的面积之间的比值越小，也即是对 应连通域为正常部分的概率越小。

设定正常阈值，当连通域为正常区域的概率不小于正常阈值时，对应连通域为正常区域；反之，当连通域为正常部分的概率小于正常阈值，并且该连通域被阴影区域包围时，对应的连通域为异常高亮区域；连通域被阴影区域包围是指该连通域的所有相邻连通域均为阴影区域。由此对白色区域中所有连通域为正常部分的概率进行计算，标记出其中所有为异常高亮区域的连通域。

作为优选，本发明实施例中设定正常阈值为0.2，即

且连通域被阴影区域 包围时，对应的连通域为异常高亮区域。

将分割出的所有异常高亮区域对应的像素点的灰度值均置为1，其他区域的像素点的灰度值均置为0，得到一张异常高亮区域的二值图像，将该二值图像与原始的灰度图像进行相乘，还原出灰度图像中所有的异常高亮区域，对此时得到的灰度图像中的所有的异常高亮区域进行后续的分析；若不存在异常高亮区域，则上述识别出的黑色焊渣区域即为半挂车表面的焊渣区域，若不存在黑色焊渣区域，则表明半挂车表面没有焊渣。

步骤S200，获取每个异常高亮区域的边缘像素点以及每个边缘像素点的梯度方向，基于梯度方向获取每个边缘像素点的梯度方向变化程度，并根据梯度方向变化程度选取出所有异常高亮区域中的圆滑区域。

由步骤S100中得到灰度图像中所有的异常高亮区域，由于此时的异常高亮区域中除了焊渣反光形成的区域之外，可能还会存在光斑等干扰因素形成的高亮区域，因此需要对获取的所有异常高亮区域进行再次的分析，提取出其中符合焊渣反光的渐变的特征的异常高亮区域，渐变的特征是指反光部分的边缘像素点的灰度值向中心的灰度值逐渐增大，并且边缘对应的邻域边缘像素点之间较为平缓，梯度方向改变较小。

首先对异常高亮区域中的圆滑区域进行识别，获取每个边缘像素点对应的邻域范围内的邻域边缘像素点，计算每个邻域边缘像素点的梯度方向与对应边缘像素点的梯度方向之间的差值，差值进行余弦运算得到邻域边缘像素点的余弦值；边缘像素点对应的所有邻域边缘像素点的余弦值的均值为梯度方向变化程度；预设梯度变化阈值，若异常高亮区域中所有边缘像素点的梯度方向变化程度均大于梯度变化阈值，异常高亮区域为圆滑区域。

具体的，对于任意一个异常高亮区域，获取其对应的边缘像素点，边缘像素点的检 测算法存在多种，例如sobel算子检测和canny算子检测，实施者可根据实际需求选择不同 的检测方法，在获取每个边缘像素点时可对应得到每个边缘像素点对应的梯度方向，以任 意一个边缘像素点

为中心点，该中心点

的梯度方向记为

，获取该中心点

对应的八邻域 范围内的邻域边缘像素点，将八邻域范围内第

个邻域边缘像素点的梯度方向记为

，将 中心点

的八邻域范围内所有邻域边缘像素点的数量记为

，则根据中心点

的八邻域范 围内每个邻域边缘像素点的梯度方向获取该中心点

对应的梯度方向变化程度，梯度方向 变化程度的具体计算为：

其中，

表示中心点

对应的梯度方向变化程度，也即是边缘像素点

对应的梯度 方向变化程度；

表示中心点

的梯度方向；

表示中心点

的八邻域范围内的第

个邻域 边缘像素点的梯度方向；

表示中心点

的八邻域范围内所有邻域边缘像素点的数量；

为余弦函数。

表示中心点

的八邻域范围内每个邻域边缘像素点与该中心点

之间的梯 度方向的差值，由于梯度方向的取值范围为0-360，则差值越接近于0或者360时，表明梯度 方向越接近，梯度方向的变化越平缓，对应的余弦值

的取值越大；

为中心点

与其八邻域范围内所有邻域边缘像素点之间余弦值的平均值，平 均值越大，表明梯度方向之间的变化越小，对应的中心点

的梯度方向变化程度的取值越 大。

基于获取边缘像素点

的梯度方向变化程度相同的方法，获取每个异常高亮区域 中每个边缘像素点对应的梯度方向变化程度，若边缘像素点对应的梯度方向变化程度的取 值大于梯度变化阈值，则表明该边缘像素点的八邻域范围内的其他邻域边缘像素点的梯度 方向与该边缘像素点的梯度方向改变较小，其构成的边缘是较为平滑的边缘部分；梯度变 化阈值由实施者根据情况自行设定，本发明实施例中梯度变化阈值

设置为0.9，也即是边 缘像素点的梯度方向变化程度大于0.9时，对应的边缘像素点为较为平滑的边缘点。

当某个异常高亮区域中所有的边缘像素点的梯度方向变化程度均大于0.9时，则该异常高亮区域的边缘是较为圆滑平缓的边缘，将对应的异常高亮区域记为圆滑区域；若不存在边缘像素点的梯度方向变化程度均大于0.9的异常高亮区域，表明所有的异常高亮区域都为其他光斑干扰形成的区域，则不需要对异常高亮区域进行后续的分析，步骤S100中得到的黑色焊渣区域即为半挂车表面的焊渣区域。

步骤S300，选取圆滑区域中最大灰度值的像素点作为目标点，获取圆滑区域中边缘像素点与目标点连接的线段，并根据线段上每个像素点的灰度值得到渐变特征，基于渐变特征得到所有圆滑区域中的渐变特征区域。

由步骤S200中得到所有异常高亮区域中的圆滑区域，对圆滑区域进一步进行分析，从圆滑区域中提取出符合焊渣反光渐变的特征的渐变特征区域。

获取每个圆滑区域中灰度值最大的像素点，将灰度值最大的像素点记为目标点，同时记录目标点的位置；上述步骤S200中获取到了每个圆滑区域中的边缘像素点，将圆滑区域内每个边缘像素点与该目标点进行连接得到多个线段，每条线段上包括多个像素点；以边缘像素点为起点，获取边缘像素点对应的线段上，当前像素点与其相邻前一个像素点的灰度差值和灰度差值绝对值；计算灰度差值绝对值与灰度差值的比值；将线段上所有像素点与其相邻前一个像素点之间的比值的平均值作为渐变特征。当圆滑区域中所有的边缘像素点均满足渐变的特征，圆滑区域为渐变特征区域；判断边缘像素点是否满足渐变的特征的方法为：设定特征阈值，当边缘像素点的渐变特征大于特征阈值时，边缘像素点满足渐变的特征。

具体的，选取任意一个边缘像素点

，连接边缘像素点

与目标点得到对应的线 段，将边缘像素点

与目标点连接的线段上所有像素点的数量记为

，且线段上与边缘像 素点

相邻的像素点为第1个像素点；以边缘像素点

为起点进行逐个遍历，基于该线段上 每个像素点的灰度值计算边缘像素点

的渐变特征，以根据所有边缘像素点对应的渐变特 征判断该圆滑区域是否为渐变特征区域，边缘像素点

的渐变特征的计算为：

其中，

表示边缘像素点

的渐变特征；

表示边缘像素点

与目标点连接的线 段上第

个像素点的灰度值；

表示边缘像素点

与目标点连接的线段上第

个像 素点的灰度值；

表示边缘像素点

与目标点连接的线段上所有像素点的数量。

由于渐变的特征是指由目标点开始向四周的灰度值逐渐减小，因此

为边缘像素点

与目标点之间的线段上相邻两个像素点的灰度差值绝对 值，

表示灰度差值绝对值与灰度差值的比值，若

大于

，则比值为1， 反之，若

小于

，则比值为-1；

表示线段上所有像素点对应的比值 的平均值，若平均值的取值为1，则表明线段上每相邻两个像素点的灰度差值均为正数，满 足灰度渐变的特征；若平均值的取值不为1，则表明线段上每相邻两个像素点的灰度差值中 存在负数，打破了灰度渐变的特征，灰度差值中存在负数越多，对应的渐变特征的取值越 小，越不满足渐变的特征。

同理，根据获取边缘像素点

的渐变特征相同的方法，获取圆滑区域中所有的边缘 像素点对应的渐变特征，渐变特征取值越大，表明该边缘像素点与目标点之间连接的线段 上的像素点越满足渐变的特征；若圆滑区域内所有边缘像素点均为满足渐变的特征的边缘 像素点，则该圆滑区域为渐变特征区域。

判断边缘像素点是否为满足渐变的特征的边缘像素点的方法为：将边缘像素点的渐变特征与预设的特征阈值进行比较，若边缘像素点的渐变特征大于特征阈值，则对应的边缘像素点为满足渐变的特征的边缘像素点。

作为优选，本发明实施例中设置特征阈值为0.9，在其他实施例中实施者可根据实际情况进行设定。

由此基于步骤S200利用边缘的平滑情况对异常高亮区域进行初步选取得到圆滑区域，再根据圆滑区域内像素点的灰度渐变情况获取圆滑区域中的渐变特征区域，综合异常高亮区域中梯度以及灰度两方面的特征进行渐变特征区域的判断，排除部分干扰的异常高亮区域，得到的渐变特征区域更加准确且具有说服力。

相应的，若圆滑区域中不存在渐变特征区域，则表明所有的异常高亮区域均为光斑干扰的区域，步骤S100中得到的黑色焊渣区域即为半挂车表面的焊渣区域。

步骤S400，根据渐变特征区域中每个边缘像素点的梯度方向得到向心程度，选取向心程度大于预设阈值的边缘像素点为保留点，向心程度不大于预设阈值的边缘像素点为剩余点；根据所有剩余点的梯度方向得到剩余点之间的相近程度，根据相近程度以及所有保留点的向心程度均值得到轮廓值。

由步骤S300中得到所有异常高亮区域中的渐变特征区域，但此时仍然可能存在部分光斑等区域的特征也符合渐变的特征，从而也被划分为渐变特征区域，由于焊渣小球主要表现为圆形，若焊渣小球受到经过反光造成的背光部分影响，则对应的渐变特征区域的轮廓会表现为缺失的圆形，当渐变特征区域的轮廓存在部分缺失时，则渐变特征区域中部分边缘像素点的梯度方向会反向指向圆心，而其他的边缘像素点的梯度方向相近；将此时的渐变特征区域直接判定为焊渣区域是十分不准确的，因此后续对所有的渐变特征区域再次进行分析，通过每个渐变特征区域的轮廓表现判断是否为焊渣反光形成的渐变特征区域，以便于提取出完整的焊渣区域。

获取每个边缘像素点的梯度方向的反向，梯度方向的反向为180度与梯度方向的差值绝对值；以每个边缘像素点指向目标点的方向为参考方向；获取每个边缘像素点的梯度方向的反向与参考方向的差值，并计算差值的余弦值为对应边缘像素点的向心程度。

具体的，对于梯度方向指向圆心的边缘像素点，其对应的梯度方向的反向实际为 像素点灰度值的渐变方向，由步骤S300得到每个边缘像素点与其对应目标点之间的线段， 目标点是渐变特征区域中灰度值最大的点，而实际焊渣圆形表现的区域的圆心点的灰度值 最大，因此将每个边缘像素点指向目标点的方向记为对应边缘像素点的参考方向，对于每 个边缘像素点而言，已知对应的梯度方向，例如边缘像素点

的梯度方向为

，则边缘像素 点

对应的梯度方向的反向为

，此处

为180度，根据每个边缘像素点的梯度方向的 反向以及参考方向获取该边缘像素点的向心程度，作为一个优选示例，边缘像素点

的向心 程度的计算为：

其中，

表示边缘像素点

的向心程度；

表示边缘像素点

的梯度方向；

表 示边缘像素点

的梯度方向的反向；

表示缘像素点

的参考方向；

为余弦函数。

也可认为是实际渐变方向，而参考方向

为理想渐变方向，即从边缘像素 点

指向目标点的方向；

的差值越接近于0或者360，表明实际渐变方向与理想 渐变方向之间的差异越小，因此对应边缘像素点的向心程度越大。

对渐变特征区域中所有边缘像素点的向心程度进行获取，并将渐变特征区域中所有向心程度较大的边缘像素点记为保留点进行保留，保留点的梯度方向反向与理想渐变方向的偏差较小，向心程度较大是指向心程度大于预设阈值，也即是将渐变特征区域中向心程度大于预设阈值的边缘像素点为保留点；作为优选，本发明实施例中设置预设阈值的大小为0.95，在其他实施例中实施者可自行设定。相应的，将渐变特征区域中向心程度不大于预设阈值的边缘像素点记为剩余点，对所有的剩余点再次进行分析。

获取所有剩余点的梯度方向均值；计算每个剩余点的梯度方向与梯度方向均值的差值，并获取差值的余弦值，将所有剩余点的余弦值的平均值作为相近程度。

具体的，统计所有剩余点的数量记为

，所有剩余点中任意一个剩余点

对应的梯 度方向为

，则根据所有剩余点的梯度方向可得到梯度方向均值，即梯度方向均值为：

其中，

表示剩余点

对应的梯度方向；

表示所有剩余点的数量；

表示所有剩 余点的梯度方向均值。

根据每个渐变特征区域中所有剩余点的梯度方向均值获取剩余点之间的相近程度，则相近程度的计算为：

其中，

表示相近程度；

表示剩余点

对应的梯度方向；

表示所有剩余点的数 量；

表示所有剩余点的梯度方向均值。

表示剩余点

的梯度方向与梯度方向均值之间的差异，

为差异 的余弦值，该项取值越大，说明剩余点

的梯度方向与梯度方向均值越接近，也即是

的取值接近0或者360；则计算出的所有剩余点对应余弦值的均值

，可用于反映 所有剩余点之间的相近程度，所有剩余点之间的梯度方向越接近，则对应的相近程度的取 值会越接近于1。

根据渐变特征区域中所有剩余点的相近程度结合该渐变特征区域中所有的保留点对渐变特征区域的轮廓进行分析，由于每个保留点均对应一个向心程度，计算所有保留点的向心程度的均值，以所有保留点的向心程度均值与所有剩余点的相近程度的求和结果作为渐变特征区域的轮廓值，即轮廓值为：

其中，

表示渐变特征区域的轮廓值；

表示渐变特征区域内所有保留点的向心程 度均值；

表示渐变特征区域内所有剩余点的相近程度。

当渐变特征区域内所有保留点的向心程度均值越大，且所有剩余点的相近程度越大时，表明渐变特征区域内部分边缘像素点的梯度方向的反向指向圆心，而其他的边缘像素点的梯度方向相近，则该渐变特征区域的轮廓越符合存在缺失的轮廓表现。

步骤S500，根据每个渐变特征区域的轮廓值分割出灰度图像中的焊渣区域。

由于每个渐变特征区域的轮廓值越大，其越符合存在缺失的轮廓表现，越可能为反光背光影响的焊渣区域，因此根据每个渐变特征区域对应的轮廓值进行初步选取，由于向心程度均值与相近程度的取值范围均为0-1，则轮廓值是0-2的取值范围，本实施例设定焊渣轮廓阈值为1.9，其他实施例中实施者可进行调整；当渐变特征区域的轮廓值大于该焊渣轮廓阈值时，对应的渐变特征区域为焊渣的部分区域。

进一步的，由于渐变特征区域对应的可能不是完整的焊渣区域，因此对选取出为焊渣的部分区域的渐变特征区域进行补全，以得到最终的焊渣区域，具体的：已知每个渐变特征区域的目标点以及边缘像素点，以目标点为圆心，对所有的边缘像素点进行圆拟合得到的圆形区域为焊渣区域，圆拟合的方法为公知手段，不再详细说明，此时补全后的焊渣区域是完整的焊渣分割结果；则对所有选取出的渐变特征区域进行补全得到所有的焊渣区域，也即是得到了阴影部分中的焊渣区域分割结果。

同时，在步骤S100中根据阴影阈值得到黑色焊渣区域，黑色焊渣区域也为焊渣区域，因此通过上述阴影部分中焊渣区域分割结果结合黑色焊渣区域得到灰度图像中所有的焊渣区域，也即是将灰度图像中所有的焊渣区域分割出来。

综上所述，本发明实施例通过获取半挂车表面的灰度图像，对灰度图像进行分割得到异常高亮区域；获取每个异常高亮区域的边缘像素点以及每个边缘像素点的梯度方向，基于梯度方向获取每个边缘像素点的梯度方向变化程度，以选取出所有异常高亮区域中的圆滑区域；选取圆滑区域中最大灰度值的像素点作为目标点，根据圆滑区域中每个边缘像素点与目标点的连线上像素点的灰度值得到渐变特征，以根据渐变特征得到所有圆滑区域中的渐变特征区域；根据渐变特征区域中每个边缘像素点的梯度方向得到向心程度，选取向心程度大于预设阈值的边缘像素点为保留点，向心程度不大于预设阈值的边缘像素点为剩余点；根据所有剩余点的梯度方向得到相近程度，根据相近程度以及所有保留点的向心程度均值得到轮廓值；基于每个渐变特征区域的轮廓值分割出灰度图像中的焊渣区域，解决了传统阈值分割不准确的问题，提高了焊渣区域识别分割的准确度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，该方法包括以下步骤：

获取半挂车表面的灰度图像，对所述灰度图像进行分割得到异常高亮区域；

获取每个所述异常高亮区域的边缘像素点以及每个边缘像素点的梯度方向，基于所述梯度方向获取每个边缘像素点的梯度方向变化程度，并根据所述梯度方向变化程度选取出所有所述异常高亮区域中的圆滑区域；

选取所述圆滑区域中最大灰度值的像素点作为目标点，获取所述圆滑区域中边缘像素点与所述目标点连接的线段，并根据所述线段上每个像素点的灰度值得到渐变特征，基于所述渐变特征得到所有所述圆滑区域中的渐变特征区域；

根据所述渐变特征区域中每个边缘像素点的梯度方向得到向心程度，选取所述向心程度大于预设阈值的边缘像素点为保留点，所述向心程度不大于预设阈值的边缘像素点为剩余点；根据所有所述剩余点的梯度方向得到所述剩余点之间的相近程度，根据所述相近程度以及所有所述保留点的向心程度均值得到轮廓值；

根据每个所述渐变特征区域的轮廓值分割出所述灰度图像中的焊渣区域。

2.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述基于所述梯度方向获取每个边缘像素点的梯度方向变化程度，并根据所述梯度方向变化程度选取出所有所述异常高亮区域中的圆滑区域的步骤，包括：

获取每个边缘像素点对应的邻域范围内的邻域边缘像素点，计算每个邻域边缘像素点的梯度方向与对应边缘像素点的梯度方向之间的差值，所述差值进行余弦运算得到邻域边缘像素点的余弦值；

边缘像素点对应的所有邻域边缘像素点的余弦值的均值为所述梯度方向变化程度；

预设梯度变化阈值，若所述异常高亮区域中所有边缘像素点的梯度方向变化程度均大于所述梯度变化阈值，所述异常高亮区域为圆滑区域。

3.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述根据所述线段上每个像素点的灰度值得到渐变特征的步骤，包括：

以边缘像素点为起点，获取边缘像素点对应的所述线段上，当前像素点与其相邻前一个像素点的灰度差值和灰度差值绝对值；计算所述灰度差值绝对值与所述灰度差值的比值；

将所述线段上所有像素点与其相邻前一个像素点之间的比值的平均值作为所述渐变特征。

4.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述根据所述渐变特征区域中每个边缘像素点的梯度方向得到向心程度的步骤，包括：

获取每个边缘像素点的梯度方向的反向，梯度方向的反向为180度与所述梯度方向的差值绝对值；

以每个边缘像素点指向所述目标点的方向为参考方向；

获取每个边缘像素点的梯度方向的反向与所述参考方向的差值，并计算所述差值的余弦值为对应边缘像素点的向心程度。

5.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述根据所有所述剩余点的梯度方向得到所述剩余点之间的相近程度的步骤，包括：

获取所有所述剩余点的梯度方向均值；计算每个所述剩余点的梯度方向与所述梯度方向均值的差值，并获取所述差值的余弦值，将所有所述剩余点的余弦值的平均值作为所述相近程度。

6.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述根据所述相近程度以及所有所述保留点的向心程度均值得到轮廓值的步骤，包括：

所述轮廓值为所述相近程度与所有所述保留点的向心程度均值的求和结果。

7.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述对所述灰度图像进行分割得到异常高亮区域的步骤，包括：

采用大津自适应阈值分割算法得到所述灰度图像中灰度值大于最佳分割阈值的像素点，和所述灰度图像中灰度值不大于最佳分割阈值的像素点；灰度值大于最佳分割阈值的像素点构成白色区域；灰度值不大于最佳分割阈值的像素点构成黑色区域；

获取白色区域和黑色区域中每个连通域的面积；

将黑色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为阴影部分的概率，当连通域为阴影部分的概率大于设定的阴影阈值时，连通域为阴影区域；当连通域为阴影部分的概率不大于设定的阴影阈值时，连通域为黑色焊渣区域；

将白色区域中每个连通域的面积与灰度图像的面积的比值作为连通域为正常部分的概率，当连通域为正常部分的概率小于设定的正常阈值，并且连通域被阴影部分包围时，连通域为异常高亮区域；其中，连通域被阴影部分包围是指连通域的所有相邻连通域均为阴影区域。

8.根据权利要求7所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述根据每个所述渐变特征区域的轮廓值分割出所述灰度图像中的焊渣区域的步骤，包括：

选取所述轮廓值大于设定的焊渣轮廓阈值的所述渐变特征区域；

以选取出的每个所述渐变特征区域的目标点为圆心，对所述渐变特征区域的所有边缘像素点进行圆拟合得到圆形区域；

所有所述圆形区域以及黑色焊渣区域为灰度图像中所有的焊渣区域。

9.根据权利要求1所述的一种基于图像处理的半挂车表面焊渣优化分割方法，其特征在于，所述基于所述渐变特征得到所有所述圆滑区域中的渐变特征区域的步骤，包括：

当所述圆滑区域中所有的边缘像素点均满足渐变的特征，所述圆滑区域为所述渐变特征区域；判断边缘像素点是否满足渐变的特征的方法为：设定特征阈值，当边缘像素点的渐变特征大于所述特征阈值时，边缘像素点满足渐变的特征。

Images