CN117095004B - 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 - Google Patents
基于计算机视觉的挖掘机行走架主体焊接变形检测方法 Download PDFInfo
- Publication number
- CN117095004B CN117095004B CN202311359478.9A CN202311359478A CN117095004B CN 117095004 B CN117095004 B CN 117095004B CN 202311359478 A CN202311359478 A CN 202311359478A CN 117095004 B CN117095004 B CN 117095004B
- Authority
- CN
- China
- Prior art keywords
- line
- crack
- suspected
- fitted
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 219
- 238000001514 detection method Methods 0.000 title abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000005452 bending Methods 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000003708 edge detection Methods 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 77
- 230000000877 morphologic effect Effects 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 206010034701 Peroneal nerve palsy Diseases 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 18
- 230000007547 defect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像边缘检测技术领域，具体涉及一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，包括，基于行走架的焊接面图像特征进行图像分析，确定亮区域和暗区域；对于暗区域，利用图像中边缘线的特征，确定疑似裂纹线和目标裂纹拟合点，对于亮区域，确定选定裂纹拟合点；获取各个拟合裂纹线，基于实际焊接形变裂纹特征，利用疑似裂纹线，从各个拟合裂纹线中筛选出最优拟合裂纹线；通过分析最优拟合裂纹线的弯曲程度确定存在焊接变形的概率，以实现挖掘机行走架主体焊接变形的检测。本发明增强了行走架主体焊接变形检测能力，提高了行走架主体焊接变形检测结果的准确性，主要应用于焊接变形裂纹检测领域。
Description
技术领域
本发明涉及图像边缘检测技术领域，具体涉及一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法。
背景技术
在挖掘机制造业中，高质量行走架的生产对于一台挖掘机的安全性来说是至关重要的。当前车架的焊缝主要设计形式为角焊缝，焊接变形主要为角变形，在焊接过程中对焊件进行了局部的、不均匀的加热是生产焊接力及变形的原因，这些变形的产生不仅会改变结构外观形状、几何尺寸，降低装配质量，甚至有时会降低结构的承载能力，使行走架质量达不到设计和使用的要求。因此，需要对挖掘机行走架主体进行焊接变形检测。
现有在对行走架进行焊接变形检测时，主要是结合激光发射器在焊接表面上打出激光条纹并采集图像，再通过激光扫描件扫描焊接表面上各个位置相对应的线条，分别进行图像采集后通过计算线条相对位置的变化得到变形量，该方法的抗噪声能力较弱，导致当前对于焊缝缺陷导致的焊缝处变形的检测能力较弱，行走架主体焊接变形检测结果不准确。
发明内容
为了解决上述当前对于焊缝缺陷导致的焊缝处变形的检测能力较弱，行走架主体焊接变形检测结果不准确的技术问题，本发明的目的在于提供一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，该方法包括以下步骤：
对获取的当前待检测挖掘机行走架主体的焊接面图像进行图像预处理，获得焊接面灰度图像中的亮区域和暗区域；
根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线；将疑似裂纹线上距离亮区域最近的像素点确定为目标裂纹拟合点；根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点；
当每两个相邻的裂纹拟合点之间存在梯度变化像素点时，判定焊接面图像中存在疑似焊接形变裂纹；将各个裂纹拟合点和各个梯度变化像素点按照预设连接规则，不断遍历连接拟合，获得各个拟合裂纹线；其中，所述两个相邻的裂纹拟合点为两个相邻的选定裂纹拟合点或相邻的选定裂纹拟合点和目标裂纹拟合点；
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，分析拟合裂纹线与疑似裂纹线之间的总体方向变化差异、曲折程度差异以及幅值变化差异，筛选出各个拟合裂纹线中的最优拟合裂纹线；
根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率；根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测。
进一步地，所述根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线，包括：
对暗区域进行边缘检测，获得暗区域的各个边缘线，统计各个边缘线的边缘像素点个数；确定暗区域的水平长度和竖直长度，选取长度最小值作为疑似裂纹线的初步筛选阈值；将边缘像素点个数大于初步筛选阈值的边缘线确定为初始疑似裂纹线；
对于任意一个初始疑似裂纹线，根据初始疑似裂纹线上每个像素点的位置，计算每个像素点的位置导数；计算每个像素点的位置导数与所有像素点的位置导数的平均值之间的差值平方，将所有像素点的差值平方的平均值作为初始疑似裂纹线的形态评估值；
根据各个初始疑似裂纹线的形态评估值，将最小形态评估值对应的初始疑似裂纹线确定为暗区域的疑似裂纹线。
进一步地，所述根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点，包括：
根据亮区域内每个像素点的灰度值，获得亮区域对应的二值图像，选取二值图像中像素值为0的区域作为初始子暗区域；对各个初始子暗区域进行形态学闭运算，获得各个子暗区域；将各个子暗区域内每个像素点映射到亮区域内，获得亮区域的各个子暗区域；对于亮区域的任意一个子暗区域，将子暗区域内灰度值最大的像素点确定为选定裂纹拟合点。
进一步地，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，分析拟合裂纹线与疑似裂纹线之间的总体方向变化差异、曲折程度差异以及幅值变化差异，筛选出各个拟合裂纹线中的最优拟合裂纹线，包括：
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标；根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标；
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的纵坐标，确定各个拟合裂纹线和疑似裂纹线对应的纵坐标方差；将各个拟合裂纹线对应的纵坐标方差与疑似裂纹线对应的纵坐标方差之间的差值绝对值，确定为对应的拟合裂纹线与疑似裂纹线之间的幅值变化差异指标；
对于任意一个拟合裂纹线，将总体方向变化差异指标、曲折程度差异指标以及幅值变化差异指标的和值确定为拟合裂纹线的拟合效果评价值；将最小拟合效果评价值对应的拟合裂纹线确定为最优拟合裂纹线。
进一步地，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标，包括：
对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定拟合裂纹线和疑似裂纹线对应的各个斜率；
计算拟合裂纹线对应的斜率均值与疑似裂纹线对应的斜率均值之间的差值绝对值，将两个斜率均值之间的差值绝对值确定为拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标。
进一步地，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标，包括：
对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，对拟合裂纹线和疑似裂纹线进行求导，确定拟合裂纹线和疑似裂纹线对应的极值点个数；
根据拟合裂纹线和疑似裂纹线对应的极值点个数确定极值点出现频率，将拟合裂纹线的极值点出现频率与疑似裂纹线的极值点出现频率之间的差值绝对值，确定为拟合裂纹线与疑似裂纹线之间的曲折程度差异指标。
进一步地，所述根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率，包括：
连接最优拟合裂纹线的首尾端点，获得对比线段；最优拟合裂纹线上的每个像素点作对比线段的垂线，获得每个像素点对应的垂足点；
根据最优拟合裂纹线上的每个像素点的位置和垂足点的位置，计算最优拟合裂纹线上的每个像素点与其对应的垂足点之间的空间距离；将最优拟合裂纹线对应的所有空间距离的平均值，确定为最优拟合裂纹线的弯曲程度；
对弯曲程度进行反比例的归一化处理，将1与反比例的归一化处理后的弯曲程度的差值，确定为当前待检测挖掘机行走架主体存在焊接变形的概率。
进一步地，所述预设连接规则为：
依次连接相邻的选定裂纹拟合点和梯度变化像素点、相邻的两个梯度变化像素点以及相邻的梯度变化像素点和目标裂纹拟合点；对于同一垂线上的梯度变化像素点，在每种连接方式中只有一个梯度变化像素点被连接，直至遍历完所有的连接方式。
进一步地，所述根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测，包括：
若当前待检测挖掘机行走架主体存在焊接变形的概率大于存在焊接变形的概率阈值，则判定当前待检测挖掘机行走架主体存在焊接形变，否则，判定当前待检测挖掘机行走架主体不存在焊接形变。
进一步地，所述对获取的当前待检测挖掘机行走架主体的焊接面图像进行图像预处理，获得焊接面灰度图像中的亮区域和暗区域，包括：
获取当前待检测挖掘机行走架主体的焊接面图像，对焊接面图像进行灰度化处理，获得焊接面灰度图像；对焊接面灰度图像进行滤波降噪处理，获得降噪处理后的焊接面灰度图像；
对降噪处理后的焊接面灰度图像进行阈值分割处理，获得二值图像；对二值图像进行先开后闭的形态学处理，获得形态学处理后的二值图像；将形态学处理后的二值图像中像素值为1的像素区域确定为初始亮区域，将二值图像中的像素值为0的像素区域确定为初始暗区域；
根据初始亮区域和初始暗区域内每个像素点在降噪处理后的焊接面灰度图像中的位置，确定焊接面灰度图像中每个像素点的亮暗属性，将相同亮暗属性的像素点组成区域，获得焊接面灰度图像中的亮区域和暗区域。
本发明具有如下有益效果：
本发明提供了一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，该检测方法通过对挖掘机行走架主体的焊接面图像进行图像分析，确定当前存在焊接变形的概率，其有助于克服现有焊接形变检测方法的抗噪声能力较弱的缺陷，提高焊缝处变形的检测能力，进而提升行走架主体焊接变形检测结果的准确程度，主要应用于焊接变形裂纹检测领域。将焊接面灰度图像划分为亮区域和暗区域，是为了后续基于亮区域和暗区域的裂纹特征分别进行分析，以克服图像采集过程中反光区域的裂纹线无法直接获取的缺陷；结合暗区域内边缘线的图像特征获得疑似裂纹线，由图像边缘线的边缘像素点个数和每个边缘像素点的位置确定的疑似裂纹线在后续实现步骤中的参考价值更高；确定各个裂纹拟合点，通过分析两个相邻的裂纹拟合点之间的梯度变化情况，判断焊接面图像中是否存在疑似焊接变形裂纹，其结合焊接变形裂纹的实际图像特征进行初步检测，其有助于减少计算量，提高行走架主体焊接变形检测的效率；若焊接面图像中存在疑似焊接变形裂纹，则对各个裂纹拟合点进行拟合处理，获得各种连接方式的拟合裂纹线，相较于现有方法，拟合点需求更少，更符合当前场景下的裂纹线物理规律，并且拟合过程计算量较少；将疑似裂纹线作为参考裂纹线，结合实际物理规律，对各个拟合裂纹线的拟合结果进行评估，确定最优拟合裂纹线，从多个角度评估各个拟合裂纹线，有助于获得最贴近实际焊接变形的裂纹，增加了最优拟合裂纹线的可靠程度；通过分析最优拟合裂纹线的弯曲程度，确定存在焊接变形的概率，进而进行挖掘机行走架主体焊接变形检测，该焊接变形检测能力较强，行走架主体焊接变形检测结果更准确。同时，相较于现有焊接变形检测方法，本发明所需检测设备较少，同时处理过程计算成本较低，可实现检测率相对理想的情况下快速进行焊接变形检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的情景为：在挖掘机行走架主体进行焊接的过程中，可能会由于局部温度迅速升高产生焊接应力，从而导致焊接面产生一定变形的现象，对后续的加工使用造成一定风险。因此，需要在焊接过程中对焊接部分进行进一步的检测，确保不会对后续加工过程造成风险。
为了检测并标注挖掘机行走架主体焊接过程出现的焊接变形现象，本实施例提供了一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，如图1所示，包括以下步骤：
S1，对获取的当前待检测挖掘机行走架主体的焊接面图像进行图像预处理，获得焊接面灰度图像中的亮区域和暗区域。
需要说明的是，由于焊接变形可能在后续加工、使用过程中造成一定风险，为了尽可能避免在加工过程中出现安全隐患以及避免加工后产品不合格造成的材料浪费和经济损失，图像采集设备需要尽可能实时拍摄当前待检测挖掘机行走架主体的焊接过程。
第一步，获取当前待检测挖掘机行走架主体的焊接面图像，对焊接面图像进行灰度化处理，获得焊接面灰度图像。
在焊接设备工作的过程中，为了尽量避免获取的当前待检测挖掘机行走架主体的焊接面图像中出现大面积亮度过高的情况，将图像采集设备与焊接设备相隔一段距离后再开始采集图像。利用CCD（Charge Coupled Device，电荷耦合器件）相机采集焊接部位的图像，即当前待检测挖掘机行走架主体的焊接面图像。为了便于后续进行图像边缘分析，对焊接面图像进行灰度化处理，获得焊接面灰度图像。灰度化处理的实现方法包括但不限于：加权平均值法、平均值法、最大值法以及最小值法等，灰度化处理的实现过程为现有技术，此处不再进行详细阐述。
其中，焊接面图像主要由焊件表面、焊缝等其他信息组成，当焊接面发生变形时，焊接面图像的图像特征会存在一定程度的变化，通过分析焊接面图像的图像特征，可以对当前的焊接面变形情况进行检测判断。
第二步，对焊接面灰度图像进行滤波降噪处理，获得降噪处理后的焊接面灰度图像。
为了获得清晰的图像，对焊接面灰度图像进行滤波降噪处理，以提高焊接面灰度图像的图像质量。例如，利用双边滤波等保边滤波算法对图像进行滤波降噪处理，双边滤波算法的实现过程为现有技术，此处不再进行详细阐述。
第三步，根据降噪处理后的焊接面灰度图像，确定焊接面灰度图像中的亮区域和暗区域。
需要说明的是，为了获得纹理清晰的焊接面灰度图像，图像采集设备与焊接设备的距离相对较近，且图像采集设备随焊接设备移动，故在图像采集过程中焊缝处难免会出现一些反光区域，反光区域对焊接面裂纹识别过程造成一定程度的噪声影响，导致无法直接获取反光区域的裂纹线。为了便于后续确定暗区域的疑似裂纹线和亮区域的裂纹拟合点，需要确定焊接面灰度图像中的亮区域和暗区域。
首先，对降噪处理后的焊接面灰度图像进行阈值分割处理，获得二值图像；对二值图像进行先开后闭的形态学处理，获得形态学处理后的二值图像；将形态学处理后的二值图像中像素值为1的像素区域确定为亮区域，将二值图像中的像素值为0的像素区域确定为暗区域。
在本实施例中，焊接面的亮暗对比较为明显，可以利用最大类间方差法对降噪处理后的焊接面灰度图像进行阈值分割，获得二值图像，最大类间方差法的实现过程为现有技术，此处不再进行详细阐述；为了消除焊接面灰度图像中面积较小的非反光亮区域和焊缝的裂纹区域，先对二值图像先进行形态学开运算，再对形态学开运算后的二值图像进行形态学闭运算，形态学处理的实现过程为现有技术，此处不再进行详细阐述；此时，可以将形态学处理后的二值图像中的白色区域确定为焊缝内部的亮区域，白色区域内像素点的像素值为1，将黑色区域确定为焊缝内部的暗区域，黑色区域内像素点的像素值为0。
其次，根据初始亮区域和初始暗区域内每个像素点在降噪处理后的焊接面灰度图像中的位置，确定焊接面灰度图像中每个像素点的亮暗属性，将相同亮暗属性的像素点组成区域，可以获得焊接面灰度图像中的亮区域和暗区域，也就是将二值图像中的亮区域和暗区域内各个像素点，映射到原始的焊接面灰度图像中，可以获得焊接面灰度图像中的亮、暗区域。
至此，本实施例获得了焊接面灰度图像中的亮区域和暗区域。
S2，根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线；将疑似裂纹线上距离亮区域最近的像素点确定为目标裂纹拟合点；根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点。
第一步，根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线。
在本实施例中，通过分析暗区域的内部图像特征，确定暗区域裂纹线的分布规律。暗区域主要为焊缝内的非反光区域，其内部的亮区域为部分焊缝纹理反光点或线，以及可能存在的裂纹线部分。非反光区域成像时整体灰度值较低，而其内部的反光点、反光线或裂纹线在暗区域中相对较为明显，可以利用边缘检测算法获取这些部分的边缘线；而对于焊接面，其内部存在的一定程度的焊接纹理，如规律分布的弧线区域，焊接纹理与裂纹线不平行，相比焊接纹理线，裂纹线的尺寸相对较长，基于此，可以通过裂纹线的图像特征，确定暗区域的疑似裂纹线。
第一子步骤，确定暗区域的各个初始疑似裂纹线。
对暗区域进行边缘检测，获得暗区域的各个边缘线，统计各个边缘线的边缘像素点个数；确定暗区域的水平长度和竖直长度，选取长度最小值作为疑似裂纹线的初步筛选阈值；将边缘像素点个数大于初步筛选阈值的边缘线确定为初始疑似裂纹线。
本实施例在对暗区域进行边缘检测时，可以利用Canny边缘检测算子实现，Canny边缘检测算子的实现过程为现有技术，此处不再进行详细阐述。计算所有边缘线的长度，即统计各个边缘线的边缘像素点个数，是为了对所有边缘线进行初步筛选；在获得各个边缘线的长度后，为了排除离散像素点、焊接纹理线以及其他较短边缘线的影响，减少计算量，选取长度大于暗区域的长或宽中任一个较小数值的边缘线，将选取出的边缘线确定为初始疑似裂纹线。其中，暗区域的长也就是水平长度，暗区域的宽也就是竖直长度；初始疑似裂纹线中可以包括裂纹线、纹理线与裂纹线相连的边缘线。
值得说明的是，在计算边缘线的边缘像素点个数时，存在纹理线与裂纹线连接的情况，此时同一部分的边缘线需要进行多次边缘像素点的统计，例如，纹理1连接在裂纹上，从纹理1一端出发，到连接点后存在三个方向，分别沿着这三个方向可以获得三个边缘线；另外，值得说明的是，若暗区域的各个边缘线均不大于初步筛选阈值，则说明暗区域内不存在裂纹线，不需要进行后续的裂纹线检测判断步骤。
第二子步骤，根据各个初始疑似裂纹线上每个像素点的位置，确定暗区域的疑似裂纹线。
需要说明的是，真实的裂纹线、纹理线连接裂纹线的边缘线存在较大的形态差距，基于此，通过各个初始疑似裂纹线上每个像素点的位置，量化各个初始疑似裂纹线的形态，确定形态评估值，然后确定疑似裂纹线，具体实现步骤可以包括：
对于任意一个初始疑似裂纹线，根据初始疑似裂纹线上每个像素点的位置，计算每个像素点的位置导数；计算每个像素点的位置导数与所有像素点的位置导数的平均值之间的差值平方，将所有像素点的差值平方的平均值作为初始疑似裂纹线的形态评估值；根据各个初始疑似裂纹线的形态评估值，将最小形态评估值对应的初始疑似裂纹线确定为暗区域的疑似裂纹线。其中，位置导数的计算过程为现有技术，此处不再进行详细阐述。
作为示例，各个初始疑似裂纹线的形态评估值的计算公式可以为：
式中，为初始疑似裂纹线的形态评估值，n为初始疑似裂纹线上像素点的个数，i为初始疑似裂纹线上像素点的序号，/>为初始疑似裂纹线上第i个像素点的位置导数，/>为初始疑似裂纹线上所有像素点的位置导数的平均值。
在形态评估值的计算公式中，可以被用于表征当前像素点的位置导数与初始疑似裂纹线的位置导数均值之间的差异，该差异越大，表示当前像素点在初始疑似裂纹线上的变化趋势越明显，初始疑似裂纹线的曲线形状越复杂；对差异进行平方处理，可以有效放大该差异；计算初始疑似裂纹线上所有像素点的差值平方的平均值，是为了量化初始疑似裂纹线整体的形态复杂程度；形态评估值/>越大，说明初始疑似裂纹线越复杂，初始疑似裂纹线越不可能是疑似裂纹线。
至此，参考上述初始疑似裂纹线的形态评估值的计算过程，可以获得各个初始疑似裂纹线的形态评估值，可以将最小形态评估值对应的初始疑似裂纹线确定为暗区域的疑似裂纹线。
需要说明的是，疑似裂纹线的确定原因：初始疑似裂纹线均为长度较大的边缘线，包括：裂纹线、纹理裂纹相连的边缘线，纹理裂纹相连的边缘线的曲线形状相对复杂，变化趋势较大，因此，暗区域的疑似裂纹线可以为最小形态评估值对应的初始疑似裂纹线。当然，暗区域内也可能存在其他的疑似裂纹线，但为了提高疑似裂纹线为真实裂纹线的可能性，仅选取形态评估值最小的疑似裂纹线。
第二步，将疑似裂纹线上距离亮区域最近的像素点确定为目标裂纹拟合点。
在本实施例中，获得暗区域的疑似裂纹线后，由于焊接形变导致的裂纹线为完整别的边缘线，无法仅通过疑似裂纹线直接判断焊接变形的概率，此时需要通过暗区域的疑似裂纹线、亮区域的裂纹拟合点和暗区域的裂纹拟合点，拟合出完成的裂纹线，通过该裂纹线量化焊件焊接发生变形概率。为了连接亮区域和暗区域的裂纹线，需要将疑似裂纹线上距离亮区域最近的像素点确定为目标裂纹拟合点，以便于后续进行拟合连接。
第三步，根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点。
需要说明的是，由于焊件存在焊接纹路，可以通过亮区域的子暗区域得到裂纹线的部分点，即亮区域的各个选定裂纹拟合点。后续基于裂纹拟合点结合暗区域的疑似裂纹线特征，可以获得拟合裂纹线。
在本实施例中，亮区域的裂纹线或裂纹点通常在较暗部分是相对明显的，可以通过获取亮区域内焊接纹理暗部分后，在获得暗部分中的裂纹拟合点，焊接纹理暗部分即为亮区域的各个子暗区域，暗部分中的裂纹拟合点即为选定裂纹拟合点。亮区域的各个选定裂纹拟合点的确定步骤可以包括：
根据亮区域内每个像素点的灰度值，获得亮区域对应的二值图像，选取二值图像中像素值为0的区域作为初始子暗区域；对各个初始子暗区域进行形态学闭运算，获得各个子暗区域；将各个子暗区域内每个像素点映射到亮区域内，获得亮区域的各个子暗区域；对于亮区域的任意一个子暗区域，将子暗区域内灰度值最大的像素点确定为选定裂纹拟合点。
其中，二值图像的获取方法可以是最大类间方差法，最大类间方差法可以将亮区域分为两部分，一部分为像素值为0的区域，另外一部分为像素值为1的区域，暗区域的像素值较小，故选取二值图像中像素值为0的区域作为初始子暗区域；为了消除初始子暗区域的缺口，将裂纹或其他细小的亮部分包裹进初始子暗区域内，对各个初始子暗区域进行形态学闭运算；选取出各个初始子暗区域在原亮区域图像中的像素区域，确定为亮区域的各个子暗区域；由于裂纹像素点的灰度值大于暗区域的背景像素点的灰度值，将子暗区域内灰度值最大的像素点确定为选定裂纹拟合点，若子暗区域内存在多个灰度值最大的像素点，则选取最靠近暗区域疑似裂纹线的延长线及子暗区域质心的像素点作为对应子暗区域的选定裂纹拟合点，每个子暗区域均有其对应的选定裂纹拟合点。
需要说明的是，由于亮区域的裂纹线通过子暗区域时线条相对较为明显，而子暗区域相对与亮区域的其他部分较窄，在每个子暗区域内只均一个选定裂纹拟合点可以有效避免裂纹线受到噪声干扰，导致最终拟合结果存在一定程度的失真，也就是确定亮区域的各个选定裂纹拟合点，可以进一步提高后续获得的挖掘机行走架主体焊接变形检测结果的准确性。
至此，本实施例获得了暗区域的疑似裂纹拟合线、目标裂纹拟合点以及亮区域的各个选定裂纹拟合点。
S3，当每两个相邻的裂纹拟合点之间存在梯度变化像素点时，判定焊接面图像中存在疑似焊接形变裂纹；将各个裂纹拟合点和各个梯度变化像素点按照预设连接规则，不断遍历连接拟合，获得各个拟合裂纹线。
第一步，当每两个相邻的裂纹拟合点之间存在梯度变化像素点时，判定焊接面图像中存在疑似焊接形变裂纹。
需要说明的是，当出现焊接变形时，焊接面将出现裂纹线，该裂纹线出现的原因是焊接变形增加焊缝中的应力集中，也就是应力不均，导致焊缝或母材出现断裂或开裂，因此焊接变形对应的裂纹线的图像表现应为较细的、不断蜿蜒的、较亮的、完整的边缘线。
在本实施例中，由焊接形变造成的裂纹是不断蜿蜒和完整的边缘线，故焊接形变导致的裂纹的像素点在整个焊接面图像中均有分布，也就是两个相邻的裂纹拟合点之间应存在梯度变化的像素点。当每两个相邻的裂纹拟合点之间存在梯度变化像素点时，也就是两个相邻的裂纹拟合点之间至少存在一个梯度变化的像素点，可以判定当前的焊接面图像中存在疑似焊接形变裂纹。值得说明的是，这里的裂纹拟合点为选定裂纹拟合点或目标裂纹拟合点，也就是两个相邻的裂纹拟合点可以为两个相邻的选定裂纹拟合点，也可以为相邻的选定裂纹拟合点和目标裂纹拟合点。
为了降低计算误差的可能性，可以限定梯度变化像素点的出现范围，仅分析两个相邻的裂纹拟合点连线的预设范围内的梯度变化像素点。两个相邻的裂纹拟合点连线的预设范围可以为：使两个相邻的裂纹拟合点连线在暗区域的疑似裂纹线上滑动，可以获得裂纹拟合点连线与疑似裂纹线相交的两点；疑似裂纹线上像素点做过两点连线的垂足，筛选出疑似裂纹线上像素点与两点连线之间的最远垂线距离，最远垂线距离记为H；以两个相邻的裂纹拟合点连线为中心，垂线上的2H为预设范围。其中，垂线距离可以通过疑似裂纹线上像素点与其对应的垂足点的位置计算，计算过程为现有技术，此处不再进行详细阐述。
第二步，将各个裂纹拟合点和各个梯度变化像素点按照预设连接规则，不断遍历连接拟合，获得各个拟合裂纹线。
其中，预设连接规则可以为依次连接相邻的选定裂纹拟合点和梯度变化像素点、相邻的两个梯度变化像素点以及相邻的梯度变化像素点和目标裂纹拟合点；对于同一垂线上的梯度变化像素点，在每种连接方式中只有一个梯度变化像素点被连接，直至遍历完所有的连接方式。其中，相邻的选定裂纹拟合点和梯度变化像素点也可以是相邻的梯度变化像素点和选定裂纹拟合点。
例如，首个选定裂纹拟合点记为，目标裂纹拟合点记为/>，m为所有裂纹拟合点的个数，假设m为3，那么目标裂纹拟合点为/>；/>和/>之间存在一个选定裂纹拟合点和多个梯度变化像素点，/>和/>之间的选定裂纹拟合点记为/>，多个梯度变化像素点可以记为/>、/>、/>、/>、/>，其中，/>和/>为/>和/>之间的同一垂线上的梯度变化像素点，和/>也为/>和/>之间的同一垂线上的梯度变化像素点，而/>为/>和/>之间存在的梯度变化像素点；对/>、/>、/>、/>、/>、/>、/>、/>按照预设连接规则，不断遍历连接拟合，直至遍历完所有的连接方式，可以获得各个拟合裂纹线，其中，对连接线进行拟合的过程为现有技术，此处不再进行详细阐述；拟合裂纹线可以为{/>-/>-/>-/>-/>-/>}、{/>-/>-/>-/>-/>-/>}、{/>-/>-/>-/>-/>-/>}或{/>-/>-/>-/>-/>-/>}。
至此，本实施例获得了焊接面图像中的各个拟合裂纹线。
S4，根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，分析拟合裂纹线与疑似裂纹线之间的总体方向变化差异、曲折程度差异以及幅值变化差异，筛选出各个拟合裂纹线中的最优拟合裂纹线。
需要说明的是，对于焊缝中的裂纹线而言，造成其出现的原因在于焊接时焊板变形导致应力不均或操作不当，其不会在短时间内出现变化较大的力导致裂纹形态在短距离内发生较大变化，因此可以通过暗区域的疑似裂纹线展现的应力特征，来评估由亮区域的各个选定裂纹拟合点确定的拟合结果，并选取最优拟合结果，即筛选出各个拟合裂纹线中的最优拟合裂纹线。
第一步，根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标。
第一子步骤，对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定拟合裂纹线和疑似裂纹线对应的各个斜率。其中，斜率的计算过程为现有技术，此处不再进行详细阐述。
第二子步骤，计算拟合裂纹线对应的斜率均值与疑似裂纹线对应的斜率均值之间的差值绝对值，将两个斜率均值之间的差值绝对值确定为拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标。
作为示例，任意一个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标的计算公式可以为：
式中，为拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标，N为拟合裂纹线上像素点的个数，M为暗区域的疑似裂纹线上像素点的个数，j为像素点的序号，/>为拟合裂纹线上第j个像素点的横坐标，/>为拟合裂纹线上第j个像素点的纵坐标，/>为拟合裂纹线上第/>个像素点的横坐标，/>为拟合裂纹线上第/>个像素点的纵坐标，/>为拟合裂纹线上第/>个像素点的斜率，/>为暗区域的疑似裂纹线上第j个像素点的横坐标，/>为暗区域的疑似裂纹线上第j个像素点的纵坐标，/>为暗区域的疑似裂纹线上第/>个像素点的横坐标，/>为暗区域的疑似裂纹线上第个像素点的纵坐标，/>为暗区域的疑似裂纹线上第/>个像素点的斜率，为求绝对值函数。
在总体方向变化差异指标的计算公式中，可以被用于表征拟合裂纹线的平均斜率，/>可以被用于表征疑似裂纹线的平均斜率，总体方向变化差异指标/>可以用于对比拟合裂纹线与疑似裂纹线之间的曲线总体变化方向的差异程度，拟合效果好的拟合裂纹线应与疑似裂纹线存在较小的曲线总体变化方向差异。
第二步，根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标。
第一子步骤，对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，对拟合裂纹线和疑似裂纹线进行求导，确定拟合裂纹线和疑似裂纹线对应的极值点个数。其中，极值点的确定过程为现有技术，此处不再进行详细阐述。
第二子步骤，根据拟合裂纹线和疑似裂纹线对应的极值点个数确定极值点出现频率，将拟合裂纹线的极值点出现频率与疑似裂纹线的极值点出现频率之间的差值绝对值，确定为拟合裂纹线与疑似裂纹线之间的曲折程度差异指标。
作为示例，任意一个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标的计算公式可以为：
式中，为拟合裂纹线与疑似裂纹线之间的曲折程度差异指标，N为拟合裂纹线上像素点的个数，M为暗区域的疑似裂纹线上像素点的个数，/>为拟合裂纹线的导数，为拟合裂纹线对应的极值点个数，/>为拟合裂纹线的极值点出现频率，/>为疑似裂纹线导数，/>为疑似裂纹线对应的极值点个数，/>为疑似裂纹线的极值点出现频率，/>为求绝对值函数。
在曲折程度差异指标的计算公式中，极值点个数包括极大值点个数和极小值点个数，曲折程度差异指标可以表征拟合裂纹线与疑似裂纹线之间的曲折程度的差异，该曲折程度的差异越小，说明对应的拟合裂纹线的拟合效果越好，越有可能是最优拟合裂纹线。
第三步，根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的纵坐标，确定各个拟合裂纹线与疑似裂纹线之间的幅值变化差异指标。
第一子步骤，根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的纵坐标，确定各个拟合裂纹线和疑似裂纹线对应的纵坐标方差。其中，方差的计算过程为现有技术，此处处不再进行详细阐述。
第二子步骤，将各个拟合裂纹线对应的纵坐标方差与疑似裂纹线对应的纵坐标方差之间的差值绝对值，确定为对应的拟合裂纹线与疑似裂纹线之间的幅值变化差异指标。
作为示例，任意一个拟合裂纹线与疑似裂纹线之间的幅值变化差异指标的计算公式可以为：
/>
式中，为拟合裂纹线与疑似裂纹线之间的幅值变化差异指标，/>为拟合裂纹线对应的纵坐标方差，/>为疑似裂纹线对应的纵坐标方差，/>为求绝对值函数。
在幅值变化差异指标的计算公式中，和/>可以用于评估裂纹线的曲线总体幅值变化程度，幅值变化差异指标/>越小，说明对应的拟合裂纹线的拟合效果越好，越有可能是最优拟合裂纹线。
第四步，根据各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标、曲折程度差异指标以及幅值变化差异指标，确定各个拟合裂纹线中的最优拟合裂纹线。
第一子步骤，确定各个拟合裂纹线的拟合效果评价值。
对于任意一个拟合裂纹线，将总体方向变化差异指标、曲折程度差异指标以及幅值变化差异指标的和值确定为拟合裂纹线的拟合效果评价值。
需要说明的是，通过计算平均斜率的差异，可以从曲线整体变化方向的角度评估各个拟合裂纹线与疑似裂纹线之间的差异，即变化趋势的差异；但是在变化趋势相同的情况下，各个拟合裂纹线与疑似裂纹线之间仍有可能存在一定差异，再次通过分析各个拟合裂纹线与疑似裂纹线的极值点数量来评估两者之间的曲折变化差异程度；同样的，曲折变化类似的情况下，两者仍会受到幅值变化的影响，因此，最后再通过坐标差异程度评估变化幅值的差异；通过结合三个角度的分析，可以获得各个拟合裂纹线的拟合效果评价值。基于此，计算的拟合效果评价值的精准性和参考价值更高。
第二子步骤，将最小拟合效果评价值对应的拟合裂纹线确定为最优拟合裂纹线。
至此，本实施例获得了各个拟合裂纹线中的最优拟合裂纹线。
S5，根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率；根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测。
第一步，根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率。
需要说明的是，在获得最优拟合裂纹线后，可以根据最优拟合裂纹线的特征，量化当前待检测挖掘机行走架主体存在焊接变形的概率。焊缝裂纹线通常由焊接变形或焊接操作不当导致焊板两侧受拉力过大引起的，其中焊接变形是由应力不均导致的，裂纹线通常较蜿蜒；而焊接操作不当导致的裂纹线相对整齐。因此，可以通过裂纹线的弯曲程度，计算当前待检测挖掘机行走架主体存在焊接变形的概率，具体实现步骤可以包括：
第一子步骤，连接最优拟合裂纹线的首尾端点，获得对比线段；最优拟合裂纹线上的每个像素点作对比线段的垂线，获得每个像素点对应的垂足点。
第二子步骤，根据最优拟合裂纹线上的每个像素点的位置和垂足点的位置，计算最优拟合裂纹线上的每个像素点与其对应的垂足点之间的空间距离；将最优拟合裂纹线对应的所有空间距离的平均值，确定为最优拟合裂纹线的弯曲程度。
第三子步骤，对弯曲程度进行反比例的归一化处理，将1与反比例的归一化处理后的弯曲程度的差值，确定为当前待检测挖掘机行走架主体存在焊接变形的概率。
作为示例，当前待检测挖掘机行走架主体存在焊接变形的概率的计算公式可以为：
式中，P为当前待检测挖掘机行走架主体存在焊接变形的概率，e为自然常数，为最优拟合裂纹线上的第j个像素点的位置，/>为最优拟合裂纹线上的第j个像素点对应的垂足点的位置，/>为最优拟合裂纹线上像素点的个数，j为像素点的序号，/>为最优拟合裂纹线上的每个像素点与其对应的垂足点之间的空间距离，/>为最优拟合裂纹线的弯曲程度。
在存在焊接变形的概率的计算公式中，可以表征两点之间的空间距离；可以表征最优拟合裂纹线与对比线段的平均偏移量，平均偏移量越大，最优拟合裂纹线的弯曲程度越高；最优拟合裂纹线的弯曲程度与存在焊接变形的概率之间为正相关，弯曲程度越大，存在焊接变形的概率越大；为了量化存在焊接变形的概率，将弯曲程度通过指数函数进行放大处理，然后将其进行归一化处理。
第二步，根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测。
在本实施例中，存在焊接变形的概率阈值可以取经验值为0.35，实施者可以根据具体实际情况设置概率阈值。若当前待检测挖掘机行走架主体存在焊接变形的概率大于存在焊接变形的概率阈值0.35时，说明待检测挖掘机行走架主体在当前焊接过程中存在一定程度的焊接变形风险，可以判定当前待检测挖掘机行走架主体存在焊接形变，否则，判定当前待检测挖掘机行走架主体不存在焊接形变。
为了检测并标注挖掘机行走架主体焊接过程出现的焊接变形现象，本发明提供了一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，该方法通过对采集的行走架主体的焊接面灰度图像进行图像分析，计算当前存在焊接变形的概率，进而判断是否存在发生焊接变形风险，其有效提高了行走架主体焊接变形检测结果的准确性。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，包括以下步骤：
对获取的当前待检测挖掘机行走架主体的焊接面图像进行图像预处理，获得焊接面灰度图像中的亮区域和暗区域；
根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线；将疑似裂纹线上距离亮区域最近的像素点确定为目标裂纹拟合点；根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点；
当每两个相邻的裂纹拟合点之间存在梯度变化像素点时，判定焊接面图像中存在疑似焊接形变裂纹；将各个裂纹拟合点和各个梯度变化像素点按照预设连接规则，不断遍历连接拟合，获得各个拟合裂纹线；其中，所述两个相邻的裂纹拟合点为两个相邻的选定裂纹拟合点或相邻的选定裂纹拟合点和目标裂纹拟合点；
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，分析拟合裂纹线与疑似裂纹线之间的总体方向变化差异、曲折程度差异以及幅值变化差异，筛选出各个拟合裂纹线中的最优拟合裂纹线；
根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率；根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测；
所述对获取的当前待检测挖掘机行走架主体的焊接面图像进行图像预处理，获得焊接面灰度图像中的亮区域和暗区域，包括：
获取当前待检测挖掘机行走架主体的焊接面图像，对焊接面图像进行灰度化处理，获得焊接面灰度图像；对焊接面灰度图像进行滤波降噪处理，获得降噪处理后的焊接面灰度图像；
对降噪处理后的焊接面灰度图像进行阈值分割处理，获得二值图像；对二值图像进行先开后闭的形态学处理，获得形态学处理后的二值图像；将形态学处理后的二值图像中像素值为1的像素区域确定为初始亮区域，将二值图像中的像素值为0的像素区域确定为初始暗区域；
根据初始亮区域和初始暗区域内每个像素点在降噪处理后的焊接面灰度图像中的位置，确定焊接面灰度图像中每个像素点的亮暗属性，将相同亮暗属性的像素点组成区域，获得焊接面灰度图像中的亮区域和暗区域；
所述预设连接规则为：
依次连接相邻的选定裂纹拟合点和梯度变化像素点、相邻的两个梯度变化像素点以及相邻的梯度变化像素点和目标裂纹拟合点；对于同一垂线上的梯度变化像素点，在每种连接方式中只有一个梯度变化像素点被连接，直至遍历完所有的连接方式；
所述根据最优拟合裂纹线上每个像素点的位置分析最优拟合裂纹线的弯曲程度，确定当前待检测挖掘机行走架主体存在焊接变形的概率，包括：
连接最优拟合裂纹线的首尾端点，获得对比线段；最优拟合裂纹线上的每个像素点作对比线段的垂线，获得每个像素点对应的垂足点；
根据最优拟合裂纹线上的每个像素点的位置和垂足点的位置，计算最优拟合裂纹线上的每个像素点与其对应的垂足点之间的空间距离；将最优拟合裂纹线对应的所有空间距离的平均值，确定为最优拟合裂纹线的弯曲程度；
对弯曲程度进行反比例的归一化处理，将1与反比例的归一化处理后的弯曲程度的差值，确定为当前待检测挖掘机行走架主体存在焊接变形的概率。
2.根据权利要求1所述的基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据暗区域内各个边缘线的边缘像素点个数和每个边缘像素点的位置，确定暗区域的疑似裂纹线，包括：
对暗区域进行边缘检测，获得暗区域的各个边缘线，统计各个边缘线的边缘像素点个数；确定暗区域的水平长度和竖直长度，选取长度最小值作为疑似裂纹线的初步筛选阈值；将边缘像素点个数大于初步筛选阈值的边缘线确定为初始疑似裂纹线；
对于任意一个初始疑似裂纹线，根据初始疑似裂纹线上每个像素点的位置，计算每个像素点的位置导数；计算每个像素点的位置导数与所有像素点的位置导数的平均值之间的差值平方，将所有像素点的差值平方的平均值作为初始疑似裂纹线的形态评估值；
根据各个初始疑似裂纹线的形态评估值，将最小形态评估值对应的初始疑似裂纹线确定为暗区域的疑似裂纹线。
3.根据权利要求1所述的一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据亮区域内每个像素点的灰度值确定亮区域的各个选定裂纹拟合点，包括：
根据亮区域内每个像素点的灰度值，获得亮区域对应的二值图像，选取二值图像中像素值为0的区域作为初始子暗区域；对各个初始子暗区域进行形态学闭运算，获得各个子暗区域；将各个子暗区域内每个像素点映射到亮区域内，获得亮区域的各个子暗区域；对于亮区域的任意一个子暗区域，将子暗区域内灰度值最大的像素点确定为选定裂纹拟合点。
4.根据权利要求1所述的一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，分析拟合裂纹线与疑似裂纹线之间的总体方向变化差异、曲折程度差异以及幅值变化差异，筛选出各个拟合裂纹线中的最优拟合裂纹线，包括：
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标；根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标；
根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的纵坐标，确定各个拟合裂纹线和疑似裂纹线对应的纵坐标方差；将各个拟合裂纹线对应的纵坐标方差与疑似裂纹线对应的纵坐标方差之间的差值绝对值，确定为对应的拟合裂纹线与疑似裂纹线之间的幅值变化差异指标；
对于任意一个拟合裂纹线，将总体方向变化差异指标、曲折程度差异指标以及幅值变化差异指标的和值确定为拟合裂纹线的拟合效果评价值；将最小拟合效果评价值对应的拟合裂纹线确定为最优拟合裂纹线。
5.根据权利要求4所述的一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标，包括：
对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定拟合裂纹线和疑似裂纹线对应的各个斜率；
计算拟合裂纹线对应的斜率均值与疑似裂纹线对应的斜率均值之间的差值绝对值，将两个斜率均值之间的差值绝对值确定为拟合裂纹线与疑似裂纹线之间的总体方向变化差异指标。
6.根据权利要求4所述的一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据各个拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，确定各个拟合裂纹线与疑似裂纹线之间的曲折程度差异指标，包括：
对于任意一个拟合裂纹线，根据拟合裂纹线和暗区域的疑似裂纹线上每个像素点的位置，对拟合裂纹线和疑似裂纹线进行求导，确定拟合裂纹线和疑似裂纹线对应的极值点个数；
根据拟合裂纹线和疑似裂纹线对应的极值点个数确定极值点出现频率，将拟合裂纹线的极值点出现频率与疑似裂纹线的极值点出现频率之间的差值绝对值，确定为拟合裂纹线与疑似裂纹线之间的曲折程度差异指标。
7.根据权利要求1所述的一种基于计算机视觉的挖掘机行走架主体焊接变形检测方法，其特征在于，所述根据存在焊接变形的概率进行挖掘机行走架主体焊接变形检测，包括：
若当前待检测挖掘机行走架主体存在焊接变形的概率大于存在焊接变形的概率阈值，则判定当前待检测挖掘机行走架主体存在焊接形变，否则，判定当前待检测挖掘机行走架主体不存在焊接形变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311359478.9A CN117095004B (zh) | 2023-10-20 | 2023-10-20 | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311359478.9A CN117095004B (zh) | 2023-10-20 | 2023-10-20 | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095004A CN117095004A (zh) | 2023-11-21 |
| CN117095004B true CN117095004B (zh) | 2024-01-12 |
Family
ID=88773881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311359478.9A Active CN117095004B (zh) | 2023-10-20 | 2023-10-20 | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095004B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473350B (zh) * | 2023-12-28 | 2024-02-27 | 江苏高特高金属科技有限公司 | 基于数据处理的焊管焊接生产过程监测方法 |
| CN117522868B (zh) * | 2024-01-04 | 2024-03-29 | 江苏高特高金属科技有限公司 | 一种焊管生产质量视觉检测方法 |
| CN117830300B (zh) * | 2024-03-04 | 2024-05-14 | 新奥新能源工程技术有限公司 | 一种基于视觉的燃气管道外观质量检测方法 |
| CN117952980B (zh) * | 2024-03-27 | 2024-06-11 | 山东鲁玻玻璃科技有限公司 | 一种中硼硅玻璃管精切工艺视觉检测方法 |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011058940A (ja) * | 2009-09-09 | 2011-03-24 | Panasonic Electric Works Co Ltd | 外観検査装置、外観検査方法 |
| CN105046705A (zh) * | 2015-07-13 | 2015-11-11 | 浙江工业大学 | 一种基于模糊理论的裂纹边缘检测方法 |
| CN105574888A (zh) * | 2016-03-01 | 2016-05-11 | 浙江工业大学 | 基于灰度峰值的裂缝位置查找方法 |
| CN110246130A (zh) * | 2019-06-21 | 2019-09-17 | 中国民航大学 | 基于红外和可见光图像数据融合的机场道面裂缝检测方法 |
| CN113421261A (zh) * | 2021-08-23 | 2021-09-21 | 金成技术有限公司 | 一种基于图像处理的结构件生产过程缺陷检测方法 |
| CN113446932A (zh) * | 2021-05-18 | 2021-09-28 | 西北工业大学 | 非接触式裂纹测量方法及其系统 |
| CN113538433A (zh) * | 2021-09-17 | 2021-10-22 | 海门市创睿机械有限公司 | 基于人工智能的机械铸件缺陷检测方法及系统 |
| CN113888446A (zh) * | 2021-11-01 | 2022-01-04 | 金成技术股份有限公司 | 一种钣金结构件折弯线智能检测方法 |
| CN114723701A (zh) * | 2022-03-31 | 2022-07-08 | 南通博莹机械铸造有限公司 | 基于计算机视觉的齿轮缺陷检测方法和系统 |
| CN114755243A (zh) * | 2022-04-15 | 2022-07-15 | 翊腾电子科技（昆山）有限公司 | 一种基于机器视觉的fpc连接器表面裂纹检测方法 |
| CN114821158A (zh) * | 2022-03-31 | 2022-07-29 | 南通海扬食品有限公司 | 一种基于图像处理的干枣质量分类方法及系统 |
| CN114998350A (zh) * | 2022-08-04 | 2022-09-02 | 山东泗水泰和石材有限公司 | 基于图像处理的石材缺陷检测方法 |
| KR102467853B1 (ko) * | 2021-09-08 | 2022-11-16 | 경남도립거창대학산학협력단 | 컴퓨터 판독 가능한 기록매체에 저장되어 구조물의 크랙 측정 및 관리 방법을 수행하기 위한 컴퓨터 프로그램과 이를 이용하여 크랙 측정 및 관리용 시스템 |
| CN115457035A (zh) * | 2022-11-10 | 2022-12-09 | 山东鲁旺机械设备有限公司 | 基于机器视觉的建筑吊篮焊接质量检测方法 |
| US11580647B1 (en) * | 2021-12-24 | 2023-02-14 | Guangzhou University | Global and local binary pattern image crack segmentation method based on robot vision |
| CN115908411A (zh) * | 2023-01-06 | 2023-04-04 | 山东水利建设集团有限公司 | 基于视觉检测的混凝土养护质量分析方法 |
| CN116071387A (zh) * | 2023-03-06 | 2023-05-05 | 曲阜市巨力铁路轨道工程股份有限公司 | 基于机器视觉的枕轨生产质量检测方法 |
| CN116109644A (zh) * | 2023-04-14 | 2023-05-12 | 东莞市佳超五金科技有限公司 | 用于铜铝转接排的表面缺陷检测方法 |
| CN116258713A (zh) * | 2023-05-11 | 2023-06-13 | 青岛穗禾信达金属制品有限公司 | 一种金属柜焊接加工检测方法 |
| CN116309557A (zh) * | 2023-05-16 | 2023-06-23 | 山东聚宁机械有限公司 | 一种挖掘机履带板断裂检测方法 |
| CN116503397A (zh) * | 2023-06-26 | 2023-07-28 | 山东天通汽车科技股份有限公司 | 基于图像数据的车内传输带缺陷检测方法 |
| CN116645373A (zh) * | 2023-07-27 | 2023-08-25 | 济宁名居木业有限公司 | 一种木材表面缺陷识别方法 |
| CN116703907A (zh) * | 2023-08-04 | 2023-09-05 | 合肥亚明汽车部件有限公司 | 一种基于机器视觉的汽车铸件表面缺陷检测方法 |
| CN116823814A (zh) * | 2023-08-28 | 2023-09-29 | 山东巨鑫伟业电气设备有限公司 | 一种配电设备焊接生产缺陷检测系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016172827A1 (zh) * | 2015-04-27 | 2016-11-03 | 武汉武大卓越科技有限责任公司 | 一种逐步求精的路面裂缝检测方法 |
| WO2022038668A1 (ja) * | 2020-08-18 | 2022-02-24 | Ｐｒｉｍｅｔａｌｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｊａｐａｎ株式会社 | エッジ割れ検出装置及び圧延設備並びにエッジ割れ検出方法 |
| CN116823628A (zh) * | 2022-03-22 | 2023-09-29 | 佛吉亚歌乐电子(厦门)有限公司 | 一种图像处理方法和图像处理装置 |
-
2023
- 2023-10-20 CN CN202311359478.9A patent/CN117095004B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011058940A (ja) * | 2009-09-09 | 2011-03-24 | Panasonic Electric Works Co Ltd | 外観検査装置、外観検査方法 |
| CN105046705A (zh) * | 2015-07-13 | 2015-11-11 | 浙江工业大学 | 一种基于模糊理论的裂纹边缘检测方法 |
| CN105574888A (zh) * | 2016-03-01 | 2016-05-11 | 浙江工业大学 | 基于灰度峰值的裂缝位置查找方法 |
| CN110246130A (zh) * | 2019-06-21 | 2019-09-17 | 中国民航大学 | 基于红外和可见光图像数据融合的机场道面裂缝检测方法 |
| CN113446932A (zh) * | 2021-05-18 | 2021-09-28 | 西北工业大学 | 非接触式裂纹测量方法及其系统 |
| CN113421261A (zh) * | 2021-08-23 | 2021-09-21 | 金成技术有限公司 | 一种基于图像处理的结构件生产过程缺陷检测方法 |
| KR102467853B1 (ko) * | 2021-09-08 | 2022-11-16 | 경남도립거창대학산학협력단 | 컴퓨터 판독 가능한 기록매체에 저장되어 구조물의 크랙 측정 및 관리 방법을 수행하기 위한 컴퓨터 프로그램과 이를 이용하여 크랙 측정 및 관리용 시스템 |
| CN113538433A (zh) * | 2021-09-17 | 2021-10-22 | 海门市创睿机械有限公司 | 基于人工智能的机械铸件缺陷检测方法及系统 |
| CN113888446A (zh) * | 2021-11-01 | 2022-01-04 | 金成技术股份有限公司 | 一种钣金结构件折弯线智能检测方法 |
| US11580647B1 (en) * | 2021-12-24 | 2023-02-14 | Guangzhou University | Global and local binary pattern image crack segmentation method based on robot vision |
| CN114723701A (zh) * | 2022-03-31 | 2022-07-08 | 南通博莹机械铸造有限公司 | 基于计算机视觉的齿轮缺陷检测方法和系统 |
| CN114821158A (zh) * | 2022-03-31 | 2022-07-29 | 南通海扬食品有限公司 | 一种基于图像处理的干枣质量分类方法及系统 |
| CN114755243A (zh) * | 2022-04-15 | 2022-07-15 | 翊腾电子科技（昆山）有限公司 | 一种基于机器视觉的fpc连接器表面裂纹检测方法 |
| CN114998350A (zh) * | 2022-08-04 | 2022-09-02 | 山东泗水泰和石材有限公司 | 基于图像处理的石材缺陷检测方法 |
| CN115457035A (zh) * | 2022-11-10 | 2022-12-09 | 山东鲁旺机械设备有限公司 | 基于机器视觉的建筑吊篮焊接质量检测方法 |
| CN115908411A (zh) * | 2023-01-06 | 2023-04-04 | 山东水利建设集团有限公司 | 基于视觉检测的混凝土养护质量分析方法 |
| CN116071387A (zh) * | 2023-03-06 | 2023-05-05 | 曲阜市巨力铁路轨道工程股份有限公司 | 基于机器视觉的枕轨生产质量检测方法 |
| CN116109644A (zh) * | 2023-04-14 | 2023-05-12 | 东莞市佳超五金科技有限公司 | 用于铜铝转接排的表面缺陷检测方法 |
| CN116258713A (zh) * | 2023-05-11 | 2023-06-13 | 青岛穗禾信达金属制品有限公司 | 一种金属柜焊接加工检测方法 |
| CN116309557A (zh) * | 2023-05-16 | 2023-06-23 | 山东聚宁机械有限公司 | 一种挖掘机履带板断裂检测方法 |
| CN116503397A (zh) * | 2023-06-26 | 2023-07-28 | 山东天通汽车科技股份有限公司 | 基于图像数据的车内传输带缺陷检测方法 |
| CN116645373A (zh) * | 2023-07-27 | 2023-08-25 | 济宁名居木业有限公司 | 一种木材表面缺陷识别方法 |
| CN116703907A (zh) * | 2023-08-04 | 2023-09-05 | 合肥亚明汽车部件有限公司 | 一种基于机器视觉的汽车铸件表面缺陷检测方法 |
| CN116823814A (zh) * | 2023-08-28 | 2023-09-29 | 山东巨鑫伟业电气设备有限公司 | 一种配电设备焊接生产缺陷检测系统 |
Non-Patent Citations (4)
| Title |
|---|
| A learning-based crack defect detection and 3D localization framework for automated fluorescent magnetic particle inspection;Qiang Wu等;《Expert Systems With Applications》;全文 * |
| 不等厚激光拼焊板焊缝质量检测图像处理方法;许敏;赵明扬;邹媛媛;;焊接技术(第04期);全文 * |
| 基于Gauss线检测的雪糕棒浅劈裂缺陷识别;苑玮琦;朱蕊;;电子世界(第11期);全文 * |
| 轻金属焊接变形检测与控制技术研究进展;张建勋等;《焊接》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095004A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117095004B (zh) | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 | |
| CN116721106B (zh) | 一种基于图像处理的型材瑕疵视觉检测方法 | |
| CN114842017B (zh) | 一种hdmi线缆表面质量检测方法及系统 | |
| CN109682839B (zh) | 一种金属弧形工件表面缺陷在线检测方法 | |
| JP6027295B1 (ja) | 溶融めっき鋼板の表面欠陥検査装置および表面欠陥検査方法 | |
| CN115018853B (zh) | 基于图像处理的机械组件缺陷检测方法 | |
| CN116758083B (zh) | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 | |
| CN117351019B (zh) | 一种焊接缺陷检测方法 | |
| CN115205290B (zh) | 一种pcb板生产过程在线检测方法及系统 | |
| CN115797358B (zh) | 基于机器视觉的金属壳体自动化焊接缺陷检测方法 | |
| CN117197141B (zh) | 一种汽车零部件表面缺陷检测方法 | |
| CN114881915A (zh) | 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法 | |
| CN114972343A (zh) | 一种激光焊接产品生产异常检测方法 | |
| Mery | Crossing line profile: a new approach to detecting defects in aluminium die casting | |
| US20220011241A1 (en) | Surface-defect detecting method, surface-defect detecting apparatus, steel-material manufacturing method, steel-material quality management method, steel-material manufacturing facility, surface-defect determination model generating method, and surface-defect determination model | |
| CN116258713B (zh) | 一种金属柜焊接加工检测方法 | |
| CN113155839A (zh) | 一种基于机器视觉的钢板外表面缺陷在线检测方法 | |
| CN115239728A (zh) | 一种消防器材识别方法 | |
| CN115082429A (zh) | 一种基于图像处理的铝棒缺陷检测方法 | |
| CN115984272A (zh) | 基于计算机视觉的半挂车车桥缺陷识别方法 | |
| CN115330774A (zh) | 焊接图像熔池边缘检测方法 | |
| CN115018785A (zh) | 基于视觉振频识别的提升钢丝绳张力检测方法 | |
| CN116721096B (zh) | 基于人工智能的新能源线束质量在线检测方法 | |
| CN116630332B (zh) | 一种基于图像处理的pvc塑料管口缺陷检测方法 | |
| CN111815575B (zh) | 一种基于机器视觉的轴承钢珠零件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |