CN117893607A - 基于仿真结构光图像的焊缝识别方法及装置 - Google Patents
基于仿真结构光图像的焊缝识别方法及装置 Download PDFInfo
- Publication number
- CN117893607A CN117893607A CN202410086292.9A CN202410086292A CN117893607A CN 117893607 A CN117893607 A CN 117893607A CN 202410086292 A CN202410086292 A CN 202410086292A CN 117893607 A CN117893607 A CN 117893607A
- Authority
- CN
- China
- Prior art keywords
- points
- laser stripe
- point
- simulation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 238000003466 welding Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000000638 solvent extraction Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000000903 blocking effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000009928 pasteurization Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005192 partition Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于仿真结构光图像的焊缝识别方法及装置，方法为：获取焊缝图像并进行预处理得到预处理图像；设定等间距采集列坐标组并搜索灰度顶点作为激光条纹候选点；计算激光条纹候选点的宽度过滤超出设定范围的激光条纹候选点；使用仿真工作站对焊缝图像进行实时仿真得到仿真图像；在预处理图像上进行分块得到候选点分块；同时在仿真图像上进行分块得到仿真分块；衡量候选点分块和对应仿真分块的特征概率分布的相似程度选择实际激光条纹点；根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。本发明基于视觉仿真信息设计结构光焊缝定位方法，大大提高了抗干扰能力，适应性较强。
Description
技术领域
本发明属于结构光图像处理及焊缝识别的技术领域，具体涉及一种基于仿真结构光图像的焊缝识别方法及装置。
背景技术
目前随着智能制造的发展，非接触式的结构光视觉传感器在工业中应用越来越广泛，尤其是在物体扫描重建、焊接缺陷检测、焊缝跟踪等领域。采用线结构光方式的视觉传感器，满足激光三角法测量模型，是一种非接触、测量速度快、精度较高的测量方式；其通过投射激光线到被测物体表面，形成激光条纹，由于被测物体表面几何形状的不同，因而导致激光条纹图像也不同；然后通过对不同的激光条纹图像进行图像处理，提取出激光条纹的位置，再根据激光三角测量模型计算出激光条纹上点的空间位置，提取被测物体表面的结构信息。
现有针对结构光条纹图像的处理方法较多，处理环节一般包括图像预处理(滤波、平滑、增强等)、图像分割、边缘提取及特征提取；并且在每一个环节中，可采用的方法也多种多样，例如图像滤波方法可采用高斯滤波、Gabor滤波等，中心线提取可利用Canny边缘提取、灰度重心法等。但现有方法通常应用于反射干扰较弱的焊缝图像处理中，但在强反射干扰情况下，或者灰度分布形态与实际有效的漫射激光条纹相似的时候，这些方法容易失效，从而出现识别偏差。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于仿真结构光图像的焊缝识别方法及装置，针对存在图像干扰的情况，准确提取出有效激光条纹的中心线，提高结构光视觉传感器的适用范围。
为了达到上述目的，本发明一方面提供一种基于仿真结构光图像的焊缝识别方法，包括下述步骤：
获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
作为优选的技术方案，所述等间距采集列坐标组表示为：
cj＝L*j(j＝1,2…k)
其中，L为设定的采集距离，j为采集序号，k为最大采集数；
设等间距采集列坐标组的灰度分布为f(i)，i是行坐标，沿灰度分布f(i)的列方向对预处理图像进行灰度顶点搜索，满足下述条件的像素点即作为激光条纹候选点：
a：以像素点i为中心、设定宽度为w的窗口范围内，f(i)为极大值，且f(i)大于阈值T；
b：在窗口范围内，梯度为正或为零的像素点数量nl：/>
c：在窗口范围内，梯度为负或为零的像素点数量nr：/>
其中，η∈(0,1)是比例系数。
作为优选的技术方案，所述过滤超出设定范围的激光条纹候选点，具体为：
获取每个激光条纹候选点的宽度W(i)，公式为：
W(i)＝nl+nr
其中，nl为窗口范围内，梯度为正或为零的像素点数量；nr为/>窗口范围内，梯度为负或为零的像素点数量；
判断每个激光条纹候选点的宽度W(i)是否属于[Wmin,Wmax]，不属于则去除该激光条纹候选点；Wmin和Wmax计算公式为：
Wmin＝μ-3σ,Wmax＝μ+3σ
其中，μ为所有激光条纹候选点的平均宽度，σ为所有激光条纹候选点的宽度标准差，n为激光条纹候选点个数。
作为优选的技术方案，所述选择每一列中相似程度最大的激光条纹候选点作为实际激光条纹点，具体为：
分别计算候选点分块和对应仿真分块的特征概率分布；
基于特征概率分布，计算候选点分块和对应仿真分块之间的巴氏距离得到相似程度；
选择相似程度最大的候选点分块的中心作为实际激光条纹点。
作为优选的技术方案，所述特征概率分布的计算公式为：
其中，分别为仿真分块和对应候选点分块的概率密度函数，/>分别表示仿真分块和对应候选点分块在特征u的直方图下的各级概率特征，δ为克罗内克函数，b为分块中像素点在直方图的分组索引，m为特征u的直方图的分组数，xi为仿真分块中第i个像素点的坐标，x为仿真分块的中心位置，n代表候选点分块中像素点数量，则/>为候选点分块中第i个像素点的坐标，C为候选点分块的归一化系数，k为基于核密度估计的概率密度计算方法的核函数，nh为仿真分块中像素点数量，Ch为仿真分块的归一化系数；
所述巴氏距离的计算公式为：
其中，B(p,q)为列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的巴氏距离，u为特征，nu为特征数量，为候选点分块的特征概率分布，/>为对应仿真分块的特征概率分布。
作为优选的技术方案，所述利用最小二乘法和随机抽样一致性方法进行线段拟合，具体为：
随机选择两个实际激光条纹点A、B并连接成直线模型AB，定义ε为符合直线模型的阈值；
计算其他所有实际激光条纹点到直线模型AB的距离，距离小于等于ε的实际激光条纹点作为内点，大于ε的实际激光条纹点作为外点；
当所有实际激光条纹点计算完毕后，计算内点数目与实际激光条纹点总数的比值η，当η小于设定比例阈值η0计算完毕；将所有内点采用最小二乘法拟合得到直线模型AB的精确参数；
如果η大于设定比例阈值η0，则重新选择两个实际激光条纹点，并连接作为新的直线模型，重复上述操作。
作为优选的技术方案，所述焊缝接口类型包括连接型和非连接型；
当焊缝图像的焊缝接口类型为连接型时，则使用直线拟合求交法获取焊缝位置点，具体为：
从仿真图像中获取最靠近仿真焊缝点坐标(x0,y0)；
获取线段拟合结果中最靠近仿真焊缝点的两条激光拟合线段，分别表示为y＝k1x+b1和y＝k2x+b2，求解两条激光拟合线段的交点作为焊缝位置点；
当焊缝图像的焊缝接口类型为非连接型时，则先提取特征点再进一步计算出焊缝位置点，具体为：
获取最左及最右的实际激光条纹点坐标(x1,y1)和(x2,y2)作为搜索点；
计算搜索点的梯度方向再根据梯度方向旋转90度获得搜索方向/>
沿着搜索方向前进距离L获得测试点，若测试点邻接8个像素内的梯度方向与搜索点的梯度方向夹角都小于阈值σ，则该测试点作为搜索点继续搜索，否则为错误点，停止搜索并将错误点前一个搜索点为目标特征点；
取两个目标特征点的平均值作为焊缝位置点。
另一方面，本发明提供一种基于仿真结构光图像的焊缝识别系统，应用于上述的基于仿真结构光图像的焊缝识别方法，包括图像预处理模块、候选点搜索模块、候选点过滤模块、仿真模块、图像分块模块、相似计算模块及焊缝位置获取模块；
所述图像预处理模块用于获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
所述候选点搜索模块用于设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
所述候选点过滤模块用于计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
所述仿真模块用于使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
所述图像分块模块用于在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
所述相似计算模块用于基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
所述焊缝位置获取模块用于根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
本发明又一方面提供一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于仿真结构光图像的焊缝识别方法。
本发明还一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于仿真结构光图像的焊缝识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明基于视觉仿真信息，设计了去除干扰影响方法和焊缝定位方法，实现了焊缝的准确定位；本发明的焊缝识别过程中，针对强反射干扰导致的相似激光条纹生成问题，利用仿真图像信息进行排除干扰，获得实际激光条纹位置；总之，本发明的结构光焊缝定位方法，引入了视觉仿真给出的仿真激光条纹信息，大大提高了抗干扰能力，适应性较强，本发明方法扩展了结构光视觉传感器应用工作范围。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于仿真结构光图像的焊缝识别方法的流程图。
图2为本发明实施例中含激光条纹的焊缝图像。
图3为本发明实施例中预处理后的图像。
图4为本发明实施例中搜索激光条纹候选点的结果图。
图5为本发明实施例中仿真工作站和仿真图像。
图6为本发明实施例中相似程度比较结果图。
图7为本发明实施例中特征提取后得到的焊缝位置点图。
图8为本发明实施例中基于仿真结构光图像的焊缝识别系统的结构图。
图9为本发明实施例中一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
如图1所示，本实施例基于仿真结构光图像的焊缝识别方法，包括下述步骤：
S1、获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
S2、设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
S3、计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
S4、使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
S5、在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
S6、基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
S7、根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
获取焊缝图形时，由于被测物体的表面光滑程度高，使得激光投射到被测物体表面后或出现激光条纹反射的情况，导致焊缝图像中可以看到多条白色亮条纹，如图2所示。于是本申请进行预处理，使用大津阈值法OTSU根据类间差大小的自适应阈值将激光条纹和背景进行分离，通过形态学闭操作增强激光条纹连通性。处理后的图像如图3所示，有效地分离了图像背景和激光条纹。
进一步的，在激光条纹上通过设定的等间距采集列坐标组搜索候选点；其中，等间距采集列坐标组表示为：
cj＝L*j(j＝1,2…k)
其中，L为设定的采集距离，j为采集序号，k为最大采集数；
设等间距采集列坐标组的灰度分布为f(i)，i是行坐标，沿灰度分布f(i)的列方向对预处理图像进行灰度顶点搜索，满足下述条件的像素点即作为激光条纹候选点：
a：以i为中心的宽度为w的窗口范围内，f(i)为极大值，且f(i)大于阈值T；
b：在窗口范围内，梯度为正或为零的像素点数量nl：/>
c：在窗口范围内，梯度为负或为零的像素点数量nr：/>
其中，η∈(0,1)是比例系数。其中，a用于灰度值比较，要求像素点为窗口内的极大值且大于设定阈值；满足后进行梯度计算，判断窗口区域是否满足b、c条件，均满足则该像素点作为激光条纹候选点，搜索得到的激光条纹候选点如图4所示。
如图5所示，本实施例中使用仿真工作站来对焊缝图像进行实时仿真得到对应的仿真图像。仿真工作站的大致工作原理为：首先导入焊接机器人、变位机的模型及参数，焊接工具信息(包括焊枪和传感器)和焊接工件模型等信息；然后在搭载的仿真软件中通过TCP通信实时获取焊接机器人的实际位姿并在仿真空间中进行模拟，同时通过传感器采集工件的焊接过程数据，在仿真空间中进行仿真即可获取仿真图像。
进一步的，对搜索得到的激光条纹候选点进行过滤，去除干扰点，具体为：
获取每个激光条纹候选点的宽度W(i)，公式为：
W(i)＝nl+nr
其中，nl为窗口范围内，梯度为正或为零的像素点数量；nr为/>窗口范围内，梯度为负或为零的像素点数量；
判断每个激光条纹候选点的宽度W(i)是否属于[Wmin,Wmax]，不属于则去除该激光条纹候选点，即去除干扰点，Wmin和Wmax计算公式为：
Wmin＝μ-3σ,Wmax＝μ+3σ
其中，μ为所有激光条纹候选点的平均宽度，σ为所有激光条纹候选点的宽度标准差，n为激光条纹候选点个数。
进一步的，步骤S5获得仿真分块后，通过计算巴氏距离来选择实际激光条纹点，具体为：
首先，分别计算候选点分块和对应仿真分块的特征概率分布，计算公式为：
其中，分别为仿真分块和对应候选点分块的概率密度函数，/>分别表示仿真分块和对应候选点分块在特征u的直方图下的各级概率特征，δ为克罗内克函数，b为分块中像素点在直方图的分组索引(当输入为仿真分块时则为仿真分块中像素点在特征u的直方图下的分组索引；若为候选点分块则为候选点分块中像素点在特征u的直方图下的分组索引)，m为特征u的直方图的分组数，xi为仿真分块中第i个像素点的坐标，x为仿真分块的中心位置，n代表候选点分块中像素点数量，则/>为候选点分块中第i个像素点的坐标，C为候选点分块的归一化系数，k为基于核密度估计的概率密度计算方法的核函数，nh为仿真分块中像素点数量，Ch为仿真分块的归一化系数；
接着，基于特征概率分布，计算候选点分块和对应仿真分块之间的巴氏距离得到相似程度；其中，巴氏距离的计算公式为：
其中，B(p,q)为列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的巴氏距离，u为特征值，nu为特征数量，为候选点分块的特征概率分布，/>为对应仿真分块的特征概率分布。
最后，选择相似程度最大的候选点分块的中心，即巴氏距离最小的候选点分块的中心，作为实际激光条纹点，如图6所示。
进一步的，根据得到的实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，具体为：
随机选择两个实际激光条纹点A、B并连接成直线模型AB，定义ε为符合直线模型的阈值；
计算其他所有实际激光条纹点到直线模型AB的距离，距离小于等于ε的实际激光条纹点作为内点，大于ε的实际激光条纹点作为外点；
当所有实际激光条纹点计算完毕后，计算内点数目与实际激光条纹点总数的比值η，当η小于设定比例阈值η0计算完毕；将所有内点采用最小二乘法拟合得到直线模型AB的精确参数；
如果η大于设定比例阈值η0，则重新选择两个实际激光条纹点，并连接作为新的直线模型，重复上述操作。
在线段拟合后，根据焊缝接口类型得到焊缝位置点，由于焊缝接口类型包括连接型和非连接型，因此分情况进行；当焊缝图像的焊缝接口类型为连接型时，则使用直线拟合求交法获取焊缝位置点，具体为：
从仿真图像中获取最靠近仿真焊缝点坐标(x0,y0)；
获取线段拟合结果中最靠近仿真焊缝点的两条激光拟合线段，分别表示为y＝k1x+b1和y＝k2x+b2，求解两条激光拟合线段的交点作为焊缝位置点；如图7所示。
而当焊缝图像的焊缝接口类型为非连接型时，焊缝特征点往往为断口处的两个端点，则需先提取特征点再进一步计算出焊缝位置点，具体为：
获取最左及最右的实际激光条纹点坐标(x1,y1)和(x2,y2)作为搜索点；
计算搜索点的梯度方向再根据梯度方向旋转90度获得搜索方向/>
沿着搜索方向前进距离L获得测试点，若测试点邻接8个像素内的梯度方向与搜索点的梯度方向夹角都小于阈值σ，则该测试点作为搜索点继续搜索，否则为错误点，停止搜索并将错误点前一个搜索点为目标特征点；
取两个目标特征点的平均值作为焊缝位置点。
本实施例通过线段拟合后得到的焊缝位置点结果如图7所示。
综上，本发明利用了结构光视觉传感器给出的仿真激光条纹信息，实现了准确的焊缝定位，识别过程的抗干扰性大大提高，适应性较强，同时扩展了结构光视觉传感器的应用工作范围。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于仿真结构光图像的焊缝识别方法相同的思想，本发明还提供基于仿真结构光图像的焊缝识别系统，该系统可用于执行上述基于仿真结构光图像的焊缝识别方法。为了便于说明，基于仿真结构光图像的焊缝识别系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图8所示，本发明另一个实施例提供了一种基于仿真结构光图像的焊缝识别系统，包括图像预处理模块、候选点搜索模块、候选点过滤模块、仿真模块、图像分块模块、相似计算模块及焊缝位置获取模块；
其中，图像预处理模块用于获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
候选点搜索模块用于设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
候选点过滤模块用于计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
仿真模块用于使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
图像分块模块用于在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
相似计算模块用于基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
焊缝位置获取模块用于根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
需要说明的是，本发明的基于仿真结构光图像的焊缝识别系统与本发明的基于仿真结构光图像的焊缝识别方法一一对应，在上述基于仿真结构光图像的焊缝识别方法的实施例阐述的技术特征及其有益效果均适用于基于仿真结构光图像的焊缝识别系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于仿真结构光图像的焊缝识别系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于仿真结构光图像的焊缝识别系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
如图9所示，在一个实施例中，提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的计算机程序指令(如基于仿真结构光图像的焊缝识别程序)，计算机程序指令被至少一个处理器执行时，以使至少一个处理器能够执行上述的基于仿真结构光图像的焊缝识别方法，具体为：
获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于仿真结构光图像的焊缝识别方法，其特征在于，包括下述步骤：
获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
2.根据权利要求1所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述等间距采集列坐标组表示为：
cj＝L*j(j＝1,2…k)
其中，L为设定的采集距离，j为采集序号，k为最大采集数；
设等间距采集列坐标组的灰度分布为f(i)，i是行坐标，沿灰度分布f(i)的列方向对预处理图像进行灰度顶点搜索，满足下述条件的像素点即作为激光条纹候选点：
a：以像素点i为中心、设定宽度为w的窗口范围内，f(i)为极大值，且f(i)大于阈值T；
b：在窗口范围内，梯度为正或为零的像素点数量nl：/>
c：在窗口范围内，梯度为负或为零的像素点数量nr：/>
其中，η∈(0,1)是比例系数。
3.根据权利要求2所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述过滤超出设定范围的激光条纹候选点，具体为：
获取每个激光条纹候选点的宽度W(i)，公式为：
W(i)＝nl+nr
其中，nl为窗口范围内，梯度为正或为零的像素点数量；nr为/>窗口范围内，梯度为负或为零的像素点数量；
判断每个激光条纹候选点的宽度W(i)是否属于[Wmin,Wmax]，不属于则去除该激光条纹候选点；Wmin和Wmax计算公式为：
Wmin＝μ-3σ,Wmax＝μ+3σ
其中，μ为所有激光条纹候选点的平均宽度，σ为所有激光条纹候选点的宽度标准差，n为激光条纹候选点个数。
4.根据权利要求1所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述选择每一列中相似程度最大的激光条纹候选点作为实际激光条纹点，具体为：
分别计算候选点分块和对应仿真分块的特征概率分布；
基于特征概率分布，计算候选点分块和对应仿真分块之间的巴氏距离得到相似程度；
选择相似程度最大的候选点分块的中心作为实际激光条纹点。
5.根据权利要求4所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述特征概率分布的计算公式为：
其中，分别为仿真分块和对应候选点分块的概率密度函数，/>分别表示仿真分块和对应候选点分块在特征u的直方图下的各级概率特征，δ为克罗内克函数，b为分块中像素点在直方图的分组索引，m为特征u的直方图的分组数，xi为仿真分块中第i个像素点的坐标，x为仿真分块的中心位置，n代表候选点分块中像素点数量，则/>为候选点分块中第i个像素点的坐标，C为候选点分块的归一化系数，k为基于核密度估计的概率密度计算方法的核函数，nh为仿真分块中像素点数量，Ch为仿真分块的归一化系数；
所述巴氏距离的计算公式为：
其中，B(p,q)为列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的巴氏距离，u为特征，nu为特征数量，为候选点分块的特征概率分布，/>为对应仿真分块的特征概率分布。
6.根据权利要求1所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述利用最小二乘法和随机抽样一致性方法进行线段拟合，具体为：
随机选择两个实际激光条纹点A、B并连接成直线模型AB，定义ε为符合直线模型的阈值；
计算其他所有实际激光条纹点到直线模型AB的距离，距离小于等于ε的实际激光条纹点作为内点，大于ε的实际激光条纹点作为外点；
当所有实际激光条纹点计算完毕后，计算内点数目与实际激光条纹点总数的比值η，当η小于设定比例阈值η0计算完毕；将所有内点采用最小二乘法拟合得到直线模型AB的精确参数；
如果η大于设定比例阈值η0，则重新选择两个实际激光条纹点，并连接作为新的直线模型，重复上述操作。
7.根据权利要求1所述的基于仿真结构光图像的焊缝识别方法，其特征在于，所述焊缝接口类型包括连接型和非连接型；
当焊缝图像的焊缝接口类型为连接型时，则使用直线拟合求交法获取焊缝位置点，具体为：
从仿真图像中获取最靠近仿真焊缝点坐标(x0,y0)；
获取线段拟合结果中最靠近仿真焊缝点的两条激光拟合线段，分别表示为y＝k1x+b1和y＝k2x+b2，求解两条激光拟合线段的交点作为焊缝位置点；
当焊缝图像的焊缝接口类型为非连接型时，则先提取特征点再进一步计算出焊缝位置点，具体为：
获取最左及最右的实际激光条纹点坐标(x1,y1)和(x2,y2)作为搜索点；
计算搜索点的梯度方向再根据梯度方向旋转90度获得搜索方向/>
沿着搜索方向前进距离L获得测试点，若测试点邻接8个像素内的梯度方向与搜索点的梯度方向夹角都小于阈值σ，则该测试点作为搜索点继续搜索，否则为错误点，停止搜索并将错误点前一个搜索点为目标特征点；
取两个目标特征点的平均值作为焊缝位置点。
8.基于仿真结构光图像的焊缝识别系统，其特征在于，应用于权利要求1-7中任一项所述的基于仿真结构光图像的焊缝识别方法，包括图像预处理模块、候选点搜索模块、候选点过滤模块、仿真模块、图像分块模块、相似计算模块及焊缝位置获取模块；
所述图像预处理模块用于获取焊缝图像并使用大津阈值法和形态学闭操作进行预处理得到预处理图像；
所述候选点搜索模块用于设定等间距采集列坐标组，并沿其灰度分布的列方向对预处理图像搜索灰度顶点，作为激光条纹候选点；
所述候选点过滤模块用于计算激光条纹候选点的宽度，过滤超出设定范围的激光条纹候选点；
所述仿真模块用于使用仿真工作站对焊缝图像进行实时仿真，得到仿真图像；
所述图像分块模块用于在预处理图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到候选点分块；同时在仿真图像上以过滤后的激光条纹候选点为中心、设定宽度为边进行分块得到仿真分块；
所述相似计算模块用于基于巴氏距离衡量列坐标组中同一列的候选点分块和对应仿真分块的特征概率分布的相似程度，选择每一列中相似程度最大的候选点分块的中心作为实际激光条纹点；
所述焊缝位置获取模块用于根据实际激光条纹点，利用最小二乘法和随机抽样一致性方法进行线段拟合，根据焊缝接口类型得到焊缝位置点。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于仿真结构光图像的焊缝识别方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于仿真结构光图像的焊缝识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410086292.9A CN117893607A (zh) | 2024-01-22 | 2024-01-22 | 基于仿真结构光图像的焊缝识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410086292.9A CN117893607A (zh) | 2024-01-22 | 2024-01-22 | 基于仿真结构光图像的焊缝识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117893607A true CN117893607A (zh) | 2024-04-16 |
Family
ID=90650942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410086292.9A Pending CN117893607A (zh) | 2024-01-22 | 2024-01-22 | 基于仿真结构光图像的焊缝识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893607A (zh) |
-
2024
- 2024-01-22 CN CN202410086292.9A patent/CN117893607A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN104915963B (zh) | 一种用于plcc元件的检测与定位方法 | |
| CN107341802B (zh) | 一种基于曲率与灰度复合的角点亚像素定位方法 | |
| CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
| CN114821114B (zh) | 一种基于视觉系统的坡口切割机器人图像处理方法 | |
| CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
| CN111862037A (zh) | 基于机器视觉的精密孔类零件几何特征检测方法及系统 | |
| CN104851095B (zh) | 基于改进型形状上下文的工件图像稀疏立体匹配方法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN110097596A (zh) | 一种基于opencv的目标检测系统 | |
| CN105184770A (zh) | 一种用于球栅阵列引脚芯片的焊球定位及其参数识别方法 | |
| CN111401449A (zh) | 一种基于机器视觉的图像匹配方法 | |
| CN115482195A (zh) | 一种基于三维点云的列车部件变形检测方法 | |
| CN109724988A (zh) | 一种基于多模板匹配的pcb板缺陷定位方法 | |
| CN115937203A (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
| CN112884746A (zh) | 一种基于边缘形状匹配的字符缺陷智能检测算法 | |
| CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
| CN113393447B (zh) | 基于深度学习的针尖正位度检测方法及系统 | |
| CN113674218A (zh) | 焊缝特征点提取方法、装置、电子设备与存储介质 | |
| CN115937217B (zh) | 一种利用3d卷积和相关性算子来自动检测腐蚀坑的方法 | |
| CN115753791B (zh) | 基于机器视觉的缺陷检测方法、装置以及系统 | |
| CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
| CN116452826A (zh) | 基于机器视觉的遮挡情况下煤矸石轮廓估计方法 | |
| CN117893607A (zh) | 基于仿真结构光图像的焊缝识别方法及装置 | |
| CN109615603A (zh) | 一种基于任务驱动的视觉注意模型提取激光条纹的通用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |