CN116673597B - 用于双v复合型坡口的激光线图像特征提取系统及方法 - Google Patents
用于双v复合型坡口的激光线图像特征提取系统及方法 Download PDFInfo
- Publication number
- CN116673597B CN116673597B CN202310942704.XA CN202310942704A CN116673597B CN 116673597 B CN116673597 B CN 116673597B CN 202310942704 A CN202310942704 A CN 202310942704A CN 116673597 B CN116673597 B CN 116673597B
- Authority
- CN
- China
- Prior art keywords
- laser line
- segmentation
- segmentation map
- value
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 71
- 239000002131 composite material Substances 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000011218 segmentation Effects 0.000 claims abstract description 307
- 238000003466 welding Methods 0.000 claims abstract description 72
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 34
- 150000001875 compounds Chemical class 0.000 claims description 25
- 230000035772 mutation Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 239000011324 bead Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101100379081 Emericella variicolor andC gene Proteins 0.000 description 3
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/20—Bonding
- B23K26/21—Bonding by welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
- B23K26/03—Observing, e.g. monitoring, the workpiece
- B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/70—Auxiliary operations or equipment
- B23K26/702—Auxiliary equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Laser Beam Processing (AREA)
Abstract
本申请公开了一种用于双V复合型坡口的激光线图像特征提取系统及方法。其中，该系统包括视觉传感器和处理器，视觉传感器包括激光发射器组件和工业相机，激光发射器组件通过连接件与焊枪固定连接；工业相机通过连接件与焊枪固定连接；处理器用于获取视觉传感器采集的激光线图像，基于激光线的成像特征，将激光线图像分割为多个分割图；针对每条激光线段分别执行：采用与分割图对应的特征提取方式对分割图进行特征提取，得到激光线特征；按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征。根据本申请实施例，能够提高对坡口激光线进行特征提取的实时性和精确度。
Description
技术领域
本申请属于视觉检测技术领域，尤其涉及一种用于双V复合型坡口的激光线图像特征提取系统及方法。
背景技术
随着视觉检测技术的发展，将视觉检测与焊接机器人或自动化焊接装备相结合，从而实现智能化焊接，已经得到了广泛的应用。
目前，在对开设焊接坡口的管道对接接头进行焊接的过程中，通常采用固定连接于焊枪上的线激光结构光视觉传感器对焊枪相对于焊接坡口的位姿进行实时检测与调整。线激光结构光视觉传感器将线激光照射在待焊接管道的焊接坡口上，基于对激光线图像进行特征提取的结果，实现对焊枪相对于焊接坡口的位姿进行实时检测。然而，由于双V复合型坡口激光线图像中不同区域的激光线成像特征的情况不同，仅采用单一方式进行特征提取会导致激光线图像特征提取结果不准确，从而无法根据激光线的特征提取结果对焊枪的位姿进行精准检测。
发明内容
本申请实施例提供一种用于双V复合型坡口的激光线图像特征提取系统及方法，能够提高对坡口激光线图像进行特征提取的精确度。
第一方面，本申请实施例提供一种用于双V复合型坡口的激光线图像特征提取系统，包括视觉传感器和处理器，视觉传感器包括激光发射器组件和工业相机，其中：
激光发射器组件通过连接件与焊枪固定连接，用于向待焊接工件的双V复合型坡口面及其邻域工件表面区域投射激光线；其中，双V复合型坡口包括相互连接的底壁和侧壁，侧壁由开口向底壁延伸并朝向双V复合型坡口的内腔倾斜，底壁由侧壁至内腔方向延伸并背离双V复合型坡口的开口倾斜；
业相机通过连接件与焊枪固定连接，用于在焊接过程中拍摄待焊接工件上双V复合型坡口区域面及其邻域工件表面的激光线，以得到激光线图像；
处理器，用于获取视觉传感器采集的激光线图像，基于激光线图像中激光线的成像特征，将激光线图像分割为多个包括至少一条激光线段的分割图；针对每个分割图中的每条激光线段，分别执行：采用与分割图对应的特征提取方式对分割图进行特征提取，得到激光线段的激光线特征；按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征；
处理器，具体包括：
求和模块，用于分别对激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值；
第一确定模块，用于确定多个列像素灰度和值中的最大值以及最大值对应的最大值列数W；
第二确定模块，用于根据最大值列数W确定满足预设条件的像素列数，得到激光线图像中的第一分割图的区域坐标值；
第三确定模块，用于基于第一分割图的区域坐标值以及侧壁和底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
第一分割模块，用于基于第一分割图、第二分割图和第三分割图各自的区域坐标值，对激光线图像进行区域分割，得到多个分割图；
第三确定模块具体包括：
求和子模块，用于分别对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
第一确定子模块，用于在多个第二灰度和值中确定第一突变值和第二突变值，以及第一突变值和第二突变值各自对应的像素坐标值；
第二确定子模块，用于基于第一突变值和第二突变值各自对应的像素坐标值、侧壁的尺寸和底壁的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
第三确定模块还包括：
第三确定子模块，用于根据侧壁的尺寸和底壁的尺寸，确定侧壁的纵向坡度值和侧壁在靠近底壁一端的镜像距离；
第一计算子模块，用于基于第一突变值和第二突变值各自对应的像素坐标值、纵向坡度值和侧壁在靠近底壁一端的镜像距离，计算第二分割图和第三分割图各自的区域坐标值。
在一些实施例中，第二确定模块，具体包括：
第四确定子模块，用于将与最大值列数W相邻的预设K列区域确定为激光线图像中的第一分割图；其中，最大值列数W为大于0的整数，K为大于0的整数；
处理器，还包括：
第二分割模块，用于基于每个分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式进行分割处理，得到每个分割图各自的激光线段；
提取模块，用于采用灰度重心法分别提取每个激光线段各自的中心光条图像；
拟合模块，用于基于每个激光线段中激光线各自的成像特征，分别对每个中心光条图像按照各自对应的方式拟合各自的像素点坐标，得到用于指示每个中心光条图像各自的像素点横坐标与像素点纵坐标的对应关系的拟合方程；
第四确定模块，用于根据每个中心光条图像的拟合方程，得到每个激光线段的激光线特征。
在一些实施例中，多个分割图包括侧壁区域分割图、坡口底部区域分割图和坡口邻域区域分割图；
第二分割模块，具体包括：
第一分割子模块，用于响应于分割图为侧壁区域分割图，采用自适应阈值法对分割图进行分割处理，得到分割图的激光线段；
第二分割子模块，用于响应于分割图为坡口底部区域分割图或者坡口邻域区域分割图，采用大津法对分割图进行分割处理，得到分割图的激光线段。
在一些实施例中，第二分割子模块具体用于：
采用大津法计算分割图中的目标激光线灰度值与除目标激光线以外的其他区域灰度值之间的最大类间方差值，得到全局阈值；
通过以下公式（1）对分割图中像素点进行二值化处理：
（1）
其中，Roi1（x，y）为分割图中像素点的灰度值，Roi1_seg为二值化处理后的像素点灰度值，x为像素横坐标，y为像素纵坐标，T thre为全局阈值；
根据二值化处理后的像素点对应的坐标值对分割图进行分割处理。
在一些实施例中，提取模块，具体包括：
提取子模块，用于针对每个激光线段，通过以下公式（2）分别计算中心光条的每个像素点的横坐标：
（2）
其中，x为中心光条像素点的横坐标，i为激光线段中像素点的纵坐标，j为激光线段中像素点的横坐标，g(i, j)为光条像素点的灰度值，N为激光线段的起始行，M为激光线段的终止行；
第五确定子模块，用于根据中心光条的每个像素点的横坐标，得到中心光条图像。
在一些实施例中，多个分割图包括侧壁区域分割图、坡口底部区域分割图、坡口邻域区域分割图，坡口底部区域分割图为底壁区域分割图；拟合方程为拟合直线方程；
拟合模块，具体包括：
拟合子模块，用于采用霍夫直线检测算法对中心光条图像中的中心光条进行拟合处理，得到拟合直线方程的参数ρ ver和θ ver；其中，ρ ver为中心光条像素点直线的距离参数平均值，θ ver为中心光条像素点直线的角度参数平均值；
第二计算子模块，用于根据拟合直线方程的参数ρ ver和θ ver，得到以下拟合直线方程（3）：
ρ ver =xcosθ ver+ysinθ ver （3）
其中，x为像素点横坐标，y为像素点纵坐标。
在一些实施例中，第四确定模块，具体包括：
第六确定子模块，用于根据ρ ver，确定第一垂线L a 的第一垂线方程为x=ρ ver；
第七确定子模块，用于分别确定拟合直线方程中每个像素点到第一垂线L a 的距离D；
第一去除子模块，用于响应于距离D大于第一预设阈值，将距离D对应的像素点去除，得到中心光条图像的激光线特征。
在一些实施例中，第七确定子模块，具体用于：
根据θ ver取值确定拟合直线方程是否为垂线；
响应于拟合直线方程为垂线，通过以下公式（4）计算中心光条图像中每个像素点到第一垂线L a 的水平距离：
D=|x-ρ ver| （4）
其中，D为每个像素点到第一垂线L a 的距离，x为像素点横坐标；
响应于拟合直线方程为非垂线，通过以下公式（5）计算拟合直线方程中每个像素点到第一垂线L a 的水平距离：
（5）
其中，A ver=cosθ ver，B ver=sinθ ver，C ver=-ρ ver，A ver、B ver和C ver均为L a 在直角坐标系下的方程参数，y为像素点纵坐标。
在一些实施例中，分割图包括坡口底部区域分割图；坡口底部区域分割图为焊道区域分割图；拟合方程为拟合曲线方程；
第四确定模块，具体包括：
第八确定子模块，用于将拟合曲线方程确定为第一目标方程；
第九确定子模块，用于分别确定中心光条图像中每个像素点与第一目标方程之间的水平距离；
第二去除子模块，用于响应于水平距离大于第二预设阈值，将水平距离对应的像素点去除，得到激光线段的激光线特征。
在一些实施例中，处理器，还包括：
处理模块，用于分别对每个激光线段进行形态学闭运算处理。
在一些实施例中，处理器，还包括：
第一计算模块，用于根据每个中心光条图像的拟合方程，计算多个拟合方程之间的交点坐标；
剔除模块，用于剔除交点坐标对应的像素点以及距离像素点预设距离范围内的目标像素点。
在一些实施例中，处理器，还包括：
映射模块，用于通过预设检测模型将激光线图像的激光线特征映射到相机坐标系中，得到整体激光线的三维点云数据；
第二计算模块，用于基于三维点云数据以及焊枪在相机坐标系中的位姿，计算焊枪相对于焊接坡口的位姿参数。
第二方面，本申请实施例提供一种用于双V复合型坡口的激光线图像特征提取方法，双V复合型坡口包括相互连接的底壁和侧壁，该方法包括：
获取视觉传感器采集的激光线图像，基于激光线图像中激光线的成像特征，将激光线图像分割为多个包括至少一条激光线段的分割图；
针对每个分割图中的每条激光线段，分别执行：采用与分割图对应的特征提取方式对分割图进行特征提取，得到激光线段的激光线特征；
按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征；
基于激光线图像中激光线的成像特征，将激光线图像分割为多个包括至少一条激光线段的分割图，包括：
分别对激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值；
确定多个列像素灰度和值中的最大值以及最大值对应的最大值列数W；
根据最大值列数W确定满足预设条件的像素列数，得到激光线图像中的第一分割图的区域坐标值；
基于第一分割图的区域坐标值以及侧壁和底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
基于第一分割图、第二分割图和第三分割图各自的区域坐标值，对激光线图像进行区域分割，得到多个分割图；
基于第一分割图的区域坐标值以及侧壁和底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值，包括：
分别对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
在多个第二灰度和值中确定第一突变值和第二突变值，以及第一突变值和第二突变值各自对应的像素坐标值；
基于第一突变值和第二突变值各自对应的像素坐标值、侧壁的尺寸和底壁的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
基于第一突变值和第二突变值各自对应的像素坐标值、侧壁的尺寸和底壁的尺寸，确定第二分割图和第三分割图各自的区域坐标值，包括：
分别对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
在多个第二灰度和值中确定第一突变值和第二突变值，以及第一突变值和第二突变值各自对应的像素坐标值；
基于第一突变值和第二突变值各自对应的像素坐标值、侧壁的尺寸和底壁的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
基于第一突变值和第二突变值各自对应的像素坐标值、侧壁的尺寸和底壁的尺寸，确定第二分割图和第三分割图各自的区域坐标值，还包括：
根据侧壁的尺寸和底壁的尺寸，确定侧壁的纵向坡度值和侧壁在靠近底壁一端的镜像距离；
基于第一突变值和第二突变值各自对应的像素坐标值、纵向坡度值和侧壁在靠近底壁一端的镜像距离，计算第二分割图和第三分割图各自的区域坐标值。
本申请实施例的一种用于双V复合型坡口的激光线图像特征提取系统及方法，能够对基于待焊接管道预设范围内激光线在双V复合型坡口面及其邻域工件表面上的成像特征，对激光线图像中不同区域进行分割处理，得到多个子图像区域，由于不同区域的子图像激光线成像特征的情况不同，因此按照不同子图像区域中激光线各自的成像特征，分别对每个子图像区域按照各自对应的方式提取激光线特征，从而使得每个子图像区域中提取到的激光线特征都是准确的，将多个激光线特征进行融合处理，得到坡口的整体激光线特征，提高了对坡口激光线进行特征提取的精确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图；
图2是本申请实施例中提出的双V复合型坡口剖面示意图；
图3是本申请实施例中提出的视觉传感器的结构、安装位置以及工作场景示意图；
图4是本申请另一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图；
图5是本申请实施例中提出的侧壁区域、底壁区域和坡口邻域区域的激光线图像；
图6是本申请又一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图；
图7是本申请实施例中提出的侧壁区域、焊道区域和坡口邻域区域对应的激光线图像；
图8是本申请实施例中提出的侧壁区域、底壁区域和坡口邻域区的激光线特征；
图9是本申请实施例中提出的侧壁区域、焊道区域和坡口邻域区域对应的激光线特征；
图10是本申请实施例提供的一种用于双V复合型坡口的激光线图像特征提取方法的流程示意图。
附图标记
100、用于双V复合型坡口的激光线图像特征提取系统；110、视觉传感器；111、激光发射器组件；112、工业相机；12、镜头； 2、焊枪；3、双V复合型坡口；31、侧壁；32、底壁；33、焊道；4、第一管道；5、第二管道；6、激光线；7、竖直激光线；8、变形激光线；9、坡口底部区域激光线段；10、侧壁区域激光特征线；15、底壁区域激光特征线；16、坡口邻域激光特征线；17、焊道区域激光特征线；120、处理器； 421、获取模块；422、求和模块；423、第一确定模块；424、第二确定模块；425、第三确定模块；426、第一分割模块；427、提取图像特征模块；428、融合模块；622、区域分割模块；623、第二分割模块；624、提取模块；625、拟合模块； 626、第四确定模块； 628、映射模块；629、第二计算模块。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在介绍本申请的具体实施方式之前，首先介绍描述本申请实施方式时用到的技术术语。
坡口：是指焊件的待焊部位加工并装配成的一定几何形状的沟槽。坡口是主要为了焊接工件，保证焊接效率和质量，普通情况下用机加工方法加工出的型面，要求不高时也可以气割。
随着视觉检测技术的发展，将视觉检测与焊接机器人或自动化焊接装备相结合，从而实现智能化焊接，已经得到了广泛的应用。
目前，通常采用双V复合型坡口对壁厚较大的管道进行焊接，在对双V复合型坡口进行焊接的过程中，通常采用固定连接于焊枪上的线激光结构光视觉传感器对焊枪相对于焊接坡口的位姿进行实时检测与调整。线激光结构光视觉传感器将线激光照射在待焊接管道的焊接坡口上，基于对激光线图像进行特征提取的结果，实现对焊枪相对于焊接坡口的位姿进行实时检测。
然而，由于双V复合型坡口的侧壁的纵向坡度很小，导致线激光结构光视觉传感器将线激光照射在坡口上后，照射在侧壁上的线激光的强度较低，从而导致侧壁的激光线图像成像灰度值较低，另外，在坡口底部可能存在镜面反射区域，镜面反射区域反射照射在其上的线激光，造成光线干扰，致使采集到的激光线图像中相应区域的清晰度较差，难以根据激光线图像准确提取激光线的特征信息。现有的激光线特征提取方式是对激光线图像直接进行激光线特征提取，然而由于激光线图像中不同位置的激光线成像特征的情况不同，采用单一的特征提取方式难以将每个位置的激光线特征信息都准确地提取出来，从而无法根据激光线的特征提取结果对焊枪的位姿进行精准检测。
基于上述问题，本申请提出一种用于双V复合型坡口的激光线图像特征提取系统及方法，能够对基于待焊接管道预设范围内激光线在双V复合型坡口面及其邻域工件表面上的成像特征，对激光线图像中不同区域进行分割处理，得到多个分割图，由于不同区域的子图像激光线成像特征的情况不同，因此按照不同分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式提取激光线特征，从而使得每个分割图中提取到的激光线特征都是准确的，将多个激光线特征进行融合处理，得到坡口的整体激光线特征，提高了对坡口激光线进行特征提取的精确度。
下面首先对本申请实施例所提供的用于双V复合型坡口的激光线图像特征提取系统进行介绍。
图1示出了本申请一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图。如图1所示，本申请实施例提供的用于双V复合型坡口的激光线图像特征提取系统100，包括视觉传感器110和处理器120，视觉传感器110包括激光发射器组件111和工业相机112，其中：
激光发射器组件111通过连接件与焊枪2固定连接，用于向待焊接工件的双V复合型坡口面及其邻域工件表面区域投射激光线6。
其中，如图2所示，在本申请实施例中，双V复合型坡口3是由第一管道4与第二管道5各自的端部相对设置形成的，双V复合型坡口3包括相互连接的底壁32和侧壁31，侧壁31由开口向底壁32延伸并朝向双V复合型坡口3的内腔倾斜，底壁32由侧壁31至内腔方向延伸并背离双V复合型坡口3的开口倾斜。
工业相机112通过连接件与焊枪2固定连接，用于在焊接过程中拍摄待焊接工件上双V复合型坡口3表面及其邻域工件表面区域的激光线6，以得到激光线图像。
作为一种可能的示例，如图3所示，将视觉传感器110固定连接于焊枪2上，焊接时采用视觉传感器110向双V复合型坡口3表面及其邻域工件表面投射激光线6，视觉传感器110中的工业相机112采集激光线图像。激光线可以是一条，也可以是多条。
在本申请的一些实施例中，视觉传感器110可以包括：工业相机112、镜头12、激光发射器组件111、镜头12和窄带滤光片。
在本申请的一些实施例中，工业相机112可以采用大恒公司的CMOS面阵相机MER2-503-23GM（分辨率为2448*2048）；镜头12安装于工业相机112靠近待焊接工件的一侧，可以选用Computar公司的M1228-MPW3（焦距为12mm，最小工作距离为100mm）；激光发射器组件111可以采用西安精英光电公司的EL650-200G18L（基于熔化极气体保护电弧焊在620-700nm波长范围内弧光强度较弱的特性，激光中心波长为650nm）；滤光装置，窄带滤光片安装于镜头12靠近待焊接工件的一侧，以有效滤除弧光干扰，保障激光的高比率透过。
作为一种可能实施方式的示例，视觉传感器110还包括激光发射器固定件和传感器外壳。视觉传感器110采用斜射-直接收的结构形式，安装时，激光发射器组件111固连于工业相机112的焊接前进方向侧，其中轴线及其激光投射平面皆平行，与相机光轴间的夹角值为30°，工业相机112的光心到激光发射器组件111投射的激光结构光平面的距离为55mm。
视觉传感器110通过连接件固连于焊枪2前进方向一侧，激光发射器组件111的中轴线与工业相机112的光轴和焊枪2的中轴线共面。同时，焊枪2的中轴线与工业相机112的光轴平行设置，两者之间的距离为90mm。
需要说明的是，上述预设范围可以是双V复合型坡口3以及双V复合型坡口3邻域的管道上的预设范围，激光线6被投射在上述预设范围内。
处理器120具体用于执行S1- S4：
S1：获取视觉传感器110采集的激光线图像。
S2：基于激光线6的成像特征，对激光线图像进行区域分割，得到多个分割图。
在本申请实施例中，每个分割图中包括至少一条激光线段。
在本申请一些实施例中，可以根据ROI（Region of Interest，感兴趣区域）来对激光线图像进行分割处理。其中，感兴趣区域可以是激光线6所在区域。
可以理解的是，由于受到双V复合型坡口3上存在斜面，激光线6投射在双V复合型坡口3上时，局部会产生变形，并且，由于侧壁31和底壁32的倾斜角度不同，照射在侧壁31和底壁32上的激光强度也不同，导致不同区域的激光线成像特征的情况不同。成像特征可以包括激光线的变形特征和激光线的灰度特征。
作为一种示例，基于激光线6的成像特征，将激光线图像进行区域分割，得到多个分割图，同一分割图中激光线成像特征相同。
S3：针对每个分割图中的每条激光线段，分别执行：采用与分割图对应的图像特征提取方式，提取激光线段的激光线特征。
需要说明的是，由于每个分割图中的激光线段形变特征不同，每个分割图中的激光线段的像素的灰度值情况也不同，因此可以采用适用于该成像特征的图像特征提取方式来对该分割图进行特征提取，以得到激光线段的激光线特征，从而能够从每个分割图中都提取到准确的激光线特征。
S4：按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征。
作为一种示例，按照多个分割图在激光线图像中的位置，确定多个分割图之间的位置关系，基于多个分割图之间的位置关系，将多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的完整激光线特征。
本申请实施例提供的上述用于双V复合型坡口的激光线图像特征提取系统，通过对基于待焊接管道预设范围内激光线在双V复合型坡口面及其邻域工件表面上的成像特征，对激光线图像中不同区域进行分割处理，得到多个分割图，由于不同区域的子图像激光线成像特征情况不同，因此按照不同分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式提取激光线特征，从而使得每个分割图中提取到的激光线特征都是准确的，将多个激光线特征进行融合处理，得到坡口的整体激光线特征，提高了对坡口激光线进行特征提取的精确度。
需要说明的是，在获取到激光线6投射到双V复合型坡口3预设范围内的激光线图像后，需要对激光线图像中的多个激光线段进行识别，基于识别结果对激光线图像进行区域分割。
由此，为进一步提高对激光线图像进行区域分割的准确性，提出另一种用于双V复合型坡口的激光线图像特征提取系统，请参见图4，是本申请另一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图。如图4所示，该用于双V复合型坡口的激光线图像特征提取系统100包括视觉传感器110和处理器120，视觉传感器110包括激光发射器组件111和工业相机112，其中：
激光发射器组件111通过连接件与焊枪2固定连接，用于向待焊接工件的双V复合型坡口3区域投射激光线6。
工业相机112通过连接件与焊枪2固定连接，用于在焊接过程中拍摄待焊接工件上双V复合型坡口3区域的激光线6，以得到激光线图像。
处理器120，具体包括：
获取模块421，用于获取激光线6投射到双V复合型坡口3预设范围内的激光线图像。
求和模块422，用于分别对激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值。
本实施例中获取模块421和求和模块422的具体实施方式与本申请实施例中的S1-S2相同，为了简要起见，在此不再详细描述，详细信息请参见本申请实施例中的描述。
在本申请实施例中，每个分割图中包括至少一条激光线段。
在本申请一些实施例中，在求和模块422之前，还可以对激光线图像进行高斯滤波处理，以抑制激光线图像中的干扰噪声。
作为一种示例，通过以下公式（6）分别对激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值：
（6）
其中，i为像素点所在列数，j为像素点所在行数，colsnum（i）为第i列的第一灰度和值，Filterimg为激光线图像二维矩阵，矩阵中的元素为图像在（j，i）位置处的灰度值。
第一确定模块423，用于确定多个列像素灰度和值中的最大值以及最大值对应最大值列数。
需要说明的是，如图5所示，一个激光线段覆盖了多行和多列像素，在本申请实施例中，由于坡口邻域表面平滑，因此设置在坡口邻域的激光线为竖直激光线7，激光线段的中心列的灰度值最高，激光线由中心列向两侧发散，灰度值逐步降低，而且，竖直激光线7相较于其他区域的激光线的长度也是最长的，变形激光线8相比于竖直激光线7列像素灰度和值较低。因此，可以根据多个列像素灰度和值中的最大值对应的像素列对竖直激光线7进行初步定位。
作为一种示例，获取多个列像素灰度和值中的最大值，将上述最大值确定为最大值，获取最大值对应的像素点所在列数，即激光线6所覆盖的列数。也就是说，根据多个列像素灰度和值，在激光线图像中找到灰度值最高的一列像素点，将该列像素点初步确定为激光线所覆盖的列数。
第二确定模块424，用于根据最大值列数确定满足预设条件的像素列数，得到激光线图像中的第一分割图的区域坐标值。
在本申请一些实施例中，在第二确定模块424中，将与最大值列数W相邻的预设K列区域确定为激光线图像中的第一分割图。
其中，在本申请实施例中，W为大于0的整数，K为大于0的整数。
可以理解的是，第一分割图为激光线图像中投射在坡口邻域上的竖直激光线区域，在确定最大值列数后，进一步确定竖直激光线7所覆盖的全部区域。上述K可以是根据实际的激光线宽度预先设定的列数。
作为一种示例，在最大值列数W的基础上，将W与K相加，得到W+K，将W与K相减，得到W-K，第W-K列至第W+K列即为激光线图像中的第一分割图。
第三确定模块425，用于基于第一分割图的区域坐标值以及侧壁31和底壁32各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值。
在本申请实施例中，基于第一分割图来确定第二分割图和第三分割图，相比于对整张激光线图像进行识别计算，提高了运算效率，节省了算力资源。
在本申请一些实施例中，第三确定模块425包括：
求和子模块，用于分别对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值。
作为一种示例，通过以下公式（7）对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值：
（7）
其中，i为像素的所在列数，j为像素的所在行数，rowsnum为行灰度值数组，rowsnum（j）为第j行的第一灰度和值，Roi1为提取出的第一分割图，矩阵中的元素为图像在（j，i）位置处的灰度值。
第一确定子模块，用于在多个第二灰度和值中确定第一突变值和第二突变值，及其各自对应像素坐标值。
如图5所示，在竖直激光线7上，存在一段变形激光线8，该变形激光线8所在位置即为双V复合型坡口3所对应的位置，因此，竖直激光线7的第二灰度和值在竖直激光线7与变形激光线8的交点出存在突变值。可以根据突变值确定第二分割图和第三分割图的大致位置。
作为一种示例，在多个第二灰度和值中确定第一突变值和第二突变值，根据第一突变值和第二突变值确定各自对应的像素点的坐标值。
可以理解，由于第一突变值和第二突变值均是第一分割图中整行像素灰度值的和值，因此根据第一突变值和第二突变值，可以确定其所对应的整行像素点各自的坐标值。
第二确定子模块，用于基于第一突变值和第二突变值各自对应的像素坐标值以及侧壁31和底壁32各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值。
在本申请一些实施例中，第二确定子模块，还包括：
第三确定子模块，用于根据侧壁31和底壁32各自的尺寸，确定侧壁31的纵向坡度值和侧壁31在靠近底壁32一端的镜像距离。
需要说明的是，侧壁31在靠近底壁32一端的镜像距离是指侧壁31靠近底壁32一侧的两端之间的距离。
第一计算子模块，用于基于第一突变值和第二突变值自对应的像素坐标值、纵向坡度值和底壁32截面宽度值，计算第二分割图和第三分割图的区域坐标值。
可以理解，由于双V复合型坡口3的尺寸是不变的，因此在确定了第一突变和第二突变值所对应的像素点坐标后，根据第一分割图、侧壁31对应的第二分割图以及底壁32对应的第三分割图的相对位置关系，即可确定第二分割图和第三分割图的区域坐标值。
作为一种示例，可以通过以下公式（8）和公式（9）计算第二分割图和第三分割图的第三分割图的起始行和第三分割图的起始列：
Start_row=row_up+colroi2*tanθver （8）
Start_col=col_peak-colroi2-colroi3 （9）
其中，Start_row为第三分割图的起始行，row_up为第一突变值对应像素点的列坐标，colroi2为侧壁31的列宽，θver为侧壁31的纵向坡度值；Start_col为第三分割图的起始列，col_peak为上述最大值列数，colroi3为侧壁31在靠近底壁32一端的镜像距离；获取第三分割图的预设宽度和预设长度，根据Start_row、Start_col、预设宽度和预设长度，确定第三分割图的区域坐标值。将第一分割图与第三分割图之间的区域确定为第二分割图，第二分割图的所在行数与第一分割图的所在行数相同。
第一分割模块426，用于基于第一分割图、第二分割图和第三分割图各自的区域坐标值，对激光线图像进行区域分割，得到多个分割图。
作为一种示例，按照第一分割图、第二分割图和第三分割图各自的区域坐标值对激光线图像进行分割，得到多个分割图。
提取图像特征模块427，用于针对每个分割图中的每条激光线段，分别执行：采用与分割图对应的图像特征提取方式，提取激光线段的激光线特征。
融合模块428，用于按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征。
本实施例中提取图像特征模块427和融合模块428与本申请实施例中的S3至S4相同，为了简要起见，在此不再详细描述，详细信息请参见本申请实施例中的描述。
以上为本实施例提供的用于双V复合型坡口的激光线图像特征提取系统，该系统通过激光线图像中的每列像素的第一灰度和值，确定多个第一灰度和值中的最大值，根据最大值对应的列数确定坡口邻域上的竖直激光线对应的第一分割图的区域坐标值，在第一分割图的基础上，根据侧壁和底壁各自的尺寸确定第二分割图和第三分割图的区域坐标值，以用于对激光线图像进行区域分割，得到多个分割图，以侧壁和底壁各自的实际尺寸作为依据，能够更加准确的确定第二分割图和第三分割图的区域坐标值，提高了区域分割的准确性；另外，基于第一分割图来确定第二分割图和第三分割图，相比于对整张激光线图像进行识别，提高了运算效率，节省了算力资源，提高了对坡口激光线进行特征提取的鲁棒性。
需要说明的是，由于每个分割图中的激光线段的形变程度不同，激光线段的灰度值情况也不同，因此可以采用与激光线段的成像特征相匹配的处理方式对不同分割图进行处理，以提高提取每个分割图各自的激光线特征的质量和效率。
由此，为进一步提高提取分割图的激光线特征的质量和效率，提出另一种用于双V复合型坡口的激光线图像特征提取系统，请参见图6，是本申请又一个实施例提供的用于双V复合型坡口的激光线图像特征提取系统的结构示意图。如图6所示，该用于双V复合型坡口的激光线图像特征提取系统100包括视觉传感器110和处理器120，视觉传感器110包括激光发射器组件111和工业相机112，其中：
激光发射器组件111通过连接件与焊枪2固定连接，用于向待焊接工件的双V复合型坡口3区域投射激光线6。
工业相机112通过连接件与焊枪2固定连接，用于在焊接过程中拍摄待焊接工件上双V复合型坡口3区域的激光线6，以得到激光线图像。
处理器120，具体包括：
获取模块421，用于获取激光线投射到双V复合型坡口3预设范围内的激光线图像。
区域分割模块622，用于基于激光线图像中激光线的成像特征，将激光线图像分割为多个包括至少一条激光线段的分割图。
本实施例中获取模块421和区域分割模块622的具体实施方式与本申请实施例中的S1-S2相同，为了简要起见，在此不再详细描述，详细信息请参见本申请实施例中的描述。
第二分割模块623，用于基于每个分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式进行分割处理，得到每个分割图各自的激光线段。
在本申请一些实施例中，多个分割图包括侧壁区域分割图、坡口底部区域分割图和坡口邻域区域分割图，第二分割模块623包括：
第一分割子模块，用于响应于分割图为侧壁区域分割图，采用自适应阈值法对分割图进行分割处理，得到分割图的激光线段。
可以理解，侧壁区域为上述激光线图像中侧壁31所对应的区域。由于第一破口的纵向坡度很小，因此激光照射在坡口上后，照射在上部坡口面上的线激光的强度较低，从而导致上部坡口面的激光线图像成像灰度值较低，且不均匀，因此可以采用自适应阈值法对于侧壁区域中的不同位置的灰度值自适应的更新局部阈值，再基于不同的位置的阈值对分割图进行分割，该方法是一种局部阈值分割方法，能够根据侧壁区域中的不同位置的像素点的灰度值自适应的进行计算，提高了对分割图进行分割的准确性。
第二分割子模块，用于响应于分割图为坡口底部区域分割图或者坡口邻域区域分割图，采用大津法对分割图进行分割处理，得到分割图的激光线段。
可以理解，坡口底部区域分割图的纵向坡度较大，坡口邻域区域分割图是没有坡度的，因此线激光投射在坡口底部区域分割图或者坡口邻域区域分割图上时，线激光的强度较高，激光线图像成像灰度值较高，因此能够更加容易的对分割图进行分割，在此情况下，采用大津法对分割图进行分割处理，能够在保证分割准确性的前提下提高分割效率。
在在本申请一些实施例中，第二分割子模块具体用于执行以下步骤：
b21：采用大津法计算分割图中的目标激光线灰度值与除目标激光线以外的其他区域灰度值之间的最大类间方差值，得到全局阈值。
作为一种示例，采用大津法计算分割图中的目标激光线灰度值与除目标激光线以外的其他区域灰度值之间的类间方差值，在多个类间方差值中确定最大类间方差值，最大类间方差值所对应的灰度值即为全局阈值。
b22：通过以下公式（1）对分割图中像素点进行二值化处理：
（1）
其中，Roi1（x，y）为分割图中像素点灰度值，Roi1_seg为二值化处理后的像素点灰度值，x为像素横坐标，y为像素纵坐标，T thre为全局阈值。
b23：根据二值化处理后的像素点对应的坐标值对分割图进行分割处理。
作为一种示例，根据二值化处理后的像素点各自的灰度值，按照像素点对应的坐标值对分割图进行分割处理。
提取模块624，用于采用灰度重心法分别提取每个激光线段各自的中心光条图像。
在本申请一些实施例中，提取模块624包括：
提取子模块，用于针对每个激光线段，通过以下公式（2）分别计算中心光条的每个像素点的横坐标：
（2）
其中，x为中心光条像素点的横坐标，i为激光线段中像素点的纵坐标，j激光线段中像素点的横坐标，g(i, j)为光条像素点的灰度值，N为激光线段的起始行，M为激光线段的终止行。
第五确定子模块，用于根据中心光条的每个像素点的横坐标，得到中心光条图像。
在本申请一些实施例中，在提取模块624之前，系统还可以包括：
处理模块，用于分别对每个激光线段进行形态学闭运算处理。
作为一种示例，分别对每个激光线段进行形态学闭运算处理，能够去除目标激光线图像中的噪点，并对目标激光线图像中的小孔进行填充、图像中的裂缝进行弥合，从而提高了激光线段的清晰度，进而能够提高提取每个激光线段各自的中心光条图像的精确度。
拟合模块625，用于基于每个激光线段中激光线各自的成像特征，分别对每个中心光条图像按照各自对应的方式拟合各自的像素点坐标，得到用于指示每个中心光条图像各自的像素点横坐标与像素点纵坐标的对应关系的拟合方程。
第四确定模块626，用于根据每个中心光条图像的拟合方程，得到每个激光线段的激光线特征。
在本申请一些实施例中，多个分割图包括侧壁区域分割图、坡口底部区域分割图、坡口底部区域分割图，坡口底部区域分割图为底壁区域，拟合模块625包括：
拟合子模块，用于采用霍夫直线检测算法对中心光条图像中的中心光条进行拟合处理，得到拟合直线方程的参数ρ ver和θ ver。
其中，在本申请实施例中，ρ ver为中心光条像素点直线的距离参数平均值，θ ver为中心光条像素点形成的直线的角度参数平均值。
第二计算子模块，用于根据拟合直线方程的参数ρ ver和θ ver，得到以下拟合直线方程（3）：
ρ ver =xcosθ ver+ysinθ ver （3）
其中，x为像素点横坐标，y为像素点纵坐标。
需要说明的是，由于霍夫Hough直线检测算法会存在一定的误差，此时得到的拟合直线方程并不能准备代表真实的激光线特征，并且还存在一些不在竖直激光线7上的坡口线特征点和噪点。
由此，为进一步提高对激光线特征进行提取的精确性，在本申请一些实施例中，第四确定模块626包括：
第六确定子模块，用于根据ρ ver，确定第一垂线L a 的第一垂线方程为x=ρ ver。
第七确定子模块，用于分别确定拟合直线方程中每个像素点到第一垂线L a 的距离D。
在本申请一些实施例中，第七确定子模块具体用于执行一下步骤e21-e23：
e21：根据θ ver取值确定拟合直线方程是否为垂线。
作为一种示例，若θ ver为90°，则拟合直线方程为垂线，若θ ver不是90°，则拟合直线方程非垂线。
e22：响应于拟合直线方程为垂线，通过以下公式（4）计算中心光条图像中每个像素点到第一垂线L a 的距离：
D=|x-ρ ver| （4）
其中，D为每个像素点到第一垂线L a 的距离，x为像素点横坐标。
e23：响应于拟合直线方程为非垂线，通过以下公式（5）计算拟合直线方程中每个像素点到第一垂线L a 的水平距离：
（5）
其中，A ver=cosθ ver，B ver=sinθ ver，C ver=-ρ ver，A ver、B ver和C ver均为L a 在直角坐标系下的方程参数，y为像素点纵坐标。
第一去除子模块，用于响应于距离D大于第一预设阈值，将距离D对应的像素点去除，得到中心光条图像的激光线特征。
作为一种示例，第一预设阈值为预先设定的距离值，若D大于第一预设阈值，说明D对应的像素点偏离第一垂线L a 过远，将该像素点去除，从而进一步提高对激光线特征进行提取的精确性。
在本申请另一些实施例中，第四确定模块626包括：
第八确定子模块，用于将拟合曲线方程确定为第一目标方程。
在本申请实施例中，分割图包括坡口底部区域分割图，坡口底部区域分割图为焊道区域分割图，拟合方程为拟合曲线方程。
可以理解，如图7所示，在对坡口进行焊接时，焊枪2需要在坡口内部逐层向上焊接，当完成第一层焊接之后，坡口底部就产生了一层焊道33，投射到焊道33上的变形激光线8的成像近似为二次曲线，坡口底部区域激光线段9的拟合方程为拟合曲线方程。
在本申请实施例中，采用随机采样一致Ransac算法对分割图对应的中心光条图像进行拟合处理，得到以下拟合二次曲线方程：
ax2+bx+c=y
其中，a、b和c均为系数，x为中心光条图像中像素点的横（列）坐标，y为中心光条图像中像素点的纵（行）坐标。
第九确定子模块，用于分别确定中心光条图像中每个像素点与第一目标方程之间的水平距离。
第二去除子模块，用于响应于水平距离大于第二预设阈值，将第一预设阈值对应的像素点去除，得到激光线段的激光线特征。
作为一种示例，响应于水平距离大于第二预设阈值，说明该像素点与第一目标方程的偏差过大，因此将该像素点去除，从而进一步提高对激光线特征进行提取的精确性。
在本申请另一些实施例中，可以根据每个中心光条图像的拟合方程，去除上述拟合方程对应的像素点以外的除弧光飞溅线、端部反光线等干扰线。
融合模块428，用于按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征。
可以理解，双V复合型坡口3在未被焊接之前，对激光线图像进行特征提取所得到的第一激光线特征如图8所示，其中包括侧壁区域激光特征线10、底壁区域激光特征线15和坡口邻域激光特征线16，双V复合型坡口3在被焊接一层之后，双V复合型坡口3产生了一条焊道33，此时对激光线图像进行特征提取所得到的第二激光线特征如图9所示，其中包括侧壁区域激光特征线10、焊道区域激光特征线17和坡口邻域激光特征线16。
本实施例中融合模块428与本申请实施例中的S4相同，为了简要起见，在此不再详细描述，详细信息请参见本申请实施例中的描述。
在本申请一些实施例中，在融合模块428之后，系统还可以包括：
第一计算模块，用于根据每个中心光条图像的拟合方程，计算多个拟合方程之间的交点坐标；
剔除模块，用于剔除交点坐标对应的像素点以及距离像素点预设距离范围内的目标像素点。
需要说明的是，在将多个分割图各自对应的激光线特征进行融合后，多个激光线特征的交点出存在交叉重合的点或者线段，因此需要对其进行剔除，从而进一步提高激光线图像的激光线特征的精度。剔除后的效果如图8、图9所示。
在本申请一些实施例中，在融合模块428之后，系统还可以包括：
映射模块628，用于通过预设检测模型将整体激光线特征映射到相机坐标系中，得到整体激光线的三维点云数据。
作为一种示例，可以通过视觉传感器110的检测模型，将变形激光线图像中的二维激光线分段数据映射到相机坐标系中，可以得到整体激光线的三维分段激光线点云数据。
上述检测模型为公式（10）、公式（11）和公式（12）：
X C=-(D j x i )/(A j x i+ B j y i +C j f) （10）
Y C=-(D j y i )/(A j x i+ B j y i +C j f) （11）
Z C=(-D j f)/(A j x i+ B j y i +C j f) （12）
其中，X C，Y C，Z C为激光线图像中的单像素激光线对应的相机坐标系下的三维数据点坐标；A j ，B j ，C j ，D j ，分别代表三维激光线像素点所在激光发射器投射的激光结构光平面的平面方程参数；x i ，y i 为激光线图像的激光线特征的坐标值。
第二计算模块629，用于基于三维点云数据以及焊枪2在相机坐标系中的位姿，计算焊枪2相对于焊接坡口的位姿参数。
作为一种示例，对激光线的三维分段点云数据分别进行平面拟合，重建获得双V复合型坡口3面及双V复合型坡口3面邻域工件表面的平面方程，根据平面方程以及焊枪2在相机坐标系中的位姿，计算得到焊接坡口尺寸参数和焊枪2相对于焊接坡口的位姿参数。
以上为本实施例提供的用于双V复合型坡口的激光线图像特征提取系统，该方法通过针对每个分割图中的每条激光线段，分别采用与分割图中每条激光线段的成像特征相匹配的图像特征提取方式，从而能够准确的提取每个及图像区域的单像素激光线特征，进而能够使根据每个及图像区域的单像素激光线特征得到激光线图像的激光线特征更加精确。
基于上述实施例提供的用于双V复合型坡口的激光线图像特征提取系统，结合附图10介绍本申请实施例提供的用于双V复合型坡口的激光线图像特征提取方法的具体实施方式。
参见图10，是本申请实施例提供的一种用于双V复合型坡口的激光线图像特征提取方法的流程示意图，该用于双V复合型坡口的激光线图像特征提取方法包括：
S1010，获取视觉传感器110采集的激光线图像；
S1020，基于激光线图像中激光线的成像特征，将激光线图像分割为多个包括至少一条激光线段的分割图；
S1030，针对每个分割图中的每条激光线段，分别执行：采用与分割图对应的特征提取方式对分割图进行特征提取，得到激光线段的激光线特征；
S1040，按照多个分割图之间的位置关系，对多个分割图各自对应的激光线特征进行融合处理，得到激光线图像的激光线特征。
本申请实施例提供的上述激光线用于双V复合型坡口的激光线图像特征提取方法，通过基于待焊接管道预设范围内激光线在双V复合型坡口面及其邻域工件表面上的成像特征，对激光线图像中不同区域进行分割处理，得到多个分割图，由于不同区域的子图像激光线成像特征情况不同，因此按照不同分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式提取激光线特征，从而使得每个分割图中提取到的激光线特征都是准确的，将多个激光线特征进行融合处理，得到坡口的整体激光线特征，提高了对坡口激光线进行特征提取的精确度。
作为本申请的一种实现方式，S1020包括：
S1021，分别对激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值；
S1022，确定多个列像素灰度和值中的最大值以及最大值对应最大值列数；
S1023，根据最大值列数确定满足预设条件的像素列数，得到激光线图像中的第一分割图的区域坐标值；
S1024，基于第一分割图的区域坐标值以及侧壁31和底壁32各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
S1025，基于第一分割图、第二分割图和第三分割图各自的区域坐标值，对激光线图像进行区域分割，得到多个分割图。
作为本申请的一种实现方式，S1024具体包括：
步骤a1：分别对第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
步骤a2：在多个第二灰度和值中确定第一突变值和第二突变值，及其各自对应像素坐标值；
步骤a3：基于第一突变值和第二突变值各自对应的像素坐标值以及侧壁31和底壁32各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值。
作为本申请的一种实现方式，步骤a3包括：
步骤a31，根据侧壁31和底壁32各自的尺寸，确定侧壁31的纵向坡度值和侧壁31在靠近底壁32一端的镜像距离；
步骤a32，基于第一突变值和第二突变值自对应的像素坐标值、纵向坡度值和底壁截面宽度值，计算第二分割图和第三分割图的区域坐标值。
作为本申请的一种实现方式，S1023具体包括：
将与最大值列数N相邻的预设M列区域确定为激光线图像中的第一分割图；其中，N为大于0的整数，M为大于0的整数。
作为本申请的一种实现方式，S1030具体包括：
S1031，基于每个分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式进行分割处理，得到每个分割图各自的激光线段；
S1032，采用灰度重心法分别提取每个激光线段各自的中心光条图像；
S1033，基于每个激光线段中激光线各自的成像特征，分别对每个中心光条图像按照各自对应的方式拟合各自的像素点坐标，得到用于指示每个中心光条图像各自的像素点横坐标与像素点纵坐标的对应关系的拟合方程；
S1034，根据每个中心光条图像的拟合方程，得到每个激光线段的激光线特征。
作为本申请的一种实现方式，多个分割图包括侧壁区域分割图、坡口底部区域分割图和坡口邻域区域分割图；S1031具体包括：
步骤b1：响应于分割图为侧壁区域分割图，采用自适应阈值法对分割图进行分割处理，得到分割图的激光线段；
步骤b2：响应于分割图为坡口底部区域分割图或者坡口邻域区域分割图，采用大津法对分割图进行分割处理，得到分割图的激光线段。
作为本申请的一种实现方式，步骤b2中采用大津法对分割图进行分割处理，得到分割图的激光线段，具体包括：
步骤b21：采用大津法计算分割图中的目标激光线灰度值与除目标激光线以外的其他区域灰度值之间的最大类间方差值，得到全局阈值；
步骤b22：通过以下公式（1）对分割图中像素点进行二值化处理：
其中，Roi1（x，y）为分割图中像素点灰度值，Roi1_seg为二值化处理后的像素点灰度值，x为像素横坐标，y为像素纵坐标，T thre为全局阈值；
步骤b23：根据二值化处理后的像素点对应的坐标值对分割图进行分割处理。
作为本申请的一种实现方式，S1032具体包括：
步骤c1，针对每个激光线段，通过以下公式（2）提取分别计算中心光条的每个像素点的横坐标：
（2）
其中，x为中心光条像素点的横坐标，i为激光线段中像素点的纵坐标，j激光线段中像素点的横坐标，g(i,j)为光条像素点的灰度值，N为激光线段的起始行，M为激光线段的终止行；
步骤c2，根据中心光条的每个像素点的横坐标，得到中心光条图像。
作为本申请的一种实现方式，多个分割图包括侧壁区域分割图、坡口底部区域分割图、坡口底部区域分割图，坡口底部区域分割图为底壁区域；S1031具体包括：
步骤d1，采用霍夫直线检测算法对中心光条图像中的中心光条进行拟合处理，得到拟合直线方程的参数ρ ver和θ ver；其中，ρ ver为中心光条像素点直线的距离参数平均值，θ ver为中心光条像素点直线的角度参数平均值；
步骤d2，根据拟合直线方程的参数ρ ver和θ ver，得到以下拟合直线方程（3）：
ρ ver =xcosθ ver+ysinθ ver （3）
其中，x为像素点横坐标，y为像素点纵坐标。
作为本申请的一种实现方式，S1034包括：
步骤e1，根据ρ ver，确定第一垂线La的第一垂线La方程为x=ρ ver；
步骤e2，分别确定拟合直线方程中每个像素点到第一垂线La的距离D；
步骤e3，响应于D大于第一预设阈值，将D对应的像素点去除，得到中心光条图像的激光线特征。
作为本申请的一种实现方式，步骤e2具体包括：
步骤e21，根据θ ver取值确定拟合直线方程是否为垂线；
步骤e22，响应于拟合直线方程为垂线，通过以下公式（4）计算中心光条图像中每个像素点到第一垂线La的距离：
D=|x-ρ ver| （4）
其中，D为每个像素点到第一垂线La的距离，x为像素点横坐标。
步骤e23，响应于拟合直线方程为非垂线，通过以下公式（5）计算拟合直线方程中每个像素点到第一垂线La的水平距离：
其中，A ver=cosθ ver，B ver=sinθ ver，C ver=-ρ ver，A ver、B ver和C ver均为La在直角坐标系下的方程参数，y为像素点纵坐标。
作为本申请的一种实现方式，分割图包括坡口底部区域分割图，坡口底部区域分割图为焊道区域分割图，拟合方程为拟合曲线方程；S1034具体包括：
步骤f1，将拟合曲线方程确定为第一目标方程；
步骤f2，分别确定中心光条图像中每个像素点与第一目标方程之间的水平距离；
步骤f3，响应于水平距离大于第二预设阈值，将第一预设阈值对应的像素点去除，得到激光线段的激光线特征。
作为本申请的一种实现方式，在S1031之后，方法还包括：
分别对每个激光线段进行形态学闭运算处理。
作为本申请的一种实现方式，在S1034之后，方法还包括：
S1035，根据每个中心光条图像的拟合方程，计算多个拟合方程之间的交点坐标；
S1036，剔除交点坐标对应的像素点以及距离像素点预设距离范围内的目标像素点。
作为本申请的一种实现方式，在S1040之后，方法还可以包括：
通过预设检测模型将整体激光线特征映射到相机坐标系中，得到整体激光线的三维点云数据；基于三维点云数据以及焊枪2在相机坐标系中的位姿，计算焊枪2相对于焊接坡口的位姿参数。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (7)
1.一种用于双V复合型坡口的激光线图像特征提取系统，其特征在于，包括视觉传感器和处理器，所述视觉传感器包括激光发射器组件和工业相机，其中：
所述激光发射器组件通过连接件与焊枪固定连接，用于向待焊接工件的双V复合型坡口面及其邻域工件表面区域投射激光线；其中，所述双V复合型坡口包括相互连接的底壁和侧壁，所述侧壁由开口向所述底壁延伸并朝向所述双V复合型坡口的内腔倾斜，所述底壁由所述侧壁至内腔方向延伸并背离所述双V复合型坡口的开口倾斜；
所述工业相机通过所述连接件与所述焊枪固定连接，用于在焊接过程中拍摄待焊接工件上双V复合型坡口面及其邻域工件表面区域的激光线，以得到激光线图像；
所述处理器，用于获取所述视觉传感器采集的所述激光线图像；基于所述激光线图像中激光线的成像特征，将所述激光线图像分割为多个包括至少一条激光线段的分割图；针对每个分割图中的每条激光线段，分别执行：采用与所述分割图对应的特征提取方式对所述分割图进行特征提取，得到所述激光线段的激光线特征；按照多个分割图之间的位置关系，对所述多个分割图各自对应的激光线特征进行融合处理，得到所述激光线图像的激光线特征；
所述处理器，具体包括：
求和模块，用于分别对所述激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值；
第一确定模块，用于确定多个列像素灰度和值中的最大值以及所述最大值对应的最大值列数W；
第二确定模块，用于根据所述最大值列数W确定满足预设条件的像素列数，得到所述激光线图像中的第一分割图的区域坐标值；
第三确定模块，用于基于所述第一分割图的区域坐标值以及所述侧壁和所述底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
第一分割模块，用于基于所述第一分割图、所述第二分割图和所述第三分割图各自的区域坐标值，对所述激光线图像进行区域分割，得到多个分割图；
所述第三确定模块具体包括：
求和子模块，用于分别对所述第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
第一确定子模块，用于在多个第二灰度和值中确定第一突变值和第二突变值，以及所述第一突变值和所述第二突变值各自对应的像素坐标值；
第二确定子模块，用于基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述侧壁的尺寸和所述底壁的尺寸，确定所述第二分割图和所述第三分割图各自的区域坐标值；
所述第三确定模块还包括：
第三确定子模块，用于根据所述侧壁的尺寸和所述底壁的尺寸，确定所述侧壁的纵向坡度值和所述侧壁在靠近所述底壁一端的镜像距离；
第一计算子模块，用于基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述纵向坡度值和所述侧壁在靠近底壁一端的镜像距离，计算所述第二分割图和所述第三分割图各自的区域坐标值。
2.根据权利要求1所述的用于双V复合型坡口的激光线图像特征提取系统，其特征在于，
所述第二确定模块，具体包括：
第四确定子模块，用于将与所述最大值列数W相邻的预设K列区域确定为所述激光线图像中的第一分割图；其中，所述最大值列数W为大于0的整数，K为大于0的整数。
3.根据权利要求1所述的用于双V复合型坡口的激光线图像特征提取系统，其特征在于，
所述处理器，还包括：
第二分割模块，用于基于每个分割图中激光线各自的成像特征，分别对每个分割图按照各自对应的方式进行分割处理，得到每个分割图各自的激光线段；
提取模块，用于采用灰度重心法分别提取每个激光线段各自的中心光条图像；
拟合模块，用于基于每个激光线段中激光线各自的成像特征，分别对每个中心光条图像按照各自对应的方式拟合各自的像素点坐标，得到用于指示每个中心光条图像各自的像素点横坐标与像素点纵坐标的对应关系的拟合方程；
第四确定模块，用于根据每个中心光条图像的拟合方程，得到每个激光线段的激光线特征。
4.根据权利要求3所述的用于双V复合型坡口的激光线图像特征提取系统，其特征在于，
所述多个分割图包括侧壁区域分割图、坡口底部区域分割图和坡口邻域区域分割图；
所述第二分割模块，具体包括：
第一分割子模块，用于响应于分割图为所述侧壁区域分割图，采用自适应阈值法对所述分割图进行分割处理，得到所述分割图的激光线段；
第二分割子模块，用于响应于所述分割图为所述坡口底部区域分割图或者所述坡口邻域区域分割图，采用大津法对所述分割图进行分割处理，得到所述分割图的激光线段。
5.根据权利要求3所述的用于双V复合型坡口的激光线图像特征提取系统，其特征在于，
所述多个分割图包括侧壁区域分割图、坡口底部区域分割图、坡口邻域区域分割图，所述坡口底部区域分割图为底壁区域分割图；所述拟合方程为拟合直线方程；
所述拟合模块，具体包括：
拟合子模块，用于采用霍夫直线检测算法对所述中心光条图像中的中心光条进行拟合处理，得到拟合直线方程的参数ρ ver和θ ver；其中，ρ ver为中心光条像素点直线的距离参数平均值，θ ver为中心光条像素点直线的角度参数平均值；
第二计算子模块，用于根据所述拟合直线方程的参数ρ ver和θ ver，得到以下拟合直线方程（3）：
ρ ver =xcosθ ver+ysinθ ver （3）
其中，x为像素点横坐标，y为像素点纵坐标。
6.根据权利要求3所述的用于双V复合型坡口的激光线图像特征提取系统，其特征在于，
所述分割图包括坡口底部区域分割图；所述坡口底部区域分割图为焊道区域分割图；所述拟合方程为拟合曲线方程；
所述第四确定模块，具体包括：
第八确定子模块，用于将所述拟合曲线方程确定为第一目标方程；
第九确定子模块，用于分别确定所述中心光条图像中每个像素点与所述第一目标方程之间的水平距离；
第二去除子模块，用于响应于所述水平距离大于第二预设阈值，将所述水平距离对应的像素点去除，得到所述激光线段的激光线特征。
7.一种用于双V复合型坡口的激光线图像特征提取方法，双V复合型坡口包括相互连接的底壁和侧壁，其特征在于，包括：
获取视觉传感器采集的激光线图像，基于所述激光线图像中激光线的成像特征，将所述激光线图像分割为多个包括至少一条激光线段的分割图；
针对每个分割图中的每条激光线段，分别执行：采用与所述分割图对应的特征提取方式对所述分割图进行特征提取，得到所述激光线段的激光线特征；
按照多个分割图之间的位置关系，对所述多个分割图各自对应的激光线特征进行融合处理，得到所述激光线图像的激光线特征
所述基于所述激光线图像中激光线的成像特征，将所述激光线图像分割为多个包括至少一条激光线段的分割图，包括：
分别对所述激光线图像中的每列像素进行灰度值求和，得到每列像素的第一灰度和值；
确定多个列像素灰度和值中的最大值以及所述最大值对应的最大值列数W；
根据所述最大值列数W确定满足预设条件的像素列数，得到所述激光线图像中的第一分割图的区域坐标值；
基于所述第一分割图的区域坐标值以及所述侧壁和所述底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值；
基于所述第一分割图、所述第二分割图和所述第三分割图各自的区域坐标值，对所述激光线图像进行区域分割，得到多个分割图；
所述基于所述第一分割图的区域坐标值以及所述侧壁和所述底壁各自的尺寸，确定第二分割图和第三分割图各自的区域坐标值，包括：
分别对所述第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
在多个第二灰度和值中确定第一突变值和第二突变值，以及所述第一突变值和所述第二突变值各自对应的像素坐标值；
基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述侧壁的尺寸和所述底壁的尺寸，确定所述第二分割图和所述第三分割图各自的区域坐标值；
所述基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述侧壁的尺寸和所述底壁的尺寸，确定所述第二分割图和所述第三分割图各自的区域坐标值，包括：
分别对所述第一分割图中的每行像素进行灰度值求和，得到每行像素的第二灰度和值；
在多个第二灰度和值中确定第一突变值和第二突变值，以及所述第一突变值和所述第二突变值各自对应的像素坐标值；
基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述侧壁的尺寸和所述底壁的尺寸，确定所述第二分割图和所述第三分割图各自的区域坐标值；
所述基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述侧壁的尺寸和所述底壁的尺寸，确定所述第二分割图和所述第三分割图各自的区域坐标值，还包括：
根据所述侧壁的尺寸和所述底壁的尺寸，确定所述侧壁的纵向坡度值和所述侧壁在靠近所述底壁一端的镜像距离；
基于所述第一突变值和所述第二突变值各自对应的像素坐标值、所述纵向坡度值和所述侧壁在靠近底壁一端的镜像距离，计算所述第二分割图和所述第三分割图各自的区域坐标值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942704.XA CN116673597B (zh) | 2023-07-28 | 2023-07-28 | 用于双v复合型坡口的激光线图像特征提取系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942704.XA CN116673597B (zh) | 2023-07-28 | 2023-07-28 | 用于双v复合型坡口的激光线图像特征提取系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116673597A CN116673597A (zh) | 2023-09-01 |
| CN116673597B true CN116673597B (zh) | 2023-10-13 |
Family
ID=87779501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310942704.XA Active CN116673597B (zh) | 2023-07-28 | 2023-07-28 | 用于双v复合型坡口的激光线图像特征提取系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116673597B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173072B (zh) * | 2023-11-03 | 2024-02-02 | 四川大学 | 一种基于深度学习的弱激光图像增强方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193340A (zh) * | 2011-06-17 | 2011-09-21 | 中国科学院光电技术研究所 | 一种投影光刻调焦的图像处理方法 |
| CN106825914A (zh) * | 2017-03-13 | 2017-06-13 | 湘潭大学 | 一种具有焊缝跟踪功能的一体化激光焊枪 |
| CN106952281A (zh) * | 2017-05-15 | 2017-07-14 | 上海交通大学 | 一种焊缝轮廓特征识别及其焊道实时规划的方法 |
| WO2019023993A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种智能终端的照片处理方法及处理装置 |
| CN111618396A (zh) * | 2020-07-05 | 2020-09-04 | 吉林大学 | 基于视觉表征的多层多道焊接装置及焊接方法 |
| CN112329887A (zh) * | 2020-11-26 | 2021-02-05 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| CN112509038A (zh) * | 2020-12-15 | 2021-03-16 | 华南理工大学 | 结合视觉仿真的自适应图像模板截取方法、系统及存储介质 |
| CN112756742A (zh) * | 2021-01-08 | 2021-05-07 | 南京理工大学 | 一种基于ERFNet网络的激光视觉焊缝跟踪系统 |
| CN112975222A (zh) * | 2021-03-04 | 2021-06-18 | 哈尔滨工业大学 | 基于多线结构光焊缝跟踪传感器的焊枪末端位姿识别方法 |
| CN113042863A (zh) * | 2021-03-31 | 2021-06-29 | 山东齐星铁塔有限公司 | 一种基于激光视觉传感器的焊缝实时跟踪方法 |
| CN113989379A (zh) * | 2021-10-02 | 2022-01-28 | 南京理工大学 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
| CN114529727A (zh) * | 2022-04-25 | 2022-05-24 | 武汉图科智能科技有限公司 | 一种基于LiDAR和图像融合的街道场景语义分割方法 |
| WO2023005943A1 (zh) * | 2021-07-28 | 2023-02-02 | 无锡海斯凯尔医学技术有限公司 | 光纤图像校正方法、装置和计算机可读存储介质 |
| GB2610996A (en) * | 2020-12-24 | 2023-03-22 | Boe Technology Group Co Ltd | Image display method and apparatus, and storage medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011104550B4 (de) * | 2011-06-17 | 2014-04-30 | Precitec Kg | Optische Messvorrichtung zur Überwachung einer Fügenaht, Fügekopf und Laserschweißkopf mit der selben |
-
2023
- 2023-07-28 CN CN202310942704.XA patent/CN116673597B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193340A (zh) * | 2011-06-17 | 2011-09-21 | 中国科学院光电技术研究所 | 一种投影光刻调焦的图像处理方法 |
| CN106825914A (zh) * | 2017-03-13 | 2017-06-13 | 湘潭大学 | 一种具有焊缝跟踪功能的一体化激光焊枪 |
| CN106952281A (zh) * | 2017-05-15 | 2017-07-14 | 上海交通大学 | 一种焊缝轮廓特征识别及其焊道实时规划的方法 |
| WO2019023993A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种智能终端的照片处理方法及处理装置 |
| CN111618396A (zh) * | 2020-07-05 | 2020-09-04 | 吉林大学 | 基于视觉表征的多层多道焊接装置及焊接方法 |
| CN112329887A (zh) * | 2020-11-26 | 2021-02-05 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| CN112509038A (zh) * | 2020-12-15 | 2021-03-16 | 华南理工大学 | 结合视觉仿真的自适应图像模板截取方法、系统及存储介质 |
| GB2610996A (en) * | 2020-12-24 | 2023-03-22 | Boe Technology Group Co Ltd | Image display method and apparatus, and storage medium |
| CN112756742A (zh) * | 2021-01-08 | 2021-05-07 | 南京理工大学 | 一种基于ERFNet网络的激光视觉焊缝跟踪系统 |
| CN112975222A (zh) * | 2021-03-04 | 2021-06-18 | 哈尔滨工业大学 | 基于多线结构光焊缝跟踪传感器的焊枪末端位姿识别方法 |
| CN113042863A (zh) * | 2021-03-31 | 2021-06-29 | 山东齐星铁塔有限公司 | 一种基于激光视觉传感器的焊缝实时跟踪方法 |
| WO2023005943A1 (zh) * | 2021-07-28 | 2023-02-02 | 无锡海斯凯尔医学技术有限公司 | 光纤图像校正方法、装置和计算机可读存储介质 |
| CN113989379A (zh) * | 2021-10-02 | 2022-01-28 | 南京理工大学 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
| CN114529727A (zh) * | 2022-04-25 | 2022-05-24 | 武汉图科智能科技有限公司 | 一种基于LiDAR和图像融合的街道场景语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116673597A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669318B (zh) | 表面缺陷检测方法、装置、设备及存储介质 | |
| US8442304B2 (en) | System and method for three-dimensional alignment of objects using machine vision | |
| CN113538432B (zh) | 一种基于图像处理的零件缺陷检测方法及系统 | |
| CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
| CN107424144B (zh) | 基于激光视觉的焊缝跟踪图像处理方法 | |
| KR101901961B1 (ko) | 부품을 인식하기 위한 장치 및 그 방법 | |
| CN116673597B (zh) | 用于双v复合型坡口的激光线图像特征提取系统及方法 | |
| CN109615654B (zh) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 | |
| CN105865344A (zh) | 一种基于机器视觉的工件尺寸测量方法和装置 | |
| CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
| JP6516012B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| Zhang et al. | Stud pose detection based on photometric stereo and lightweight YOLOv4 | |
| CN106780483A (zh) | 多根连铸坯端面视觉识别系统及中心坐标求取方法 | |
| CN114764885A (zh) | 障碍物的检测方法、装置、计算机可读存储介质和处理器 | |
| CN108460348B (zh) | 基于三维模型的道路目标检测方法 | |
| CN114252449A (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
| Rofallski et al. | Measuring artificial reefs using a multi-camera system for unmanned underwater vehicles | |
| CN108986160A (zh) | 一种含有镜面反射光干扰的图像激光中心线提取方法 | |
| Fang et al. | A vision-based method for narrow weld trajectory recognition of arc welding robots | |
| FR3007174A1 (fr) | Methode de traitement de l'image numerique de la surface d'un pneumatique en vue de la detection d'une anomalie | |
| CN116883446B (zh) | 一种车载摄像头镜片碾磨程度实时监测系统 | |
| CN113932712A (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| CN117173107A (zh) | 产品缺陷检测方法、装置、设备、系统和可读存储介质 | |
| Mao et al. | Disparity filtering with 3D convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |