CN116128907A - 一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 - Google Patents
一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 Download PDFInfo
- Publication number
- CN116128907A CN116128907A CN202211714382.5A CN202211714382A CN116128907A CN 116128907 A CN116128907 A CN 116128907A CN 202211714382 A CN202211714382 A CN 202211714382A CN 116128907 A CN116128907 A CN 116128907A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- side wall
- plane
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003466 welding Methods 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 229910000831 Steel Inorganic materials 0.000 claims description 27
- 239000010959 steel Substances 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000003698 laser cutting Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- IJGRMHOSHXDMSA-UHFFFAOYSA-N nitrogen Substances N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 1
- QJGQUHMNIGDVPM-UHFFFAOYSA-N nitrogen group Chemical group [N] QJGQUHMNIGDVPM-UHFFFAOYSA-N 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明涉及激光切割定位技术领域，具体涉及了一种基于激光扫描图像的敞车侧墙检修精准定位切割方法。S1：对敞车车体的侧墙扫描相关的点云数据，根据点云数据建立点云图像；S2：根据相邻像素点的深度信息对点云图像进行边缘提取，将提取出的边缘位置标记为疑似焊缝边缘位置，并降低非疑似焊缝边缘位置的点云数据量，得到建模图像；S3：识别建模图像的图像特征，根据图像特征以及各帧建模图像的位姿信息对建模图像进行分组，建立各组稠密点云模型，将各组稠密点云模型融合得到车体侧墙稠密点云模型；S4：对点云数据进行分组后平面拟合，根据各类平面的交线的坐标信息，确定焊缝位置的焊缝像素坐标。能够提高对敞车车体的侧墙焊缝位置定位的精度。
Description
技术领域
本发明涉及激光切割定位技术领域，具体涉及了一种基于激光扫描图像的敞车侧墙检修精准定位切割方法。
背景技术
在我国的交通运输行业中，铁路运输由于其载货量大、运费低廉等优势，在交通运输中占了很大的比重。敞车是铁路货车的车种之一，车体为全钢焊接结构，由底架、侧墙、端墙、车门等部件组成，该车型主要用途为运煤或道渣等不畏风雨的散装物品。由于敞车运输货物所造成的车体腐蚀以及长久使用带来的车体磨损、氧化、腐蚀等问题，都会给敞车的使用造成严重的风险隐患，需要对车体侧墙进行钢板切割替换。
对于车体的侧墙钢板切割，是以钢板焊缝为参照，由于钢板焊缝难以识别，在满足精度的前提下，实现对焊缝精准识别定位，才能减少钢板切割时对敞车车体的损伤，最大程度减小钢板切割的成本。目前，随着自动化技术的发展，对于焊缝精准定位切割的需求愈发明显，但在技术上存在以下问题。
1.车体侧墙工况的复杂性，由于车体侧墙、端墙本身的结构问题，钢板本身存在鼓包变形、钢板撕裂、钢板漏洞、斜撑变形等问题，各个侧墙工况不一，难以实现标准化切割流程，因此需要对侧墙进行激光扫描，针对不同侧墙建立专用模型以达到定位的准确性。
2.现有车体侧墙维修切割多采用人工，人工切割在解决复杂工况的同时，其切割的结果往往使得后期维修焊接的难度显著提升，人工切割带来的钢板切割平面度不足，表面割纹深度高，以及上边缘化程度高等种种不利影响，而且切割效果多依赖于维修工人的经验，难以形成统一效果；无法满足车体侧墙切割自动化、流程化与结果标准化的需要，而通过工业相机扫描的点云图像与机器人的位姿直接相关，在扫描过程中，机器人位姿变化带来的误差，对点云配准最终的精度会带来一定影响。
发明内容
本发明意在提供一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，以提高对敞车车体的侧墙、端墙焊缝位置定位的精度，提升切割质量。
本发明提供的基础方案：一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，包括以下步骤：
S1：对敞车车体的侧墙进行激光扫描，得到相关的点云数据，所述点云数据包括各个像素点的坐标信息、深度信息以及扫描时的位姿数据，根据点云数据建立点云图像；
S2：根据深度信息对点云图像进行边缘提取，将提取出的边缘位置标记为疑似焊缝边缘位置，并降低非疑似焊缝边缘位置的点云数据量，得到建模图像；
S3：识别建模图像的图像特征，根据图像特征以及各帧建模图像的位姿信息对建模图像进行分组，建立各组稠密点云模型，将各组稠密点云融合得到车体侧墙稠密点云模型；
S4：根据稠密点云模型中点云数据的深度信息，对点云数据进行分组后平面拟合，得到各类平面，根据各类平面的交线的坐标信息，确定焊缝位置的焊缝像素坐标。
本发明的原理在于：首先采集到敞车车体的点云数据，通过相邻像素点的深度信息差与焊缝对接的图向特征进行综合考虑，将激光扫描的图像进行二次处理，对采集到的点云数据进行边缘提取，以此确定焊缝边缘位置，从而确定焊缝的粗略位置，再对疑似焊缝像素点的位置进行考虑，降低非疑似焊缝位置的点云数据量，对疑似焊缝位置的点云数据保留，降低计算数据量，提高点云重建的精度，降低定位过程的积累误差，结合点云数据融合以及平面拟合技术，从而达到焊缝位置的精确定位。
相比于现有技术，本发明中直接对激光扫描的点云图像进行二次处理，利用图像学的方法实现焊缝位置的定位，在满足精度的基础上速度更快，计算量更小，及时性好。在敞车车体的侧墙三维建模的过程中，结合数字图像处理技术降低数据融合的数据量，提高数据处理的及时性，与此同时，根据扫描图像的空间位置特征和视觉特征，降低定位过程中的积累误差，提高焊缝定位的准确性。
进一步，所述S1包括以下步骤：
S100：在敞车车体的侧墙中心位置放置二维码，对二维码扫描确定全局坐标系基准位置；
S110：对敞车车体的侧墙整体进行激光扫描，得到相关点云数据；
S120：对每帧图像的点云数据进行预处理，减少噪音得到点云图像。
通过在车体侧墙中心放置二维码，作为基准，对二维码进行扫描确定三维模型的全局坐标系基准位置，之后对车体侧墙整体进行三维扫描，得到相关的点云数据。内含有各个像素点的坐标信息以及深度信息，以及扫描时的位姿数据，之后对每图像点云数据进行均值滤波等预处理，减少图像采集中的噪声影响，得到点云图像。
进一步，S130：在不同光照强度下，重复步骤S100-S120。
在扫描时，在不同光照强度下进行扫描，最大程度上减少光照、锈迹、反光等外部因素对激光扫描成像效果产生的影响。
进一步，所述S2包括以下步骤：
S200：将所述S1得到的点云图像标记为图像A，对图像A进行边缘提取，以图像A的深度信息为特征，提取边缘位置，计算深度信息的梯度，根据深度信息梯度提取深度突变部分作为疑似焊缝边缘位置；
S210：提取疑似焊缝边缘位置与附近的像素点制作掩码图像；
S220：将图像A与掩码图形的反码进行与运算之后进行降采样，得到图像B；
S230：将图像A与掩码图形进行与运算，得到图像C；
S240：将图像B和图像C进行或运算，得到图像D，将图像D作为建模图像。
通过对图像A进行边缘提取，根据相邻项数点的深度信息计算，将深度信息具有突变的部分作为疑似焊缝边缘位置。并采用疑似焊缝边缘位置与附近的像素点制作掩码图像，将图像A与掩码图像的反码进行与运算，此时得到的图像为非边缘区域，不包含疑似焊缝边缘位置，对非边缘区域进行降采样，降低点云数据，得到图像B。同时将图像A与掩码图像进行与运算，得到图像C，图像C包含所有疑似焊缝边缘位置的像素点。将图像C与图像B进行或运算得到图像D，相比于原始的图像A，图像D在保留焊缝位置点云数据的基础上，降低了非边缘区域的点云的数据量与后期进行点云重建的计算量，提高了点云重建的速度。
进一步，所述S3包括以下步骤：
S300：识别建模图像的图像特征，并根据图像特征将建模图像分为三类，所述图像特征包括含有斜撑的图像、含有立柱的图像以及不含立柱和斜撑的图像；
S310：在三类的基础上，根据位姿数据对建模图像分组，并根据每组的图像特征建立视觉词袋模型；
S320：根据每组每帧建模图像以及对应的位姿数据，建立每组融合重建的稠密点云模型；
S330：判断各帧建模图像与稠密点云模型之间的深度信息差是否在设定阈值内，若是则执行步骤S350，若否则执行步骤340；
S340：根据稠密几何一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S320；
S350：根据各组视觉词袋模型特征与重建深度模型进行融合重建，判断各组重建模型与整体重建模型深度信息差是否在设定阈值内，若是则执行步骤S360，若否则执行步骤S350；
S360：根据稠密一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S340；
S370：得到车体侧墙稠密点云模型。
在三维建模时，通过基准位置和扫描过程中的位置数据，对扫描的点云数据进行坐标转换，将不同时间、角度、照度获取的多帧图像叠加到同一的坐标系中。由于扫描得到的点云图像与扫描时的位姿直接相关，而在扫描过程中，位姿变化与图像拼接时或逐渐积累误差，对于点云配准最终的精度带来一定影响。因此在本发明中，首先根据图像特征对图像进行分类，分为含有斜撑的图像、含有立柱的图像以及不含有立柱和斜撑的图像，在三类基础上根据各帧图像对应的位姿数据将若干帧图像分为一组，并根据每组的图像特征建立视觉词袋模型，此时每组内的图像特征和位姿数据相似。之后通过回环检测降低累积误差，回环检测当前位置和历史位置的相似性以此来矫正相机位姿。本发明中采用每帧图像当前位置与建立后的稠密点云的位置的相似性以此矫正位置，降低相机位姿积累误差，根据分组后每帧图像特征与位姿的相似性，对一组图像坐标转换与融合重建，在每组中根据稠密几何一致性与光度一致性，对一组中的每帧图像与重建后的稠密点云进行位置信息的对比，以每帧图像各数据点与重建后稠密点云与重建后稠密点云位置之间的差距作为反馈，对每帧图像的深度进行优化细节修正，不断迭代，直到最后重建后稠密点云与每帧图片的位置差距在一定阈值之内，之后，利用各组之间词袋模型的相似度，对每组建立的稠密点云进行融合，重复之前步骤，最后建立最终的车体侧墙稠密点云和基准位置位姿数据，得到最终的车体侧墙稠密点云模型。
进一步，所述S4包括以下步骤：
S400：根据车体侧墙稠密点云模型，将深度信息相同的点云数据分为一组，将深度信息变化明显的点云数据分为一组；
S410：对分组后的点云数据进行平面拟合，拟合后的平面包括钢板平台、斜撑立面平面，斜撑翼面平面、斜撑翼面焊缝平面、侧墙立柱平面、侧墙立柱翼面焊缝平面以及侧墙立柱翼面平面；
S420：根据钢板平面与斜撑立面平面的交线和斜撑翼面平面与斜撑翼面焊缝平面的交线，确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝像素坐标；
S430：根据钢板平面与立柱立面平面的交线和立柱翼面平面与立柱翼面焊缝平面的交线确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝像素坐标。
在重建后的车体侧墙稠密点云模型中，需要确定焊缝位置的像素坐标。由于S2对于点云数据进行了筛选，最后侧墙稠密点云模型焊缝位置的点云数据保留完整，根据建立的侧墙稠密点云模型，将深度相同的点云数据分为一类，将深度信息变化明显的点云数据分为一类，对分组后的数据点进行平面拟合。拟合的结果为包括有钢板平面、斜撑立面平面、斜撑翼面平面、斜撑翼面焊缝平面、侧墙立柱平面、侧墙立柱翼面焊缝平面、侧墙立柱翼面平面这六种平面，根据各个平面的交线，确定最终的焊缝位置。侧墙上的焊缝主要存在与斜撑附近与立柱附近，其焊缝边缘位置的像素存在一定程度的高度差，在点云图像中，可以得到各个像素的三维位置信息，对焊缝附近的三维数据进行平面拟合，得到两平面交线即是焊缝位置，并根据图像的深度信息确定切割时的高度，规划最终的切割路径。
进一步，所述S1中，采用标定精度为0.1mm的工业激光相机进行激光扫描，所述位姿信息为工业激光相机扫描时的位姿信息。
以标定精度为0.1mm的工业激光相机进行激光扫描，提高扫描时的精度。
附图说明
图1为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例的流程示意图；
图2为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例的敞车侧墙实体图；
图3为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例中S2的流程示意图；
图4为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例中S3的流程示意图；
图5为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例中建立的车体侧墙稠密点云模型的示意图；
图6为本发明一种基于激光扫描图像的敞车侧墙检修精准定位切割方法实施例中建立的车厢侧墙切割路径图的示意图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例基本如附图1所示：
一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，包括以下步骤：
S1：对敞车车体的侧墙进行激光扫描，得到相关的点云数据，所述点云数据包括各个像素点的坐标信息、深度信息以及扫描时的位姿数据，根据点云数据建立点云图像；
S2：根据相邻像素点的深度信息对点云图像进行边缘提取，将提取出的边缘位置标记为疑似焊缝边缘位置，并降低非疑似焊缝边缘位置的点云数据量，得到建模图像；
S3：识别建模图像的图像特征，根据图像特征以及各帧建模图像的位姿信息对建模图像进行分组，建立各组稠密点云模型，将各组稠密点云模型融合得到车体侧墙稠密点云模型；
S4：根据稠密点云模型中点云数据的深度信息，对点云数据进行分组后平面拟合，得到各类平面，根据各类平面的交线的坐标信息，确定焊缝位置的焊缝像素坐标。
敞车是铁路货车的车种之一，敞车车体为全钢焊接结构，由底架、侧墙、端墙、车门等部件组成，主要用途为运煤或道渣等不畏风雨之类的散装物品。敞车车体侧板结构如图2所示，本身会存在鼓包变形、钢板撕裂、钢板漏洞、斜撑变形等问题。
在步骤S1中，采用0.1mm的工业激光相机对敞车车体的侧墙进行激光扫描，工业激光相机安装在机器人手臂上构成手眼系统，具体包括有以下步骤：
S100：在敞车车体的侧墙中心位置放置二维码，对二维码扫描确定全局坐标系基准位置。具体的，在敞车车体的中心位置上放置二维码，提供扫描时的中心点，确定三维模型的全局坐标的基准位置。
S110：对敞车车体的侧墙整体进行激光扫描，得到相关点云数据；相关点云数据包括有各个像素点的坐标信息、深度信息和扫描时机器人的位姿数据。坐标信息指各个像素点在全局坐标系中的坐标位置，深度信息指各个像素点相较于同一平面的深度，位姿数据指机器人扫描时的姿态、角度等位姿。
S120：对每帧图像的点云数据进行预处理，减少噪音得到点云图像。具体的，本实施例中，通过均值滤波的方式进行预处理，减少图像采集中的噪声影响，得到点云图像。
S130：在不同光照强度下，重复所述S100-S120。因采用标定精度为0.1mm的工业激光相机获取车体信息，因而需要对车体进行防锈和涂漆等防反光处理，之后使用工业激光相机在不同光照强度下进行扫描。本实施例中选取30％、50％以及80％的光照强度，在此三种光照强度下进行激光扫描，在最大程度上减少光照、锈迹、反光等外部因素对激光扫描成像效果的影响。
S2具体如图3所示，包括以下步骤：
S200：将所述S1得到的点云图像标记为图像A，对图像A进行边缘提取，以图像A的深度信息为特征，提取边缘位置，计算深度信息的梯度，根据深度信息梯度提取深度突变部分作为疑似焊缝位置。对图像A进行边缘提取时，以图像A的深度信息作为特征，使用合适的边缘提取算子，计算深度信息的梯度，将图像的深度信息视为二维曲面，提取出图像中深度突变部分，即相邻像素点的深度信息差超过某一阈值时，认为是深度突变部分。将深度突变部分作为疑似焊缝位置。
S210：提取疑似焊缝边缘位置与附近的像素点制作掩码图像。具体的，图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核子刻画领域像素点对新像素值的影响程度，同时根据掩码算子中权重因子对原像素点进行加权平均。本实施例中，通过基于像素领域遍历的方式制作掩码图像，基于图像的领域遍历，通过对源数据矩阵进行操作，以当前像素点位计算中心目标点，逐像素移动掩码核算子模板，对原图像数据进行遍历，进而更新新图像对应的每个像素点值。
S220：将图像A与掩码图形的反码进行与运算之后进行降采样，得到图像B。与运算的运算逻辑为有0为0，全1为1，因此图像A和掩码图像反码进行与运算，得到的图像为非边缘区域，此区域不包含焊缝信息，对非边缘区域进行降采样，降低点云数据量，得到图像B，从而降低非边缘区域的点云数据量。
S230：将图像A与掩码图形进行与运算，得到图像C。图像C中包含有所有疑似焊缝位置的像素点。
S240：将图像B和图像C进行或运算，得到图像D，将图像D作为建模图像。或运算的运算逻辑为有1为1，全0为0，将得到的图像D作为建模图像，相比于图像A，在保留焊缝位置点云信息的基础上，降低了点云的数据量与后期进行点云重建的计算量，提高了后期点云重建的速度。
S3具体如图4所示，包括以下步骤：
S300：识别建模图像的图像特征，并根据图像特征将建模图像分为三类，所述图像特征包括含有斜撑的图像、含有立柱的图像以及不含立柱和斜撑的图像。
具体的，识别建模图像的图像特征，并根据图像特征将建模图像分为三类，所述图像特征包括含有斜撑的图像、含有立柱的图像以及不含立柱和斜撑的图像。首先通过对点云图像分组减少数据量，首先通过聚类算法将S2得到的建模图像进行分类，通过提取到各个建模图像中的图像特征，将建模图像分为含有斜撑的图像、含有立柱的图像以及不含有立柱和斜撑的图像。
S310：在三类的基础上，根据位姿数据对建模图像分组，并根据每组的图像特征建立视觉词袋模型。
在此三类的基础上，根据各帧图像对应的相机位姿数据将若干帧图像分为一组，根据每组图像特征建立视觉词袋模型。视觉词袋模型是一种描述计算图像之间相似度的技术，使用视觉单词来描述图像，通过将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事，是某些空间位置或图像中的点，这些位置定义了图像中的突出部分，受图像的旋转、缩放、平移等因素影响，描述符是这些关键点的值，创建字典时所使用聚类算法是基于这些描述符进行，遍历图像并检查图像中是否存在单词，如果有，则增加该单词的计数。此时每组数据含有的图像特征和位姿数据相似。
S320：根据每组每帧建模图像以及对应的位姿数据，建立每组融合重建的稠密点云模型。
S330：判断各帧建模图像与稠密点云模型之间的深度信息差是否在设定阈值内，若是则执行步骤S350，若否则执行步骤340。
在建模时，采用回环检测降低机器人位姿变化与图像拼接时产生的累计误差。回环检测通过检测当前位置和历史位置的相似性以此来矫正相机位姿数据，本发明汇总，采用每帧图像氮气位置和建立后的稠密点云的位置的相似性以此矫正位姿，降低扫描过程中机器人手眼系统移动过程带来的相机位姿积累误差。根据分组后每帧图像的图像特征与位姿的相似性，对一组的图像坐标转化与融合重建。在每组中根据稠密几何一致性与光度一致性，对一组中的每帧图像与重建后的稠密点云进行位置信息的对比，以每帧图像各数据点与重建后稠密点云位置之间的差距作为反馈，对每帧图像的深度图进行优化细节修正，不断迭代，直至最后重建后稠密点云与每帧图片的位置差距在一定阈值之内。
S340：根据稠密几何一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S320；
S350：根据各组视觉词袋模型特征与重建深度模型进行融合重建，判断各组重建模型与整体重建模型深度信息差是否在设定阈值内，若是则执行步骤S360，若否则执行步骤S350；
S360：根据稠密一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S340；
S360：得到车体侧墙稠密点云模型。
利用各组之间词袋模型的相似度，对每组建立的稠密点云进行融合，同样采用各组重建时的方式，最后建立最终的车体侧墙稠密点云和矫正机器人基准位置位姿数据。最终重建的车体侧墙模型如图5所示。
S4具体包括以下步骤：
S400：根据车体侧墙稠密点云模型，将深度信息相同的点云数据分为一组，将深度信息变化明显的点云数据分为一组。
在重建后的车体侧墙稠密点云模型中，首先需要确定焊缝位置的像素坐标。由于S2对于点云数据进行筛选，最后侧墙稠密点云模型焊缝位置的点云数据保留完整，根据建立的侧墙稠密点云模型，将深度相同的点云数据分为一类，将深度信息变化明显，即变化超出某一阈值的点云数据分为一类，因S3的点云配准和数据融合使得此步骤造成误差小。
S410：对分组后的点云数据进行平面拟合，拟合后的平面包括钢板平台、斜撑立面平面，斜撑翼面平面、斜撑翼面焊缝平面、侧墙立柱平面、侧墙立柱翼面焊缝平面以及侧墙立柱翼面平面。
S420：根据钢板平面与斜撑立面平面的交线和斜撑翼面平面与斜撑翼面焊缝平面的交线，确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝坐标信息；
S430：根据钢板平面与立柱立面平面的交线和立柱翼面平面与立柱翼面焊缝平面的交线确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝坐标信息。
侧墙上的焊缝主要存在与斜撑附近与立柱附近，其焊缝边缘位置的像素存在一定程度的高度差，在点云图像中，可以得到各个像素的三维位置信息，对焊缝附近的三维数据进行平面拟合，得到两平面交线即使焊缝位置，并根据图像的深度信息确定切割时的高度，规划最终的切割路径。最终确定处的焊缝坐标如图6所示。
最后，根据确定的焊缝边缘像素坐标和步骤三建立的侧墙稠密点云模型，确定焊缝位置上每个像素点的深度信息，结合步骤三得到稠密点云与机器人基准位置位姿之间的转移矩阵确定机器人在得到的每个焊缝坐标时的位姿数据，使得机器人可以在处理车体撕裂、鼓包以及变形的情况，同时保证切割后的钢板不至于过大的变形，切割后轨迹平滑，方便之后的焊接钢板维修。
以上的仅是本发明的实施例，需要说明的是上述实施例的技术方案中除可以对敞车侧墙进行精准定位切割，其也可以应用到敞车端墙的定位切割上。方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (7)
1.一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：包括以下步骤：
S1：对敞车车体的侧墙进行激光扫描，得到相关的点云数据，所述点云数据包括各个像素点的坐标信息、深度信息以及扫描时的位姿数据，根据点云数据建立点云图像；
S2：根据相邻像素点的深度信息对点云图像进行边缘提取，将提取出的边缘位置标记为疑似焊缝边缘位置，并降低非疑似焊缝边缘位置的点云数据量，得到建模图像；
S3：识别建模图像的图像特征，根据图像特征以及各帧建模图像的位姿信息对建模图像进行分组，建立各组稠密点云模型，将各组稠密点云模型融合得到车体侧墙稠密点云模型；
S4：根据稠密点云模型中点云数据的深度信息，对点云数据进行分组后平面拟合，得到各类平面，根据各类平面的交线的坐标信息，确定焊缝位置的焊缝像素坐标。
2.根据权利要求1所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：所述S1包括以下步骤：
S100：在敞车车体的侧墙中心位置放置二维码，对二维码扫描确定全局坐标系基准位置；
S110：对敞车车体的侧墙整体进行激光扫描，得到相关点云数据；
S120：对每帧图像的点云数据进行预处理，减少噪音得到点云图像。
3.根据权利要求2所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：所述S1还包括以下步骤：
S130：在不同光照强度下，重复所述S100-S120。
4.根据权利要求2所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：所述S2包括以下步骤：
S200：将所述S1得到的点云图像标记为图像A，对图像A进行边缘提取，以图像A的深度信息为特征，提取边缘位置，计算深度信息的梯度，根据深度信息梯度提取深度突变部分作为疑似焊缝位置；
S210：提取疑似焊缝边缘位置与附近的像素点制作掩码图像；
S220：将图像A与掩码图形的反码进行与运算之后进行降采样，得到图像B；
S230：将图像A与掩码图形进行与运算，得到图像C；
S240：将图像B和图像C进行或运算，得到图像D，将图像D作为建模图像。
5.根据权利要求4所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：所述S3包括以下步骤：
S300：识别建模图像的图像特征，并根据图像特征将建模图像分为三类，所述图像特征包括含有斜撑的图像、含有立柱的图像以及不含立柱和斜撑的图像；
S310：在三类建模图像的基础上，根据位姿数据分别对各类建模图像分组，并根据每组的图像特征建立视觉词袋模型；
S320：根据每组中每帧建模图像以及对应的位姿数据，建立每组融合重建的稠密点云模型；
S330：判断各帧建模图像与稠密点云模型之间的深度信息差是否在设定阈值内，若是则执行步骤S350，若否则执行步骤340；
S340：根据稠密几何一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S320；
S350：根据各组视觉词袋模型特征与重建深度模型进行融合重建，判断各组重建模型与整体重建模型深度信息差是否在设定阈值内，若是则执行步骤S360，若否则执行步骤S350；
S360：根据稠密一致性与光度一致性，对组内各帧建模图像的深度信息与位姿信息进行修正，之后再次执行步骤S340；
S370：得到车体侧墙稠密点云模型。
6.根据权利要求5所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：所述S4包括以下步骤：
S400：根据车体侧墙稠密点云模型，将深度信息相同的点云数据分为一组，将深度信息变化明显的点云数据分为一组；
S410：对分组后的点云数据进行平面拟合，拟合后的平面包括钢板平台、斜撑立面平面，斜撑翼面平面、斜撑翼面焊缝平面、侧墙立柱平面、侧墙立柱翼面焊缝平面以及侧墙立柱翼面平面；
S420：根据钢板平面与斜撑立面平面的交线和斜撑翼面平面与斜撑翼面焊缝平面的交线，确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝坐标信息；
S430：根据钢板平面与立柱立面平面的交线和立柱翼面平面与立柱翼面焊缝平面的交线确定斜撑立面一侧的焊缝和斜撑翼面一侧的焊缝坐标信息。
7.根据权利要求1所述的一种基于激光扫描图像的敞车侧墙检修精准定位切割方法，其特征在于：
所述S1中，采用标定精度为0.1mm的工业激光相机进行激光扫描，所述位姿信息为工业激光相机扫描时的位姿信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211714382.5A CN116128907A (zh) | 2022-12-27 | 2022-12-27 | 一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211714382.5A CN116128907A (zh) | 2022-12-27 | 2022-12-27 | 一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128907A true CN116128907A (zh) | 2023-05-16 |
Family
ID=86300236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211714382.5A Pending CN116128907A (zh) | 2022-12-27 | 2022-12-27 | 一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116551210A (zh) * | 2023-06-06 | 2023-08-08 | 江苏铭扬激光科技有限公司 | 一种实现流水线化视觉定位连续切割生产的激光切割机 |
-
2022
- 2022-12-27 CN CN202211714382.5A patent/CN116128907A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116551210A (zh) * | 2023-06-06 | 2023-08-08 | 江苏铭扬激光科技有限公司 | 一种实现流水线化视觉定位连续切割生产的激光切割机 |
| CN116551210B (zh) * | 2023-06-06 | 2024-01-23 | 江苏铭扬激光科技有限公司 | 一种实现流水线化视觉定位连续切割生产的激光切割机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zong et al. | Container ship cell guide accuracy check technology based on improved 3D point cloud instance segmentation | |
| CN111652227B (zh) | 铁路货车底部地板破损故障检测方法 | |
| CN116128907A (zh) | 一种基于激光扫描图像的敞车侧墙检修精准定位切割方法 | |
| US20100104216A1 (en) | Combining feature boundaries | |
| CN113830136B (zh) | 一种铁路货车折角塞门手把不正位故障的识别方法 | |
| CN111768417A (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| CN111080612A (zh) | 一种货车轴承破损检测方法 | |
| CN115014371A (zh) | 一种用于智慧粮库粮食转运车的定位与建图方法、装置及存储介质 | |
| CN113111875A (zh) | 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法 | |
| CN113173502A (zh) | 一种基于激光视觉融合和深度学习的防撞方法、系统 | |
| CN116645586A (zh) | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 | |
| Börold et al. | Deep learning-based object recognition for counting car components to support handling and packing processes in automotive supply chains | |
| CN113870326B (zh) | 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法 | |
| CN105469401B (zh) | 一种基于计算机视觉的船槽定位方法 | |
| CN112278891B (zh) | 一种车厢内部姿态检测方法 | |
| CN116991162A (zh) | 一种非巡线机器人自主定位视觉识别方法 | |
| CN113158399B (zh) | 钢轨廓形动态拼接处理方法及装置 | |
| CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
| CN115015962A (zh) | 基于岸桥的碰撞检测方法、系统、设备及存储介质 | |
| Kim et al. | 3D reconstruction of large-scale scaffolds with synthetic data generation and an upsampling adversarial network | |
| CN116038728A (zh) | 一种敞车侧墙、端墙截换检修的切割设备及切割方法 | |
| Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
| CN113706610B (zh) | 基于rgb-d相机的栈板位姿计算方法 | |
| CN112634242B (zh) | 一种基于深度学习的制动梁脱落检测方法 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |