CN117226154A - 一种基于3d视觉引导的焊道铣削方法和系统 - Google Patents
一种基于3d视觉引导的焊道铣削方法和系统 Download PDFInfo
- Publication number
- CN117226154A CN117226154A CN202311317182.0A CN202311317182A CN117226154A CN 117226154 A CN117226154 A CN 117226154A CN 202311317182 A CN202311317182 A CN 202311317182A CN 117226154 A CN117226154 A CN 117226154A
- Authority
- CN
- China
- Prior art keywords
- image
- welding bead
- point cloud
- milling
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000010296 bead milling Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 74
- 239000011324 bead Substances 0.000 claims abstract description 68
- 238000003801 milling Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000005520 cutting process Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明涉及自动化加工领域，尤其涉及一种基于3D视觉引导的焊道铣削方法和系统；其包括装载有运动控制系统模块的机械臂以及与运动控制系统模块通信连接的图像采集模块、数据处理模块和数据库模块；所述数据处理模块将图像采集模块传输过来的工件图像进行实时计算并定义成五个图像，并针对五个图像进行分析，获取图像的3D点云并计算该点云的空间三维坐标和法向量以确定铣削加工方案以及获得焊道的轮廓数据，计算焊道的起点、终点以及焊道高度；本发明成功优化了目前技术中，尤其是自动化和智能化切削加工焊道过程中，实现了实时对焊道加工质量的监控，并及时反馈至前序工序，及时调整加工过程，实现高质量的自动化和智能化铣削加工焊道的优化方案。
Description
技术领域
本发明涉及自动化加工领域，尤其涉及一种基于3D视觉引导的焊道铣削方法和系统。
背景技术
焊接行业是关乎工业制造生产与维护服务的核心行业之一，是大型安装工程建设期间的一项关键工作，其进度直接影响到计划的工期，其质量的好坏直接影响到工程的安全运行和使用寿命，其效率的高低直接影响工程的建造周期和建造成本。在焊接工艺中焊道和焊缝是直接影响焊接工艺的质量和效率的参数指标，如能正确和科学地掌握焊道和焊缝的应用可以提高焊接工艺的质量和效率；焊道是由焊接过程中熔融或切削金属形成的沟道或沟槽，通常是为了控制焊缝的位置和尺寸而设置，而焊缝则是在加热和冷却过程中形成的熔合区域，用于连接和固定材料；焊道是为了控制焊接工艺过程中焊缝位置的参数设置，如焊缝宽度、高度和深度等。
在实际加工中，人为因素给焊接质量和效率带来很大的障碍,焊接实现自动化和智能化变得势在必行，虽然目前技术中，尤其是焊道铣削加工工艺中，已初步实现自动化和智能化，技术主要是通过利用可编程的机械臂进行加工，但是该工艺过程中可能会出现由于算法误差、机械臂的运动误差等导致实际加工效果不满足要求，造成批量化的不合格品产出；所以，如何在自动化和智能化加工过程中，实时对加工质量监控，并反馈至前序工序，及时调整加工过程，实现高质量的自动化和智能化加工，是亟待解决的问题。
发明内容
本发明的目的是为了解决现有技术中的不足，而提出的一种焊道铣削加工工艺，更具体的是基于3D视觉引导的焊道铣削方法和系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于3D视觉引导的焊道铣削系统，其包括装载有运动控制系统模块的机械臂以及与运动控制系统模块通信连接的图像采集模块、数据处理模块和数据库模块；所述的机械臂末端装载有铣削装置，所述图像采集模块用于采集实时图像，并与数据处理模块通信连相连；所述数据处理模块将图像采集模块传输过来的工件图像进行实时计算并定义成五个图像，并针对五个图像进行分析，获取图像的3D点云并计算该点云的空间三维坐标和法向量以确定铣削加工方案以及获得焊道的轮廓数据，计算焊道的起点、终点以及焊道高度；所述数据库模块与数据处理模块通信相连，用于存储图像和加工数据。
所述图像采集模块采用的是3D结构光相机。
一种基于3D视觉引导的焊道铣削系统对工件进行焊道铣削时，包括以下步骤：
S1：登录启动系统：操作人员通过人脸识别或者刷卡识别获取系统登录权限，并通过前端显示操控模块启动系统；
S2：取像分析铣削：将焊接完成的工件固定后，机械臂携带结构光相机运动到拍照区，图像采集模块对工件焊道进行拍照取像，并将实时拍摄的焊道照片传输至数据处理模块，数据处理模块对焊道图像进行分析处理，并通过算法识别，判断该工位是否已经完成铣削；
S3：重复取像修正：完成S2之后，图像采集模块对铣削后的工件焊道再次进行拍照取像并将图像传输至数据处理模块进行继续分析处理；若铣削达到所需要求，则结束此次作业；若铣削不满足要求，则数据处理模块通过控制机械臂的的运动控制系统，修正其运动参数，来控制机械臂运动路径，修正加工轨迹，直至完成满足加工要求的铣削作业；
S4：数据传输存储：完成S3并判定符合加工要求后，数据处理模块实时将数据传输至数据库模块进行储存，机械臂复位到原点。
优选的，S2中通过算法识别，如果识别结果显示已完成，则本次工作流程结束，如果识别结果显示未完成，机械臂的运动控制系统控制机械臂运动，从而带动铣削装置对焊道进行铣削。
优选的，所述S2步骤中，所述机械臂运动后停止1-2S后图像采集模块再启动拍照。
优选的，所述S3步骤中，数据处理模块对焊道图像分析的方法采用基于标准图的对比方法，即预先采集标准工位无焊缝的焊道深度图作为模板图，利用当前采集的深度图和模板深度图进行比对确定。
优选的，所述S3步骤中，其图像识别分析的具体步骤为：
A1：粗定位：对获取的实际图像和模板图像进行分析处理，定义第二图像和第三图像，并获取相关点云；
A2：二次粗定位：使用SOTA的3D无监督异常检测和定位算法EasyNet实现工件焊道粗定位；
A3：精定位：定义第四图像和第五图像，通过结构光相机内参和图像的行列坐标以及深度值计算第四图像的3D点云，并计算点云的空间三维坐标和法向量，确定焊道轮廓点，从而获得焊道的轮廓数据，进而计算焊道的起点P1及终点P2以及焊道高度H。
优选的，所述A1粗定位的执行方法包括以下步骤：
A11：获取实际图像和模板图像的差分区域，并对差分区域拟合最小外接矩形；
A12：将像素取图进行扩展，并在扩展区域的同时映射到RGB图和深度图，截取RGB区域作为第二图像，缩放至统一尺寸并保存至本地；
A13：截取深度区域作为第三图像，通过3D结构光相机内参和第三图像的行列坐标以及深度值计算第三图像的3D点云。
优选的，所述A3步骤中，精定位包括以下步骤：
A31：将EasyNet定位的焊道区域拟合最小外接矩形，进行较大的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第四图像；
A32：然后再对最小外接矩形进行细微的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第五图像；
A33：通过结构光相机内参和第四图像的行列坐标以及深度值计算第四图像的3D点云PC_0，通过结构光相机内参和第五图像的行列坐标以及深度值计算第五图像的3D点云PC_1，并计算该点云的空间三维坐标CorX_1、CorY_1、CorZ_1和法向量NorX_1、NorY_1、NorZ_1，其中，点云空间坐标计算公式为：
CorX＝Grayvals*(Cols-x0)/fx
CorY＝Grayvals*(Rows-y0)/fy
CorZ＝Grayvals
其中，fx、fy、x0、y0为相机内参，Rows、Cols、Grayvals分别是深度图对应的行列坐标以及深度值；
A34：对点云PC_0进行滤波、分割，提取密度最大的点云PC_2，并计算该点云的空间三维坐标CorX_2、CorY_2、CorZ_2和法向量NorX_2、NorY_2、NorZ_2；
A35：对法向量NorX_2、NorY_2、NorZ_2进行直方图分布得到法向量均值NorX_mean、NorY_mean、NorZ_mean，并进行归一化，得到NorX_mean_0、NorY_mean_0、NorZ_mean_0；
A36：对点云PC_2计算所有和法向量NorX_mean_0、NorY_mean_0、NorZ_mean_0平行的点，平行余弦阈值设为0.1，得到点云PC_3以及点云坐标CorX_3、CorY_3、CorZ_3和法向量NorX_3、NorY_3、NorZ_3,
其中，夹角余弦公式为
Costheta＝NorX_2*NorX_mean_0+NorY_2*NorY_mean_0+NorZ_2*NorZ_mean_0；
A37：对点云PC_3迭代拟合平面，得到点云PC_4以及法向量A、B、C、D；
A38：对点云PC_1进行滤波、分割，提取密度最大的点云PC_5，并计算该点云的空间三维坐标CorX_5、CorY_5、CorZ_5和法向量NorX_5、NorY_5、NorZ_5；
A39：对点云PC_5计算其所有点到平面PC_4的空间投影距离，从而获得焊道的轮廓数据，进而计算焊道的起点P1及终点P2以及焊道高度H。
优选的，所述A39步骤中，距离阈值设为0.1mm，超过该阈值的点即为焊道轮廓点。
本发明的有益效果为：本发明中的数据处理模块能将图像采集模块传输过来的工件图像进行实时计算并定义成五个图像，并针对五个图像进行分析，获取图像的3D点云并计算该点云的空间三维坐标和法向量以确定铣削加工方案以及获得焊道的轮廓数据，计算焊道的起点、终点以及焊道高度，更具体的是本申请的技术方案中，结合了2D和3D的图像特性以及生产环境特性，首先利用机器人的移动精度以及拍照位置的一致性，采用当前深度图和模板深度图的差分进行焊道的粗定位；然后利用EasyNet无监督学习网络，摆脱了大型预训练模型和大量负样本，通过多尺度多模态特征编码器，结合RGB图与深度图，准确重建焊道区域的分割图；最后利用3D点云技术通过严谨的数学运算，对焊道区域进行精定位，从而可实现加工的监控并负反馈调节加工参数，保证效率的同时增加了加工的质量；成功优化了目前技术中，尤其是自动化和智能化切削加工焊道过程中，实现了实时对焊道加工质量的监控，并及时反馈至前序工序，及时调整加工过程，实现高质量的自动化和智能化铣削加工焊道的优化方案。
附图说明
图1本发明的工艺流程示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
实施例1：
一种基于3D视觉引导的焊道铣削系统，其包括装载有运动控制系统模块的机械臂以及与运动控制系统模块通信连接的图像采集模块、数据处理模块和数据库模块；所述的机械臂末端装载有铣削装置，所述图像采集模块用于采集实时图像，并与数据处理模块通信连相连；所述数据处理模块将图像采集模块传输过来的工件图像进行实时计算并定义成五个图像，并针对五个图像进行分析，获取图像的3D点云并计算该点云的空间三维坐标和法向量以确定铣削加工方案以及获得焊道的轮廓数据，计算焊道的起点、终点以及焊道高度；所述数据库模块与数据处理模块通信相连，用于存储图像和加工数据。
在本实施例中所述图像采集模块可采用3D结构光相机；本实施例中的焊道铣削系统还包括身份识别模块和前端显示操控模块，其中所述身份识别模块包括人脸识别单元和刷卡识别单元，实现安全多元登录系统功能；另外本申请中铣削装置采用的是常规的现有技术，其于自动化机加工厂房中被广泛应用，例如铣削装置为电机驱动的铣刀、砂轮，其可实现对焊道的铣削即可，在此不再过多累赘。
实施例2：
如图1所示，一种基于3D视觉引导的焊道铣削系统对工件进行焊道铣削时，包括以下步骤：
S1：登录启动系统：操作人员通过人脸识别或者刷卡识别获取系统登录权限，并通过前端显示操控模块启动系统。
S2：取像分析铣削：将焊接完成的工件固定后，机械臂携带结构光相机运动到拍照区，为了防止拍照时机器人因自身刚度不足发生抖动进而影响成像效果，机器人在到达拍照位后稳定1s再触发拍照。图像采集模块对焊道进行拍照，并将拍摄的焊道照片传递至数据处理模块，数据处理模块对焊道图像进行分析处理。通过算法识别，判断该工位是否已经完成铣削。如果识别结果显示已完成，则本次工作流程结束。如果识别结果显示未完成，机械臂的运动控制系统控制机械臂运动，从而带动铣削装置对焊道进行铣削；在本步骤中，为了防止拍照时机器人因自身刚度不足发生抖动进而影响成像效果，所述机械臂运动后停止1-2S后图像采集模块再启动拍照。
S3：重复取像修正：铣削后，铣削后，图像采集模块对铣削后的焊道再次进行拍照，数据处理模块继续分析处理；若铣削达到所需要求，则结束此次作业；若铣削不满足要求，则数据处理模块通过控制机械臂的的运动控制系统，修正其运动参数，来控制机械臂运动路径，修正加工轨迹，直至完成满足要求的铣削作业；本步骤中，数据处理模块对焊道图像分析的方法采用基于标准图的对比方法，即预先采集标准工位无焊缝的焊道深度图作为模板图，利用当前采集的深度图和模板深度图进行比对确定。
S4：数据传输存储：完成铣削后，数据处理模块实时将数据传输至数据库模块进行储存即可，然后，机械臂复位到原点。
在所述S3步骤中，其图像识别分析的具体步骤为：
A1：粗定位；
A11：获取实际图和模板图的差分区域，并对差分区域拟合最小外接矩形；
A12：将像素取图进行扩展，并在扩展区域的同时映射到RGB图和深度图，截取RGB区域作为第二图像，缩放至统一尺寸并保存至本地；
A13：截取深度区域作为第三图像，通过3D结构光相机内参和第三图像的行列坐标以及深度值计算第三图像的3D点云；
A2：二次粗定位：使用SOTA的3D无监督异常检测和定位算法EasyNet实现工件焊道粗定位。
A3：精定位：所述A3步骤中，精定位包括以下步骤：
A31：将EasyNet定位的焊道区域拟合最小外接矩形，进行较大的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第四图像；
A32：然后再对最小外接矩形进行细微的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第五图像；
A33：通过结构光相机内参和第四图像的行列坐标以及深度值计算第四图像的3D点云PC_0，通过结构光相机内参和第五图像的行列坐标以及深度值计算第五图像的3D点云PC_1，并计算该点云的空间三维坐标CorX_1、CorY_1、CorZ_1和法向量NorX_1、NorY_1、NorZ_1，其中，点云空间坐标计算公式为：
CorX＝Grayvals*(Cols-x0)/fx
CorY＝Grayvals*(Rows-y0)/fy
CorZ＝Grayvals
其中，fx、fy、x0、y0为相机内参，Rows、Cols、Grayvals分别是深度图对应的行列坐标以及深度值；
A34：对点云PC_0进行滤波、分割，提取密度最大的点云PC_2，并计算该点云的空间三维坐标CorX_2、CorY_2、CorZ_2和法向量NorX_2、NorY_2、NorZ_2；
A35：对法向量NorX_2、NorY_2、NorZ_2进行直方图分布得到法向量均值NorX_mean、
NorY_mean、NorZ_mean，并进行归一化，得到NorX_mean_0、NorY_mean_0、NorZ_mean_0；
A36：对点云PC_2计算所有和法向量NorX_mean_0、NorY_mean_0、NorZ_mean_0平行的点，平行余弦阈值设为0.1，得到点云PC_3以及点云坐标CorX_3、CorY_3、CorZ_3和法向量NorX_3、NorY_3、NorZ_3,其中，夹角余弦公式为Costheta＝NorX_2*NorX_mean_0+NorY_2*NorY_mean_0+NorZ_2*No rZ_mean_0；
A37：对点云PC_3迭代拟合平面，得到点云PC_4以及法向量A、B、C、D；
A38：对点云PC_1进行滤波、分割，提取密度最大的点云PC_5，并计算该点云的空间三维坐标CorX_5、CorY_5、CorZ_5和法向量NorX_5、NorY_5、NorZ_5；
A39：对点云PC_5计算其所有点到平面PC_4的空间投影距离，距离阈值设为0.1mm，超过该阈值的点即为焊道轮廓点；其中，空间投影距离计算公式为：Projections＝CorX_5*A+CorY_5*B+CorZ_5*C；从而获得焊道的轮廓数据，进而计算焊道的起点P1及终点P2以及焊道高度H。
本发明，结合了2D和3D的图像特性以及生产环境特性，首先利用机器人的移动精度以及拍照位置的一致性，采用当前深度图和模板深度图的差分进行焊道的粗定位；然后利用EasyNet无监督学习网络，摆脱了大型预训练模型和大量负样本，通过多尺度多模态特征编码器，结合RGB图与深度图，准确重建焊道区域的分割图；最后利用3D点云技术通过严谨的数学运算，对焊道区域进行精定位，从而可实现加工的监控并负反馈调节加工参数，保证效率的同时增加了加工的质量。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于3D视觉引导的焊道铣削系统，其特征在于，其包括装载有运动控制系统模块的机械臂以及与运动控制系统模块通信连接的图像采集模块、数据处理模块和数据库模块；所述的机械臂末端装载有铣削装置，所述图像采集模块用于采集实时图像，并与数据处理模块通信连相连；所述数据处理模块将图像采集模块传输过来的工件图像进行实时计算并定义成五个图像，并针对五个图像进行分析，获取图像的3D点云并计算该点云的空间三维坐标和法向量以确定铣削加工方案以及获得焊道的轮廓数据，计算焊道的起点、终点以及焊道高度；所述数据库模块与数据处理模块通信相连，用于存储图像和加工数据。
2.根据权利要求1所述的一种基于3D视觉引导的焊道铣削系统，其特征在于，所述图像采集模块采用的是3D结构光相机。
3.采用如权利要求1所述的一种基于3D视觉引导的焊道铣削系统对工件进行焊道铣削时，其特征在于，其包括以下步骤：
S1：登录启动系统：操作人员通过人脸识别或者刷卡识别获取系统登录权限，并通过前端显示操控模块启动系统；
S2：取像分析铣削：将焊接完成的工件固定后，机械臂携带结构光相机运动到拍照区，图像采集模块对工件焊道进行拍照取像，并将实时拍摄的焊道照片传输至数据处理模块，数据处理模块对焊道图像进行分析处理，并通过算法识别，判断该工位是否已经完成铣削；
S3：重复取像修正：完成S2之后，图像采集模块对铣削后的工件焊道再次进行拍照取像并将图像传输至数据处理模块进行继续分析处理；若铣削达到所需要求，则结束此次作业；若铣削不满足要求，则数据处理模块通过控制机械臂的的运动控制系统，修正其运动参数，来控制机械臂运动路径，修正加工轨迹，直至完成满足加工要求的铣削作业；
S4：数据传输存储：完成S3并判定符合加工要求后，数据处理模块实时将数据传输至数据库模块进行储存，机械臂复位到原点。
4.根据权利要求3所述的一种基于3D视觉引导的焊道铣削系统，其特征在于，S2中通过算法识别，如果识别结果显示已完成，则本次工作流程结束，如果识别结果显示未完成，机械臂的运动控制系统控制机械臂运动，从而带动铣削装置对焊道进行铣削。
5.根据权利要求3所述的一种基于3D视觉引导的焊道铣削方法，其特征在于，所述S2步骤中，所述机械臂运动后停止1-2S后图像采集模块再启动拍照。
6.根据权利要求3所述的一种3D视觉引导的焊道铣削方法，其特征在于，所述S3步骤中，数据处理模块对焊道图像分析的方法采用基于标准图的对比方法，即预先采集标准工位无焊缝的焊道深度图作为模板图，利用当前采集的深度图和模板深度图进行比对确定。
7.根据权利要求3所述的一种基于3D视觉引导的焊道铣削方法，其特征在于，所述S3步骤中，其图像识别分析的具体步骤为：
A1：粗定位：对获取的实际图像和模板图像进行分析处理，定义第二图像和第三图像，并获取相关点云；
A2：二次粗定位：使用SOTA的3D无监督异常检测和定位算法EasyNet实现工件焊道粗定位；
A3：精定位：定义第四图像和第五图像，通过结构光相机内参和图像的行列坐标以及深度值计算第四图像的3D点云，并计算点云的空间三维坐标和法向量，确定焊道轮廓点，从而获得焊道的轮廓数据，进而计算焊道的起点P1及终点P2以及焊道高度H。
8.根据权利要求7所述的一种基于3D视觉引导的焊道铣削方法，其特征在于，所述A1粗定位的执行方法包括以下步骤：
A11：获取实际图像和模板图像的差分区域，并对差分区域拟合最小外接矩形；
A12：将像素取图进行扩展，并在扩展区域的同时映射到RGB图和深度图，截取RGB区域作为第二图像，缩放至统一尺寸并保存至本地；
A13：截取深度区域作为第三图像，通过3D结构光相机内参和第三图像的行列坐标以及深度值计算第三图像的3D点云。
9.根据权利要求7所述的一种基于3D视觉引导的焊道铣削方法，其特征在于，所述A3步骤中，精定位包括以下步骤：
A31：将EasyNet定位的焊道区域拟合最小外接矩形，进行较大的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第四图像；
A32：然后再对最小外接矩形进行细微的像素扩展，并将扩展区域映射到深度图，截取该深度区域作为第五图像；
A33：通过结构光相机内参和第四图像的行列坐标以及深度值计算第四图像的3D点云PC_0，通过结构光相机内参和第五图像的行列坐标以及深度值计算第五图像的3D点云PC_1，并计算该点云的空间三维坐标CorX_1、CorY_1、CorZ_1和法向量NorX_1、NorY_1、NorZ_1，其中，点云空间坐标计算公式为：
CorX＝Grayvals*(Cols-x0)/fx
CorY＝Grayvals*(Rows-y0)/fy
CorZ＝Grayvals
其中，fx、fy、x0、y0为相机内参，Rows、Cols、Grayvals分别是深度图对应的行列坐标以及深度值；
A34：对点云PC_0进行滤波、分割，提取密度最大的点云PC_2，并计算该点云的空间三维坐标CorX_2、CorY_2、CorZ_2和法向量NorX_2、NorY_2、NorZ_2；
A35：对法向量NorX_2、NorY_2、NorZ_2进行直方图分布得到法向量均值NorX_mean、NorY_mean、NorZ_mean，并进行归一化，得到NorX_mean_0、NorY_mean_0、NorZ_mean_0；
A36：对点云PC_2计算所有和法向量NorX_mean_0、NorY_mean_0、NorZ_mean_0平行的点，平行余弦阈值设为0.1，得到点云PC_3以及点云坐标CorX_3、CorY_3、CorZ_3和法向量NorX_3、NorY_3、NorZ_3,
其中，夹角余弦公式为
Costheta＝NorX_2*NorX_mean_0+NorY_2*NorY_mean_0+NorZ_2*NorZ_mean_0；
A37：对点云PC_3迭代拟合平面，得到点云PC_4以及法向量A、B、C、D；
A38：对点云PC_1进行滤波、分割，提取密度最大的点云PC_5，并计算该点云的空间三维坐标CorX_5、CorY_5、CorZ_5和法向量NorX_5、NorY_5、NorZ_5；
A39：对点云PC_5计算其所有点到平面PC_4的空间投影距离，从而获得焊道的轮廓数据，进而计算焊道的起点P1及终点P2以及焊道高度H。
10.根据权利要求9所述的一种基于3D视觉引导的焊道铣削方法，其特征在于，所述A39步骤中，距离阈值设为0.1mm，超过该阈值的点即为焊道轮廓点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311317182.0A CN117226154A (zh) | 2023-10-11 | 2023-10-11 | 一种基于3d视觉引导的焊道铣削方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311317182.0A CN117226154A (zh) | 2023-10-11 | 2023-10-11 | 一种基于3d视觉引导的焊道铣削方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117226154A true CN117226154A (zh) | 2023-12-15 |
Family
ID=89094720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311317182.0A Pending CN117226154A (zh) | 2023-10-11 | 2023-10-11 | 一种基于3d视觉引导的焊道铣削方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117226154A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576094A (zh) * | 2024-01-15 | 2024-02-20 | 中铁科工集团有限公司 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
| CN117600541A (zh) * | 2024-01-19 | 2024-02-27 | 宁德时代新能源科技股份有限公司 | 铣削装置、铣削设备以及电池生产系统 |
-
2023
- 2023-10-11 CN CN202311317182.0A patent/CN117226154A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576094A (zh) * | 2024-01-15 | 2024-02-20 | 中铁科工集团有限公司 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
| CN117576094B (zh) * | 2024-01-15 | 2024-04-19 | 中铁科工集团有限公司 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
| CN117600541A (zh) * | 2024-01-19 | 2024-02-27 | 宁德时代新能源科技股份有限公司 | 铣削装置、铣削设备以及电池生产系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117226154A (zh) | 一种基于3d视觉引导的焊道铣削方法和系统 | |
| CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
| CN110539109B (zh) | 一种基于单双目视觉的机器人自动焊接系统及方法 | |
| CN111192307B (zh) | 基于激光切割三维零部件的自适应纠偏方法 | |
| Nele et al. | An image acquisition system for real-time seam tracking | |
| US20130060369A1 (en) | Method and system for generating instructions for an automated machine | |
| CN107262926B (zh) | 具有ccd检测的自动化激光焊接装置及焊接方法 | |
| CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
| CN103231162A (zh) | 机器人焊接质量视觉检测装置及其检测方法 | |
| CN113305849B (zh) | 一种基于复合视觉的平板坡口智能切割系统及方法 | |
| US20190201979A1 (en) | Systems and methods for z-height measurement and adjustment in additive manufacturing | |
| Guo et al. | Weld deviation detection based on wide dynamic range vision sensor in MAG welding process | |
| CN113894481B (zh) | 复杂空间曲线焊缝的焊接位姿调整方法及装置 | |
| Liu et al. | Precise initial weld position identification of a fillet weld seam using laser vision technology | |
| CN105138022A (zh) | 对接窄焊缝的视觉跟踪解耦控制方法及装置 | |
| CN114399461A (zh) | 智能化焊趾机械打磨疲劳延寿方法 | |
| Xiao et al. | An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system | |
| CN111398271A (zh) | 一种针对激光近净成形缺陷的检测优化系统及方法 | |
| US11151735B1 (en) | Deformation processing support system and deformation processing support method | |
| CN115971635A (zh) | 一种基于视觉传感的搅拌摩擦焊接控制方法、系统及机床 | |
| CN111179255B (zh) | 一种膜式水冷壁自动化制备过程中特征识别方法 | |
| CN115106539B (zh) | 增减材一体化控制方法及系统 | |
| Wang et al. | Multilayer positioning strategy for tubesheet welding robot based on point cloud model | |
| CN114926531A (zh) | 基于双目视觉的大视场下工件焊缝自主定位方法及系统 | |
| CN114147389A (zh) | 一种检测焊接工艺参数的焊接辅助方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |