CN114273826A - 用于大型待焊接工件的焊接位置自动识别方法 - Google Patents
用于大型待焊接工件的焊接位置自动识别方法 Download PDFInfo
- Publication number
- CN114273826A CN114273826A CN202111663553.1A CN202111663553A CN114273826A CN 114273826 A CN114273826 A CN 114273826A CN 202111663553 A CN202111663553 A CN 202111663553A CN 114273826 A CN114273826 A CN 114273826A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- welded
- workpiece
- dimensional point
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于大型待焊接工件的焊接位置自动识别方法，主要通过在PointNetLK网络模型的基础上加入了空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型结合双目相机采集到的不同角度的大型待焊接工件的图像转换后的点云数据对大型待焊接工件进行单位模型的重建，然后利用法矢向量的梯度变化提取出焊接模型的边界点，再根据交线处的点到不同平面的距离进一步筛选出待焊接处的点，从而精准识别出待焊接工件的焊接位置。本发明不仅有效降低了识别成本，而且大大提高了大型焊接模型三维重建的精度和待焊接位置识别的精度。同时方便了技术人员对焊接作业的操作与管理。
Description
技术领域
本发明属于人工智能领域和工业自动化领域，特别涉及一种用于大型待焊接工件的焊接位置自动识别方法。
背景技术
传统的焊接方式主要是手工作业，工人焊接劳动强度大，焊接效率低，焊接质量稳定性差且要面对恶劣的焊接环境。为使焊接工人从繁重的体力劳动中解放出来，国内外专家学者研究出各种机器人智能焊接位置识别技术，并成功运用在机器人焊接领域。
目前，机器人焊接位置识别方法主要有以下四种：
第一种是基于放射性检测的识别方法。放射性检测方法是一种应用较多的检测方法，该方法具有识别分辨率高，检测质量稳定可靠的特点。在放射性检测领域常用的射线主要有χ射线和γ射线，由于放射性检测方法既可以检测出待焊接工件表面信息，又可以穿透到待焊接工件内部，可以直观的检测待焊接工件内部情况，因此放射性检测方法不仅可以用来检测出需要焊接位置的形状、大小和位置信息，还可以进行缺陷的检测。然而该方法在检测过程中必须佩戴射线防护装备以避免放射性污染给工人身体造成伤害，并且相关设备比较昂贵，整体代价较高。
第二种是基于线结构光的焊接位置识别方法。然而该方法传感器成本较高，结构复杂且易受到环境噪声干扰。
第三种是基于阀值分割、边缘检测的焊接位置识别方法。该方法利用传统边缘检测算子提取边缘时，提取出的待焊接位置的图像有很多噪点，并且会出现图像边缘的不连续、断裂的现象。
第四种是基于深度学习的焊接位置识别方法。由于人工智能和深度学习算法在图像处理领域展现出越来越好的识别效果，国内外学者逐渐使用神经网络算法，进行焊缝类型识别和定位焊缝位置信息。然而该方法依赖于包含各种焊缝类型的标准数据集，人工标注数据集成本较高。其中，焊缝为焊接后形成的缝，即为将焊条和接缝处的金属熔化连接而成的缝。
随着工业机器人技术、计算机视觉检测技术、深度学习技术等技术的发展，基于视觉的智能识别与检测技术在焊接领域应用日益增多，大大提高了焊接机器人的自动化以及智能化程度。焊接位置识别技术是实现焊接自动化与智能化的关键技术，也是实现焊接路径智能规划的关键因素。目前的焊接位置识别技术还没有办法针对大型焊接工件需要焊接的位置进行高效精准的识别。
发明内容
发明目的：本发明针对现有技术存在的问题，提出了一种能够高效且精准的用于大型待焊接工件的焊接位置自动识别方法。
技术方案：为了实现上述目的，本发明提供了一种用于大型待焊接工件的焊接位置自动识别方法，其特征在于：包括以下步骤：
步骤1：对双目相机进行标定；
步骤2：通过移动双目相机对大型待焊接工件采集多组图像；
步骤3：对步骤2采集到的每组图像的左右视图进行预处理；
步骤4：采用BM匹配算法依次对步骤3处理后的每组图像进行转化，每一组图像得到一组对应的三维点云信息；
步骤5：依次对步骤4得到的每一组三维点云信息进行预处理；
步骤6：基于嵌入空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型对步骤5中获得的预处理后的多组三维点云数据依次进行点云配准融合，得到一个包含完整的待焊接工件和其所处背景的三维点云模型；
步骤7：将步骤6中得到的包含完整的待焊接工件和其所处背景的三维点云模型中的背景点云删除，得到待焊接工件的三维点云模型；
步骤8：计算待焊接工件的三维点云模型中每个点云的法向量；
步骤9：根据步骤8得到的每个点云的法向量确定待焊接工件的三维点云模型中的边界点；
步骤10：利用RANSAC多平面分割算法对步骤7中得到的待焊接工件的三维点云模型进行分割，得到待焊接工件的各个平面；
步骤11：分别计算步骤9中得到的每个边界点与步骤10中得到的每个平面的距离，如果一个边界点与至少两个平面之间的距离为0，则保留对应点，将所有保留的点组成集合，则提出组成焊缝的点，从而完成焊缝提取。
进一步，所述步骤3中对步骤2采集到的每组图像的左右视图进行预处理的方法为：将步骤1的标定结果读入OpenCV中，然后对步骤2采集到的每组图像中左摄像头采集图片和右摄像头采集图片进行畸变消除和行对准，使每组图像中左摄像头采集图片和右摄像头采集图片的成像原点坐标一致、左右摄像头光轴平行、左右成像平面共面、对极线行对齐。
进一步，所述步骤4具体包括以下步骤：
步骤4-1：构造一个同样大小的窗口，分别覆盖在双目相机左摄像头和右摄像头采集的图像上；
步骤4-2：选择出窗口区域内的所有像素点进行对应位置一一做差，取差值的绝对值并求和作为这两个像素块的相似度；
步骤4-3：移动窗口，重复步骤4-1～步骤4-2，完成所有对应像素块的相似度计算，并以最小值的区域作为最佳匹配的像素块；像素块为窗口大小内像素组成；
步骤4-4：对校准后的双目图像中具有边缘、角点等信息的特征点进行匹配得到视差图，并利用视差距离公式计算得到深度图，最后根据双目相机的几何模型，将其变换至三维空间，获得三维点云信息。
进一步，所述步骤5中的预处理包括：点云去噪、离群点去除以及点云平滑。
进一步，所述基于嵌入空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型为将PointNetLK网络模型的第二层sharedMLP的输出结果输入到加入了空间注意力机制和通道注意力机制的注意力机制模块中进行处理，并将处理的结果输入第三层sharedMLP。
进一步，所述步骤6中到一个包含完整的待焊接工件和其所处背景的三维点云模型的方法为：
步骤6-1：初始状态下，将步骤5得到的第一组和第二组的三维点云数据输入到PointNetLK++点云配准网络模型中，PointNetLK++点云配准网络模型输出变换矩阵；将变换矩阵作用与第一组或第二组三维点云数据，得到第一叠加三维点云数据；
步骤6-2：将得到的第n叠加三维点云数据和第m组的三维点云数据输入到PointNetLK++点云配准网络模型中，将PointNetLK++点云配准网络模型输出变换矩阵作用于输入的第n叠加三维点云数据得到第n+1叠加三维点云数据；n的初始值为1，m表示步骤五得到的每组三维点云数据的编号，m的初始值为3；
步骤6-3：令n＝n+1，m＝m+1，然后并判断此时的m是否大于步骤五得到的三维点云数据的总组数，如果不大于，则重复步骤6-2～步骤6-3；如果大于，则直接输出最后一个叠加三维点云数据，即得到一个包含完整的待焊接工件和其所处背景的三维点云模型。
进一步，所述步骤7中删除背景点云的依据是预先设置在背景上的标签，所述标签为二维码标签或颜色标签。
进一步，所述步骤9中确定边界点的方法为：计算每个点云与其最近的k个点的法矢向量的余弦相似度，当余弦相似度小于0.5时，则认为该点是边界点。
本发明还提供了一种存储软件的计算机可读介质，，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述的用于大型待焊接工件的焊接位置自动识别方法的流程。
本发明还提供了一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的用于大型待焊接工件的焊接位置自动识别方法的流程。
本发明通过在PointNetLK网络模型的基础上加入了空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型结合双目相机采集到的不同角度的大型待焊接工件的图像转换后的点云数据对大型待焊接工件进行单位模型的重建，然后利用法矢向量的梯度变化提取出焊接模型的边界点，再根据交线处的点到不同平面的距离进一步筛选出待焊接处的点，从而精准识别出待焊接工件的焊接位置。
有益效果：本发明不仅有效降低了识别成本，而且大大提高了大型焊接模型三维重建的精度和待焊接位置识别的精度。同时方便了技术人员对焊接作业的操作与管理。
附图说明
图1为用于大型待焊接工件的焊接位置自动识别系统示意图；
图2为包含完整的待焊接工件和其所处背景的三维点云模型重建流程图；
图3为PointNetLK++网络模型示意图。
具体实施方法
下面结合附图对本发明专利的技术方案做进一步详细说明：
如图1所示，本发明公开了一种用于大型待焊接工件的焊接位置自动识别系统，包括标定模块、数据采集模块、三维点云模型重建模块和焊接位置识别模块；
其中，标定模块主要对设置好的双目相机进行标定，得到双目相机左右摄像头的内部参数、平移和旋转参数以及畸变参数。
数据采集模块主要通过双目相机对待焊接的工件采集多组图像。由于待焊接的工件为大型工件，为了能够提高识别的精度，在图像采集阶段，则需要近距离的对待焊接的工件进行图像采集，这样每次采集到的图像仅为待焊接工件的一部分，则需要通过多次采集，才能得到完整的待焊接工件。本实施例则将双目相机设置在采集轨道上，每移动一次双目相机，则采集一次待焊接工件的图像，通过多次采集，将待焊接工件的每个部位都采集到。同时，相邻两次采集到的图像内容有交集。
由于双目相机有左右两个摄像头，所以每一个位置采集到的图像包含左摄像头采集图片和右摄像头采集图片，每一个位置采集到的两张图片组成一组图像；数据采集模块先分别对每组图像中的两张图片进行预处理，使得左摄像头采集图片和右摄像头采集图片的成像原点坐标一致、左右摄像头光轴平行、左右成像平面共面、对极线行对齐；然后采用BM匹配算法分别将每组图像转换成一组三维点云数据。
三维点云模型重建模块依据数据采集模块生成的多组三维点云数据结合PointNetLK++点云配准网络模型生成包含完整的待焊接工件的三维点云模型；根据设定的标签，将所有的背景的点云删除，从而得到完整的待焊接工件的三维点云模型。
焊接位置识别模块利用法矢向量的梯度变化提取出焊接模型的边缘点，再根据交线处的点到不同平面的距离进一步筛选出需要焊接处的点，从而精准识别出焊接位置。
本实施例中采用的大型待焊接工件的焊接位置自动识别方法，包括以下步骤：
步骤1：对双目相机进行标定；本实施例中主要采用标定板对双目相机进行标定，得到双目相机左右摄像头的内部参数、平移和旋转参数以及畸变参数。具体包括以下步骤：
步骤1-1：用双目相机在不同位置采集标定板的图像100组，本实施例中采用方格大小为23mm的标定板；
步骤1-2：将步骤1-1采集到的100组图片分别输入到Matlab软件，利用Matlab软件中的stereoCameraCalibrator功能完成双目相机标定，得到双目相机左右摄像头的内部参数、平移和旋转参数以及畸变参数。
步骤2：通过移动双目相机对大型待焊接工件采集多组图像；完成大型焊接工件的图像采集。其中，相邻两组的图像中内容有交集。
步骤3：将步骤1的标定结果读入OpenCV中，然后对步骤2采集到的每组图像中左摄像头采集图片和右摄像头采集图片进行畸变消除和行对准，使每组图像中左摄像头采集图片和右摄像头采集图片的成像原点坐标一致、左右摄像头光轴平行、左右成像平面共面、对极线行对齐。
步骤4：采用BM匹配算法依次对步骤3处理后的每组图像进行转化，每一组图像得到一组对应的三维点云信息。具体包括以下步骤：
步骤4-1：构造一个同样大小的窗口，分别覆盖在双目相机左摄像头和右摄像头采集的图像上；
步骤4-2：选择出窗口区域内的所有像素点进行对应位置一一做差，取差值的绝对值并求和作为这两个像素块的相似度；
步骤4-3：移动窗口，重复步骤4-1～步骤4-2，完成所有对应像素块的相似度计算，并以最小值的区域作为最佳匹配的像素块；像素块为窗口大小内像素组成；
步骤4-4：对校准后的双目图像中具有边缘、角点等信息的特征点进行匹配得到视差图，并利用视差距离公式计算得到深度图，最后根据双目相机的几何模型，将其变换至三维空间，获得三维点云信息。
步骤5：依次对步骤4得到的每一组三维点云信息分别进行预处理。其中，三维点云信息包括每个点的位置坐标。
主要利用PCL点云处理开源库对点云数据进行点云去噪、离群点去除以及点云平滑这三步点云预处理操作。
其中由于双目相机获取的点云数据量比较大且目标噪声一般在目标点云的表面，所以一般可利用高斯滤波算法定义某处点云若小于某个密度则视为噪点，从而完成点云去噪处理。
离群点去除用到的是StatisticalOutlierRemoval滤波器，对每一个点的邻域进行一个统计分析，计算它到所有邻近点的平均距离，假设得到的结果是一个高斯分布，其形状是由均值和标准差决定，平均距离在标准范围之外的点，可以被定义为离群点并从数据中去除，标准范围由全局距离平均值和方差定义。
点云平滑用到的是平均值法。平均值法是用点的相邻点三维坐标的平均值取代原来的点。根据公式
可以得到平滑后的点Xi′，其中，Xij表示点Xi的第j个邻近点三维坐标的平均值，n表示点Xi的邻近点的总数，j表示邻近点的编号。
步骤6：根据训练好的PointNetLK++点云配准网络模型对步骤5中获得的预处理后的多组三维点云数据依次进行点云配准融合，得到一个包含完整的待焊接工件和其所处背景的三维点云模型。如图2所示，具体步骤为：
步骤6-1：初始状态下，将第一组和第二组的三维点云数据输入到PointNetLK++点云配准网络模型中，PointNetLK++点云配准网络模型输出包括了平移向量和旋转矩阵的变换矩阵；将变换矩阵作用与第一组或第二组三维点云数据，得到第一叠加三维点云数据；
步骤6-2：将得到的第n叠加三维点云数据和第m组的三维点云数据输入到PointNetLK++点云配准网络模型中，将PointNetLK++点云配准网络模型输出变换矩阵作用于输入的第n叠加三维点云数据得到第n+1叠加三维点云数据；n的初始值为1，m表示步骤五得到的每组三维点云数据的编号，m的初始值为3；
步骤6-3：令n＝n+1，m＝m+1，然后并判断此时的m是否大于步骤五得到的三维点云数据的总组数，如果不大于，则重复步骤6-2～步骤6-3；如果大于，则直接输出最后一个叠加三维点云数据，即得到一个包含完整的待焊接工件和其所处背景的三维点云模型。
其中，本实施例中使用的PointNetLK++点云配准网络模型为在PointNetLK网络模型的基础上加入了空间注意力机制和通道注意力机制，用于捕获全局上下文依赖关系。空间注意力机制和通道注意力机制相互独立作用于PointNetLK网络模型的特征提取模块。
如图3所示，PointNetLK++点云配准网络模型将PointNetLK网络模型中的第二层sharedMLP输出的结果输入到注意力机制模块中进行计算；注意力机制模块中包括两个独立的子模块，分别为空间注意力机制子模块和通道注意力机制子模块；第二层sharedMLP输出的结果分别输入到空间注意力机制子模块和通道注意力机制子模块中；空间注意力机制子模块先根据空间注意力机制得到位置特征，将得到的位置特征与第二层sharedMLP输出的结果进行加权求和得到的结果作为空间注意力机制子模块的输出；通道注意力机制子模块先根据通道注意力机制得到通道特征，将得到的通道特征与第二层sharedMLP输出的结果进行加权求和得到的结果作为通道注意力机制子模块的输出。将空间注意力机制子模块和通道注意力机制子模块的输出进行相加融合，相加融合的结果为注意力机制模块的输出；注意力机制模块的输出为第三层sharedMLP的输入。
图3中，PS表示输入的源点云，PT表示输入的模板点云，N表示输入的每组点云数据中点的总数量；在本实施例中，初始状态下，第一组点云数据和第二组点云数据可以随机选择是作为源电压还是模板点云输入；从第n次开始，其中n≥2，第n叠加三维点云数据作为模板点云输入到PointNetLK++点云配准网络模型中，第m组的三维点云数据作为源点云输入到PointNetLK++点云配准网络模型中。
其中，空间注意力机制根据邻域点的位置信息进行加权求和，选择性地聚集每个位置的特征，相似特征进行关联。通道注意力机制整合所有通道之间的相关性特征，有选择的强调相互依赖的通道关系。为了进一步获得全局依赖关系特征，将两个模块输出结果进行相加融合，自适应地集成局部和全局依赖。
本实施例中的PointNetLK++点云配准网络模型在使用之前，先需要进行训练，其中训练的数据是ModelNet40标准数据集，该数据集由40个类别，12311个网格化CAD模型组成。其中，我们使用9843个模型作为训练集，2468个模型作为测试集。
步骤7：根据预先在大型待焊接工件所处的背景上设定的标签，将步骤6中得到的包含完整的待焊接工件和其所处背景的三维点云模型中的背景点云删除，从而得到待焊接工件的三维点云模型。本实施例中在大型焊接工件所处的背景上设定为二维码，亦可以选择不同的颜色标签等。这里在大型待焊接工件所处的背景为承载待焊接工件的桌面等。
步骤8：计算待焊接工件的三维点云模型中每个点云的法向量。
步骤9：根据步骤8得到的每个点云的法向量确定待焊接工件的三维点云模型中的边界点。具体方法为：计算每个点云与其最近的k个点的法矢向量的余弦相似度，当余弦相似度小于0.5时，则认为该点是边界上的点，本实施例中，k一般取20。
步骤10：利用RANSAC多平面分割算法对步骤7中得到的待焊接工件的三维点云模型进行分割，得到待焊接工件的各个平面。
步骤11：分别计算步骤9中得到的每个边界点与步骤10中得到的每个平面的距离，如果一个边界点与至少两个平面之间的距离为0，则保留对应点，将所有保留的点组成集合，则该点的集合即为需要焊接的位置，从而完成焊接位置的识别。
本实施例提供的用于大型待焊接工件的焊接位置自动识别系统中还包括人机交互客户端模块，实现了传感器数据的获取、处理与传输。该模块利用qt图形用户界面应用程序开发框架设计了可视化界面，集成了数据采集、三维重建以及焊接位置识别这三个模块的功能，通过QT的“信号——槽”机制，点击对应按钮即可完成操作。当用户点击数据采集按钮时，可启动系统中数据采集模块的双目相机获取焊接模型；当用户点击三维重建按钮时，三维模型实时显示窗口可提供接口实时显示焊接模型的点云数据配准过程以及最终重建的效果；当用户点击焊接位置识别按钮时，焊接位置识别结果显示窗口可提供接口显示需要焊接的位置在待焊接工件的模型中的具体位置。从而方便后续自动焊接的实现。
本实施例还提供了一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述用于大型待焊接工件的焊接位置自动识别方法的流程。
本实施例还提供了一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述用于大型待焊接工件的焊接位置自动识别方法的流程。
应当理解，本实施例的前述用于大型待焊接工件的焊接位置自动识别方法的示例可以在任何包含具有数据存储和数据处理的计算机系统中，前述的计算机系统可以是至少一个包括处理器和存储器的电子处理系统或者电子设备，例如PC电脑，不论是个人用PC电脑、商用PC电脑，或者图形处理用PC电脑、服务器级PC电脑。这些PC电脑通过具有数据接口和/或网络接口，实现有线和/或无线的数据传输。
在另一些实施例，该计算机系统还可以是服务器，尤其是云服务器，具有数据存储、处理以及网络通讯功能。
作为示例的计算机系统通常包括由系统总线连接的至少一个处理器、存储器和网络接口。网络接口用于与其他设备/系统进行通信。
处理器用于提供系统的计算和控制。
存储器包括非易失性存储器和缓存。
非易失性存储器通常具有海量存储能力，可以存储操作系统以及计算机程序，这些计算机程序可以包括可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器能够执行本发明前述实施例的用于大型待焊接工件的焊接位置自动识别方法的过程。
在需要或者合理的实现方式中，前述计算机系统，不论是PC设备或者服务器，还可以包括比图示中更多或者更少的部件，或者组合，或者采用不同的硬件、软件等不同部件或者不同的部署方式。
以上所述，仅为本发明专利中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种用于大型待焊接工件的焊接位置自动识别方法，其特征在于：包括以下步骤：
步骤1：对双目相机进行标定；
步骤2：通过移动双目相机对大型焊接工件采集多组图像；
步骤3：对步骤2采集到的每组图像的左右视图进行预处理；
步骤4：采用BM匹配算法依次对步骤3处理后的每组图像进行转化，每一组图像得到一组对应的三维点云信息；
步骤5：依次对步骤4得到的每一组三维点云信息进行预处理；
步骤6：基于嵌入空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型对步骤5中获得的预处理后的多组三维点云数据依次进行点云配准融合，得到一个包含完整的待焊接工件和其所处背景的三维点云模型；
步骤7：将步骤6中得到的包含完整的待焊接工件和其所处背景的三维点云模型中的背景点云删除，得到待焊接工件的三维点云模型；
步骤8：计算待焊接工件的三维点云模型中每个点云的法向量；
步骤9：根据步骤8得到的每个点云的法向量确定待焊接工件的三维点云模型中的边界点；
步骤10：利用RANSAC多平面分割算法对步骤7中得到的待焊接工件的三维点云模型进行分割，得到待焊接工件的各个平面；
步骤11：分别计算步骤9中得到的每个边界点与步骤10中得到的每个平面的距离，如果一个边界点与至少两个平面之间的距离为0，则保留对应点，将所有保留的点组成集合，则提出组成焊缝的点，从而完成焊缝提取。
2.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤3中对步骤2采集到的每组图像的左右视图进行预处理的方法为：将步骤1的标定结果读入OpenCV中，然后对步骤2采集到的每组图像中左摄像头采集图片和右摄像头采集图片进行畸变消除和行对准，使每组图像中左摄像头采集图片和右摄像头采集图片的成像原点坐标一致、左右摄像头光轴平行、左右成像平面共面、对极线行对齐。
3.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤4具体包括以下步骤：
步骤4-1：构造一个同样大小的窗口，分别覆盖在双目相机左摄像头和右摄像头采集的图像上；
步骤4-2：选择出窗口区域内的所有像素点进行对应位置一一做差，取差值的绝对值并求和作为这两个像素块的相似度；
步骤4-3：移动窗口，重复步骤4-1～步骤4-2，完成所有对应像素块的相似度计算，并以最小值的区域作为最佳匹配的像素块；像素块为窗口大小内像素组成；
步骤4-4：对校准后的双目图像中具有边缘、角点等信息的特征点进行匹配得到视差图，并利用视差距离公式计算得到深度图，最后根据双目相机的几何模型，将其变换至三维空间，获得三维点云信息。
4.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤5中的预处理包括：点云去噪、离群点去除以及点云平滑。
5.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述基于嵌入空间注意力机制和通道注意力机制的PointNetLK++点云配准网络模型为将PointNetLK网络模型的第二层sharedMLP的输出结果输入到加入了空间注意力机制和通道注意力机制的注意力机制模块中进行处理，并将处理的结果输入第三层sharedMLP。
6.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤6中到一个包含完整的待焊接工件和其所处背景的三维点云模型的方法为：
步骤6-1：初始状态下，将步骤5得到的第一组和第二组的三维点云数据输入到PointNetLK++点云配准网络模型中，PointNetLK++点云配准网络模型输出变换矩阵；将变换矩阵作用与第一组或第二组三维点云数据，得到第一叠加三维点云数据；
步骤6-2：将得到的第n叠加三维点云数据和第m组的三维点云数据输入到PointNetLK++点云配准网络模型中，将PointNetLK++点云配准网络模型输出变换矩阵作用于输入的第n叠加三维点云数据得到第n+1叠加三维点云数据；n的初始值为1，m表示步骤五得到的每组三维点云数据的编号，m的初始值为3；
步骤6-3：令n＝n+1，m＝m+1，然后并判断此时的m是否大于步骤五得到的三维点云数据的总组数，如果不大于，则重复步骤6-2～步骤6-3；如果大于，则直接输出最后一个叠加三维点云数据，即得到一个包含完整的待焊接工件和其所处背景的三维点云模型。
7.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤7中删除背景点云的依据是预先设置在背景上的标签，所述标签为二维码标签或颜色标签。
8.根据权利要求1所述的用于大型待焊接工件的焊接位置自动识别方法，其特征在于：所述步骤9中确定边界点的方法为：计算每个点云与其最近的k个点的法矢向量的余弦相似度，当余弦相似度小于0.5时，则认为该点是边界点。
9.一种存储软件的计算机可读介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如权利要求1-8中任意一项所述的用于大型待焊接工件的焊接位置自动识别方法的流程。
10.一种计算机系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求1-8中任意一项所述的用于大型待焊接工件的焊接位置自动识别方法的流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663553.1A CN114273826A (zh) | 2021-12-31 | 2021-12-31 | 用于大型待焊接工件的焊接位置自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663553.1A CN114273826A (zh) | 2021-12-31 | 2021-12-31 | 用于大型待焊接工件的焊接位置自动识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114273826A true CN114273826A (zh) | 2022-04-05 |
Family
ID=80879347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111663553.1A Pending CN114273826A (zh) | 2021-12-31 | 2021-12-31 | 用于大型待焊接工件的焊接位置自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114273826A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841959A (zh) * | 2022-05-05 | 2022-08-02 | 广州东焊智能装备有限公司 | 一种基于计算机视觉的自动焊接方法及系统 |
-
2021
- 2021-12-31 CN CN202111663553.1A patent/CN114273826A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841959A (zh) * | 2022-05-05 | 2022-08-02 | 广州东焊智能装备有限公司 | 一种基于计算机视觉的自动焊接方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| Zhang et al. | Image engineering | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| Chaiyasarn et al. | Integrated pixel-level CNN-FCN crack detection via photogrammetric 3D texture mapping of concrete structures | |
| CN111063021A (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
| CN111862201A (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
| JP2021163503A (ja) | ２次元カメラによる３次元の姿勢推定 | |
| Toriya et al. | SAR2OPT: Image alignment between multi-modal images using generative adversarial networks | |
| CN115797350A (zh) | 桥梁病害检测方法、装置、计算机设备和存储介质 | |
| CN116030208A (zh) | 一种真实无人机虚拟仿真输电线路场景搭建方法及系统 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN114273826A (zh) | 用于大型待焊接工件的焊接位置自动识别方法 | |
| CN114067273A (zh) | 一种夜间机场航站楼热成像显著人体分割检测方法 | |
| Huang et al. | Crack detection of masonry structure based on thermal and visible image fusion and semantic segmentation | |
| US11080861B2 (en) | Scene segmentation using model subtraction | |
| Lu et al. | Image-based 3D reconstruction for Multi-Scale civil and infrastructure Projects: A review from 2012 to 2022 with new perspective from deep learning methods | |
| CN116342621A (zh) | 基于空间运动目标三维重构的几何参数辨识方法及系统 | |
| CN115908988A (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 | |
| Song et al. | Pose estimation under visual sensing technology and its application in art design | |
| Budianti et al. | Background blurring and removal for 3d modelling of cultural heritage objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |