CN113177983A - 基于点云几何特征的角焊缝定位方法 - Google Patents

基于点云几何特征的角焊缝定位方法 Download PDF

Info

Publication number
CN113177983A
CN113177983A CN202110321791.8A CN202110321791A CN113177983A CN 113177983 A CN113177983 A CN 113177983A CN 202110321791 A CN202110321791 A CN 202110321791A CN 113177983 A CN113177983 A CN 113177983A
Authority
CN
China
Prior art keywords
point cloud
point
calculating
line
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321791.8A
Other languages
English (en)
Other versions
CN113177983B (zh
Inventor
翟昱
张云涛
马英
易廷昊
邹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Edge Robot Technology Co ltd
Efort Intelligent Equipment Co ltd
Original Assignee
Shanghai Edge Robot Technology Co ltd
Efort Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Edge Robot Technology Co ltd, Efort Intelligent Equipment Co ltd filed Critical Shanghai Edge Robot Technology Co ltd
Priority to CN202110321791.8A priority Critical patent/CN113177983B/zh
Publication of CN113177983A publication Critical patent/CN113177983A/zh
Application granted granted Critical
Publication of CN113177983B publication Critical patent/CN113177983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明涉及焊接自动化领域，具体是基于点云几何特征的角焊缝定位方法，其具体步骤如下：S1、预设相机拍摄的初始位置；S2、多角度拍摄结果重建模型；S3、计算转换矩阵；S4、将转移到机器人坐标系下；S5、计算每条焊缝的观察位置和姿态；S6、控制机器人运动到对应的位姿下拍摄点云；S7、利用预处理获取工件的点云；S8、将点云转换到机器人坐标系下；S9、进行点云拼接；S10、生成一个焊接工件点云；S11、将点云聚类分割为多个平面；S12、计算面面之间的点云交线；S13、计算交线的凹凸性，排除凹线；S14、计算线的起点、重点和法向量；S15、生成最终的焊缝信息并由机器人执行，通过本发明将各位置的点云融合成一个相对完整的工件点云模型。

Description

基于点云几何特征的角焊缝定位方法
技术领域
本发明涉及焊接自动化领域，具体是基于点云几何特征的角焊缝定位方法。
背景技术
焊接是制造业中较为基础的技术环节，有着广泛的应用场景。在工业机器人的焊接场景下，常见的自动化焊接方式有焊缝追踪和焊缝定位。如中国专利号为201811282079.6的一种基于激光传感器的焊缝追踪系统及方法以及中国专利申请号为201811168970.7的基于偏振光照明的焊缝自动追踪系统中，焊缝追踪通常需要花费较长的时间识别和定位焊缝，并且还需要用户人工设定焊缝位置，降低了使用效率增加了人工成本和使用难度。如中国专利申请号为201711479984.6的一种焊缝定位装置及使用焊缝定位装置的焊接方法以及中国专利申请号为201811377160.2的一种方便寻找和定位焊缝的焊接定位装置依赖于一些特定的定位装置和设备，这些装置和设备的存在导致焊接系统有较高的使用条件和使用成本。同时定位装置的存在导致对于需要加工的焊接件有着一定的尺寸和形状要求。
发明内容
为了解决上述问题，本发明提出基于点云几何特征的角焊缝定位方法。
基于点云几何特征的角焊缝定位方法，其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、重点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点在：planeB面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点在planeA面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点。
本发明的有益效果是：通过一种方法自动形成焊接工件的实际点云模型，由于点云质量会受到实际工件和相机位置的影响，提出了一套利用有缺损的点云和工件理论模型自动生成合理的焊缝观察位置的技术，在各观察位置拍摄点云的基础上将各位置的点云融合成一个相对完整的工件点云模型，其次，本发明提供了一种基于几何特征的角焊缝识别定位方法，在点云模型上识别和定位焊缝位置，以此来减少人工干预和减少焊接对其他定位设备的依赖，优化焊接流程用一种较为通用的方法生成和定位焊缝位置。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的流程结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。
如图1所示，基于点云几何特征的角焊缝定位方法，其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、重点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
通过基于工业机器人的整体建模方法和三维点云几何特征的焊缝识别定位方法，实现了一种较为通用的焊缝识别定位方法，该方法减少了机器人焊接过程中的人工干预，优化了系统的使用流程，既保护了工人的安全性也增加了生产效率；同时，由于较好的通用性使得该方法能加工不同的焊接加工工件，提高工厂流水线生产时的灵活性和对非标产品的处理能力。
所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点在：planeB面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点在planeA面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点。
通过一种方法自动形成焊接工件的实际点云模型，由于点云质量会受到实际工件和相机位置的影响，提出了一套利用有缺损的点云和工件理论模型自动生成合理的焊缝观察位置的技术，在各观察位置拍摄点云的基础上将各位置的点云融合成一个相对完整的工件点云模型，其次，本发明提供了一种基于几何特征的角焊缝识别定位方法，在点云模型上识别和定位焊缝位置，以此来减少人工干预和减少焊接对其他定位设备的依赖，优化焊接流程用一种较为通用的方法生成和定位焊缝位置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于点云几何特征的角焊缝定位方法，其特征在于：其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、重点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
2.根据权利要求1所述的基于点云几何特征的角焊缝定位方法，其特征在于：所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
3.根据权利要求1所述的基于点云几何特征的角焊缝定位方法，其特征在于：所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点在：planeB面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点在planeA面方程下的正负位置，统计为负值的点在半径内点的比例，大于阈值删除该点。
CN202110321791.8A 2021-03-25 2021-03-25 基于点云几何特征的角焊缝定位方法 Active CN113177983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321791.8A CN113177983B (zh) 2021-03-25 2021-03-25 基于点云几何特征的角焊缝定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321791.8A CN113177983B (zh) 2021-03-25 2021-03-25 基于点云几何特征的角焊缝定位方法

Publications (2)

Publication Number Publication Date
CN113177983A true CN113177983A (zh) 2021-07-27
CN113177983B CN113177983B (zh) 2022-10-18

Family

ID=76922691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321791.8A Active CN113177983B (zh) 2021-03-25 2021-03-25 基于点云几何特征的角焊缝定位方法

Country Status (1)

Country Link
CN (1) CN113177983B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744245A (zh) * 2021-09-03 2021-12-03 江南大学 一种点云中的结构加强筋焊缝定位方法及系统
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114515924A (zh) * 2022-03-24 2022-05-20 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN109514133A (zh) * 2018-11-08 2019-03-26 东南大学 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN110227876A (zh) * 2019-07-15 2019-09-13 西华大学 基于3d点云数据的机器人焊接路径自主规划方法
CN110455187A (zh) * 2019-08-21 2019-11-15 哈尔滨工业大学 一种基于三维视觉的盒体工件焊缝的检测方法
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514133A (zh) * 2018-11-08 2019-03-26 东南大学 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN110227876A (zh) * 2019-07-15 2019-09-13 西华大学 基于3d点云数据的机器人焊接路径自主规划方法
CN110455187A (zh) * 2019-08-21 2019-11-15 哈尔滨工业大学 一种基于三维视觉的盒体工件焊缝的检测方法
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUOYANG WAN等: "6DOF Object Positioning and Grasping Approach for Industrial Robots Based on Boundary Point Cloud Features", 《HINDAWI-MATHEMATICAL PROBLEMS IN ENGINEERING》 *
LUNZHAO ZHANG等: "Point Cloud Based Three-Dimensional Reconstruction and Identification of Initial Welding Position", 《TRANSACTIONS ON INTELLIGENT WELDING MANUFACTURING》 *
杜博宇: "焊接机器人无示教模式三维焊缝信息提取", 《中国优秀硕士学位论文全文数据库》 *
林嘉华: "复杂焊缝图像识别及三维重建研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN113793344B (zh) * 2021-08-31 2023-09-29 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN113744245A (zh) * 2021-09-03 2021-12-03 江南大学 一种点云中的结构加强筋焊缝定位方法及系统
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114170176B (zh) * 2021-12-02 2024-04-02 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114515924A (zh) * 2022-03-24 2022-05-20 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法
CN114515924B (zh) * 2022-03-24 2022-11-08 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法

Also Published As

Publication number Publication date
CN113177983B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN113177983B (zh) 基于点云几何特征的角焊缝定位方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN111267095B (zh) 一种基于双目视觉的机械臂抓取控制方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN107886528B (zh) 基于点云的配电线路作业场景三维重建方法
WO2021184757A1 (zh) 机器人视觉末端定位方法、装置及计算机可读存储介质
CN111121655B (zh) 一种共面等大多孔型工件位姿与孔径视觉检测方法
CN114571153B (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN110443199B (zh) 一种基于二维几何轮廓的点云姿态识别方法
CN113042939B (zh) 基于三维视觉信息的工件焊缝定位方法及系统
WO2020151454A1 (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN114022551A (zh) 一种燃油车加油盖精确识别与位姿估计的方法
CN113715016A (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN114882108A (zh) 一种二维图像下汽车发动机盖抓取位姿的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant