CN105716527B - 激光焊缝跟踪传感器标定方法 - Google Patents

激光焊缝跟踪传感器标定方法 Download PDF

Info

Publication number
CN105716527B
CN105716527B CN201610243639.1A CN201610243639A CN105716527B CN 105716527 B CN105716527 B CN 105716527B CN 201610243639 A CN201610243639 A CN 201610243639A CN 105716527 B CN105716527 B CN 105716527B
Authority
CN
China
Prior art keywords
coordinate system
laser
camera
laser plane
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610243639.1A
Other languages
English (en)
Other versions
CN105716527A (zh
Inventor
唐琛
张斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201610243639.1A priority Critical patent/CN105716527B/zh
Publication of CN105716527A publication Critical patent/CN105716527A/zh
Application granted granted Critical
Publication of CN105716527B publication Critical patent/CN105716527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • B23K26/702—Auxiliary equipment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces

Abstract

本发明公开了一种激光焊缝跟踪传感器标定方法。本发明首先放置黑白相间的棋盘格白背景上；通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交；取三组符合上述要求的空间位姿所获取的角点坐标。然后根据角点相对标靶坐标系的矩阵转换关系计算标靶坐标系下的角点坐标；通过一组角点坐标求得一条激光平面上的直线方程。最后由三组数据可以得到三条激光平面上的直线，根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面；完成整个标定过程。本发明使用的传感器标定技术具有实验简单，精度高，速度快等特点。

Description

激光焊缝跟踪传感器标定方法
技术领域
本发明涉及智能机器人激光焊缝跟踪系统中传感器标定方法，传感器标定包括摄像机标定和结构光标定。
背景技术
激光传感器焊接技术因具有高精度、高速度、强适应性等优点被广泛应用于工业焊接领域。激光传感器焊接过程中,由于预装材料的误差以及焊接过程中的热应力而产生的焊缝变形等不确定因素会造成接头位置和尺寸的变化。传统的通过工业机器人采用示教焊接工作方式已无法满足工业焊接所需精度要求,因此需要引入焊缝跟踪系统。结构光视觉传感器具有测量精度高、获得信息量大、灵敏度高等特点,成为焊缝跟踪领域研究的热点。结构光视觉传感器能否精准完成焊接过程，标定是一项关键技术,也是现国内外学者研究的重点。其中如何在三维空间中获取足够数量的高精度标定点是整个标定系统的难点,这主要是因为靶标上已知的三维世界点恰好位于结构光光平面上具有难度性,从而使得三维标点的获取变得困难。
发明内容
针对现有标定技术的不足，本发明以机器人激光扫描式焊缝跟踪系统为研究对象，基于摄像机的外部参数即是摄像机坐标系相对于靶标坐标系的转换矩阵进行标定。
本发明的技术方案的步骤如下：
(1)放置12×12的5mm×5mm大小的黑白相间的棋盘格于白背景上。通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交。取三组符合上述要求的空间位姿所获取的角点坐标。
(2)根据角点相对标靶(棋盘格)坐标系的矩阵转换关系计算标靶坐标系下的角点坐标。通过一组角点坐标求得一条激光平面上的直线方程。
(3)3组数据可以得到三条激光平面上的直线，根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面。完成整个标定过程。
本发明的有益效果：本发明使用的传感器标定技术具有实验简单，精度高，速度快等特点，可以广泛适用于各种已知物体三维结构重建和平面表面轮廓信息测量，并且不需要特定的标定靶，降低标定实验过程中的人为误差几率。
附图说明
图1机器人激光焊缝跟踪系统；
图2摄像机成像等效光路图；
图3图像坐标系示意图；
图4激光平面小孔成像原理图；
图5摄像机相对于激光平面坐标转换关系；
图6标定靶(棋盘格)。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
(1)激光式焊缝扫描跟踪传感器系统
如图1所示，激光扫描式焊缝跟踪传感器系统主要由激光焊缝跟踪传感器2和六自由度机器人1组成。激光焊缝跟踪传感器固定在机器人末端，由机械臂控制其对焊缝表面4进行检测，采用一字结构光3。该系统涉及的坐标系有如下，图中，{R}为与机器人底座固定相连的基础坐标系；{E}为机械臂末端自由度坐标系；{C}为激光平面坐标系。等效光路图如图2所示。
摄像机坐标系：摄像机焦距中心点Oc为原点所建立的坐标系Oc-XcYcZc,其中Xc、Yc轴分别对应图像坐标系的x、y轴。Zc轴方向根据右手定责确定，摄像机坐标系原点Oc和像平面坐标原点O之间距离为摄像机焦距f。
机器人基坐标系：在焊接过程中，摄像机坐标系随着焊缝传感器的空间位姿变动发生变化，不具有一般性。需要建立一个坐标系对摄像机以及周围物体进行描述，因此引入机器人基坐标系即世界坐标系Ow-XwYwZw,从而对其他坐标系进行描述。
机械手末端坐标系：机械手末端相对于机器人基坐标系的位姿可通过控制器屏幕直接读出。
(2)传感器的标定
机器视觉系统中激光器发射出来的线性结构光形成了激光平面，在摄像机坐标系中一个特征点Pc，其对应图像坐标系中一个特征点Pf。如果已知点Pf则可以得到摄像机坐标系中直线OPc的方程。由图2可知，焊缝特征点还位于结构光平面Π上。若结构光平面方程已知，则可以确定特征点图像坐标值Pf与特征点摄像机坐标值的一一对应关系。
相机坐标系{OC-XCYCZC}是以相机透镜的中心为原点建立的坐标系，坐标轴与图像坐标系的坐标系相平行，对应关系如下：
如图3所示，图像的像素坐标系{O′-μν}是以图像的左上角为原点来建立的，单位是像素值。
为了与实际的物理对象的尺寸相对应，建立新的图像坐标系{O-xy}，假定每个像素在x、y方向上的大小为dx、dy，其原点在像素坐标系的(μ0，ν0)，这两个坐标系之间的关系为：
dx和dy分别表示传感器u轴和v轴上单位像素的尺寸大小。
摄像机的模型有线性模型和非线性模型，为了简化计算，使用如图4所示的线性模型。它是一种理想化的模型，依据小孔成像原理(针孔相机模型)
fx、fy分别称为u轴和v轴上的归一化焦距。M1为3×3内参数矩阵，M2为3×4外参数矩阵。
然后采用摄像机标定的棋盘格对结构光进行标定。在经过图像处理获得焊缝特征点的二维像素坐标后，为了转换到机器人基坐标系中的三维坐标，需要先将其转换到摄像机坐标系下的三维坐标。图像处理结果的像素坐标为摄像机坐标提供了两个约束，同时特征点还位于摄像机坐标系下固定的结构光平面上。由于结构光平面方程具有三个未知参数，因此需要获得结构光平面上至少三个特征点。根据摄像机的标定结果，摄像机的外部参数即是摄像机坐标系相对于靶标坐标系的转换矩阵。因为棋盘中的角点在靶标坐标系中的坐标已知，因此可以计算出棋盘任意角点在摄像机坐标系下的坐标值。如果这些角点同时位于结构光平面上，即可计算得到结构光平面方程。
如图5所示，{W0}为靶标坐标系；{C}为摄像机坐标系；P为棋盘中任一角点。已知点P在靶标坐标系下的坐标为(xw0，yw0，zw0)，由摄像机标定可知，摄像机在靶标坐标系下的姿态为R＝[r1r2r3]，位置为t＝[t1t2t3]T，其中R为单位正交阵，存在R-1＝RT。则P在摄像机下的坐标(xc，yc，zc)可由下式求出。
如图6，传感器中的结构光平面与靶标棋盘相交于点A1、A2…A12，分别是棋盘上对角线上的角点，其对应的靶标坐标系下的坐标值已知。根据摄像机的外部参数矩阵，可获得其对应的摄像机坐标系下的坐标值。由点A1、A2…A12在摄像机坐标系下的坐标值可以得到结构光平面上直线L1的参数方程。改变传感器的位姿，传感器中的结构光平面与靶标棋盘相交于点B1、B2…B12，同理可以得到结构光平面上直线L2的参数方程。由直线L1与L2可以得到结构光Π的平面方程。
计算过程如下：对于含有激光的一组图片，假设激光与棋盘格相交于某点P，其世界坐标系下的坐标为(xw，yw，zw)。计算P点的相机坐标系坐标(xC，yC，zC)，有：
[xC yC zC]T＝M2[xw yw zw 1]T
根据线结构光平面方程标准式
axc+byc+czc＝1
对该组图像中的所有n个对角线上的角点建立方程组：
axc1+byc1+czc1＝1
axcn+bycn+czcn＝1
转化成矩阵的形式：
通过最小二乘法求解，可计算出a、b、c的值，完成激光平面的标定过程。

Claims (1)

1.激光焊缝跟踪传感器标定方法，其特征在于该方法包括以下步骤：
步骤（1）放置12×12的5mm×5mm大小的黑白相间的棋盘格于白背景上；通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交；取三组符合上述要求的空间位姿所获取的角点坐标；
步骤（2）根据角点相对标靶坐标系的矩阵转换关系计算标靶坐标系下的角点坐标；通过一组角点坐标求得一条激光平面上的直线方程；
步骤（3）由三组数据可以得到三条激光平面上的直线，根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面；完成整个标定过程。
CN201610243639.1A 2016-04-18 2016-04-18 激光焊缝跟踪传感器标定方法 Expired - Fee Related CN105716527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610243639.1A CN105716527B (zh) 2016-04-18 2016-04-18 激光焊缝跟踪传感器标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610243639.1A CN105716527B (zh) 2016-04-18 2016-04-18 激光焊缝跟踪传感器标定方法

Publications (2)

Publication Number Publication Date
CN105716527A CN105716527A (zh) 2016-06-29
CN105716527B true CN105716527B (zh) 2018-01-12

Family

ID=56160246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610243639.1A Expired - Fee Related CN105716527B (zh) 2016-04-18 2016-04-18 激光焊缝跟踪传感器标定方法

Country Status (1)

Country Link
CN (1) CN105716527B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106839979B (zh) * 2016-12-30 2019-08-23 上海交通大学 激光线结构光传感器的手眼标定方法
CN109827607B (zh) * 2017-11-23 2021-01-26 清华大学 线结构光焊缝跟踪传感器的标定方法及装置
CN109077822B (zh) * 2018-06-22 2020-11-03 雅客智慧（北京）科技有限公司 一种基于视觉测量的牙科种植手机标定系统及方法
WO2020047713A1 (en) 2018-09-03 2020-03-12 Abb Schweiz Ag Method and apparatus for managing robot system
CN110142533A (zh) * 2019-05-23 2019-08-20 深圳市科瑞悦电气设备有限公司 一种基于机器视觉与ai算法的自动焊接方法及焊接装置
CN110340886B (zh) * 2019-06-03 2020-10-23 武汉中观自动化科技有限公司 一种双目跟踪实现机器人路点迁移的方法及其系统
CN112238304B (zh) * 2019-07-18 2023-01-06 山东淄博环宇桥梁模板有限公司 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法
CN112184804B (zh) * 2020-08-31 2024-03-22 季华实验室 大体积工件高密度焊点定位方法、装置、存储介质及终端
CN112362037B (zh) * 2020-11-10 2021-08-13 南京航空航天大学 一种基于组合测量的激光跟踪仪站位规划方法
CN112620926B (zh) * 2020-12-18 2022-10-21 深圳辰视智能科技有限公司 一种焊点追踪方法、装置及存储介质
CN113706632B (zh) * 2021-08-31 2024-01-16 上海景吾智能科技有限公司 基于三维视觉标定板的标定方法和系统
CN114140541A (zh) * 2021-12-07 2022-03-04 哈尔滨工业大学 一种多线结构光焊缝跟踪传感器的参数标定方法
CN115556120B (zh) * 2022-09-30 2023-08-04 中建三局第三建设工程有限责任公司 一种基于随机自适应的焊缝路径规划无示教方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02183102A (ja) * 1989-01-10 1990-07-17 Fanuc Ltd 視覚センサにおけるキャリブレーション自動調整方式
CN1657868A (zh) * 2005-03-23 2005-08-24 天津大学 基于共面标定参照物的线结构光传感器快速标定方法
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感系统结构参数的现场标定方法
CN101532821A (zh) * 2009-04-24 2009-09-16 北京航空航天大学 一种激光跟踪视觉导引测量系统的全局校准方法
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN105043251A (zh) * 2015-06-01 2015-11-11 河北工业大学 一种基于机械运动的线结构光传感器的标定方法与装置
CN105303560A (zh) * 2015-09-22 2016-02-03 中国计量学院 机器人激光扫描式焊缝跟踪系统标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02183102A (ja) * 1989-01-10 1990-07-17 Fanuc Ltd 視覚センサにおけるキャリブレーション自動調整方式
CN1657868A (zh) * 2005-03-23 2005-08-24 天津大学 基于共面标定参照物的线结构光传感器快速标定方法
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感系统结构参数的现场标定方法
CN101532821A (zh) * 2009-04-24 2009-09-16 北京航空航天大学 一种激光跟踪视觉导引测量系统的全局校准方法
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN105043251A (zh) * 2015-06-01 2015-11-11 河北工业大学 一种基于机械运动的线结构光传感器的标定方法与装置
CN105303560A (zh) * 2015-09-22 2016-02-03 中国计量学院 机器人激光扫描式焊缝跟踪系统标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
立体视觉传感器优化设计技术研究;周学斌 等;《计算机测量与控制》;20070630;第15卷(第6期);第831-833页 *

Also Published As

Publication number Publication date
CN105716527A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105716527B (zh) 激光焊缝跟踪传感器标定方法
CN104331896B (zh) 一种基于深度信息的系统标定方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN106949836B (zh) 一种立体视觉摄像头同侧目标位置标定装置及方法
Anwar et al. Projector calibration for 3D scanning using virtual target images
Zhang et al. A robust and rapid camera calibration method by one captured image
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
CN104613899A (zh) 一种全自动的结构光手眼三维测量系统标定方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN103398660A (zh) 用于获取焊缝高度信息的结构光视觉传感器参数标定方法
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
JP3138080B2 (ja) 視覚センサの自動キャリブレーション装置
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN114714356A (zh) 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN107229043A (zh) 一种距离传感器外参数标定方法和系统
JP3690581B2 (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
CN115235379A (zh) 一种单目线激光三维视觉传感器参数在位标定装置及方法
CN109506629B (zh) 一种水下核燃料组件检测装置旋转中心标定的方法
JP2007533963A5 (zh)
CN110033491B (zh) 一种相机标定方法
Zexiao et al. A novel approach for the field calibration of line structured-light sensors
CN110849285A (zh) 基于单目相机的焊点深度测量方法、系统及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180112

Termination date: 20200418

CF01 Termination of patent right due to non-payment of annual fee