CN108942918B - 一种基于线结构光的立体定位方法 - Google Patents

一种基于线结构光的立体定位方法 Download PDF

Info

Publication number
CN108942918B
CN108942918B CN201810485790.5A CN201810485790A CN108942918B CN 108942918 B CN108942918 B CN 108942918B CN 201810485790 A CN201810485790 A CN 201810485790A CN 108942918 B CN108942918 B CN 108942918B
Authority
CN
China
Prior art keywords
coordinate system
manipulator
structured light
visual
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810485790.5A
Other languages
English (en)
Other versions
CN108942918A (zh
Inventor
刘美菊
张锐
郭喜峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Jianzhu University
Original Assignee
Shenyang Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Jianzhu University filed Critical Shenyang Jianzhu University
Priority to CN201810485790.5A priority Critical patent/CN108942918B/zh
Publication of CN108942918A publication Critical patent/CN108942918A/zh
Application granted granted Critical
Publication of CN108942918B publication Critical patent/CN108942918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明的一种基于线结构光的立体定位方法，包括：步骤1：将线结构光视觉系统的视觉坐标系与机器人的机械手坐标系手眼标定，求出视觉坐标系与机械手坐标系之间的坐标系转换矩阵；步骤2：由机械手带着线结构光扫描初始位置零件，得到3D点云图像，制作零件模板；步骤3：将零件在视觉坐标系下沿x，y，z轴旋转平移，通过零件模板对变换位置后的零件进行模板匹配，计算视觉坐标系下初始位置与变换后位置之间的视觉坐标系位置转换矩阵；步骤4：根据坐标转换矩阵与位置转换矩阵，计算零件在机械手坐标系中初始位置和变换后位置之间的机械手坐标系位置转换矩阵。本发明定位方法简单、定位精确、易于推广等优点，能有效满足立体定位的需要。

Description

一种基于线结构光的立体定位方法
技术领域
本发明属于机器视觉技术领域，涉及一种基于线结构光的立体定位方法。
背景技术
随着我国制造业的不断发展，工业机器人已经成为先进制造业中不可或缺的重要装备，随着机器视觉技术的应用与发展，越来越多的机器人将机器视觉作为其自主导航的重要工具。机器视觉系统与工业机器人的结合，相当于给机器人装上了眼睛，从此机器人不再只能运动到事先示教好的位置。但传统的机器视觉只能进行平面识别，对于有角度、高度等姿态变化的物体不能进行实时定位。
发明内容
为解决上述技术问题，本发明的目的是提供种基于线结构光的立体定位方法，该方法具有运算简单、匹配精度高、定位准确、易推广等特点，并能有效满足机器人定位抓取的需要。
本发明提供一种基于线结构光的立体定位方法，包括如下步骤：
步骤1：将线结构光视觉系统的视觉坐标系与机器人的机械手坐标系手眼标定，求出视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0；
步骤2：由机械手带着线结构光扫描初始位置零件，得到3D点云图像，制作零件模板；
步骤3：将零件在视觉坐标系下沿x，y，z轴旋转平移，通过零件模板对变换位置后的零件进行模板匹配，计算视觉坐标系下初始位置与变换后位置之间的视觉坐标系位置转换矩阵T0；
步骤4：根据坐标转换矩阵M0与位置转换矩阵T0，计算零件在机械手坐标系中初始位置和变换后位置之间的机械手坐标系位置转换矩阵T1；
步骤5：根据械手坐标系位置转换矩阵T1计算零件变换位置后在机械手坐标系下坐标。
在本发明的基于线结构光的立体定位方法中，所述步骤1包括：
步骤1.1：在线结构光视觉传感器视场范围内用自制靶标标记四个点，该四个点之间任意三点不共线，四点不共面；
步骤1.2：由固定在机械手上的线结构光视觉传感器扫描靶标得到四个点的点云信息，得到视觉坐标系下四个点的三维坐标值；
步骤1.3：采用三维动态测量得到相对于机械手坐标系下的四个点的三维坐标；
步骤1.4：计算视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0。
在本发明的基于线结构光的立体定位方法中，所述步骤2包括中采用GeomagicStudio 12软件制作零件模板。
在本发明的基于线结构光的立体定位方法中，所述步骤3中通过零件模板对变换位置后的零件进行模板匹配具体为：
将零件模板和实际场景的3D描述子匹配后，以点至点的对应关系找到实际场景中与零件模板相似的实例，得到视觉坐标系下转换关系。
在本发明的基于线结构光的立体定位方法中，所述步骤4具体为：
零件在机械手坐标系下从初始位置到变换后位置的机械手坐标系位置转换矩阵为
Figure BDA0001666679680000021
本发明提出一种基于线结构光的立体定位方法，为使机器人能够实时对零件进行匹配抓取，必须将结构光视觉传感器作为其自主导航的重要工具，通过手眼标定、3D模板匹配，解决了机器人自动定位问题，并且有效解决了视觉传感器坐标系与机械手坐标系之间转换关系以及视觉坐标系下的转换关系和机械手坐标系下的转换关系矩阵的计算，标定以及匹配方法依赖于严格的数学理论推导，匹配精度高、定位准确。本发明的定标具有方法简单、匹配精度高、定位准确、易于推广等优点，能有效满足机器人定位抓取的需要。
附图说明
图1为本发明的一种基于线结构光的立体定位方法的流程图；
图2为手眼标定坐标系转换关系示意图。
具体实施方式
参照附图1和图2对本发明的一种基于线结构光的立体定位方法进行说明，该定位方法包括如下步骤：
步骤1：将线结构光视觉系统的视觉坐标系与机器人的机械手坐标系手眼标定，求出视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0；
所述步骤1包括：
步骤1.1：在线结构光视觉传感器视场范围内用自制靶标标记四个点，该四个点之间任意三点不共线，四点不共面；
步骤1.2：由固定在机械手上的线结构光视觉传感器扫描靶标得到四个点的点云信息，得到视觉坐标系下四个点的三维坐标值；
具体实施时，视觉坐标系下四个点的三维坐标值，分别为：P1(a1、b1、c1)，P2(a2、b2、c2)，P3(a3、b3、c3)，P4(a4、b4、c4)；
步骤1.3：采用三维动态测量得到相对于机械手坐标系下的四个点的三维坐标；
具体实施时，机械手坐标系下的四个点的三维坐标，分别为：Q1(x1、y1、z1)，Q2(x2、y2、z2)，Q3(x3、y3、z3)，Q4(x4、y4、z4)；
步骤1.4：计算视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0。
坐标系转换矩阵M0为：
Figure BDA0001666679680000041
步骤2：由机械手带着线结构光扫描初始位置零件，得到3D点云图像，制作零件模板；
具体实施时，采用Geomagic Studio 12软件制作零件模板。
步骤3：将零件在视觉坐标系下沿x，y，z轴旋转平移，通过零件模板对变换位置后的零件进行模板匹配，计算视觉坐标系下初始位置与变换后位置之间的视觉坐标系位置转换矩阵T0；
其中，通过零件模板对变换位置后的零件进行模板匹配具体为：
将零件模板和实际场景的3D描述子匹配后，以点至点的对应关系找到实际场景中与模板相似的实例，得到视觉坐标系下转换关系。
步骤4：根据坐标转换矩阵M0与位置转换矩阵T0，计算零件在机械手坐标系中初始位置和变换后位置之间的机械手坐标系位置转换矩阵T1，具体为：
零件在机械手坐标系下从初始位置到变换后位置的机械手坐标系位置转换矩阵为
Figure BDA0001666679680000042
步骤5：根据机械手坐标系位置转换矩阵T1计算零件变换位置后在机械手坐标系下坐标。
按上面的步骤计算转移矩阵M0，T0后，已知机械手坐标系下的初始位置(x0，y0，z0)，机械手坐标系下任意点(x，y，z)，可通过如下公式进行计算。
Figure BDA0001666679680000051
以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于线结构光的立体定位方法，其特征在于，包括如下步骤：
步骤1：将线结构光视觉系统的视觉坐标系与机器人的机械手坐标系手眼标定，求出视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0；
步骤2：由机械手带着线结构光扫描初始位置零件，得到3D点云图像，制作零件模板；
步骤3：将零件在视觉坐标系下沿x，y，z轴旋转平移，通过零件模板对变换位置后的零件进行模板匹配，计算视觉坐标系下初始位置与变换后位置之间的视觉坐标系位置转换矩阵T0；
步骤4：根据坐标转换矩阵M0与位置转换矩阵T0，计算零件在机械手坐标系中初始位置和变换后位置之间的机械手坐标系位置转换矩阵T1；
步骤5：根据械手坐标系位置转换矩阵T1计算零件变换位置后在机械手坐标系下坐标。
2.如权利要求1所述的基于线结构光的立体定位方法，其特征在于，所述步骤1包括：
步骤1.1：在线结构光视觉传感器视场范围内用自制靶标标记四个点，该四个点之间任意三点不共线，四点不共面；
步骤1.2：由固定在机械手上的线结构光视觉传感器扫描靶标得到四个点的点云信息，得到视觉坐标系下四个点的三维坐标值；
步骤1.3：采用三维动态测量得到相对于机械手坐标系下的四个点的三维坐标；
步骤1.4：计算视觉坐标系与机械手坐标系之间的坐标系转换矩阵M0。
3.如权利要求1所述的基于线结构光的立体定位方法，其特征在于，所述步骤2包括中采用Geomagic Studio 12软件制作零件模板。
4.如权利要求1所述的基于线结构光的立体定位方法，其特征在于，所述步骤3中通过零件模板对变换位置后的零件进行模板匹配具体为：
将零件模板和实际场景的3D描述子匹配后，以点至点的对应关系找到实际场景中与零件模板相似的实例，得到视觉坐标系下转换关系。
5.如权利要求1所述的基于线结构光的立体定位方法，其特征在于，所述步骤4具体为：
零件在机械手坐标系下从初始位置到变换后位置的机械手坐标系位置转换矩阵为
Figure FDA0001666679670000021
CN201810485790.5A 2018-05-21 2018-05-21 一种基于线结构光的立体定位方法 Active CN108942918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810485790.5A CN108942918B (zh) 2018-05-21 2018-05-21 一种基于线结构光的立体定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810485790.5A CN108942918B (zh) 2018-05-21 2018-05-21 一种基于线结构光的立体定位方法

Publications (2)

Publication Number Publication Date
CN108942918A CN108942918A (zh) 2018-12-07
CN108942918B true CN108942918B (zh) 2023-04-07

Family

ID=64499276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810485790.5A Active CN108942918B (zh) 2018-05-21 2018-05-21 一种基于线结构光的立体定位方法

Country Status (1)

Country Link
CN (1) CN108942918B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110355754B (zh) * 2018-12-15 2023-09-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110355755B (zh) * 2018-12-15 2023-05-16 深圳铭杰医疗科技有限公司 机器人手眼系统标定方法、装置、设备及存储介质
CN110171708B (zh) * 2019-05-10 2021-09-03 惠州市德赛电池有限公司 一种高精度取料和放料的自动化控制方法
CN111256591B (zh) * 2020-03-13 2021-11-02 易思维（杭州）科技有限公司 一种结构光传感器的外参标定装置及方法
CN112070719B (zh) * 2020-08-10 2023-05-16 盐城工学院 一种自动化零件视觉检测系统
CN114434123B (zh) * 2022-02-24 2022-11-01 亿嘉和科技股份有限公司 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN116294987B (zh) * 2022-11-25 2023-12-08 无锡中车时代智能装备研究院有限公司 一种双机器人自动测量打磨系统中的坐标转换方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN106524945A (zh) * 2016-10-13 2017-03-22 无锡科技职业学院 一种基于机械臂和结构光视觉的平面夹角在线测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102909728B (zh) * 2011-08-05 2015-11-25 鸿富锦精密工业（深圳）有限公司 机器人工具中心点的视觉校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN106524945A (zh) * 2016-10-13 2017-03-22 无锡科技职业学院 一种基于机械臂和结构光视觉的平面夹角在线测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘涛 ; 贾刚 ; 王宗义 ; .一种基于运动的线结构光视觉测量系统标定方法.传感技术学报.2011,第24卷(第04期),625-628页. *
李硕 ; 杨雪荣 ; 成思源 ; 张湘伟 ; .线结构光与CMM集成测量系统一体化标定方法.现代制造工程.2016,(第12期),128-132页. *
解则晓 ; 陈文柱 ; 迟书凯 ; 牟楠 ; .基于结构光视觉引导的工业机器人定位系统.光学学报.2015,(第10期),400-407页. *

Also Published As

Publication number Publication date
CN108942918A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108942918B (zh) 一种基于线结构光的立体定位方法
CN107443377B (zh) 传感器-机器人坐标系转换方法及机器人手眼标定方法
CN109291048B (zh) 一种磨抛工业机器人实时在线编程系统及方法
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN109794963B (zh) 一种面向曲面构件的机器人快速定位方法
CN106524945B (zh) 一种基于机械臂和结构光视觉的平面夹角在线测量方法
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
CN107560538A (zh) 基于激光跟踪仪的六自由度机器人工具坐标系的标定方法
CN112648934B (zh) 一种自动化弯管几何形态检测方法
CN109341532B (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN110906863B (zh) 一种用于线结构光传感器的手眼标定系统及标定方法
CN110936378B (zh) 一种基于增量补偿的机器人手眼关系自动标定方法
CN109623822B (zh) 机器人手眼标定方法
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
JP2016078195A (ja) ロボットシステム、ロボット、制御装置及びロボットの制御方法
TW201538925A (zh) 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
CN109514554B (zh) 利用机器人末端视觉系统的工具坐标系快速标定方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法
Luo et al. Low cost solution for calibration in absolute accuracy of an industrial robot for iCPS applications
CN110421565B (zh) 一种用于实训的机器人全局定位与测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant