CN114378808A - 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置 - Google Patents

一种多目相机和线激光辅助机械臂跟踪目标的方法和装置 Download PDF

Info

Publication number
CN114378808A
CN114378808A CN202011140999.1A CN202011140999A CN114378808A CN 114378808 A CN114378808 A CN 114378808A CN 202011140999 A CN202011140999 A CN 202011140999A CN 114378808 A CN114378808 A CN 114378808A
Authority
CN
China
Prior art keywords
mechanical arm
line laser
camera
calibration plate
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011140999.1A
Other languages
English (en)
Inventor
孟浩
左其友
袁子意
张建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dajie Robot Technology Co ltd
Original Assignee
Shanghai Dajie Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dajie Robot Technology Co ltd filed Critical Shanghai Dajie Robot Technology Co ltd
Priority to CN202011140999.1A priority Critical patent/CN114378808A/zh
Publication of CN114378808A publication Critical patent/CN114378808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种多目相机和线激光辅助机械臂跟踪目标的方法，通过下述几个部分来实现：包括双目相机内外参数标定、线激光与机械臂位置关系标定、线激光与相机之间位置关系标定、双目相机拍摄目标得到初始点坐标和线激光跟踪扫描目标物体轮廓三维坐标。根据双目相机给定的初始目标点，将机械臂移动至初始位置，使得线激光传感器可以实时扫描到目标物体轮廓，可以精确得到目标物体轮廓的三维坐标，达到机械臂完成跟踪目标物体轮廓的目标,精度可达到毫米级别，易于得到机械臂需要行走的精确坐标。

Description

一种多目相机和线激光辅助机械臂跟踪目标的方法和装置
技术领域
本发明涉及机器人运动中精确寻找目标点三维坐标的方法技术领域。
背景技术
目前机械臂在运动路径规划的过程中，需要已知目标点的三维坐标。通过多目相机可以获取，但相机受外界环境光影响较大，获得的三维坐标点误差也较大。也可以通过线激光传感器扫描目标获得三维坐标，但线激光传感器视野范围较小。因此，大范围的高精度位置定位仍是一个技术难点。
发明内容
本发明目的就在于提供一种机械臂准确跟踪目标物体轮廓的方法，精准度可以达到毫米级。
本发明的构思：采用多目相机结合线激光的方法进行寻找目标点，多目相机获得粗略的初始点，再将线激光移动至视野范围内扫描目标，获得精确的三维坐标。通过高精度的标定方法，可以获取目标物体精准的轮廓信息，实现机械臂精确跟踪目标的功能。
第一方面，本发明实施例提供了一种多目相机和线激光辅助机械臂跟踪目标的方法，包括：
S100,对多目相机进行内参标定和外参标定；
S200,对线激光与机械臂之间的位置关系进行标定；
S300，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
S400,使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
S500，将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
S600,用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
S700,将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
S800,重复步骤S600和步骤S700，直至跟踪扫描完目标物体的所有轮廓。
本发明实施例提供的第一方面另一种可实施的方案之一，所述的S100对相机进行内参标定，包括：
S111选定一角度，相机拍摄棋盘格标定板；
S112通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
S113改变相机拍摄棋盘格标定板的角度，重复步骤S111和步骤S112，直至完成拍摄30-60个不同角度标定板图片；
S114利用张正友标定方法，得到相机内参。
本发明实施例提供的第一方面另一种可实施的方案之二，所述的S100对相机进行外参标定，包括：
S121多目相机同时拍摄棋盘格标定板；
S122通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
S123通过比对多目相机分别得到的像素坐标，计算出多目相机之间的位置关系，即多目相机外参。
本发明实施例提供的第一方面另一种可实施的方案之三，所述的S200对线激光与机械臂之间位置关系标定，包括：
S210移动机械臂，使机械臂上连接的工具头末端接触到平面标定板；
S220记录下此时机械臂上的工具头末端在机械臂坐标系下的位置P1；
S230移动工具头末端，使得接触平面标定板的位置改变，重复步骤S210和步骤S220，得到新的坐标点P2；
S240重复S230五次以上，记录工具头末端在平面标定板上的坐标点P1、P2、P3、P4、P5…；
S250通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
S260使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点Plaser；
S270调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
S280不断调整机械臂姿态，重复步骤S270十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
S290根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
本发明实施例提供的第一方面另一种可实施的方案之四，所述的S300线激光与双目相机之间的位置关系标定，包括：
S310多目相机拍摄圆点凸台标定板得到图片；
S320通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标Pcamera；
S330使用线激光扫描圆点凸台标定板，得到三维坐标点云；
S340处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
S350将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
第二方面，本发明实施例提供了一种多目相机和线激光辅助机械臂跟踪目标的系统，包括：
多目相机、线激光和机械臂
内参标定单元，用于对多目相机进行内参标定；
外参标定单元，用于对多目相机进行外参标定；
第一标定单元，用于对线激光与机械臂之间的位置关系进行标定；
第二标定单元，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
粗定位单元,用于：使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
移动单元，用于将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
扫描单元,用于：用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
精定位单元,用于将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
跟踪单元,用于：重复扫描单元和精定位单元的任务，直至跟踪扫描完目标物体的所有轮廓。
本发明实施例提供的第二方面另一种可实施的方案之一，所述的内参标定单元，包括：
模块一，用于：选定一角度，相机拍摄棋盘格标定板；
模块二：通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
模块三：改变相机拍摄棋盘格标定板的角度，重复模块一和模块二的任务，直至拍摄30-60不同角度的图片；
模块四：利用张正友标定方法，得到相机内参。
本发明实施例提供的第二方面另一种可实施的方案之二，所述的外参标定单元，包括：
模块一，用于控制多目相机同时拍摄棋盘格标定板；
模块二，用于处理图像得到棋盘格标定板上所有角点在图像上的像素坐标；
模块三，用于：比对多目相机分别得到的像素坐标，计算出多目相机之间的位置关系，即多目相机外参。
本发明实施例提供的第二方面另一种可实施的方案之三，所述的第一标定单元，包括：
模块一，用于控制机械臂的移动，使机械臂上连接的工具头末端接触到平面标定板；
模块二，用于记录此时机械臂上的工具头末端在机械臂坐标系下的位置P1；
模块三，用于：移动工具头末端，使得接触平面标定板的位置改变，重复模块一和模块二的任务，得到新的坐标点P2；
模块四，用于：重复模块三的任务五次以上，记录工具头末端在平面标定板上的坐标点P1、P2、P3、P4、P5…；
模块五，用于：通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
模块六，用于：使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点Plaser；
模块七，用于：调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
模块八，用于：调整机械臂姿态，重复模块七的任务十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
模块九，用于：根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
本发明实施例提供的第二方面另一种可实施的方案之四，所述的第二标定单元，包括：
模块一，用于控制多目相机拍摄圆点凸台标定板得到图片；
模块二，用于：通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标Pcamera；
模块三，用于：使用线激光扫描圆点凸台标定板，得到三维坐标点云；
模块四，用于：处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
模块五，用于：将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
在一种可实现的设计中，本发明实施例还提供一种多目相机和线激光辅助机械臂跟踪目标的装置或终端，包括一个或多个处理器、存储装置；存储装置，用于存储一个或多个程序；当所述的一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明中任意可选的一种利用多目相机和线激光辅助机械臂跟踪目标的方法。还可以包括通信接口，用于与其它设备或通信网络进行通信。
另一方面，本发明实施例还可提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述本发明中提供的任一一种多目相机和线激光辅助机械臂跟踪目标的方法。
本领域的技术人员可以理解实现上述实施例方法提供的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法中的步骤之一或其组合。
本发明的有益效果：
1.本发明提供的机械臂精确跟踪目标物体轮廓的方法，采用相机和线激光结合的非接触测量方法，可以精确得到目标物体轮廓的三维坐标，达到机械臂完成跟踪目标物体轮廓的目标。
2.本发明采用线激光和双目相机结合的方法测量目标物体轮廓三维坐标，精度可达到毫米级别，易于得到机械臂需要行走的精确坐标。
3.本发明跟踪目标物体轮廓的方法，在机械臂运动过程中，线激光实时扫描目标物体，得到机械臂需要行走的目标点，将目标点信息实时传给机械臂控制器并执行，易于实时得到机械臂需要行走的路径点。
4.本发明提供的多目相机和线激光辅助机械臂跟踪目标的系统，采用独立控制方式，只需要控制机械臂按照线激光扫描得到的轮廓信息进行行走；对于线激光和相机，只需要PC机控制其采集数据，控制过程简单、方便，易于实现。
下面结合附图对本发明的具体实施方式举例说明：
附图说明
图1为实施例双目相机和线激光辅助机械臂跟踪目标整体装置示意图。
图2为实施例第一相机2内参标定装置示意图。
图3为实施例第一相机2和第二相机3组成的双目相机外参标定装置示意图。
图4为实施例线激光4坐标系与机械臂1坐标系之间旋转偏移位置关系标定装置示意图。
图5为实施例线激光4与第一相机2和第二相机3组成的双目相机之间旋转偏移位置关系标定装置示意图。
图6为实施例双目相机和线激光辅助机械臂跟踪目标轮廓流程图。
图7为实施例线激光4坐标系与机械臂1坐标系之间旋转偏移位置关系流程图。
图8为实施例线激光4与第一相机2和第二相机3组成的双目相机之间旋转偏移位置关系标定流程图。
附图标记说明：
1机械臂、2第一相机、3第二相机、4线激光传感器、5工具头
6目标物体、7相机支架、8圆点凸台标定板、9平面标定板
10棋盘格标定板
具体实施方式
此处所描述的具体实施例仅仅用于解释本专利的技术方案，而非对公开技术方案的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开技术方案相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，实施例中提到的设备部件和/模块本身的结构如果没有详细说明，为本领域技术人员根据现有公开技术可理解或市售产品。
本专利实施例提供的双目相机和线激光辅助机械臂跟踪目标轮廓的方法，通过下述几个部分来实现：包括双目相机内外参数标定、线激光与机械臂位置关系标定、线激光与相机之间位置关系标定、双目相机拍摄目标得到初始点坐标和线激光跟踪扫描目标物体轮廓三维坐标。根据双目相机给定的初始目标点，将机械臂移动至初始位置，使得线激光传感器可以实时扫描到目标物体轮廓，引导机械臂跟踪目标物体轮廓。
在机器人轨迹规划前，线激光传感器连续扫描外界物体，并生成点云，处理点云得到外界物体在机械臂坐标系下的坐标，机械臂移动至此三维坐标处，线激光实时更新目标物体轮廓，机械臂根据三维坐标进行轨迹规划，机械臂可以连续沿着目标物体轮廓移动，即实现了机械臂末端准确跟踪目标物体轮廓。
本实施例提供了一种多目相机和线激光辅助机械臂跟踪目标的方法，包括：
S100,对多目相机进行内参标定和外参标定；
S200,对线激光与机械臂之间的位置关系进行标定；
S300，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
S400,使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉三角测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
S500，将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
S600,用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
S700,将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
S800,重复步骤S600和步骤S700，直至跟踪扫描完目标物体的所有轮廓。
本专利所述的多目相机，是指两个以上的相机。具体需要的个数，本领域技术人员可以根据采用的相机视场、目标物体的形状大小等来选择。
如图1所示，以第一相机和第二相机两个相机组成的多目相机为例，组成一个多目相机和线激光辅助机械臂跟踪目标装置。该装置包括机械臂1、连接在机械臂1末端的工具头5及线激光传感器4、设于目标物体6上的相机支架7、设于相机支架7上的第一相机2和第二相机3。
进一步，S100对相机进行内参标定可实现的方式之一，包括如下步骤：
S111选定一角度，相机拍摄棋盘格标定板；
S112通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
S113改变相机拍摄棋盘格标定板的角度，重复步骤S111和步骤S112，直至拍摄30-60幅不同角度标定板图片；
S114利用张正友标定方法，得到相机内参。
以图1提供的多目相机和线激光辅助机械臂跟踪目标装置为例，对第一相机2和第二相机3进行内参标定。如图2所示，根据第一相机2和第二相机3的视场，选择大小合适的高精度棋盘格标定板10，内参标定时保证不同角度的标定图片数量在50张以上，并且选用相机二次畸变模型，从而保证内参标定精度。
进一步，S100对相机进行外参标定可实现的方式之一，包括如下步骤：
S121多目相机同时拍摄棋盘格标定板；
S122通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
S123通过比对多目相机分别得到的像素坐标，计算出多目相机之间的位置关系，即双目相机外参。
以图1提供的多目相机和线激光辅助机械臂跟踪目标装置为例，对第一相机2和第二相机3组成的双目相机外参标定。如图3所示，第一相机2和第二相机3同时拍摄棋盘格标定板10，双目匹配后，可以计算出第一相机2和第二相机3的位置关系。重复多次，通过非线性优化，可以精确得到第一相机2和第二相机3之间的旋转偏移位置关系。
进一步，如图4和图7所示，S200对线激光与机械臂之间位置关系标定可实现的方式之一，其步骤包括：
S210移动机械臂，使机械臂连接的工具头5末端接触到平面标定板9；
S220记录下此时机械臂末端在机械臂坐标系下的位置P1；
S230移动工具头末端，使得接触平面标定板的位置改变，重复步骤S210和步骤S220，得到新的坐标点P2；
S240重复S230五次以上，记录工具头5末端在平面标定板上的坐标点P1、P2、P3、P4、P5…；
S250通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
S260使用线激光扫描平面标定板9，记录下所有打在平面标定板上的三维坐标点Plaser；
S270调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
S280不断调整机械臂姿态，重复步骤S270十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
S290根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
优选的，选择一个平面度误差在0.1mm以下，大小为80cm*80cm的正方形高精度平面标定板9。
优选的，机械臂1带着线激光4以不同的角度和方向扫描平面标定板9，得到至少20组线激光点云数据。
可实现的方式之一，机械臂1去探测平面标定板9上的不同坐标点，通过平面拟合得到平面标定板9方程。点云数据与平面标定板9的方程进行匹配，通过谷歌Ceres优化库，可以得到精确的线激光4坐标系与机械臂1坐标系之间位置关系，精度在毫米级别，此过程是影响精定位精度的重要步骤。
进一步，S300线激光与双目相机之间的位置关系标定可实现的方式之一，包括：
S310多目相机拍摄圆点凸台标定板得到图片；
S320通过多目相机测量原理，得到圆点凸台标定板上所有凸起圆的中心点三维坐标Pcamera；
S330使用线激光扫描圆点凸台标定板，得到三维坐标点云；
S340处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
S350将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
由于双目相机是用于粗定位，因此不需要较高的标定精度。参考图5和图8所示，线激光4与第一相机2和第二相机3组成的双目相机之间位置关系标定，可采用拥有9个圆形凸台的标定板8，线激光扫描标定板，得到在相机坐标系下的9个圆形凸台圆心坐标Pbase。通过PNP坐标匹配，可以计算出双目相机与线激光4的位置关系，进而得到双目相机与机械臂1的位置关系，达到双目相机对机械臂1进行粗定位的目的。
如图6所示，线激光4实时扫描目标物体6的边缘(线激光4的数据误差约为0.1mm)，得到目标物体6的边缘轮廓点云数据，通过点云算法寻找到边缘目标点的三维坐标(Xl,Yl,Zl)，通过线激光4与机械臂1的位置关系，可以将线激光4坐标系下的三维坐标(Xl,Yl,Zl)转换到机械臂1坐标系下的坐标(Xp,Yp,Zp)。
第二方面，本发明还提供了多目相机和线激光辅助机械臂跟踪目标的系统实施例，包括：
多目相机、线激光和机械臂
内参标定单元，用于对多目相机进行内参标定；
外参标定单元，用于对多目相机进行外参标定；
第一标定单元，用于对线激光与机械臂之间的位置关系进行标定；
第二标定单元，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
粗定位单元,用于：使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
移动单元，用于将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
扫描单元,用于：用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
精定位单元,用于将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
跟踪单元,用于：重复扫描单元和精定位单元的任务，直至跟踪扫描完目标物体的所有轮廓。
作为第二方面可实施的另一方案，所述的内参标定单元，包括：
模块一，用于：选定一角度，相机拍摄棋盘格标定板；
模块二：通过图像处理得到棋盘格标定板上所有角点在图像上的像素坐标；
模块三：改变相机拍摄棋盘格标定板的角度，重复模块一和模块二的任务，直至完成拍摄30-60幅不同角度标定板图片；
模块四：利用张正友标定方法，得到相机内参。
作为第二方面可实施的另一方案，所述的外参标定单元，包括：
模块一，用于控制多目相机同时拍摄棋盘格标定板；
模块二，用于处理图像得到棋盘格标定板上所有角点在图像上的像素坐标；
模块三，用于：比对多目相机分别得到的像素坐标，计算出多目相机之间的位置关系，即多目相机外参。
作为第二方面可实施的另一方案，所述的第一标定单元，包括：
模块一，用于控制机械臂的移动，使机械臂上连接的工具头末端接触到平面标定板；
模块二，用于记录此时机械臂上的工具头末端在机械臂坐标系下的位置P1；
模块三，用于：移动工具头末端，使得接触平面标定板的位置改变，重复模块一和模块二的任务，得到新的坐标点P2；
模块四，用于：重复模块三的任务五次以上，记录工具头末端在平面标定板9上的坐标点P1、P2、P3、P4、P5…；
模块五，用于：通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
模块六，用于：使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点Plaser；
模块七，用于：调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
模块八，用于：不断调整机械臂姿态，重复模块七的任务十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
模块九，用于：根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
作为第二方面可实施的另一方案，所述的第二标定单元，包括：
模块一，用于控制多目相机拍摄圆点凸台标定板得到图片；
模块二，用于：通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标Pcamera；
模块三，用于：使用线激光扫描圆点凸台标定板，得到三维坐标点云；
模块四，用于：处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
模块五，用于：将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
本发明对于利用多目相机和线激光辅助机械臂跟踪目标的方法各步骤、系统各单元的功能和应用实例如上只是实例说明。上述实施例方法或系统提供的全部或部分步骤/单元/模块，本领域技术人员可以选择性的组合应用。
在一种可实现的设计中，本发明实施例还提供一种多目相机和线激光辅助机械臂跟踪目标的装置或终端，包括一个或多个处理器、存储装置；存储装置，用于存储一个或多个程序；当所述的一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明中任意可选的一种利用多目相机和线激光辅助机械臂跟踪目标的方法。还可以包括通信接口，用于与其它设备或通信网络进行通信。
另一方面，本发明实施例还可提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述本发明中提供的任一一种多目相机和线激光辅助机械臂跟踪目标的方法。
本领域的技术人员可以理解实现上述实施例方法提供的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法中的步骤之一或其组合。
以上是对本发明较佳实施进行了举例说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同组合或替换，这些等同的组合或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种多目相机和线激光辅助机械臂跟踪目标的方法，包括：
S100,对多目相机进行内参标定和外参标定；
S200,对线激光与机械臂之间的位置关系进行标定；
S300，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
S400,使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
S500，将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
S600,用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
S700,将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
S800,重复步骤S600和步骤S700，直至跟踪扫描完目标物体的所有轮廓。
2.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：所述的S200对线激光与机械臂之间位置关系标定，包括：
S210，移动机械臂，使机械臂上连接的工具头末端接触到平面标定板；
S220，记录下此时机械臂上的工具头末端在机械臂坐标系下的位置P1；
S230，移动工具头末端，使得接触平面标定板的位置改变，重复步骤S210和步骤S220，得到新的坐标点P2；
S240，重复S230五次以上，记录工具头末端在平面标定板上的坐标点P1、P2、P3、P4、P5…；
S250，通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
S260，使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点Plaser；
S270，调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
S280，不断调整机械臂姿态，重复步骤S270十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
S290，根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
3.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：所述的S300线激光与双目相机之间的位置关系标定，包括：
S310多目相机拍摄圆点凸台标定板得到图片；
S320通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标Pcamera；
S330使用线激光扫描圆点凸台标定板，得到三维坐标点云；
S340处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
S350将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
4.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：对线激光与机械臂之间的位置关系进行标定采用平面度误差在0.1mm以下，大小为80cm*80cm的正方形平面标定板。
5.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：对线激光与机械臂之间的位置关系进行标定方法，包括步骤：机械臂去探测平面标定板上的不同坐标点，通过平面拟合得到平面标定板方程；点云数据与平面标定板的方程进行匹配，通过谷歌Ceres优化库，得到线激光坐标系与机械臂坐标系之间的位置关系。
6.一种多目相机和线激光辅助机械臂跟踪目标的系统，包括：
多目相机、线激光和机械臂
内参标定单元，用于对多目相机进行内参标定；
外参标定单元，用于对多目相机进行外参标定；
第一标定单元，用于对线激光与机械臂之间的位置关系进行标定；
第二标定单元，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；
粗定位单元,用于：使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(X1,Y1,Z1)；
移动单元，用于将机械臂末端移至目标物体第一个角点所在的空间位置(X1,Y1,Z1)；
扫描单元,用于：用线激光扫描目标物体的边缘，得到边缘点的三维坐标(Xp,Yp,Zp)；
精定位单元,用于将机械臂末端移动至目标物体边缘点的三维坐标(Xp,Yp,Zp)；
跟踪单元,用于：重复扫描单元和精定位单元的任务，直至跟踪扫描完目标物体的所有轮廓。
7.如权利要求6所述的多目相机和线激光辅助机械臂跟踪目标的系统，其特征在于：所述的第一标定单元，包括：
模块一，用于控制机械臂的移动，使机械臂上连接的工具头末端接触到平面标定板；
模块二，用于记录此时机械臂上的工具头末端在机械臂坐标系下的位置P1；
模块三，用于：移动工具头末端，使得接触平面标定板的位置改变，重复模块一和模块二的任务，得到新的坐标点P2；
模块四，用于：重复模块三的任务五次以上，记录工具头末端在平面标定板上的坐标点P1、P2、P3、P4、P5…；
模块五，用于：通过P1、P2、P3、P4、P5…，拟合出平面标定板在机械臂坐标下的方程为Ax+By+Cz+D＝0；
模块六，用于：使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点Plaser；
模块七，用于：调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点Plaser；
模块八，用于：调整机械臂姿态，重复模块七的任务十次以上，记录不同机械臂姿态下线激光所有的三维坐标点Plaser；
模块九，用于：根据Plaser和平面方程：Ax+By+Cz+D＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。
8.如权利要求6所述的多目相机和线激光辅助机械臂跟踪目标的系统，其特征在于：所述的第二标定单元，包括：
模块一，用于控制多目相机拍摄圆点凸台标定板得到图片；
模块二，用于：通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标Pcamera；
模块三，用于：使用线激光扫描圆点凸台标定板，得到三维坐标点云；
模块四，用于：处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标Pbase；
模块五，用于：将Pcamera和Pbase进行比对，计算出线激光与双目相机之间的位置关系。
9.一种多目相机和线激光辅助机械臂跟踪目标的装置或终端，包括一个或多个处理器、存储装置；存储装置，用于存储一个或多个程序；当所述的一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明中任意可选的一种利用多目相机和线激光辅助机械臂跟踪目标的方法。还可以包括通信接口，用于与其它设备或通信网络进行通信。
10.一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述本发明中提供的任一一种多目相机和线激光辅助机械臂跟踪目标的方法。
CN202011140999.1A 2020-10-22 2020-10-22 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置 Pending CN114378808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011140999.1A CN114378808A (zh) 2020-10-22 2020-10-22 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011140999.1A CN114378808A (zh) 2020-10-22 2020-10-22 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置

Publications (1)

Publication Number Publication Date
CN114378808A true CN114378808A (zh) 2022-04-22

Family

ID=81194572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011140999.1A Pending CN114378808A (zh) 2020-10-22 2020-10-22 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置

Country Status (1)

Country Link
CN (1) CN114378808A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017041418A1 (zh) * 2015-09-10 2017-03-16 天远三维（天津）科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN107063129A (zh) * 2017-05-25 2017-08-18 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN210741384U (zh) * 2019-12-06 2020-06-12 青岛海之晨工业装备有限公司 二维传感器与三维传感器融合的机器人视觉测量系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017041418A1 (zh) * 2015-09-10 2017-03-16 天远三维（天津）科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN107063129A (zh) * 2017-05-25 2017-08-18 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN210741384U (zh) * 2019-12-06 2020-06-12 青岛海之晨工业装备有限公司 二维传感器与三维传感器融合的机器人视觉测量系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115222826B (zh) * 2022-09-15 2022-12-27 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置

Similar Documents

Publication Publication Date Title
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
KR102458415B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
CN107449374B (zh) 柔性布局的视觉辅助激光振镜扫描系统及其现场校准方法
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
CN109631793B (zh) 型面数字摄影自动化测量方法
CN113674345B (zh) 一种二维像素级三维定位系统及定位方法
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
JP2012123781A (ja) 情報処理装置、情報処理システム及び情報処理方法
JP7191309B2 (ja) カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
CN111590593B (zh) 机械臂的标定方法、装置、系统及存储介质
JP2019052983A (ja) 校正方法、および校正装置
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
TW202212081A (zh) 機器手臂的座標系校正設備及校正方法
JP7216775B2 (ja) ロボットアームの座標系校正装置及び校正方法
Kroeger et al. An automatic calibration approach for a multi-camera-robot system
CN114378808A (zh) 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置
Yi et al. A practical calibration method for stripe laser imaging system
Galilea et al. Calibration of a high-accuracy 3-D coordinate measurement sensor based on laser beam and CMOS camera
US20230100182A1 (en) Alignment Of A Radar Measurement System With A Test Target
CN114677429B (zh) 一种机械手的定位方法、装置、计算机设备和存储介质
JP2018031701A (ja) 校正方法、および校正装置
CN114643577B (zh) 一种通用型机器人视觉自动标定装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination