CN114643599A - 一种基于点激光和面阵相机的三维机器视觉系统及方法 - Google Patents

一种基于点激光和面阵相机的三维机器视觉系统及方法 Download PDF

Info

Publication number
CN114643599A
CN114643599A CN202011508264.XA CN202011508264A CN114643599A CN 114643599 A CN114643599 A CN 114643599A CN 202011508264 A CN202011508264 A CN 202011508264A CN 114643599 A CN114643599 A CN 114643599A
Authority
CN
China
Prior art keywords
camera
workpiece
robot
coordinate system
range finder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011508264.XA
Other languages
English (en)
Other versions
CN114643599B (zh
Inventor
秦勇
高一佳
李涛
张宏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Siasun Robot and Automation Co Ltd filed Critical Shenyang Siasun Robot and Automation Co Ltd
Priority to CN202011508264.XA priority Critical patent/CN114643599B/zh
Publication of CN114643599A publication Critical patent/CN114643599A/zh
Application granted granted Critical
Publication of CN114643599B publication Critical patent/CN114643599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明属于机器视觉技术领域，具体地说是一种基于点激光和面阵相机的三维机器视觉系统及方法。包括：机器人安装座、机械臂、机械爪、相机、激光测距器、参考工件、机器人控制器以及相机控制器；机械臂一端固定在机器人安装座上，机械臂的末端上设有的机械爪；参考工件上方设有相机以及与其连接的激光测距器；相机的光轴垂直于参考工件设置，激光测距器与相机连接，且与相机保持水平位置；所述机器人控制器与机器臂连接，所述相机控制器分别与相机和激光测距器连接；所述相机控制器与机器人控制器连接，用于将参考用户坐标系及运行用户坐标系发送至机器人控制器。本发明引导定位精度高，充分发挥了激光测距器的高精度和面阵相机的大像素的优势。

Description

一种基于点激光和面阵相机的三维机器视觉系统及方法
技术领域
本发明属于机器视觉技术领域，具体地说是一种基于点激光和面阵相机的三维机器视觉系统及方法。
背景技术
用于引导机器人的视觉系统，主要分为平面视觉系统(也称为2D视觉)和三维视觉系统(也称为3D视觉)两大类。2D视觉无法测量物体深度信息的本质缺陷促进了各种3D视觉技术的飞速发展。3D视觉技术按原理分为飞行时间法(TOF)、双目视觉法和结构光法。
国内外的科研院所和企业对上述3D视觉系统进行了深入的研究。如沈阳新松机器人自动化股份有限公司的公开号为CN104511905A的专利申请中，其用基于色彩条纹结构光的视觉来引导机器人手臂运动。公开号为CN106595511A的专利申请中，其采用了遗产算法与Hausdorff距离相结合的图像匹配方法获取物体的三维信息。如五邑大学的公开号为CN108789414A的专利申请中，其利用激光测距器检测到物体后触发结构光投影仪和面阵相机获得物体的三维信息来引导机械臂抓取。如北京禾泽方圆智能科技有限公司的公开号为CN110065074A的专利申请中，其提出了一种经过深度学习训练的单目相机测量方向角度信息后用二维云台移动激光测距器指向果蔬并测距的采摘机器人。
上述几种方法的显著缺点是，处理海量点云数据的测量、传输、三维重构和匹配需要高性能的硬件资源和复杂的软件算法，这导致三维视觉成本居高不下，限制了其在工业领域的广泛应用。并且由于三维点云数据的采集误差和随机数字噪声导致三维视觉的机器人引导定位精度明显比2D相机视觉引导精度低。
发明内容
针对上述技术问题，本发明的目的是提供一种基于点激光和面阵相机的三维机器视觉系统及方法，其具有结构简单且成本低廉的，基于成熟稳定的激光测距和面阵相机技术的，且引导定位精度能和传统二维相机引导相媲美的三维机器视觉装置和方法。
本发明为实现上述目的所采用的技术方案是：一种基于点激光和面阵相机的三维机器视觉系统，包括：机器人安装座、机械臂、机械爪、相机、激光测距器、参考工件、机器人控制器以及相机控制器；
所述机械臂一端固定在机器人安装座上，机械臂的末端上设有的机械爪；
所述参考工件上方设有相机以及与其连接的激光测距器；所述相机的光轴垂直于参考工件设置，所述激光测距器与相机连接，且与相机保持水平位置；
所述机器人控制器与机器臂连接，所述相机控制器分别与相机和激光测距器连接；
所述相机控制器与机器人控制器连接，用于将参考用户坐标系及运行用户坐标系发送至机器人控制器。
所述相机设于机械臂末端，且相机、激光测距器以及机械臂末端共线，且平行于参考工件；
所述相机包括：图像传感器、光学镜头以及光源装置；
所述图像传感器与机械臂末端通过连接杆固连，且连接杆平行于参考工件的平面；所述图像传感器输出端与相机控制器连接；在所述图像传感器下方依次连有光学镜头以及光源装置；
所述图像传感器为二维CCD相机传感器。
所述参考工件还设于二维移动平台上。
所述相机控制器包括处理器、输入输出模块以及储存器；
所述输入输出模块分别与相机和激光测距器连接，用于接收相机和激光测距器的参考坐标以及运行坐标数据并发送至处理器进行处理；
所述储存器，分别与输入输出模块和处理器连接，用于为处理器提供算法以及通过输入输出模块发送拍照测量指令至相机和激光测距器；
所述处理器，用于进行数据处理；
所述输入输出模块还与机器人控制器连接，用于将处理器获取的参考用户坐标系及运行用户坐标系发送至机器人控制器。
所述储存器包括：拍照测量模块、工件计算模块、坐标系计算模块；
所述拍照测量模块，与输入输出模块通信，用于发送拍照测量指令至相机和激光测距器；
所述工件计算模块，分别与输入输出模块和处理器通信，用于通过处理器计算运行工件的偏移量；
所述坐标系计算模块，与输入输出模块通信，与处理器通信，用于通过处理器计算参考用户坐标系以及运行用户坐标系。
一种基于点激光和面阵相机的三维机器视觉方法，包括以下步骤：
1)对机械臂和相机手眼标定，对激光测距器进行工具标定；
2)相机控制器发送拍照测量指令至相机和激光测距器，对参考工件进行拍照测量，得到第一个特征点在机器人的基坐标系下参考特征坐标；
所述参考工件上设置多个特征点且多个特征点不共线；
3)重复步骤2)测量不少于3个参考特征点分别在机器人的基坐标系下坐标值作为参考特征坐标；根据多个参考特征点的参考特征坐标，建立参考用户坐标系，并将参考用户坐标系作为机器人当前坐标系，相机控制器件将参考用户坐标系发送至机器人控制器；并通过离线编程或示教记录机器人的参考作业路径，进行机器臂作业；
4)将运行工件运送到参考工件处，相机和激光测距器对运行工件进行拍照测量，得到运行工件对应参考工件的第一个特征点在机器人的基坐标系下运行特征坐标；
5)重复步骤4)测量与参考特征点数量相同的运行工件上相应运行特征坐标；
6)根据参考特征坐标与运行特征坐标，获得运行工件相对于参考工件的偏移量；
7)相机控制器根据步骤3)中建立的参考用户坐标系以及步骤6)获取的运行工件的偏移量，得到运行用户坐标系，并将运行用户坐标系发送至机器人控制器；
8)机械臂在运行用户坐标系下按照参考作业路径进行机器臂作业。
步骤2)或步骤4)中，具体为：
当相机与激光测距器固定在参考工件或运行工件上方，采用以下方式：
相机拍照得到参考工件的第一个特征点X坐标值和Y坐标值或运行工件对应参考工件的第一个特征点的X坐标值和Y坐标值；
二维移动平台带动参考工件或运行工件运动至激光测距器正下方，使激光测距器测量参考工件的第一个特征点或运行工件对应参考工件的第一个特征点在机器人基坐标系下的Z坐标值；
当机械臂带动相机与激光测距器运动，采用以下方式：
机械臂带动相机与激光测距器处于参考工件的第一个特征点正上方，相机进行拍照，得到参考工件的第一个特征点的X坐标值和Y坐标值或运行工件对应参考工件的第一个特征点的X坐标值和Y坐标值；
激光测距器对准参考工件的第一个特征点或运行工件对应参考工件的第一个特征点，得到参考工件的第一个特征点或运行工件对应参考工件的第一个特征点在机器人基坐标系下的Z坐标值。
步骤3)中所述建立参考用户坐标系，具体为：
以任意一个特征点为原点，以原点与其他任意一个特征点连线为x方向，在参考工件平面上，以原点与另一特征点连线在垂直x方向为y方向，以激光测距器与该原点的特征点连线为z方向，建立参考用户坐标系。
所述步骤6)，包括以下步骤：
(1)设定测得的参考特征坐标为：Pref1、Pref2……Prefn(n∈N)，设定测得的运行特征坐标为Prun1、Prun2……Prunm(m∈N)；n和m分别为参考特征坐标和运行特征坐标的个数n＝m，N为自然数；
(2)根据Pref和Prun的坐标值，即：Pref＝[Xref；Yref；Zref]，Prun＝[Xrun；Yrun；Zrun]；
通过旋转矩阵法获取运行位置和参考位置的工件三维旋转矩阵和三维平移矩阵，即偏移量M：
M＝[tx；ty；tz；α；β；γ]；
其中，M中的α、β和γ三个参数构成的三维旋转矩阵R，M中的tx、ty和tz三个参数构成的列向量，即三维平移矩阵T；
则计算公式如下：
Figure BDA0002845555060000051
其中，sα＝sin α，cα＝cos α，sβ＝sin β，cα＝cos β，sγ＝sin γ，cγ＝cos γ；
根据多组Pref＝[Xref；Yref；Zref]，Prun＝[Xrun；Yrun；Zrun]，构建方程组，得到M＝[tx；ty；tz；α；β；γ]。
所述步骤7)具体为：
根据偏移量M，对参考用户坐标系进行三维变换，得到运行用户坐标系，即
UFrun＝R·UFref+T
UFref为参考用户坐标系，UFrun为运行用户坐标系，R为工件的三维旋转矩阵，T是工件的三维平移矩阵。
本发明具有以下有益效果及优点：
1、本发明结构简单，计算量小，对硬件资源和软件算法的要求低；
2、本发明使用了技术上成熟可靠的，价格上经济实惠的激光测距器和面阵相机组成系统，极大的降低了三维视觉的成本；
3、本发明引导定位精度高，充分发挥了激光测距器的高精度和面阵相机的大像素的优势。
附图说明
图1为本发明的相机移动的实施例；
图2为本发明的相机固定的实施例；
图3为本发明的设定参考工件得到参考用户坐标系的流程图；
图4为本发明的设定运行工件得到运行用户坐标系时的流程图；
图5为本发明的控制系统示例框图；
其中，110为机器人安装座，115为机器人，120为机械臂，125为机械爪，130为相机，131为图像传感器，132为光学镜头，133为光源装置，135为激光测距器，136为光轴，140为参考工件，141为第一特征点，215为二维移动平台，220为X轴制动器，225为Y轴制动器，505为机器人控制器，510为相机控制器，515为机器人处理器，520为机器人输入输出模块，525为机器人存储器，535为处理器，540为输入输出模块，545为存储器。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面结合具体实施例对本发明进行详细说明。
参考图1，展示了本发明的一个实施例。图1是本发明的一种基于点激光和面阵相机的三维机器视觉装置的相机移动的实施例。包括机器人115、机器人安装座110、机械臂120、机械爪125、相机130、激光测距器135、参考工件140；
机械臂120一端固定在机器人安装座110上，机械臂120的末端上设有的机械爪125；
参考工件140上方设有相机130以及与其连接的激光测距器135；相机130的光轴垂直于参考工件140设置，激光测距器135与相机130连接，且与相机130保持水平位置；机器人安装座110固定在空间100中。机械爪125固定在机械臂120的末端。在本实施例中，使用机器人作为相机和机械爪的定位元件，完成测量和抓取作业。在其它实施例中，还可以使用其他包括伺服电缸平台、单轴机器人平台等多种方式。
图1中的相机130安装在机械臂120的末端，相机130具有覆盖所述机器人115至少一部分工作范围的视场。相机的光学主轴和工件作业平面的夹角小于十五度。
图1中的激光测距器135安装在机械臂120的末端，激光测距器135能够测量所述相机120至少一部分视场的距离值。在其它实施例中，激光测距器135也可以是包括机械式测距器、超声波测距器等在内的能够测量距离的其它类型测量传感器。激光测距器的光学主轴136和工件作业平面的夹角小于十五度。
图1中的工件140固定在空间100中，工件140上至少有三个以上的特征点。
运行前要先记录参考坐标，通过相机130和激光测距器135测量得到至少三个以上的特征点的空间坐标值，记为参考特征坐标，然后根据参考特征坐标计算机器人的参考用户坐标系，并示教或者离线编程机器人的参考作业路径。运行时，首先测量和参考特征坐标相同数目的运行特征坐标，然后计算工件的三维旋转和偏移量以及机器人的运行用户坐标系。最后在机器人运行用户坐标系下执行示教过的参考作业路径，完成对工件的作业。
参考图2，展示了本发明的另一个实施例。图2是本发明的一种基于点激光和面阵相机的三维机器视觉装置的相机固定的实施例。包括机器人115、相机130、激光测距器135、工件140、二维移动平台251。
其中，图2中的机器人115包括机器人安装座110、机械臂120和机械爪(125)。机械臂120固定在机器人安装座110上，机器人安装座110固定在空间100中。机械爪125固定在机械臂120的末端。在本实施例中，使用机器人作为相机和机械爪的定位元件，完成测量和抓取作业。在其它实施例中，还可以使用其他包括伺服电缸平台、单轴机器人平台等多种方式。
相机130固定在空间100中，相机130具有覆盖所述机器人115至少一部分工作范围的视场。相机的光学主轴和工件作业平面的夹角小于十五度。
激光测距器135固定在空间100中，激光测距器135能够测量所述相机205至少一部分视场的距离值。在其它实施例中，激光测距器135也可以是包括机械式测距器、超声波测距器等在内的能够测量距离的其它类型测量传感器。激光测距器的光学主轴136和工件作业平面的夹角小于十五度。
参考工件140固定在移动平台215上，工件140上至少有三个以上的特征点。移动平台215固定在空间200中，移动平台215包括X轴致动器220和Y轴致动器225。X轴致动器200和Y轴致动器225可以是包括滚珠丝杠、直线电机、单轴机械手、气缸等在内的多种能够移动工件的机构。
同样，运行前要先记录参考特征坐标，通过相机130和激光测距器135测量得到至少三个以上的特征点的空间坐标值，记为参考特征坐标，然后根据参考特征坐标计算机器人的参考用户坐标系，并示教或者离线编程机器人的参考作业路径。运行时，首先测量和参考特征坐标相同数目的运行特征坐标，然后计算工件的三维旋转和偏移量以及机器人的运行用户坐标系。最后在机器人运行用户坐标系下执行示教过的参考作业路径，完成对工件的作业。
如图3所示，为本发明的一种基于点激光和面阵相机的三维机器视觉方法的设定参考位置的流程图，首先设定参考位置，即用户参考坐标系，包括以下步骤：
步骤305：开始设定参考位置
步骤310：对机器人115和相机130进行手眼标定。通过包括直接标定法、N点标定法和张氏标定法等方法在内的手眼标定方法对相机的内外参数进行标定；
步骤315：对激光测距器135进行工具标定。通过多点示教法对机器人115的激光测距器135工具进行标定；
步骤320：拍照测量参考工件140的第一个特征点的X和Y坐标。在机器人的基坐标系下，拍照测量参考工件140的第一个特征点的X和Y坐标值；
步骤325：激光测距器135对准此X-Y侧标位置。在相机移动的实施例中，机器人115移动激光测距器135对准参考工件140的第一个特征点。在相机固定的实施例中，二维移动平台215使激光测距器135对准参考工件140的第一个特征点；
步骤330：激光测距器135测量该特征点的Z坐标。激光测距器135测量该特征点在机器人115的基坐标系下的Z坐标值；
步骤335：重复执行步骤320-步骤330测量至少三个特征点。并且这三个点不能共线。根据三个非共线点确定一个平面的原理，至少需要采集三个点的空间坐标才能确定用户坐标系。采集点数对于三个时有利于消除采集过程中引入的正态分布的随机误差的影响；
步骤340：根据参考特征坐标点对计算参考用户坐标系。记录步骤335测得的若干点的坐标值为参考特征坐标，并为每个参考特征坐标人为设置对应的用户坐标系坐标值，构成参考特征坐标点对，然后根据参考特征坐标点对计算参考用户坐标系；建立参考用户坐标系，具体为：
以任意一个特征点为原点，以原点与其他任意一个特征点连线为x方向，在参考工件140平面上，以原点与另一特征点连线在垂直x方向为y方向，以激光测距器135与该原点的特征点连线为z方向，建立参考用户坐标系。
步骤345：将参考用户坐标系设置为机器人当前坐标系；
步骤350：离线编程或者示教记录机器人的参考抓取点或参考作业路径。对于简单的机器人作业，比如抓取，可以用示教的方式记录参考抓取点，对于复杂的机器人作业，比如涂胶，可以用离线编程的方式设定参考作业路径；
步骤355：完成设定参考位置。
如图4所示，为本发明的一种基于点激光和面阵相机的三维机器视觉方法的运行时的流程图，即建立运行用户坐标系，包括以下步骤：
步骤405：开始运行
步骤410：运行工件输送到位。将运行工件通过人工、机械手、输送线等方式输送到工作位置，需保证运行工件相对参考工件的各轴旋转角小于十五度；
步骤415：相机130拍照测量运行工件的第一个特征点的X和Y坐标。在机器人的基坐标系下，拍照测量运行工件对应于参考工件140的第一个特征点141的X和Y坐标值；
步骤420：激光测距器对准此X-Y坐标位置并测量该点Z坐标。在相机130移动的实施例中，机器人移动激光测距器135对准运行工件对应于参考工件140的第一个特征点141。在相机固定的实施例中，移动平台使激光测距器对准运行工件对应于参考工件140的第一个特征点141。然后激光测距器测量该特征点在机器人的基坐标系下的Z坐标值；
步骤425：重复执行步骤415-步骤420测量和参考特征坐标数相等的运行特征坐标；
步骤430：根据参考特征坐标的和运行特征坐标，以重投影误差最小化为目标，用最小二乘法迭代优化求解出工件的偏移量M。
首先，记参考特征坐标中的数据为Pref1、Pref2……Prefn(n∈N)，记运行特征坐标中的数据为Prun1、Prun2……Prunm(m∈N)；
然后根据Pref和Prun的坐标值，用旋转矩阵法计算运行位置和参考位置的工件三维旋转和偏移量M，记Pref＝[Xref；Yref；Zref]，Prun＝[Xrun；Yrun；Zrun]，记未知量M＝[tx；ty；tz；α；β；γ]，则计算公式如下：
Figure BDA0002845555060000101
其中，sα＝sin α，cα＝cos α，余此类推；
步骤435：根据该三维旋转和偏移量M，对参考用户坐标系进行三维变换，计算得到运行用户坐标系。
记录参考用户坐标系为UFref，则运行用户坐标系UFrun可通过下式计算：
UFrun＝R·UFref+T
其中R是工件的三维旋转矩阵，由M中的α、β和γ三个参数构成的旋转矩阵，T是工件的三维平移矩阵，由M中的tx、ty和tz三个参数构成的列向量；
步骤440：将运行用户坐标系设置为机器人当前坐标系；
步骤445：按照参考抓取点或参考作业路径进行机器人作业。将机器人的当前坐标系设置为运行用户坐标系后，为参考工件设定的参考抓取点和参考作业路径可以不加变动地直接应用到运行工件的作业中；
步骤450：完成运行
如图5所示，为本发明的一种基于点激光和面阵相机的三维机器视觉装置的控制系统示例框图。机器人115与机器人控制器505电性连接，相机130和激光测距器135与相机控制器510电性连接，相机控制器510与机器人控制器505电性连接。
机器人控制器505包括机器人处理器515、机器人输入输出模块520和机器人存储器525，机器人存储器525内安装有用于控制机器人115的机器人控制软件530。机器人控制软件530可以可编程只读存储器(PROM)、非易失性随机存取存储器(NRAM)等格式植入机器人控制器505，也可以接硬线而无需软件。
相机控制器510包括处理器535、输入输出模块540以及储存器545；
输入输出模块540分别与相机130和激光测距器135连接，用于接收相机130和激光测距器135的参考坐标以及运行坐标数据并发送至处理器535进行处理；
储存器545，分别与输入输出模块,540和处理器535连接，用于为处理器535提供算法以及通过输入输出模块540发送拍照测量指令至相机130和激光测距器135；
处理器535，用于进行数据处理；
输入输出模块540还与机器人控制器连接，用于将处理器535获取的参考用户坐标系及运行用户坐标系发送至机器人控制器505。
储存器545包括：拍照测量模块、工件计算模块、坐标系计算模块；
拍照测量模块，与输入输出模块540通信，用于发送拍照测量指令至相机130和激光测距器135；
工件计算模块，分别与输入输出模块540和处理器535通信，用于通过处理器535计算运行工件的偏移量；
坐标系计算模块，与输入输出模块540通信，与处理器535通信，用于通过处理器535计算参考用户坐标系以及运行用户坐标系。
相机控制软件510内除包含有拍照测量模块外，还包含有工件三维偏移和旋转计算模块、参考用户坐标系计算模块和运行用户坐标系计算模块。相机控制软件550可以可编程只读存储器(PROM)、非易失性随机存取存储器(NRAM)等格式植入相机控制器510，也可以接硬线而无需软件。
在本实施例中，相机130和激光测距器135被固定在机器人115的末端。然而在其它实施例中，相机130和激光测距器135可被固定在空间100中，通过固定在空间中的二维移动平台215带动参考工件140或运行工件，使激光测距器135对准特征点。
以上说明所描述的实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换和改进。这些都属于本发明的保护范围。

Claims (10)

1.一种基于点激光和面阵相机的三维机器视觉系统，其特征在于，包括：机器人安装座(110)、机械臂(120)、机械爪(125)、相机(130)、激光测距器(135)、参考工件(140)、机器人控制器(505)以及相机控制器(510)；
所述机械臂(120)一端固定在机器人安装座(110)上，机械臂(120)的末端上设有的机械爪(125)；
所述参考工件(140)上方设有相机(130)以及与其连接的激光测距器(135)；所述相机(130)的光轴垂直于参考工件(140)设置，所述激光测距器(135)与相机(130)连接，且与相机(130)保持水平位置；
所述机器人控制器(505)与机器臂(120)连接，所述相机控制器(510)分别与相机(130)和激光测距器(135)连接；
所述相机控制器(510)与机器人控制器(505)连接，用于将参考用户坐标系及运行用户坐标系发送至机器人控制器(505)。
2.根据权利要求1所述的一种基于点激光和面阵相机的三维机器视觉系统，其特征在于，所述相机(130)设于机械臂(120)末端，且相机(130)、激光测距器(135)以及机械臂(120)末端共线，且平行于参考工件(140)；
所述相机(130)包括：图像传感器(131)、光学镜头(132)以及光源装置(133)；
所述图像传感器(131)与机械臂(120)末端通过连接杆固连，且连接杆平行于参考工件(140)的平面；所述图像传感器(131)输出端与相机控制器(510)连接；在所述图像传感器(131)下方依次连有光学镜头(132)以及光源装置(133)；
所述图像传感器(131)为二维CCD相机传感器。
3.根据权利要求1所述的一种基于点激光和面阵相机的三维机器视觉系统，其特征在于，所述参考工件(140)还设于二维移动平台(225)上。
4.根据权利要求1所述的一种基于点激光和面阵相机的三维机器视觉系统，其特征在于，所述相机控制器(510)包括处理器(535)、输入输出模块(540)以及储存器(545)；
所述输入输出模块(540)分别与相机(130)和激光测距器(135)连接，用于接收相机(130)和激光测距器(135)的参考坐标以及运行坐标数据并发送至处理器(535)进行处理；
所述储存器(545)，分别与输入输出模块(540)和处理器(535)连接，用于为处理器(535)提供算法以及通过输入输出模块(540)发送拍照测量指令至相机(130)和激光测距器(135)；
所述处理器(535)，用于进行数据处理；
所述输入输出模块(540)还与机器人控制器连接，用于将处理器(535)获取的参考用户坐标系及运行用户坐标系发送至机器人控制器(505)。
5.根据权利要求4所述的一种基于点激光和面阵相机的三维机器视觉系统，其特征在于，所述储存器(545)包括：拍照测量模块、工件计算模块、坐标系计算模块；
所述拍照测量模块，与输入输出模块(540)通信，用于发送拍照测量指令至相机(130)和激光测距器(135)；
所述工件计算模块，分别与输入输出模块(540)和处理器(535)通信，用于通过处理器(535)计算运行工件的偏移量；
所述坐标系计算模块，与输入输出模块(540)通信，与处理器(535)通信，用于通过处理器(535)计算参考用户坐标系以及运行用户坐标系。
6.一种基于点激光和面阵相机的三维机器视觉方法，其特征在于，包括以下步骤：
1)对机械臂(120)和相机(130)手眼标定，对激光测距器(135)进行工具标定；
2)相机控制器(510)发送拍照测量指令至相机(130)和激光测距器(135)，对参考工件(140)进行拍照测量，得到第一个特征点(141)在机器人的基坐标系下参考特征坐标；
所述参考工件(140)上设置多个特征点且多个特征点不共线；
3)重复步骤2)测量不少于3个参考特征点分别在机器人的基坐标系下坐标值作为参考特征坐标；根据多个参考特征点的参考特征坐标，建立参考用户坐标系，并将参考用户坐标系作为机器人当前坐标系，相机控制器件(510)将参考用户坐标系发送至机器人控制器(505)；并通过离线编程或示教记录机器人的参考作业路径，进行机器臂(120)作业；
4)将运行工件运送到参考工件(140)处，相机(130)和激光测距器(135)对运行工件进行拍照测量，得到运行工件对应参考工件(140)的第一个特征点(141)在机器人的基坐标系下运行特征坐标；
5)重复步骤4)测量与参考特征点数量相同的运行工件上相应运行特征坐标；
6)根据参考特征坐标与运行特征坐标，获得运行工件相对于参考工件(140)的偏移量；
7)相机控制器(510)根据步骤3)中建立的参考用户坐标系以及步骤6)获取的运行工件的偏移量，得到运行用户坐标系，并将运行用户坐标系发送至机器人控制器(505)；
8)机械臂(120)在运行用户坐标系下按照参考作业路径进行机器臂(120)作业。
7.根据权利要求6所述的一种基于点激光和面阵相机的三维机器视觉方法，其特征在于，步骤2)或步骤4)中，具体为：
当相机(130)与激光测距器(135)固定在参考工件(140)或运行工件上方，采用以下方式：
相机(135)拍照得到参考工件(140)的第一个特征点(141)X坐标值和Y坐标值或运行工件对应参考工件(140)的第一个特征点(141)的X坐标值和Y坐标值；
二维移动平台(225)带动参考工件(140)或运行工件运动至激光测距器(135)正下方，使激光测距器(135)测量参考工件(140)的第一个特征点(141)或运行工件对应参考工件(140)的第一个特征点(141)在机器人基坐标系下的Z坐标值；
当机械臂(120)带动相机(130)与激光测距器(135)运动，采用以下方式：
机械臂(120)带动相机(130)与激光测距器(135)处于参考工件(140)的第一个特征点(141)正上方，相机进行拍照，得到参考工件(140)的第一个特征点(141)的X坐标值和Y坐标值或运行工件对应参考工件(140)的第一个特征点(141)的X坐标值和Y坐标值；
激光测距器对准参考工件(140)的第一个特征点(141)或运行工件对应参考工件(140)的第一个特征点(141)，得到参考工件(140)的第一个特征点(141)或运行工件对应参考工件(140)的第一个特征点(141)在机器人基坐标系下的Z坐标值。
8.根据权利要求6所述的一种基于点激光和面阵相机的三维机器视觉方法，其特征在于，步骤3)中所述建立参考用户坐标系，具体为：
以任意一个特征点为原点，以原点与其他任意一个特征点连线为x方向，在参考工件(140)平面上，以原点与另一特征点连线在垂直x方向为y方向，以激光测距器(135)与该原点的特征点连线为z方向，建立参考用户坐标系。
9.根据权利要求6所述的一种基于点激光和面阵相机的三维机器视觉方法，其特征在于，所述步骤6)，包括以下步骤：
(1)设定测得的参考特征坐标为：Pref1、Pref2……Prefn(n∈N)，设定测得的运行特征坐标为Prun1、Prun2……Prunm(m∈N)；n和m分别为参考特征坐标和运行特征坐标的个数n＝m，N为自然数；
(2)根据Pref和Prun的坐标值，即：Pref＝[Xref；Yref；Zref]，Prun＝[Xrun；Yrun；Zrun]，
通过旋转矩阵法获取运行位置和参考位置的工件三维旋转矩阵和三维平移矩阵，即偏移量M：
M＝[tx；ty；tz；α；β；γ]；
其中，M中的α、β和γ三个参数构成的三维旋转矩阵R，M中的tx、ty和tz三个参数构成的列向量，即三维平移矩阵T；
则计算公式如下：
Figure FDA0002845555050000061
其中，sα＝sinα，cα＝cosα，sβ＝sinβ，cα＝cosβ，sγ＝sinγ，cγ＝cosγ；
根据多组Pref＝[Xref；Yref；Zref]，Prun＝[Xrun；Yrun；Zrun]，构建方程组，得到M＝[tx；ty；tz；α；β；γ]。
10.根据权利要求6所述的一种基于点激光和面阵相机的三维机器视觉方法，其特征在于，所述步骤7)具体为：
根据偏移量M，对参考用户坐标系进行三维变换，得到运行用户坐标系，即：
UFrun＝R·UFref+T
UFref为参考用户坐标系，UFrun为运行用户坐标系，R为工件的三维旋转矩阵，T是工件的三维平移矩阵。
CN202011508264.XA 2020-12-18 2020-12-18 一种基于点激光和面阵相机的三维机器视觉系统及方法 Active CN114643599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011508264.XA CN114643599B (zh) 2020-12-18 2020-12-18 一种基于点激光和面阵相机的三维机器视觉系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011508264.XA CN114643599B (zh) 2020-12-18 2020-12-18 一种基于点激光和面阵相机的三维机器视觉系统及方法

Publications (2)

Publication Number Publication Date
CN114643599A true CN114643599A (zh) 2022-06-21
CN114643599B CN114643599B (zh) 2023-07-21

Family

ID=81991522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011508264.XA Active CN114643599B (zh) 2020-12-18 2020-12-18 一种基于点激光和面阵相机的三维机器视觉系统及方法

Country Status (1)

Country Link
CN (1) CN114643599B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020034327A1 (en) * 2000-09-20 2002-03-21 Atsushi Watanabe Position-orientation recognition device
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103557796A (zh) * 2013-11-19 2014-02-05 天津工业大学 基于激光测距和计算机视觉的三维定位系统及定位方法
CN104280740A (zh) * 2014-10-11 2015-01-14 三峡大学 一种基于摄像机与激光测距传感器联合定位爆破孔的装置及定位方法
CN108406123A (zh) * 2018-03-26 2018-08-17 湖北工业大学 一种激光加工中三维零件标定系统及方法
CN110842928A (zh) * 2019-12-04 2020-02-28 中科新松有限公司 一种复合机器人视觉引导定位装置及方法
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN112070133A (zh) * 2020-08-27 2020-12-11 武汉华工激光工程有限责任公司 一种基于测距仪和机器视觉的三维空间点定位的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020034327A1 (en) * 2000-09-20 2002-03-21 Atsushi Watanabe Position-orientation recognition device
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103557796A (zh) * 2013-11-19 2014-02-05 天津工业大学 基于激光测距和计算机视觉的三维定位系统及定位方法
CN104280740A (zh) * 2014-10-11 2015-01-14 三峡大学 一种基于摄像机与激光测距传感器联合定位爆破孔的装置及定位方法
CN108406123A (zh) * 2018-03-26 2018-08-17 湖北工业大学 一种激光加工中三维零件标定系统及方法
CN110842928A (zh) * 2019-12-04 2020-02-28 中科新松有限公司 一种复合机器人视觉引导定位装置及方法
CN112070133A (zh) * 2020-08-27 2020-12-11 武汉华工激光工程有限责任公司 一种基于测距仪和机器视觉的三维空间点定位的方法
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘暐、李国芹: "计算机应用基础与案例实训", 电子科技大学出版社, pages: 190 - 192 *

Also Published As

Publication number Publication date
CN114643599B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111775154B (zh) 一种机器人视觉系统
US11077557B2 (en) System and method for robust calibration between a machine vision system and a robot
WO2021208231A1 (zh) 缝隙测量系统及测量方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN109794963B (zh) 一种面向曲面构件的机器人快速定位方法
CN109291048B (zh) 一种磨抛工业机器人实时在线编程系统及方法
CN111823223B (zh) 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
Hu et al. Automatic calibration of hand–eye–workspace and camera using hand-mounted line laser
CN112917513A (zh) 一种基于机器视觉的三维点胶针头的tcp标定方法
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN109059755B (zh) 一种机器人高精度手眼标定方法
CN115284292A (zh) 基于激光相机的机械臂手眼标定方法及装置
Hvilshøj et al. Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices
CN113618367B (zh) 基于七自由度并联双模块机器人的多视觉空间装配系统
CN109773589A (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN113334380A (zh) 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN110533727B (zh) 一种基于单个工业相机的机器人自定位方法
CN114643599A (zh) 一种基于点激光和面阵相机的三维机器视觉系统及方法
CN114998422B (zh) 一种基于误差补偿模型的高精快速三维定位系统
Secil et al. A robotic system for autonomous 3-D surface reconstruction of objects
CN115179323A (zh) 基于远心视觉约束的机器末位姿测量装置及精度提升方法
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统
CN114643577B (zh) 一种通用型机器人视觉自动标定装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant