CN110355755B - 机器人手眼系统标定方法、装置、设备及存储介质 - Google Patents

机器人手眼系统标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110355755B
CN110355755B CN201910412702.3A CN201910412702A CN110355755B CN 110355755 B CN110355755 B CN 110355755B CN 201910412702 A CN201910412702 A CN 201910412702A CN 110355755 B CN110355755 B CN 110355755B
Authority
CN
China
Prior art keywords
coordinate system
coordinate
center
scanner
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910412702.3A
Other languages
English (en)
Other versions
CN110355755A (zh
Inventor
盖炜
苏健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mingjie Medical Technology Co ltd
Original Assignee
Shenzhen Mingjie Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mingjie Medical Technology Co ltd filed Critical Shenzhen Mingjie Medical Technology Co ltd
Publication of CN110355755A publication Critical patent/CN110355755A/zh
Application granted granted Critical
Publication of CN110355755B publication Critical patent/CN110355755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种机器人手眼系统标定方法、装置、设备及存储介质，该方法包括：获取标定器上的标定件在机械臂工具坐标系下的中心坐标；获取标定件在扫描器坐标系下的中心坐标；分别计算标定件在机械臂工具坐标系下的中心坐标和标定件在扫描器坐标系下的中心坐标的重心平移向量；将重心平移向量按照奇异值分解法计算得到扫描器坐标系和机械臂工具坐标系之间的变换矩阵；根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标。本发明技术方案免去了通过二维图像进行相机位姿标定的复杂运算，简化了机器人手眼系统标定时的成像复杂度，提高了标定的精度和工作效率。

Description

机器人手眼系统标定方法、装置、设备及存储介质
技术领域
本发明涉及机器人视觉引导技术领域，尤其涉及一种机器人手眼系统标定方法、装置、设备及存储介质。
背景技术
机器人手眼系统主要包含机械手爪和视觉设备。在机器人视觉引导系统中，经常被用到的有两种模型：Eye-to-Hand和Eye-in-Hand。其中将视觉设备安装在机械臂上，和机器人本体直接连接的称之为Eye-in-Hand(机器人手眼系统)。视觉设备采集到的目标物体的位姿是在视觉设备的坐标系下的，需要转换到机械臂工具坐标系下才能用于机器人的运动控制。计算视觉设备坐标系与机械臂工具坐标系之间的转换矩阵的过程即为机器人手眼系统的标定。
现有的机器人手眼系统采用的视觉设备通常是线性CCD工业相机，能够采集二维图像，但成像数据不具备深度信息。在标定过程中要根据一个或多个摄像头从不同角度成像的数据识别出标定物的二维坐标，根据这些二维坐标的透视关系去进行相机的位姿标定，然后才能计算相机坐标系与机械臂工具坐标系的变换矩阵，但是相机位姿标定的换算过程十分繁杂，而且受到多种因素的影响，误差较大。
发明内容
本发明的目的在于提供一种机器人手眼系统标定方法、装置、设备及存储介质，以解决现有技术中标定的换算过程十分繁杂以及误差较大的问题。
本发明是这样实现的，本发明第一方面提供一种机器人手眼系统标定方法，步骤包括：
设置扫描器坐标系和机械臂工具坐标系，获取所述标定件在所述机械臂工具坐标系下的中心坐标；
通过所述扫描器扫描所述标定件，获取所述标定件在所述扫描器坐标系下的中心坐标；
分别计算所述标定件在所述机械臂工具坐标系下的中心坐标和所述标定件在所述扫描器坐标系下的中心坐标的重心平移向量；
将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
本发明第二方面提供一种机器人手眼系统标定装置，所述机器人包括扫描器、抓握器以及机械臂以及与所述机械臂的坐标关系预先确定的标定器，所述标定器与上设有至少三个标定件，所述抓握器和所述扫描器设置在所述机械臂的末端，所述机器人手眼系统标定装置包括：
坐标系设置模块，用于设置扫描器坐标系和机械臂工具坐标系；
中心坐标获取模块，用于获取所述标定件在所述机械臂工具坐标系下的中心坐标，以及通过所述扫描器扫描所述标定件，获取所述标定件在所述扫描器坐标系下的中心坐标；
重心平移向量计算模块，用于分别计算所述标定件在所述机械臂工具坐标系下的中心坐标和所述标定件在所述扫描器坐标系下的中心坐标的重心平移向量；
变换矩阵计算模块，用于将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
本发明第三方面提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现基于机器人手眼系统标定方法的算法步骤。
本发明第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现机器人手眼系统标定方法的算法步骤。
本发明技术方案提供一种机器人手眼系统标定方法、装置、设备及存储介质，机器人手眼系统标定方法包括：设置扫描器坐标系和机械臂工具坐标系，获取标定件在机械臂工具坐标系下的中心坐标；通过扫描器扫描标定件的点云数据，获取标定件在扫描器坐标系下的中心坐标；分别计算标定件在所述机械臂工具坐标系下的中心坐标和标定件在扫描器坐标系下的中心坐标的重心平移向量；将重心平移向量按照奇异值分解法计算得到扫描器坐标系和机械臂工具坐标系之间的变换矩阵。本发明技术方案运用可生成点云的三维扫描器来替代线性CCD工业相机作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云，将目标物体的点云数据进行特征拟合，识别出标定物的三维坐标，可直接用于变换矩阵的计算，本发明技术方案免去了通过二维图像进行相机位姿标定的复杂运算，简化了机器人手眼系统标定时的成像复杂度，提高了标定的精度和工作效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种实施例提供的一种机器人手眼系统标定方法的流程图；
图2是本发明一种实施例提供的一种机器人手眼系统标定方法中的机器人标定器示意图；
图3是本发明一种实施例提供的一种机器人手眼系统标定方法中的步骤S10的具体流程图；
图4是本发明一种实施例提供的一种机器人手眼系统标定方法的又一流程图；
图5是本发明一种实施例提供的一种机器人手眼系统标定方法中的步骤S50中机械臂的工作示意图；
图6是本发明一种实施例提供的一种机器人手眼系统标定方法中的步骤S50中机械臂的又一工作示意图；
图7是本发明一种实施例提供的一种机器人手眼系统标定装置的结构示意图；
图8是本发明一种实施例提供的一种机器人手眼系统标定装置的又一结构示意图；
图9为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供一种机器人手眼系统标定方法，如图1所示，机器人手眼系统标定方法包括：
步骤S10.设置扫描器坐标系和机械臂工具坐标系，获取标定件在机械臂工具坐标系下的中心坐标。
在步骤S10中，抓握器设置在机械臂的末端法兰上，扫描器可以设置在抓握器上，也可以设置在机械臂末端上，例如，将扫描器设置在机械臂的末端关节上，扫描器的位置在此不做具体限定，标定件可以为各种具有中心点的规则物体，例如圆球、正方体、圆锥体等，可以将该具有中心点的规则物体设置在标定器上，标定件也可以为光点，光点可以投射在标定器上，也可以悬浮在空中，无论标定器选择为何种类型，其在机械臂工具坐标系下的坐标是预先可知的，例如，将标定件设置在标定器上，根据标定器与机械臂末端法兰的相对位置以及标定件在标定器上的位置可得出标定件在机械臂工具坐标系下的坐标。
作为一种实施方式，如图2所示，将三维点云扫描器4(简称扫描器)和抓握器3固定于六轴机械臂1(简称机械臂)末端法兰2上，使扫描器4、抓握器3与机械臂末端法兰2在运动中保持相对静止，则扫描器4和抓握器3二者构成机器人手眼系统，抓握器3上固定连接杆，标定器5固定在连接杆上，标定器5上设有至少三个标定件，其中标定件满足以下条件：标定器5上的标定件为具有三个圆球，三个圆球的球心组成的三角形的三条边长互不相等，标定器5能够稳固地固定在抓握器3的连接杆上，并且与机械臂末端保持相对静止；安装后这三个圆球的球心坐标在机械臂工具坐标系中是可以得出的；在扫描器对标定器进行扫描时，三个圆球必须都在扫描器的有效视野内，并且相互不发生遮挡。
在步骤S10中，如图3所示，设置扫描器坐标系和机械臂工具坐标系，还包括：
步骤S101.将抓握器的轴线设置成与机械臂工具坐标系的x轴平行。
步骤S102.将抓握器的轴线上的瞄准点设置为机械臂的工具中心点。
在步骤S101和步骤S102中，使扫描器、抓握器与机械臂末端法兰在运动中保持相对静止，则扫描器和抓握器二者构成机器人手眼系统，然后将抓握器的轴线设置成与机械臂末端机械臂工具坐标系的x轴平行，将抓握器的瞄准点设置为机械臂的工具中心点(ToolCentral Point，TCP)，并记该点在机械臂工具坐标系下的位置为S(Sx,Sy,Sz)，可以将标定器通过连接杆连接在抓握器3上，在标定器按照预设条件设置三个圆球，根据机械臂的工具中心点以及三个圆球在标定器上的位置得到三个圆球在机械臂工具坐标系下的球心坐标。
步骤S20.通过扫描器扫描标定件，获取标定件在扫描器坐标系下的中心坐标。
在步骤S20中，通过扫描器扫描标定件获取标定件的表面方程，根据表面方程获取标定件在扫描器坐标系下的中心坐标。
具体的，通过扫描器获取三个圆球的点云数据，对三个圆球的点云数据进行球面拟合，获取三个圆球在扫描器坐标系下的球心坐标，可以采用最小二乘法对点云数据进行球面拟合获取三个圆球在扫描器坐标系下的球心坐标。
步骤S30.分别计算标定件在机械臂工具坐标系下的中心坐标和标定件在扫描器坐标系下的中心坐标的重心平移向量。
具体的，分别计算三个圆球在机械臂工具坐标系下的球心坐标和三个圆球在扫描器坐标系下的球心坐标的重心平移向量。
作为一种实施方式，步骤S30包括:
对三个圆球在机械臂工具坐标系下的球心坐标向量
Figure BDA0002063337240000061
和三个圆球在扫描器坐标系下的球心坐标向量
Figure BDA0002063337240000062
分别计算算术平均值，得到三个圆球在机械臂工具坐标系下的重心坐标向量
Figure BDA0002063337240000063
和三个圆球在扫描器坐标系下的重心坐标向量
Figure BDA0002063337240000064
根据以下公式计算球心坐标向量
Figure BDA0002063337240000065
的重心平移向量
Figure BDA0002063337240000066
Figure BDA0002063337240000067
根据以下公式计算球心坐标向量
Figure BDA0002063337240000068
的重心平移向量
Figure BDA0002063337240000069
Figure BDA00020633372400000610
步骤S40.将重心平移向量按照奇异值分解法计算得到扫描器坐标系和机械臂工具坐标系之间的变换矩阵。
作为一种实施方式，将重心平移向量按照奇异值分解法计算得到扫描器坐标系和机械臂工具坐标系之间的变换矩阵，包括：
将重心平移向量
Figure BDA00020633372400000611
转换成3×3矩阵X0:
Figure BDA0002063337240000071
将重心平移向量
Figure BDA0002063337240000072
转换成3×3矩阵Y0:
Figure BDA0002063337240000073
计算矩阵
Figure BDA0002063337240000074
并对矩阵H作奇异值分解
Figure BDA0002063337240000075
其中，U的列为H·HT的特征向量，V的列为HT·H的特征向量，H·HT与HT·H有相同的特征值，将特征值设为λ1,...,λr，r表示矩阵H的秩；Λ中对角线元素
Figure BDA0002063337240000076
i＝1,...r，且Λ中对角线元素按降序排列，Λ中其余元素为0；
根据以下公式获取扫描器坐标系和机械臂工具坐标系之间的旋转矩阵R和平移矩阵T：
Figure BDA0002063337240000077
根据所述旋转矩阵R和所述平移矩阵T得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
即得到变矩阵
Figure BDA0002063337240000078
进一步的，如图4所示，所述步骤S40之后还包括：
步骤S50.通过扫描器获取待抓握目标的点云数据，根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标。
在步骤S50中，使待抓握目标位于扫描器的有效视野覆盖范围内，并通过扫描器获取待抓握目标的点云数据。具体的，通过控制机械臂移动扫描器或者控制扫描器对待抓握目标进行激光扫描，当检测到待抓握目标的边缘在扫描器的有效视野覆盖范围外时，继续调整机械臂或者扫描器或者提示用户将待抓握目标移动至扫描器的有效视野覆盖范围内，通过扫描器对待抓握目标进行激光扫描，激光扫描器可以和控制系统之间进行数据通信，激光扫描器采集将待抓握目标的点云数据信息，点云数据可以区分属于每一帧激光线的激光数据点，控制系统可以将点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应；将获得的激光点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线。
进一步的，步骤S50中的根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标，包括：
根据变换矩阵通过以下公式将待抓握目标的点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标：
b＝M·a
其中，M为变换矩阵，a为点云数据中每一个点的齐次坐标，b为机械臂工具坐标系下每一个点的齐次坐标。
步骤S60.根据待抓握目标在机械臂工具坐标系下的点坐标获取待抓握目标的顶点坐标和轴向向量。
在步骤S60中，作为一种实施方式，步骤S60包括：
对待抓握目标在机械臂工具坐标系下的点坐标进行圆柱拟合，得到圆柱的顶点坐标和轴向向量。
步骤S70.根据顶点坐标和轴向向量获取抓握器的平移量和旋转角度，并根据平移量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握。
在步骤S70中，作为一种实施方式，步骤S70包括：
步骤S701.根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：
Figure BDA0002063337240000091
其中，tx、ty、tz为圆柱的顶点坐标，Sx、Sy、SZ为工具中心点坐标，Vx、Vy、VZ为圆柱轴向向量。
步骤S702.根据沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)。
步骤S703.控制抓握器执行运动指令，以对待抓握目标进行抓握。
在上述步骤S701至步骤S703中，如图5和图6所示，根据抓握器的平移量和旋转角度生成运动指令，根据该运动指令先对抓握器及扫描器进行旋转运动指令中的角度后，在根据运动指令中的平移量沿某个坐标轴进行平移，即可以将抓握器移动到待抓握目标的位置，再控制抓握器执行抓握动作，可以夹紧待抓握目标。图5中的501是目标圆管，坐标系为机械臂工具坐标系各轴方向，箭头表示执行工具相对运动指令(X,Y,Z,A,B,C)。图6中坐标系为机械臂工具坐标系各轴方向，箭头表示执行沿工具坐标系X轴平移指令，再收紧抓握器。
本发明技术方案运用可生成点云的三维扫描器来替代线性CCD工业相机作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云，将目标物体的点云数据进行特征拟合，识别出标定物的三维坐标，可直接用于变换矩阵的计算，本发明技术方案免去了通过二维图像进行相机位姿标定的复杂运算，简化了机器人手眼系统标定时的成像复杂度，提高了标定的精度和工作效率。
本发明另一实施例提供一种机器人手眼系统标定装置60，如图7所示，机器人手眼系统标定装置60包括：
坐标系设置模块601，用于设置扫描器坐标系和机械臂工具坐标系；
中心坐标获取模块602，用于获取标定器上的标定件在机械臂工具坐标系下的中心坐标，以及通过扫描器扫描标定件，获取标定件在扫描器坐标系下的中心坐标；
重心平移向量计算模块603，用于分别计算标定件在机械臂工具坐标系下的中心坐标和标定件在扫描器坐标系下的中心坐标的重心平移向量；
变换矩阵计算模块604，用于将重心平移向量按照奇异值分解法计算得到扫描器坐标系和机械臂工具坐标系之间的变换矩阵。
进一步的，重心平移向量计算模块603具体用于：
对三个圆球在机械臂工具坐标系下的球心坐标向量
Figure BDA0002063337240000101
和三个圆球在扫描器坐标系下的球心坐标向量
Figure BDA0002063337240000102
分别计算算术平均值，得到三个圆球在机械臂工具坐标系下的重心坐标向量
Figure BDA00020633372400001012
和三个圆球在扫描器坐标系下的重心坐标向量
Figure BDA0002063337240000103
根据以下公式计算球心坐标向量
Figure BDA0002063337240000104
的重心平移向量
Figure BDA0002063337240000105
Figure BDA0002063337240000106
根据以下公式计算球心坐标向量
Figure BDA0002063337240000107
的重心平移向量
Figure BDA0002063337240000108
Figure BDA0002063337240000109
进一步的，变换矩阵计算模块604具体用于：
将重心平移向量
Figure BDA00020633372400001010
转换成3×3矩阵X0:
Figure BDA00020633372400001011
将重心平移向量
Figure BDA0002063337240000111
转换成3×3矩阵Y0:
Figure BDA0002063337240000112
计算矩阵
Figure BDA0002063337240000113
并对矩阵H作奇异值分解
Figure BDA0002063337240000114
其中，U的列为H·HT的特征向量，V的列为HT·H的特征向量，H·HT与HT·H有相同的特征值，将特征值设为λ1,...,λr，r表示矩阵H的秩；Λ中对角线元素
Figure BDA0002063337240000115
i＝1,...r，且Λ中对角线元素按降序排列，Λ中其余元素为0；
根据以下公式获取扫描器坐标系和机械臂工具坐标系之间的旋转矩阵R和平移矩阵T：
Figure BDA0002063337240000116
根据所述旋转矩阵R和所述平移矩阵T得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
即得到变矩阵
Figure BDA0002063337240000117
进一步的，如图8所示，机器人手眼系统标定装置60还包括：
坐标转换模块605，用于通过扫描器获取待抓握目标的点云数据，根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标。
移动信息获取模块606，用于根据顶点坐标和轴向向量获取抓握器的平移量和旋转角度；
移动控制模块607，用于根据平移.量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握。
移动信息获取模块606具体用于：
根据以下公式计算抓握器沿x、y、z轴方向的平移量X、Y、Z和旋转角度A、B、C：
Figure BDA0002063337240000121
其中，tx、ty、tz为圆柱的顶点坐标，Sx、Sy、SZ为工具中心点坐标，Vx、Vy、VZ为圆柱轴向向量；
根据沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)。
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中一种机器人手眼系统标定方法，为避免重复，这里不再赘述。
图9是本发明实施例中计算机设备的示意图。如图9所示，计算机设备6包括处理器63、存储器61以及存储在存储器61中并可在处理器63上运行的计算机程序62。处理器63执行计算机程序62时实现上述实施例中一种机器人手眼系统标定方法的各个步骤，例如图1所示的步骤S10、S20、S30以及S40。或者，处理器63执行计算机程序62时实现上述实施例中一种机器人手眼系统标定装置。
示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器63执行，以完成本发明的数据处理过程。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该指令段用于描述计算机程序62在计算机设备6中的执行过程。
终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器63、存储器61。本领域技术人员可以理解，图9仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器63可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人手眼系统标定方法，其特征在于，所述机器人包括扫描器、抓握器、机械臂以及与所述机械臂的坐标关系预先确定的标定器，所述标定器与上设有至少三个标定件，所述抓握器和所述扫描器设置在所述机械臂的末端，步骤包括：
设置扫描器坐标系和机械臂工具坐标系，获取所述标定件在所述机械臂工具坐标系下的中心坐标；
通过所述扫描器扫描所述标定件，获取所述标定件在所述扫描器坐标系下的中心坐标；
分别计算所述标定件在所述机械臂工具坐标系下的中心坐标和所述标定件在所述扫描器坐标系下的中心坐标的重心平移向量；
将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵；
通过扫描器获取待抓握目标的点云数据，根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标；
根据待抓握目标在机械臂工具坐标系下的点坐标获取待抓握目标的顶点坐标和轴向向量；
根据顶点坐标和轴向向量获取抓握器的平移量和旋转角度，并根据平移量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握；
其中，所述根据顶点坐标和轴向向量获取抓握器的平移量和旋转角度，并根据平移量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握包括：
根据以下公式计算抓握器在机械臂工具坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C；根据沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)；控制抓握器执行运动指令，以对待抓握目标进行抓握；
Figure QLYQS_1
，其中，所述抓握器为圆柱形，tx、ty、tz为圆柱的顶点坐标，Sx、Sy、Sz为工具中心点坐标，vx、vy、vz为圆柱的轴线向量。
2.如权利要求1所述的机器人手眼系统标定方法，其特征在于，所述标定器上的标定件为固定在标定器上的具有各向异性的三个圆球；
所述分别计算所述标定件在所述机械臂工具坐标系下的中心坐标和所述标定件在所述扫描器坐标系下的中心坐标的重心平移向量，包括：
对三个圆球在所述机械臂工具坐标系下的球心坐标向量
Figure QLYQS_2
和三个圆球在扫描器坐标系下的球心坐标向量
Figure QLYQS_3
分别计算算术平均值，得到三个圆球在机械臂工具坐标系下的重心坐标向量
Figure QLYQS_4
和三个圆球在扫描器坐标系下的重心坐标向量
Figure QLYQS_5
；
根据以下公式计算球心坐标向量
Figure QLYQS_6
的重心平移向量
Figure QLYQS_7
：
Figure QLYQS_8
；
根据以下公式计算球心坐标向量
Figure QLYQS_9
的重心平移向量
Figure QLYQS_10
：
Figure QLYQS_11
。
3.如权利要求2所述的机器人手眼系统标定方法，其特征在于，所述将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵，包括：
将所述重心平移向量
Figure QLYQS_12
转换成3×3矩阵X0 :
Figure QLYQS_13
；
将所述重心平移向量
Figure QLYQS_14
转换成3×3矩阵Y0 :
Figure QLYQS_15
；
计算矩阵
Figure QLYQS_16
并对矩阵H作奇异值分解
Figure QLYQS_17
，其中，U的列为H·HT 的特征向量，V的列为HT·H的特征向量，H·HT与HT·H有相同的特征值，将特征值设为λ1,...,λr，r表示矩阵H的秩；Λ中对角线元素
Figure QLYQS_18
且Λ中对角线元素按降序排列，Λ中其余元素为0；
根据以下公式获取扫描器坐标系和机械臂工具坐标系之间的旋转矩阵R和平移矩阵T：
Figure QLYQS_19
；
根据所述旋转矩阵R和所述平移矩阵T得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
4.如权利要求3所述的机器人手眼系统标定方法，其特征在于，所述将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵，之后还包括：
通过所述扫描器获取待抓握目标的点云数据，根据所述变换矩阵将所述点云数据中的每一个点坐标转换成所述机械臂工具坐标系下的点坐标。
5.如权利要求4所述的机器人手眼系统标定方法，其特征在于，所述根据所述变换矩阵将所述点云数据中的每一个点坐标转换成所述机械臂工具坐标系下的点坐标，包括：
根据所述变换矩阵通过以下公式将所述待抓握目标的点云数据中的每一个点坐标转换成所述机械臂工具坐标系下的点坐标：
b＝M·a
其中，M为变换矩阵，a为点云数据中每一个点的齐次坐标，b为机械臂工具坐标系下每一个点的齐次坐标。
6.一种机器人手眼系统标定装置，其特征在于，所述机器人包括扫描器、抓握器、机械臂以及与所述机械臂的坐标关系预先确定的标定器，所述标定器与上设有至少三个标定件，所述抓握器和所述扫描器设置在所述机械臂的末端，所述机器人手眼系统标定装置包括：
坐标系设置模块，用于设置扫描器坐标系和机械臂末端机械臂工具坐标系；
中心坐标获取模块，获取所述标定件在所述机械臂工具坐标系下的中心坐标，以及通过所述扫描器扫描获取所述标定件，获取所述标定件在所述扫描器坐标系下的中心坐标；
重心平移向量计算模块，用于分别计算所述标定件在所述机械臂工具坐标系下的中心坐标和所述标定件在所述扫描器坐标系下的中心坐标的重心平移向量；
变换矩阵计算模块，用于将所述重心平移向量按照奇异值分解法计算得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵；
坐标转换模块，用于通过扫描器获取待抓握目标的点云数据，根据变换矩阵将点云数据中的每一个点坐标转换成机械臂工具坐标系下的点坐标；
移动信息获取模块，用于根据顶点坐标和轴向向量获取抓握器的平移量和旋转角度；
移动控制模块，用于根据平移量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握；
其中，所述移动信息获取模块具体用于：
根据以下公式计算抓握器在机械臂工具坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C；根据沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)；
Figure QLYQS_20
，其中，所述抓握器为圆柱形，tx、ty、tz为圆柱的顶点坐标，Sx、Sy、Sz为工具中心点坐标，vx、vy、vz为圆柱的轴线向量。
7.如权利要求6所述的机器人手眼系统标定装置，其特征在于，所述标定器上的标定件为固定在标定器上的具有各向异性的三个圆球，所述重心平移向量计算模块具体用于：
对三个圆球在所述机械臂工具坐标系下的球心坐标向量
Figure QLYQS_21
和三个圆球在扫描器坐标系下的球心坐标向量
Figure QLYQS_22
分别计算算术平均值，得到三个圆球在机械臂工具坐标系下的重心坐标向量
Figure QLYQS_23
和三个圆球在扫描器坐标系下的重心坐标向量
Figure QLYQS_24
；
根据以下公式计算球心坐标向量
Figure QLYQS_25
的重心平移向量
Figure QLYQS_26
：
Figure QLYQS_27
；
根据以下公式计算球心坐标向量
Figure QLYQS_28
的重心平移向量
Figure QLYQS_29
：
Figure QLYQS_30
。
8.如权利要求7所述的机器人手眼系统标定装置，其特征在于，所述变换矩阵计算模块具体用于：
将所述重心平移向量
Figure QLYQS_31
转换成3×3矩阵X0 :
Figure QLYQS_32
；
将所述重心平移向量
Figure QLYQS_33
转换成3×3矩阵Y0 :
Figure QLYQS_34
；
计算矩阵
Figure QLYQS_35
并对矩阵H作奇异值分解
Figure QLYQS_36
，其中，U的列为H·HT的特征向量，V的列为HT·H的特征向量，H·HT与HT·H有相同的特征值，将特征值设为λ1,...,λr，r表示矩阵H的秩；Λ中对角线元素
Figure QLYQS_37
且Λ中对角线元素按降序排列，Λ中其余元素为0；
根据以下公式获取扫描器坐标系和机械臂工具坐标系之间的旋转矩阵R和平移矩阵T：
Figure QLYQS_38
；
根据所述旋转矩阵R和所述平移矩阵T得到所述扫描器坐标系和所述机械臂工具坐标系之间的变换矩阵。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910412702.3A 2018-12-15 2019-05-17 机器人手眼系统标定方法、装置、设备及存储介质 Active CN110355755B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811537462 2018-12-15
CN2018115374621 2018-12-15

Publications (2)

Publication Number Publication Date
CN110355755A CN110355755A (zh) 2019-10-22
CN110355755B true CN110355755B (zh) 2023-05-16

Family

ID=68215213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910412702.3A Active CN110355755B (zh) 2018-12-15 2019-05-17 机器人手眼系统标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110355755B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930442B (zh) * 2019-11-26 2020-07-31 广东技术师范大学 基于标定块的机器人手眼标定中关键点位置确定方法与装置
CN113043268A (zh) * 2019-12-27 2021-06-29 沈阳新松机器人自动化股份有限公司 机器人手眼标定方法、装置、终端、系统及存储介质
CN111452043B (zh) * 2020-03-27 2023-02-17 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111823230B (zh) * 2020-06-19 2022-01-07 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN111956348B (zh) * 2020-06-24 2021-11-02 深圳市美鸣齿科技术有限公司 义齿自动涂刷方法、系统、设备及存储介质
US11529738B2 (en) * 2020-07-02 2022-12-20 NDR Medical Technology Pte. Ltd. Control system and a method for operating a robot
CN112847350B (zh) * 2020-12-30 2022-03-25 杭州思锐迪科技有限公司 手眼标定方法、系统、计算机设备和存储介质
CN112659129B (zh) * 2020-12-30 2022-08-09 杭州思锐迪科技有限公司 机器人的定位方法、装置、系统和计算机设备
CN113331948B (zh) * 2021-05-28 2022-12-09 浙江德尚韵兴医疗科技有限公司 一种介入手术机器人系统、标定装置及标定方法
CN113409384B (zh) * 2021-08-17 2021-11-30 深圳市华汉伟业科技有限公司 一种目标物体的位姿估计方法和系统、机器人
CN113907830B (zh) * 2021-10-13 2023-07-18 杭州柳叶刀机器人有限公司 一种打磨控制方法、装置、电子设备及存储介质
CN114301006B (zh) * 2021-12-29 2024-04-12 国网瑞嘉(天津)智能机器人有限公司 智能控制器、绝缘斗臂车及带电作业设备
CN115488878A (zh) * 2022-08-29 2022-12-20 上海智能制造功能平台有限公司 机器人视觉系统的手眼标定方法、系统、终端及介质
CN115488884B (zh) * 2022-09-07 2024-04-30 华南理工大学 远程机器人的超声探头的标定方法、系统、装置及介质
CN115781676A (zh) * 2022-11-28 2023-03-14 南通罗伯特医疗科技有限公司 一种机械臂标定方法及其标定装置
CN116100564B (zh) * 2023-04-12 2023-07-25 深圳广成创新技术有限公司 一种标定机械手的高精度标定方法及装置
CN117576227B (zh) * 2024-01-16 2024-04-19 中铁科工集团有限公司 一种手眼标定方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103522291A (zh) * 2013-10-29 2014-01-22 中国人民解放军总装备部军械技术研究所 一种排爆机器人的目标抓取系统及方法
CN106113035A (zh) * 2016-06-16 2016-11-16 华中科技大学 一种六自由度工业机器人末端工具坐标系标定装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2722136A1 (en) * 2012-10-19 2014-04-23 inos Automationssoftware GmbH Method for in-line calibration of an industrial robot, calibration system for performing such a method and industrial robot comprising such a calibration system
CN106182004B (zh) * 2016-08-01 2019-08-23 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN110288660B (zh) * 2016-11-02 2021-05-25 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN107127755B (zh) * 2017-05-12 2023-12-08 华南理工大学 一种三维点云的实时采集装置及机器人打磨轨迹规划方法
CN108339995B (zh) * 2018-01-12 2020-04-03 上海大学 一种可调角度的机器人末端执行器安装机构及其调整方法
CN108942918B (zh) * 2018-05-21 2023-04-07 沈阳建筑大学 一种基于线结构光的立体定位方法
CN108942922A (zh) * 2018-06-11 2018-12-07 杭州灵西机器人智能科技有限公司 基于圆锥标定物的机械臂手眼标定方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103522291A (zh) * 2013-10-29 2014-01-22 中国人民解放军总装备部军械技术研究所 一种排爆机器人的目标抓取系统及方法
CN106113035A (zh) * 2016-06-16 2016-11-16 华中科技大学 一种六自由度工业机器人末端工具坐标系标定装置及方法

Also Published As

Publication number Publication date
CN110355755A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110355755B (zh) 机器人手眼系统标定方法、装置、设备及存储介质
CN110355754B (zh) 机器人手眼系统、控制方法、设备及存储介质
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
CN112223302B (zh) 基于多传感器的带电作业机器人的快速标定方法及装置
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN111673735A (zh) 一种基于单目视觉定位的机械臂控制方法及装置
JP2022028672A5 (zh)
CN112171666B (zh) 视觉机器人的位姿标定方法及装置、视觉机器人、介质
CN109559341B (zh) 一种机械臂抓取方案的生成方法及装置
CN110470320B (zh) 摆动扫描式线结构光测量系统的标定方法及终端设备
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
WO2017003949A1 (en) Technologies for pan tilt unit calibration
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN111890356A (zh) 机械臂坐标系和相机坐标系标定方法、装置、设备及介质
CN114952856A (zh) 机械臂手眼标定方法、系统、计算机及可读存储介质
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
CN117173254A (zh) 一种相机标定方法、系统、装置和电子设备
CN112767479A (zh) 位置信息检测方法、装置、系统及计算机可读存储介质
CN115284292A (zh) 基于激光相机的机械臂手眼标定方法及装置
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统
JP2014238687A (ja) 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム
CN116175569A (zh) 手眼矩阵的关系模型的确定方法、手眼标定方法及设备
CN112790786A (zh) 点云数据配准方法、装置、超声设备及存储介质
CN115582829B (zh) 机械臂的位置确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant