CN113664836A - 手眼标定方法、机器人、介质及电子设备 - Google Patents

手眼标定方法、机器人、介质及电子设备 Download PDF

Info

Publication number
CN113664836A
CN113664836A CN202111080613.7A CN202111080613A CN113664836A CN 113664836 A CN113664836 A CN 113664836A CN 202111080613 A CN202111080613 A CN 202111080613A CN 113664836 A CN113664836 A CN 113664836A
Authority
CN
China
Prior art keywords
tracer
rotation matrix
coordinate system
robot
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111080613.7A
Other languages
English (en)
Other versions
CN113664836B (zh
Inventor
刘积昊
郑国焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111080613.7A priority Critical patent/CN113664836B/zh
Publication of CN113664836A publication Critical patent/CN113664836A/zh
Application granted granted Critical
Publication of CN113664836B publication Critical patent/CN113664836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种手眼标定方法、机器人、介质及电子设备。所述方法包括旋转矩阵标定子方法和平移向量标定子方法，所述旋转矩阵标定子方法包括：利用所述控制器控制所述法兰盘做直线运动；当所述法兰盘做直线运动时，在多个第一时刻分别通过所述定位相机和所述控制器获取所述示踪器的第一位姿以及所述法兰盘的第二位姿；获取示踪器‑法兰盘旋转矩阵；所述平移向量标定子方法包括：利用所述控制器控制所述法兰盘做旋转运动；当所述法兰盘做旋转运动时，在多个第二时刻分别通过所述定位相机和所述控制器获取所述示踪器的第三位姿以及所述法兰盘的第四位姿；获取示踪器‑法兰盘平移向量。所述手眼标定方法能够基于导航系统实现对机器人的手眼标定。

Description

手眼标定方法、机器人、介质及电子设备
技术领域
本发明涉及一种标定方法，特别是涉及一种手眼标定方法、机器人、介质及电子设备。
背景技术
结合计算机导航系统的机器人广泛应用于医疗领域，例如骨科手术机器人、介入式手术机器人等。在机器人及相关领域，手眼标定是建立光学示踪器空间和机器人空间的映射关系的过程，精确的手眼标定结果才能保证机器人在导航运动控制下的定位精度。因此，如何提供基于导航系统的手眼标定方法已成为相关领域技术人员亟需解决的技术问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种手眼标定方法、机器人、介质及电子设备，用于解决现有技术中存在的上述问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种手眼标定方法，用于基于导航系统对机器人进行手眼标定，所述机器人具有控制器和机械臂，所述机械臂的末端为法兰盘，所述导航系统包括示踪器和定位相机，所述示踪器固定设置于所述法兰盘上，所述手眼标定方法包括旋转矩阵标定子方法和平移向量标定子方法，其中：所述旋转矩阵标定子方法包括：利用所述控制器控制所述法兰盘做直线运动；当所述法兰盘做直线运动时，在多个第一时刻分别通过所述定位相机和所述控制器获取所述示踪器的第一位姿以及所述法兰盘的第二位姿，其中，所述第一位姿为所述示踪器相对于相机坐标系的位姿，所述第二位姿为所述法兰盘相对于机器人坐标系的位姿；根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵，其中，所述示踪器-法兰盘旋转矩阵为示踪器坐标系相对于法兰盘坐标系的旋转矩阵；所述平移向量标定子方法包括：利用所述控制器控制所述法兰盘做旋转运动；当所述法兰盘做旋转运动时，在多个第二时刻分别通过所述定位相机和所述控制器获取所述示踪器的第三位姿以及所述法兰盘的第四位姿，其中，所述第三位姿为所述示踪器相对于所述相机坐标系的位姿，所述第四位姿为所述法兰盘相对于所述机器人坐标系的位姿；根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取示踪器-法兰盘平移向量，其中，所述示踪器-法兰盘平移向量为所述示踪器坐标系相对于所述法兰盘坐标系的平移向量。
于所述第一方面的一实施例中，所述手眼标定方法还包括：在所述法兰盘做旋转运动的过程中，利用所述定位相机获取所述示踪器上多个参考点的轨迹；根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面；若判断结果为否，则调整所述定位相机的位置和/或姿态，并再次执行所述旋转矩阵标定子方法和所述平移向量标定子方法。
于所述第一方面的一实施例中，根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面的实现方法包括：对各所述参考点的轨迹进行球面拟合，以得到一球半径和一球心；获取各所述参考点到所述球心的距离与所述球半径的差值；若所述差值的波动小于一波动阈值，则各所述参考点实质上位于同一球面，否则，各所述参考点并不实质上位于同一球面。
于所述第一方面的一实施例中，根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵的实现方法包括：根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量；根据所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量获取机器人-相机旋转矩阵，其中，所述机器人-相机旋转矩阵为所述机器人坐标系相对于所述相机坐标系的旋转矩阵；根据各所述第一时刻对应的所述第一位姿获取各所述第一时刻对应的示踪器-相机旋转矩阵，其中，所述示踪器-相机旋转矩阵为所述示踪器坐标系相对于所述相机坐标系的旋转矩阵；根据各所述第一时刻对应的所述第二位姿获取各所述第一时刻对应的法兰盘-机器人旋转矩阵，其中，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵；根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵。
于所述第一方面的一实施例中，所述法兰盘在所述控制器的控制下分别沿所述机器人坐标系的各坐标轴做直线运动，根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量的实现方法包括：对各所述第一时刻对应的所述第一位姿进行拟合，以得到所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量。
于所述第一方面的一实施例中，根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵的实现方法包括：根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取各所述第一时刻对应的示踪器-法兰盘旋转矩阵；对各所述第一时刻对应的示踪器-法兰盘旋转矩阵进行拟合，以得到所述示踪器-法兰盘旋转矩阵。
于所述第一方面的一实施例中，在做旋转运动的过程中，所述法兰盘坐标系的原点保持不变，根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取所述示踪器-法兰盘平移向量的实现方法包括：根据各所述第二时刻对应的所述第三位姿获取各所述第二时刻对应的示踪器-相机平移向量，所述示踪器-相机平移向量为所述示踪器坐标系相对于所述相机坐标系的平移向量；根据各所述第二时刻对应的所述第四位姿获取各所述第二时刻对应的法兰盘-机器人旋转矩阵，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵；获取各所述第二时刻对应的示踪器-相机平移向量、所述法兰盘-机器人旋转矩阵以及所述示踪器-法兰盘平移向量之间的方程；对所述方程进行求解以得到所述示踪器-法兰盘平移向量。
本发明的第二方面提供一种机器人，所述机器人采用本发明第一方面任一项所述手眼标定方法进行标定。
本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述的手眼标定方法。
本发明的第四方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面任一项所述的手眼标定方法。
如上所述，本发明一个或多个实施例中所述的手眼标定方法具有以下有益效果：
所述手眼标定方法能够基于导航系统中的示踪器和定位相机对机器人进行手眼标定，在标定过程中无需引入额外的光学探针、机械支架、反光球等设备，因而能够对机器人进行便捷、快速地手眼标定。
附图说明
图1A显示为本发明实施例中机器人和导航系统的结构示意图。
图1B显示为本发明实施例中旋转矩阵标定子方法的流程图。
图1C显示为本发明实施例中平移向量标定子方法的流程图。
图2A显示为本发明实施例中的关键步骤流程图。
图2B显示为本发明实施例中步骤S22的详细流程图。
图3A显示为本发明实施例中获取示踪器-法兰盘旋转矩阵的流程图。
图3B显示为本发明实施例中步骤S35的详细流程图。
图4显示为本发明实施例中获取示踪器-法兰盘平移向量的流程图。
图5A显示为本发明实施例中手眼标定方法的流程图。
图5B显示为本发明实施例中的关键步骤流程图。
图5C显示为本发明实施例中的关键步骤流程图。
图6显示为本发明实施例中电子设备的结构示意图。
元件标号说明
1 机器人
11 控制器
12 机械臂
13 法兰盘
2 导航系统
21 示踪器
22 定位相机
600 电子设备
610 存储器
620 处理器
630 显示器
S11a～S13a 步骤
S11b～S13b 步骤
S21～S23 步骤
S221～S223 步骤
S31～S35 步骤
S351～S352 步骤
S41～S44 步骤
S51～S53 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
结合计算机导航系统的机器人广泛应用于医疗领域，而如何结合计算机导航系统已成为相关技术人员亟需解决的技术问题之一。针对这一问题，于本发明的一实施例中提供一种手眼标定方法。所述手眼标定方法能够基于导航系统对机器人进行手眼标定，其中，如图1A所示，本实施例中所述机器人1具有控制器11和机械臂12，所述机械臂12的末端为法兰盘13，所述导航系统2包括示踪器21和定位相机22。所述示踪器21固定设置于所述法兰盘13上，例如为光学示踪器等。所述定位相机22用于拍摄所述示踪器21和所述法兰盘13，例如为空间定位相机、NDI相机等。本实施例中所述手眼标定方法包括旋转矩阵标定子方法和平移向量标定子方法。
请参阅图1B，本实施例中所述旋转矩阵标定子方法包括：
S11a，利用所述控制器11控制所述法兰盘13做直线运动。其中，所述法兰盘13可以沿一条直线进行单一直线运动，也可以在不同的时间段内分别沿两条或多条直线做分段直线运动。此外，由于所述示踪器21固定设置于所述法兰盘13上，因此，所述法兰盘13在做直线运动时也会带动所述示踪器21做直线运动。
优选地，所述法兰盘13在做直线运动时，其姿态保持不变。
S12a，当所述法兰盘13做直线运动时，在多个第一时刻分别通过所述定位相机22和所述控制器11获取所述示踪器21的第一位姿以及所述法兰盘13的第二位姿。
所述第一位姿为所述示踪器21相对于相机坐标系的位姿，更具体地，是指各所述第一时刻所述示踪器21的某一特征点相对于所述相机坐标系的位姿，例如，可以为示踪器坐标系的原点相对于所述相机坐标系的位姿。其中，所述相机坐标系是指以所述定位相机22上的某一点为原点所建立的坐标系，例如，可以是以所述定位相机22的光心为原点所建立的坐标系，但本发明并不以此为限。所述示踪器坐标系是指以所述示踪器21上的某一点为原点所建立的坐标系，例如，可以是以所述示踪器21的中心点为原点所建立的坐标系，但本发明并不以此为限。
所述第二位姿为所述法兰盘13相对于机器人坐标系的位姿，更具体地，是指各所述第一时刻所述法兰盘13的某一特征点相对于所述机器人坐标系的位姿，例如，可以为法兰盘坐标系的原点相对于所述机器人坐标系的位姿。所述机器人坐标系是指以所述机器人1上的某一点为原点所建立的坐标系，例如，可以是以所述机器人1的基座中心点为原点所建立的坐标系，但本发明并不以此为限。所述法兰盘坐标系是指以所述法兰盘13上的某一点为原点所建立的坐标系，例如，可以是以所述法兰盘13的中心点为原点所建立的坐标系，但本发明并不以此为限。
具体地，在任一第一时刻A，所述控制器11能够直接获取所述法兰盘13相对于所述机器人坐标系的位姿，也即，该第一时刻A对应的所述第二位姿；同时，所述定位相机22具有空间定位功能，因而能够直接获取所述示踪器21相对于所述相机坐标系的位姿，也即，该第一时刻A对应的所述第一位姿。
S13a，根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵，其中，所述示踪器-法兰盘旋转矩阵为所述示踪器坐标系相对于所述法兰盘坐标系的旋转矩阵。
此外，请参阅图1C，本实施例中所述平移向量标定子方法包括：
S11b，利用所述控制器11控制所述法兰盘13做旋转运动。具体的，所述控制器11可以控制所述法兰盘13绕所述机器人坐标系的X轴和Y轴旋转，也可以控制法兰盘13绕所述法兰盘坐标系的原点旋转，所述法兰盘13在做旋转运动的过程中同样会带动所述示踪器21做旋转运动。
S12b，当所述法兰盘13做旋转运动时，在多个第二时刻分别通过所述定位相机22和所述控制器11获取所述示踪器21的第三位姿以及所述法兰盘13的第四位姿。其中，所述第三位姿为所述示踪器21相对于所述相机坐标系的位姿，更具体地，是指各所述第二时刻所述示踪器21的某一特征点相对于所述相机坐标系的位姿，例如，可以为所述示踪器坐标系的原点相对于所述相机坐标系的位姿。所述第四位姿为所述法兰盘13相对于所述机器人坐标系的位姿，更具体地，是指各所述第二时刻所述法兰盘13的某一特征点相对于所述机器人坐标系的位姿，例如，可以为所述法兰盘坐标系的原点相对于所述机器人坐标系的位姿。
具体地，在任一第二时刻B，所述控制器11能够直接获取所述法兰盘13相对于所述机器人坐标系的位姿，也即，该第二时刻B对应的所述第四位姿；同时，所述定位相机22能够直接获取所述示踪器21相对于所述相机坐标系的位姿，也即，该第二时刻B对应的所述第三位姿。
S13b，根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取示踪器-法兰盘平移向量，其中，所述示踪器-法兰盘平移向量为所述示踪器坐标系相对于所述法兰盘坐标系的平移向量。
根据以上描述可知，本实施例中，所述手眼标定方法能够基于导航系统2中的所述示踪器21和所述定位相机22对所述机器人1进行手眼标定，从而得到对所述机器人1的手眼标定结果，即，所述示踪器-法兰盘旋转矩阵和所述示踪器-法兰盘平移向量。在标定过程中无需引入额外的光学探针、机械支架、反光球等设备，因而能够对机器人1进行便捷、快速地手眼标定。
请参阅图2A，于本发明的一实施例中，所述手眼标定方法还包括：
S21，在所述法兰盘13做旋转运动的过程中，利用所述定位相机22获取所述示踪器21上多个参考点的轨迹，其中，所述参考点可以根据需求任意选取。
S22，根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面。其中，各所述参考点实质上位于同一球面，是指各所述参考点与一球面的距离小于或等于一距离阈值，所述距离阈值取决于用户所允许的误差。特别地，当所述距离阈值为0时，各所述参考点实质上位于同一球面等同于各所述参考点均位于同一球面上。
S23，若判断结果为否，则调整所述定位相机22的位置和/或姿态，并再次执行所述旋转矩阵标定子方法和所述平移向量标定子方法。否则，输出所述示踪器-法兰盘旋转矩阵和所述示踪器-法兰盘平移向量作为所述机器人1的手眼标定结果。
具体地，若判断结果为否，则说明当前得到的手眼标定结果误差太大而不能满足要求，因此，需要调整所述定位相机22的位置和/或姿态，并对所述机器人1重新进行手眼标定；否则，说明当前得到的手眼标定结果误差较小，该手眼标定结果可以作为最终结果输出。
需要说明的是，若步骤S23的判断结果为否，则重新执行所述旋转矩阵标定子方法和所述平移向量标定子方法，并得到新的手眼标定结果。若新的手眼标定结果的误差仍然太大，则需要再次调整所述定位相机的位置和/或姿态，并再次执行所述旋转矩阵标定子方法和所述平移向量标定子方法，重复此过程，直到得到的手眼标定结果的误差能够满足要求。
可选地，请参阅图2B，本实施例中步骤S22根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面的实现方法包括：
S221，对各所述参考点的轨迹进行球面拟合，以得到一球半径和一球心。具体地，根据各所述参考点的轨迹进行球面拟合可以得到一拟合球面，所述球半径和所述球心为所述拟合球面的半径和球心。
S222，获取各所述参考点到所述球心的距离与所述球半径的差值。具体地，对于任一所述参考点D，获取所述差值的实现方法可以为：获取该参考点D到所述球心的距离d，该距离d与所述球半径之差即为该参考点D对应的所述差值。
S223，若所述差值的波动小于一波动阈值，则各所述参考点实质上位于同一球面，否则，各所述参考点并不实质上位于同一球面。其中，所述波动阈值可以根据实际需求设置，其值越大则说明用户所能接受的误差越大。
根据以上描述可知，本实施例可以通过步骤S21～S23来判断手眼标定结果的误差是否满足要求，若不满足要求则调整所述定位相机22的位置和/或姿态并再次执行所述手眼标定方法，且该过程可以重复执行直到手眼标定结果的误差满足要求。因此，本实施例能够保证得到的手眼标定结果具有较小的误差，从而保证手眼标定结果的可靠性和置信度。
请参阅图3A，于本发明的一实施例中，根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵的实现方法包括：
S31，根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量，其中，各坐标轴相对于所述相机坐标系的向量是指各坐标轴在所述相机坐标系中的向量。
优选地，所述法兰盘在所述控制器的控制下分别沿所述机器人坐标系的各坐标轴做直线运动，此时，根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量的实现方法包括：对各所述第一时刻对应的所述第一位姿进行拟合，以得到所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量。
其中，根据各所述第一时刻对应的所述第一位姿可以得到所述示踪器的轨迹，对各所述第一时刻对应的所述第一位姿进行的拟合可以看作对所述示踪器的轨迹进行的拟合。由于所述示踪器在所述法兰盘的带动下沿平行于对应坐标轴的方向做直线运动，因此，根据所述示踪器的轨迹进行拟合即可得到对应坐标轴的向量。
具体地，对于所述机器人坐标系的任一坐标轴E(例如为X轴、Y轴或Z轴)，若所述法兰盘沿该坐标轴E做直线运动时，所述相机抓取到的所述示踪器的位置分别为(x0,y0,z0)，(x1,y1,z1)，…，(xN-1,yN-1,zN-1)，其中，N为正整数。此时，根据拟合得到的该坐标轴E相对于所述相机坐标系的向量为v＝(a,c,1)，其中，
Figure BDA0003263856490000091
对向量v进行单位化即可得到所述机器人-相机旋转矩阵的列向量，进而形成所述机器人-相机旋转矩阵。
S32，根据所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量获取机器人-相机旋转矩阵，其中，所述机器人-相机旋转矩阵为所述机器人坐标系相对于所述相机坐标系的旋转矩阵。具体地，所述机器人-相机旋转矩阵CRb为：
Figure BDA0003263856490000092
其中，Cex、Cey和Cez分别为所述相机坐标系的X轴向量、Y轴向量和Z轴向量，bex、bey和bez分别为所述机器人坐标系的X轴、Y轴和Z轴相对于所述相机坐标系的向量。上述矩阵中的列向量表示为所述机器人坐标系的坐标轴在所述相机坐标系中的单位直线向量。
S33，根据各所述第一时刻对应的所述第一位姿获取各所述第一时刻对应的示踪器-相机旋转矩阵，其中，所述示踪器-相机旋转矩阵为所述示踪器坐标系相对于所述相机坐标系的旋转矩阵。由于所述第一位姿为所述示踪器上的某一特征点相对于所述相机坐标系的位姿，而该特征点相对于所述示踪器坐标系的原点的位置是固定且预先可知的，因此，根据各所述第一时刻对应的所述第一位姿能够获取各所述第一时刻对应的示踪器-相机旋转矩阵。
S34，根据各所述第一时刻对应的所述第二位姿获取各所述第一时刻对应的法兰盘-机器人旋转矩阵，其中，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵。由于所述第二位姿为所述法兰盘上的某一特征点相对于所述机器人坐标系的位姿，而该特征点相对于所述法兰盘坐标系的原点的位置是固定且预先可知的，因此，根据各所述第一时刻对应的所述第二位姿能够获取各所述第一时刻对应的法兰盘-机器人旋转矩阵。
S35，根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵。
可选地，请参阅图3B，本实施例中，根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵的实现方法包括：
S351，根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取各所述第一时刻对应的示踪器-法兰盘旋转矩阵。具体地，对于任一第一时刻F，该第一时刻F对应的示踪器-法兰盘旋转矩阵为fRm＝fRb·bRC·CRm，其中，fRb为该第一时刻F对应的所述机器人坐标系相对于所述法兰盘坐标系的旋转矩阵，其可以根据该第一时刻F对应的所述法兰盘-机器人旋转矩阵得到，bRC所述相机坐标系相对于所述机器人坐标系的旋转矩阵，其可以根据所述机器人-相机旋转矩阵得到，CRm为该第一时刻F对应的所述示踪器坐标系相对于所述相机坐标系的旋转矩阵，其可以根据该第一时刻F对应的所述示踪器-相机旋转矩阵得到。通过此种方式，本实施例能够得到各所述第一时刻对应的示踪器-法兰盘旋转矩阵。
S352，对各所述第一时刻对应的示踪器-法兰盘旋转矩阵进行拟合，以得到所述示踪器-法兰盘旋转矩阵。优选地，步骤S352采用的拟合方法为最小二乘法。
于本发明的一实施例中，在做旋转运动的过程中，所述法兰盘坐标系的原点保持不变。基于此，请参阅图4，本实施例中根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取所述示踪器-法兰盘平移向量的实现方法包括：
S41，根据各所述第二时刻对应的所述第三位姿获取各所述第二时刻对应的示踪器-相机平移向量，所述示踪器-相机平移向量为所述示踪器坐标系相对于所述相机坐标系的平移向量。
S42，根据各所述第二时刻对应的所述第四位姿获取各所述第二时刻对应的法兰盘-机器人旋转矩阵，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵。
S43，获取各所述第二时刻对应的示踪器-相机平移向量、所述法兰盘-机器人旋转矩阵以及所述示踪器-法兰盘平移向量之间的方程。具体地，对于任一第二时刻i，该第二时刻i对应的所述方程为
Figure BDA0003263856490000101
其中，
Figure BDA0003263856490000102
为该第二时刻i对应的示踪器-相机平移向量，CRb为所述机器人-相机旋转矩阵，
Figure BDA0003263856490000103
为该第二时刻i对应的法兰盘-机器人旋转矩阵，ftm为所述示踪器-法兰盘平移向量，btf为所述法兰盘坐标系相对于所述机器人坐标系的平移向量，Ctb为所述机器人坐标系相对于所述相机坐标系的平移向量。当所述法兰盘坐标系的原点固定不动时，CRb·btf+Ctb为常数。
S44，对所述方程进行求解以得到所述示踪器-法兰盘平移向量。例如，可以采用最小二乘法来获取所述示踪器-法兰盘平移向量，具体地，可以通过求解以下公式来得到所述示踪器-法兰盘平移向量ftm：
Figure BDA0003263856490000111
于本发明的一实施例中提供一种用于机器人控制、生物医学工程等领域的系统参数手眼标定方法，该手眼标定方法利用机器人集成的光学导航系统来实现手眼空间变换参数辨识，具体是示踪器空间相对于机器人末端法兰盘空间的映射关系。具体地，请参阅图5A，本实施例中所述手眼标定方法包括：
S51，驱动法兰盘做直线运动从而实现坐标系空间的旋转矩阵辨识，也即，获取示踪器-法兰盘旋转矩阵，执行步骤S52。可选地，步骤S51的一种实现方法如图5B所示。
S52，驱动法兰盘做旋转运动从而实现坐标系原点的平移向量辨识，也即，获取示踪器-法兰盘平移向量，执行步骤S53。可选地，步骤S52的一种实现方法如图5C所示。
S53，若法兰盘在做旋转运动过程中轨迹点的误差不满足要求，则调整相机的位置和/或姿态，并跳转至步骤S51。否则，生成手眼标定空间变换矩阵，结束，所述手眼标定空间变换矩阵包括所述示踪器-法兰盘旋转矩阵和所述示踪器-法兰盘平移向量。
优选地，在整个标定过程中，可以采用以下方法来保证所述示踪器始终位于所述定位相机的有效视野：切换机器人进入示教模式，拖动定位相机的位置和/或姿态，以保证标定过程中机器人末端法兰盘上的示踪器始终保持在所述定位相机观测精度最高的视野范围内，并基于此预先控制机器人标定过程中的轨迹。
可选地，本实施例在远程控制机器人法兰盘保持姿态不变的前提下，分别控制法兰盘沿机器人坐标系的X轴、Y轴和Z轴方向直线运动。在法兰盘沿三个坐标轴方向直线运动的过程中，通过定位相机任意抓取示踪器在直线运动过程中的位姿，并通过控制器获取法兰盘相对于机器人坐标系的位姿。并且，在每条直线上采集多个(例如，20个以上)数据点，并保证每条法兰盘在每条直线上的运动距离超过预定的距离阈值(例如，200mm)。
进一步地，采用最小二乘法实现空间直线拟合，从而确定所述示踪器的每条运动轨迹在相机空间中的直线向量并归一化。三条运动轨迹的直线向量组成3×3的矩阵，进一步采用奇异值分解法对该矩阵进行约束修正，即可得到机器人-相机旋转矩阵。
更进一步地，结合法兰盘在机器人坐标系中的位姿信息以及相应的示踪器在相机坐标系中的位姿信息，采用最小二乘法即可得到所述示踪器-法兰盘旋转矩阵。
可选地，本实施例在进行平移向量标定过程中，通过远程控制方式控制法兰盘坐标系原点的空间位置保持不变，并控制法兰盘旋转，例如，可以控制法兰盘绕机器人坐标系的X轴和Y轴旋转，也可以控制法兰盘绕法兰盘坐标系的原点旋转。在法兰盘旋转过程中，每旋转一个角度均通过定位相机读取示踪器的位置、并通过控制器获取法兰盘的位姿。基于此，可以通过标定算法得到所述示踪器-法兰盘平移向量。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
基于以上对所述手眼标定方法的描述，本发明还提供一种机器人，所述机器人采用本发明所述手眼标定方法进行标定。
基于以上对所述手眼标定方法的描述，本发明还提供一种计算机可读存储介质，所述计算机程序被处理器执行时实现本发明所述的手眼标定方法。
基于以上对所述手眼标定方法的描述，本发明还提供一种电子设备。具体地，请参阅图6，所述电子设备600包括存储器610和显示器630。所述存储器610存储有一计算机程序，所述处理器620与所述存储器610通信相连，调用所述计算机程序时执行本发明所述的手眼标定方法。
可选地，所述电子设备600还包括显示器630，所述显示器630与所述存储器610和所述处理器620通信相连，用于显示所述手眼标定方法的相关GUI交互界面。
本发明所述的手眼标定方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述，本发明一个或多个实施例中所述的手眼标定方法能够基于导航系统中的示踪器和定位相机对机器人进行手眼标定，在标定过程中无需引入额外的光学探针、机械支架、反光球等设备，因而能够对机器人进行便捷、快速地手眼标定。此外，所述手眼标定方法能够提高标定效率，同时保证医疗机器人、工业机器人的运动控制精度。并且，所述手眼标定方法可以通过对观测数据的统计分析来判定结果的可靠性，从而提高计算结果的置信度。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种手眼标定方法，其特征在于，用于基于导航系统对机器人进行手眼标定，所述机器人具有控制器和机械臂，所述机械臂的末端为法兰盘，所述导航系统包括示踪器和定位相机，所述示踪器固定设置于所述法兰盘上，所述手眼标定方法包括旋转矩阵标定子方法和平移向量标定子方法，其中：
所述旋转矩阵标定子方法包括：
利用所述控制器控制所述法兰盘做直线运动；
当所述法兰盘做直线运动时，在多个第一时刻分别通过所述定位相机和所述控制器获取所述示踪器的第一位姿以及所述法兰盘的第二位姿，其中，所述第一位姿为所述示踪器相对于相机坐标系的位姿，所述第二位姿为所述法兰盘相对于机器人坐标系的位姿；
根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵，其中，所述示踪器-法兰盘旋转矩阵为示踪器坐标系相对于法兰盘坐标系的旋转矩阵；
所述平移向量标定子方法包括：
利用所述控制器控制所述法兰盘做旋转运动；
当所述法兰盘做旋转运动时，在多个第二时刻分别通过所述定位相机和所述控制器获取所述示踪器的第三位姿以及所述法兰盘的第四位姿，其中，所述第三位姿为所述示踪器相对于所述相机坐标系的位姿，所述第四位姿为所述法兰盘相对于所述机器人坐标系的位姿；
根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取示踪器-法兰盘平移向量，其中，所述示踪器-法兰盘平移向量为所述示踪器坐标系相对于所述法兰盘坐标系的平移向量。
2.根据权利要求1所述的手眼标定方法，其特征在于，所述手眼标定方法还包括：
在所述法兰盘做旋转运动的过程中，利用所述定位相机获取所述示踪器上多个参考点的轨迹；
根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面；
若判断结果为否，则调整所述定位相机的位置和/或姿态，并再次执行所述旋转矩阵标定子方法和所述平移向量标定子方法。
3.根据权利要求2所述的手眼标定方法，其特征在于，根据各所述参考点的轨迹判断各所述参考点是否实质上位于同一球面的实现方法包括：
对各所述参考点的轨迹进行球面拟合，以得到一球半径和一球心；
获取各所述参考点到所述球心的距离与所述球半径的差值；
若所述差值的波动小于一波动阈值，则各所述参考点实质上位于同一球面，否则，各所述参考点并不实质上位于同一球面。
4.根据权利要求1所述的手眼标定方法，其特征在于，根据各所述第一时刻对应的所述第一位姿以及所述第二位姿获取示踪器-法兰盘旋转矩阵的实现方法包括：
根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量；
根据所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量获取机器人-相机旋转矩阵，其中，所述机器人-相机旋转矩阵为所述机器人坐标系相对于所述相机坐标系的旋转矩阵；
根据各所述第一时刻对应的所述第一位姿获取各所述第一时刻对应的示踪器-相机旋转矩阵，其中，所述示踪器-相机旋转矩阵为所述示踪器坐标系相对于所述相机坐标系的旋转矩阵；
根据各所述第一时刻对应的所述第二位姿获取各所述第一时刻对应的法兰盘-机器人旋转矩阵，其中，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵；
根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵。
5.根据权利要求4所述的手眼标定方法，其特征在于，所述法兰盘在所述控制器的控制下分别沿所述机器人坐标系的各坐标轴做直线运动，根据各所述第一时刻对应的所述第一位姿获取所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量的实现方法包括：
对各所述第一时刻对应的所述第一位姿进行拟合，以得到所述机器人坐标系的各坐标轴相对于所述相机坐标系的向量。
6.根据权利要求4所述的手眼标定方法，其特征在于，根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取所述示踪器-法兰盘旋转矩阵的实现方法包括：
根据所述机器人-相机旋转矩阵、各所述第一时刻对应的所述示踪器-相机旋转矩阵以及所述法兰盘-机器人旋转矩阵，获取各所述第一时刻对应的示踪器-法兰盘旋转矩阵；
对各所述第一时刻对应的示踪器-法兰盘旋转矩阵进行拟合，以得到所述示踪器-法兰盘旋转矩阵。
7.根据权利要求1所述的手眼标定方法，其特征在于，在做旋转运动的过程中，所述法兰盘坐标系的原点保持不变，根据各所述第二时刻对应的所述第三位姿和所述第四位姿获取所述示踪器-法兰盘平移向量的实现方法包括：
根据各所述第二时刻对应的所述第三位姿获取各所述第二时刻对应的示踪器-相机平移向量，所述示踪器-相机平移向量为所述示踪器坐标系相对于所述相机坐标系的平移向量；
根据各所述第二时刻对应的所述第四位姿获取各所述第二时刻对应的法兰盘-机器人旋转矩阵，所述法兰盘-机器人旋转矩阵为所述法兰盘坐标系相对于所述机器人坐标系的旋转矩阵；
获取各所述第二时刻对应的示踪器-相机平移向量、所述法兰盘-机器人旋转矩阵以及所述示踪器-法兰盘平移向量之间的方程；
对所述方程进行求解以得到所述示踪器-法兰盘平移向量。
8.一种机器人，其特征在于：所述机器人采用权利要求1-7任一项所述手眼标定方法进行标定。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项的所述手眼标定方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-7任一项所述的手眼标定方法。
CN202111080613.7A 2021-09-15 2021-09-15 手眼标定方法、机器人、介质及电子设备 Active CN113664836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111080613.7A CN113664836B (zh) 2021-09-15 2021-09-15 手眼标定方法、机器人、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111080613.7A CN113664836B (zh) 2021-09-15 2021-09-15 手眼标定方法、机器人、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113664836A true CN113664836A (zh) 2021-11-19
CN113664836B CN113664836B (zh) 2023-10-10

Family

ID=78549431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080613.7A Active CN113664836B (zh) 2021-09-15 2021-09-15 手眼标定方法、机器人、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113664836B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107028659A (zh) * 2017-01-23 2017-08-11 新博医疗技术有限公司 一种ct图像引导下的手术导航系统及导航方法
WO2018090323A1 (zh) * 2016-11-18 2018-05-24 深圳配天智能技术研究院有限公司 一种坐标系标定方法、系统及装置
US20190015989A1 (en) * 2017-07-11 2019-01-17 Seiko Epson Corporation Robot Control Device, Robot, Robot System, And Calibration Method Of Camera
CN110116411A (zh) * 2019-06-06 2019-08-13 浙江汉振智能技术有限公司 一种基于球目标的机器人3d视觉手眼标定方法
CN110640747A (zh) * 2019-11-07 2020-01-03 上海电气集团股份有限公司 机器人的手眼标定方法、系统、电子设备和存储介质
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、系统、标定方法、介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018090323A1 (zh) * 2016-11-18 2018-05-24 深圳配天智能技术研究院有限公司 一种坐标系标定方法、系统及装置
CN107028659A (zh) * 2017-01-23 2017-08-11 新博医疗技术有限公司 一种ct图像引导下的手术导航系统及导航方法
US20190015989A1 (en) * 2017-07-11 2019-01-17 Seiko Epson Corporation Robot Control Device, Robot, Robot System, And Calibration Method Of Camera
CN110116411A (zh) * 2019-06-06 2019-08-13 浙江汉振智能技术有限公司 一种基于球目标的机器人3d视觉手眼标定方法
CN110640747A (zh) * 2019-11-07 2020-01-03 上海电气集团股份有限公司 机器人的手眼标定方法、系统、电子设备和存储介质
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、系统、标定方法、介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU JIHAO: "Plasminogen activator inhibitor (PAI) trap3, an exocellular peptide inhibitor of PAI-1, attenuates the rearrangement of F-actin and migration of cancer cells", 《EXPERIMENTAL CELL RESEARCH》, vol. 391, no. 1 *
张 煜 李树祥 郑国焱 刘哲星: "一种用于医学图像配准的图像外边界的提取方法", 《北京生物医学工程》, vol. 19, no. 4 *

Also Published As

Publication number Publication date
CN113664836B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN106426172B (zh) 一种工业机器人工具坐标系的标定方法与系统
JP4191080B2 (ja) 計測装置
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
CN107428009B (zh) 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统
CN104842352B (zh) 利用了视觉反馈的机器人系统
CN113133832B (zh) 一种双臂机器人穿刺系统标定方法及系统
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
JP2014128845A (ja) ロボットシステム表示装置
CN110587595A (zh) 运行机器人的方法、数据存储器、机器人和机器人系统
CN113843792B (zh) 一种手术机器人的手眼标定方法
CN112603542A (zh) 手眼标定方法、装置、电子设备和存储介质
CN113524201A (zh) 机械臂位姿主动调节方法、装置、机械臂和可读存储介质
CN113814987B (zh) 多相机机器人手眼标定方法、装置、电子设备及存储介质
US11896340B2 (en) Robot navigation system and robot navigation method
CN113664836B (zh) 手眼标定方法、机器人、介质及电子设备
CN117598783A (zh) 一种机械臂碰撞检测方法、装置、电子设备及存储介质
CN115670660A (zh) 标定方法、装置、手术机器人、电子设备及存储介质
CN112476435A (zh) 重力加速度方向的标定方法、标定装置及存储介质
CN116394254A (zh) 机器人的零点标定方法、装置、计算机存储介质
CN112571416B (zh) 一种适用于机器人系统和动作捕捉系统的坐标系标定方法
CN114589682A (zh) 一种机器人手眼自动标定的迭代方法
CN113768535A (zh) 一种遥操作用超声仿型探头姿态自校准方法、系统及装置
CN109664273B (zh) 一种工业机器人光标拖动示教方法及系统
CN111870346A (zh) 机器人与影像设备的空间注册方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant