CN112525074A - 标定方法、系统、机器人、计算机装置和导航系统 - Google Patents

Abstract

提供一种标定方法和系统及机器人、计算机装置和导航系统，以同时标定膝关节手术机器人的手眼矩阵和摆锯端矩阵，在机器人的机械臂末端固定有磨枪，在磨枪转头上即摆锯端固定有摆锯状连杆，在其远离磨枪的摆锯端的位置固定有靶标，基于九点标定法，利用固定相机对靶标进行拍摄以获取标定影像，通过获取机械臂末端的坐标系{N}相对于基坐标系{M}的旋转矩阵R_i和平移向量t_i、靶标的坐标系{J}相对于磨枪的转头坐标系{O}的旋转矩阵T和平移向量e、坐标系{J}相对于固定相机的坐标系{L}的旋转矩阵R_ci和平移向量t_ci，基于由各坐标系构成的多坐标系转换闭环，利用最小二乘法求解R_x矩阵，t_x向量和p_t向量以及S_t矩阵。

Description

标定方法、系统、机器人、计算机装置和导航系统

技术领域

本发明涉及一种尤其是用于同时标定膝关节手术机器人的手眼矩阵和摆锯端矩阵的标定方法和系统、以及基于此的膝关节手术机器人、计算机装置、存储介质和手术导航系统。

背景技术

机械臂的手眼标定已经有多年的历史。依据相机安装的方式，机械臂手眼标定又可以分为“眼在手上”(eye-in-hand)和“眼在手外”(eye-to-hand)两种。

眼在手上是指：驱动机械臂运动，用固定安装于其末端上的相机拍摄固定于机械臂外空间上的棋盘格标定板，得到变换矩阵S1、S2。然后根据机械臂自己的正运动学矩阵R1、R2求出手眼矩阵X。最终可以得到手眼标定方程：R2^-1·R1·X＝X·S2^-1·S1。可以简化为AX＝XB。

同理，眼在手外是指：机械臂手上拿着棋盘格标定板运动，得到正运动学矩阵R1、R2，用固定于机械臂之外的空间上的一个相机拍摄不同位置的棋盘格，得到变换矩阵S1、S2。然后据此求出手眼标定方程：R2·R1^-1·X＝X·S2·S1^-1。也可以简化为AX＝XB。

目前主流已经有多种方法可以解这个方程。Tsai等人利用将手眼标定方程分解为旋转部分和平移部分，然后用罗德里格斯方程将旋转部分化简为向量的矩阵下的旋转，通过几何关系求解X的旋转部分R，再然后代回到方程的平移部分求解平移向量。Park,FrankC.利用李群理论将手眼标定方程化为最小二乘问题加以求解。Daniilidis采用的是对偶四元数的知识，用对偶四元数表达旋转和平移，从而进行统一计算。

以上三种方法对于眼在手上都具有相同的精度。但是计算方法偏于复杂。

对于眼在手外的手眼标定情况，在传统工业生产中，通常采用一种简明清晰的所谓“九点标定法”。即机械臂在相机视野范围内运动末端到九个点，然后根据正运动学得到的九个末端点和相机得到的九个点代入到转换方程中，将转换矩阵的参数变成待求解的未知向量x，得到Ax＝b的一个简单矩阵方程，然后用最小二乘解求出x继而得到手眼标定矩阵X。

上述方法都只是确定机械臂末端和相机的关系，而对于例如膝关节置换手术机器人而言，作为工具端的摆锯端和机械臂末端的变换关系也是非常重要的，这往往需要标定两次。在手术中显得极为费时。

发明内容

鉴于上述问题，本发明的目的在于提出一种新的方案，其以传统的九点标定法为基础，可以一次性地标定出手眼矩阵和摆锯端和机械臂末端的变换矩阵两个矩阵。

根据本发明的一方面，提供一种标定方法，用于同时标定膝关节手术机器人的手眼矩阵和摆锯端矩阵，在所述机器人的机械臂末端固定连接有磨枪，在该磨枪的转头上即摆锯端固定连接有摆锯状连杆，在该摆锯状连杆的远离所述磨枪的摆锯端的位置固定设置有靶标，基于九点标定法，利用固定相机对所述靶标进行拍摄以获取标定影像，定义所述机器人的基座的基坐标系为{M}，设所述磨枪的转头坐标系{O}相对于所述机械臂末端的坐标系{N}的旋转矩阵为S_t，平移向量为p_t，设所述固定相机的坐标系{L}相对于所述基坐标系{M}的旋转矩阵为R_x，平移向量为t_x，其中，当所述机械臂在第i个点时，其中，i为整数，且i＝1,2,3…9，获取所述机械臂末端的坐标系{N}相对于所述基坐标系{M}的旋转矩阵R_i和平移向量t_i，获取所述靶标的坐标系{J}相对于所述磨枪的转头坐标系{O}的旋转矩阵T和平移向量e，获取所述靶标的坐标系{J}相对于所述固定相机的坐标系{L}的旋转矩阵R_ci和平移向量t_ci，基于由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环，利用最小二乘法求解R_x矩阵，t_x向量和p_t向量以及S_t矩阵。

优选地，在由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环中，如下(1)式成立：

化简后得到：

据此有：

R_iS_tT＝R_xR_ci...................................(3)

R_iS_te+R_ip_t+t_i＝R_xt_ci+t_x.............................(4)

利用(3)式代入(4)式消去矩阵S_t，得到：

R_xR_ciT-1e+R_ip_t+t_i＝R_xt_ci+t_x........................................(5)

整理得到：

R_x(t_ci-R_ciT^-1e)+t_x-R_ip_t＝t_i..........................................(6)

设(6)式括号中的向量为t_i’，将(6)式对应展开，得到：

通过最小二乘法将(7)式中的未知数整理出来，放到一个未知向量中，然后得到关于该未知向量的矩阵方程式如下：

将上式(8)简写为下式(9)：

Ax＝b........................................................(9)

用最小二乘法可以解得：

x＝(A^TA)^-1A^Tb......................................(10)

由此求解出R_x矩阵，t_x向量和p_t向量，将R_x矩阵代入(3)式，求解出S_t矩阵。

优选地，所述靶标由3颗反光球制成。

优选地，所述固定相机为NDI相机，设置在所述机器人的机械壁的相对侧。

根据本发明的另一方面，提供一种标定系统，其特征在于，包括上述摆锯状连杆和靶标，用于执行上述标定方法，还包括：第一标定模块，用于获取所述机械臂末端的坐标系{N}相对于所述机器人的基坐标系{M}的旋转矩阵R_i和平移向量t_i；第二标定模块，用于获取所述靶标的坐标系{J}相对于所述磨枪的转头坐标系{O}的旋转矩阵T和平移向量e；第三标定模块，用于获取所述靶标的坐标系{J}相对于所述固定相机的坐标系{L}的旋转矩阵R_ci和平移向量t_ci；和与所述第一标定模块、所述第二标定模块、所述第三标定模块连接的处理器，基于由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环，利用最小二乘法求解R_x矩阵，t_x向量和p_t向量以及S_t矩阵。

根据本发明的又一方面，提供一种膝关节手术机器人，用于执行上述的方法实现手眼矩阵和摆锯端矩阵的同时标定。

根据本发明的又一方面，提供一种计算机装置，包括控制器，所述控制器用于执行存储器中存储的计算机程序来实现上述的标定方法的步骤。

根据本发明的又一方面，提供一种存储介质，其为计算机可读存储介质，其上存储有计算机程序，该计算机程序被控制器执行来实现上述的标定方法的步骤。

根据本发明的再一方面，提供一种手术导航系统，其包括上述的标定系统。

根据本发明的机器人、计算机装置、存储介质和手述导航系统，与本申请前述实施例提供的标定方法与系统出于相同的发明构思，具有相同的有益效果。

附图说明

图1示意性地示出了根据本发明的适用于膝关节手术机器人的手眼标定系统。

具体实施方式

下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。

图1示意性地示出了根据本发明的适用于膝关节手术机器人的手眼标定系统。

<操作系统的构成>

在图1中，用于例如膝关节手术的操作系统包括固定于基座2上的手术机器人1，作为一例示出了关节4式机械臂3。

在机械臂末端5侧，安装有磨枪6，磨枪6的远离机械臂末端5一侧的转头端，对应于手术中要对膝关节进行手术的摆锯端。“摆锯端坐标系”对应于“转头坐标系”。

磨枪6的致动器为摆锯提供横向摆动动力，机械臂3在抑制振动影响的同时，根据运动指令序列用摆锯进行膝关节手术操作。

<手眼标定与摆锯端标定>

当为了进行手术而将磨枪6固定安装于机械臂末端5时，若根据传统的标定，则不仅要获知相机10与机械臂末端5的坐标系之间的映射关系(即通常所谓的“手眼矩阵”，对应机械臂末端坐标系相对于机器人基坐标系的转移矩阵)，还需要获知摆锯端和机械臂末端5的坐标系之间的映射关系(此转移矩阵亦称为“变换矩阵”)。

简而言之，需要进行两次标定：手眼标定和摆锯端标定，以获得可靠的定位精度和手术效果。对临床操作者而言，标定过程复杂、费时、稳定性差。

<标定系统的构成>

本发明人通过锐意研究，基于九点标定法，提出了一种新的标定方法和系统，从而可以一次性地标定出手眼矩阵和摆锯端与机械臂末端之间的变换矩阵这两个矩阵。

如图1所示，标定用器械包括：靶标8和摆锯状连杆7。更具体地，由3颗反光球9制成的靶标8精密地安装在摆锯状连杆7上，该摆锯状连杆7例如以啮合形式精密地连接在磨枪6上。

在机械臂3的对面侧，固定安装有例如NDI光学定位仪的相机10，使得机械臂末端5、磨枪6、靶标8皆置于其视野范围内。

<工作原理>

下面将基于“九点标定法”阐明根据本发明的标定系统的工作原理，作为一例，以摆锯端的坐标系为基础在空间中设定9个标记点，通过机械臂3带动固定在摆锯端的靶标8的反光球9，在标记点处以不同的姿态进行定点直到完成9个标记点的定点。对于在此使用的现有的“九点标定法”利用相机拍摄到准确有效的靶标图像后，再根据机器人的运动参数得到标定所需的图像位姿与机器人位姿数据等过程，不再赘述。下面说明根据本发明的标定方法的工作原理。

如图1所示，设机器人1的基座2的基坐标系为{M}(等同于世界坐标系)，其坐标原点位于机器人1的基座中心。

当机械臂3在第i个点(其中，i为整数，且i＝1,2,3…9)时，机械臂3的正运动学得到的机械臂末端5的坐标系{N}相对于基坐标系{M}的旋转矩阵为R_i，平移向量为t_i，这两个量随着不同点的改变而改变，因为可以在出厂前由厂家标定，视为已知量。

磨枪6的转头坐标系{O}相对于机械臂末端5的坐标系{N}的旋转矩阵为S_t，平移向量为p_t，这是需要通过标定求出来的量，可以视为未知量W1。

靶标8的坐标系{J}相对于磨枪6的转头坐标系{O}的旋转矩阵为T，平移向量为e，也可以视为已知量，因为靶标8及其3颗反光球9和磨枪6的转头此时处于固定连接的已知精确位置关系，可以计算出靶标8在磨枪的转头坐标系{O}的位置。

另一方面，靶标8坐标系{J}在第i个点时相对于NDI相机10的坐标系{L}的旋转矩阵为R_ci，平移向量为t_ci，基于相机坐标系下的标定结果，也可以视为已知量。

NDI相机10的坐标系{L}相对于机器人1的基坐标系{M}的旋转矩阵为R_x，平移向量为t_x，这是所需求解的最重要的未知量W2。

在由坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环中，根据首尾坐标系相同，虽路径不同，但变换等价的原理，可以得到方程式如下：

化简后得到：

据此有：

R_iS_tT＝R_xR_ci...................................(3)

R_iS_te+R_ip_t+t_i＝R_xt_ci+t_x..........................(4)

利用(3)式代入(4)式消去一个未知矩阵S_t，得到：

R_xR_ciT-1e+R_ip_t+t_i＝R_xt_ci+t_x........................................(5)

整理之得到：

R_x(t_ci-R_ciT^-1e)+t_x-R_ip_t＝t_i........................................(6)

括号中的向量对于每一个点i来说是一个已知量，可以用已有的已知量求解出来，为了后续推导的方便，不妨设之为t_i’。将(6)式对应展开，可以得到：

(7)式中共有15个未知数，这意味着机械臂3至少需要跑5个点位才能完成求解。而九点标定法顾名思义，是机械臂3跑了9个点位，所以此时有冗余信息，对此，可以通过最小二乘法得到更加平均、精度更高的求解。

将(7)式中的未知数整理出来，放到一个向量中，称之为未知向量，然后得到关于该未知向量的矩阵方程式如下：

上式(8)可简写为下式(9)：

Ax＝b.....................................................(9)

用最小二乘法可以解得：

x＝(A^TA)^-1A^Tb.....................................(10)

这样，就可以得到Rx矩阵，tx向量和pt向量。用Rx矩阵返代回(3)式就可以求得St矩阵。

这样，手眼矩阵和摆锯端变换矩阵就可以一次性标定出来了。

<特有的技术效果>

如上所述，根据本发明标定方法和系统，可以一次性标定出手眼矩阵、摆锯端和机械臂末端的变换矩阵两个矩阵。

与此不同，在常规技术中，需要分别进行两次标定，一次标定是要通过上述传统的手眼标定，通过求解齐次变换方程AX＝XB来得到手眼关系，计算出机械臂末端坐标系相对于机器人基坐标系的转移矩阵；另一次标定是计算出摆锯端坐标系相对于机械臂末端坐标系的转移矩阵。若要依照九点标定法分别进行机械臂末端位姿测量和摆锯端的位姿测量，费时费力，还容易形成标定误差。

根据本发明，可以提高标定速度，通过提高上述操作系统的定位精确度来减小机械臂末端5的后级的位置误差，优选采用精密机械定位方式，以严格的加工精度，将靶标8精密地安装在摆锯状连杆7上，确保与磨枪6啮合处也能严密啮合，确保摆锯状连杆7在磨枪6上摇摆的中心点位置到反光球9的球心的位置的精确变换关系等即可。

在此，选取一个仅由3个反光球9制成的靶标8作为九点标定的标定物。利用球形的靶标9，由于在各个角度的拍摄所得到的图像均是圆形，靶标图像不易变形，可确保靶标球心识别精度。

根据本发明的工作原理，只需要3个反光球制成的靶标一个，精密地安装在摆锯状连杆上即可，而且不必在基座2上固设基准靶球。

根据本发明标定方法和系统，可以通过软件、硬件或软硬结合的方式来实现。例如，可以包括集成的或分开的功能模块或单元来执行上述方法中的对应步骤。

相应地，本发明提供一种膝关节手术机器人，用于基于上述标定方法、系统实现手眼矩阵和摆锯端矩阵的同时标定。

相应地，本发明提供一种可包括控制器或处理器的计算机装置，控制器和处理器用于执行存储器中存储的计算机程序来执行上述标定方法。

相应地，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被控制器执行来执行上述标定方法。

上述计算机程序可以包含多个模块，例如是执行相应功能的一系列指令段，以描述程序在计算机装置中的执行过程，处理器可与模块连接，用于处理相机10的图像，计算磨枪6的转头等的位姿，求解Rx矩阵，tx向量和pt向量以及St矩阵等。

相应地，本发明提供一种尤其是用于膝关节的手术导航系统，该系统可包括上述计算机装置，具有处理器、输入输出设备、网络接入设备、总线等；或者包含上述标定系统、执行上述标定方法。

由此，在可适用的手术导航系统中，通过高精度配准，可获得影像坐标系、机器人的基坐标系、以及摆锯端坐标系的一一对应关系，为后续计算在影像坐标系中机械臂末端以及摆锯端应该到达的位置提供依据。

本实施例提出的标定方法克服了传统方法操作过程复杂及稳定性差的问题，提高了标定过程自动化程度，减少了人为操作等不必要的误差；适用于辅助膝关节手术机器人系统，能够快速有效精确地实现工具在机器人坐标系和相机坐标系下的标定，提高了机器人的自动化程度。

本发明中，术语如“固定连接”可以是一体地连接或可拆卸连接、直接或间接相连，可以根据具体情况确定。另外，术语“第一”和“第二”、“步骤”等是用于区别不同对象，而不是用于描述特定顺序。

对于本领域技术人员不言而喻的是，上述本发明不仅可以适用于仅作为一例的膝关节手术机器人，还可以适用于其它相当的机器人等，因此后者也应当视为等同或相当而落在本发明的范围内。

尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。

Claims (10)

1.一种标定方法，用于同时标定膝关节手术机器人的手眼矩阵和摆锯端矩阵，

在所述机器人(1)的机械臂末端(5)固定连接有磨枪(6)，在该磨枪(6)的转头上即摆锯端固定连接有摆锯状连杆(7)，在该摆锯状连杆(7)的远离所述磨枪(6)的摆锯端的位置固定设置有靶标(8)，

基于九点标定法，利用固定相机(10)对所述靶标(8)进行拍摄以获取标定影像，

定义所述机器人(1)的基座(2)的基坐标系为{M}，设所述磨枪(6)的转头坐标系{O}相对于所述机械臂末端(5)的坐标系{N}的旋转矩阵为S_t，平移向量为p_t，设所述固定相机(10)的坐标系{L}相对于所述基坐标系{M}的旋转矩阵为R_x，平移向量为t_x，

其特征在于，

当所述机械臂(3)在第i个点时，其中，i为整数，且i＝1,2,3…9，

获取所述机械臂末端(5)的坐标系{N}相对于所述基坐标系{M}的旋转矩阵R_i和平移向量t_i，

获取所述靶标(8)的坐标系{J}相对于所述磨枪的转头坐标系{O}的旋转矩阵T和平移向量e，

获取所述靶标(8)的坐标系{J}相对于所述固定相机(10)的坐标系{L}的旋转矩阵R_ci和平移向量t_ci，

基于由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环，利用最小二乘法求解R_x矩阵，t_x向量和p_t向量以及S_t矩阵。

2.根据权利要求1所述的标定方法，其特征在于，

在由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环中，如下(1)式成立：

化简后得到：

据此有：

R_iS_tT＝R_xR_ci.....................................(3)

R_iS_te+R_ip_t+t_i＝R_xt_ci+t_x............................(4)

利用(3)式代入(4)式消去矩阵S_t，得到：

R_xR_ciT^-1e+R_ip_t+t_i＝R_xt_ci+t_x........................................(5)

整理得到：

R_x(t_ci-R_ciT^-1e)+t_x-R_ip_t＝t_i..............................................(6)

设(6)式括号中的向量为t_i’，将(6)式对应展开，得到：

通过最小二乘法将(7)式中的未知数整理出来，放到一个未知向量中，然后得到关于该未知向量的矩阵方程式如下：

将上式(8)简写为下式(9)：

Ax＝b.............................................................(9)

用最小二乘法可以解得：

x＝(A^TA)^-1A^Tb................................(10)

由此求解出R_x矩阵，t_x向量和p_t向量，

将R_x矩阵代入(3)式，求解出S_t矩阵。

3.根据权利要求1所述的标定方法，其特征在于，

所述靶标(8)由3颗反光球(9)制成。

4.根据权利要求1所述的标定方法，其特征在于，

所述固定相机(10)为NDI相机(10)，设置在所述机器人(1)的机械壁(3)的相对侧。

5.一种标定系统，其特征在于，包括摆锯状连杆(7)和安装在该摆锯状连杆(7)上的靶标(8)，用于执行权利要求1～4任一项所述的标定方法，还包括：

第一标定模块，用于获取所述机械臂末端(5)的坐标系{N}相对于所述机器人(1)的基坐标系{M}的旋转矩阵R_i和平移向量t_i；

第二标定模块，用于获取所述靶标(8)的坐标系{J}相对于所述磨枪的转头坐标系{O}的旋转矩阵T和平移向量e；

第三标定模块，用于获取所述靶标(8)的坐标系{J}相对于所述固定相机(10)的坐标系{L}的旋转矩阵R_ci和平移向量t_ci；和

与所述第一标定模块、所述第二标定模块、所述第三标定模块连接的处理器，基于由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环，利用最小二乘法求解R_x矩阵，t_x向量和p_t向量以及S_t矩阵。

6.权利要求5所述的标定系统，其特征在于，

在由所述坐标系{M}、{N}、{O}、{J}、{L}构成的多坐标系转换闭环中，如下(1)式成立：

化简后得到：

据此有：

R_iS_tT＝R_xR_ci......................................(3)

R_iS_te+R_ip_t+t_i＝R_xt_ci+t_x...................(4)

利用(3)式代入(4)式消去矩阵S_t，得到：

R_xR_ciT^-1e+R_ip_t+t_i＝R_xt_ci+t_x........................................(5)

整理得到：

R_x(t_ci-R_ciT^-1e)+t_x-R_ip_t＝t_i..............................................(6)

设(6)式括号中的向量为t_i’，将(6)式对应展开，得到：

通过最小二乘法将(7)式中的未知数整理出来，放到一个未知向量中，然后得到关于该未知向量的矩阵方程式如下：

将上式(8)简写为下式(9)：

Ax＝b........................................................(9)

用最小二乘法可以解得：

x＝(A^TA)^-1A^Tb........................................(10)

由此求解出R_x矩阵，t_x向量和p_t向量，

将R_x矩阵代入(3)式，求解出S_t矩阵。

7.一种膝关节手术机器人，其特征在于，用于执行权利要求1～4任一项所述的方法实现手眼矩阵和摆锯端矩阵的同时标定。

8.一种计算机装置，包括控制器，其特征在于，所述控制器用于执行存储器中存储的计算机程序来实现权利要求1～4任一项所述的标定方法的步骤。

9.一种存储介质，其为计算机可读存储介质，其特征在于，存储有计算机程序，该计算机程序被控制器执行来实现权利要求1～4任一项所述的标定方法的步骤。

10.一种手术导航系统，其特征在于，包括权利要求5所述的标定系统。

Images