CN113229941B - 基于增强现实的介入机器人无接触遥操系统及标定方法 - Google Patents

Abstract

本发明提供了一种基于增强现实的介入机器人无接触遥操系统及标定方法，该系统主要由头戴式AR设备、形状传感系统、电磁跟踪系统、连续体机器人等组成，其标定主要包括五个步骤。本发明将增强现实技术应用于柔性手术机器人，克服了以往增强现实技术只针对刚性器械显示的缺陷，为医生提供沉浸式的手术体验，进一步增加手术的安全性。在增强现实技术的辅助下对腔内解剖学结构及介入的机器人进行3D透视，采用无接触的手势识别方式对机器人进行控制，将不同的手势映射为机器人不同的运动；解决了因形状传感器基坐标系是浮动基座难以获得绝对形状信息的问题；巧妙的将AR设备和电磁跟踪系统的标定转化为AX＝XB的求解问题，更加高效的求解了二者的变换关系。

Description

基于增强现实的介入机器人无接触遥操系统及标定方法

技术领域

本发明涉及腔内介入的技术领域，具体地，涉及基于增强现实的介入机器人无接触遥操系统及标定方法。

背景技术

当前遥操作机器人辅助的腔内介入手术要求外科医生操作杆在2D X射线引导下控制机器人，而这种接触式手术增加了外科医生的工作量并将他们暴露在潜在的传染环境中，且2D的图像缺少深度信息，不仅不够直观还增加了误判断的风险。

在申请号为201510802654.0的中国发明专利中公开了一种利用增强现实技术的手术机器人系统及其控制方法，其技术方案是针对刚性手术器械的增强现实，无法适用于柔性机器人的实时形变特性，且其手术的操作方式需要医生与操作手柄直接接触，增加了外科医生交叉感染的风险。

针对上述中的相关技术，发明人认为上述中的手术机器人系统及其控制方法存在无法对柔性机器人进行虚拟与现实叠加的增强显示且易导致医生交叉感染的问题，因此，需要提出一种技术方案以改善上述技术问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于增强现实的介入机器人无接触遥操系统及标定方法。

根据本发明提供的一种基于增强现实的介入机器人无接触遥操系统，包括头戴式AR设备、PC1、PC2、光栅解调仪、磁场发生器、插入管、冗余机械臂、驱动单元、连续体机器人、LED、内窥镜相机、形状传感器和电磁传感器，所述头戴式AR设备与PC1相连接，所述PC2分别与光栅解调仪、磁场发生器、冗余机械臂和驱动单元相连接。

优选地，所述形状传感器、电磁传感器、连续体机器人、插入管、冗余机械臂、驱动单元、内窥镜相机及LED组成柔性机器人。

优选地，所述头戴式AR设备将柔性机器人模型叠加到现实场景，所述柔性机器人模型叠加的对象为连续体机器人和内窥镜插入管部分导管，所述连续体机器人和内窥镜插入管部分导管总长度由形状传感器的长度所决定。

优选地，所述光栅解调仪和形状传感器构成形状传感系统；所述磁场发生器和电磁传感器构成电磁跟踪系统。

优选地，所述系统的工作流程如下：

步骤1：PC1利用术前CT扫描的二维平面图重建腔内解剖结构三维模型，设置内窥镜影像在AR设备内的最佳观测位置；

步骤2：对系统进行标定；

步骤3：PC2利用形状传感系统测量的波长对柔性机器人的形状进行重建，根据步骤2的标定信息，把重建后的形状变换到AR设备坐标系，并把变换后的数据以及内窥镜影像通过无线通信发送给PC1；

步骤4：AR设备与PC1进行实时通信，医生佩戴AR设备；

步骤5：医生通过手势识别对柔性机器人的运动进行控制。

优选地，所述步骤2包括AR设备与电磁跟踪系统的标定、AR设备与机械臂的标定、AR设备定与解剖结构的标定、形状传感器与电磁传感器的标定和AR设备与世界参考系的标定；所述步骤4在AR设备内医生可观测到柔性机器人三维形状和腔内解剖三维模型在现实场景的叠加信息，医生实时观看到内窥镜的影像。

优选地，所述步骤5中的AR设备识别医生的手势并计算腕部相对于AR设备的位置，把不同的手势解析为不同的标志位，柔性机器人接收到标志位后，根据不同的标志位进行相应的运动。

优选地，医生手的腕部靠近AR设备时，机器人前进/正向旋转/向左弯曲。

优选地，所述电磁传感器采用六自由度，通过重新定义的虚拟平面标定电磁传感器坐标系与形状传感器坐标系的关系。

本发明还提供一种基于增强现实的介入机器人无接触遥操系统的标定方法，所述方法包括上述中的一种基于增强现实的介入机器人无接触遥操系统，所述方法包括如下步骤：

S1：CT扫描腔内解剖，获取二维扫描图；

S2：用2D CT图像重建解剖结构的3D虚拟模型，作为目标点云P；

S3：柔性机器人在介入的腔体入口处进行初步的移动，用连续体机器人末端的电磁传感器采集部分解剖壁面的点云数据，作为原始云G；

S4：通过

将点云G从电磁跟踪系统参考系转到AR设备的参考系，作为点云Q；

S5：利用ICP算法对点云P和Q进行匹配，通过迭代求得AR设备参考系下解剖结构3D模型与实际解剖的变换关系。

与现有技术相比，本发明具有如下的有益效果：

1、本发明降低医生交叉感染的风险，采用无接触的手势识别方式对机器人进行控制，将不同的手势映射为机器人不同的运动。

2、本发明巧妙的将AR设备和电磁跟踪系统的标定转化为AX＝XB的求解问题，更加高效的求解了二者的变换关系。

3、本发明将增强现实技术应用于柔性手术机器人，克服了以往增强现实技术只针对刚性器械显示的缺陷，在柔性机器人腔内介入过程中为外科医生提供沉浸式的手术体验，进一步增加手术的安全性。

4、本发明通过重新定义的虚拟平面标定电磁传感器坐标系与形状传感器坐标系的关系，解决了因形状传感器基坐标系是浮动基座难以获得绝对形状信息的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的系统图；

图2为本发明的工作流程图；

图3为本发明的各组成部分间的空间标定原理图；

图4为本发明的刚性套筒结构图；

图5为本发明的整体数据流图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供一种基于增强现实的介入机器人无接触遥操系统及标定方法，如图1所示，主要包括：头戴式AR设备、PC1、PC2、光栅解调仪、磁场发生器、插入管、冗余机械臂、驱动单元、连续体机器人、LED、内窥镜相机、形状传感器和电磁传感器。其中，形状传感器、电磁传感器、连续体机器人、插入管、冗余机械臂、驱动单元、内窥镜相机及LED组成柔性机器人。利用AR设备将柔性机器人模型叠加到现实场景，其叠加的对象为连续体机器人和内窥镜插入管部分导管，总长度由形状传感器的长度所决定；光栅解调仪和形状传感器构成形状传感系统；磁场发生器和电磁传感器构成电磁跟踪系统。

头戴式AR设备由医生佩戴，利用AR设备的双目摄像头可识别医生的手势，并计算手腕相对于AR设备的空间位置，同时将柔性机器人和解剖结构模型叠加到现实对应的场景；PC1和AR设备连接，AR设备实时接收PC1所发送的柔性机器人形状信息和内窥镜影像，PC1实时接收AR设备识别的手势信息；PC2与磁场发生器、光栅解调仪及柔性机器人连接，实时重建柔性机器人形状，并与PC1进行无线通信；柔性体机器人共有平移、旋转和弯曲三个自由度。其中，连续体机器人为自接触式结构，采用绳驱的驱动方式，通过驱动单元内两个电机对绳子的拉伸可实现连续体机器人的左右弯曲，且冗余机械臂共有七个自由度，用于提供柔性机器人的平移和旋转运动；电磁传感器具有六自由，用于实时获取柔性机器人末端的位姿；形状传感器为多芯的光纤，嵌入柔性机器人腔内，感知机器人的形状。

工作流程如图2所示。首先，PC1利用术前CT扫描的二维平面图重建腔内解剖结构三维模型，并根据医生的操作习惯，设置内窥镜影像在AR设备内的最佳观测位置。

然后，对系统进行标定，总共包含五个方面的标定，如图3所示，分别为AR设备与电磁跟踪系统的标定、AR设备与机械臂的标定、AR设备定与解剖结构的标定、形状传感器与电磁传感器的标定以及AR设备与世界参考系的标定。通过五个标定步骤，把各部分参考系变换到AR设备坐标系下。

其次，PC2利用形状传感系统测量的波长对柔性机器人的形状进行实时的重建，根据步骤2的标定信息，把重建后的形状变换到AR设备坐标系，并把变换后的数据以及内窥镜影像通过无线通信发送给PC1。

其次，AR设备与PC1进行实时通信，同时，医生佩戴AR设备。在AR设备内医生可观测到柔性机器人三维形状和腔内解剖三维模型在现实场景的叠加信息，另外，医生还能实时观看到内窥镜的影像。

最后，医生通过手势识别对柔性机器人的运动进行控制。AR设备识别医生的手势并计算腕部相对于AR设备的位置，把不同的手势解析为不同的标志位，柔性机器人接收到标志位后，根据不同的标志位进行相应的运动。另外，当医生手的腕部靠近AR设备时，机器人前进/正向旋转/向左弯曲，反之则相反。整体的数据流如图5所示，包括实时的数据、可视化数据以及先验标定数据。

本发明巧妙的将AR设备和电磁跟踪系统的标定转化为AX＝XB的求解问题，更加高效的求解了二者的变换关系，如图3所示。

首先，将六自由度电磁传感器固定在带有定位标识码的无磁标定板上。然后在AR设备的视场中移动标定板，利用AR设备的相机对定位标识码的位姿进行估计，并记录标识码和电磁传感器的位姿。最后，定位标识码的姿态估计结果和电磁传感器的位姿可用于构建如下等式：

其中，

是AR设备和定位标识码的变换关系，/>

是电磁传感器与定位标识码的变换关系，/>

是AR设备和电磁跟踪系统基坐标系的变换关系，/>

是电磁跟踪系统基坐标系和电磁传感器的变换关系。/>

表示不同组别的数据。式(1)和(2)可以表示为：

如果令

可得到：

AX＝XB (5)

通过求解AX＝XB即可得到X的值。

由于多芯光纤的形状感知部分比插入管和连续体机器人的长度之和来得短，因此形状传感器的基坐标系是一个浮动的坐标系。如何获得柔性机器人相对于AR设备坐标系的形状信息是一个巨大的挑战。本发明借助六自由度的电磁传感器，通过重新定义的虚拟平面标定电磁传感器坐标系与形状传感器坐标系的关系。进而，通过电磁跟踪系统与AR设备的标定关系把柔性机器人的形状信息变换到AR设备坐标系，如图3所示。以下为电磁传感器与形状传感器的标定过程：

将带有两个平行孔的刚性套筒固定在连续体机器人的末端，两个孔平行于刚性套筒的轴向方向。刚性套筒如图4所示，将六自由度电磁传感器(E1)固定到孔1，并将其坐标系{E1}设置为孔1的坐标系，此外，将另一个六自由度电磁传感器(E3)插入孔2。孔1和孔2的长度相同，并且电磁传感器的长度等于孔的长度。通过电磁跟踪系统可以获得两个六自由度电磁传感器的位姿T_E1和T_E3，并可以通过以下公式计算两个电磁传感器的关系

由于制造误差，孔1可能与孔2不平行。两个电磁传感器的Z轴分别平行于各自所在孔的轴向方向，可以得到由制造误差引起的孔1和孔2之间的角度：

其中，R_E1＝[x_E1，y_E1，z_E1]，R_E3＝[x_E3,y_E3,z_E3]，R_E1和R_E3分别是T_E1和T_E3的旋转矩阵。向量z_E1和z_E3的变换旋转矩阵R'可以通过罗德里格斯旋转公式求得：

其中，ω是z_E1×z_E3的单位向量，

是ω的斜对称矩阵。R＝R_E1 ^-1R'R_E1可以补偿孔1和孔2因制造所导致的平行误差。当孔2的电磁传感器(E3)拔除后，孔2就失去了参考系，因此将{E12}设置为孔2的坐标系，{E12}的原点和{E3}重合，{E12}的旋转矩阵是由{E1}的旋转矩阵经过R的变换得到。最后，孔2相对于孔1的变换关系为：

将孔2的电磁传感器替换为形状传感器，形状传感器的最后一个光纤布拉格光栅FBG位于套筒内，并将形状传感器的基坐标系{S}定义在最后一个FBG。然后，以一个平整的平面为参考面，将柔性机器人具有形状感知部分的根部固定在参考面上，在平面上对形状传感器进行校准，包括直线设置和扭转补偿校准，其中，扭转补偿过程应让形状传感器的感应部分都处于弯曲状态。校准完成后，形状传感器坐标系{S}的X-Y平面平行于参考面，同时，在不考虑制造误差的情况下，孔2和其Z轴平行。在保证柔性机器人不绕自身轴向转动的情况下，将连续体机器人末端的刚性套筒分别移动到参考面的三个点。柔性机器人上的电磁传感器在每个点的位置为P₁，P₂，P₃，并采集第三点的旋转矩阵R_c。利用三个点建立一个虚拟平面，并找到垂直于该平面的单位矢量r：

r₂₁＝P₁-P₂ (10)

r₃₂＝P₂-P₃ (11)

r＝r₃₂×r₂₁ (12)

如图4所示，{E12}的X轴与虚拟平面之间的角度ψ可以通过以下方程式求解：

其中，R₃＝R_cR＝[x₃,y₃,z₃]。因为虚拟平面与参考面平行，并且形状传感器的X-Y平面与参考面平行，所以{E12}的X轴与形状传感器坐标系X-Y平面的夹角为ψ。最终，形状传感器{S}和电磁传感器坐标系{E1}的变换关系

可以求得：

其中，l是电磁传感器的长度。因此，可以按照以下方式将形状重建的信息变换到AR设备的空间：

其中，C(s)为柔性机器人在形状传感器坐标系下的三维形状信息，C(s)_H为柔性机器人在AR设备坐标系下的三维形状信息。

为了透视解剖结构，并将腔内解剖结构的3D虚拟模型叠加在真实场景上，需要对AR设备和解剖模型进行标定。主要的标定过程如下：

1、CT扫描腔内解剖，获取二维扫描图。

2、用2D CT图像重建解剖结构的3D虚拟模型，作为目标点云P。

3、柔性机器人在介入的腔体入口处进行初步的移动，用连续体机器人末端的电磁传感器采集部分解剖壁面的点云数据，并将其作为原始云G。

4、通过

将点云G从电磁跟踪系统参考系转到AR设备的参考系，作为点云Q。

5、利用ICP算法对点云P和Q进行匹配，通过迭代求得AR设备参考系下解剖结构3D模型与实际解剖的变换关系。

为了进一步简化机器人的控制，改进传统的基于接触的主从控制方法，使用非接触手势识别方法来对柔性机器人进行遥操作控制。在本发明中，定义了三个手势来映射柔性机器人的运动，包括弯曲，平移运动和旋转运动。通过拉动柔性机器人的绳驱线索来完成弯曲，平移运动由机械臂的笛卡尔运动提供，旋转运动是通过机械臂的最后一个关节旋转实现的。

AR设备用于识别外科医生的手势，共三个手势映射到机器人的动作，包括“OPEN”，“OK”和“FINGER”。其中，“OPEN”，“FINGER”和“OK”的手势分别映射为平移运动，旋转运动和弯曲。识别手势后，实时获取手腕与AR设备的欧几里得距离，如果距离减少，则机器人将向前移动，反之亦然。类似地，旋转运动和弯曲遵循相同的规则。

由于AR设备与手腕的距离计算存在一定的噪声，需要对该数据进行滤波处理。本发明采用卡尔曼滤波器对其进行滤波，由于手腕的运动是不规律的，卡尔曼滤波器的预测模型设计为y＝x。其中，x为上一时刻卡尔曼滤波器的最优估计值，y为下一时刻的预测值。

AR设备与机械臂的标定方法将定位标识码固定于机械臂末端，然后在AR设备视野内移动机械臂末端，采集机械臂姿态和定位标识的位姿，然后求解AX＝XB问题。AR设备与世界参考系的标定则由AR设备自身的SLAM功能来完成。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于增强现实的介入机器人无接触遥操系统，其特征在于，包括头戴式AR设备、PC1、PC2、光栅解调仪、磁场发生器、插入管、冗余机械臂、驱动单元、连续体机器人、LED、内窥镜相机、形状传感器和电磁传感器，所述头戴式AR设备与PC1相连接，所述PC2分别与光栅解调仪、磁场发生器、冗余机械臂和驱动单元相连接；

所述形状传感器、电磁传感器、连续体机器人、插入管、冗余机械臂、驱动单元、内窥镜相机及LED组成柔性机器人；

所述头戴式AR设备将柔性机器人模型叠加到现实场景，所述柔性机器人模型叠加的对象为连续体机器人和内窥镜插入管部分导管，所述连续体机器人和内窥镜插入管部分导管总长度由形状传感器的长度所决定；

所述系统的工作流程如下：

步骤1：PC1利用术前CT扫描的二维平面图重建腔内解剖结构三维模型，设置内窥镜影像在AR设备内的最佳观测位置；

步骤2：对系统进行标定；

步骤3：PC2利用形状传感系统测量的波长对柔性机器人的形状进行重建，根据步骤2的标定信息，把重建后的形状变换到AR设备坐标系，并把变换后的数据以及内窥镜影像通过无线通信发送给PC1；

步骤4：AR设备与PC1进行实时通信，医生佩戴AR设备；

步骤5：医生通过手势识别对柔性机器人的运动进行控制；

所述AR设备和电磁跟踪系统的标定转化为AX＝XB的求解问题，高效的求解了二者的变换关系，具体方法如下：

首先，将六自由度电磁传感器固定在带有定位标识码的无磁标定板上；然后在AR设备的视场中移动标定板，利用AR设备的相机对定位标识码的位姿进行估计，并记录标识码和电磁传感器的位姿；最后，定位标识码的姿态估计结果和电磁传感器的位姿可用于构建如下等式：

其中，

是AR设备和定位标识码的变换关系，/>

是电磁传感器与定位标识码的变换关系，/>

是AR设备和电磁跟踪系统基坐标系的变换关系，/>

是电磁跟踪系统基坐标系和电磁传感器的变换关系;/>

表示不同组别的数据；式(1)和(2)可以表示为：

如果令

可得到：

AX＝XB (5)

通过求解AX＝XB即可得到X的值。

2.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述步骤2包括AR设备与电磁跟踪系统的标定、AR设备与机械臂的标定、AR设备定与解剖结构的标定、形状传感器与电磁传感器的标定和AR设备与世界参考系的标定；所述步骤4在AR设备内医生可观测到柔性机器人三维形状和腔内解剖三维模型在现实场景的叠加信息，医生实时观看到内窥镜的影像。

3.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述步骤5中的AR设备识别医生的手势并计算腕部相对于AR设备的位置，把不同的手势解析为不同的标志位，柔性机器人接收到标志位后，根据不同的标志位进行相应的运动。

4.根据权利要求3所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，医生手的腕部靠近AR设备时，机器人前进/正向旋转/向左弯曲。

5.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述电磁传感器采用六自由度，通过重新定义的虚拟平面标定电磁传感器坐标系与形状传感器坐标系的关系。

6.一种基于增强现实的介入机器人无接触遥操系统的标定方法，其特征在于，所述方法包括如权利要求1-5中任一项的一种基于增强现实的介入机器人无接触遥操系统，所述方法包括如下步骤：

S1：CT扫描腔内解剖，获取二维扫描图；

S2：用2D CT图像重建解剖结构的3D虚拟模型，作为目标点云P；

S3：柔性机器人在介入的腔体入口处进行初步的移动，用连续体机器人末端的电磁传感器采集部分解剖壁面的点云数据，作为原始云G；

S4：通过

将点云G从电磁跟踪系统参考系转到AR设备的参考系，作为点云Q；

S5：利用ICP算法对点云P和Q进行匹配，通过迭代求得AR设备参考系下解剖结构3D模型与实际解剖的变换关系。

Images