CN117064545A - 基于增强现实的机器人腔内介入远程呈现方法及系统 - Google Patents

Abstract

本发明提供了一种基于增强现实的机器人腔内介入远程呈现方法及系统，包括：对患者端的硬件系统进行标定；在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面；移动单目相机以获得多个最佳观察视野方向，记录相应的机械臂姿态信息；在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面；医生端的可视化设备远程获取患者端设备的VR和AR界面，通过远程遥操作或示教方式改变视野方向，允许医生从不同方向观察并透视关键解剖结构和介入器械；重建了患者端的场景，为机械臂的远程遥操作提供虚拟现实交互界面。

Description

基于增强现实的机器人腔内介入远程呈现方法及系统

技术领域

本发明涉及远程手术技术领域，具体地，涉及一种基于增强现实的机器人腔内介入远程呈现方法及系统。

背景技术

机器人远程医疗可以为地理位置偏远地区的危重患者提供及时治疗。然而，由于缺乏深度信息、遮挡和视野方向有限等问题，远程患者端到本地临床医生端的视觉反馈通常不直观，这会影响手术安全性。

现有公开号为CN116370092A的中国专利申请文献，其公开了一种介入手术的远程手术系统及控制方法，所述远程手术系统包括手术执行模块、远程控制模块和远程通信模块；所述手术执行模块包括介入手术机器人、所述介入手术机器人的驱动器和运动控制系统、所述介入手术机器人负载的传感器；所述远程控制模块感知医生动作指令作为输入，根据输入对所述手术执行模块输出控制信号，实现对所述手术执行模块的控制与操作；所述远程通信模块基于远程通信软件、远程传输系统和加密传输协议实现所述手术执行模块的驱动和传感器信号与所述远程控制模块的指令之间的加密传输。

现有技术中通过优化医生端的远程控制模块，引入远程通信模块，实现血管介入手术信息的全面感知和加密传输，但是无法为临床医生提供直观的视觉反馈，存在待改进之处。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于增强现实的机器人腔内介入远程呈现方法及系统。

根据本发明提供的一种基于增强现实的机器人腔内介入远程呈现方法，呈现方法包括如下步骤：

步骤S1、对患者端的硬件系统进行标定；

步骤S2、在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面；

步骤S3、移动单目相机以获得多个观察视野方向，并记录相应的机械臂姿态信息；

步骤S4、在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面；

步骤S5、医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。

优选地，步骤S1包括：可视化机械臂和电磁跟踪系统间的标定、可视化机械臂和刚性器械间的标定、单目相机与可视化机械臂的手眼标定以及电磁跟踪系统和解剖结构的配准。

优选地，可视化机械臂和电磁跟踪系统间的标定包括：将一个六自由度电磁传感器连接到固定在可视化机械臂末端的刚性法兰，使机械臂运动，六自由度电磁传感器在电磁跟踪系统的磁场中移动，并记录机械臂和六自由度电磁传感器的位姿，构建以下方程：

其中，是可视化机械臂末端的位姿，/>是可视化机械臂末端到六自由度电磁传感器的变换矩阵,,/>是可视化机械臂到电磁跟踪系统的变换矩阵，/>是六自由度电磁传感器的位姿。在/>和/>中,i是不同可视化机械臂姿态下的数据集序号，上述方程可以表达为：

令且/>则上述方程可以被重写为AX＝XB，最终，求得X。

优选地，可视化机械臂和刚性器械间的标定包括：将单目相机固定在可视化机械臂的末端，将ArUco码固定在操作机械臂的末端，使可视化机械臂和操作机械臂运动将单目相机和ArUco码移动到不同的位置，并且ArUco码始终处于单目相机的视野中，ArUco码的位姿由单目相机进行估计，构造以下方程：

其中，是可视化机械臂到单目相机的变换矩阵；/>是可视化机械臂末端到单目相机的变换矩阵,可以通过基本的手眼标定事先获得，/>是单目相机到ArUco码的变换矩阵，/>是可视化机械臂到操作机械臂的变换矩阵；/>是操作机械臂的末端到ArUco码的变换矩阵，因此，上述可以表示为：

令且/>则可视化机械臂和操作机械臂的变换矩阵转化为对AX＝XB的求解；

电磁跟踪系统和解剖结构的配准包括如下步骤：

步骤S101、对解剖结构进行CT扫描；

步骤S102、使用多个CT切片重建解剖结构的三维虚拟模型，并将该模型作为目标点云P；

步骤S103、采集实际解剖结构的点云，作为源点云G；

步骤S104、使用ICP算法对目标点云P和源点云G进行配准，获得电磁跟踪系统和解剖结构之间的变换矩阵

优选地，针对步骤2，对患者端的实际场景进行三维重建包括稀疏重建和稠密重建，使用增量SfM算法进行稀疏重建，使用MVS算法进行稠密重建，利用开源库OpenMVS通过曲面重建、优化和贴图恢复重建场景的完整表面；

在稀疏重建中，SfM算法所估计的单目相机位姿表示为可视化机械臂的位姿为/>通过相似变换恢复单目相机位姿的真实尺度，如下所示：

其中，是相似变换矩阵；/>和/>分别是/>的平移向量和旋转矩阵；/>是各向同性缩放变换的尺度，使用Umeyama的方法来获得/>如下所示：

优选地，针对步骤S4，解剖结构和单目相机的变化矩阵：

其中，是解剖结构在单目相机空间内的位姿，由于可视化机械臂末端的位姿实时更新，利用以下四个步骤将虚拟解剖结构叠加到现实场景上：

步骤S401、使用开源库创建包含虚拟相机和三维解剖模型的虚拟三维空间；

步骤S402、将虚拟相机的内参设置为与实际单目相机的内参相同，并且虚拟相机的参考系与虚拟空间的参考系重合；

步骤S403、使用更新虚拟空间中三维解剖模型的位姿，并使用虚拟相机实时捕获虚拟空间的场景；

步骤S404、利用图像处理算法将虚拟相机和真实单目相机捕获的图像进行叠加以用于解剖结构的增强显示；

对于刚性仪器，从单目相机到刚性器械的变换矩阵如下：

其中，是刚性仪器相对于单目相机的位姿，可视化机械臂末端的位姿和操作机械臂末端的位姿实时更新；

对于柔性仪器，形状重建完成后，可得到柔性器械相对于单目相机的形状如下：

其中，C(s)是在柔性器械弧长s处相对于{C}的位置向量，可视化机械臂末端的位姿、操作机械臂末端的位姿和p′(s)实时更新。

优选地，使用每个面贴附着一个ArUco码的立方体作为实际物体，并且使用每个面为ArUco码图像的三维虚拟立方体模型作为虚拟物体，对实际立方体和电磁跟踪系统进行配准，获得立方体在电磁跟踪系统下的位姿；

将实际物体和虚拟物体的位姿从电磁跟踪系统变换到单目相机，采用器械增强显示方法对立方体进行增强显示；

让单目相机移动到不同的位置，且保持实际物体在相机视野内，分别捕捉虚拟物体叠加前后的相机图像，利用采集的图像，分别估计虚拟物体和实际物体的三维位姿，叠加误差可按以下公式计算得到：

其中E_overlay是虚拟和现实叠加的三维平均误差，n是所采集的图像组别数量，每组数据包括利用算法估计的虚拟物体的八个角点位置向量和实际物体的八个角点位置向量，同时，m＝8为立方体的角点数量，为三维虚拟立方体的第j个角点在{C}的第i组位置向量数据，/>为三维实际立方体的第j个角点在{C}的第i组位置向量数据。

优选地，针对步骤S5，从患者端向临床医生端提供的反馈视觉包括AR视图、VR视图和内窥镜视图；

在AR视图中，可以透视患者的关键解剖结构和介入患者体内的器械，并且可以通过机械臂的移动以获得不同视野方向的AR视图；

通过与显示界面的交互，可以改变VR的反馈视野方向，从而判断可视化机械臂与周围物体的安全距离；

机械臂的运动可由医生端的人员远程遥操作完成，或利用步骤S3记录的姿态信息进行机械臂示教运动。

根据本发明提供的一种基于增强现实的机器人腔内介入远程呈现系统，采用权利要求1-9任一项所述的基于增强现实的机器人腔内介入远程呈现方法，包括如下模块，

模块M1、用于对患者端的硬件系统进行标定；

模块M2、用于在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面；

模块M3、用于移动单目相机以获得多个观察视野方向，并记录相应的机械臂姿态信息；

模块M4、用于在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面；

模块M5、用于医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过将一个单目相机固定于多自由度机械臂末端，并将单目相机和机械臂运动特性相结合以实现全向增强现实的功能，通过多目标手眼标定、迭代最近点和图像叠加算法将虚拟关键解剖结构和介入器械叠加在相机视频图像上，单目相机的视野方向可以通过机械臂的运动来改变，允许从不同方向观察并透视关键解剖结构和介入器械。此外，重建了患者端的场景，从而为机械臂的安全远程遥操作提供虚拟现实交互界面。将全向增强现实和虚拟现实与机器人远程呈现相结合，可以为临床医生提供直观的视觉反馈，从而促进机器人远程医疗的安全性。

2、本发明通过一种基于虚拟ArUco码的方法来计算虚拟和现实的叠加误差，充分考虑了各实现过程可能带来的误，为增强现实的误差评估提供广泛适用的参考。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明主要体现远程呈现方法的流程图；

图2为本发明主要体现机器人远程呈现框架各组成部分及其相对变换关系；

图3为本发明主要体现柔性器械三维重建几何示意图；

图4为本发明主要体现三维场景重建流程图；

图5为本发明主要体现基于全向增强现实的机器人腔内介入远程呈现示意图；

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1、图2、图3、图4以及图5所示，根据本发明提供的一种基于增强现实的机器人腔内介入远程呈现方法，包括如下步骤：

步骤S1、对患者端的硬件系统进行标定。具体地，利用多目标手眼标定和迭代最近点(ICP)算法对系统进行标定，主要包括可视化机械臂和电磁跟踪系统之间的标定、可视化机械臂和刚性介入器械之间的标定、手眼标定以及电磁跟踪系统和关键解剖结构的配准。

需要说明的是，本申请的患者端主要包括操作机械臂、可视化机械臂、电磁跟踪系统、单目相机以及介入器械。其中，介入器械包括刚性器械和柔性器械。单目相机固定于可视化机械臂的末端，介入器械固定于操作机械臂的末端。

如图1和图2所示，为了实现全向AR功能，需要将机械臂的定位与相机的运动相结合，并把虚拟模型和器械叠加到现实场景中。因此，需要将系统中每一部分的参考系转换到相机坐标系。这主要涉及四个步骤的标定或配准，即可视化机械臂和电磁跟踪系统间的标定、可视化机械臂和刚性器械间的标定、单目相机与可视化机械臂的手眼标定以及电磁跟踪系统和关键解剖结构的配准。所有标定方法均基于AX＝XB，配准方法为ICP算法。

具体地，步骤S1包括：可视化机械臂和电磁跟踪系统间的标定、可视化机械臂和刚性器械间的标定、单目相机与可视化机械臂的手眼标定以及电磁跟踪系统和解剖结构的配准。

可视化机械臂和电磁跟踪系统间的标定包括：将一个六自由度电磁传感器连接到固定在可视化机械臂末端的刚性法兰，使机械臂运动，六自由度电磁传感器在电磁跟踪系统的磁场中移动，并记录机械臂和六自由度电磁传感器的位姿，构建以下方程：

其中，是可视化机械臂末端的位姿，/>是可视化机械臂末端到六自由度电磁传感器的变换矩阵,,/>是可视化机械臂到电磁跟踪系统的变换矩阵，/>是六自由度电磁传感器的位姿。在/>和/>中,i是不同可视化机械臂姿态下的数据集序号，上述方程可以表达为：

令且/>则上述方程可以被重写为AX＝XB，最终，求得X。

可视化机械臂和刚性器械间的标定包括：将单目相机固定在可视化机械臂的末端，将ArUco码固定在操作机械臂的末端，使可视化机械臂和操作机械臂运动将单目相机和ArUco码移动到不同的位置，并且ArUco码始终处于单目相机的视野中，ArUco码的位姿由单目相机进行估计，构造以下方程：

其中，是可视化机械臂到单目相机的变换矩阵；/>是可视化机械臂末端到单目相机的变换矩阵,可以通过基本的手眼标定事先获得，/>是单目相机到ArUco码的变换矩阵，/>是可视化机械臂到操作机械臂的变换矩阵；/>是操作机械臂的末端到ArUco码的变换矩阵，因此，上述可以表示为：

令且/>则可视化机械臂和操作机械臂的变换矩阵转化为对AX＝XB的求解。

电磁跟踪系统和解剖结构的配准包括如下步骤：

步骤S101、对解剖结构进行CT扫描；

步骤S102、使用多个CT切片重建解剖结构的三维虚拟模型，并将该模型作为目标点云P；

步骤S103、采集实际解剖结构的点云，作为源点云G；

步骤S104、使用ICP算法对目标点云P和源点云G进行配准，获得电磁跟踪系统和解剖结构之间的变换矩阵

更为具体地，图2为机器人远程呈现框架的各组成部分及其相对变换关系。图2中E1表示六自由度电磁传感器，RB1表示可视化机械臂，End1表示可视化机械臂末端，C表示单目相机，M表示ArUco码，A表示解剖结构，E表示六自由度传感器，E3表示六自由度传感器，EB表示电磁跟踪系统，E2表示六自由度传感器，In表示刚性器械，FIn表示柔性器械，RB2表示操作机械臂，End2表示操作机械臂末端。

在可视化机械臂与电磁跟踪系统之间的标定过程中，E1通过刚性法兰与可视化机械臂的末端相互固定。标定完成后，移除E1，将单目相机固定在可视化机械臂的末端。同样的，在标定可视化机械臂与刚性器械的过程中，将ArUco码固定在操作机械臂的末端。标定完成后，移除ArUco码，然后根据手术需求将刚性或柔性器械与操作机械臂固定。所有标定和配准均在术前执行，柔性机器人的形状重建则是术中实时运行。

将可视化机械臂与电磁跟踪系统之间的标定转化为手眼标定问题，主要求解AX＝XB。首先，将一个六自由度电磁传感器连接到固定在可视化机械臂末端的刚性法兰。随后，通过对机械臂的遥操作，E1在电磁跟踪系统的磁场中移动，并记录可视化机械臂和E1的位姿。最后，这些位姿用于构建以下方程：

其中，是可视化机械臂末端的位姿，/>是{End1}到{E1}的变换矩阵,/>是{RB1}到{EB}的变换矩阵，/>是E1的位姿。在/>和/>中,i是不同机械臂姿态下的数据集序号。方程1可以表达为：

如果令且/>则上述方程可以被重写为AX＝XB，最终，求得X。

在操作机械臂与刚性器械标定过程中，由于刚性器械固定在操作机械臂的末端，可根据机械臂的运动学计算出{In}和{RB2}之间的变换矩阵。因此，可视化机械臂与刚性器械间的标定相当于标定两个机械臂。两个机械臂的标定也可以转化为手眼标定问题。首先，将单目相机(C)和ArUco码(M)分别固定在可视化和操作机械臂的末端。随后，通过对两个机械臂的遥操作将相机和ArUco码移动到不同的位置，并且ArUco码始终处于相机的视野中。ArUco码的位姿由相机使用Perspective-n-Point(PnP)算法进行估计。最后，两个机械臂和ArUco码的位姿可用于构造以下方程：

其中，是{RB1}到{C}的变换矩阵；/>是{End1}到{C}的变换矩阵,可以通过基本的手眼标定事先获得，/>是{C}到{M}的变换矩阵，/>是{RB1}到{RB2}的变换矩阵；/>是{End2}到{M}的变换矩阵。因此，方程3可以表示为：

如果令且/>则可视化机械臂和操作机械臂的变换矩阵转化为对AX＝XB的求解。

为了获得解剖结构相对于{C}的三维位姿，需要对电磁跟踪系统和解剖结构进行配准。详细配准流程如下：

对解剖结构进行CT扫描。

使用多个CT切片重建解剖结构的三维虚拟模型，并将该模型作为目标点云P。

使用EM传感器采集实际解剖结构的点云，作为源点云G。

使用ICP算法对点云P和G进行配准，以获得电磁跟踪系统和解剖结构之间的变换矩阵

步骤S2、在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面。具体地，通过对可视化机械臂的遥操作从不同视野方向采集二十张单目相机的图像，利用SfM和MVS算法对患者端的实际场景进行三维重建。将可视化机械臂和操作机械臂的虚拟模型导入三维重建结果以构建VR场景，并根据两个机械臂的实际状态实时跟新机械臂虚拟模型的关节值。

如图2和图3所示，针对步骤2，包括柔性器械三维形状重建，将两个六自由度传感器分别安装在柔性器械主动弯曲段的根部和头部，重建柔性器械主动弯曲段的形状。具体地，为了将虚拟柔性器械模型叠加到现实场景，需要重建柔性器械主动弯曲段的形状，以实现直观的远程操作。两个六自由度EM传感器，即E2和E3，分别安装在主动弯曲段的根部和头部，如图2所示。形状估计的几何结构如图3所示。S₂和S₃分别是E2和E3的末端，p₂和p₃分别是S₂和S₃的位置向量，r₂和r₃分别是E2和E3的方向向量。线段l₂和l₃分别与r₂和r₃重合，可以表示为：

l_i＝p_i+r_it_i (5)

其中，i＝2和3，t_i表示线段l_i上任意点到S_i的距离。线段l₀定义为l₂和l₃的公垂线，M₂和M₃分别是l₀与l₂和l₃之间的交点。M₀是M₂M₃的中点，和/>分别是方程5中M₂和M₃的距离参数。

由于l₂和l₃可能不相交，因此柔性器械的形状重建是基于两个假设。首先，假设主动弯曲段具有恒定的曲率。第二，假设主动弯曲段的弯曲平面位于S₂、S₃和M₀三个点所确定的平面内。根据和/>可以得到以下方程：

其中，和/>由方程6计算得出，这样就可以得到中间点M₀的坐标。在图3中，S₀为S₂S₃的中点，O为弯曲段的圆弧中心，定义三个相互垂直的单位向量(s、n、m)。s为/>的单位向量，n垂直于弯曲平面，m为/>的单位向量。三个单位向量计算如下：

根据上述几何关系，可以得到弧长的圆心角如下：

其中R是的半径，方程8可以表示为

在方程9中，可以被实时计算得到，根据E2和E3的物理关系可预先得到/>为了加快θ的求解效率，θ_j(j＝1,2,3…)等间隔选取0到π之间的值，并且计算对应的值最后，计算最小误差/>当E为最小值时，θ_j即为θ所需解。

当θ求得后，半径且圆弧中心O的位置向量可计算为：

p₀＝(p₂+p₃)/2+Rcos(θ/2)m (10)

在O处建立局部坐标系{B}，x、y、z方向的单位向量分别为x_B、y_B、z_B。其中，x_B是的单位向量，z_B＝n，y_B＝z_B×x_B。/>中的任意点可以看作是S3在S₂S₃O平面上绕z_B旋转γ得到。其中，γ∈[0,θ]。若θ>π，则γ∈[-θ,0]。/>中的任意点的数学表达为：

其中，p(s)为{EB}下的位置向量，s为圆弧参数。

由于建模和计算误差，S₂和S₃可能不在半径为R、圆心为p₀的圆弧上。因此，根据方程11，从圆弧上等间隔选择三个点。最后，利用三次样条曲线对圆弧的这三个点以及S₂和S₃进行拟合获得柔性器械主动弯曲段的形状p′(s)。

针对步骤2，对患者端的实际场景进行三维重建包括稀疏重建和稠密重建，使用增量SfM算法进行稀疏重建，使用MVS算法进行稠密重建，利用开源库OpenMVS通过曲面重建、优化和贴图恢复重建场景的完整表面；

在稀疏重建中，SfM算法所估计的单目相机位姿表示为可视化机械臂的位姿为/>通过相似变换恢复单目相机位姿的真实尺度，如下所示：

其中，是相似变换矩阵；/>和/>分别是/>的平移向量和旋转矩阵；/>是各向同性缩放变换的尺度，使用Umeyama的方法来获得/>如下所示：

更为具体地，为了更加直观地对可视化机械臂进行遥操作并确定其是否与周围物体发生碰撞。术前重建患者端的实际场景，为医生端的操作人员提供VR视图。在VR视图中，显示了重建的场景、机械臂和刚性器械，且机械臂和器械的位姿实时被更新。操作人员可以通过与VR显示界面交互来改变观看方向，从而提高深度感并避免视野遮挡，从而实现机械臂的安全遥操作。

三维重建包括两个步骤：稀疏重建和稠密重建。基于开源库COLMAP，使用增量SfM算法进行稀疏重建，使用MVS算法进行稠密重建。另外，利用开源库OpenMVS通过曲面重建、优化和贴图恢复重建场景的完整表面。场景三维重建的流程如图4所示。

在稀疏重建过程中，由于估计的相机位姿的尺度与实际位姿的尺度不一致，且机械臂自身的定位精度高。因此，利用机械臂的位姿尺度来恢复SfM算法所估计的相机位姿尺度。SfM算法所估计的相机位姿表示为可视化机械臂的位姿为可通过相似变换恢复相机位姿的真实尺度，如下所示：

其中，是相似变换矩阵；/>和/>分别是/>的平移向量和旋转矩阵；/>是各向同性缩放变换的尺度。使用Umeyama的方法来获得/>如下所示：

步骤S3、获得单目相机不同视野方向的图像，记录多个机械臂的状态信息。具体地，通过对可视化机械臂的遥操作获得单目相机不同视野方向的图像，根据临床医生的经验及需求记录多个良好视野方向下机械臂的状态信息。

步骤S4、在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景。

针对步骤S4，解剖结构和单目相机的变化矩阵：

其中，是解剖结构在单目相机空间内的位姿，由于可视化机械臂末端的位姿实时更新，利用以下四个步骤将虚拟解剖结构叠加到现实场景上：

步骤S401、使用开源库创建包含虚拟相机和三维解剖模型的虚拟三维空间；

步骤S402、将虚拟相机的内参设置为与实际单目相机的内参相同，并且虚拟相机的参考系与虚拟空间的参考系重合；

步骤S403、使用更新虚拟空间中三维解剖模型的位姿，并使用虚拟相机实时捕获虚拟空间的场景；

步骤S404、利用图像处理算法将虚拟相机和真实单目相机捕获的图像进行叠加以用于解剖结构的增强显示；

对于刚性仪器，从单目相机到刚性器械的变换矩阵如下：

其中，是刚性仪器相对于单目相机的位姿，可视化机械臂末端的位姿和操作机械臂末端的位姿实时更新；

对于柔性仪器，形状重建完成后，可得到柔性器械相对于单目相机的形状如下：

其中，C(s)是在柔性器械弧长s处相对于{C}的位置向量，可视化机械臂末端的位姿、操作机械臂末端的位姿和p′(s)实时更新。

更为具体地，为了实现全向增强现实，单目相机须移动到不同方向观察物体。由于可视化机械臂的定位精度较高，因此可以为单目相机的运动提供有效地补偿。标定完成后，可以得到{A}到{C}的变换矩阵：

/>

是解剖结构在{C}空间内的位姿，由可视化机械臂末端的位姿实时更新。利用以下四个步骤将虚拟解剖结构叠加到现实场景上：

使用开源库Visualization ToolKit(VTK)创建包含虚拟相机和三维解剖模型的虚拟三维空间。

将虚拟相机的内参设置为与实际单目相机的内参相同，并且虚拟相机的参考系与虚拟空间的参考系重合。

使用更新虚拟空间中三维解剖模型的位姿，并使用虚拟相机实时捕获虚拟空间的场景。

利用图像处理算法将虚拟相机和真实单目相机捕获的图像进行叠加以用于解剖结构的增强显示。

本发明的器械增强显示对刚性和柔性器械都是适用，对于刚性仪器，从{C}到{In}的变换矩阵如下：

其中，是刚性仪器相对于{C}的位姿，由两个机械臂末端的位姿实时更新。对于柔性仪器，形状重建完成后，可得到柔性器械相对于{C}的形状如下：

其中，C(s)是在柔性器械弧长s处相对于{C}的位置向量，由机械臂末端的位姿和p′(s)实时更新。

如果解剖结构的虚拟三维空间和器械的虚拟三维空间相同，则在虚拟相机成像过程中，解剖结构和器械可能会相互遮挡。因此，为器械的增强显示创建了另一个虚拟三维空间。最后，利用解剖结构增强显示的方法和步骤将虚拟器械覆盖到现实场景进行器械增强显示。

更为具体地，本申请提出一种虚拟和现实叠加精度评估方法，叠加误差的来源主要包括标定、配准和图像融合。由于叠加的最终效果展示在二维图像平面，难以估计三维的叠加误差。因此，我们开发了一种基于虚拟ArUco码的方法来评估叠加精度。

使用每个面贴附着一个ArUco码的立方体作为实际物体，并且使用每个面为ArUco码图像的三维虚拟立方体模型作为虚拟物体。利用前面所描述的配准方法对实际立方体和电磁跟踪系统进行配准，以获得立方体在电磁跟踪系统下的位姿。然后，使用方程14将立方体的位姿从{EB}变换到{C}，以获得最后，采用前面所描述的器械增强显示方法对立方体进行增强显示。

让单目相机移动到不同的位置，且保持实际立方体在单目相机视野内，分别捕捉虚拟立方体叠加前后的单目相机图像。利用采集的图像，通过PnP算法分别估计虚拟和实际立方体的三维位姿。叠加误差可按以下公式计算得到：

其中E_overlay是虚拟和现实叠加的三维平均误差，n是所采集的图像组别数量，每组数据包括利用PnP算法估计的虚拟立方体的八个角点位置向量和实际立方体的八个角点位置向量。同时，m＝8为立方体的角点数量，为三维虚拟立方体的第j个角点在{C}的第i组位置向量数据，/>为三维实际立方体的第j个角点在{C}的第i组位置向量数据。由于虚拟立方体叠加到现实场景的位姿是经过标定和配准后得到的，且所捕捉的图像是从不同方向采集的。因此，所开发的叠加精度估计方法充分考虑了全向增强现实实现过程中因标定、配准和图像融合所带来的误差。

步骤S5、医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。具体地，从患者端向临床医生端提供的反馈视觉包括AR视图、VR视图和内窥镜视图。在AR视图中，可以透视患者的关键解剖结构和介入患者体内的器械，并且可以通过机械臂的移动以获得不同视野方向的AR视图。通过与显示界面的交互，可以改变VR的反馈视野方向，从而判断可视化机械臂与周围物体的安全距离，保证机械臂摇操作的安全性；机械臂的运动可由医生端的人员远程遥操作完成，或利用步骤S3记录的姿态信息进行机械臂示教运动。

更为具体地，通过TeamView软件在医生端的电脑登录到远程患者端电脑，从而观看AR、VR和内窥镜视图。从患者端向临床医生端提供的反馈视觉包括AR视图、VR视图和内窥镜视图。在AR视图中，可以透视患者的关键解剖结构和介入患者体内的器械，并且可以通过可视化机械臂的移动以获得不同视野方向的AR视图。通过与显示界面的交互，可以改变VR的反馈视野方向，从而判断可视化机械臂与周围物体的安全距离，保证机械臂遥操作的安全性。AR视图是由单目相机的图像渲染产生的，内窥镜视图是固定在介入器械末端的相机的图像。操作机械臂和介入器械的运动由临床医生端的操作者通过手柄进行遥操作，可视化机械臂的运动由临床医生端的操作者通过手柄遥操作或根据术前规划的轨迹进行运动。医生端的运动指令通过TCP发送给远程病人端。

需要着重说明的是，医生端可以配置一个手术介入操作者和一个助手，其中，操作者在三个视图的反馈下对介入的器械进行遥操作，助手则根据医生的要求改变AR和VR的视野方向。此外，AR的视野方向也可根据术前记录的机械臂状态信息进行示教运动。

本发明还提供的一种基于增强现实的机器人腔内介入远程呈现系统，包括如下模块：

模块M1、用于对患者端的硬件系统进行标定。

模块M2、用于在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面。

模块M3、用于移动单目相机以获得多个观察视野方向，并记录相应的机械臂姿态信息。

模块M4、用于在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面。

模块M5、用于医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。

本申请将一个单目相机固定于多自由度机械臂末端，并将单目相机和机械臂运动特性相结合以实现全向增强现实的功能，通过多目标手眼标定、迭代最近点和图像叠加算法将虚拟关键解剖结构和介入器械叠加在相机视频图像上，单目相机的视野方向可以通过机械臂的运动来改变，允许从不同方向观察并透视关键解剖结构和介入器械，重建患者端的场景，从而为机械臂的安全远程遥操作提供虚拟现实交互界面，此外，提出了一种基于虚拟ArUco码的方法来计算虚拟和现实的叠加误差，本申请所提出的方法将全向增强现实和虚拟现实与机器人远程呈现相结合，可以为临床医生提供直观的视觉反馈，从而促进机器人远程医疗的安全性。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于增强现实的机器人腔内介入远程呈现方法，其特征在于，呈现方法包括如下步骤：

步骤S1、对患者端的硬件系统进行标定；

步骤S2、在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面；

步骤S3、移动单目相机以获得多个观察视野方向，并记录相应的机械臂姿态信息；

步骤S4、在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面；

步骤S5、医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。

2.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，步骤S1包括：可视化机械臂和电磁跟踪系统间的标定、可视化机械臂和刚性器械间的标定、单目相机与可视化机械臂的手眼标定以及电磁跟踪系统和解剖结构的配准。

3.如权利要求2所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，可视化机械臂和电磁跟踪系统间的标定包括：将一个六自由度电磁传感器连接到固定在可视化机械臂末端的刚性法兰，使机械臂运动，六自由度电磁传感器在电磁跟踪系统的磁场中移动，并记录机械臂和六自由度电磁传感器的位姿，构建以下方程：

其中，是可视化机械臂末端的位姿，/>是可视化机械臂末端到六自由度电磁传感器的变换矩阵,/>是可视化机械臂到电磁跟踪系统的变换矩阵，/>是六自由度电磁传感器的位姿。在/>和/>中,i是不同可视化机械臂姿态下的数据集序号，上述方程可以表达为：

令且/>则上述方程可以被重写为AX＝XB，最终，求得X。

4.如权利要求2所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，可视化机械臂和刚性器械间的标定包括：将单目相机固定在可视化机械臂的末端，将ArUco码固定在操作机械臂的末端，使可视化机械臂和操作机械臂运动将单目相机和ArUco码移动到不同的位置，并且ArUco码始终处于单目相机的视野中，ArUco码的位姿由单目相机进行估计，构造以下方程：

其中，是可视化机械臂到单目相机的变换矩阵；/>是可视化机械臂末端到单目相机的变换矩阵,可以通过基本的手眼标定事先获得，/>是单目相机到ArUco码的变换矩阵，/>是可视化机械臂到操作机械臂的变换矩阵；/>是操作机械臂的末端到ArUco码的变换矩阵，因此，上述可以表示为：

令且/>则可视化机械臂和操作机械臂的变换矩阵转化为对AX＝XB的求解；

电磁跟踪系统和解剖结构的配准包括如下步骤：

步骤S101、对解剖结构进行CT扫描；

步骤S102、使用多个CT切片重建解剖结构的三维虚拟模型，并将该模型作为目标点云P；

步骤S103、采集实际解剖结构的点云，作为源点云G；

步骤S104、使用ICP算法对目标点云P和源点云G进行配准，获得电磁跟踪系统和解剖结构之间的变换矩阵

5.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，针对步骤2，对患者端的实际场景进行三维重建包括稀疏重建和稠密重建，使用增量SfM算法进行稀疏重建，使用MVS算法进行稠密重建，利用开源库OpenMVS通过曲面重建、优化和贴图恢复重建场景的完整表面；

在稀疏重建中，SfM算法所估计的单目相机位姿表示为可视化机械臂的位姿为/>通过相似变换恢复单目相机位姿的真实尺度，如下所示：

其中，是相似变换矩阵；/>和/>分别是/>的平移向量和旋转矩阵；/>是各向同性缩放变换的尺度，使用Umeyama的方法来获得/>如下所示：

6.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，针对步骤2，包括柔性器械三维形状重建，将两个六自由度传感器分别安装在柔性器械主动弯曲段的根部和头部，重建柔性器械主动弯曲段的形状。

7.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，针对步骤S4，解剖结构和单目相机的变化矩阵：

其中，是解剖结构在单目相机空间内的位姿，由于可视化机械臂末端的位姿实时更新，利用以下四个步骤将虚拟解剖结构叠加到现实场景上：

步骤S401、使用开源库创建包含虚拟相机和三维解剖模型的虚拟三维空间；

步骤S402、将虚拟相机的内参设置为与实际单目相机的内参相同，并且虚拟相机的参考系与虚拟空间的参考系重合；

步骤S403、使用更新虚拟空间中三维解剖模型的位姿，并使用虚拟相机实时捕获虚拟空间的场景；

步骤S404、利用图像处理算法将虚拟相机和真实单目相机捕获的图像进行叠加以用于解剖结构的增强显示；

对于刚性仪器，从单目相机到刚性器械的变换矩阵如下：

其中，是刚性仪器相对于单目相机的位姿，可视化机械臂末端的位姿和操作机械臂末端的位姿实时更新；

对于柔性仪器，形状重建完成后，可得到柔性器械相对于单目相机的形状如下：

其中，C(s)是在柔性器械弧长s处相对于{C}的位置向量，可视化机械臂末端的位姿、操作机械臂末端的位姿和p′(s)实时更新。

8.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，使用每个面贴附着一个ArUco码的立方体作为实际物体，并且使用每个面为ArUco码图像的三维虚拟立方体模型作为虚拟物体，对实际立方体和电磁跟踪系统进行配准，获得立方体在电磁跟踪系统下的位姿；

将实际物体和虚拟物体的位姿从电磁跟踪系统变换到单目相机，采用器械增强显示方法对立方体进行增强显示；

让单目相机移动到不同的位置，且保持实际物体在相机视野内，分别捕捉虚拟物体叠加前后的相机图像，利用采集的图像，分别估计虚拟物体和实际物体的三维位姿，叠加误差可按以下公式计算得到：

其中E_overlay是虚拟和现实叠加的三维平均误差，n是所采集的图像组别数量，每组数据包括利用算法估计的虚拟物体的八个角点位置向量和实际物体的八个角点位置向量，同时，m＝8为立方体的角点数量，为三维虚拟立方体的第j个角点在{C}的第i组位置向量数据，/>为三维实际立方体的第j个角点在{C}的第i组位置向量数据。

9.如权利要求1所述的基于增强现实的机器人腔内介入远程呈现方法，其特征在于，针对步骤S5，从患者端向临床医生端提供的反馈视觉包括AR视图、VR视图和内窥镜视图；

在AR视图中，可以透视患者的关键解剖结构和介入患者体内的器械，并且可以通过机械臂的移动以获得不同视野方向的AR视图；

通过与显示界面的交互，可以改变VR的反馈视野方向，从而判断可视化机械臂与周围物体的安全距离；

机械臂的运动可由医生端的人员远程遥操作完成，或利用步骤S3记录的姿态信息进行机械臂示教运动。

10.一种基于增强现实的机器人腔内介入远程呈现系统，其特征在于，采用权利要求1-9任一项所述的基于增强现实的机器人腔内介入远程呈现方法，采用权利要求1-9任一项所述的基于增强现实的机器人腔内介入远程呈现方法，包括如下模块，

模块M1、用于对患者端的硬件系统进行标定；

模块M2、用于在不同视野方向分别采集多张单目相机的图像，对患者端的实际场景进行三维重建，构建VR交互界面；

模块M3、用于移动单目相机以获得多个观察视野方向，并记录相应的机械臂姿态信息；

模块M4、用于在单目相机图像上，利用标定结果和图像处理将虚拟解剖结构和虚拟介入器械叠加到现实场景，构建AR反馈界面；

模块M5、用于医生端的可视化设备远程获取患者端设备的VR和AR界面，并通过远程遥操作或示教方式改变视野方向。