CN112618026B - 远程手术数据融合交互显示系统及方法 - Google Patents

Abstract

本发明提供远程手术数据融合交互显示系统及方法，包括：术前采集与处理模块、深度相机场景采集模块、多模态数据集成与裸眼三维融合显示模块、数据通信模块、多维交互控制与反馈模块和手术器械操作与传感模块；所述方法包括多种模态数据集成、实时影像信息融合与三维显示和多维交互控制与反馈。本发明利用动态不透明度融合算法将远程手术术前与术中多模态数据充分融合，并通过三维卷绕与孔洞填充实时生成术中三维显示多视点图像，实现了多模信息实时裸眼三维显示和自然的远程交互控制，可应用于远程手术或医学教学场景，使得相关应用实时性好、延时低、信息丰富、操作准确和便捷，进而降低手术难度和提升手术成功率。

Description

远程手术数据融合交互显示系统及方法

技术领域

本发明涉及远程医疗技术领域，尤其涉及远程手术数据融合交互显示系统及方法。

背景技术

随着医疗水平和通信技术的发展，远程手术成为解决医疗资源分配不均问题的一种可能方案。远程手术能够给人们带来更专业更及时的医治，却对远程手术操作的图像和传输提出了较高的要求。远程医生做出的手术判断主要依赖于远程传输的图像，因此这种视觉反馈应提供医生足够的医疗诊断信息；同时，从控制端的指令发出到手术端的操作实施所用的延时应该尽可能小，这对其中所需要的数据处理、数据传输、图像渲染等操作提出了高实时性的要求。进一步地，远程手术中图像反馈的精确性对医生实施手术操作的效率和手术的安全性有很大影响。

基于上述背景，国产妙手系列机器人系统的显示基于平面二维显示器，内窥镜下的体内拍摄图像和远程手术室场景图像分别显示于两块不同的屏幕，而且术前的病灶定位与规划依赖于医生的经验，没有直观的显示。在远程手术领域中，较为成熟和影响最为广泛的商用医疗机器人是达芬奇手术机器人系统。这套系统由三个部分组成：外科医生控制台、床旁机械臂系统和成像系统。通过控制端的机械设备操纵患者体内的机械臂，有效减少了外科医生在微创手术中直接操作的难度，提高了手术的精准度。然而，这套系统通过双目显示的方式将远端内镜下的三维图像予以显示，只提供两个视点的图像，而且不利于多人观察和医学决策的探讨。除此之外，在操作的过程中，主刀医生需要一直保持在同一位置进行观察，容易造成疲劳，且操作过程中，无法看到自身手部的操作，不利于手术操作的手眼协调。随着增强现实和虚拟现实技术的发展，许多远程机器人系统与AR/VR技术结合，并将术前规划的信息或远程医生的指导与术中的场景融合后进行显示。然而，这一类显示方案存在辐辏聚焦调节冲突，手术中长期佩戴容易造成视觉疲劳。

针对以上现状，需要提出新的综合远程手术系统，用以解决上述问题。

发明内容

本发明提供远程手术数据融合交互显示系统及方法，用以解决现有技术中存在的缺陷。

第一方面，本发明提供远程手术数据融合交互显示系统，包括：

术前采集与处理模块、深度相机场景采集模块、多模态数据集成与裸眼三维融合显示模块、数据通信模块、多维交互控制与反馈模块和手术器械操作与传感模块，其中：

所述术前采集与处理模块和所述多模态数据集成与裸眼三维融合显示模块相连接，用于通过医学影像设备采集患者对应部位的三维体数据，并根据临床医学诊断分割出感兴趣区域，将分割完成的体数据或病灶表面的面片数据提前传输至所述多模态数据集成与裸眼三维融合显示模块；

所述深度相机场景采集模块和所述数据通信模块相连接，用于通过多个双目深度相机采集患者在手术过程中的表面信息，将所述表面信息通过所述数据通信模块传输至所述多模态数据集成与裸眼三维融合显示模块，所述表面信息为带有颜色信息和深度信息的点云数据；

所述多模态数据集成与裸眼三维融合显示模块分别和所述术前采集与处理模块以及所述数据通信模块相连接，用于接收患者的术前影像数据和术中影像数据，通过多模态三维数据配准方式匹配所述术前影像数据和所述术中影像数据的空间位置，通过多模态融合方法和裸眼三维显示装置实现所述术前影像数据和所述术中影像数据的三维数据融合，并提供多尺度信息增强显示显示模式和手术端力反馈的可视化；

所述数据通信模块分别和所述深度相机场景采集模块、所述多模态数据集成与裸眼三维融合显示模块、所述多维交互控制与反馈模块和所述手术器械操作与传感模块相连接，用于实现远程手术中的图像、传感、位置和指令的传输；

所述多维交互控制与反馈模块和所述数据通信模块相连接，包括远程操作器、力反馈设备、手势识别器和拾音器，所述远程操作器用于在人手操控下实现器械尖端的多自由度位移，通过所述数据通信模块控制所述手术器械操作与传感模块的手术器械位置和移动方向，所述力反馈设备用于接收来自所述手术器械操作与传感模块前端的力与扭矩信息，并呈现所述力与扭矩信息，所述手势识别器和所述拾音器用于分别接收手势与语音指令，控制所述多模态数据集成与裸眼三维融合显示模块的显示状态；

所述手术器械操作与传感模块与所述数据通信模块相连接，包括医疗机械臂、前端设备和力学传感模块，所述医疗机械臂由所述远程操作器的运动映射控制，用于实现前端设备在手术空间中的位置变化，所述前端设备实现预设临床治疗，所述力学传感模块用于检测所述前端设备所感受的压力信息和扭矩信息。

第二方面，本发明还提供远程手术数据融合交互显示方法，包括：

多种模态数据集成、实时影像信息融合与三维显示和多维交互控制与反馈。

进一步地，所述多种模态数据集成包括体数据采集方式、点云采集方式和双目图像采集方式；

所述体数据采集方式包括核磁共振成像、计算机断层成像、正电子发射断层成像和光学相干断层成像；所述点云采集方式包括双目深度相机、结构光相机、ToF深度相机和三维扫描仪；所述双目图像采集方式包括双目显微镜和双目荧光成像；

所述多种模态数据集成还包括多模态数据配准算法，所述多模态数据配准算法包括无标记配准算法和有光学标记物配准算法。

进一步地，所述实时影像信息融合与三维显示包括术中多视点图像生成、术前术中多模态数据融合和裸眼三维显示，其中：

所述术中多视点图像生成包括采用深度相机阵列采集参考视点下的患者体表彩色图像和深度图像，通过三维图像卷绕和孔洞填充产生用与三维显示的多视点图像；

所述术前术中多模态数据融合包括采用不透明算法获取患者体表信息与体内信息融合方式，其中，所述体表信息的不透明度与手术过程中使用器械的尖端到体表距离相关联，所述体内信息的不透明度与灰度值、梯度值和病灶是否被消除的状态相关联，所述体内信息的颜色值与术前分割获得的病灶位置标注情况和其它预设特征相关联；

所述裸眼三维显示包括显示屏和柱透镜阵列组合，和显示屏和微透镜阵列组合。

进一步地，所述实时影像信息融合与三维显示还包括多尺度信息融合显示方式、采用大小窗的显示模式和力反馈前端信息的增强可视化；

所述多尺度信息融合显示方式包括在不同尺度下采用平面图像显示对应部分的数据；

所述采用大小窗的显示模式包括数据导航功能和局部结构精细显示功能；

所述力反馈前端信息的增强可视化包括通过颜色和箭头方向指示探针前端的状态和受力情况。

进一步地，所述实时影像信息融合与三维显示还包括视觉显示软件流程，所述视觉显示软件流程包括数据初始化部分、多模态三维数据初始配准部分和图像流实时操作部分；

所述数据初始化部分包括术前体数据导入、术前数据预处理、OpenGL初始化和深度相机初始化；

所述多模态三维数据初始配准部分包括拍摄首帧图像和初始配准；

所述图像流实时操作部分包括针对每帧图像处理的多相机术中采集、术前术中点云帧间配准、术中数据多视点图像生成、术前术中多模态数据融合和集成成像渲染显示。

进一步地，所述多维交互控制与反馈包括多维人机交互算法，所述多维人机交互算法包括视觉交互、听觉交互和触觉交互；

所述视觉交互包括通过空中手势和语音操控三维图像的显示状态；

所述听觉交互包括通过语音访问病人基本信息和远程手术端的生理监测数据；

所述触觉交互包括通过力反馈设备为主刀医生提供远程医疗机械臂前端的触觉反馈，实现多维交互渠道。

进一步地，所述多维交互控制与反馈还包括对远程机器人的操控，所述对远程机器人的操控包括主动运动和被动运动相结合方式、完全主动运动方式和完全被动运动方式。

进一步地，所述主动运动和被动运动相结合方式具体包括：

机械臂在术中深度相机拍摄的点云信息引导下进行主动运动到穿刺点上方；

远程医生通过远程操作器的探针调整机械臂前端的穿刺针位姿；

机械臂在远程操作器和探针前端定位位置反馈的引导下进行主动运动，采用前馈模型预测控制完成智能穿刺操作。

进一步地，所述多维交互控制与反馈还包括手术操作，所述手术操作包括穿刺、夹持、剪切和消融。

本发明提供的远程手术数据融合交互显示系统及方法，通过利用动态不透明度融合算法将远程手术术前与术中多模态数据充分融合，并通过三维卷绕与孔洞填充实时生成术中三维显示多视点图像，实现了多模信息实时裸眼三维显示和自然的远程交互控制，可应用于远程手术或医学教学场景，使得相关应用实时性好、延时低、信息丰富、操作准确和便捷，进而降低手术难度和提升手术成功率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的远程手术三维融合显示与器械操控系统的整体框架示意图；

图2是本发明提供的远程手术三维融合显示与器械操控系统的示意图；

图3是本发明提供的深度相机源生成裸眼三维显示多视点图像的示意图；

图4是本发明提供的术前术中多模态数据融合方法的示意图；

图5是本发明提供的器械位置尖端与体表数据不透明度关系的示意图；

图6是本发明提供的生成裸眼三维图像的硬件原理示意图；

图7是本发明提供的多尺度信息增强现实显示的示意图；

图8是本发明提供的手术端医疗机械臂前端力反馈可视化的示意图；

图9是本发明提供的多模态三维数据处理、配准与融合显示的软件流程示意图；

图10是本发明提供的多源信息整合与交互方法的示意图；

图11是本发明提供的手术操作流程与映射关系的示意图；

图12是本发明提供的远程手术控制端与手术端的各关键组分之间相互位置关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术存在的诸多问题，本发明提出远程手术数据融合交互显示系统，如图1所示，包括：

术前采集与处理模块、深度相机场景采集模块、多模态数据集成与裸眼三维融合显示模块、数据通信模块、多维交互控制与反馈模块和手术器械操作与传感模块，其中：

所述术前采集与处理模块和所述多模态数据集成与裸眼三维融合显示模块相连接，用于通过医学影像设备采集患者对应部位的三维体数据，并根据临床医学诊断分割出感兴趣区域，将分割完成的体数据或病灶表面的面片数据提前传输至所述多模态数据集成与裸眼三维融合显示模块；

所述深度相机场景采集模块和所述数据通信模块相连接，用于通过多个双目深度相机采集患者在手术过程中的表面信息，将所述表面信息通过所述数据通信模块传输至所述多模态数据集成与裸眼三维融合显示模块，所述表面信息为带有颜色信息和深度信息的点云数据；

所述多模态数据集成与裸眼三维融合显示模块分别和所述术前采集与处理模块以及所述数据通信模块相连接，用于接收患者的术前影像数据和术中影像数据，通过多模态三维数据配准方式匹配所述术前影像数据和所述术中影像数据的空间位置，通过多模态融合方法和裸眼三维显示装置实现所述术前影像数据和所述术中影像数据的三维数据融合，并提供多尺度信息增强显示显示模式和手术端力反馈的可视化；

所述数据通信模块分别和所述深度相机场景采集模块、所述多模态数据集成与裸眼三维融合显示模块、所述多维交互控制与反馈模块和所述手术器械操作与传感模块相连接，用于实现远程手术中的图像、传感、位置和指令的传输；

所述多维交互控制与反馈模块和所述数据通信模块相连接，包括远程操作器、力反馈设备、手势识别器和拾音器，所述远程操作器用于在人手操控下实现器械尖端的多自由度位移，通过所述数据通信模块控制所述手术器械操作与传感模块的手术器械位置和移动方向，所述力反馈设备用于接收来自所述手术器械操作与传感模块前端的力与扭矩信息，并呈现所述力与扭矩信息，所述手势识别器和所述拾音器用于分别接收手势与语音指令，控制所述多模态数据集成与裸眼三维融合显示模块的显示状态；

所述手术器械操作与传感模块与所述数据通信模块相连接，包括医疗机械臂、前端设备和力学传感模块，所述医疗机械臂由所述远程操作器的运动映射控制，用于实现前端设备在手术空间中的位置变化，所述前端设备实现预设临床治疗，所述力学传感模块用于检测所述前端设备所感受的压力信息和扭矩信息。

具体地，该系统包括：术前采集与处理模块、深度相机场景采集模块A3、多模态数据集成与裸眼三维融合显示模块A1、数据通信模块、多维交互控制与反馈模块A2和手术器械操作与传感模块A4；系统整体的框架示意图如图2所示。

术前采集与处理模块与多模态数据集成与裸眼三维融合显示模块A1相连，通过医学影像设备采集患者相应部位的三维体数据，并根据临床医学诊断分割出感兴趣的区域，将分割完成的体数据或病灶表面的面片数据提前传输至裸眼三维显示装置；

深度相机场景采集模块A3与数据通信模块相连，利用多个双目深度相机采集患者在手术过程中的表面信息：表面信息为带有颜色和深度的点云数据；深度相机场景采集模块A3在融合多相机拍摄的表面信息后，通过数据通信模块传输至多模态数据集成与裸眼三维融合显示模块A1；

多模态数据集成与裸眼三维融合显示模块A1分别与术前采集与处理模块和数据通信模块相连，从而分别接收患者的术前和术中影像数据，通过多模态三维数据配准方式匹配两者的空间位置，进而通过多模态融合方法和裸眼三维显示装置实现术前与术中患者数据的三维融合显示，同时提供多尺度信息增强现实显示模式和手术端力反馈的可视化；

数据通信模块分别与深度相机场景采集模块A3、多模态数据集成与裸眼三维融合显示模块A1、多维交互控制与反馈模块A2和手术器械操作与传感模块A4相连，实现远程手术中的图像、传感、位置、指令等数据的传输；

多维交互控制与反馈模块A2与数据通信模块相连，包括远程操作器、力反馈设备、手势识别器、拾音器：远程操作器在人手操控下实现器械尖端的多自由度位移，从而经由数据通信模块控制手术器械操作与传感模块A4的手术器械位置和移动方向；力反馈设备接收来自于手术器械操作与传感模块A4前端的力与扭矩信息，并予以呈现；手势识别器和拾音器分别接收手势与语音指令，进而控制多模态数据集成与裸眼三维融合显示模块A1的显示状态；

手术器械操作与传感模块A4与数据通信模块相连，包括医疗机械臂、前端设备和力学传感模块：医疗机械臂由多维交互控制与反馈模块A2中远程操作器的运动映射控制，以实现前端设备在手术空间中的位置变化；前端设备实现诸如穿刺、夹持、剪切、消融等的临床治疗；力学传感模块用于检测前端设备处感受到的压力和扭矩信息。

本发明实现了集位置配准、融合显示、器械控制和交互反馈任务于一体的方法架构，具有可供多人裸眼三维观察、术前与术中多模态三维信息融合、和软件流程高效的特点，使得远程手术相关应用实时性好、信息丰富、操作准确便捷。

基于上述实施例，本发明还提出远程手术数据融合交互显示方法，包括：多种模态数据集成、实时影像信息融合与三维显示和多维交互控制与反馈。

基于上述任一实施例，所述多种模态数据集成包括体数据采集方式、点云采集方式和双目图像采集方式；

所述体数据采集方式包括核磁共振成像、计算机断层成像、正电子发射断层成像和光学相干断层成像；所述点云采集方式包括双目深度相机、结构光相机、ToF深度相机和三维扫描仪；所述双目图像采集方式包括双目显微镜和双目荧光成像；

所述多种模态数据集成还包括多模态数据配准算法，所述多模态数据配准算法包括无标记配准算法和有光学标记物配准算法。

具体地，多种模态数据集成是指远程手术术前与术中的影像数据形式，术前数据主要用于获取患者体内的信息，术中数据主要用于获取患者体表的信息；其形式包括体数据、点云和双目图像：体数据采集方式包含核磁共振成像、计算机断层成像、正电子发射断层成像、光学相干断层成像等；点云采集方式包括双目深度相机、结构光相机、ToF深度相机、三维扫描仪等；双目图像采集方式包括双目显微镜、双目荧光成像等。

此处，无标记的配准方法具体为：术中深度相机阵列拍摄患者手术区域的首帧体表点云数据，初始配准方法结合法向量计算、快速点特征估计、采样一致性配准的方法，得到精确的术前体数据与术中患者所在坐标系之间的位置变换关系；点云法向量的计算可以通过当前点的近邻点拟合平面，进而计算平面的法线得到；快速点特征估计首先通过计算当前点p_q和其k个近邻点{p_i}各自的点特征直方图估计PFH，进而通过下式计算当前点的快速点特征直方图估计FPFH：

采样一致性配准的方法随机选取点集X＝{x_i}中的部分点，通过上述计算的快速点特征直方图，选择另一点集Y＝{y_i}中直方图相似的对应点，进而计算此对应关系的变换矩阵和误差度量，重复以上步骤，最后通过Levenberg-Marquardt优化算法进行非线性局部最优化得解。

对应地，有标记的配准方法具体为：获得术前三维体数据与术中患者的空间位置关系；在患者体表固定N个(N>3)不共面的光学标记点，在术前三维体数据中提取标记物的坐标点集X＝{x_i}，在术中场景利用光学定位系统获取对应标记物的坐标点集Y＝{y_i}，两个点集均为齐次坐标点集；通过迭代的方式求解刚性变换矩阵

使得下式定义的标记点配准误差FRE最小化，从而获得术前数据在术中空间的坐标位置：

基于上述任一实施例，所述实时影像信息融合与三维显示包括术中多视点图像生成、术前术中多模态数据融合和裸眼三维显示，其中：

所述术中多视点图像生成包括采用深度相机阵列采集参考视点下的患者体表彩色图像和深度图像，通过三维图像卷绕和孔洞填充产生用与三维显示的多视点图像；

所述术前术中多模态数据融合包括采用不透明算法获取患者体表信息与体内信息融合方式，其中，所述体表信息的不透明度与手术过程中使用器械的尖端到体表距离相关联，所述体内信息的不透明度与灰度值、梯度值和病灶是否被消除的状态相关联，所述体内信息的颜色值与术前分割获得的病灶位置标注情况和其它预设特征相关联；

所述裸眼三维显示包括显示屏和柱透镜阵列组合，和显示屏和微透镜阵列组合。

具体地，在远程手术的场景下，由于延时对手术成功率的重要影响，为实现远程手术控制端的三维显示效果，区别于虚拟相机拍摄多视点图的传统方法，对于术中多视点图像的生成，如图3所示，采用深度相机阵列采集参考视点下的患者体表彩色和深度图像，以两个参考视点为例，同一个视点下的彩色与深度图像称为一个图像对。利用两个参考图像对作为三维显示水平视点中位于两侧视点下的图像，可以通过以下公式计算水平方向上其他视点下的图像：

V_K(i,j)＝Integrate(Warp(V_L)_(i,j),Warp(V_R)_(i,j)),i∈[0,W-1],j∈[0,H-1]

其中，Warp代表逐像素基于深度数值与虚拟相机参数计算三维图像卷绕的函数，经过计算后的图像像素位置与目标视点K下的视点图V_K对应，V_K(i,j)代表视点图中的某个像素，其尺寸为W×H，Integrate代表整合两个参考视点经过卷绕后的图像从而生成目标图像的函数，根据输入像素是否为孔洞分情况计算，C_hole和D_max分别为背景的颜色和深度。对于生成的目标视点下仍然存在孔洞的像素点，通过取上一时刻此视点下对应位置的像素值或对周围像素值进行插值可以解决。

对于术前术中多模态数据的融合，是为了获得多视点下最终显示的融合图像，包含了患者术中体表的信息和术前体内的信息，对于某个视点下，如图4所示，根据当前视点虚拟相机的设定，对于融合图像中的当前像素，可以定义一条光线的方向，光线与体表曲面S交于一点，与体内体数据V交于若干点，于是当前像素的颜色C_B可以通过以下方式确定：

C_B＝α′_sC_s+α′_VC_V

其中，α代表不透明度，C代表RGB颜色值，

代表光线与V相交体素的不透明度集合，α′_s和α′_V分别为α_S和

的归一化结果；

体表处与光线相交的像素的不透明度α_S在不属于目标进针区域ROI的位置恒为预设值α_S0，在属于进针区域的位置时取决于手术过程中世界坐标系里器械尖端位置tip到此点的距离d的数值和预设的不透明度值α_S0：

随着时间的推进，如图5所示，当器械未进入体内时，体表不透明度数值加大并由中心呈放射状递减，突出表面进针位置的显示，当器械进入体内后，体表不透明度数值减小并由中心呈放射状递增，突出体内解剖和病灶结构的显示；

体内体数据与光线相交的采样点处的不透明度

取决于灰度值I、梯度值G和定义此处病灶是否被消除的任务函数T，颜色值

则取决于术前分割获得的病灶位置标注情况M和其他特征信息F：

因此，体表数据的显示形式随手术进程变化，而体内数据的显示形式由数据自身信息和观察视点所处位置决定。

对于可供多人观看的裸眼三维显示请参见图6所示。图中表示的显示装置硬件主要包括LCD显示屏B1和柱透镜阵列B2：所述LCD显示屏接收来自工作站计算的结果并予以显示；所述柱透镜阵列，其单个柱透镜单元的宽度为L_x，所在平面与所述LCD显示屏平行，通过光学原理将所述LCD显示屏上的二维图像折射至空气中，从而实现多个视点下三维场景显示信息的变化。如图6所示，作为虚拟标识的水平视点B3、光线通路B4和LCD显示屏的基元图像边界线B5共同表示了多人裸眼三维融合显示方法的原理：水平方向的柱透镜阵列与二维图像阵列的结合可以生成水平方向的多视点观察效果，在每个视点下，能够观察到与此视点下观察真实三维模型相当的效果；人眼在水平方向移动时，通过运动视差生成对三维物体的完整观感。以水平方向最左端与最右端的视点B3为例，对应的光线通路B4连接单个视点与各个柱透镜单元的中心，并进一步与LCD显示屏B1相交，相交处的像素属于当前视点下观察到的当前柱透镜对应的像素列；LCD显示屏上的二维图像由各个柱透镜单元对应的基元图像组成，基元图像边界线B5示出了相邻两张基元图之间的界线；最左端的视点观察到的图像由每个基元图中最右端的像素列组成，最右端的视点观察到的图像由每个基元图中最左端的像素列组成。

通过计算可以确定LCD显示屏B1上基元图像的水平方向宽度值P_x，水平视点两两间的距离V_x的数值，单个视点图水平分辨率的最终采用数值H_x：

其中，d_x为LCD显示屏B1上单个像素的水平方向宽度，L_x为柱透镜阵列B2中单个柱透镜单元的水平方向宽度；在垂直于LCD显示屏B1所在平面的法线方向上，gap为LCD显示屏B1与柱透镜阵列B2之间的距离，dis为柱透镜阵列B2与水平视点B3所在视点聚焦平面之间的距离；Width为LCD显示屏B1的水平分辨率，N为水平视点的个数。

基于上述任一实施例，所述实时影像信息融合与三维显示还包括多尺度信息融合显示方式、采用大小窗的显示模式和力反馈前端信息的增强可视化；

所述多尺度信息融合显示方式包括在不同尺度下采用平面图像显示对应部分的数据；

所述采用大小窗的显示模式包括数据导航功能和局部结构精细显示功能；

所述力反馈前端信息的增强可视化包括通过颜色和箭头方向指示探针前端的状态和受力情况。

具体地，如图7所示，对于多尺度信息融合显示方式，当需要观察尺度较大的图像时，术中局部小尺度信息通过平面图形C1的形式进行显示，大尺度信息通过体表的点云C2和体内的面片或体数据C3的形式融合显示。当需要观察尺度较小的图像时，通过大小窗的显示模式提供数据导航和观察功能，大尺度信息通过平面图像的形式在小窗中显示，局部小尺度信息通过大窗显示精细的内部结构，包含多视点图像或体数据C4的形式。

又如图8所示，对于力反馈前端信息的增强可视化，在控制端显示的手术端医疗机械臂的状态，除了真实场景下的前端图像，还包括增强显示的虚拟探针，丰富显示信息的同时还可以补全体内被遮挡器械的图像。探针的颜色与探针是否接触到病患表面有关，可以用冷暖色系等方法进行区别显示。在接触到病患表面前，其具体颜色与距离体表的距离有关联；在接触到病患表面后，其具体颜色与前端检测到的压力大小有关。在探针前端感受到压力后，进一步增强显示前端所感受到力度的方向。

基于上述任一实施例，所述实时影像信息融合与三维显示还包括视觉显示软件流程，所述视觉显示软件流程包括数据初始化部分、多模态三维数据初始配准部分和图像流实时操作部分；

所述数据初始化部分包括术前体数据导入、术前数据预处理、OpenGL初始化和深度相机初始化；

所述多模态三维数据初始配准部分包括拍摄首帧图像和初始配准；

所述图像流实时操作部分包括针对每帧图像处理的多相机术中采集、术前术中点云帧间配准、术中数据多视点图像生成、术前术中多模态数据融合和集成成像渲染显示。

具体地，本发明中涉及到的视觉显示部分的软件流程主要包括三个部分，如图9所示，包括：

数据初始化部分，首先将术前拍摄的患者原始医学三维体数据导入；根据临床经验分割出感兴趣的病灶区域，并进行多种信息的标注；设置开放图形库OpenGL的初始化命令，以便后续的窗口生成和显示渲染；配置术中手术端采集所用深度相机阵列的参数并进行初始化命令；

多模态三维数据初始配准部分，拍摄首帧图像后进行初始配准，获取术中与术前数据中患者的位置关系；

图像流的实时操作部分，深度相机阵列同时拍摄术中患者体表数据；术中数据与术前医学三维体数据的表面信息进行帧间配准，利用前一帧配准的结果作为初始变换关系，从而缩小当前待配准术中数据与术前数据之间的位置差距，加快配准速度，结合迭代最近点的配准方法，实现医学标准下实时的术前体内数据跟随效果；术中数据多视点图像生成；而后将术前数据预渲染的多视点图像与术中多视点图像进行融合；最后通过集成成像三维显示设备进行显示。

上述软件流程的三个部分中，数据初始化部分与多模态三维数据初始配准部分均为一次执行环节，而图像流的实时操作部分为循环执行环节。

本发明利用了术中患者位置变化较小的特点，结合计算复杂度高、速度较慢的初始配准环节与计算复杂度低、速度快的帧间配准环节，实现了术前医学三维体数据在术中空间的精确实时定位和还原。

基于上述任一实施例，所述多维交互控制与反馈包括多维人机交互算法，所述多维人机交互算法包括视觉交互、听觉交互和触觉交互；

所述视觉交互包括通过空中手势和语音操控三维图像的显示状态；

所述听觉交互包括通过语音访问病人基本信息和远程手术端的生理监测数据；

所述触觉交互包括通过力反馈设备为主刀医生提供远程医疗机械臂前端的触觉反馈，实现多维交互渠道。

具体地，多维交互控制与反馈包含多维人机交互的方法，涉及到的模块与流程请参见图10所示。在远程手术进程中，控制端的多名医护人员可以通过多源的输入信息，包括空中交互的手势、语音发出的指令和操作远程器械的动作。上述输入信息分别由多种硬件和传感器接收，包括手势识别器、拾音器与远程操作器，并分析出后续软件算法所需的输入内容。在视觉交互方面，手势识别器与拾音器共同控制显示图像的旋转、平移、缩放等操作，具体而言，可以通过语音指令设定变换模式如任意转轴的旋转、任意方向的平移和缩放模式，进而通过手势识别器分析当前模式的变换方向与定量数值，渲染算法基于上述信息定义图像的模型变换矩阵，从而更新融合场景的信息，并在三维显示器上对应地进行显示；在听觉交互方面，拾音器识别的指令中，部分指令可以访问病人基本信息和远程手术端的生理监测数据，通过对应指令与生理数据，采用扬声器回应医护人员的询问；在触觉交互方面，主刀医生通过操控远程操作器，借助运动映射算法，控制远程手术端的机械臂前端运动，远端的尖端力传感信息通过力反馈设备为主刀医生提供触觉反馈的交互感受。

本发明采用的多源信息整合与交互的方法，从视觉、听觉和触觉方面为多名医护人员提供多维的交互渠道，能够显著增加手术的临场感，提升手术效率的同时增加安全性。

基于上述任一实施例，所述多维交互控制与反馈还包括对远程机器人的操控，所述对远程机器人的操控包括主动运动和被动运动相结合方式、完全主动运动方式和完全被动运动方式。

其中，所述主动运动和被动运动相结合方式具体包括：

机械臂在术中深度相机拍摄的点云信息引导下进行主动运动到穿刺点上方；

远程医生通过远程操作器的探针调整机械臂前端的穿刺针位姿；

机械臂在远程操作器和探针前端定位位置反馈的引导下进行主动运动，采用前馈模型预测控制完成智能穿刺操作。

其中，所述多维交互控制与反馈还包括手术操作，所述手术操作包括穿刺、夹持、剪切和消融。

具体地，多维交互控制与反馈部分包含对于远程机器人的操控，可以采用主动运动和受远程设备操控的被动运动相结合的方式进行，涉及到的运功流程请参见图11所示。此运动流程主要包含三个阶段，涉及到的器械包括控制端远程医生操纵的远程操作器和手术端进行对应操作的医疗机械臂。所述机械臂前端的手术操作以穿刺操作为例，在第一个阶段，机械臂在术中深度相机拍摄的点云信息引导下进行主动运动，通过预先深度相机与机械臂坐标系之间手眼标定的结果

和多模态数据配准得到的变换矩阵

通过下式计算出术前图像上规划的穿刺点P_Pre在机械臂空间中的坐标P_Robot，随后机械臂自主运动到穿刺点上方，并避开路径中的障碍物：

在第二个阶段，远程医生通过远程操作器的探针调整机械臂前端的穿刺针位姿，将探针的位姿信息映射到机械臂前端，调整机械臂每个轴的旋转角，使得两个时刻之间，探针在远程操作器坐标系中的位姿变换与手术器械在深度相机坐标系下的位姿变换保持同步性；设机械臂坐标系到深度相机坐标系的变换为

以变换矩阵T_Master表示两个时刻间探针在远程操作器坐标系中的位姿变化，以变换矩阵T_Slave表示两个时刻间手术器械在机器人坐标系中的位姿变化，可以通过下式计算出T_Slave，即可定义下一时刻机器人的运动状态：

在第三个阶段，机械臂在远程操作器和探针前端定位位置反馈的引导下进行主动运动，完成智能穿刺操作。根据术前规划得到的机械臂穿刺空间坐标P_Robot与探针前端的目标点空间坐标P_Target，由远程医生结合术前图像规划得到穿刺术前规划路径。采用前馈模型预测控制，以组织变形最小和穿刺目标位置精度最高为目标控制机械臂沿穿刺术前规划路径完成穿刺操作。当机械臂探针前端与组织环境接触时，机械臂系统动力学模型发生了显著变化，周围组织的反作用力对机械臂探针前端的位移会造成不可测的扰动，采用前馈模型预测控制可立即根据力反馈设备测量得到的作用力补偿作用力的影响，并预测和补偿难以测量的作用力的影响，而不是等待效应出现在系统输出中，使系统时滞效应的影响最小化，有效减小穿刺过程中的插入力和组织变形，控制机械臂探针前端按照穿刺术前规划路径到达目标病灶位置。在前馈模型预测控制方法中，机械臂控制系统分为快子系统和慢子系统，机械臂控制系统围绕穿刺插入点用线性系统进行建模：

其中E为n×n的奇异矩阵，d为代表扰动的向量。将变换矩阵M作用于该线性系统，将线性系统分为快子系统和慢子系统：

其中L_s＝MA|S，L_f＝MA|F，B_s＝PMB，B_f＝QMB，d_s＝PMd，d_f＝QMd。在前馈模型预测控制算法中，对慢子系统进行反馈补偿：

u＝K_slx_s

K_sl通过最小化下式计算：

其中，图11中分别用虚线轮廓和实线轮廓表示了每一阶段运动前后的物体状态。

另外，远程机器人的操控还包括完全的主动运动方式，在术前规划好手术操作流程后，通过前述的方法将术前规划的手术路径还原到术中机械臂坐标系中，按照规划好的操作流程，完成机械臂主动运动的手术全程操作。

远程机器人的操控还包括完全的受远程设备操控的被动运动方式，区别于采用主动运动和受远程设备操控的被动运动相结合的方式，在远程医生的操作下，医疗机械臂受控制端远程操作器操控，完成机械臂受远程设备操控被动运动的手术全程操作。

多维交互控制与反馈还包括手术操作，包括穿刺、夹持、剪切、消融等常规手术操作。利用前述运动方式的控制，可以实现器械前端位置和方向的精确控制，通过在控制端增加夹持开合、剪切开合、或消融开关的控制单元，即可实现包括穿刺在内的，夹持、剪切、消融等常规手术操作。

本发明涉及到的定位方法中的坐标变换关系，请参阅图12所示。定位方法包括控制端和手术端两个部分，两部分中的联系在于，控制端中心视点的位置O_Eye与手术端中心相机的位置O_Cam是对应的，同时手术端机械臂前端的探针也在控制端渲染图像中以虚拟探针的形式出现，以此将远程手术端的位置信息还原到控制端场景中；

在手术端，多相机阵列通过相机标定方法提前将位置关系进行匹配，以中心位置的相机原点作为多相机阵列的原点O_Cam；利用手眼标定的方法将多相机阵列与机械臂所在坐标系进行匹配，获得变换矩阵

机械臂前端探针到机械臂坐标系的变换关系可以通过旋转标定获取，或由器械的设计获得，记为

因此手术端的主要部件位置关系得以匹配；

在控制端，裸眼三维显示设备显示的内容包含术前体内图像、术中体外图像和虚拟探针三个部分：术中体外图像来自于手术端的多相机阵列，术前体内图像与术中体外图像通过前述多模态三维数据配准的方式得到变换关系

虚拟探针位置与显示坐标系的变换关系

可以通过手术端的位置关系获得：

通过以上变换关系，手术端拍摄获取的图像与器械的操作都能够准确地还原到控制端的三维显示场景中。此外，远程操作器的前端到其基座的位置变换关系

通过设备自身的数据进行获取，并控制手术端的机械前端进行等效运动。

除此之外，手术端多相机配准的方法还包括协同配准的方法。为了减少多相机系统的配准误差，将多相机系统中两两之间的位置关系在同一个优化过程中进行求解，使得下式所示的目标方程最小化：

其中，P_0,i,P_1,i,P_2,i分别为编号0、1、2相机采集到的棋盘格角点或其他对应特征点点集中的第i个对应点，

分别为编号1、2的相机所在坐标系到编号为0的相机所在坐标系的变换矩阵。

本发明利用多模态三维数据配准方法、基于集成成像的裸眼三维融合显示技术、远程力反馈与机器人操纵方法，实现了集位置配准、融合显示、器械控制和交互反馈任务于一体的方法架构，可应用于远程手术或医学教学场景；此外，本发明还具有可供多人裸眼三维观察、术前与术中多模态三维信息融合、和软件流程高效的特点，使得远程手术相关应用实时性好、信息丰富、操作准确便捷。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.远程手术数据融合交互显示系统，其特征在于，包括：术前采集与处理模块、深度相机场景采集模块、多模态数据集成与裸眼三维融合显示模块、数据通信模块、多维交互控制与反馈模块和手术器械操作与传感模块，其中：

所述术前采集与处理模块和所述多模态数据集成与裸眼三维融合显示模块相连接，用于通过医学影像设备采集患者对应部位的三维体数据，并根据临床医学诊断分割出感兴趣区域，将分割完成的体数据或病灶表面的面片数据提前传输至所述多模态数据集成与裸眼三维融合显示模块；

所述深度相机场景采集模块和所述数据通信模块相连接，用于通过多个双目深度相机采集患者在手术过程中的表面信息，将所述表面信息通过所述数据通信模块传输至所述多模态数据集成与裸眼三维融合显示模块，所述表面信息为带有颜色信息和深度信息的点云数据；

所述多模态数据集成与裸眼三维融合显示模块分别和所述术前采集与处理模块以及所述数据通信模块相连接，用于接收患者的术前影像数据和术中影像数据，通过多模态三维数据配准方式匹配所述术前影像数据和所述术中影像数据的空间位置，通过多模态融合方法和裸眼三维显示装置实现所述术前影像数据和所述术中影像数据的三维数据融合，并提供多尺度信息增强显示模式和手术端力反馈的可视化；

所述数据通信模块分别和所述深度相机场景采集模块、所述多模态数据集成与裸眼三维融合显示模块、所述多维交互控制与反馈模块和所述手术器械操作与传感模块相连接，用于实现远程手术中的图像、传感、位置和指令的传输；

所述多维交互控制与反馈模块和所述数据通信模块相连接，包括远程操作器、力反馈设备、手势识别器和拾音器，所述远程操作器用于在人手操控下实现器械尖端的多自由度位移，通过所述数据通信模块控制所述手术器械操作与传感模块的手术器械位置和移动方向，所述力反馈设备用于接收来自所述手术器械操作与传感模块前端的力与扭矩信息，并呈现所述力与扭矩信息，所述手势识别器和所述拾音器用于分别接收手势与语音指令，控制所述多模态数据集成与裸眼三维融合显示模块的显示状态；

所述手术器械操作与传感模块与所述数据通信模块相连接，包括医疗机械臂、前端设备和力学传感模块，所述医疗机械臂由所述远程操作器的运动映射控制，用于实现前端设备在手术空间中的位置变化，所述前端设备实现预设临床治疗，所述力学传感模块用于检测所述前端设备所感受的压力信息和扭矩信息；

所述多模态数据集成与裸眼三维融合显示模块用于包括体数据采集方式、点云采集方式和双目图像采集方式；

所述体数据采集方式包括核磁共振成像、计算机断层成像、正电子发射断层成像和光学相干断层成像；所述点云采集方式包括双目深度相机、结构光相机、ToF深度相机和三维扫描仪；所述双目图像采集方式包括双目显微镜和双目荧光成像；

所述多模态数据集成还包括多模态数据配准算法，所述多模态数据配准算法包括无标记配准算法和有光学标记物配准算法；

所述多模态数据集成与裸眼三维融合显示模块中的实时影像信息融合与三维显示包括术中多视点图像生成、术前术中多模态数据融合和裸眼三维显示，其中：

所述术中多视点图像生成包括采用深度相机阵列采集参考视点下的患者体表彩色图像和深度图像，通过三维图像卷绕和孔洞填充产生用与三维显示的多视点图像；

所述术前术中多模态数据融合包括采用不透明算法获取患者体表信息与体内信息融合方式，其中，所述体表信息的不透明度与手术过程中使用器械的尖端到体表距离相关联，所述体内信息的不透明度与灰度值、梯度值和病灶是否被消除的状态相关联，所述体内信息的颜色值与术前分割获得的病灶位置标注情况和其它预设特征相关联；

所述裸眼三维显示包括显示屏和柱透镜阵列组合，和显示屏和微透镜阵列组合。

2.根据权利要求1所述的远程手术数据融合交互显示系统，其特征在于，所述多模态数据集成与裸眼三维融合显示模块还用于多尺度信息融合显示方式、采用大小窗的显示模式和力反馈前端信息的增强可视化；

所述多尺度信息融合显示方式包括在不同尺度下采用平面图像显示对应部分的数据；

所述采用大小窗的显示模式包括数据导航功能和局部结构精细显示功能；

所述力反馈前端信息的增强可视化包括通过颜色和箭头方向指示探针前端的状态和受力情况。

3.根据权利要求1所述的远程手术数据融合交互显示系统，其特征在于，所述多模态数据集成与裸眼三维融合显示模块还用于执行视觉显示软件流程，所述视觉显示软件流程包括数据初始化部分、多模态三维数据初始配准部分和图像流实时操作部分；

所述数据初始化部分包括术前体数据导入、术前数据预处理、OpenGL初始化和深度相机初始化；

所述多模态三维数据初始配准部分包括拍摄首帧图像和初始配准；

所述图像流实时操作部分包括针对每帧图像处理的多相机术中采集、术前术中点云帧间配准、术中数据多视点图像生成、术前术中多模态数据融合和集成成像渲染显示。

4.根据权利要求1所述的远程手术数据融合交互显示系统，其特征在于，所述多维交互控制与反馈模块用于多维人机交互算法，所述多维人机交互算法包括视觉交互、听觉交互和触觉交互；

所述视觉交互包括通过空中手势和语音操控三维图像的显示状态；

所述听觉交互包括通过语音访问病人基本信息和远程手术端的生理监测数据；

所述触觉交互包括通过力反馈设备为主刀医生提供远程医疗机械臂前端的触觉反馈，实现多维交互渠道。

5.根据权利要求4所述的远程手术数据融合交互显示系统，其特征在于，所述多维交互控制与反馈模块还用于对远程机器人的操控，所述对远程机器人的操控包括主动运动和被动运动相结合方式、完全主动运动方式和完全被动运动方式。

6.根据权利要求5所述的远程手术数据融合交互显示系统，其特征在于，所述多维交互控制与反馈模块中的主动运动和被动运动相结合方式具体包括：

机械臂在术中深度相机拍摄的点云信息引导下进行主动运动到穿刺点上方；

远程医生通过远程操作器的探针调整机械臂前端的穿刺针位姿；

机械臂在远程操作器和探针前端定位位置反馈的引导下进行主动运动，采用前馈模型预测控制完成智能穿刺操作。

7.根据权利要求4所述的远程手术数据融合交互显示系统，其特征在于，所述多维交互控制与反馈模块还用于手术操作，所述手术操作包括穿刺、夹持、剪切和消融。

Images