CN109464195B

CN109464195B - 双模式增强现实外科手术系统和方法

Info

Publication number: CN109464195B
Application number: CN201810212205.4A
Authority: CN
Inventors: A·Y·杰里; M·安伟萨
Original assignee: Surgical Theater Inc
Current assignee: Surgical Theater Inc
Priority date: 2017-09-08
Filing date: 2018-03-15
Publication date: 2021-12-17
Anticipated expiration: 2038-03-15
Also published as: JP2020533681A; US11532135B2; WO2019051080A1; TW201912125A; US20190080515A1; CN109464195A; IL273103A; EP3662452A4; EP3662452A1; US20210090344A1; US10861236B2

Abstract

一种被配置来在跟踪模式和非跟踪模式两者下操作的双模式增强现实外科手术系统，其包括：头戴式显示器，所述头戴式显示器被配置来提供患者的光学视图并且将接收的数据内容引入所述光学视图，以形成所述患者的增强现实视图；并且包括内在跟踪构件，所述内在跟踪构件被配置来确定外科医生相对于所述患者的位置以及视图的角度和方向。所述系统还包括增强现实计算系统，所述增强现实计算系统包括一个或多个处理器；一个或多个计算机可读有形存储装置；以及程序指令，所述程序指令存储在所述一个或多个存储装置中的至少一个上以便由所述一个或多个处理器中的至少一个执行。

Description

双模式增强现实外科手术系统和方法

背景技术

外科手术流程往往可能复杂多变，对时间的要求高，并且在范围方面随患者而变。例如，在动脉瘤修复术的情况下，针对修复点的费用或流程要求可能会取决于精确方位、尺寸等而变化。因此，流程的效率至关重要，并且基于患者专有的外科手术执行方位的局部几何和物理性质的详细规划是首要的。为了实现新水平的手术前准备，3D CT和MRI图像目前越来越多地得到利用。然而，单单这些图像为外科手术预演带来的益处并不显著。此外，用于在外科手术之前或期间研究患者特定的解剖体的现有技术对患者可能具有侵入性。

以引用的方式并入本文的美国专利号8,311,791中已有描述的一种外科手术预演和准备工具，已经被开发来将静态医学图像转化成医师可用来实时模拟医学流程的动态、交互的多维全球面虚拟现实，六(6)个自由度模型(“MD6DM”)。

MD6DM提供的图形模拟环境能够使医师体验、规划、执行和导航对全球面虚拟现实环境的干预。具体来说，MD6DM使外科医生能够使用由传统的2维患者医学扫描图建立的唯一多维模型进行导航，从而在整个体积球面虚拟现实模型中给出6个自由度(即，线性的x、y、z和成角的偏航、俯仰、滚动)的球面虚拟现实。

MD6DM由患者自己的包括CT、MRI、DTI等的医学图像的数据集合建立，并且是患者专有的。如果外科医生要求，那么还可整合代表性脑部模型(诸如图谱数据)来创建部分患者专有模型。模型从MD6DM上的任何点给出360°球面视图。通过使用MD6DM，观察者虚拟地定位在解剖体内部，并且可像站在患者身体内部一样观看和观测解剖结构和病理结构两者。观察者可越过肩膀等上下观看，并且将看到彼此相关的天然结构，就像它们在患者体内的存在方式一样。内在结构之间的空间关系得以保留，并且可使用MD6DM来理解。

MD6DM的算法采用医学图像信息，并且将它构建成球面模型、当“飞翔”在解剖结构内部时可从任意角度观察的完全连续的实时模型。具体来说，在CT、MRI等采用真实的生物体并且将所述真实的生物体解构成由数千个点建立的数百个薄片之后，MD6DM通过表示每一个内部和外部点的360°视图来将所述真实的生物体还原成3D模型。

在一个实例中，医师可能想要利用MD6DM中的可用信息，并且在手术室(OR)内部在实际的外科手术流程期间使用所述信息。然而，外科医生可能在手术室中在流程期间已经使用显微镜或内窥镜。因此，对于外科医生而言，将眼睛移离显微镜或内窥镜以观看MD6DM或其他类型的患者扫描图或数据，有可能降低效率、分散注意力和耗时。此外，在已经拥挤的手术室中添加用于观察患者扫描图和模型的其他设备和系统(诸如MD6DM)可能不切实际或不可行。

以引用的方式并入本文的PCT专利申请号PCT/US2016/056727中已有描述的一种增强现实外科手术导航系统，已经被开发来使医师能够在增强现实视图中在实际的患者躯体顶部上方实时观察用于跟踪患者躯体的虚拟患者模型。然而，在增强现实视图中跟踪患者视图并且对准虚拟模型可能会依赖于病房中可能并不总是可用于系统的外在跟踪机构。具体来说，这类外在跟踪机构可能价格昂贵、耗时并且实现起来不切实际。此外，医师可能希望在可具有有限空间和可操控性的房间内工作时具有在外科手术流程期间利用来自其他系统的附加可用信息的附加灵活性和能力。

此外，医师可能在外科手术期间需要依赖于来自若干源的信息以便达到效果。然而，对于外科医生而言，在外科手术期间对患者全神贯注可能至关重要，并且在外科手术期间目光移离患者以关注这类其他信息可能并不方便、有困难或不切实际。

发明内容

增强现实外科手术系统包括头戴式显示器，所述头戴式显示器被配置来提供患者的光学视图并且将接收的数据内容引入光学视图，以形成患者的增强现实视图。所述系统还包括增强现实计算系统，所述增强现实计算系统包括一个或多个处理器；一个或多个计算机可读有形存储装置；以及程序指令，所述程序指令存储在所述一个或多个存储装置中的至少一个上，以便由所述一个或多个处理器中的至少一个执行。程序指令包括：第一程序指令，所述第一程序指令用于从多个数据源接收多个数据内容；第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至所述头戴式显示器以形成所述患者的增强现实视图；第三程序指令，所述第三程序指令用于接收指示与所述多个数据内容交互的请求的交互控制数据；以及第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的增强现实视图。

计算机程序产品包括一个或多个计算机可读有形存储装置和存储在所述一个或多个存储装置中的至少一个上的程序指令。程序指令包括：第一程序指令，所述第一程序指令用于从多个数据源接收多个数据内容；第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至头戴式显示器以形成所述患者的增强现实视图；第三程序指令，所述第三程序指令用于接收指示与所述多个数据内容交互的请求的交互控制数据；以及第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的增强现实视图。

增强现实外科手术方法包括如下步骤：从多个数据源接收多个数据内容；根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至头戴式显示器以形成所述患者的增强现实视图；接收指示与所述多个数据内容交互的请求的交互控制数据；以及基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的增强现实视图。

一种被配置来在跟踪模式和非跟踪模式两者下操作的双模式增强现实外科手术系统，其包括：头戴式显示器，所述头戴式显示器被配置来提供患者的光学视图并且将接收的数据内容引入所述光学视图，以形成所述患者的增强现实视图；并且包括内在跟踪构件，所述内在跟踪构件被配置来确定外科医生相对于所述患者的位置以及视图的角度和方向。所述系统还包括增强现实计算系统，所述增强现实计算系统包括一个或多个处理器；一个或多个计算机可读有形存储装置；以及程序指令，所述程序指令存储在所述一个或多个存储装置中的至少一个上，以便由所述一个或多个处理器中的至少一个执行。程序指令包括：第一程序指令，所述第一程序指令用于从多个数据源接收多个数据内容；第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至所述头戴式显示器以形成所述患者的增强现实视图；第三程序指令，所述第三程序指令用于接收指示与所述多个数据内容交互的请求的交互控制数据；第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容传送至所述头戴式显示器来实时操控所述患者的增强现实视图；以及第五程序指令，所述第五程序指令用于当所述增强现实外科手术系统在跟踪模式下操作时，从所述跟踪构件接收跟踪信息，并且用于基于所述接收的跟踪信息通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来自动地实时操控所述患者的所述增强现实视图。

本发明还提供其他示例性实施方案，下文更详细地描述这些其他实施方案中的一些但不是全部实施方案。

附图说明

专利或申请文件含有至少一张黑白照片。在请求并支付必要费用后，本事务所将提供带有黑白照片附图的本专利或专利申请的副本。附图中示出了结构，其与以下提供的详细说明一起描述所要求保护的发明的示例性实施方案。相似元件以相同元件符号标识。应理解，作为单一部件展示的元件可用多个部件替换，并且作为多个部件展示的元件可用单一部件替换。附图并未按比例，出于说明的目的，某些元件可能被放大。

图1示出展示用于利用可与本文中公开的改进一起使用的示例性SNAP系统的示例性系统结构和接口的方框图。

图2示出展示用于示例性SNAP系统的示例性SNAP工具部件的方框图。

图3示出展示用于示例性SNAP系统的示例性软件接口的方框图。

图4示出示例性增强现实外科手术系统。

图5A-5C示出通过HMD的示例性增强现实视图。

图6示出示例性增强现实视图。

图7示出示例性增强现实外科手术系统的方框图。

图8示出示例性增强现实外科手术方法。

图9示出示例性头戴式显示器(HMD)。

图10是用于实现图4的示例性ARS计算系统的示例性计算机的示意图。

具体实施方式

以下首字母缩略词和定义将帮助理解详细描述：

AR-增强现实-物理的真实世界环境的直播视图，所述环境的元素由计算机生成的传感元素(诸如声音、视频或图形)加强。

VR-虚拟现实-3维计算机生成环境，所述环境可不同程度地由人探索并且与人交互。

HMD-头戴式显示器(图9)是指可在AR或VR环境中使用的头戴装置。它可以是有线的或无线的。它还可包括一个或多个附件，诸如耳机、麦克风、HD摄像头、红外线摄像头、手跟踪器、位置跟踪器等。

光学视图–在引入任何数据内容之前通过AR HMD观察的穿通视图，相当于在不具有AR HMD的情况下原本将观察到的相同视图。

控制器-可包括按钮和方向控制器的装置。它可以是有线的或无线的。这一装置的实例是Xbox游戏手柄、PlayStation游戏手柄、Oculus touch等。

分割-将数字图像划分成多个片段(像素集合)的过程。分割的目的是将图像的表示简化和/或改变成更加有意义的和更容易分析的内容。

裁剪-垂直于视图的角度将建模的解剖体的层(在某个时刻的一个预设厚度)移除以便使内在结构“逐切片”露出的过程。在横向于/远离中间的/近端的方向上将层移除。

SNAP病例-SNAP病例是指使用患者的一个或多个扫描图(CT、MR、fMR、DTI等)以DICOM文件格式创建的3D纹理或3D对象。它还包括用于在3D纹理中过滤特定范围并且为其他着色的分割的不同预设。还可包括放置在包括用来标记感兴趣的特定点或解剖体的3D形状、3D标签、3D测量标记、用于指引的3D箭头和3D外科手术工具的场景中的3D对象。外科手术工具和装置已经被建模用于教学和患者专有的预演，尤其是用于对动脉瘤夹子适当地设定尺寸。

场景-是指3D虚拟空间，所述3D虚拟空间包括其中的3D纹理和3D对象。

附加传感器-允许从真实环境接收更多信息以便加强虚拟体验的装置。例如-微软Kinect、Leap Motion。

MD6DM-多维全球面虚拟现实，6个自由度模型。它提供的图形模拟环境能够使医师体验、规划、执行和导航对全球面虚拟现实环境的干预。

所公开的系统在建模系统(诸如示例性外科手术图形工具(SNAP))上实现，所述建模系统与手术室技术整合成一体来提供先进的3D性能和增强现实，从而允许外科医生预先加强他们的外科手术表现和准备。SNAP工具向神经外科学提供唯一的虚拟-现实指引以确定最安全的和最有效的路径，以便例如除其他用途之外移除脑肿瘤并且治疗血管异常。

SNAP工具输入穿颅术的3D规划、头部位置、病理学的路径方法，例如用于锁孔技术和其他微创技术。SNAP允许外科医生预先观看期望的外科医生眼睛视图。

借助SNAP工具，外科医生可在手术室中利用特定患者的实际CT/MRI(以及其他)扫描图时执行外科手术规划，从而增强准确性和有效性。SNAP还提供新颖的特征：允许外科医生以可旋转的3D格式观看动脉和其他重要结构的后面，所述可旋转的3D格式可被修改来使图像对外科医生更加有用。例如，SNAP提供使图像旋转并且使所述图像半透明的能力，以帮助外科医生视觉化手术。SNAP利用允许外科医生执行“患者专有”的外科手术的真实“穿梭飞行”的先进成像技术。这一工具在手术室外部提供准备支撑，并且还可被用来将预规划的路径采用到手术室本身中，以便在流程期间由外科医生(及其工作人员)使用。

SNAP通过连接到OR手术中跟踪导航系统来获得外科手术工具、导航探针、显微镜焦点等的跟踪坐标。SNAP提供使加强的态势感知变慢的3D导航模型。SNAP可从被配置来收集图像或跟踪/导航信息的这些外科手术工具中的任一个接收这类信息，并且这类信息可由SNAP系统使用来致使显示给外科医生的高分辨率图像对应于接收的信息。例如，SNAP图像可跟踪工具在所显示图像中的方位，或例如基于由工具提供的视觉信息来更新图像。

SNAP接近度警告系统以类似于如下各项的方式操作：指示和警告空勤人员以免达到可致使接近于地面和其他障碍物的接近度/驾驶操作的近地警告系统(GPWS)和机载防撞系统(ACAS)、地面防撞系统(TCAS)和飞机上的其他类似系统。SNAP接近度警告系统操作包括下列主要阶段：

SNAP接近度警告系统可自动地标记外科医生需要避免的解剖结构。这类解剖结构包括纤维跟踪、神经、脉管、动脉等。SNAP接近度警告系统允许将标记物(Markets)手动放置在3D或2D导航场景内。那些标记物可标记障碍物和解剖结构以避免或标记外科医生的导航目标。被放置的每个标记物可被标注，具有特定颜色、特定形状等。SNAP接近度警告系统的警告的指示可以是可视的(例如，颜色的改变)、有声的(声音)及其他。

SNAP可允许创建轨迹(Trajectory)。通过标记进入(Entry)点，然后使这一进入点与上述标记/目标相关联，SNAP创建允许从进入点导航至目标的轨迹。SNAP路径规划器允许外科医生连接若干标记物、目标和进入点并且创建路径。可创建多个路径。路径可以是要遵循的所要路线或要避免的路径。

SNAP给外科医生提供视觉图形指引。只要外科医生将动作维持在指引的标记物内，他将从点A准确地到达点B(从进入点到目标)。这一工具为公共机构(例如，医院)及其相应的外科医生提供机会，来减少外科手术错误，降低外科手术的浪费量和相关成本，缩短手术室时间，并且最小化流程的高风险本质。这一工具提供了在神经外科训练时维持高质量的机会，还实现了在手术室外面进行教学：用于外科手术技能的Halstedian训练取决于大量的、多种多样的病例，以及在医院里几乎无止境的驻留时间。最新的开发已经迫使重新看待Halstedian系统。Halstedian系统上的最新压力群集包括受限的工作时间、增加的公共安全和手术体验的减少。

使用工具进行预演可减少对后续流程和调整的需要。例如，这一工具在用于动脉瘤外科手术时，使用所述工具可减少对调整或替换动脉瘤夹子的需要。夹子的调整和替换通常可能会导致暂时的阻塞延长和总的流程时间延长。这样一来，可能会提高总的流程风险。

如将由本领域的技术人员理解，本文公开的示例性实施方案可被实行为或可通常利用方法、系统、计算机程序产品或上述组合。因此，实施方案中的任一个可采用以下形式：完全硬件实施方案、用于在硬件上执行的完全软件实施方案(包括固件、驻留软件、微代码等)或将软件方面与硬件方面组合的实施方案，上述实施方案在本文中通常都可以称为“系统”。此外，实施方案中的任一个可采取计算机可用的存储介质上的计算机程序产品的形式，所述计算机可用的存储介质具有在介质中体现的计算机可用程序代码。

例如，本文公开的特征可使用医院环境中(诸如手术室中)所提供的联网计算机系统1实现，如图1所示。这一系统可在外科手术环境中提供，在所述外科手术环境中外科医生20对由多个外科工作人员22支持的患者5进行手术。这种系统1使用计算机网络12将从联网的一个或多个数据库15A-15n访问数据的一个或多个服务器(例如，PC)10A-10n集成在一起。系统将执行专有软件，所述专有软件被提供来实现本文描述的功能和其他特征。一个或多个计算机20可用来与使用一个或多个计算机总线或网络30作为计算机18与工具之间的接口连接到计算机20的诸如外科手术探针/摄像头32的各种外科手术工具、其他外科手术工具34和/或其他设备36对接。应注意，在一些情况下，计算机18、服务器10和数据库15中的全部可容纳在单一服务器平台中。

系统连接到高分辨率3D显示器40，在所述3D显示器40上外科医生可监测手术和各种工具32、34和36的活动。在一些情况下，显示器可能不具有3D性能。此外，下文描述的示例性头戴式显示器(HMD)可用来向外科医生和/或他的/她的助手提供真实图像。一个或多个这类显示器可诸如通过借助于通信网络(诸如互联网)的连接从手术位置远程地提供。

所述系统配置有患者专有参数7，所述患者专有参数7包括患者的成像细节，所述患者的成像细节包括自先前获得的患者的可用CT和MRI图像制作的图像；以及其他信息，所述其他信息涉及模拟的模型，诸如患者年龄、性别等等(其中的一些或全部可例如从医学数据库、实验室或其他源等外在实体获得)。系统利用从系统数据库获得的描述组织和器官特征的组织信息参数。系统可被配置来在希望的情况下借助于通信网络50(诸如互联网)与一个或多个外在实体60交互。

任何合适的计算机可用(计算机可读)介质可用于存储用于在计算机中的一个或多个上执行的软件，以便实现所公开的过程和用于存储所公开的数据和信息。计算机可用或计算机可读介质可以是(例如但不局限于)电、磁、光学、电磁、红外或半导体系统、装备、装置或传播介质。计算机可读介质的更具体实例(非详尽列表)将包括以下各项：具有一个或多个导线的电连接；有形介质诸如便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光盘只读存储器(CDROM)，或其他有形光学或磁性存储装置；或传输介质，诸如支持互联网或内联网的那些。应注意，计算机可用或计算机可读介质可甚至包括另一种介质，例如，程序可例如借助于光学或磁性扫描从所述另一种介质捕获，然后如果需要的话，以合适的方式编译、解释或以其他方式处理，然后存储在任何可接受类型的计算机存储器中。

在本文献的上下文中，计算机可用或计算机可读介质可以是可包含、存储、通信、传播或输送程序以便由指令执行系统、平台、装备或装置使用或与其连接的任何介质，所述指令执行系统、平台、装备或装置可包括任何合适的计算机(或计算机系统)，所述任何合适的计算机(或计算机系统)包括一个或多个可编程或专用处理器/控制器。计算机可用介质可以包括处于基带中或作为载波一部分的传播数据信号，其中体现有计算机可用程序代码。计算机可用程序代码可使用任何适当介质(包括但不限于互联网、有线线路、光纤电缆、射频或其他方式)传输。

用于执行示例性实施方案的操作的计算机程序代码可通过常规方式使用任何计算机语言写入，所述任何计算机语言包括但不限于解释的或事件驱动的语言(诸如BASIC、Lisp、VBA或VBScript)，或GUI实施方案(诸如visual basic)，编译的编程语言(诸如FORTRAN、COBOL或Pascal)，面向对象、有字幕或无字幕的编程语言(诸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等)，人工智能语言(诸如Prolog)，实时嵌入式语言(诸如Ada)，或使用梯形逻辑的甚至更加直接或简化的编程，汇编程序语言或使用适当机器语言的直接编程。

可以将计算机程序指令存储在可以指引(诸如由图1的示例性系统1描述的)计算装置或系统或其他可编程数据处理装备以特定方式起作用的计算机可读存储器中，使得存储在计算机可读存储器中的指令生成一种制品，所述制品包括实现本文中指定的功能/动作的指令构件。

软件包括专有计算机程序指令，所述专有计算机程序指令由提供给执行装置或部件(其可包括本文定制的和描述的通用计算机、专用计算机或控制器的处理器，或其他可编程数据处理装备或部件)来执行，使得专用计算机程序的指令在被执行时创建用于实现本文所指定的功能/动作的构件。因此，定制软件的计算机程序指令用来致使一系列操作在执行装置或部件或其他可编程装备上执行以便产生计算机实现的过程，使得所述指令在计算机或其他可编程装备上执行用于实现本公开中指定的功能/动作的步骤。这些步骤或动作可与操作员或人实现的步骤或动作和由其他部件或装备提供的步骤或动作组合在一起，以便执行本发明的任意数目个示例性实施方案。定制软件还可根据需要利用各种商业可用的软件，诸如计算机操作系统、数据库平台(例如，MySQL)或其他COTS软件。

对于被称为“外科手术导航先进平台”(SNAP)的示例性系统而言，实际患者的医学图像被转化成动态的交互式3D场景。这一动态的交互式图像/模型为医学成像创建崭新的新颖和独创标准，并且具有许多应用。

SNAP提供给外科医生(神经外科医生等)、医生以及他们的助手唯一的虚拟-现实指引，以确定最安全和最有效的路径来移除肿瘤，并且例如当血管异常时治疗异常。“外科手术导航先进平台”(SNAP)可用作独立系统、或外科手术导航系统的应用程序，或可与用于使用第3方导航系统的流程类型的第3方导航系统一起使用。这些流程包括但不限于大脑、脊柱和耳鼻喉(ENT)。

SNAP允许外科医生在进行外科手术之前分析和规划特定患者的病例，然后将该规划带进手术室(OR)中，并且在进行外科手术期间结合导航系统使用所述规划。然后SNAP将导航数据呈现到具有多个观察点的先进的活动间高质量3D图像中。

SNAP实际上是图像指引的外科手术系统，包括呈现外科手术流程的多个实时和动态的视线视图(从不同的/多个视角)的医学成像装置。图像包括扫描的医学图像(基于扫描图，诸如CT、MRI、超声和X射线等)和外科手术仪器。还可包括实时视频和基于视频形式的显微镜或其他源的模型。SNAP提供给外科医生实时的3D交互式指引图像。解剖结构(即，头、脑、膝、肩等)的取向可在躯体/患者的图像和扫描的医学图像(CT、MRI、超声、X射线等)两者中被标记和预配准；因此，扫描的医学图像的取向和患者在外科手术时真实解剖结构的取向被同步并且对准。

此外，上述预配准的标记提供球面参考，以便跟踪外科手术仪器和OR显微镜(和/或外科医生的头)，因此允许在与扫描的医学图像相关的空间中呈现外科手术仪器图像/模型。

患者在2D或3D中的解剖结构以及外科手术仪器的位置和取向可被实时同步，并且将处于与解剖结构相关的空间中的仪器的实时方位和取向以及标记呈现给外科医生。

SNAP系统能够为具有多个扫描数据集的病例做准备。内置的“融合”模式允许用户选择一个数据集来充当主数据集，并且添加将与主扫描数据集对准(“融合”)的次级数据集。

SNAP系统具有唯一的裁剪特征。任何平面IG立体裁剪的特征在于用户可从任何希望的角度裁剪3D模型，从而本质上裁剪成模型并且移除某个区段以暴露模型的内在部分。裁剪平面是“裁剪”3D模型的平面，所述平面由2个变量定义，平面法向(矢量)和平面位置(空间中平面穿过的点)。

此外，SNAP系统已知使任何平面IG立体裁剪从属于场景中的3D移动元件。由于立体裁剪平面由法线和位置定义，因而我们可使用场景中的移动元件来定义用于用户的所述立体裁剪平面。元件如下：导航探针、3D控制器(全方位)、通道、IG观察点(双目摄像头)等。

另一个特征是传递函数。SNAP系统具有显示“组织特异性强度”的特殊能力。原始的数据集切片被收集和堆叠以重建像素立方或我们所称的体素立方。3D模型是立方体积的体素。传递函数用来将每个体素强度值映射给颜色和透明度。这样一来，我们可控制组织强度并且使外科医生能够观看他通常看不到的东西。这一新颖特征允许外科医生观看动脉和其他重要结构的后面，其中一些直到现在还无法实现。

SNAP可在同一屏幕上或多个屏幕上的一个或多个窗口上呈现模型。SNAP的特征和应用程序的实例、多个特征可在屏幕上并列激活。

典型的SNAP系统配置由下列主要部件组成：(1)针对移动性的安装有手推车的系统；(2)医学级隔离变压器；(3)运行Windows 7操作系统的个人计算机(或服务器)；(4)用于高质量图形的高端nVIDIA图形适配器；(5)27”或32”全HD触摸屏显示器；(6)医学级键盘和鼠标；以及(7)用于实现本文描述的特征的SNAP软件应用程序。这种系统由图2的方框图展示，在图2中安装有移动手推车的示例性SNAP系统70包括触摸屏监测器71，所述触摸屏监测器71被配置有PC 72和电力系统73，其中的全部可提供在手术室中。示例性系统70连接到设置在手术室中的导航系统75(诸如示例性图像指引的外科手术(IGS)系统)，所述SNAP系统70可从所述导航系统75接收数据，使得SNAP系统70可显示跟随导航系统的操作的高分辨率的真实3D图像，从而基于正在进行手术的专有患者的图像有效地加强导航系统的操作和显示性能以及SNAP高分辨率成像性能。

外科手术导航先进平台(SNAP)意欲用作软件接口和图像分割系统，以便将成像信息从CT或MR医学扫描器传递至输出文件。组织分割窗口被提供来编辑和更新组织分割，以便为病例做准备。组织分割的改变反映在3D图像中，并且结果可作为案例文件的一部分被保存。它还意欲作为手术前和手术中软件，用于模拟/评估外科手术治疗选项。外科手术导航先进平台(SNAP)是一种用于模拟/评估外科手术治疗选项的手术前和手术中工具。

系统通常将提供可适于手术室的EMC抗扰性，并且将利用触摸屏操作来导航、分类和图像操控。系统还可使用根据需要加载在系统中的病例文件来存储单个患者病例。外科医生可使用扫描的信息(例如，MR或CT DIACOM图像数据文件)和特定患者的患者数据从头开始创建病例。这些病例可根据需要进行编辑和更新。编辑窗口可用来编辑和操控图像和文件。

可提供各种器官和组织的通用模型，所述通用模型可基于患者成像或其他诊断工具或实验室输入与患者专有的模型叠加。因此，对于不是特别关注的器官或其他特征，系统可使用通用模型(例如，眼睛或其他器官)，在所述通用模型下患者专有的信息对意欲的治疗并不需要。

外科手术导航先进平台(SNAP)利用实时导航数据显示患者专有的动态和交互式3D模型。当执行导航会话时，工具可用来通过指向和触摸患者上的可见结构(即，鼻尖、耳垂)和验证处于SNAP屏幕上的指向3D模型中的相同方位的指针来验证(提供在SNAP高分辨率显示器上的)SNAP导航指针方位。

图3展示由软件模块驱动的主处理例行程序的实例，所述主处理例行程序生成由SNAP工具提供的图像。图像生成器110使用存储在数据库115上的信息(诸如通用组织图像、患者专有图像等)生成实时组织图像，以供显示在显示器160上。图像生成器110指派每个片段(阴影纹理等)和机械性质的视觉表示，并且其他建模特征将提供真实图像。

类似地，用户工具生成器将生成外科手术工具的真实图像，所述真实图像动态地显示成与由图像生成器生成的组织图像交互。在外科手术环境中，显示在显示器160上的工具图像可表示实际的外科手术工具接口140，所述外科手术工具接口140的表示可由例如图像生成器110或用户工具生成器120生成用于显示器。外科手术工具接口可与由图像生成器110生成的组织图像动态地交互。同样，关于工具图像的说明和细节可存储在数据库115中。应注意，因为显示器160可以是触摸屏显示器，所以显示器160可充当用户接口130以及其他装置，诸如键盘、鼠标或其他输入装置。而且，显示器160可包括头戴式显示器作为显示器160的一部分，以提供给外科医生和/或其他参与者真实的视觉图像。

SNAP工具还提供给外在系统允许所述系统与向外科医生提供导航或其他功能的其他外在系统对接的接口150，使得SNAP工具可生成与外在系统的输出一致的图像，例如，基于外在系统的操作反映导航或更新成像。然后，SNAP工具可适当地更新其显示器图像，以便在与图形工具交互的高分辨率3D图像中向外科医生提供整合的视图。

一旦外科医生选择了外科手术工具和其他对象，它们就被整合到由显示器160显示的虚拟外科手术场景中并且成为模拟情景的整合元件，所述整合元件包括应用于那些所选择项目中的每一个的真实视觉特征和机械性质以及操作性质特征，例如，显示的剪刀具有真实机械特性并且将像真实剪刀所做的那样进行切割，并且动脉瘤夹子在放置在脉管处时会阻塞血流。以此方式，显示的工具以真实的方式但以外科医生可操控的方式，诸如通过使各种特征透明，使图像旋转，使流程反向等与组织模型交互，以便提供在真实世界中不可能实现的视点。

显示给外科医生的交互式图像/场景由各元件构成，所述元件为体积再现元件和表面再现元件两者。此外，每个元件，体积元件或表面元件，与一个或多个体积元件交互。元件之间的交互包括但不限于物理交互，诸如碰撞模型，所述碰撞模型被实现来表示由元件的移动和/或再成形所引起的元件之间的交互作用，所述交互作用根据诸如压力、元件材料(弹性、粘性等)的物理条件和诸如碰撞角度和元件取向的碰撞条件来复制所述元件的实际物理移动。

再现过程方程可考虑所有的照明阴影和阴影效果现象，并且产生并入有所有视觉元件的最终输出流。

使用组织绘制或魔术组织棒算法创建并且与扫描的图像整合成一体的解剖结构是图像的整体部分。例如，最初是部分的并且在应用魔术组织绘制和组织棒算法后是完整的脉管解剖结构将变成完整的解剖结构，这个完整的解剖结构具有由原始扫描图像和新创建的结构组合而成的结构。此外，控件(复选框)允许选择新创建的结构，并且在开启(展示新创建的结构)或关闭(隐藏新创建的结构)之间切换。另外，提供选项，以便选择以体积和或网络/多边形再现/重建来再现新创建的结构。

所开发的算法和软件工具为用户提供接口来以2维或3维方式(例如，线、圆、临床、球等)绘制任何几何形状或徒手绘制形状。包括/封闭/捕获在所述几何形状(2维或3维)内的区域被定义为“标记区域”。然后，用户能够定义任何视觉特性和任何机械性质，并且将其指派给所述“标记区域”，例如，包括绘制图像的各部分，使它们透明或给它们绘制阴影。虚拟光源可配备有包括如下各项的特性：空间中的球形方位、光的颜色、光的强度、纵横比、虚拟源的几何形状等。

利用组织绘制、魔术组织棒算法或标记区域创建的结构可被指派所要的机械性质特性。任何解剖结构的机械性质系数(刚度、弹性等)可由用户调节以创建量身定做的机械行为。

所述系统提供实时跟踪和反馈，以在外科手术期间跟踪真实外科手术仪器。跟踪系统传递外科手术仪器相对于真实解剖结构(例如，患者头上的特定点)的取向和方位的空间方位和坐标。随后，将仪器的方位和取向发送到外科手术模拟系统。基于患者特定模拟和仪器的方位和取向，向外科医生提供反馈。这种反馈的一个实例可以是，系统向外科医生生成针对他正在剖开的组织类型的反馈，并且万一他剖开了健康的脑组织而不是肿瘤，则警告外科医生。其他实例是在外科医生将器具应用于真实解剖结构上(例如，应用于真实患者身上的动脉瘤上的动脉瘤夹子)后，系统允许外科医生旋转模拟图像/模型，所述模拟图像/模型基于跟踪按真实解剖结构来精确取向，并且观察和评估所放置植入物的方位和效力。

真实仪器的这种跟踪和反馈可以多种方式完成，诸如通过使用视频系统来跟踪仪器和患者特征的方位和移动。或者(或除视频跟踪外)，可修改外科手术仪器以实现跟踪，诸如通过使用GPS、加速度计、磁性检测或其他位置和运动检测装置和方法。这类修改的仪器可例如使用WiFi、蓝牙、MICS、有线USB、RF通信或其他通信方法(例如，借助于图3的外科手术工具接口140)与SNAP工具通信。

SNAP系统被加强和修改，以便使用MD6DM特征来并入本文描述的增强现实外科手术系统。MD6DM提供图形模拟环境，所述图形模拟环境能够使医师在添加了大幅扩展上文描述的SNAP系统的功能和有用性的增强现实特征的情况下，在全球面虚拟现实环境中体验、规划、执行和导航外科手术干预。

这一修改导致产生本文描述的和图4中示出的双模式增强现实外科手术系统(“ARS”)400，所述双模式增强现实外科手术系统(“ARS”)400给予外科医生402或另一个用户(诸如助手、护士或其他医生)从外在源引入的数据内容结合相同头戴式显示器(“HMD”)408上患者404的光学视图的整合视图。这一整合的视图提供给外科医生402患者402的“超人”类型的视图。换句话讲，例如通过佩戴HMD 408并且连接到360MD6DM模型，外科医生402能够看患者404并且观看身体的“内部”。这是因为基于患者404的CT和MRI图像的360模型借助于HMD 408视图与患者对齐并且投影到患者上。因此，当外科医生402看患者404时，就好像他可以观看患者404的内在结构(诸如肿瘤或血管)似的，好像患者404的身体是透明的一样。然后，外科医生402可在患者404周围走动，如将进一步所描述，并且透明的视图根据外科医生402相对于患者404的视角自动与新的视角/角度对齐。因此，外科医生402可对患者404执行流程，同时具有关于患者404的“超人”或“x射线”信息并且精确地知道在流程期间将面对何种结构或障碍物。例如，如果外科医生402钻孔到头骨中，那么他可使用HMD 408来预期并识别在钻孔的轨迹点处何物位于头骨下方，因此根据需要调整流程和钻孔路径以便有效地到达希望的区进行治疗。应理解，其他流程(例如像涉及心脏、肝等的流程)也可从使用HMD408受益，尽管本文的实例可能是明确指代脑。

应理解，数据内容可包括从各种数据源引入并且在ARS计算系统412处接收，以便与患者404的光学视图整合在一起的各种类型的数据。例如，数据馈入可包括来自内窥镜406(或任意类型的视频摄像头410)的直播视频馈入、从图2中描述的SNAP系统70接收的SNAP模型、诸如对该患者404特定的从医学技术数据系统414引入的医学记录的数据或外科医生402可发现在不看患者404的情况下在外科手术流程期间对视图有益的任何其他合适的数据内容。

应理解，HMD 408是穿透的或透明的。因此，外科医生402在忙于患者404时仍可以看见他自己的手或工具。并且同时观看引入的内容(诸如360模型)。在一个实例中，HMD 408可以是混合式或合并式现实显示器，其中外在摄像头捕获所使用的外科医生402的手或工具的实时直播视频，并且借助于HMD 408将直播视频反馈引入和自动融合到增强现实视图中。因此，外科医生402能够借助于他的手或工具维持他自己的动作的视图，同时具有患者内部的“超人”视图以及视情况任何其他增强内容。应理解，对工具的引用可包括由外科医生402操作的徒手工具或由计算机或机器人自发地或借助于人的控制操作的任何种类的机器人工具。

应理解，尽管ARS计算系统412被描述为与SNAP系统70不同的计算机系统，但是在一个实例中，SNAP系统70可并入有本文描述的ARS计算系统412的功能以提供单一流线型ARS计算系统412。

如将更加详细描述，ARS计算系统412可在由外科医生402选择的两种模式中的一种下操作。具体来说，ARS计算系统412可在跟踪模式或非跟踪模式下操作。在非跟踪模式下，ARS计算系统412将内容引入HMD 408中而不考虑HMD 408或外科医生402的位置或方位。换句话讲，引入的内容可与HMD 408所观察到的一样保持静态，即使当外科医生移动他的头并且从不同角度和视角观察患者404时。在跟踪模式下，HMD 408包括用于跟踪相对于患者404的方位和位置的机构。因此，ARS计算系统412可基于HMD 408的跟踪位置，因此基于外科医生402的位置来将内容引入HMD 408中。例如，外科医生402可同时检查预建立模型中以及患者404中存活的特定患者404解剖体。系统400给予进入MD6DM模型并且物理地移动用户身体并且在特定结构处环顾的能力。用户可360°环顾目标解剖体或病变，并且探索病变后面来观看它如何更改患者解剖体。

应理解，尽管跟踪机构被描述为并入HMD 408中，但是跟踪机构可以是定位在外科医生402上、处于HMD 408处或接近于其的单独装置(未示出)。在一个实例中，使用整合到HMD 408中或靠近HMD408的摄像头完成跟踪。摄像头被配置来识别患者404上的相关标记并且确定外科医生402相对于患者的位置以及视图的角度和方向。

应理解，与外在跟踪技术相反，利用这类内在跟踪技术能够实现可用于例如在急诊室或重症监护病房中的轻便且灵活的解决方案，在所述急诊室或重症监护病房中空间和资源可能会比外在跟踪机构可用的手术室中更加有限。

应理解，因为数据内容和真实光学图像叠加在头戴式显示器(HMD)408上，所以利用ARS系统400，外科医生402的眼睛无需离开患者404就可看来自显微镜或内窥镜406的馈入、患者扫描图、规划软件或MD6DM模型。

进一步应理解，被修改以并入MD6DM的特征的如上文所描述和在图2中所示的SNAP系统70的全部或部分能够通过获得患者DICOM 2D图像和建立实时的虚拟模型或获得预建立模型来实现ARS系统400。例如，数据从数据库416获得。ARS计算系统412利用虚拟模型以及其他数据输入，包括在跟踪模式下进行手术时跟踪数据，以形成患者104的增强现实视图。

ARS系统400还包括控制构件(例如控制器418)，以便与引入的不同数据内容交互并且操控所述引入的不同数据内容。应理解，可替代控制器418而使用各种合适类型的控制构件。在一个实例中，脚踏板或接口可用来与引入的数据内容交互并且操控所述引入的数据内容。在一个实例中，语音识别技术可并入HMD 408中，以便从外科医生402接收控制命令、解释和处理所述控制命令。用于与数据内容交互并且操控所述数据内容的控制命令可例如包括指令以在外科手术流程期间在不同的数据内容源之间循环。例如，借助于HMD 408的视场可被限制，因此ARS计算系统412被配置来显示对应于有限数目个数据源的有限数目个窗口或视图。然而，外科医生402可希望在外科手术流程期间观察来自一个以上源的数据内容，与所述数据内容交互并且操控所述数据内容。因此，控制器418可能能够使外科医生402在适当的时间根据需要选择对应于不同数据源的数据。应理解，包括脚踏板或语音识别技术的控制构件即使在外科手术流程期间外科医生402的手被占用时也能够使外科医生402执行这类交互，而无需分散注意力并且暂停最短。

在一个实例中，用于与数据内容交互并且操控数据内容的控制构件可利用ARS系统400的运动跟踪性能。例如，外科医生402可能希望观察从第一数据源接收的第一数据内容，同时观察处于第一位置处的患者404，但是，随后可能希望观察从第二数据源接收的第二数据内容，同时观察处于第二位置处的患者404。因此，ARS计算系统412可被配置来当外科医生402处于第一位置中时引入第一数据内容，但是，随后当外科医生处于第二位置中时切换至第二数据内容。在一个实例中，数据内容可取决于外科医生402的视角而显现或消失。例如，外科医生402可能不希望观察患者404的医学记录直接与观察患者404一起完成，但是可能希望通过简略地扫视特定方向来观看医学记录。

应理解，除了选择被引入以供显示的内容源之外，外科医生402还可使用控制器418或所描述的其他控制构件，以与所选择的数据内容交互并且导航所选择的数据内容。例如，控制器418可用来在患者404的医学记录之间滚动或导航，以便导航SNAP模型等。

应理解，在一个实例中，还可将本文描述的可被引入HMD 408中并且被整合以形成增强现实视图的各种类型的内容类似地馈入监测器或显示屏中，以便使房间或环境内部的许多人借助于单一显示器观察到信息和内容。

应理解，多种类型的视图可由ARS计算系统412生成以便借助于HMD 408观察。例如，如图5A中所示，借助于HMD 408的增强视图502可包括3D模型504、直播视频馈入506和患者记录508。应理解，尽管示例性增强视图502示出从3个不同数据源引入的数据内容，但是可将来自任意合适数目的数据源的数据内容引入增强视图502中。还应理解，尽管在示出的实例中，引入的数据内容以特定方式布置，包括邻近于直播视频馈入506的3D模型504定位在视图502的右上方，并且患者记录508定位在视图502的左上方，但是不同的数据内容可以任何合适方式布置。例如，如图5B中所示，增强视图512包括从定位在增强视图512内的相对端部处的2个不同数据源引入的数据内容。图5C示出其他实例，其中增强视图524包括从单一数据源引入的数据内容。

图6示出包括位于患者的光学视图顶部的3D模型的增强视图602。应理解，为了使3D模型与患者的光学视图准确地对齐，ARS计算系统412应在跟踪模式下操作。进一步应理解，增强视图的任意组合(包括不需要跟踪的引入数据(诸如患者记录)以及可从跟踪受益的数据(诸如3D模型))可借助于HMD 408呈现。例如，示例性增强视图(未示出)可呈现跟踪模式下患者的光学视图顶部的3D模型以及偏到一侧的不要求跟踪的患者记录。

ARS计算系统412引入增强视图中的增强视图的布局、数据内容的源以及数据内容的源的数目可由系统管理员预定义。在一个实例，ARS计算系统412可被配置来使外科医生402能够借助于所描述的控制器构件实时调整增强视图的定位和布局。

图7示出ARS系统700的示例性方框图。ARS计算系统412被配置来作为第一输入接收SNAP 3D模型702。ARS计算系统412进一步被配置来作为第二输入接收直播视频馈入704。当在跟踪模式下操作时，ARS计算系统412进一步被配置来作为第三输入接收导航系统跟踪数据706。在一个实例中，跟踪数据706指示外科医生102相对于患者104的位置和取向。应理解，基于这类导航系统跟踪数据706，ARS计算系统412不但能够确定外科医生102在房间中位于何处而且能够确定外科医生102正在看哪里。例如，外科医生102可位于患者104身体的右侧。然而，例如，外科医生102可从该位置观察患者104的头顶或患者104的头的侧面。应理解，除位置之外，ARS计算系统412能够计算视角并且精确标点视角，因此在手术室中为外科医生提供更加唯一和不同的体验。ARS计算系统412进一步被配置来从控制构件(诸如控制器418)接收指引或控制输入710。

ARS计算系统412基于跟踪输入706和指引/控制输入710处理输入702和704，并且将它们引入HMD 408中以形成患者404的增强现实视图。应理解，ARS计算系统412可被配置来从多个合适的输入源接收任何合适数目个输入，以便向外科医生402提供可能有助于执行特定外科手术的更完整信息。例如，ARS计算系统412可被配置来接收患者医学记录、其他直播视频馈入或指示手术室内外科医生的方位的其他跟踪和传感器信息。

在ARS计算系统412在跟踪模式下操作的实例中，ARS计算系统412被配置来借助于HMD 408将SNAP 3D虚拟模型呈现给外科医生402，使得虚拟模型与外科医生402的患者404的实际视图叠加，以便向外科医生提供患者404的增强现实视图。ARS计算系统412依赖于导航系统跟踪数据706，以使呈现的虚拟模型与外科医生402的患者404的实际视图同步。然而，当在非跟踪模式下操作时，仍可将SNAP 3D虚拟模型借助于HMD 408引入增强视图中，并且呈现给外科医生402，尽管应理解，在没有启用跟踪性能的情况下，SNAP 3D虚拟模型将不会自动地与患者404的实际视图对准并且与所述实际视图叠加，而是将需要一些形式的指引或控制输入710来导航。

应理解，在跟踪模式下，当外科医生402的位置、取向或视角改变时，增强现实视图可被连续地实时更新。因此，当外科医生402在患者周围移动并且调整他对患者404不同位置的焦点时，虚拟模型被调整成使得增强视图与这类移动同步并且在外科医生402的视角来看是真的。

此外，所述系统可容纳任意数目个其他用户，诸如其他外科医生、护士、助手或可位于本地或远程地定位并且借助于通信网络(诸如互联网)连接到系统的其他人。所述系统可利用来自这些其他用户中的任一个或全部，以进一步使用来自这类其他用户的信息(诸如支持医学流程的第二外科医生的动作)增强视图。此外，无论使用HMD显示器还是一些其他类型的显示器，所述系统可向这些其他用户中的任一个提供外科医生观看的增强图像。因此，在一些实施方案中，助手的动作，诸如进行护理来协助流程的动作，还可作为增强视图的一部分或其他增强视图来显示。

再次返回参考图4，应理解，外科医生402可与ARS系统400，具体来说与不同数据内容(诸如SNAP 3D模型)以例如包括如下各项的若干方式交互：

头移动–在跟踪模式中，使用HMD 408的可旋转传感器，ARS系统400可跟踪外科手术402的头移动和角度。这允许用户基于他们的移动和角度调整来与数据内容交互。

控制器-通过使用控制器418，外科医生402可利用箭头键或使用其他按钮在希望的方向上移动，能够激活与数据内容相关联的特定功能。

语音-由传感器(诸如麦克风)接收的语言关键词或短语激活特定功能。例如，“跳至标记1”将使用户移动至预定义的标记1位置。当协作可用时，“移动至玩家2视图”使主要用户移动到第2“玩家”的位置并且在那时使主要用户的视图取向成第2“玩家”的取向。

位置传感器-在跟踪模式下，使用位置跟踪传感器来跟踪移动，外科医生402的移动将转换成数据内容内的虚拟移动或其他相关联的功能。

在跟踪模式下，除观看真实世界之外，外科医生402与SNAP 3D模型交互。在真实的世界环境中，SNAP 3D模型虚拟地定位在外科医生指定的地方。应理解，除上述患者之外，位置可包括在房间中桌子上方、患者的3D打印部分上方、与具有特殊标记的工具对齐和房间中任何其他合适的地方。

应理解，配准过程可需要将从数据库416接收的SNAP 3D模型与患者404的解剖部分对准。对准基于从患者自己的手术前扫描图(上面已建立SNAP 3D模型)检索的信息和对准/配准过程信息。在一个实例中，通过从并入HMD 408中的跟踪构件或独立的跟踪装置(未示出)接收关于外科医生404在HMD 408处或靠近HMD 408的配准信息并且基于所接收的信息对准病例来实现对准。在另一个实例中，通过允许用户将它与解剖结构手动地对准来实现对准。例如，这可使用控制器418来完成。

应理解，尽管在整个描述中可参考结合外科手术流程(具体来说，脑肿瘤)使用系统400，但是系统400可类似地在多种外科手术应用上在患者404的各种解剖部位上使用。

为了实现跟踪模式同时提供不依赖于病房中的外在硬件的轻便解决方案，HMD408包括内在跟踪机构，而不是依赖于外在跟踪机构。通过将SNAP 3D模型以及其他适当的数据内容并入单一增强视图中，HMD 408显示外科医生将在外科手术期间需要的全部信息。具体来说，例如，外科医生可(借助于内窥镜、显微镜等)可在眼睛完全无需离开患者404的情况下从他的视角感受直播视频，观看患者的扫描图并且观察医学记录。

在一个实例中，解剖结构(即，头、脑、膝、肩等)的取向被标记并且使患者躯体和扫描的医学图像(CT、MRI、超声、X射线等)两者预配准。因此，扫描的医学图像的取向和在外科手术中评估的患者的真实解剖结构被同步和对准。在一个实例中，HMD 408可具有将使全部扫描的图像和SNAP 3D模型同步和对准的内置的HD光学系统(显微镜、摄像头等)。这允许消除传统的外科手术显微镜和那些系统的当前限制。在不改变透镜和回路的情况下，更大数目个外科医生可在“显微镜”条件下在真实患者上方使用单个HMD 408和头对接站协作。头对接站用来使非常复杂的场景在重要的微外科的环境中对于直接手术者而言保持稳定，同时允许外在观察者看到完全相同的AR加强的“范围内”场景。

ARS系统400将进一步参考图8中所示的使用方法800来理解。在步骤802处，数据内容在ARS计算系统412处从一个或多个源接收。在一个实例中，接收数据内容可包括被上传到ARS计算系统412中并且被处理来创建SNAP 3D模型的患者专有的DICOM(CT、MRI等)数据。接收数据还可包括接收记录、接收直播视频馈入和/或接收控制/指引信息。在一个实例中，在跟踪模式下，接收数据内容的步骤还可包括从内在跟踪机构接收跟踪信息。

在804处，ARS计算系统412根据定义的布局整合从数据源接收的不同数据内容并且将数据内容引入HMD 408的视图中以形成增强现实视图，诸如图5A-5C和图6中所示的视图。在一个实例中，在跟踪模式下，整合数据内容的步骤还可包括基于接收的跟踪信息将SNAP 3D模型与光学患者视图对准。

在步骤806处，ARS计算系统412使用接收的控制/指引信息来调整引入的数据以便更改增强现实视图。例如，ARS计算系统412可响应于外科医生402借助于控制构件作出这类选择而在引入到增强现实视图中的不同数据内容之间循环。在一个实例中，ARS计算系统412可响应于从控制构件接收的输入而操控数据内容。在一个实例中，在跟踪模式中，调整引入的数据以更改增强现实视图的步骤包括基于响应于外科医生402移动并且因此致使更新的跟踪信息被通信至ARS计算系统412来更新SNAP 3D模型与光学患者视图对齐。

在示例性应用中，ARS系统400被配置来协助外科医生402执行穿颅术。例如，可接收指示在头骨上应启动流程的所要目标的穿颅术内容数据。通过使用跟踪数据，可将穿颅术内容数据引入患者404的光学视图中，并且与所述光学视图对准以形成将在流程期间指引外科医生402的增强现实视图。应理解，ARS系统400可通过向外科医生402提供这种增强现实视图来帮助显著地消除穿颅术错误。具体来说，这种增强现实视图可帮助提高流程准确性，所述流程准确性通常仅为75％。在另一个示例性应用中，ARS系统400可类似地用来帮助外科医生402将导管更准确地插入患者404中。

应理解，手术室中存在外科手术期间跟踪用户状态并且可向外科医生提供本文尚未论述的相关信息的许多系统。因此，应理解，ARS系统400使HMD 408能够将可包括这类相关信息的任何合适组合的增强现实视图呈现给外科医生402。这允许外科医生402保持聚焦于外科手术，同时在眼睛无需离开患者的情况下仍能够处理外科手术期间需要的信息。

在一个实例中，本文描述的ARS系统400和方法800可用于协作模式。在这一模式中，外科医生402可在需要时选取允许其他远程用户加入和观测或帮助流程。用户可按如下各项与远程用户通信：1)麦克风/扬声器用来收听所有的其他远程用户；2)麦克风用来跟所有远程用户对话；以及3)远程用户的视频流可包括为引入到HMD 408的增强现实视图中的数据内容中的一种。

应理解，任何合适类型的头戴式显示器(HMD)408可与ARS系统400一起使用。图9示出HMD 900的实例。例如，HMD 900包括无线天线(未示出)。因此，HMD 900可无线地操作，因此在手术室中不再需要额外电绳。

HMD 900还包括处理器和存储器(未示出)。因此，在一个实例中，HMD 900可被配置来接收、存储和处理数据内容而无需依赖于ARS计算系统412。例如，HMD 900可在进入手术室执行外科手术流程之前预加载有与特定患者和流程相关的适当数据内容。这大幅提高了病房内的灵活性和移动性，而无需将额外设备再带入已经拥挤的房间中。

在一个实例中，HMD 900可能不具有足够的存储或处理性能来存储和处理全部数据内容。因此，在一个实例中，ARS计算系统412可被配置来生成缩减版本或简化版本数据内容，并且在外科医生402将HMD 900带入病房中以执行外科手术流程之前将缩减版本传递给HMD 900。

应理解，本文描述的示例性系统和方法可以若干方法进行缩放。例如，尽管示例性系统和方法可能已经参考单一HMD描述，但是应理解，所述系统可包括在外科手术期间在手术室内具有多个HMD的多个外科医生或用户，基于他们在房间内的方位和取向，全部外科医生或用户相对同时地接收他们自己的定制增强现实体验。此外，在外科手术期间未在OR的远程用户或者甚至在OR的用户可从OR中的其他用户中的一个的视角体验增强现实体验。

应理解，任意数目个合适输入源可整合到在跟踪模式下或非跟踪模式下可适于提供给外科医生可能有助于在外科手术期间加以参考的适当信息的增强现实体验中。

图10是用于实现图4的示例性AR计算系统412的示例性计算机1000的示意图。示例性计算机1000意欲表示各种形式的数字计算机，包括膝上计算机、台式计算机、手持计算机、平板电脑、智能电话、服务器和其他类似类型的计算装置。计算机1000包括借助于总线1012可操作地由接口1010连接的处理器1002、存储器1004、存储装置1006和通信端口3008。

处理器1002借助于存储器1004处理指令以便在计算机1000内执行。在示例性实施方案中，可使用多个处理器以及多个存储器。

存储器1004可以是易失性存储器或非易失性存储器。存储器1004可以是计算机可读介质，诸如磁盘或光盘。存储装置1006可以是计算机可读介质，诸如软盘装置、硬盘装置、光盘装置、磁带装置、快闪存储器、相变存储器或其他类似的固态存储装置或者装置阵列，包括其他配置的存储区网络中的装置。计算机程序产品可有形地体现在计算机可读介质(诸如存储器1004或存储装置1006)中。

计算机1000可联接到一个或多个输入和输出装置(诸如显示器1014、打印机1016、扫描器1018和鼠标1020)。

虽然示例性系统、方法等等已经通过描述实例来示出，并且虽然实例已经相当详细地描述，但是这并非意在将所附权利要求书的范围限定或以任何方式限制于这类细节。当然，出于描述本文所描述的系统、方法等的目的来描述部件或方法的每个可设想的组合是不可能的。本领域的技术人员将很容易想到其他优势和修改。因此，本发明不限于所展示或描述的特定细节和说明性实例。因此，本申请意欲涵盖落在所附权利要求的范围内的替代物、修改和变化。此外，前面的描述并非意在限制本发明。相反，本发明的范围由所附权利要求书及其等效物确定。

就术语“包括(includes)”或“包括(including)”在本说明书或权利要求中的使用范围来说，其意在以与术语“包括(comprising)”在权利要求书中用作过渡词时被解释类似的方式具有包括性。此外，对于所采用的术语“或(or)”(例如，A或B)来说，其意在表示“A或B或两者”。当申请人意在指示“仅A或B而不是两者”时，那么将使用术语“仅A或B而不是两者”。因此，在本文中术语“或”的使用是包括性的，而不是排他性的使用。参见BryanA.Garner所著的A Dictionary of Modern Legal Usage 624(第2版，1995年)。另外，就术语“在...中(in)”或“到...中(into)”在本说明书或权利要求书中的使用范围来说，其意在另外表示“在...上(on)”或“到...上(onto)”。另外，就术语“连接”在本说明书或权利要求书中的使用范围来说，它不仅旨在说明“直接连接至”，而旨在说明“间接连接至”，诸如通过另一个部件或多个部件连接。

本发明的许多其它示例实施方案可以通过上述特征的各种组合来提供。虽然已在上文中使用特定实施例和实施方案来描述本发明，但是本领域的技术人员应当了解，可以使用各种替代方案，并且等同物可以替代本文所述的元件和/或步骤，而未必会背离本发明的意图范围。为使本发明适于特定情形或者适于特定需要，可能需要修改，而不会背离本发明的意图范围。本发明不意图限制于本文所述的特定实现方式和实施方案，但是应当对权利要求书进行最广泛的合理解释以涵盖所有新颖的和不明显的实施方案，无论是字面的还是等同的实施方案、公开的还是未公开的实施方案均被权利要求书涵盖。

Claims

1.一种增强现实外科手术系统，其包括：

头戴式显示器，所述头戴式显示器被配置来提供患者的光学视图并且将接收的数据内容引入所述光学视图，以在医学流程期间形成所述患者的增强现实视图；

数据库，所述数据库被配置来存储所述患者的组织和/或器官的模型数据，所述模型数据由先前获得的所述患者的实际组织和/或器官的图像生成，所述图像在所述医学流程之前拍摄；

至少一个视频摄像头，所述视频摄像头与所述头戴式显示器分离，用于在所述医学流程期间从所述患者获得同期数据；以及

增强现实计算系统，所述增强现实计算系统包括一个或多个处理器；一个或多个计算机可读有形存储装置；以及程序指令，所述程序指令存储在所述一个或多个存储装置中的至少一个上，以便由所述一个或多个处理器中的至少一个执行，所述程序指令包括：

第一程序指令，所述第一程序指令用于从多个数据源接收多个数据内容，所述数据内容包括所述模型数据和所述同期数据；

第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至所述头戴式显示器以形成所述患者的所述增强现实视图，所述增强现实视图基于先前生成的所述模型数据和所述同期数据两者；

第三程序指令，所述第三程序指令用于接收指示有关与所述多个数据内容交互的请求的交互控制数据；以及

第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的所述增强现实视图。

2.如权利要求1所述的系统，其中所述同期数据包括直播视频流，并且其中所述模型数据包括SNAP 3D患者模型和患者健康记录。

3.如权利要求1所述的系统，其中所述交互控制数据包括表示有关在所述多个数据内容之间循环并且选择所述多个数据内容中的至少一个以供在所述患者的所述增强现实视图中观察的请求的数据。

4.如权利要求1所述的系统，其中所述交互控制数据包括有关导航所述多个数据内容的所述内容的请求。

5.如权利要求1所述的系统，其中：

所述增强现实外科手术系统被配置来在跟踪模式或非跟踪模式中的一个中操作；

所述头戴式显示器包括内在跟踪构件，所述内在跟踪构件被配置来确定外科医生相对于所述患者的位置以及视图的角度和方向；并且

所述程序指令还包括第五程序指令，所述第五程序指令用于当所述增强现实外科手术系统在跟踪模式下操作时，从所述内在跟踪构件接收跟踪信息，并且用于基于所述接收的跟踪信息通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来自动地实时操控所述患者的所述增强现实视图。

6.如权利要求5所述的系统，其中所述第五程序指令进一步被配置来自动地并且实时地对准包括所述患者的SNAP 3D模型的所述同期数据内容与所述患者的所述光学视图，并且形成所述患者的所述增强现实视图。

7.如权利要求5所述的系统，其中所述内在跟踪构件包括另外的摄像头，所述另外的摄像头被配置来识别所述患者上的相关标记，并且使用所述相关标记来确定外科医生相对于所述患者的位置以及视图的角度和方向。

8.如权利要求1所述的系统，其还包括用于生成所述交互控制数据的交互控制构件，其中所述交互控制构件包括并入所述头戴式显示器中的控制器、脚踏板和语音识别技术。

9.如权利要求1所述的系统，其中所述同期数据包括对所述患者执行流程的外科医生的手或工具中的至少一个或其组合的直播视频馈入，并且其中所述第四程序指令进一步被配置来将所述直播视频馈入与所述患者的所述光学视图自动融合并且形成所述患者的所述增强现实视图。

10.一种用于增强现实的数据通信的方法，其包括如下步骤：

获得在医学流程之前拍摄的患者的实际组织和/或器官的组织图像；

由先前获得的所述组织图像生成所述患者的组织和/或器官的模型数据，用于在所述医学流程之前存储在数据库中；

使用第一视频摄像头在所述医学流程期间从所述患者获得同期数据；

使用第二视频摄像头获得关于对所述患者执行所述医学流程的人的视角的跟踪信息；

根据定义的布局整合所述模型数据、所述跟踪信息和所述同期数据并且将所述整合的多个数据内容通信至头戴式显示器以形成患者的增强现实视图，所述增强现实视图基于先前生成的所述模型数据、所述跟踪信息和所述同期数据；

接收指示有关与所述多个数据内容交互的请求的交互控制数据；以及

基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的所述增强现实视图。

11.如权利要求10所述的方法，其中基于所述接收的交互控制数据实施操控所述患者的所述增强现实视图的所述步骤包括在所述多个数据内容之间循环并且选择所述多个数据内容中的至少一个以供在所述患者的所述增强现实视图中观察。

12.如权利要求10所述的方法，其中基于所述接收的交互控制数据实时操控所述患者的所述增强现实视图的所述步骤包括导航所述多个数据内容的所述内容。

13.如权利要求10所述的方法，其还包括以下步骤：

接收指令来切换至跟踪模式；

使用第二视频摄像头确定外科医生相对于所述患者的位置以及视图的角度和方向；

接收跟踪信息；

基于所述接收的跟踪信息通过更新所述整合的多个数据内容自动地实时操控所述患者的所述增强现实视图；以及

将所述更新的整合的多个数据内容通信至所述头戴式显示器。

14.一种被配置来在跟踪模式和非跟踪模式两者下操作的双模式增强现实外科手术系统，所述系统包括：

头戴式显示器，所述头戴式显示器被配置来在医学流程期间提供患者的光学视图并且将接收的数据内容显示在所述光学视图上方，以形成所述患者的增强现实视图；并且其中所述头戴式显示器包括具有第二视频摄像头的内在跟踪构件，所述内在跟踪构件被配置来确定外科医生相对于所述患者的位置以及视图的角度和方向以生成跟踪信息；

第一视频摄像头，所述第一视频摄像头用于在所述医学流程期间从所述患者获得同期数据；

第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容并且将所述整合的多个数据内容通信至所述头戴式显示器以形成所述患者的增强现实视图，所述增强现实视图基于先前生成的所述模型数据和所述同期数据两者；

第三程序指令，所述第三程序指令用于接收指示有关与所述多个数据内容交互的请求的交互控制数据；

第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的增强现实视图；以及

第五程序指令，所述第五程序指令用于当所述双模式增强现实外科手术系统在跟踪模式下操作时，从所述内在跟踪构件接收所述跟踪信息，并且用于基于所述接收的跟踪信息通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来自动地实时操控所述患者的所述增强现实视图。

15.如权利要求14所述的系统，其中所述同期数据内容包括直播视频流，并且其中所述模型数据包括3D患者模型和患者健康记录。

16.如权利要求15所述的系统，其中所述定义的布局基于从所述内在跟踪构件接收的跟踪信息对准所述3D患者模型与来自所述同期数据的所述患者的光学视图。

17.一种增强现实外科手术系统，其包括：

头戴式显示器，所述头戴式显示器被配置来提供患者的光学视图并且将接收的数据内容显示在所述光学视图上方，以在医学流程期间形成所述患者的增强现实视图，并且其中所述头戴式显示器包括具有第二视频摄像头的内在跟踪构件，所述内在跟踪构件被配置来确定外科医生相对于所述患者的位置以及视图的角度和方向以生成跟踪信息；

数据库，所述数据库被配置来存储所述患者的3D患者模型的模型数据，所述模型数据由先前获得的所述患者的实际组织和/或器官的图像生成，所述图像在所述医学流程之前拍摄；

第一视频摄像头，所述第一视频摄像头未设置在所述头戴式显示器上，用于在所述医学流程期间从所述患者获得实时数据；以及

第一程序指令，所述第一程序指令用于从多个数据源接收多个数据内容，所述数据内容包括所述模型数据和所述实时数据；

第二程序指令，所述第二程序指令用于根据定义的布局整合所述多个数据内容，基于从所述内在跟踪构件接收的跟踪信息对准所述3D患者模型与所述患者的光学视图，并且将所述整合的多个数据内容通信至所述头戴式显示器以形成所述患者的所述增强现实视图，所述增强现实视图基于所述模型数据和所述实时数据两者；

第四程序指令，所述第四程序指令用于基于所述接收的交互控制数据通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来实时操控所述患者的所述增强现实视图；

第五程序指令，所述第五程序指令用于从所述头戴式显示器的所述内在跟踪构件接收所述跟踪信息，并且用于基于所述接收的跟踪信息通过更新所述整合的多个数据内容和将所述更新的整合的多个数据内容通信至所述头戴式显示器来自动地实时操控所述患者的所述增强现实视图；其中

基于接收的所述交互控制数据实时操控所述患者的所述增强现实视图包括在所述多个数据内容之间循环，并且选择待在所述患者的所述增强现实视图中观察的所述多个数据内容中的至少一个和/或导航所述多个数据内容的所述内容的请求。