CN103959179A - 用于医疗程序的全息用户界面 - Google Patents

Abstract

一种交互式全息显示系统包括全息生成模块（115），其被配置用于显示全息渲染的解剖图像。定位系统（120）被配置用于定义在所述全息渲染的解剖图像上或周围的被监视空间（126）。一个或多个被监视对象（128）的位置和定向受定位系统监视，从而在被监视空间和所述一个或多个被监视对象之间的空间点的一致性触发所述全息渲染的解剖图像中的响应。

Description

用于医疗程序的全息用户界面

相关申请的交叉引用

本申请要求2011年10月20日提交的美国临时申请号61/549,273的优先权，其全文被通过引用并入本文。

技术领域

本公开涉及医疗系统、设备和方法，更具体地，涉及有关集成全息图像数据和其它信息以改进医疗应用中的准确性和效率的系统、设备和方法。

背景技术

已经研究了无需用户护目镜/眼镜而在二维（2D）面板上进行三维（3D）视觉化的自动立体显示器（ASD）。然而，分辨率和处理时间限制了利用该技术渲染高质量图像的能力。另外，这些显示器通常只限于2D平面（例如，防止内科医生四处走动或旋转显示器以从不同视角观看数据）。虽然可以允许有限视野的不同视角，但是用于这种类型的显示器的视野仍然遭受移动视差的破坏。

类似地，用于操纵数据对象的用户输入大都限于主流2D机制，例如，鼠标、平板电脑、键区、触摸面板、基于摄像机的跟踪，等等。因此，需要一种能够用于克服上述缺陷的如本文所公开和描述的系统、设备和方法。

发明内容

根据本原则，一种交互式全息显示系统，包括：全息生成模块，其被配置用于显示全息渲染的解剖图像。定位系统被配置用于定义在全息渲染的解剖图像上或周围的被监视空间。一个或多个被监视对象的位置和定向受定位系统的监视，从而在被监视空间和一个或多个被监视对象之间的空间点的一致性触发在全息渲染的解剖图像中的响应。

另一种交互式全息显示系统，包括处理器和耦合到所述处理器的存储器。全息生成模块包含于存储器中，并被配置用于作为空中全息图或在全息显示器上显示全息渲染的解剖图像。定位系统被配置用于定义在所述全息渲染的解剖图像上或周围的被监视空间。一个或多个被监视对象的位置和定向受定位系统的监视，从而在被监视空间和一个或多个被监视对象之间的空间点的一致性触发在所述全息渲染的解剖图像中的响应，其中在所述全息渲染的解剖图像中的响应包括以下中的一个或多个：所述全息渲染的解剖图像的平移或旋转，所述全息渲染的解剖图像的放大率调整，所述全息渲染的解剖图像的标记和反馈生成。

一种用于与全息显示器交互的方法，包括：显示全息渲染的解剖图像；定位在全息渲染的解剖图像上或周围的被监视空间以定义用于交互的区域；由所述定位系统监视一个或多个被监视对象的位置和定向；确定所述被监视空间和所述一个或多个被监视对象之间的空间点的一致性；以及如果确定了一致性，则触发在所述全息渲染的解剖图像中的响应。

根据以下本公开的图示实施例的详细描述（该描述应结合附图进行阅读），本公开的这些和其它目的、特征和优点将变得清晰。

附图说明

本公开将参照以下附图详细呈现优选实施例的后续描述，在附图中：

图1是示出根据示例性实施例的与全息图接口的系统的框图/流程图；

图2是根据示例性实施例的以其上的数据映射或覆盖图渲染的全息图的立体图；

图3是示出根据示例性实施例的用于显示在全息图像中的数据映射或覆盖图的示例性工序流程的框图；

图4是示出根据示例性实施例的用于在全息图像中显示静止或动画对象的图示系统和工序流程的框图；

图5是示出根据示例性实施例的用于为在以全息图像显示的过程期间选择虚拟对象显示对象菜单的示例性图像的图；

图6是示出根据示例性实施例的用于利用全息图像控制机器人的示例性系统的框图；

图7是示出根据示例性实施例的采用触觉反馈和全息图像的示例性系统的框图；

图8是示出根据一个实施例的在示例性系统中提供不同视角以显示全息图像等的多个视野的图；

图9是示出根据示例性实施例的利用全息图像在网络上远程控制机器人的示例性系统的框图；以及

图10是示出根据示例性实施例的用于与全息图接口的方法的流程图。

具体实施方式

根据本原则，描述了利用用于医疗程序的全息显示技术的系统、设备和方法。这可以利用3D全息技术（例如，空中全息图（in-air hologram））和实时3D输入感测方法（例如，光学形状感测）来实现，以在程序过程中提供更高度的人类-数据交互。采用全息技术和其他技术潜在地简化了程序工作流、仪器选择、以及在感兴趣的解剖学中的操纵。本文所描述的这种示例性实施例能够利用3D全息显示器实时视觉化体积数据集，利用定位方法在临床程序期间在自由空间感测移动，由此提供在介入治疗室中进行人类-数据交互的新方法。

在一个示例性实施例中，3D全息术可用于融合解剖数据和功能成像并“感测”信息。第四维（例如，时间、颜色、纹理等）能够用于表示感兴趣对象（例如器官）的状态的动态3D多模态（multimodality）表示。显示器可以是（接近）实时的并例如使用颜色编码的视觉信息和/或触觉反馈/触觉信息来传达全息显示的感兴趣对象的状态的不同效果。这种信息可以包括关于目标的形态信息、关于感兴趣对象的功能信息（例如，流、收缩性、组织生物力学成分或化学成分、电压、温度、pH、pO₂、pCO₂等）、或者由于目标和正实施的疗法之间的交互引起的目标属性的测量变化。示例性的3D全息显示器能够被从（视觉上）任何角度/方向看到，从而例如多个用户能够同时以相同的理解和信息进行交互。可替换地，可以同时为位于房间内的不同用户显示不同的信息，例如，像在立方体或多面体的每一面上显示不同的信息一样。

在一个实施例中，人们能够在3D全息显示器中“触摸”感兴趣的具体区域或与其交互（例如，利用一个或多个手指、虚拟工具、或者在相同的交互空间中被跟踪的物理仪器），并且组织特性将变得可用并在3D全息图中显示。这种“触摸”还能用于例如在所显示的3D解剖学中旋转虚拟器官、缩放、标记3D中的点、绘制路径或轨迹规划（例如，用于治疗、靶向等）、选择需避免的临界区域、创建警报、以及在3D中下降虚拟对象（例如植入物）。

根据本公开的示例性实施例还能够用于促进远程程序（例如，其中从业者在虚拟器官上“表演”，并且机器人同时或随后在实际器官上执行所述程序），以在训练或模拟设置中执行实际程序之前实践程序，和/或在已经执行程序之后回顾/研究/教导该程序（例如，通过数据记录、存储、以及回放3D全息显示和与临床程序相关的任何相关联的多模态信号）。

以下将参考附图在本文进一步描述根据本公开的示例性实施例。虽然这种示例性实施例大都被彼此分离地进行了描述（例如，为了易于表示和理解），但具有本领域普通技术的人员考虑到本文的教导将理解这种示例性实施例可独立地和/或彼此组合地使用。事实上，本文所描述的示例性实施例的实现和使用，包括其组合和变型，都将被认为是本公开的一部分，其取决于例如特定的实验室或临床使用/应用、与其他相关技术的集成、可用资源、环境条件等。因此，本公开中没有事物应被解释为限制本文所公开的主题。

根据本原则的实时3D全息显示器可以包括经由嵌入到数据交互设备（例如，用于传感器反馈的触觉设备）中的定位技术输入的实时的六个自由度（DOF）。还可以使用用于多维数据获取的成像/监控系统。在全息显示器、定位系统/交互设备、以及成像/监控系统之间的数据链路可以提供用于在这些系统之间的通信。在一个实施例中，显示器、反馈设备、定位设备、测量设备可以与用于决策支持的计算工作站和病例信息的数据库（其在直播病例期间可以动态更新/调用）一起使用或者与其集成使用，以用于训练/教导/程序指导目的（例如，用于与正在治疗的程序和患者相关的类似的存档临床病例）。

可以理解的是，本发明将依照医疗仪器进行描述；但是，本发明的教导更宽泛并且可应用到能受益于全息视觉化的任意系统。在一些实施例中，本原则应用于跟踪或分析复杂的生物或机械系统。特别地，本原则可应用于生物系统的内部跟踪程序、在身体的所有区域（例如，肺、胃肠道、排泄器官、血管等）中的程序。在图中描绘的元件可以以硬件和软件的各种组合实现，并提供可以与单个元件或多个元件组合的功能。

可以通过使用专用硬件以及能执行软件的硬件与适当软件相关联地提供图中所示的各种元件的功能。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器、或由多个个体处理器（其中一些可以共享）提供。此外，明确使用的术语“处理器”或“控制器”不应被解释为排他地指能够执行软件的硬件，而是暗指可以包括但不限于数字信号处理器（DSP）硬件、用于存储软件的只读存储器（ROM）、随机存取存储器（RAM）、非易失性存储装置等。

此外，文本所有引用本发明的原则、方案和实施例及其特定例子的陈述都意图包含其结构和功能等价物。另外，希望的是，这种等价物包括当前已知的等价物以及将来开发的等价物（即，不管结构，被开发来执行相同功能的任意元件）。因此，例如，本领域的技术人员将理解本文所呈现的框图表示实施本发明的原则的示例性系统部件和/或电路的概念视图。类似地，可以理解的是，任意作业图、流程图等表示呈现在计算机可读存储介质中并由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。

此外，本发明的实施例能够采取计算机程序产品的形式，所述计算机程序产品可以由提供程序代码的计算机可用或计算机可读存储介质访问，所述程序代码由计算机或任意指令执行系统所使用或与其结合使用。出于该描述的目的，计算机可用或计算机可读存储介质可以是任意装置，其可以包括、存储、通信、传播或传输由指令执行系统、装置或设备所使用或与其结合使用的程序。所述介质可以是电子、磁、光、电磁、红外或半导体系统（或者装置或设备）或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器（RAM）、只读存储器（ROM）、硬磁盘和光盘。光盘的当前例子包括光盘只读存储器（CD-ROM）、光盘-读/写（CD-R/W）、蓝光TM以及DVD。

现在参照附图，其中相似的附图标记表示相同或类似的元件，首先参照图1，其示例性地示出了根据一个实施例的用于生成全息图像并与其进行交互的系统100。系统100可以包括工作站或控制台112，据其监控和/或管理程序。工作站112优选包括一个或多个处理器114和用于存储程序和应用的存储器116。存储器116可以存储全息生成模块115，其被配置用来根据应用在显示器158或空中渲染全息图像。全息生成模块115对图像数据进行编码以生成三维全息图。编码可以提供在2D显示器或3D介质或3D显示器上的全息图。在一个例子中，来自3D成像的数据，例如计算出的断层摄影、超声、磁共振，可以利用用于渲染全息图的空间分布和光强度而被转变成全息图。

定位系统120包括坐标系122，全息图像或全息图124登记在所述坐标系上。定位系统120还可以用于登记被监视对象128，该对象可以包括被单独创建和控制的虚拟仪器、真实仪器、内科医生的手、手指或其它解剖部分，等等。定位系统120可以包括电磁跟踪系统、形状感测系统（如基于光纤的形状感测系统）、包括光传感器和阵列的光感测系统、或其它感测模态等。定位系统120用于定义全息图或全息图像124中或周围的空间区域，以使得能够作为全息图124的区域中的移动的结果而触发不同的功能或动作。例如，可以利用光纤形状感测设备来跟踪内科医生的手的动态位置。当内科医生的手进入相同的空间（例如投影的全息图124周围的被监视空间126）时，全息图的强度将会增加。在另一个例子中，内科医生的手移动可用于从空间上改变全息图124的位置或定向或者与全息图124交互。

被监视对象或感测系统128在空间上可能相对于全息图124或全息图124周围的空间126受到监视。被监视对象128可以包括内科医生的手、真实或虚拟的工具、另一全息图等。被监视对象128可以包括一个或多个传感器132，其被应用以监视被监视对象128的位置，从而当对象或其部分的位置在全息图124或全息图124周围的空间126中时，将发生与被监视对象128的类型和由被监视对象128执行或将执行的动作一致的反应。一个或多个传感器132可以包括EM传感器、光纤形状传感器等。

在一个实施例中，传感器132包括光纤形状传感器。传感器解释模块134可以用于解释来自形状感测设备或系统（132）的反馈信号。解释模块134被配置成使用信号反馈（和任意其它反馈，例如，光、电磁（EM）跟踪等）来重建与被监视对象128相关联的运动、偏转和其他改变，其可以包括医疗设备或仪器、虚拟工具、人类解剖特征等。医疗设备可以包括导管、导线、探针、内窥镜、机器人、电极、滤波设备、球囊设备、或其它医疗部件等。

形状感测系统（132）可以包括一个或多个光纤，其以一种或多种固定模式耦合到被监视对象128。光纤通过线缆127连接到工作站112。按照需要，线缆127可以包括光纤、电连接、其它仪器等。

形状感测系统（132）可以基于光纤布拉格光栅传感器（fiber optic Bragggrating sensor）。光纤布拉格光栅传感器（FBG）是反射特定波长的光且传输所有其它光的光纤的一较短部分。这是通过在纤芯中添加折射率的周期性变化而实现的，其生成了特定波长介质镜。因此，光纤布拉格光栅能够用作内联光滤波器以阻挡某些波长，或者作为专用波长反射器。

光纤布拉格光栅的操作背后的基本原则是在折射率改变的每个表面处的菲涅尔反射。对于某些波长，各种周期的反射光同相，从而对反射存在相长干涉，并因此对传输存在相消干涉。布拉格波长对张力以及温度是敏感的。这意味着布拉格光栅能用作光纤传感器中的感测元件。在FBG传感器中，被测变量（例如，张力）引起布拉格波长中的移位。

该技术的一个优点是可以在光纤长度上分布各种传感器元件。沿着嵌入到一结构中的光纤的长度并入三个或更多个核心和各种传感器（计量表）允许这种结构的三维形式被精确确定，通常好于1mm的精度。沿着光纤的长度，在各个位置能够定位多个FBG传感器（例如，3个或更多个光纤感测核心）。根据每个FBG的张力测量，能够在那个位置推断结构的曲率。根据多个测量位置，确定总的三维形式。

作为光纤布拉格光栅的替代，可以利用传统光纤中的固有反向散射。一种这样的方法是在标准单模式通信光纤中使用瑞利散射器（Rayleighscatter）。作为纤芯中的折射率的随机波动而产生瑞利散射器。这些随机波动能够被模型化为沿着光栅长度具有随机变化的幅度和相位的布拉格光栅。通过在运行于多核心光纤的单长度中的三个或更多核心中使用这一效果，能够跟随感兴趣的表面的3D形状和动态。

在一个实施例中，工作站112包括图像生成模块148，其被配置用于从形状感测系统132或其它传感器接收反馈，以感测与全息图124的交互。定位系统120已知全息图124及其周围空间126的位置和状态。当被监视对象128进入空间126或与全息图124的位置一致时，如比较模块142确定的，取决于运动的类型、被监视对象128的类型、程序或活动的类型和/或任何其他标准来触发动作。比较模块142通知全息生成模块115需要改变。全息生成模块115对图像数据进行重新编码，并对其进行处理和输出到图像生成模块148，该模块根据固定标准更新全息图124。

在图示实施例中，全息图124可以包括基于患者或主体150的3D图像152渲染的内部器官。在外科手术前利用成像系统110从患者150处收集图像152。注意，成像系统110和患者150不需要存在以采用当前原则，因为系统100在任何时候都可以用于训练、分析或其它目的。在该例子中，内科医生采用其上布置有传感器132的一副手套。当手套/传感器132进入空间126并与全息图124一致时，内科医生能够旋转或平移全息图124。在另一实施例中，手套包括触觉设备156，其依赖于手套/传感器相对于全息图124或空间126的位置提供触觉反馈。在其它实施例中，触觉反馈表明与全息图124及其表示对应的组织类型。触觉设备或系统156可以包括超声源、扬声器或其它振动源，以利用振动或声音传达全息图124状态中的不同。

显示器118和/或显示器158还可以允许用户与工作站112、全息图124及其部件和功能、或者系统100内的任意其它元件交互。这进一步由接口130促进，接口130可以包括键盘、鼠标、控制杆、触觉设备、或任意其它外围或控制件，以允许用户从工作站112反馈且与工作站112交互。

在一个实施例中，用户（从业者、外科医生、同伴等）能够触摸（或者交互）3D全息显示器158中的特定感兴趣区域（ROI）154或3D全息显示器（或者任何其它地方）中的全息图124，以显示与所选择的特定感兴趣区域相关的额外信息，例如组织特性，如温度、化学成分、基因签名、压力、钙化百分比，等等。信息的覆盖图能够显示或呈现在分离的示例性2D显示器（118）上，由此2D显示器的部分可以是透明的，例如以用于所显示信息的更好观看。还可能的是，示例性2D显示器118呈现或显示高分辨率的其他图形和文本（例如，在3D显示器可以具有相对低或有限分辨率的实施例中）。

其它实施例能够为从业者（例如，医生）提供“抬头”显示器（如显示器158）或者作为组合显示器（118和158），来容纳这种额外信息的显示/呈现。额外地，其它感兴趣区或区域154能够在3D全息显示器158中或全息图124中被自动地加亮和/或被描轮廓。这种其它感兴趣区例如能够是与所选择的感兴趣区和/或相关区具有类似的特性的区。

根据再一示例性实施例，3D全息显示器158或全息图124可以采用六个自由度（6DOF）用户跟踪，例如，利用形状使能仪器132和/或利用基于摄像机的传感器137，允许用作3D和实时6DOF用户交互的用户接口。例如，用户（如从业者）被提供有触摸正被显示为3D全息图像124的虚拟器官的能力。用户能够旋转、放大/缩小（例如，改变视图的放大率）、标记3D中的点、绘制路径和/或轨迹规划、选择需避免的（临界）区、创建警报、插入和操纵解剖学中3D虚拟植入物的定向，等等。利用定位系统120和图像生成系统或模块148与为全息图124所显示的全息数据结合工作来执行这些功能。

通过触摸（和/或轻敲、持有等）显示器158或全息图124的一部分，可以创建种子点162并使其落入3D全息显示器158或全息图124中。种子点162可以用于例如激活虚拟摄像机，该摄像机能够单独地提供定制观看视角（例如，定向、缩放、分辨率等），所述视角能够流到（或被传送到）单独的高分辨率2D显示器118上。

触摸特征能够用于创建虚拟种子点162或者将种子点162落入到3D显示器158中用于多个任务，例如，初始化分割、建模、登记或者计算、视觉化、规划步骤，等等。除了3D全息显示器158或全息图124被用于显示解剖学的数据外，显示器还可以用于显示按钮、下拉菜单、指针/跟踪器、可选功能等，允许用户与系统和/或包含于其中或连接到其上（例如，直接连接或经由因特网或其它网络）的任何计算机交互并对其给出命令。

在另一实施例中，麦克风164可以用于接收言语信息来经由语音控制命令与示例性3D全息显示器158或全息图124进行连接、控制、交互等。可以设置语音识别引擎166以将语音命令转换成程序命令，来允许用户（例如外科医生）与3D全息显示器158或全息图124进行交互，而不必使用他们的手。例如，用户可以说“显示左前斜位40（SHOW LAO FORTH）”，则在全息图像中显示的体积将旋转到为用户提供期望视野的合适角度。其它命令的范围可以从相对简单的命令（如“缩放”后跟随具体量，如“3倍”左右以显示特定（额外）信息）到更复杂的命令（例如其可以与具体任务或程序相关）。

根据另一实施例，可以在存储器116中提供记录模式，并使该模式可用于例如在全3D重放的相同设备上和/或在传统（2D或3D）观看设备上回放病例，自动将记录的3D场景转换为多个2D观看视角（或旋转例如虚拟现实建模语言（VRML）的3D模型）。在全息显示器158和在库/数据库168中存档的记录之间的数据连接，例如图片存档和通信系统（PACS）、放射学信息系统（RIS）或其它电子医疗记录系统，能够用于促进例如视觉化和诊断解释/数据挖掘。记录能够被重放且用于例如教导和训练目的，例如教导或训练在个体设置（例如，当用户想要回顾记录的已执行程序时）、小组环境（例如，具有同事和/或管理）、相对大的课堂、演讲等中的其他人。这种示例性记录还可以用于市场展示、研究环境等，并还可以用于质量和管理评估，例如由医院管理者、第三方保险公司、投资者、食品和药品管理局（FDA）和/或其它管理主体的过程评价或程序评估。虚拟摄像机可用于捕捉或记录多个视点/角度，并为例如不同的2D电视屏幕或监视器（或其部分）上的视频捕捉或同时显示的图像生成多个2D输出。

参照图2，在另一实施例中，三维（3D）全息学可用于显示解剖学的体数据（例如来自3D CT扫描），例如来融合解剖和功能成像并“感测”信息以及暂时（时间相关的）信息。利用视觉指示器204、206，所述信息可用于创建（生成、产生、显示等）对象（如器官）及其状态的动态3D多模态表示202（例如全息图），例如来自显示器210的颜色、对比度和模式。对象202（如全息图124）可以显示不同的区域204、206以指示对象202上有用的数据。例如，心外膜和/或心内膜映射数据可用于例如在电生理程序期间显示在心脏图像上的电活动数据，叠加有心脏的解剖成像数据（例如来自CT、XperCT或MR）。另一个例子是显示温度图，其可以在消融期间由MR提供或在介入（例如，利用MR数字数据传送系统和程序）期间磁共振高强度聚焦超声（MR-HIFU）4D（四维）信息提供。例如，还可以使用与实时辐射剂量分布图相关联的信息在辐射肿瘤学治疗（直线加速器、短程疗法等）期间叠加在解剖目标上。还可以构思其它实施例。

参照图3，示例性示出了根据示例性实施例的在介入性程序过程中所采用的功能和解剖信息的示例性全息视觉化。在这个例子中，获取了心脏的体积图像302，并将其分割以产生计算空间并确定与图像的其他部分相反的心脏的解剖特征。这产生分割的图像304。通过在框306中执行对心脏或其它解剖特征的测量或测试，获取功能或设备数据。在图示的实施例中，对应于心脏或器官生成电解剖映射或其它映射。将映射登记到分割的图像304中，以提供可以生成且显示为全息图的登记的图像310。利用定位技术（形状感测等），可以自心脏中或周围收集实时导管308数据。导管位置或其它相关数据（治疗位置等）的数据轨迹可以以全息图像312进行渲染，所述全息图像312包括解剖数据（例如，分割的全息图）和设备数据（例如，导管数据）。

根据本公开的另一示例性实施例包括获取不完整数据（例如，投影而不是全3D图像）。例如，这可以包括获取间歇图像或不完整图像的傅里叶（频率）空间中的数据。例如，收集频域中的下采样图像数据。根据该示例性实施例，可以利用相对少量或减小量的输入数据，以及因此相对少量或减小量的相关联的计算处理功率和/或时间，来构建（生成、产生、显示等）3D全息图像显示。取决于获取数据的不完整性和哪种特定信息可能不可用，可以有限制地构建/显示合成的3D全息图像。然而，这种示例性实施例能够帮助实现实时或接近实时的动态显示，具有显著少的辐射暴露（例如，在现场X射线成像的情况下）以及计算开销，鉴于与该示例性实施例相关联的潜在限制可以考虑（例如，平衡、权重）这种益处。

参照图4，另一示例性实施例包括将虚拟仪器或对象输入到全息显示器中。在一个实施例中，对象402可以被数字化或者渲染到虚拟环境404中并被显示。可以绘制对象402并将其作为对象数据405加载到工作站112，并可以将其编码到显示器158中且与全息图124并发渲染。对象402的静态图像可以出现在全息图124中，并利用全息图124（和/或在显示器158上）进行单独操纵。静态图像可用于对象402和全息图124之间的尺寸比较或测量。

在一个实施例中，可以包括转换盒406以采用标准化协议来提供到3D全息显示器158的“视频就绪”接口。例如，关于形状感测技术，转换盒406能够将x、y、z坐标从每个定位的仪器或对象402（导管、植入物等）格式化成全息显示器158可读的空间（例如，栅格化/扫描转换的体素空间、向量空间等）。这可以利用图1的工作站112执行。3D格式应该至少支持体素（对于体积）和图形元件/原语，例如3D中的网（虚拟导管能显示为管）和线（以编码测量和文本渲染）。根据本公开，例如基于特定实验室或临床使用或应用、与其它相关技术的集成、可用资源、环境条件等，3D格式可以变化。利用该视频能力，对象402（例如，用于仪器、医疗设备、植入物等的计算机辅助设计渲染、模型、扫描等）可以相对于显示器158上或空气中的全息图124被独立地操纵。这样，对象402可以放置在全息图124中或周围，以确定对象是否适合全息图124的一部分等。例如，可以通过血管放置植入物以视觉地测试合适。还可以想到的是，可以采用其它反馈。例如，通过理解对象402所占据的空间及其定向，对比模块能够确定全息图124和对象402之间的干扰，以例如能够支持触觉反馈来指示对于植入物的清除（clearance）是不可能的。还构思了其他应用。

在另一示例性实施例中，图1和/或图4的系统100可以用作教育和/或训练工具。例如，通过理解3D解剖学和/或并入使用实际或虚拟工具或仪器（分别为被监视对象128和/或对象402），从业者（例如，外科医生、内科医生、同伴、医生等）能够在实际执行程序之前视觉地实践程序（外科手术、病例等）。例如通过定植入物的尺寸以计划其是否适合特定患者的解剖学等，同伴/从业者能够实践（虚拟地执行）外科病例/程序。

参照图5同时继续参照图1，跟踪的输入设备（被监视对象128），例如，利用形状感测、电磁跟踪、声学跟踪、或基于机器视觉的光学跟踪（飞行时间摄像机或结构光摄像机）所跟踪的仪器，可以结合显示器158使用以访问全息图124中由图像生成模块148所生成的虚拟帮助模式触发点504（或其它功能）。虚拟帮助触发点504可以包括显示器或全息图内的像素区域。例如，当操纵虚拟仪器或对象402时，通过使用自动登记到图像中的全息图124的跟踪虚拟工具（402）的末梢（或利用被监视对象128），可以选择（例如，虚拟选择）和显示区域或触发点504。

在一个实施例中，在全息图124中选择触发点504，并且菜单502或其它交互式空间可以开放以允许进一步的选择。例如，同伴/从业者能够通过激活触发点504首先选择称作“臀部”的程序，以显示患者的（主体的）臀部的3D CT图像，随后选择来自不同制造者的不同的“臀部植入物”以进行查看并“感觉”哪个植入物最适合特定患者。还可以使用（例如，物理上持有并操纵）空中的实际植入物，并将其放置在3D全息显示器中以查看、感觉和评估适合（例如，这种植入物是否适合特定患者以及适合地多好）。

图5示出了虚拟菜单502，其可以设置在全息显示器158或其它显示器118中以允许选择内支架508。可以使用显示器118、全息图124或通过采用接口130来调用虚拟菜单502。一旦选择了内支架508，则在显示器158或全息图124中渲染虚拟模型（见图4），以允许进行操纵、测量等。

根据示例性实施例，虚拟菜单502提供结合定位和示例性全息用户接口的临床决策支持。在内部程序使用期间，形状跟踪仪器（128）（例如，导管）能够被导航到感兴趣的解剖学（504），并且虚拟菜单502能够为每个区域自动弹出，或者通过将对象末梢放在触发点504的区域中来激活触发点504或者以其它方式激活触发点504（例如，触摸它等）。可以选择植入物或其它设备，然后将其引入以允许在虚拟全息空间中（例如，在全息显示器中或非常靠近全息显示器）执行设备定尺寸/选择。

参照图6，根据另一示例性实施例，在外科手术期间可以采用3D全息显示器158或全息图124来与患者内部的设备602交互。可以使用经由主/从配置的机器人，其中在显示器158中移动的设备602的形状感测模拟物604被用于开动目标区域606中的实际设备602的运动。通过基于传感器和/或基于语音的技术，可以跟踪从业者（外科医生、内科医生等）的手610或语音，例如通过利用3D全息显示器中的形状感测设备608和形状感测系统614来跟踪内科医生的手。因此，可以将在全息显示器158中执行的从业者的移动（例如包括他们的手的（重）定位、定向等）传送到设备602，例如患者内部的机器人612（如机器人控制的仪器），以在患者体内复制这种移动，因此在患者体内执行实际的外科手术、程序或任务。从而，外科医生能够查看、触摸和感觉器官的3D全息显示，在其上（即，在3D全息显示器内）执行程序，经由或简单地移动仪器（例如，机器人控制的仪器）而使得这种程序在患者内部的实际器官上执行。

利用传感器608（和/或设备604中的传感器），内科医生的移动创建感测信号，所述传感器被系统100采用以控制信号用于控制机器人或其它设备602。信号可以存储在存储器（116）中，如果需要或期望的话用于延迟的执行。可以实时（或接近实时）地执行实际程序，例如与外科医生在3D全息显示器158中的执行并发的，机器人612在患者体内执行具体移动。（只有）在外科医生完成某一任务/移动（或者一系列任务或移动）之后，和/或外科医生确认机器人应该继续之后（例如，在达到某一预定标准和/或程序里程碑后），可以通过例如机器人来执行实际程序。这种延迟（例如，3D全息显示器中的任务或移动的虚拟执行与患者体内的实际执行之间），能够帮助防止不正确地在患者内执行任何移动/任务，并通过在移动/任务已经在3D全息显示器158中虚拟地执行之后且在其实际在患者体150内由机器人612执行之前向外科医生提供机会来确认所述移动/任务，来确保每个这种移动/任务被准确且精确地执行。

此外，如果从业者对在3D全息显示器158中虚拟执行的具体移动/任务不满意（出于任何原因），则从业者能够选择重新执行这种移动或任务。因此，例如，如果外科医生在3D全息显示器中虚拟执行移动或任务时不注意地在任意特定方向移动地太远，则外科医生能够选择重新执行这种虚拟移动或任务（按期望的次数或必要地）直到其被正确地执行。之后，患者内部的机器人可以执行实际的移动或任务，通过或不通过动态适应任务以实时调整目标或治疗仪器内的改变（例如，动态地、在连续的基础上、实时等）。

参照图7，另一示例性实施例包括触觉反馈，其可以通过利用例如超声被并入以生成空气中的振动。触觉设备710可以采用多种形式。在一个实施例中，可以使用一组超声探针702来向3D全息显示器704发送定制波，从而让用户（例如，从业者）感觉到感受3D全息显示器704正在显示和表示的结构。例如，可以对这种波进行裁剪或定制以表示骨性结构的硬质或硬的材料，同时例如肝脏和/或血管的其它组织能够通过被相应裁剪或配置的波以相对较柔和的“感觉”进行表示。例如可以通过触觉设备710告知观察者的频率、幅度、相位的调制、或励磁的其它时空调制，来实现这种编码。

在另一实施例中，触觉反馈设备710可以例如用于响应从业者所执行的移动或任务来表示特定结构或组织的物理抗性。因此，例如当外科医生714利用触觉反馈虚拟地在3D全息显示器704中执行任务时，外科医生可能感受到这种任务就像外科医生在患者体内实际执行任务一样。这可以利用触觉设备712实现，例如手套、手镯、或具有致动器或其它振动元件的其它服装或配件。

根据一个示例性实施例，例如，能够从任意角度（虚拟地）观看示例性3D全息显示器158，从而所有的用户能够以相同的理解和信息进行交互。这就是空中全息图的情况；然而，可以采用其它显示技术来为多个个体提供相同的视图。

参照图8，通过在几何结构802上（全息地）显示相同或不同信息，可以将显示信息提供给位于房间或区域内的不同用户，所述几何结构802例如是显示器（立方体或多面体）的每个面都显示信息的多方面全息显示器。这可以通过在全息输出806中渲染（例如，并排或部分重叠）的全息结构802上投影多个2D视频流804实现。例如，3D的全息“立方体”显示器能够在一个立方体面上在一个特定方向（例如，第一从业者808的方向）示出/显示信息（例如，2D现场x射线图像），同时同一“立方体”显示器的另一立方体面能够向位于房间内其它地方的第二从业者810（例如，与第一从业者在显示器的直径相对的从业者）示出/显示另一类型的信息（例如，超声图像）。

本领域具有普通技术的人员将理解，根据本文所提供的教导，可以依据例如房间中用户的数目随意配置这种示例性显示器。还可以的是，能够（在房间中）跟踪每个用户/从业者（在房间中）的位置，并且每个个体的显示信息随着用户移动跟随每个用户的观看视角（例如，在程序期间）。例如，能够为一个特定用户（医生、护士等）提供用户需要的具体信息，而不管在程序期间这个特定用户在房间中移动到哪里。此外，还可以为每个用户提供唯一的显示器，如上所述，其可以是2D立方体面，或者为这种用户定制或裁剪的3D全息显示器，并且这种唯一显示器能够随着用户在房间四处走动而“跟随”用户。

根据本文描述的这个和其它示例性实施例的显示器的多种组合是可以的，例如为个体用户提供以具有他们自己的唯一显示器和/或呈现与其他用户相同的信息，而不管用户在房间内或任意其它地方的移动和位置（例如，房间外部、不在当地等）。另外，例如，通过从预定义的模板选择、选择具体信息字段、选择另一特定用户的显示器等，用户可以初始选择并在程序期间的任意时间改变向其显示何种信息。

注意，文本是通信的固有2D模式。系统可以显示从多个视点可辨识的形状/符号，或呈现朝向观看者定向的文本。在多个观看者的情况下，定向的文本可以同时显示于多个方向，或者每个独立地显示在不同的框架内。

参照图9，在另一示例性实施例中，远程系统900可以包括至少一些系统100（图1）的能力，但是相对于患者902和数据收集仪器远程布置。用户（从业者、外科医生、同伴等）可以远程地进行程序（例如，与物理上不在主体/患者902所位于的位置本地的用户一起），或者远程地辅助或提供对程序的指导。例如，用户能够在位于其位置处的示例性全息显示器904上执行程序/任务。在一个实施例中，显示器904（例如经由因特网或其它网络901（有线或无线的））连接到与患者902协同定位的系统100上。系统100可以与远程系统900（例如，用户所在处）进行连续通信，从而全息显示器904（接近）实时地连续更新。另外，系统100可以包括机器人控制的仪器906（例如，在患者内部），如上所述其经由远程系统900（例如经由因特网）提供的命令所控制。这些命令是基于用户与全息显示器904的交互生成的。全息显示器158和904可以包括在一个或多个位置处的相同的主体，从而在每个位置传递相同的信息。例如，这个实施例可以包括如：向地球上的另一医生提供指导或辅助，用于对等回顾，专家辅助，或者虚拟教室，在其中许多学生可以从遍布世界的不同位置参加现场病例。

本文所描述的一些或全部示例性实施例和特征也能够（至少部分地）与本文所描述的任意其它实施例结合或组合使用。

参照图10，根据示例性实施例示出了用于与全息显示器交互的方法。在框1002处，生成并显示了全息渲染的解剖图像。该图像可以包括一个或多个器官或解剖区域。全息渲染的解剖图像可以在空中生成。

在框1004处，将被监视空间定位在全息渲染的解剖图像上或周围，以定义用于交互的区域。定位系统可以包括光纤形状感测系统、电磁跟踪系统、光传感器阵列和/或其它感测模态中的一个或多个。优选在同一坐标系内确定被监视空间和一个或多个被监视对象的位置和定向。一个或多个被监视对象可以包括医疗仪器、用户的解剖特征、虚拟对象等。

在框1006处，由定位系统监视一个或多个受监视对象的位置和定向。在框1008处，在被监视空间和一个或多个被监视对象之间确定空间点的一致性。在框1010处，如果确定了一致性，则在全息渲染的解剖图像中触发响应。在框1012处，响应可以包括移动全息渲染的解剖图像（例如，6DOF）或改变其外观。在框1014处，所述响应可以包括调整全息渲染的解剖图像的缩放（放大率）或其它光特性。在框1016处，全息渲染的解剖图像可以被标记、标定、靶定等。在框1018处，能够（为其它观察者或显示器）分配摄像机视点。在框1020处，可以为用户生成反馈。反馈可以包括触觉反馈（振动设备或空气）、光学反馈（视觉或颜色差别）、声学反馈（言语、警报），等等。

在框1022处，可以由定位系统提供和监视响应区域，从而当激活响应区域时，发生显示事件。显示事件可以包括在框1024处生成帮助菜单；在框1026处生成当选择时将包含于全息渲染的解剖图像中的虚拟对象的菜单；以及在框1028处生成待显示的信息。

在框1030处，可以生成全息渲染的解剖图像，叠加有映射到全息渲染的解剖图像上的位置的医疗数据。在框1032处，触发的响应可以包括生成用于操作机器人控制的仪器的控制信号。控制信号可以使得远程操作能被执行。

在解释随附权利要求时，应该理解的是：

a)词语“包括”并不排除除了列在给定权利要求中的那些元件或动作之外的其它元件或动作的存在；

b)在元件前面的词语“一（a）”或“一（an）”并不排除存在多个这种元件；

c)权利要求中的任何参考标记均不限制其范围；

d)若干“模块”可以由实施结构或功能的相同的项目或硬件或软件表示；以及

e)除非明确指出，否则并不要求动作的具体序列。

在已经描述了用于医疗程序的全息用户接口的优选实施（其意图是示例性的而非限制性的）后，应该注意，本领域的技术人员根据上述教导能够做出修改和变型。因此可以理解，在落入本文公开的且随附权利要求所概述的实施例的范围内的所公开的本公开的特定实施例中可以做出改变。在这样描述了专利法所要求的细节和特质后，由专利特许证所要求保护和期望保护的物体在随附权利要求中进行了阐述。

Claims (36)

1.一种交互式全息显示系统，包括：

全息生成模块（115），其被配置用于显示全息渲染的解剖图像（124）；

定位系统（120），其被配置用于定义在所述全息渲染的解剖图像上或周围的被监视空间（126）；以及

一个或多个被监视对象（128），其位置和定向受所述定位系统的监视，从而在所述被监视空间和所述一个或多个被监视对象之间的空间点的一致性触发在所述全息渲染的解剖图像中的响应。

2.如权利要求1所述的系统，其中所述全息渲染的解剖图像（124）在空中生成。

3.如权利要求1所述的系统，其中所述定位系统（120）包括光纤形状感测系统、电磁跟踪系统、光传感器阵列、和感测设备中的一个或多个，以在同一坐标系中确定所述被监视空间和所述一个或多个被监视对象的位置和定向。

4.如权利要求1所述的系统，其中所述一个或多个被监视对象（128）包括医疗仪器、用户的解剖特征和虚拟对象。

5.如权利要求1所述的系统，其中在所述全息渲染的解剖图像（124）中的响应包括以下中的一个或多个：所述全息渲染的解剖图像的平移或旋转，所述全息渲染的解剖图像的放大率调整，所述全息渲染的解剖图像的标记和反馈生成。

6.如权利要求5所述的系统，其中所述响应包括对用户的触觉反馈。

7.如权利要求1所述的系统，其中所述全息渲染的解剖图像（124）包括由所述定位系统监视的响应区域（504），从而当激活所述响应区域时发生显示事件（502）。

8.如权利要求7所述的系统，其中所述显示事件（502）包括生成的帮助菜单、生成的要在选择时被包含到所述全息渲染的解剖图像中的虚拟对象的菜单、以及生成的信息显示。

9.如权利要求1所述的系统，其中所述全息渲染的解剖图像（124）显示映射到其位置上的叠加的医疗数据。

10.如权利要求1所述的系统，其中在所述全息渲染的解剖图像（124）中的响应生成用于操作机器人控制的仪器（602）的控制信号。

11.如权利要求1所述的系统，其中在所述全息渲染的解剖图像中的响应包括种子点（162），其被放置以指导虚拟摄像机角度用于额外的显示。

12.如权利要求1所述的系统，其中所述交互式全息显示系统被布置为远离患者位置，并通过通信网络（910）连接到所述患者位置。

13.如权利要求1所述的系统，其中所述交互式全息显示系统被布置为远离患者位置，并通过通信网络（910）连接到所述患者位置，从而所述全息渲染的解剖图像被用于远程控制在所述患者位置处的仪器（906）。

14.如权利要求1所述的系统，还包括语音识别引擎（166），其被配置用于将语音命令转换成用于改变所述全息渲染的解剖图像的外观的命令。

15.一种交互式全息显示系统，包括：

处理器（114）；

耦合到所述处理器的存储器（116）；

全息生成模块（115），其包含于所述存储器中并被配置用于作为空中全息图或在全息显示器上显示全息渲染的解剖图像（124）；

定位系统（120），其被配置用于定义在所述全息渲染的解剖图像上或周围的被监视空间（126）；以及

一个或多个被监视对象（128），其位置和定向受所述定位系统的监视，从而在所述被监视空间和所述一个或多个被监视对象之间的空间点的一致性触发在所述全息渲染的解剖图像中的响应；其中在所述全息渲染的解剖图像中的响应包括以下中的一个或多个：所述全息渲染的解剖图像的平移或旋转，所述全息渲染的解剖图像的放大率调整，所述全息渲染的解剖图像的标记和反馈生成。

16.如权利要求15所述的系统，其中所述定位系统（120）包括光纤形状感测系统、电磁跟踪系统、光传感器阵列、和感测设备中的一个或多个，以在同一坐标系中确定所述被监视空间和所述一个或多个被监视对象的位置和定向。

17.如权利要求15所述的系统，其中所述一个或多个被监视对象（128）包括医疗仪器、用户的解剖特征和虚拟对象。

18.如权利要求15所述的系统，其中所述响应包括对用户的触觉反馈。

19.如权利要求15所述的系统，其中所述全息渲染的解剖图像（124）包括由所述定位系统监视的响应区域（504），从而当激活所述响应区域时发生显示事件（502）。

20.如权利要求19所述的系统，其中所述显示事件（502）包括生成的帮助菜单、生成的要在选择时被包含到所述全息渲染的解剖图像中的虚拟对象的菜单、以及生成的信息显示。

21.如权利要求15所述的系统，其中所述全息渲染的解剖图像（124）显示映射到其位置上的叠加的医疗数据。

22.如权利要求15所述的系统，其中在所述全息渲染的解剖图像中的响应生成用于操作机器人控制的仪器（602）的控制信号。

23.如权利要求15所述的系统，其中在所述全息渲染的解剖图像中的响应包括种子点（162），其被放置以指导虚拟摄像机角度用于额外的显示。

24.如权利要求15所述的系统，其中所述交互式全息显示系统被布置为远离患者位置，并通过通信网络（910）连接到所述患者位置。

25.如权利要求15所述的系统，其中所述交互式全息显示系统被布置为远离患者位置，并通过通信网络（910）连接到所述患者位置，从而所述全息渲染的解剖图像被用于远程控制在所述患者位置处的仪器（906）。

26.如权利要求15所述的系统，还包括语音识别引擎（166），其被配置用于将语音命令转换成用于改变所述全息渲染的解剖图像的外观的命令。

27.一种用于与全息显示进行交互的方法，包括：

显示（1002）全息渲染的解剖图像;

定位（1004）在所述全息渲染的解剖图像上或周围的被监视空间以定义用于交互的区域；

由定位系统监视（1006）一个或多个被监视对象的位置和定向；

确定（1008）在所述被监视空间和所述一个或多个被监视对象之间的空间点的一致性；以及

如果确定了一致性，则触发（1010）在所述全息渲染的解剖图像中的响应。

28.如权利要求27所述的方法，其中显示包括在空中生成（1002）所述全息渲染的解剖图像。

29.如权利要求27所述的方法，其中所述定位系统包括光纤形状感测系统、电磁跟踪系统、光传感器阵列、和传感器设备中的一个或多个，并且所述方法还包括在同一坐标系中确定（1004）所述被监视空间和所述一个或多个被监视对象（1006）的位置和定向。

30.如权利要求27所述的方法，其中所述一个或多个被监视对象包括医疗仪器、用户的解剖特征和虚拟对象。

31.如权利要求27所述的方法，其中触发响应包括以下中的一个或多个：移动（1012）所述全息渲染的解剖图像；调整（1014）所述全息渲染的解剖图像的缩放；标记（1016）所述全息渲染的解剖图像；以及生成（1020）对用户的反馈。

32.如权利要求31所述的方法，其中生成反馈包括生成针对用户的触觉反馈。

33.如权利要求27所述的方法，其中所述全息渲染的解剖图像包括由所述定位系统监视的响应区域（1022），从而当激活所述响应区域时发生显示事件。

34.如权利要求33所述的方法，其中所述显示事件包括：生成（1024）帮助菜单；生成（1026）要在选择时被包含到所述全息渲染的解剖图像中的虚拟对象的菜单；以及生成（1028）待显示的信息。

35.如权利要求27所述的方法，还包括渲染（1030）所述全息渲染的解剖图像，叠加有映射到所述全息渲染的解剖图像的位置上的医疗数据。

36.如权利要求27所述的方法，还包括生成（1032）用于操作机器人控制的仪器的控制信号。