CN115715386A

CN115715386A - 用于查看3d或4d医学图像数据的基于扩展现实的用户接口附加组件、系统和方法

Info

Publication number: CN115715386A
Application number: CN202180045348.0A
Authority: CN
Inventors: M·史瑞克恩伯格; M·布兰肯哈根; N·D·M·黑楚里奇
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2020-06-23
Filing date: 2021-06-16
Publication date: 2023-02-24
Also published as: EP3929702A1; EP4168880A1; US20230230321A1; CA3187782A1; WO2021259724A1; JP2023530895A

Abstract

本发明涉及一种用于查看3D或4D医学图像数据(2)的系统(1)，所述系统(1)包括：(a)医学查看应用(MRA)(4)，其包括处理模块(6)和2D用户接口(16)，所述处理模块被配置为处理3D或4D数据集(2)以生成3D内容(8)；其中，所述2D用户接口(16)被配置为显示所述3D内容(8)并且允许用户(30)生成用户输入(18)命令；(b)基于扩展现实(XR)的用户接口附加组件(XRA)(100)；以及(c)数据交换信道(10)，其被配置为将所述处理模块(6)与XRA(100)接口连接；其中，所述XRA(100)被配置为解释和处理所述3D内容(8)并将它转换为可在XR环境(48)中显示给所述用户(30)的XR内容；其中，所述XR环境(48)被配置为允许用户生成用户输入(18)事件，并且所述XRA(100)被配置为处理所述用户输入(18)事件并将它们转换为可由所述MRA(4)读取的用户输入(18)命令。本发明还涉及基于扩展现实的用户接口附加组件(100)、用于分析3D或4D数据集(2)的相关方法、以及相关的计算机程序。

Description

用于查看3D或4D医学图像数据的基于扩展现实的用户接口附加组件、系统和方法

技术领域

本发明涉及用于查看3D或4D医学图像数据的系统、基于扩展现实的用户接口附加组件、用于分析3D或4D数据集的方法以及相关的计算机程序。

背景技术

对于人类或动物身体的内部结构(特别是器官和组织)的可视化，医学成像模态(诸如X射线计算机断层摄影(CT)、磁共振成像(MRI)和超声)通常用于采集身体内部的二维(2D)、三维(3D)或四维(4D)图像(第四维度是时间)。这些医学图像在手术介入的规划中起重要作用。特别是在植入医学植入物(例如人造心脏瓣膜)的介入中，允许可能的最准确规划的解剖结构的全面呈现对于处置的成功是至关重要的。

可以直接采集3D图像数据集，或它们可以通过通常以规则图案扫描多个相邻2D图像切片并例如通过计算机将它们组合成体积网格来产生。3D图像的每个体积元素(体素)被分配相应2D图像切片中的像素的灰度值，其表示体素坐标周围的区域。

根据3D图像，可以通过内插最接近于期望的2D图像平面的体素/像素值来在任何取向上生成2D图像平面。该过程被称为多平面重建(MPR)，并且常常用于对3D图像数据集进行可视化。

为了使得医师能够在二维屏幕上检查身体的内部结构的3D图像，已经开发了许多技术。例如，体积绘制是用于显示3D离散采样数据集(诸如医学3D图像)的2D投影的一组技术。为了绘制3D数据集的2D投影，需要相对于图像体积定义相机位置。还需要定义每个体素的性质，诸如不透明度和颜色。这通常使用RGBA(红、绿、蓝、α)传递函数来定义，该RGBA传递函数为每个可能的体素值定义RGBA值。为了简化绘制过程，常常使用阈值，其中，具有低于阈值的值的体素被视为具有零值，以便不使视图杂乱到重要结构上。可以使用不同的技术，诸如体积射线投射、溅射、剪切扭曲或基于纹理的体积绘制。

尽管在许多情况下，图像数据集本质上是三维的，但是临床数据和手术规划的分析通常在二维屏幕上进行。尽管已经存在可用于大多数临床应用的非常复杂的软件解决方案，但是3D数据集内的导航仍然主要是通过手动移位、倾斜和旋转体积内的MPR平面或旋转3D体积绘制模型的平面2D表示来完成的。从这些MPR平面或体积绘制平面生成概念心理3D模型不仅需要大量经验和良好的空间想象力，而且由于误解深度信息或解剖相关性而总是具有错误临床决策的风险。高级着色和阴影通常用于生成和支持二维屏幕上的深度印象。此外，通常使用的2D输入设备(诸如计算机鼠标)被优化用于2D对象的操纵。因此，经由MPR平面处理3D对象不仅在一些情况下是不直观的，特别是对于新到该领域的人，而且通常也可能是相当耗时的。

改进关于医学3D图像数据集的工作流程的方法是使用诸如虚拟现实(VR)或3D屏幕的3D表示。近年来，这样的技术的应用已经变得越来越可行。虚拟现实领域的技术发展首次使得终端客户能够购买可负担得起的现成硬件和软件。这方面的示例是受欢迎的HTCVive或Oculus Rift VR头戴套件(headset)，其自2016年以来就已经可用，并且在游戏和娱乐业中开创了新纪元。目前的发展将使这种技术(特别是增强现实)在未来几年可用于广大公众(Apple AR Kit、2020年的Apple AR glasses、Oculus Quest、Vive Focus等)。

这些VR头戴套件的优点是(部分或完全)沉浸在虚拟环境以及3D内容的真实3D表示中。此外，经由跟踪手部控制器的高度直观的控制允许与虚拟对象的非常自然的交互(例如，抓取、旋转)。

由于标准2D屏幕和VR环境对于整个医学工作流程都不是最佳的，因此虚拟现实接口已经与2D接口结合使用，以便受益于两个系统的优点。例如，A.Bornik等人已经在“AHybrid User Interface for Manipulation of Volumetric Medical Data”(3D UserInterfaces(3DUI'06),Alexandria,VA,USA,2006,pp.29-36,doi：10.1109/VR.2006.8)中提出了这样的组合。此处，用户可以在使用快门眼镜的立体屏幕和平板PC的2D屏幕之间切换，其中，两个应用共享其编程代码的大部分。V.Mandalika等人在“A Hybrid 2D/3D UserInterface for Radiological Diagnosis”(J Digit Imaging 31,56–73(2018),doi： 10.1007/s10278-017-0002-6)中提出了类似的方法，其中，用户可以在使用鼠标和键盘的2D显示与使用手写笔进行输入的3D zSpace显示之间切换。

等人在“A new virtualreality approach for planning of cardiac interventions”(ArtificialIntelligence in Medicine 22,2001,193-214)中提出了MR数据的3D可视化的方法。它基于用于以在虚拟现实装备上显示的3D心脏模型的形式对3D心脏MR数据集的交互式实时可视化的工具。

然而，实施虚拟现实和2D接口的这样的组合在计算上是复杂的，并且需要特殊的装备，这对于必须在有限的预算上工作并且具有有限的可用空间的许多医学设施来说可能是一个问题。用这些新选项替换现有装备或为额外的装备提供空间和金钱常常可能不是一种选项。

本发明的目的：

因此，本发明的目的是提供一种系统和相关的基于扩展现实的用户接口附加组件、方法和计算机程序，其促进和优化3D数据集内的导航和3D数据集的分析，同时最小化与这种新系统相关联的额外的费用并保持常规系统的益处。

发明内容

通过根据权利要求1的用于查看3D或4D医学图像数据的系统、根据权利要求11的基于扩展现实的用户接口附加组件、根据权利要求12的用于分析3D或4D数据集的方法以及根据权利要求15的计算机程序来满足或超过该目的。在从属权利要求中阐述了有利的实施例。本文中关于要求保护的系统描述的任何特征、优点或替代实施例也适用于其他权利要求类别(特别是要求保护的基于扩展现实的用户接口附加组件、方法和计算机程序)，并且反之亦然。

根据本发明，提供了一种用于查看3D或4D医学图像数据的系统，所述系统包括：

(a)医学查看应用，其包括处理模块和2D用户接口，所述处理模块被配置为处理3D或4D数据集以生成3D内容，其中，所述2D用户接口被配置为显示由所述处理模块生成的所述3D内容并允许用户生成用户输入命令；

(b)基于扩展现实(XR)的用户接口附加组件；

(c)数据交换信道，其操作地耦合到所述处理模块，所述数据交换信道被配置为将所述处理模块与所述基于扩展现实(XR)的用户接口附加组件接口连接；

-其中，所述数据交换信道适于将由所述处理模块生成的所述3D内容引导到所述基于扩展现实的用户接口附加组件；并且

-其中，所述基于扩展现实的用户接口附加组件被配置为解释和处理所述3D内容并且将所述3D内容转换为能够在扩展现实环境中显示给所述用户的XR内容；

-其中，所述扩展现实环境被配置为允许用户生成用户输入事件，并且所述基于扩展现实的用户接口附加组件被配置为处理所述用户输入事件并将所述用户输入事件转换为能够由所述医学查看应用读取的用户输入命令；并且

-其中，所述数据交换信道适于将用户输入命令从所述基于扩展现实的用户接口附加组件引导到所述医学查看应用。

本发明的系统的优点在于，基于扩展现实(XR)的用户接口附加组件相对地独立于医学查看应用并且与医学查看应用解耦，医学查看应用可以是已经存在的用于查看(特别是显示和分析)3D医学图像的软件解决方案，例如高级

4D临床应用包(CAP)之一，诸如4D LV分析、4D RV功能、4D MV评估或4D心脏视图。如果有的话，仅必须对这些强大且成熟的医学软件产品进行轻微修改，以便允许与基于扩展现实(XR)的用户接口附加组件的数据的交换，例如体积数据(3D或4D数据集)、图形对象、坐标系和用户交互的通信。特别地，不需要医学查看应用程序以能够直接驱动或控制XR硬件，例如VR goggles，因为该功能位于基于XR的用户接口附加组件中。基于XR的用户接口附加组件可以被配置为允许应用各种不同的XR硬件类型，或可以存在若干基于XR的用户接口附加组件可用，每个用于不同的XR硬件类型。此外，基于XR的用户接口附加组件可以用于不同的医学查看应用，这再次简化了实施方式。因此，本发明的系统允许用于现有医学产品(医学查看应用)的专用工作流程的XR交互，而无需完全重新实施。替代地，基于XR的用户接口附加组件提供远程控制和视图附加组件，其为各种XR工作流程提供所有功能，而无需重新实施原始医学产品的业务逻辑。通过使用本发明的系统，用户可以在任何时间在2D和XR之间改变，并且体验两个不同用户接口的无缝集成。XR内容总是与医学查看应用完美同步。因此，可以实现其中使用2D用户接口执行一些测量或其他工作流程步骤的工作流程，并且可以使用XR环境执行需要图像的更好空间概览的其他工作流程。

本发明的系统优选地被实施为软件产品，该软件产品包括通过数据交换信道连接的医学查看应用程序和基于扩展现实的用户接口附加组件。这种软件可以安装在任何计算机或其他数字处理设备上。该系统还可以体现在硬件中，特别是具有处理单元、数据存储设备和允许用户输入和输出的设备的计算机，如下面更详细地解释的。

3D或4D医学图像数据可以是借助于医学成像模态(诸如CT、MRI或超声)生成的任何3D或4D图像数据集。系统可以同时处理若干3D或4D数据集也是可能的。处理3D或4D数据集可以特别地包括将3D或4D数据集绘制成2D或3D图像或视频数据。3D图像或视频数据可以特别地是适于被提供用于如由扩展现实用户接口使用的3D立体视图的两组2D图像或视频数据。3D或4D医学图像数据优选地描绘人体或动物体的一部分，诸如内脏器官、肢体或其部分、头部、大脑、胎儿等。本发明的系统在查看移动的人体心脏的3D或4D医学图像数据(特别是4D图像数据，即在至少一次心跳中采集的3D图像数据集的时间序列)方面特别有用。这种图像可以利用经食道超声探头来采集，并且常常用于分析心脏的功能(特别是心室的泵送动作、以及心脏瓣膜的运行)并且用于规划心脏手术(诸如用植入物替换心脏瓣膜)。在这样的手术介入的规划中，复杂且动态的瓣膜结构的最佳可能的可视化是必要的。

医学查看应用也可以被称为3D软件产品，因为它被设计为查看3D或4D医学图像数据，其中，查看包括例如可视化图像和包含在其中的解剖结构，允许用户导航通过这些图像，例如通过手动移位和倾斜通过体积的MPR平面，通过诸如体积绘制或表面绘制的技术提供3D或4D数据集的2D表示，并且例如通过将3D模型拟合到解剖结构来分析数据集。医学查看应用还可以允许用户在3D或4D数据集内进行测量，或检查模型的拟合优度。所有这些功能可以是医学查看应用的一部分，其可以例如具有上述

CAPs的功能。

医学查看应用包括处理模块，该处理模块被配置为处理3D或4D数据集以生成3D内容。3D内容优选地是具有空间坐标(特别是3D或4D图像数据集的图像空间中的3D坐标)的数据。因此，3D内容可以包括3D图像数据(体积数据)、图形对象(诸如表示模型或图形基元的网格)、或MPR平面(其通常包括2D图像，称为MPR纹理)、以及MPR平面在3D图像空间中的位置和取向。处理可以包括对3D或4D数据集执行的计算(其生成经修改的3D或4D数据集)、3D或4D数据集的可视化(诸如体积绘制)，或可以涉及分析3D或4D数据集，诸如将模型拟合到解剖结构、在数据集内执行测量、计算MPR纹理等。3D或4D数据集的处理可以基于例如与MPR平面的移位、旋转或倾斜、模型的校正或指示由用户设置的测量点或解剖标志的空间坐标的3D鼠标位置有关的用户输入命令。3D内容可以以2D或3D(即立体)图像或视频数据的形式从处理模块传递到2D用户接口和/或基于XR的用户接口附加组件，所述2D或3D图像或视频数据例如通过来自3D或4D数据集的绘制方法或通过计算通过3D或4D数据集的MPR平面来获得。

此外，医学查看应用还包括2D用户接口，该2D用户接口被配置为显示由处理模块生成的3D内容并允许用户生成用户输入命令。2D用户接口优选地是非基于XR的用户接口，这意味着它不涉及扩展或虚拟现实中的表示。优选地，2D用户接口包括用于显示图像的窗口(也称为诊断区域)、以及使得用户能够与应用交互的图形用户接口(GUI)。GUI通常包括各种按钮、滑块和/或数字输入字段，其可以在要由光标操作的屏幕上，或可以在单独的用户输入设备中实施。2D用户接口通常已经作为医学查看应用的一部分可用，并且允许用户通过与GUI交互和/或通过在诊断区域中的显示图像上标记特定点、线或区域来生成用户输入命令。

除了该独立的医学查看应用程序之外，本发明的系统还包括操作地耦合到医学查看应用程序的处理模块的数据交换信道，该数据交换信道被配置为将处理模块与基于扩展现实的用户接口接口连接，该基于扩展现实的用户接口优选地操作地耦合到数据交换信道。在本文中，术语“扩展现实”(XR)旨在涵盖所有虚拟现实(VR，完全沉浸在虚拟环境中)、增强现实(AR，用户看到他周围的真实世界，其中放置有虚拟对象)和混合现实(MR，虚拟对象与真实对象交互，例如，真实对象可能阻碍虚拟对象上的视图)。因此，XR环境是允许用户立体地观看3D内容的环境，即，每只眼睛看到略微不同的图像，从而得到3D内容的“真实”3D表示，其然后被称为“XR内容”。因此，当使用基于XR的用户接口附加组件(也称为XRA)时，3D数据集内的取向更直观且更简单。此外，基于XR的用户接口附加组件可以允许用户与虚拟对象(特别是所显示的XR内容)交互，即，通过使用被跟踪的手部控制器抓取和旋转。这是一种非常直观的交互方式。

因此，用户输入事件可以由用户在扩展现实环境内生成，诸如使3D网格(其例如表示解剖结构的模型)变形、做出注释或放置表示例如设备(诸如植入物)的图形对象。可以通过移动被跟踪的手部控制器(XR控制器)并且同时致动控制器上的按钮来生成这样的用户输入事件。因此，XR控制器类似于3D鼠标。在XR环境中，即在当使用基于XR的用户接口附加组件时呈现给用户的场景中，用户将看到所显示的XR内容，并且还可能看到用户接口元素(UI元素)，他可以使用XR控制器致动该用户接口元素以例如改变关于XR内容的显示的设置(诸如对比度或亮度)，或指示工作流程中的某个步骤(例如，某个测量或与虚拟对象的交互)的开始。

基于XR的用户接口附加组件的作用是处理这样的用户输入事件，如果用户选择生成任何事件，则将它们转换为可由处理模块读取的用户输入命令，并且通过数据交换信道将它们引导到处理模块。例如，基于XR的用户接口附加组件可以将XR控制器从第一3D点到第二3D点的移动处理成用户输入命令“将当前抓取的对象从第一点移动到第二点”，并将该命令引导到处理模块。

由处理模块生成的3D内容将通过数据交换信道被引导到基于XR的用户接口附加组件。优选地，这将在处理模块激活时的任何时间完成，即数据交换信道适于将在任何时间由处理模块生成的3D内容引导到基于XR的用户接口附加组件。这也可以仅在处理模块与基于XR的用户接口附加组件之间的连接期间(即，当XRA激活时)完成。后者被配置为解释和处理3D内容并将它转换为可在XR环境中显示给用户的XR内容。这种转换将例如包括生成要呈现给每只眼睛以用于立体观看的3D内容的两个略微不同的视图。转换可以特别地包括使3D内容适应于如由所使用的VR硬件检测到的瞬时头部位置和/或观看视角，例如通过应用透视扭曲。由此，3D内容被转换为XR内容。

因此，数据交换信道允许在医学查看应用(MRA)和基于扩展现实的用户接口附加组件(XRA)之间交换各种数据和信息。可以说，这种交换允许通过外部应用(XRA)远程控制否则隔离的3D软件产品(MRA)。其中，3D内容(特别是预定义的3D内容，诸如由处理模块例如通过3D或4D医学图像数据的分割生成的3D网格或3D测量)将被传递。此外，优选地，用户接口元素(诸如当前帧的数量、关于3D内容的显示的设置等)可以在两个应用之间同步。

与现有技术相反，在本发明中，更复杂的计算(诸如MPR平面(MPR纹理)的生成、测量结果的生成、分割、解剖结构的模型的生成以及使这样的模型变形)全部由MRA执行，而XRA将具有尽可能少的任务，并且仅具有与为了支持临床工作流程步骤所需一样多的任务。这样的工作流程步骤可以例如是借助于立体XR视图和由XR头戴套件和两个XR控制器给出的18个自由度来查看和修改由诸如网格的图形对象表示的模型，其中，模型可以是二尖瓣分割。其中，XRA将允许用户生成用户输入，例如“在模型中获取该点并将它向右移动1cm”，但是模型的实际修改将由MRA进行。表示模型的经修改的图形对象将被传递回到XRA。因为XRA遵循简单的指令，特别是以显示某些3D内容，诸如“...在位置1处显示对象1并且在位置2处显示对象2”，所以XRA独立于MRA，并且可以与许多不同的MRA一起使用。

数据交换信道在MRA和XRA之间传递数据。当信息从MRA被引导到XRA时，XRA处理该信息以允许其在XR环境中的显示。从XRA发送到MRA的信息(诸如用户输入命令)可以由MRA处理和显示。

根据实施例，MRA包括用于所述XRA的数据接口，其中，所述数据接口操作地耦合到所述数据交换信道，并且被配置为允许在所述MRA和所述XRA之间交换简化且标准化的操作动作以及数据。因此，数据接口被放置在根据本发明的系统的后端(MRA)和前端(XRA)之间，并且定义可以在两者之间交换的数据的类型。例如，它允许交换简化且标准化的操作动作。操作动作可以例如包括3D鼠标位置和/或用户输入命令。

在实施例中，数据接口的至少一部分是基于消息的，并且通过用户接口元素(UI元素)来定义消息。优选地，UI元素中的至少一些可以由用户通过在GUI上并且可能在XR环境中致动对应的按钮或滑块来修改，其他UI元素可以通过其他用户输入(诸如鼠标/控制器事件)来改变。所交换的消息可以是指由其唯一ID(UID)定义的唯一UI元素。UI元素也具有定义它们传输哪种值的不同类型。这样的类型可以例如是字符串、布尔、整数值、双精度值等。因此，所交换的UI元素可以具有附加到消息的以下事件中的一个：

UIevent_Value_Changed：如果UI元素表示的参数的值已经改变，则发送该事件。所有UI元素都可以发送该事件。根据本发明，通信的方向可以在两个方向上，允许MRA和XRA之间的UI元素的同步。

UIevent_Enable_Changed：通过发送该事件，MRA告诉XRA某个参数被启用或禁用。如果UI元素未被启用，则不会发送或接受UIevent_Value_Changed事件。这种类型的消息仅被发送到XRA。

UIevent_Range_Changed：该事件指示值的有效范围已经改变。这种类型的消息仅被发送到XRA，并且仅对在定义的范围内的UI元素有效。

该实施例仅仅是关于可以如何实施XRA和MRA之间的数据交换的说明。它表明可以独立地构建MRA和XRA，仅必须定义具有其目的和用途的描述的UI元素的列表以及可能的3D内容。

关于要由XRA处理的3D内容，可能的是，处理模块将执行3D或4D数据集的所有处理，使得3D或4D数据集本身不与其3D位置和取向、以及其他图形对象(诸如网格或图形基元和注释)一起被传递到XRA，而是仅相应的体积绘制或MPR纹理。替代地，3D或4D数据集本身可以被传递到XRA，在该实施例中，XRA能够对它进行处理以便生成立体绘制，特别是体积绘制。XRA还可以接收3D或4D数据集的数据减少、简化或数据压缩版本。

根据实施例，所述数据接口适于通过所述数据交换信道在所述XRA与所述MRA之间连续同步对应的用户接口元素(UI元素)，其中，所述对应的用户接口元素包括以下中的至少一项：所述用户接口元素的值、以及4D数据集的选定帧的标识符、关于3D和/或XR内容的显示的设置，和/或3D鼠标位置。因此，UI元素可以是与3D和/或XR内容的显示有关的任何向量或参数。在一些实施例中，还可以在MRA和XRA之间连续同步3D/XR光标的位置。在其他实施例中，这样的光标位置不被连续同步。然而，当需要时，例如当要发起测量、或要调整分割、模型或其他图形对象时，利用XR控制器生成的XR环境中的用户输入事件(其包含3D鼠标位置)从XRA传递到MRA。在一些实施例中，关于3D和/或XR内容以及3D图像序列(4D数据集)的当前帧的显示的设置在两个方向上在MRA和XRA之间连续同步，使得在2D用户接口中显示给用户的3D内容以与XR环境中的XR内容相当的方式显示。关于3D/XR内容的显示的设置可以例如是亮度和对比度、以及与3D/XR内容的体积绘制有关的参数(诸如阈值和不透明度)。

根据优选实施例，UI元素在MRA和XRA之间同步，其中，MRA仍然负责维持UI元素的值。这可以意味着某些UI元素具有XRA未知的预定义的最大值或最小值。因此，XRA可以传递增加UI元素的用户输入命令。然而，如果UI元素已经达到其最大值，则MRA将通过重新发送UI元素的旧值来应答。因此，UI元素的同步由医学查看应用管理，其中，XRA只能传递其改变UI元素的愿望，但是医学查看应用决定是否进行这些改变。

因此，在实施例中，XRA是无状态的，因为它不具有通过所述数据交换信道传递到所述处理模块的用户输入命令的记忆。同样通过这种措施，XRA可以保持纤细，具有尽可能少的内部智能。在优选实施例中，XRA仅能够传递用户输入命令并从MRA接收关于3D内容的显示的命令，并且优选地不具有另外的功能。在XRA是无状态的实施例中，它可以容易地插入各种医学查看应用，并且需要很少或不需要存储器/缓冲器。

根据优选实施例，借助于数据连接通过数据交换信道交换包括3D内容和可选地用户输入命令的数据流。优选地，这可以是标准数据连接。例如，MRA和XRA之间的通信可以经由TCP/IP套接字连接。例如，消息可以被交换为具有定义格式的字符串，如“<UID>|<event>|<value>”。例如，消息“threshold tissue|value changed|125”将体积绘制的阈值设置为125。在该设置中，MRA和XRA可以在不同的过程中运行，例如在不同的处理单元上运行。另一种通信方式是经由DLL接口。该应用程序可以集成到C++DLL中。该DLL为XRA和MRA之间的通信提供了功能“设置UI元素”(UID事件、值)。在该设置中，MRA和XRA在相同的过程中运行，但是在分开的线程中运行。

根据实施例，由所述处理模块生成的所述3D内容可以包括所述3D或4D数据集的绘制，其中，所述基于扩展现实的用户接口附加组件被配置为基于所述用户输入和/或用户的当前观看视角中的至少一些来调整所绘制的3D内容，特别是使所绘制的3D内容在透视上扭曲。绘制的3D内容特别是经由3D或4D数据集的绘制而创建的图像或视频内容。特别地，基于扩展现实的用户接口附加组件可以被配置为比来自医学查看应用的绘制图像或视频数据的数据流到基于扩展现实的用户接口附加组件的速率更快地调整观看视角。例如，数据流可以每秒更新约10次，而基于XR的用户接口附加组件可以被配置为每秒更新观看视角30至120次，从而向用户提供逼真的XR环境，其例如对佩戴VR头戴套件的用户的头部移动做出快速反应。

根据实施例，响应于由XRA和2D用户接口之中的当前活动的用户接口生成的“切换用户接口”命令，所述处理模块适于停止对来自所述用户接口的用户输入命令作出响应，并且开始对来自另一用户接口的用户输入命令作出响应。因此，XR环境可以无缝地集成到医学查看应用程序中，而不将除XRA之外的任何额外的软件强加于用户。在2D用户接口上执行的例程2D工作流程期间，用户因此可以给出用户输入命令，例如，点击一个按钮“XR中的视图”，并戴上其头戴套件以进入三维XR环境，例如VR空间。然后，他可以在XR中执行工作流程的一部分，优选地在2D中进行起来繁琐的部分。之后，他可以放下头戴套件，并且可以立即继续在2D用户接口上处理其2D工作流程。

根据实施例，由所述处理模块生成的3D内容包括以下中的至少一项：3D或4D数据集本身、所述3D或4D数据集的更新或数据压缩版本、所述3D或4D数据集的绘制、4D数据集的特定帧、从所述3D或4D数据集生成的MPR纹理、图形基元、对象(诸如解剖结构)的3D或4D模型、网格、注释的文本和/或指示测量结果的数字。因此，处理模块可以将体积数据(诸如3D或4D数据集或其更新版本，例如已经被分割或裁剪以切除不相关组织的版本)传递到XRA。然后，XRA将对体积数据进行处理以生成XR内容，例如通过对该体积数据进行绘制，诸如体积绘制或表面绘制，其中，绘制将导致对立体观看而言针对每只眼睛的两个略微不同的视图。在另一实施例中，处理模块将执行体积数据本身的绘制，并将绘制的视图传递到XRA。处理模块还可以传递4D数据集的特定帧，即3D数据集的时间序列中的一个。在另一实施例中，处理模块将一次传递完整的4D数据集，在该实施例中，该完整的4D数据集在完整的查看会话期间由XRA缓冲。在该实施例中，处理模块不需要传递特定帧，而是只需要传递相应当前帧的标识符或编号。另一种类型的3D内容可以是通过多平面重建(所谓的MPR纹理)根据3D或4D数据集生成的2D图像、以及其位置和取向。然后，XRA可以在XR环境中以正确的位置和取向生成MPR平面。

另一类型的3D内容是对象(通常是解剖结构，诸如心脏瓣膜或心脏腔室)的3D或4D模型、或植入物的模型(例如人造心脏瓣膜的模型)。模型可以在4D中，即它可以随时间(例如在一次心跳中)改变。模型优选地是建模对象的简化参数表示。该模型通常是表面模型，即它由一个或若干可能移动的表面构成。在优选实施例中，解剖结构的3D或4D模型由网格表示，即，它由跨越三角形网格的空间中的点集定义。本发明的重要应用也是将植入物显示为3D或4D模型。通过允许用户在XR环境中围绕植入物的3D或4D模型移动，同时显示3D或4D数据集(例如心脏)的体积绘制，用户能够非常有效且正确地放置植入物并规划手术。此外，3D内容也可以是注释、或更确切地说其文本、以及其3D位置，从而允许XRA在XR环境中的空间中的其正确位置处显示注释文本。类似地，也可以传递指示测量结果的数字。此外，3D内容可以是3D图像空间中的标志位置。可以传递的另一种类型的3D内容可以被称为图形基元，其可以是诸如文本窗口、线、点的任何标准化图形对象、或诸如三角形、多个三角形、球体的图形对象等。而且，可以传递不同的动态图形基元，例如以显示(纹理化)表面模型、测量结果和注释/标志。在实施例中，XRA能够缓冲这样的图形基元，以便实现平滑的动态显示。

在实施例中，在建立所述处理模块与所述XRA之间的连接期间，所述处理模块适合于将时间和空间参考系、以及所述3D或4D数据集、用户接口元素和可选地配置设置中的至少一项传递到所述XRA。这可以通过MRA的数据接口来完成。这将用于初始化XRA并使得它能够与处理模块平滑地通信。配置设置可以与XRA一起部署，或可以在建立连接期间(例如，在查看会话开始时)由处理模块传递。如果XRA潜在地用于多于一个医学查看应用，则这是特别优选的。在建立连接期间要传递的配置设置可以包括唯一应用标识符(应用名称和医学查看应用的版本)、特殊开始选项/标记和/或交换配置(诸如IP地址、端口和交换文件夹)。配置设置还可以包括协议配置(协议版本、允许的命令类型)、UI元素的配置设置(哪些按钮和菜单)和/或数据对象的样式(线宽、线颜色等)。因此，当开始会话(连接的建立)时，可以传递基本数据，这为会话期间MRA和XRA之间的进一步数据交换提供了参考系。时间和空间参考系可以包括用于MRA之间的交换并且允许在帧和时间之间进行转换的公共时间参考系。它用作定义相位环和时间戳的参考系。进一步交换允许在图像空间中的mm和像素坐标之间进行转换的空间参考坐标系。它用作例如相对于3D体积定位XR对象的空间参考系。此外，3D或4D数据集可以在会话开始时传递，并且在实施例中，在会话期间被视为不变的。

根据实施例，所述基于扩展现实的用户接口附加组件(XRA)适于在所述处理模块和所述XRA之间的连接期间，通过所述数据交换信道将3D鼠标位置、MPR平面的位置和取向、屏幕截图和/或用户接口元素的修改值中的至少一项传递到所述处理模块。因此，XRA可以充当对医学查看应用的“远程控制”，如3D鼠标。因此，诸如在空间中的某个位置(即3D鼠标位置)处的XR控制器上的点击的用户输入事件可以作为用户输入命令被传递到MRA。这样的命令可以例如通过抓取所显示的网格上的点并将它拖动到一侧来指示3D模型被调整。然而，XRA不维持模型本身，而是仅传递3D鼠标位置和相应的用户交互，例如，第一次点击的3D位置和第二次点击的3D位置、以及这些用户输入事件与3D模型的修改相关的信息。处理模块会将这些用户输入命令转换成模型的修改。类似地，XRA可以以用户输入命令的形式传递MPR平面的期望位置和取向。然而，处理模块将进行计算以计算与所传递的位置和取向有关的新MPR纹理。新MPR纹理将被传递回到XRA。在实施例中，在XR环境中生成的屏幕截图也可以从XRA传递到处理模块，以便记录所执行的工作流程步骤。此外，XRA可以传递UI元素或其修改值，如上所述。在优选实施例中，UI元素在MRA和XRA之间连续同步。这种数据可以被称为瞬态数据，因为它是在查看会话期间连续交换的数据。在优选实施例中，可以使用称为用户接口库(UIL)的技术来交换瞬时数据，该技术用于将用户交互与医学查看应用的业务逻辑分离。当使用TCP套接字连接建立UIL连接时，MRA和XRA可以使用一组共享UI元素(诸如选定帧)以及关于3D或XR内容的显示的各种设置(例如，用于体积绘制的阈值和透明度、以及MPR平面的亮度和对比度、用于编辑3D或4D模型的笔类型、以及用于调节显示哪些对象(体积数据、绘制和模型)的设置)进行通信。

根据实施例，所述XRA被配置为经由XR操作系统与XR硬件一起使用，其中，所述XR硬件特别地包括XR头戴套件和XR控制器。在优选实施例中，XRA被配置为与市售的XR硬件(诸如HTC

或Oculus

VR头戴套件和VR控制器)一起使用。该XR硬件已经带有XR操作系统(驱动器软件)，并且XRA被配置为与XR硬件的XR操作系统通信并处理例如用户输入(如头部移动或XR控制器交互)，并且将在XRA中生成的3D内容的视图引导到XR头戴套件的两个屏幕。这可以通过XRA使用诸如Open XR的标准API(应用编程接口)与XR操作系统通信来实现。这些XR/VR标准是公知的，并且允许使用许多不同的XR头戴套件用于基于扩展现实的用户接口附加组件。优选地，XR硬件还包括两个XR控制器，其可以用作3D鼠标，允许用户例如用一只手抓取在VR环境中显示的对象并用另一只手旋转/倾斜/移动它。

根据另一方面，本发明涉及一种基于扩展现实的用户接口附加组件(XRA)，其被配置为经由数据交换信道操作地耦合到医学查看应用，所述医学查看应用具有处理模块，所述处理模块被配置为处理3D或4D数据集以生成3D内容，

其中，所述基于扩展现实的用户接口附加组件被配置为解释经由所述数据交换信道接收的所述3D内容，并将它转换为可由XR硬件的XR操作系统读取的数据格式的XR内容，其中，所述XR硬件特别地包括XR头戴套件，使得所述XR硬件可以显示由所述处理模块生成的所述XR内容；并且

-其中，所述基于扩展现实的用户接口附加组件被配置为处理从所述XR操作系统接收的任何用户输入事件，特别是使用XR控制器生成的用户输入事件，并且将所述用户输入事件转换成可由所述医学查看应用读取的用户输入命令，并且经由所述数据交换信道将所述用户输入命令传递到所述医学查看应用。

根据该方面的XRA优选地如上所述的那样进行配置。它是可以与允许查看3D或4D数据集的多个不同的医学查看应用相耦合的相对精简的软件解决方案，因为XRA仅需要交换某些明确定义的数据。这种数据交换可以利用到MRA的定义的数据接口来实现，从而允许经由数据交换信道交换简化且标准化的操作动作以及数据。基于扩展现实的用户接口附加组件可以特别地在计算机或数字处理设备上实施，所述计算机或数字处理设备具有处理单元、数据存储设备和允许用户输入和输出的设备。

根据另一方面，本发明还涉及一种用于使用如本文描述的系统分析(特别地，人类或动物器官的)3D或4D数据集的方法。所述方法包括以下步骤：

-在所述处理模块上处理所述3D数据集以生成3D内容；

-可选地，所述2D图形用户接口显示所述3D内容；

-所述数据交换信道将所述3D内容引导到所述基于扩展现实的用户接口附加组件，并且所述基于扩展现实的用户接口附加组件解释和处理所述3D内容并将它转换为可由XR硬件显示给用户的XR内容；

-在所述用户接口之一上接收用户输入命令；

-将所述用户输入命令直接从所述2D图形用户接口或经由所述数据交换信道从所述基于扩展现实的用户接口附加组件引导到所述处理模块；

-所述处理模块基于所述用户输入命令来处理所述3D内容以生成经修改的3D内容，

-将所述经修改的3D内容引导到所述2D图形用户接口和所述数据交换信道；

-可选地，所述2D图形用户接口显示所述经修改的3D内容；并且

-所述数据交换信道还将所述经修改的3D内容引导到所述基于扩展现实的用户接口附加组件，并且所述基于扩展现实的用户接口附加组件解释并处理所述经修改的3D内容并将它转换成可由XR硬件显示给用户的经修改的XR内容。

这些步骤允许用户与3D内容交互，例如以便修改解剖结构的模型，或进行测量、设置标志或进行注释。这将得到经修改的3D内容。根据本发明的方法，用户可能在2D用户接口或XR用户接口附加组件中的任一项中进行用户输入，并且利用其生成经修改的3D内容。经修改的3D内容将被引导到2D用户接口和数据交换信道，使得用户可以在2D用户接口上或在XR硬件上观看经修改的3D内容。因此，本发明还涉及需要在XRA上实施一些步骤并且在常规2D用户接口上实施其他步骤的工作流程。对于XRA中的步骤，绘制3D数据集，并且使得用户能够操纵它并提供输入事件。然而，基于由用户在XRA中提供的输入，接下来的工作流程步骤可以在2D用户接口上在经修改的3D内容上进行。由此，可能在用户接口上实施更适合于任何给定步骤的工作流程的不同步骤。通过使用所公开的XRA，由XR硬件显示的XR内容总是与医学查看应用同步。

根据优选实施例，所述方法可以包括以下步骤：

-处理所述3D数据集以生成3D数据集的绘制和由所述3D数据集描绘的解剖结构的3D模型；

-经由所述基于扩展现实的用户接口附加组件显示所述3D模型和所述绘制；

-允许用户在所述基于扩展现实的用户接口附加组件上检查所述3D模型并提供用户输入命令以调节所述3D模型；

-所述数据交换信道将所述用户输入命令从所述基于扩展现实的用户接口附加组件引导到所述处理模块；

-所述处理模块处理用户输入以生成经修改的3D模型；

-将所述经修改的3D模型引导到所述2D图形用户接口，并且所述2D图形用户接口显示所述经修改的3D模型；

-可选地允许用户在所述2D图形用户接口中对经修改的3D模型执行额外的分析和/或测量。

其中，用户可以最佳地使用XR环境以便检查3D模型，例如表示二尖瓣的网格。还可能在XR环境中在二尖瓣的体积绘制(优选地其动态表示)上尝试不同的瓣膜植入物。

根据实施例，处理所述3D数据集以生成3D内容可以包括以下中的至少一项：数据压缩所述3D或4D数据集，绘制所述3D数据集，体积绘制所述3D数据集，计算通过所述3D数据集的MPR平面的MPR纹理，分割所述3D或4D数据集，生成对象的3D或4D模型，生成图形基元，和/或响应于用户输入而进行测量，所述对象特别是医学设备或解剖结构。

本发明还涉及一种包括程序代码指令的计算机程序，所述程序代码指令在由处理单元执行时使得所述处理单元能够执行本文公开的方法，或实现根据本发明的系统、或根据本发明的基于扩展现实的用户接口附加组件。该方法也可以在若干处理单元上执行。处理单元或计算单元可以是任何处理单元，诸如CPU(中央处理单元)或GPU(图形处理单元)。处理单元可以是计算机、云、服务器、移动电话、移动电话等的一部分。特别地，处理单元可以是超声成像系统的一部分。

本发明还涉及一种包括指令的计算机可读介质，所述指令在由处理单元执行时使得所述处理单元能够执行根据本发明的方法，或实现根据本发明的系统或XRA。这种计算机可读介质可以是任何数字存储介质，例如硬盘、服务器、云服务器、光学或磁性数字存储介质、CD-ROM、SSD卡、SD卡、DVD或USB或其他记忆棒。

根据另一方面，本发明涉及一种被配置为实现根据本发明的系统的计算单元。这种计算单元可以包括如本文描述的处理单元、以及实现2D用户接口的硬件，诸如屏幕和用户输入设备(诸如鼠标、触摸屏、轨迹球等)。计算单元被配置为与如本文描述的XR硬件(特别是XR头戴套件和XR控制器，特别是VR头戴套件和VR控制器)一起使用。

附图说明

现在将参考附图描述本发明的有用实施例。在附图中，类似的元件或特征用相同的附图标记指定。除非另有说明，否则明确允许组合所示的不同实施例。

图1示出了作为医学查看应用的一部分的屏幕上的现有技术2D用户接口；

图2示出了3D图像的体积绘制的工作原理的示意性表示；

图3示出了根据本发明的实施例的系统的示意性图示；

图4示出了根据本发明的实施例的用于查看3D或4D医学图像数据的系统的示意性表示；

图5示出了根据本发明的实施例的经由数据交换信道的医学查看应用和基于XR的用户接口之间的操作连接的示意性图示；

图6示出了根据本发明的实施例的用于分析3D或4D数据集的方法的流程图；

图7示出了与具有相同目的的常规方法相比较的根据本发明的另一特定实施例的方法的流程图；

图8示出了在具有对应硬件的计算机上实施根据本发明的系统的示意视图；

图9示出了当使用根据本发明的实施例的基于XR的用户接口时从用户的视角的视图。

附图标记

1 系统

2 3D或4D医学图像数据/数据集

4 医学查看应用(MRA)

4a 数据接口

6 处理模块

8 3D内容

8a 经修改的3D内容

9 3D模型

10 数据交换信道

12 用户接口

14 基于XR的用户接口

15 图形用户接口

16 2D用户接口

17 诊断区域

18 用户输入

18a 基于XR的UI的用户输入设备

18b 2D 用户接口的用户输入设备

20 时间和空间参考系

22 配置设置

24 UI元素

26 3D/图形基元

28 屏幕截图

30 用户

32 3D内容的2D表示

34 3D内容的XR表示

35 射线

40 XR硬件

42 XR操作系统

44 XR头戴套件

46 XR控制器

48 XR环境

54 2D屏幕

100 基于XR的用户接口附加组件(XRA)

200 方法

202 处理3D数据集

204 生成3D内容

206 引导3D内容

208 显示3D内容

210 接收第一用户输入命令

212 接收第二用户输入命令

214 将第一用户输入命令引导到处理模块

216 将第二用户输入命令引导到处理模块

220 常规工作流程

230 利用XRA的工作流程

242 将3D数据集加载到MRA中

244 放置用于二尖瓣(MV)的分割的初始标志

246a 在基于XR的用户接口上检查和调节分割

246b 在2D用户接口上检查和调节分割

248 分析所得到的MV参数并且选择正确的设备尺寸

250a 在基于XR的用户接口上执行额外的测量和/或检查和调节设备位置

250b 在2D用户接口上执行额外的测量和/或检查和调节设备位置

252 完成分析

260 工作流程的时间轴

300 计算机

302 处理单元

304 数字存储介质

具体实施方式

图1示出了作为医学查看应用(MRA)4(例如，

医学查看应用)的一部分的常规现有技术2D用户接口16。在这种情况下，2D用户接口包括使得用户能够与应用交互的图形用户接口(GUI)15、以及示出3D内容32的2D表示并且被称为MRA 4的“诊断区域”的区域17两者。在诊断区域17中，MRA4输出3D内容32的2D表示，诸如3D体积绘制32。GUI 15和诊断区域17的3D内容32的对应2D表示可以例如显示在计算机监测器上或平板电脑的屏幕上。例如经由鼠标或轨迹球的用户交互(其可以包括测量的导航或绘制)通常通过诊断区域17以及GUI 15来递交。在实施例中，诊断区域17是可能被划分为若干窗口的区域，其中，MRA 4提供用于绘制3D内容32的2D表示的开放图形库(开放GL)背景。常见的图形用户接口部分(如例如用于亮度或对比度的滑块、3D滤波器和用于控制时间相关医学图像数据的显示的启/停按钮)是图形用户接口15的一部分，图形用户接口15在图1所示的实施例中围绕诊断区域17。

图2示出了3D图像数据集2的体积绘制的工作原理的示意性表示。体积绘制可以例如以直接体积绘制(特别是体积射线投射)的形式来执行。看图2的左侧，针对要绘制的2D图像32的每个图像像素生成射线35。该射线被引导(即投射)通过包含3D内容的3D图像体积2。在射线穿过体积时，选择等距采样点。这些采样点通常在体素之间，并且因此，采样点的值通常从周围的体素内插。然后，采样点被阴影化，即根据其表面取向和光源的位置着色和照亮，并沿着视射线合成。这导致经处理的像素的最终颜色和/或亮度值。对最终2D图像的每个像素这样做一次将导致3D内容32的2D表示，如图2的左侧所示。为了获得3D内容的XR表示，从略微不同的视角绘制两个不同的二维图像34，两个视角表示观察者的左眼和右眼。这在图2的右侧示出。然后将两幅略微不同的2D图像34分别投影到用户的左眼和右眼中，从而生成三维对象的印象。将不同的图像投影到用户的每只眼睛中可以例如经由XR头戴套件、VR眼镜或通过使用TV屏幕、计算机监测器或具有快门或偏振技术的投影仪屏幕以及对应的快门或偏振眼镜来实现。这是基于XR的用户接口附加组件可以如何将3D内容2转换成可由XR硬件显示的XR内容34的示例。

图3示出了根据本发明的实施例的系统的示意性图示。医学查看应用(MRA)4包括数据接口4a，MRA 4通过该数据接口4a连接到数据交换信道10。数据交换信道10继而连接到基于XR的用户接口附加组件(XRA)100。通过数据接口4a和数据交换信道10，MRA 4可以将在MRA 4处生成的测量基元的坐标和测量值发送到XRA 100。XRA 100操作地连接到XR环境48，以便向用户显示XR内容。XRA根据3D内容生成XR内容，XRA 100通过数据交换信道10从MRA 4接收所述XR内容。3D内容可以例如包括测量基元的坐标和测量值、以及3D或4D图像。它可以静态地显示(即没有动画)、或动态地显示(即以动画的形式)。在动态显示的情况下，XRA可以应用对象的缓冲以实现平滑显示。为了与XR环境48的XR硬件40通信，XRA 100被配置为使用特定XR硬件40的XR操作系统42，其与XR硬件40的驱动器相当，并且其可以是可商购的。更详细地，XRA 100可以被配置为使用XR操作系统42的应用编程接口(API)或软件开发工具包(SDK)。XR操作系统48然后将表示XR内容的立体图像或若干立体图像发送到XR硬件40，特别是到基于XR的头戴套件44。

可选地，允许用户30经由XR控制器46提供用户输入18，例如通过按下或释放按钮，通过移动控制器和/或通过拉动触发器，或同时进行这些交互中的若干。该用户输入18在XR操作系统42处登记，XR操作系统42适于将用户的坐标和交互传送到XRA 100。因此，用户输入18信号可以例如包括描述由XR控制器46控制的虚拟指针的位置的坐标、如按下传达某种含义的按钮的用户命令(例如，进行测量或操纵3D模型的命令)和/或用户的动作的时间戳。可以在静态显示数据的同时执行一个帧内的编辑。可以想到具有允许用户30在动态模式和静态模式之间切换的播放/暂停功能。此外，可能存在“前一帧”/“下一帧”功能来逐步遍历连续帧。XRA 100被配置为处理用户输入18并经由数据交换信道10和数据接口4a将经更新的信息(如3D鼠标位置和交互以及在特定位置和时间进行测量的命令)引导到MRA 4。MRA 4被配置为处理该新信息并生成相应地更新的3D内容。该经更新的内容将再次经由数据接口4a和数据交换信道10被引导到XRA 100，由XRA 100转换为XR内容，并且经由XR环境48以与之前描述的相同的方式呈现给用户。

有利地，经由XRA提交的包括用户输入18的用户输入命令是非常基本的，并且与用户将经由计算机鼠标提交给计算机的命令相当。通过集成如OpenXR的常见API，XRA 100可以通过硬件的操作系统42与广泛范围的现有XR硬件40通信。此处，XRA 100一方面准备要经由XR环境48作为XR内容呈现给用户30的3D内容，并且另一方面提供经由XR硬件40将用户输入18“转换”成可以由数据交换信道10理解和传送的语言的手段。因为以这种方式提交的所有命令都非常简单，并且除了准备它以显示给用户30之外不执行数据的处理，XRA 100本身可以保持非常简单。通过使用与许多已经存在的MRA 4兼容的数据接口4a和数据交换信道10的非常通用的通信语言，XRA 100可以用于为许多不同的MRA 4提供XR环境48。XRA 100由此将MRA 4更新为不仅具有2D用户接口，而且也具有额外的XR用户接口。通过利用通常可用的XR硬件40，XRA因此提供了一种可容易获得且相对低价的升级现有医学查看系统的方式。

图4示出了根据本发明的实施例的用于查看3D或4D医学图像数据2的系统的示意性表示。该系统包括MRA 4的处理模块6，其被配置为处理可以从数字存储介质上传的3D或4D医学图像数据2，以便生成3D内容8。然后将该3D内容8传递到2D用户接口16，2D用户接口16以3D内容32的2D表示的形式在2D屏幕54(例如计算机监测器或平板电脑屏幕)上显示3D内容8。3D内容32的该2D表示可以由用户30观察和分析，用户30可以经由图形用户接口18b的用户输入设备提供用户输入18。然后，用户输入18被引导到处理模块6，处理模块6处理用户输入18。处理模块6和2D用户接口16是MRA 4的一部分。这种MRA 4单独从现有技术是已知的。

然而，根据本发明的系统还包括数据交换信道10，该数据交换信道10经由数据接口4a操作地耦合到处理模块6，并且被配置为将处理模块与额外的用户接口14接口连接。在图4所示的实施例中，数据交换信道10操作地耦合到XRA 100，XRA 100继而耦合到XR操作系统42。MRA 4和XRA100的用户接口元素24经由数据交换信道10连续同步。通过利用XR操作系统42，XRA 100耦合到包括XR头戴套件44和XR控制器46的XR硬件40。数据交换信道10适于将由处理模块6生成的3D内容8引导到XRA 100，XRA 100继而经由XR操作系统42将XR内容形式的3D内容8引导到XR头戴套件44。最终，XR头戴套件44向用户30显示3D内容34的3D表示。所显示的内容可以包括例如表面模型上的静态或动态纹理和/或针对测量的值。

有利地，这样的立体视图可以使用户30更好地掌握复杂的3D环境，并且甚至可以揭示2D用户接口12中几乎不可能的细节水平。此外，3D内容34(即临床数据)的3D表示更靠近外科医师的视野，从而减小临床流程与分析之间的差距。另外，由于XR视图在许多情况下更直观且不太抽象，因此它可以有利地用于各种训练和教育背景下、以及用于通过可视化帮助向患者解释医学状况。

使得用户30能够经由基于XR的用户接口18a的用户输入设备生成用户输入18，在这种情况下，所述用户输入设备是XR控制器46。还可以想到，用户30可以使用多于一个控制器，例如，每只手中一个XR控制器46。每个控制器可以具有不同的任务。例如，一个控制器可以专用于实际测量，而另一个控制器用于保持和导航MPR平面和表面模型。替代地，一个控制器可以用于旋转整个场景，而另一个控制器用于围绕固定轴旋转视图。在任何这样的用户输入18的情况下，系统被配置为经由XR操作系统42、XRA 100、数据交换信道10和数据接口4a将用户输入18引导到处理模块6，处理模块6继而被配置为处理用户输入18。由此，因为XR比基于鼠标或基于轨迹球的方法更多地利用人眼-手协调，所以使得在医学3D或4D医学图像数据2中的更直观导航成为可能。这允许更高效且有效的测量和/或更直接的输入命令。此外，还可以想到，用户30可以在不同的测量可视化之间或在不同的数据集之间切换。这可以结合保存和加载例如UI元素或其他设置和/或数据分析的状态的书签来实现。

另外，可以想到，作为主动用户30的呈现者(例如，在大会的演讲中的呈现者)在XR环境48中执行工作流程，而若干被动观察者可以使用他们自己的XR硬件40进行观看。替代地，活动用户30的角色可以在两名同事之间(例如，在两名医生之间)的医学讨论期间切换。

XR操作系统42还可以被视为XR硬件40的驱动器软件，其并入XRA 100中或由XRA100使用以与XR硬件40通信，即与XR头戴套件44和XR控制器46通信。有利地，XR操作系统42可以是应用编程接口(API)，例如OpenXR，其支持各种不同的XR硬件设备。该系统适于允许用户30在任何时间在MRA的基于XR的用户接口14与2D用户接口16之间切换。因此，用户40可以例如在2D用户接口16的2D屏幕45处查看3D内容32的2D表示以便获得例如器官的医学数据的概览，并且然后切换到基于XR的用户接口14，以便经由3D内容34的3D表示更详细且可能更直观地查看3D内容8。接下来，用户30可以例如经由XR控制器46在基于XR的用户接口14处发出用户输入命令18，例如以旋转图像或进行一些测量。之后，用户30可以切换回到MRA4的2D用户接口16，以具有对由于在基于XR的用户接口14处的先前用户输入18而由处理模块6发出的3D内容8的改变的2D查看。然后，用户30可以修正3D内容8并且可能经由图形用户接口18b的用户输入设备应用进一步的改变。

图5示出了根据本发明的实施例的MRA 4和基于XR的用户接口14之间经由数据交换信道10的操作连接的示意性图示。在该实施例中，MRA 4和基于XR的用户接口14通过数据交换信道10共享时间和空间参考系20。当建立查看会话(“初始握手”)时，优选地在MRA 4与基于XR的用户接口14之间的初始连接期间交换该时间和空间参考系20。例如，它允许体积帧和时间之间的转换，并定义相位环和时间戳。相位环可以被理解为完整3D数据集内的时间区域，针对该时间区域创建3D度量或分割。尽管3D数据可以包括若干心脏周期，但是在一些情况下，创建对于心脏或心脏的一部分(诸如二尖瓣)的分析最感兴趣的仅一个周期或一个周期的仅一部分的3D测量结果或分割是有益的。这种相位环的动态显示包括在相位环上的动画。在该实施例中，在MRA 4与基于XR的用户接口14之间同步这些相位环、并且特别是那些相位环的范围、以及这样的相位环内的时间戳。

此外，在该实施例中，MRA 4和基于XR的用户接口14经由数据交换信道10共享公共坐标系20。它用作例如相对于3D体积定位3D对象的参考系。此外，基于XR的用户接口14包括在与MRA4建立的会话期间使用的配置设置22。配置设置可以包括唯一的应用标识符，诸如应用名称和应用版本、特殊启动选项、交换配置(例如，IP地址、端口和/或交换文件夹)、协议配置(例如，协议版本和/或允许的命令类型)、UI配置和用于数据对象的样式选项(例如，行宽和颜色)。这些配置设置22允许基于XR的用户接口14经由数据交换信道与MRA 4通信，以便通过数据交换信道10从MRA 4接收和显示3D内容8，诸如3D或4D医学图像数据2、3D或4D模型或3D基元26。配置设置22还可以允许基于XR的用户接口14与多于一个不同的MRA 4一起使用，并且适应于不同MRA 4中的每个的性质。配置设置22可以永久地存储在基于XR的用户接口14上，或它们可以在发起基于XR的用户接口14和MRA 4之间的会话时的初始握手期间经由数据交换信道10传递。此外，提供了MRA 4和基于XR的用户接口14共享用户接口元素24，其经由数据交换信道10连续同步。用户接口元素24包括用户接口元素的值、3D或4D医学图像数据2的选定帧的标识符、关于3D内容8的显示的设置(诸如用于体积绘制的阈值或透明度或用于多平面重建平面的亮度和对比度)、和/或3D鼠标位置。

在会话期间，3D内容8经由数据交换信道10从MRA 4被引导到基于XR的用户接口14。3D内容通常由处理模块6生成，并且可以包括3D或4D医学图像数据2、4D数据集的特定帧、从3D或4D医学图像数据集生成的MPR纹理、对象的3D或4D模型和/或网格的绘制。此外，可以传递3D基元26、注释的文本和/或指示测量的数字。原则上，还可以想到经由数据交换信道将3D或4D医学图像数据集直接传递到基于XR的用户接口14，并且在基于XR的用户接口14处对其进行绘制。这需要基于XR的用户接口14的绘制能力，但是另一方面具有MRA 4与基于XR的用户接口14之间的总数据传递更低的优点。

基于XR的用户接口14处的用户输入18经由数据交换信道10被引导到MRA 4，特别是被引导到处理模块6。优选地，利用基于XR的用户接口18a的用户输入设备(例如，XR控制器46)发出输入，但是也可以想到使用其他输入设备，诸如计算机鼠标或键盘。此外，还可以在基于XR的用户接口14处发出拍摄屏幕截图28的提示，其将被存储在MRA 4处以便稍后查看或打印它。

总之，基于XR的用户接口14可以被配置为经由数据交换信道10结合配置设置22仅发出非常基本的命令，这允许基于XR的用户接口14与不同的MRA 4一起使用。因此，基于XR的用户接口14提供了非常通用但也简单的解决方案，从而以相对低的努力和费用来升级已经存在的MRA 4。

图6示出了根据本发明的实施例的用于分析3D或4D数据集2的方法的示意性图示。该方法包括在处理模块6上处理3D或4D数据集2以便生成3D内容8的步骤。该3D内容8然后被引导到2D用户接口16和/或数据交换信道10，其继而将3D内容引导到基于XR的用户接口14。作为下一步骤，3D内容然后被显示在MRA 4的基于XR的用户接口14和/或2D用户接口16上。这使得用户30能够交替地或连续地查看3D内容34(称为XR内容)的3D表示或3D内容32的2D表示。然后，用户具有在基于XR的用户接口14上或在2D用户接口16上发出用户输入18的选项。2D用户接口16处的用户输入18将被直接引导到处理模块6，而基于XR的用户接口14处的用户输入将经由数据交换信道10被引导到处理模块6。处理模块6将基于用户输入18来处理3D内容8，从而生成经修改的3D内容8a。该经修改的3D内容8a被引导到2D用户接口16并且被显示在2D用户接口16处和/或被引导到数据交换信道10，数据交换信道10还将经修改的3D内容8a引导到基于XR的用户接口14，基于XR的用户接口14也显示经修改的3D内容8a。可选地，用户30可以再次在用户接口14、18中的任一个处发出用户输入18，用户输入18将分别经由数据交换信道10直接或间接地被引导到处理模块以进行处理。因此，当对于用户30实现期望的结果(特别是完成查看医学图像数据的工作流程)是必要的或有用的时，该循环可以重复多次。

图7示出了根据本发明的另一具体实施例的方法(右侧)与具有相同目的的常规方法(左侧)相比较的示意性图示。一个在另一个下面地示出了工作流程步骤，其中，每个步骤的高度指示每个步骤所需的时间量(由箭头260图示)。特别地，示出了用于分析病理性二尖瓣的特定医学工作流程，其用于决定哪个生物假体瓣膜尺寸最适合作为将在手术介入时植入的植入物。作为第一步骤，将3D数据集加载到MRA 242中。在该第一步骤之后，初始标志被放置用于MRA 4的2D用户接口16上的二尖瓣(MV)244的分割。在第二步骤之后，根据本发明的该实施例的工作流程230不同于常规工作流程220。在常规工作流程220中，第三步骤是利用鼠标和键盘在2D用户接口246b上(特别是在2D屏幕54上)检查和调节分割。对于利用XRA230的工作流程，第三步骤是在基于XR的用户接口246a上检查和调节分割。如测试已经表明的，利用XRA 230的工作流程中的第三步骤所需的时间显著低于常规工作流程220中的对应步骤所需的时间。接下来的第四步骤在两个工作流程中是相同的，并且包括分析所得到的MV参数和选择正确的设备尺寸248。在这两种情况下，该工作流程步骤在2D用户接口16上执行。因此，在两个工作流程中这四个步骤需要相同的时间量。第五工作流程步骤的再次不同，其中，在常规工作流程220中，执行额外的测量和/或在2D用户接口250b上检查和调节设备位置，而在利用XRA 230的工作流程中，执行额外的测量和/或在基于XR的用户接口250a上检查和调节设备位置。再次，已经表明，常规工作流程步骤比利用XRA 230的对应工作流程步骤需要显著更多的时间。当分析完成时，在最后的步骤252中，在常规工作流程220中比在利用XRA 230的工作流程中过去了更大量的时间260。

除了上述工作流程步骤之外，还可以想到具有另外的工作流程步骤的另外的工作流程，诸如经由表面模型对左心室和右心室或二尖瓣的功能的4D分析和/或评估、经由表面模型用于体积测量的4D心脏视图、或4D放射学超声数据的分析，例如

超声扫描。已经证明，XR环境48中的工作流程步骤不仅比常规2D工作流程步骤更高效，即更快，而且它们还通过导致测量结果的更低变化性而更有效且可靠。此外，由于更直观的方法，预期新用户30(例如医师)的训练时间更短。

图8示出了在具有对应硬件的计算机300上实施根据本发明的系统的示意性图示。计算机可以包括处理单元302和数字存储介质304，该系统作为软件产品安装在数字存储介质304上。包括XR控制器46和XR头戴套件44的XR硬件40连接到其上安装有基于XR的用户接口100的计算机。同时，MRA 4也安装在计算机300上并且连接到包括2D用户接口18b的用户输入设备和2D屏幕54的硬件。3D内容32的2D表示显示在屏幕54上。用户可以在任何时间在XRA 100和2D用户接口16之间切换。

图9示出了当使用根据本发明的实施例的基于XR的用户接口14时从用户30的视角的视图。在该实施例中，用户30可以在基于XR的用户接口14中同时看到3D内容32的2D表示和3D内容34的3D表示。例如，用户30可以旋转3D模型，并且由此在多平面重建中创建新的切片。另一方面，还可以想到具有例如二尖瓣的模型的不同可视化(诸如线框模型)、具有平面的切割线、和/或XR环境中的切割线和透明(重影)模型。

上述讨论旨在仅说明本系统，并且不应被看作是将所附权利要求书限制于任何具体实施例或实施例组。因此，尽管本系统已经被结合示例性实施例进行了特别详细的描述，但还应了解到的是，可由本领域技术人员设想出许多修改和替代实施例，而不背离如在所附权利要求中所阐述的本发明的更为广泛和预期的精神和范围。因此，说明书和附图将以说明的方式予以看待，而并不意在限制所附权利要求书的范围。

Claims

1.一种在计算机或其他数字处理设备上实施的用于查看三维，即3D，或四维，即4D，医学图像数据(2)的系统(1)，所述计算机或其他数字处理设备具有处理单元、数据存储设备和用于允许用户输入和输出的设备，所述系统(1)包括：

a)医学查看应用(4)，其包括处理模块(6)和2D用户接口(16)，所述处理模块被配置为处理3D或4D数据集(2)以生成3D内容(8)，其中，所述2D用户接口(16)被配置为显示由所述处理模块(6)生成的所述3D内容(8)并允许用户(30)生成用户输入(18)命令；

b)基于扩展现实的用户接口附加组件(100)，即基于XR的用户接口附加组件(100)；以及

c)数据交换信道(10)，其操作地耦合到所述处理模块(6)，所述数据交换信道(10)被配置为将所述处理模块(6)与所述基于扩展现实，即XR，的用户接口附加组件(100)接口连接；

-其中，所述数据交换信道(10)适于将由所述处理模块(6)生成的所述3D内容(8)引导到所述基于扩展现实的用户接口附加组件(100)；

-其中，所述基于扩展现实的用户接口附加组件(100)被配置为解释和处理所述3D内容(8)并且将所述3D内容转换为能够在扩展现实环境(48)中显示给所述用户的XR内容；

-其中，所述扩展现实环境(48)被配置为允许用户(30)生成用户输入事件(18)，并且所述基于扩展现实的用户接口附加组件(100)被配置为处理所述用户输入事件并将所述用户输入事件转换为能够由所述医学查看应用(4)读取的用户输入命令(18)；并且

-其中，所述数据交换信道(10)适于将用户输入(18)命令从所述基于扩展现实的用户接口附加组件(100)引导到所述医学查看应用(4)。

2.根据权利要求1所述的系统(1)，其中，所述医学查看应用(4)包括用于所述基于扩展现实的用户接口附加组件(100)的数据接口(4a)，其中，所述数据接口(4a)操作地耦合到所述数据交换信道(10)，并且被配置为允许在所述医学查看应用(4)和所述基于扩展现实的用户接口附加组件(100)之间交换简化且标准化的操作动作以及数据，所述简化且标准化的操作动作具体地包括3D鼠标位置和/或用户输入命令。

3.根据权利要求1或2所述的系统(1)，其中，所述医学查看应用(4)包括用于所述基于XR的用户接口附加组件(100)的数据接口(4a)，其中，所述数据接口(4a)适于通过所述数据交换信道(10)在所述基于扩展现实的用户接口附加组件(100)与所述医学查看应用(4)之间连续地同步对应的用户接口元素(24)，其中，对应的用户接口元素(24)包括以下各项中的至少一项：用户接口元素(24)的值、所述4D数据集的选定帧的标识符、关于所述3D内容和/或所述XR内容的显示的设置，和/或3D鼠标位置。

4.根据前述权利要求中的任一项所述的系统(1)，其中，所述基于XR的用户接口附加组件(100)是无状态的，因为其不具有对通过所述数据交换信道(10)被传递到所述处理模块(6)的用户输入命令(18)的记忆。

5.根据前述权利要求中的任一项所述的系统(1)，其中，由所述处理模块(6)生成的所述3D内容(8)包括对所述3D或4D数据集(2)的绘制，其中，所述基于扩展现实的用户接口附加组件(100)被配置为基于所述用户输入和/或用户的当前观看视角中的至少一些来调整所绘制的3D内容(8)，具体地使所绘制的3D内容(8)在透视上扭曲。

6.根据前述权利要求中的任一项所述的系统(1)，其中，响应于由所述基于扩展现实的用户接口附加组件(100)和所述2D用户接口(16)之中的当前活动的用户接口生成的“切换用户接口”命令，所述处理模块(6)适于停止对来自所述用户接口的所述用户输入(18)命令作出响应，并且开始对来自另一用户接口的用户输入(18)命令作出响应。

7.根据前述权利要求中的任一项所述的系统(1)，其中，由所述处理模块(6)生成的所述3D内容(8)包括以下各项中的至少一项：所述3D或4D数据集(2)的经更新或数据压缩的版本；对所述3D或4D数据集(2)的绘制；多平面重建，即MPR；根据所述3D或4D数据集(2)生成的纹理；图形基元(26)；对象的3D或4D模型；网格；注释的文本和/或指示测量结果的数字。

8.根据前述权利要求中的任一项所述的系统(1)，其中，所述处理模块(6)适于在建立所述处理模块(6)与所述基于扩展现实的用户接口附加组件(100)之间的连接期间，将以下各项中的至少一项以及时间和空间参考系(20)传递到所述基于扩展现实的用户接口附加组件(100)：所述3D或4D数据集(2)、经更新的3D或4D数据集(2)、用户接口元素(24)和/或配置设置(22)。

9.根据前述权利要求中的任一项所述的系统(1)，

其中，所述基于扩展现实的用户接口附加组件(100)适于在所述处理模块(6)与所述基于扩展现实的用户接口附加组件(100)之间的连接期间，通过所述数据交换信道(10)将以下各项中的至少一项传递到所述处理模块(6)：3D鼠标位置；多平面重建，即MPR，平面的位置和取向；屏幕截图(28)和/或用户接口元素(24)的修改值。

10.根据前述权利要求中的任一项所述的系统(1)，其中，所述基于扩展现实的用户接口附加组件(100)被配置为经由XR操作系统(42)与XR硬件(40)一起使用，其中，所述XR硬件(40)具体地包括XR头戴套件(44)和XR控制器(46)。

11.一种基于扩展现实的用户接口附加组件(100)，其被配置为经由数据交换信道(10)操作地耦合到医学查看应用(4)，所述医学查看应用具有2D用户接口(16)和处理模块(6)，所述处理模块被配置为处理3D或4D数据集(2)以生成3D内容(8)，

其中，所述基于扩展现实的用户接口附加组件(100)被配置为解释经由所述数据交换信道(10)从所述处理模块(6)接收的所述3D内容(8)，并且将所述3D内容转换成能够由XR硬件(40)的XR操作系统(42)读取的数据格式的XR内容，其中，所述XR硬件(40)具体地包括XR头戴套件(44)，使得所述XR硬件(40)能够显示由所述处理模块(6)生成的所述XR内容；并且

-其中，所述基于扩展现实的用户接口附加组件(100)被配置为：处理从所述XR操作系统(42)接收的任何用户输入(18)事件，具体地使用XR控制器(46)生成的用户输入(18)事件；并且将所述用户输入(18)事件转换成能够由所述医学查看应用(4)读取的用户输入命令；并且经由所述数据交换信道(10)将所述用户输入(18)命令传递到所述医学查看应用(4)。

12.一种用于使用医学查看应用(4)分析3D或4D数据集(2)的方法，所述数据集具体地是人类或动物器官的数据集，所述医学查看应用包括处理模块(6)和2D用户接口(16)，数据交换信道(10)操作地耦合到所述处理模块(6)，其中，所述数据交换信道(10)被配置为将所述处理模块(6)与基于扩展现实的用户接口附加组件(100)接口连接，

所述方法包括以下步骤：

-在所述处理模块(6)上处理所述3D数据集(2)以生成3D内容(8)；

-可选地，所述2D用户接口(16)显示所述3D内容(8)；

-所述数据交换信道(10)将所述3D内容(8)引导到所述基于扩展现实的用户接口附加组件(100)，并且所述基于扩展现实的用户接口附加组件(100)解释和处理所述3D内容(8)并且将所述3D内容转换为能够由XR硬件(40)显示给用户的XR内容；

-在所述用户接口中的一个用户接口上接收用户输入(18)；

-将所述用户输入(18)命令直接从所述2D用户接口(16)或经由所述数据交换信道(10)从所述基于扩展现实的用户接口附加组件(100)引导到所述处理模块(6)；

-所述处理模块(6)基于所述用户输入(18)命令来处理所述3D内容(8)以生成经修改的3D内容(8a)，

-将所述经修改的3D内容(8a)引导到所述数据交换信道(10)并且可选地引导到所述2D用户接口(16)；

-可选地，所述2D用户接口(16)显示所述经修改的3D内容(8a)；并且

-所述数据交换信道(10)还将所述经修改的3D内容(8a)引导到所述基于扩展现实的用户接口附加组件(100)，并且所述基于扩展现实的用户接口附加组件解释并处理所述经修改的3D内容(8a)并且将所述经修改的3D内容转换成能够由XR硬件(40)显示给用户(30)的经修改的XR内容。

13.根据权利要求12所述的方法，所述方法包括以下步骤：

-处理所述3D数据集(2)以生成对3D数据集(2)的绘制和由所述3D数据集(2)描绘的解剖结构的3D模型(9)；

-经由所述基于扩展现实的用户接口附加组件(100)显示所述3D模型(9)和所述绘制；

-允许用户(30)在所述基于扩展现实的用户接口附加组件(100)上检查所述3D模型(9)并且提供用户输入(18)以调节所述3D模型(9)；

-所述数据交换信道(10)将所述用户输入命令(18)从所述基于扩展现实的用户接口附加组件(100)引导到所述处理模块(6)；

-所述处理模块(6)处理所述用户输入命令(18)以生成经修改的3D模型；

-将所述经修改的3D模型引导到所述2D用户接口(16)，并且所述2D用户接口(16)显示所述经修改的3D模型；

-可选地允许用户(30)在所述2D用户接口(16)中对所述经修改的3D模型执行额外的分析和/或测量。

14.根据权利要求12或13中的任一项所述的方法，其中，所述处理模块(6)被配置为通过以下各项中的至少一项来处理所述3D或4D数据集(2)并且生成3D内容(8)和/或XR内容：对所述3D或4D数据集(2)进行数据压缩；绘制所述3D数据集(2)；对所述3D数据集(2)进行体积绘制；计算通过所述3D数据集(2)的多平面重建，即MPR，平面的MPR纹理；分割所述3D或4D数据集(2)；生成对象的3D或4D模型，所述对象具体地是医学设备或解剖结构；生成图形基元(26)；和/或响应于用户输入(18)而进行测量。

15.一种包括程序代码指令的计算机程序，所述程序代码指令当由处理单元执行时使得所述处理单元能够执行根据权利要求12至14中的任一项所述的方法，或使得所述处理单元能够实施根据权利要求1至10中的任一项所述的系统(1)、或根据权利要求11所述的基于扩展现实的用户接口附加组件(100)。