CN114391158A - 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统 - Google Patents

用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统 Download PDF

Info

Publication number
CN114391158A
CN114391158A CN202080061842.1A CN202080061842A CN114391158A CN 114391158 A CN114391158 A CN 114391158A CN 202080061842 A CN202080061842 A CN 202080061842A CN 114391158 A CN114391158 A CN 114391158A
Authority
CN
China
Prior art keywords
user
image data
medical image
visualization
workspace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080061842.1A
Other languages
English (en)
Inventor
M·史瑞克恩伯格
N·黑楚里奇
G·舒默尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114391158A publication Critical patent/CN114391158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，所述医学图像数据(34)由至少两个用户(A、N、C、S)分析，每个用户都具有他/她自己的工作空间(30)，其中，所述工作空间(30)是VR工作空间和/或AR工作空间和/或MR工作空间，所述方法包括以下步骤：提供包括3D或4D图像信息的医学图像数据(34)，将所述医学图像数据(34)加载到每个用户的所述工作空间(30)中，以便将所述医学图像数据(34)的可视化同时显示给每个用户，允许每个用户个体地且相互独立地改变所述医学图像数据(34)的所述可视化，以便在涉及每个用户的每个工作空间中获得所述医学图像数据(34)的个体可视化，允许至少一个用户在他/她的工作空间中执行所述医学图像数据(34)的分析过程，在执行所述分析过程的所述工作空间(30)中显示所述分析过程的结果，并且将所述分析过程的所述结果与至少一个其他工作空间(30)实时同步，使得每个工作空间(30)在所述医学图像数据(34)的相应的个体可视化中显示所述分析过程的所述结果。另外，提供了一种与上述方法有关的计算机程序。另外，提供了在执行上述方法期间使用的用户接口和系统。

Description

用于在虚拟多用户协作中分析医学图像数据的方法、计算机 程序、用户接口和系统
技术领域
本发明涉及用于在虚拟多用户协作中分析医学图像数据的方法、与该方法有关的计算机程序、在该方法中使用的用户接口以及被配置为执行该方法的系统。
背景技术
医学成像技术提供了人类身体或动物身体的三维(3D)甚至四维(4D)医学图像数据。然而，通常在二维(2D)屏幕上查看和分析这些图像数据。因此，当在2D屏幕上分析和解读医学图像数据时，错误解读在以3D或4D提供的医学图像数据上表示的解剖结构之间的相对空间关系的风险无处不在。特别地，当包括不同人员的专家团队同时分析相同的医学图像数据时，对空间关系的错误理解和错误解读的风险很高，进而会导致错误的临床决策。
微处理器、相机和传感器领域的最新发展使得消费者能够负担得起的VR头戴式设备被大众市场广泛接受。虚拟现实(VR)技术使得用户能够完全沉浸在虚拟环境和3D内容的立体3D表示中。
在主要由游戏和娱乐产业推动的情况下，经由被跟踪的头戴式设备和手控制器(结合了18个自由度)进行的高度直观的控制允许与虚拟对象进行非常自然的交互，从而提高了易用性和可访问性。现有的多用户VR应用是基于化身的，其中，若干用户能够同时处于同一场景中，以例如操纵对象的模型。不幸的是，这些基于化身的多用户解决方案无法很好地满足专业医学VR协作的更高要求，在专业医学VR协作的更高要求中，要求对虚拟3D数据集、对象(例如，切割平面)和测量结果进行有意义且高效的评估。另外，已知技术似乎不适用于要求单独分析和评价3D内容的专业用户(例如，临床医生)。因此，希望能够有一个多用户VR协作解决方案来充分利用VR的潜力并使得若干临床医生能够利用VR环境提供的所有优点来同时高效处理同一3D数据集。另外，为了提高专业用户团队的协作效率，希望交互且自动地共享每个用户所做的分析和评价的结果。
David W.Shattuck在“VR-framework for multiuser virtual realityenvironment for visualizing neuroimaging data”(Healthcare Technology Letters，于2018年8月13日收到；2018年8月20日接受)中公开了VR框架能够使用客户端-服务器模型支持多个同时在同一虚拟空间中操作的用户，其中，一个用户作为服务器进行操作并控制系统显示。针对每个用户的VR环境由连接到用户的头戴式设备的个人网络计算机来驱动。每个客户端计算机都能够访问要显示的数据的副本，该副本能够位于本地驱动器或共享网络驱动器上。服务器在TCP/IP端口上监听客户端，然后与每个客户端建立网络连接。一旦连接客户端，服务器就将定期发送包含查看状态信息的小数据对象，每个客户端使用该小数据对象来更新其显示。该对象包括同步视图的必要数据，例如，旋转、缩放、体积位置和切割平面。每个客户端将针对其头戴式设备和控制器的姿态信息发送到服务器，该服务器将这些姿态信息广播到其他客户端以供显示。在每个个人客户端视图中绘制针对系统中的其他用户的头戴式设备和控制器的模型。这使得用户能够彼此直接交互，并且还有助于避免在共享物理空间中操作的用户之间发生现实世界碰撞。
Klaus Engel在“Texture-based Volume Visualization for Multiple Userson the World Wide Web”中公开了基于纹理的体积可视化工具，该体积可视化工具允许远程访问放射学数据并支持多用户环境。该工具允许在异构网络中共享查看和操纵三维医学体积数据集。将体积数据集从服务器传输到不同的客户端机器，并且使用启用JAVA的web浏览器将体积数据集进行本地可视化。为了降低网络流量，提出了数据减少和压缩方案。该应用允许视图依赖性且正交的裁切平面，该裁切平面能够交互式移动。在客户端侧，用户能够加入可视化会话并通过同步视点和任何其他可视化参数来获取投射到体积数据集上的相同视图。通过将标签放入可视化，为其他用户标记数据集的感兴趣部分。为了支持协作工作，用户利用聊天小程序或使用任何现有的视频会议工具进行通信。
Dieter Schmalstieg在“Bridging Multiple User Interface Dimensions withAugmented Reality”中公开了实验用户接口系统，该系统使用协作增强现实将真实的3D交互并入生产力环境。通过将多个用户、多个主机平台、多个显示类型、多个并发应用和多背景(即，3D文档)接口包括在异构分布式环境中，这种构思扩展到桥接多个用户接口维度。背景将实况应用与3D(虚拟)数据和其他数据封装在一起，同时使用各个地点来组织几何参考系统。通过从语义关系(背景)分离几何关系(地点)，在显示器的配置中实现了大量的灵活性。多个用户正在单独的主机上工作。他们能够共享背景，但是也能够根据屏幕格式和个人偏好对背景表示(3D窗口)进行任意布局。这能够通过定义单独的地点来实现，因为跨地点边界无法共享3D窗口的位置。换句话说，来自不同视角的多个用户能够查看一个共享对象。
EP 3496046 A1涉及用于针对至少两个交互式查看者的组在至少一个显示介质上显示医学图像数据的方法，该方法具有以下步骤：提供包含患者的特定检查区的至少一个3D或4D图像数据集的医学图像数据；并且使得能够在交互式虚拟环境中显示医学图像数据，其中，每个交互式查看者具有其自身的虚拟位置。另外，每个交互式查看者能够独立于其他查看者而改变他/她的虚拟位置并且任选地改变他/她的查看角度。
US 2014/0033052 A1公开了用于显示全息图的方法和系统。一个示例性实施例提供了一种系统，该系统包括：光源；图像产生单元，其在与从光源接近图像产生单元的光相互作用时产生图像；目镜；以及反射镜，其将来自图像的光引导到目镜的表面，其中，所述表面具有通过将平面曲线绕旋转轴旋转至少180°而形成的旋转立体形状。结果，生成了能够从不同侧查看的全息图。另外，用户可以操纵全息图。
然而，上述问题仍然存在，换句话说，由于必须基于一个或多个用户的命令在用户之间主动共享用户的分析结果，因此协作效率并没有显著提高。结果，需要重复的工作步骤才能向用户提供其他用户获得的相关信息。
发明内容
因此，本发明的目的是提供在虚拟多用户协作中分析医学图像数据的方法，在虚拟多用户协作中，每个用户都可以完全控制他/她的工作空间中的医学图像数据的可视化，同时保持高的协作效率，也就是说，一组专业用户能够同时处理相同的医学图像数据。根据本发明的另外的目的，能够在用户之间自动共享个人工作的可选择部分。本发明的另一目的是提供相应的计算机程序、被配置为在执行该方法中使用的用户接口以及用于与3D医学图像数据交互但允许用户仍然保持对医学图像数据的可视化的完全控制的虚拟协作系统。
为了更好地解决上述关心问题中的一个或多个关心问题，在本发明的第一方面，在权利要求1中提出了一种用于分析医学图像数据的方法。在从属权利要求中阐述了有用的实施例。
根据第一方面，本发明涉及一种用于在虚拟多用户协作中分析医学图像数据的方法，其中，
所述医学图像数据由至少两个用户分析，
每个用户都具有他/她自己的工作空间，其中，所述工作空间是XR工作空间，
所述方法包括以下步骤：
提供包括3D或4D图像信息的医学图像数据，
将所述医学图像数据加载到每个用户的所述工作空间中，以便将所述医学图像数据的可视化同时显示给每个用户，
允许每个用户个体地且相互独立地改变所述医学图像数据的所述可视化，以便在涉及每个用户的每个工作空间中获得所述医学图像数据的个体可视化，
允许至少一个用户在他/她的工作空间中执行所述医学图像数据的分析过程，
在执行所述分析过程的所述工作空间中显示所述分析过程的结果，并且
将所述分析过程的所述结果与至少一个其他工作空间实时同步，使得每个工作空间在所述医学图像数据的相应的个体可视化中显示所述分析过程的所述结果。
在本发明的背景中，术语XR代表X现实或交叉现实，它是至少包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)和电影现实(CR)的通用术语。XR可以被定义为虚拟环境的技术实施体验，其通常与现实世界对象相结合，或者是现实世界环境与虚拟环境或对象的结合。X现实涵盖范围广泛的硬件和软件，包括感官接口、应用和基础设施，其实现对虚拟现实(VR)、混合现实(MR)、增强现实(AR)、电影现实(CR)的内容创建。通过利用这些工具，用户通过将数字对象带入物理世界并将物理世界对象带入数字世界来生成新的形式的现实。XR在这里指的是包括VR、AR或MR在内的各种技术。在许多情况下，为了提供X现实，实施了计算机生成的可视化，其提供了所描绘的结构的真正3D体验，特别是通过使用屏幕或眼镜向每只眼睛示出略有不同的图像来实现这一点。另外，用户可以经常通过姿势和其他移动与XR进行交互，例如在XR中四处走动并抓取虚拟对象。本发明的XR可以特别提供视觉反馈，但是也可以允许其他类型的感官反馈，例如，对用户的听觉或触觉反馈。优选地，本发明的XR仅使用姿势(例如，用户的手指、手臂、腿部和/或头部的姿势)或用户的移动作为输入，以便为用户提供感官反馈。特别地，本发明可以不需要眼动仪来向用户提供所述反馈。也就是说，可以从不同的查看位置向用户示出本发明的可视化，而不需要提供这样的眼动仪。
在VR中，用户通常看不到真实环境，因为虚拟世界完全叠加在真实环境上。这种效果通常由包括具有在眼睛前面的小屏幕的头戴式显示器的VR头戴式设备来创建，但是也能够通过专门设计的具有多个大屏幕的房间来创建。使用虚拟现实仪器的人能够环顾人造世界，在其中四处移动，并且与虚拟特征或物品进行交互。
一般来说，混合现实(MR)是现实世界与虚拟世界的融合，以产生新的环境和可视化，在该新的环境和可视化中，物理对象和数字对象共存并实时交互。更特别地，MR可以被定义为真实环境与虚拟对象相结合的体验，但是虚拟对象是通过技术创建的，例如，VR头戴式设备使用其相机来创建至少部分对应于真实环境的虚拟现实。因此，虚拟对象能够在其正确位置处叠加在真实环境中，虚拟对象甚至可以隐藏真实对象，反之亦然。
在AR中，现实世界仍然可见，并且虚拟对象被叠置(即，叠加)在真实环境上。这种效果可以由特殊的眼镜(例如，微软的HoloLens)创建，这种眼镜允许用户看到真实环境，但是也使用相机来形成这样的真实环境的3D模型，使得能够经由眼镜将虚拟对象叠加在真实环境上。
因此，MR或AR可以包括真实环境，作为在其前面显示可视化的背景。例如，两个用户出现在同一房间中并且每个用户都戴着AR眼镜，这两个用户可以在现实世界中彼此交互，也可以在AR中彼此交互，同时这两个用户都具有其自己的医学图像数据的个体视图(即，每个用户都具有他/她自己的医学图像数据的可视化)。
可视化可以是真实对象(例如，人类或动物心脏)的画像(即，图像)。也就是说，可视化可以是表示真实对象的模型，其中，可视化的参数可以相对于真实对象而改变(例如，大小、对比度、颜色、部分放大的区域等)。为了使医学图像数据可视化，可以使用体积射线投射技术。在这种技术中，针对每个期望的图像像素生成一条射线。通过使用简单的相机模型，射线从相机的保护中心(通常是查看位置或视点)开始，并且穿过在相机与要绘制的体积之间浮动的假想图像平面上的图像像素。然后在整个体积中以规则或经调整的间隔对射线进行采样。在每个采样点处对数据进行内插，应用传递函数以形成RGBA样本，将结果添加到射线的累积RGBA上，并且重复该过程，直到射线离开该体积为止。对屏幕上的每一个像素重复该过程以形成完整的可视化。
例如，可以使用体积绘制对医学图像数据进行可视化。可以通过使用在以下文献中描述的技术来执行对可视化的体积绘制：由Charles H.Hansen和ChristopherR.Johnson编辑的“The Visualization Handbook”(Johnson，Elsevier ButterworthHeinemann 2005)，特别是由Arie Kaufmann在第127页开始的章节“Overview of VolumeRendering”，并且通过引用将其并入本文。
从技术上讲，可以通过向用户呈现立体图像(即，每只眼睛看到不同的图像)来实现XR，这样大脑就会将两幅不同的图像组合成一个真正的三维场景。可以在任何XR显示器上呈现这种双目图像，例如，VR头戴式设备、AR眼镜或多投影环境，或与快门式眼镜有关的间歇性示出两幅图像的屏幕。在XR中，可以通过立体绘制来显示可视化：其中，针对具有微小空间偏移的两个查看位置(即，一个查看位置用于左眼且一个查看位置用于右眼)两次计算可视化。当例如在VR头戴式设备上向用户的每只眼睛示出这样计算的两个可视化之一时，用户可以得到真正的三维(VR)印象。因此，能够在XR中转换、查看和分析可视化。XR使得使用XR的用户能够“环顾”人造世界，在其中四处移动，并且与虚拟对象、特征或物品进行交互。这种效果通常由包括具有在每只眼睛前面的小屏幕的头戴式显示器的XR头戴式设备来创建，但是也能够专门设计的具有多个大屏幕的房间来创建。为了让用户在XR中四处移动，头戴式设备必须将位置和取向信息发送到生成XR的电子设备(例如，计算机)，使得可视化与用户的头部移动相一致地移动。
可以动态绘制(例如，体积绘制或表面绘制)医学图像数据，以便在每个XR工作空间中将医学图像数据可视化为可视化结果。更详细地，体积绘制可以基于空间强度数据(即，体素数据)。取决于医学图像数据的分辨率，针对每个空间点或空间区域可以存在强度数据。换句话说，在体积绘制中，每个可用的图像数据信息都被绘制出来，这导致需要相当高的计算能力。另一方面，在表面绘制中，只有一个“层”(即，可见表面)被绘制，其中，存在于该层后面的图像数据不被绘制。表面绘制的医学图像数据可以是包括多个三角形表面的计算机图形模型。结果，对于表面绘制来说，需要较少的计算能力。为了在绘制过程期间获得更高的效率并同时仍然提供足够的可视化数据密度，可以组合这两种技术，使得可以使用体积绘制方法来绘制感兴趣区域，并且可以使用表面绘制方法来绘制外围区域。
在优选实施例中，可以使用体积绘制的对象对医学图像数据进行可视化，这样做的优点在于其适合用于更复杂的解剖结构或高度个体化的结构(如瓣膜小叶尖、狭窄、钙化、生物假体、破裂的腱索等)。替代地或额外地，可以使用解剖结构的至少部分的动态的计算机生成的模型对医学图像数据进行可视化。这样的模型的优点在于它们示出了解剖结构的更简单版本/抽象结果，使得更容易对解剖结构进行导航和解读，并且不太依赖于医学图像数据质量。模型(即，解剖结构的简化结果)可以是解剖结构内的特定界面(例如，血管或心脏腔室的血液-组织界面)的三角形化表面模型。该模型可以包括跨越针对每个帧的线条或表面的多个点。该模型也可以是数学模型，例如，参数化模型，例如，由样条曲线跨越的表面或体积。该模型是动态的，即，它遵循解剖结构在整个时间段内的移动。动态模型的目的在于使解剖结构的至少部分(例如，移动的心脏的一个或多个腔室)可视化，而不会以太多细节阻挡用户的视线。因此，这样的简化模型在向用户提供取向时很有用，例如当对解剖结构的特定部分规划介入或进行测量时。动态3D模型的3D可视化通常是动态形状或表面模型的绘制，其中，绘制可以通过从计算机图形学中可用的技术来完成，包括阴影化、射线投射、环境遮挡等。体积绘制可以通过本领域已知的任何体积绘制技术来执行，例如，US 2005/0253841 A1中所描述的技术，通过引用将其并入本文。
另外，医学图像数据可以包括解剖结构的信息，该解剖结构可以是人类或动物的身体的器官或器官部分(例如，心脏)，但也可以是血管或骨结构。更详细地，医学图像数据可以包括3D散点图，该3D散点图包括3D坐标系内的点，其中，每个点在3D坐标系内具有其自己的x分量、y分量和z分量。除了上述内容以外，医学图像数据还可以包括(例如以DICOM标准的)数字图像数据，即，包含三维体素阵列的数字图像数据，每个体素包含一个灰度值。可以使用诸如MR、计算机断层摄影(CT)、正电子发射断层摄影(PET)或超声(US)之类的医学成像模态从包含动态解剖结构的视场获得这样的医学数据(3D医学图像)。在解剖结构是心脏的情况下，可以有利地使用超声，尤其是三维超声心动描记。也就是说，可以从具有不同频率的超声图像、具有不同加速电压的计算机断层摄影图像或者包括或不包括造影剂的图像中导出不同的医学图像数据。另外，医学图像数据可以包括4D医学图像数据，其中，第四维度是时间。在下文中也可以将形成4D医学图像的3D图像的时间序列中的一幅3D图像称为一“帧”。也就是说，4D医学图像数据包括跨时间的3D图像的可视化，这意味着可视化序列是动态显示的，帧速率为例如每秒60-100次可视化。也就是说，例如，4D医学图像数据可以被可视化为动画电影(即，在电影模式中)，以便对患者的胸部的操作进行可视化。如果4D医学图像数据被可视化，则可以以类似电影的方式绘制该序列。可以用例如5-100的帧速率(更优选地超过每秒30幅图像)来采集3D图像，以便允许平滑地表示动态移动的解剖结构。医学图像数据可以包括另外的医学信息和/或管理信息，例如，患者的信息、当前进行的治疗等。医学图像数据可以包括若干图像数据，这些图像数据优选在空间中彼此配准，因此它们能够彼此叠加，每个用户可以选择应在他/她的工作空间中显示哪一个图像数据。因此，医学图像数据可以被认为是可以由所有用户共享的共享内容。共享内容可以包括原始数据，例如，数字图像数据和/或包括3D坐标系内的点的3D散点图。额外地或替代地，共享内容可以包括预处理数据，例如，基于医学图像数据的切片、分割结果或表面模型。这样的预处理数据可以被认为是模型数据。因此，每个工作空间中的可视化可以包括原始数据(即，3D数据)和模型数据(即，预处理数据)的可视化。通过将模型数据和原始数据组合为共享内容，每个工作空间需要处理的原始数据(在通常情况下会更复杂)会更少，使得能够使用普通个人计算机进行协作，而无需大量计算能力。换句话说，可以集中执行对于产生预处理数据来说所必要的密集计算，并且可以将结果作为共享内容提供给每个用户。通过在每个工作空间中提供共享内容，可以向用户提供在协作期间要讨论的问题的总体视图。例如，原始数据可以用于对最重要的器官或器官部分(即，感兴趣区域)进行可视化，并且模型数据可以用于对感兴趣区域的周围环境进行可视化。例如，原始数据可以用于对心脏瓣膜进行可视化，并且模型数据可以用于对心脏的其余部分进行可视化。结果，可以获得最优的可视化效率。另外，模型数据可以由每个用户个体地关闭或打开，以便仅看到原始数据的可视化。结果，每个用户可以个体地决定他/她是否需要两种可视化来分析医学图像数据。
医学成像模态可能能够达到每秒高达30个体积(即，表示检查区域的医学图像数据)，因此，每次新的医学图像数据可用时，就可以更新所绘制的3D对象。换句话说，可以动态更新所绘制的3D对象。如果在协作发生时同时检查患者，例如当患者处于紧急情况下时，这将特别有用。
应当注意，每个用户与所有其他用户共享相同的医学图像数据。另外，分析过程的结果也由所有其他用户共享，因为结果被耦合到由所有用户共享的医学图像数据。另一方面，用户可以个体地改变在每个工作空间中显示的可视化，以便获得医学图像数据的个体视图。换句话说，根据本发明，医学图像数据和分析过程的结果是对于所有用户是相同的并且由所有用户共享，其中，用户他/她自己进行对该内容的显示(即，医学图像数据和结果的可视化)。结果，根据本发明，每个用户都具有最大的自由度来检查他/她想要的医学图像数据，同时其他用户的分析过程的结果也被实时显示在他/她的个性化可视化中(即，在他/她的医学图像数据的个体视图中)。因此，医学图像数据和分析过程的结果从每个工作空间中的医学图像数据的可视化解耦。换句话说，每个用户都具有他/她的医学图像数据的个体视图，同时医学图像数据和结果对于所有用户来说都是相同的。
用户可以是协作会话中的参与者，特别是医生，例如，跨学科心脏团队(IHT)可以使用本发明，其中，该团队可以包括介入心脏病学专家、心血管外科医生、护理/护士协调人员、OR/导管实验室护士、成像专家、心脏麻醉师。每个用户都使用他/她自己的XR工作空间。替代地，至少两个用户可以共享相同的工作空间，例如以下场景：一个用户是教师，而另一个用户是学生。
XR工作空间中的每个XR工作空间可以经由线缆或者以无线方式被物理地连接到另一XR工作空间。每个工作空间都可以具有自己的个人计算机(包括处理器)。每个计算机都可以作为客户端计算机来工作。替代地，工作空间中的至少一些工作空间可以是一个客户端计算机的部分。也就是说，例如，XR工作空间可以位于不同的位置处，或者可以处于同一房间中。
以如下方式执行允许每个用户在用户自己的XR工作空间中个体地且相互独立地改变可视化的步骤，使得其他用户不会注意到在另一XR工作空间中该可视化(即，医学图像数据的个体视图)如何改变。特别地，可以改变空间中的查看位置和查看方向。另外，可以个体地调节切割通过3D医学图像数据的平面(在本文中被称为“切面”)的位置或取向以及在可视化中显示这样的平面的模式。例如，用户可以选择若干所谓的“切面”模式中的一种“切面”模式：在一种模式中，显示切面；在另一种模式中，切面切割通过3D图像体积并且叠加在图像内容上。在另一种模式中，切面显示3D图像数据的对应的多平面重建(MPR)。另外，可以改变可视化的不透明度和颜色。通常，可以改变可视化的可视化参数，例如，体积绘制参数。特别地，可视化参数可以包括阈值、不透明度、对比度等。另外，可以在观看可视化的同时“实况”(即，即时生效)调节可视化。
根据本发明的一个方面，将所述分析过程的所述结果与至少一个其他工作空间实时同步，使得每个工作空间在所述医学图像数据的相应的个体可视化中显示所述分析过程的所述结果。由于分析过程的结果属于所有用户共享的医学图像数据(也可参考上文所述)，因此在这种情况下的同步意指将在分析过程中获得的数据从相应的工作空间发送到共享的医学图像数据。也就是说，在生成分析过程的结果的同时，分析过程的结果对所有其他用户可见。换句话说，在执行了分析过程之后，其他用户中的每个其他用户立即可以在他们自己的医学图像数据的个体可视化中看到结果。例如，每个用户在他自己的医学图像数据的可视化中看到其他用户的注释。这使得在多个用户之间“移交”医学图像数据变得过时，从而减少了用户之间的交互并更快地共享测量结果和注释。
根据实施例，除了(例如通过显示每个用户的“化身”)指示其他用户的位置和/或其查看方向的可视化之外，在工作空间内并不显示任何指示。因此，不存在可视化的部分被这样的指示覆盖和/或阻碍的风险。
例如，执行分析过程可以包括选择可视化中的平面。然后，该过程优选包括(特别是在与所选择的平面相对应的三维可视化环境中的位置处)显示所选择的可视化的平面的多平面重建(MPR)的步骤。多平面重建是根据若干原始图像平面重建的图像。例如，在CT中，通常会采集横向图像的堆叠。另外，在分析过程中，用户可以测量二尖瓣的直径并据此从库中选择最佳适配的瓣膜。因此，如果要查看以不同于横向的取向与图像的堆叠相交的截面，用户可以选择期望的取向，并且通过例如从各个横向切片中的相应最近像素进行内插来创建MPR。除了可视化之外，显示MPR还允许用户更详细地查看解剖结构。在虚拟现实环境中，得益于18个自由度(XR头戴式设备和两个控制器)，可抓握的MPR平面在3D体积中的正确定位非常快速并且是可验证的，并且在MPR平面上或在可视化内的测量变得更加精确和可靠。另外，每个用户可以在他/她自己的工作空间中个体地执行分析过程。也就是说，不在其他用户之间共享对分析过程的执行。例如，真实工具(例如，控制器或用户持有的另一真实对象)或虚拟工具(例如，用于执行分析过程的虚拟测量尺或对象的可视化)在工作空间内的移动或轨迹可以仅在执行分析过程的工作空间内被可视化。因此，只有测量结果可以在所有用户之间共享。也就是说，在分析过程期间，用户在执行他/她自己的个体分析过程中不会被也执行分析过程的其他用户分心或阻碍。另外，分析过程可以由至少两个用户同时执行。由于在分析过程期间执行的操作(即，子步骤)不会在用户之间共享，因此用户在执行分析过程中不会相互阻碍。例如，两个或更多个用户可以同时测量人类心脏的二尖瓣的直径，而不会互相打扰。
需要指出，例如，在每个工作空间中仅对分析过程的结果进行共享和可视化，以便向每个用户通知分析过程的结果是可用的。另外，每个用户能够以他/她自己的速度和准确性执行他/她自己的分析过程，而无需立即向所有其他用户示出他/她自己的分析可视化的特征的方法。例如，用户可以在他/她的分析结果在所有用户之间共享之前测试一些不同方法来分析他/她的个体可视化。因此，每个用户都可以自由地以他/她自己的个体方式执行分析过程，而不会被任何其他用户观察到。结果，可以改善每个用户的工作氛围，并且可以提高分析过程的结果的准确性。例如，如果用户执行分析过程并且对他/她自己的表现不满意，他/她能够再次执行该分析过程，而无需向其他用户提供过多的信息(即，无效的测量结果)。优选地，用户可以发信号通知他/她是否完成了他/她的分析过程，以便启动分析过程的结果与所有其他用户(即，工作空间)的同步。可以通过点击虚拟按钮或者通过结束分析过程来执行信号通知。例如，用户可以通过禁用在分析过程期间使用的虚拟工具来发信号通知分析过程已经完成。
例如，分析过程的结果可以是医学图像数据的可视化的特征的至少一个测量结果，例如，距离、直径、厚度等。更详细地，测量结果可以通过以下内容来显示：第一位置处的第一点(起点)、第二位置处的第二点(终点)，以及连接第一点与第二点的线段，其中，要测量的是从第一点到第二点的距离。特别地，分析过程的结果可以是三维注释，例如，可以由用户在他/她的工作空间内画出的3D手绘线。换句话说，分析过程的结果可能不是平面对象，而是在3D坐标系内的三个维度中的任意一个维度上延伸的3D对象。例如，用户可以追溯流过心脏的血流或跟随冠状动脉的行程。
本发明的第一方面提供的优点在于每个用户能够生成他/她自己的医学图像数据的优选可视化，换句话说，每个用户都具有他/她自己的医学图像数据的个体视图。另外，每个用户可以以他自己的方式(例如，个体查看方向、切面位置、阈值和速度)分析和查看医学图像数据的可视化，也就是说，与其他用户相比，某些用户可能需要更多时间来执行特定流程。由于在可视化中没有化身，因此不会出现将医学图像数据的部分隐藏在这样的化身后面的情况。另外，没有经验的用户可以实时跟随其他用户做出的结果，以便更好地理解他们自己无法理解的对象。
此外，XR提供了用户可以非常自信地查看和分析可视化的优点，因为他获得了通过医学图像数据表示的解剖结构的真正三维视图。另外，由于他能够在可视化周围走动，甚至可以进入可视化，因此他能够使得以巨大放大率显示可视化的对象(例如，人类心脏的可视化)，以便完全填满用户面前的空间。因此，用户具有特别好的概览并且可以非常准确地进行测量。另外，对用户输入事件的处理在XR中特别简单直观。诸如旋转对象和/或调节可视化的设置之类的操作在二维屏幕上可能非常棘手，但在XR中非常直观快速(优选使用XR控制器)。
在实施例中，医学图像数据包括人类心脏的图像，优选是4D图像。
本发明可以特别用于规划微创心脏手术，例如，心脏瓣膜手术或心脏瓣膜置换术。新的微创方法(如经导管瓣膜置换术)能够用于以前被认为无法手术和/或不适合进行心脏直视手术的患者。一些经导管瓣膜置换术(例如，TAVR)使用可完全折叠的生物瓣膜。然而，对这些介入措施的成功至关重要的是：对现有的病理情况/几何形状进行全面的分析和理解，并且对新的瓣膜进行仔细选择、大小设置和定位，以确保其正常工作且不会阻塞左心室流出道(LVOT)或冠状动脉。对于瓣中瓣(ViV)介入尤其如此。因此，在微创ViV流程中，功能失调的瓣膜(有时是生物二尖瓣)被新的瓣膜所取代。因此，新的瓣膜位于旧的瓣膜内部，在旧的瓣膜展开时替换旧的瓣膜。因此，至关重要的是瓣膜应被正确定位并且具有正确的大小。特别重要的是新的二尖瓣不会阻塞LVOT。因此，对于在瓣膜介入规划中的瓣膜，医学图像数据包含二尖瓣、LVOT和左心室。
在本发明的优选实施例中，对所述分析过程的所述结果的所述显示可以由用户在他/她的工作空间中选择性地且个体地启用和禁用。
分析过程的每个结果可以被定位在其中定义了医学图像数据的3D坐标系内的特定位置处(即，位置可以通过x坐标、y坐标和z坐标来定义)。也就是说，结果可以位于与医学图像数据有关的特定位置处。由于所有用户共享医学图像数据和结果，因此无论用户以何种方式个体地改变可视化(即，他/她的医学图像数据的个体视图)，结果都会被显示在每个工作空间内。结果可以通过相对较细的线条来可视化，使得结果不太可能覆盖在工作空间中显示的其他对象。尽管如此，也可能存在结果覆盖可视化和/或其他结果的部分的情况。因此，根据本发明的实施例，可以禁用结果以使结果消失并提供对位于结果后面的对象的自由视图。
由于用户中的每个用户都可能具有关于感兴趣区域的不同关注点，因此重要的是每个用户可以个体地决定哪个结果阻碍了对感兴趣区域的充分查看并因此应被禁用。也就是说，每个用户可以选择性地禁用由他/她自己或其他用户做出的结果。另外，启用或禁用结果可能对其他的至少一个工作空间没有影响，使得可以在每个工作空间中独立地执行对结果的启用和禁用。另外，该方法可以允许用户调节结果的透明度，以便透过结果看到置于结果后面的对象。特别地，一旦结果被禁用，用户就可以再次启用结果，以便在他/她的工作空间内再次看到结果。为此，在禁用状态下，可以用小箭头或类似物来指示结果，以向用户提供最初放置结果的位置的信息。结果，用户可以容易地重新获得结果，以便再次启用结果。
根据该实施例，每个工作空间中的可视化可以被进一步个体化，因为每个用户可以以满足他/她在可使用性方面的要求的方式个体地精确调节可视化(即，医学图像数据的个体视图)和结果。
在本发明的另外的优选实施例中，所述至少一个工作空间可以是AR工作空间。也就是说，可视化和结果都被显示在工作空间中，同时真实环境作为工作空间的背景仍然可见。例如，真实环境可以是用户的周围区域(例如，手术室或医生办公室)。另外，根据实施例，对AR工作空间内的至少一个可视化参数(特别是医学图像数据的可视化的透明度和/或颜色和/或分析过程的结果)进行自动调节，以便允许用户查看医学图像数据的可视化和/或以目标对比度叠置在真实环境上的分析过程的结果。
更详细地，可视化参数可以是定义医学图像数据和/或结果被可视化的方式的值。因此，通过改变这些值，可视化也会相应地改变。例如，可视化参数可以包括透明度值，即，对象的透明程度的值。例如，如果对象具有低透明度，则该对象所覆盖的区域是不可见的。另一方面，如果对象具有高透明度，则对象所覆盖的区域可能至少稍微可见。另外，可视化参数可以包括可视化的颜色，即，可视化的色相(hue)或色调(tone)。更详细地，色相是颜色的主要属性(也被称为颜色外观参数)之一。色相通常能够用单个数字来定量表示，其通常对应于颜色空间坐标图(例如，色度图)或色轮上围绕中心或中性点或轴的角度位置；或者通过其主波长或其互补颜色的主波长来定量表示。其他颜色外观参数是色彩、饱和度(也被称为强度或色度)、明度和亮度。在本实施例中，特别地，可以自动调节这些参数，以便在工作空间内获得目标对比度。目标对比度也可以被称为最优对比度。工作空间内的对比度可以被定义为工作空间内的最亮点和最暗点之间的差异，其中，在AR工作空间内也考虑了真实环境。另外，工作空间内的对比度也可以被定义为对比率或动态范围。可以调节医学图像数据和/或结果的可视化，使得AR工作空间内的对比度等同于目标对比度。换句话说，如果真实环境(背景)相对较亮，则可视化和/或结果的亮度也会增大，以便将整体对比度降低到目标对比度。目标对比度可以是预定义的值，该值被定义为对于可视化的可检测性和显眼性而言是最合适的。替代地，目标对比度可以由用户个体地调节和/或设置，以便满足他/她的个人喜好。
根据实施例，每个工作空间都具有其自己的虚拟环境，在所述虚拟环境中，显示所述医学图像数据的所述可视化和所述分析过程的所述结果。虚拟环境可以是显示可视化的背景。另外，根据实施例，所述方法还可以包括以下步骤：允许每个用户个体地且独立地调节所述虚拟环境的可视化参数，以便调节所述工作空间内的对比度，优选通过设置所述虚拟环境的透明度和/或颜色来调节所述工作空间内的对比度。虚拟环境可以是可视化位于其前面的背景。换句话说，虚拟环境可以是包围可视化的周围环境。例如，在使用VR工作空间的情况下，虚拟环境可以包括具有定义的颜色和亮度的着色表面，以便为用户提供愉快的工作环境。也就是说，可以调节虚拟环境，以便在工作空间内提供等同于目标对比度的对比度。另外，用户可以个体地调节虚拟环境。另外，在使用AR工作空间的情况下，真实环境作为工作空间内的背景也可以是可见的。然而，即使是AR工作空间也可能具有带有特定透明度的虚拟环境，以便也为用户提供看到真实环境的可能性。然而，虚拟环境的透明度的值可以是可调节的，以便遮蔽非常明亮的真实环境，使得工作空间内的对比度等同于目标对比度。这在AR工作空间用于诸如手术室之类的相对较亮的环境的情况下尤其有用。换句话说，AR工作空间的虚拟环境允许用户针对真实环境的条件自动调整AR工作空间，同时仍然提供识别真实环境的可能性。此外，针对真实环境的不同光照条件可以容易地调整AR工作空间。结果，无论真实环境的光照条件如何，AR工作空间都可以被适当使用。
有利地，所述虚拟环境可以包括至少一个虚拟控制元件。例如，虚拟控制元件可以是滑动条和/或按钮。控制元件可以用于执行该方法的步骤，例如，改变可视化和/或实施进一步的管理过程，如保存图像，加载医学图像数据，与其他用户通信等。另外，控制元件可以提供下拉菜单，在下拉菜单中，可以列出若干预定义的控制命令。
在另外的优选实施例中，允许每个用户个体地且独立地改变所述医学图像数据的所述可视化的步骤可以包括使用VR控制器以便用户与所述工作空间中的虚拟特征交互。特别地，使用手势(优选通过抓取工作空间中的对象)来执行对可视化的改变。在XR工作空间中，穿戴XR头戴式设备并用一只手握持至少一个控制器(优选在每只手中都握持一个控制器)的用户看见控制器以及可视化。控制器可以是手持式设备，包括另外的操作元件(例如，按钮、轨迹球、触摸板等)。在使用VR工作空间的情况下，可以描绘VR工作空间内的控制器的指示(例如，虚拟控制器)，以便向用户通知控制器位于VR工作空间内的什么地方。优选地，他还能够看到处于与当前手部的位置和取向相对应的位置和取向的虚拟控制器。因此，XR工作空间提供了以下可能性：用户将控制器朝向可视化移动，通过按压特定按钮来抓住控制器，并且利用他的手部移动来移动和/或旋转可视化的对象，就像他在使用真实世界对象一样。因此，用户具有18个自由度(针对XR头戴式设备和两个控制器中的每个各有六个自由度，即，三个旋转自由度和三个平移自由度)，以正确直观地查看和分析可视化的对象。这和与对象相互作用的自然方式非常相似。可以跟踪控制器的移动，并且在VR工作空间内对指示的对应移动进行可视化。另一方面，在使用AR工作空间的情况下，真实控制器可能仍然可见。然而，即使在AR工作空间中，也可以对虚拟控制器进行可视化以改善控制器的显眼性。
位置信息可以通过至少一个传感器(例如，位于控制器内的加速度传感器)来获得。更常见地，(一个或多个)控制器的(一个或多个)位置和/或(一个或多个)取向由VR头戴式设备上的相机来跟踪。由传感器或相机输出的数据可以被输入到处理数据的处理器，以便控制通过对控制器和虚拟控制器的可视化的操作而执行的命令。另外，取决于传感器的输出，处理器可以确定姿势是缓慢执行的还是快速执行的。另外，可以检测旋转移动。结果，处理器可以相应地执行各种过程。
由控制器执行的操作可以包括放大/缩小可视化，按比例缩小/按比例放大工作空间内的可视化，调节可视化参数和绘制设置/参数，和/或抓取所显示的对象，特别是医学图像数据的可视化。
另外，控制器可以接收由用户做出的手势，例如，抓取姿势、放大姿势(靠近两根手指)、缩小姿势(分开两根手指)、擦拭姿势等。另外，例如，可以使用控制器虚拟地抓取可视化并旋转或移动可视化。在XR工作空间中，真实控制器可以被可视化为虚拟控制器，从而允许用户至少通过手势来抓取和移动工作空间内的对象。在这种背景下的“移动”也可能意味着旋转。控制器还可以允许用户改变工作空间内的对象的大小和/或形状，特别是可视化的大小和/或形状。根据有用的实施例，如上所述的控制器允许用户改变可视化的位置、大小、形状和/或取向中的任何一个或多个。特别地，可以调节可视化的位置和/或取向(即，医学图像数据的个体视图)。然而，在有用的实施例中，也可以改变可视化的大小以更好地分析可视化。优选地，通过使用控制器抓取可视化并通过手势改变其位置、大小和/或取向来进行这样的调节，就像对现实世界对象的调节一样。根据有用的实施例，控制器允许用户借助于姿势控制来调节参数。例如，用户通过在XR工作空间中使用手部移动触摸某个参数来选择这个参数。然后他/她可以使用姿势来例如对虚拟滑块进行致动，或者简单地水平(或垂直)移动控制器以调节参数，而不参考任何滑块。合适的参数与可视化有关并且可以从体积绘制阈值、平滑度、照明强度、大小、可视化的对象的不透明度、开始和保持电影模式等中选择。
结果，用户可以在AR/VR工作空间内直观地操作(如移动对象或对操作元件进行操作)，使得这样的协作的效率得到提高。
另外，在有用的实施例中，工作空间可以包括用户可以在工作空间内抓取和移动的灯，以便影响对可视化的照明。在有用的实施例中，也可以调节场景的亮度(特别是可移动灯的亮度)。另外，通过调节灯的位置，可以改变照亮可视化的方向。这对于照亮可视化的解剖结构的腔体特别有用。
优选地，允许每个用户个体地且独立地改变所述医学图像数据的所述可视化的步骤包括操纵所述可视化以旋转所述可视化，切除所述可视化的部分，改变所述可视化的绘制参数，改变所述可视化的图像设置，改变所述可视化的对比度，改变所述可视化的体素强度阈值和/或改变所述可视化的大小。换句话说，如果用户想要看到可视化的另一部分或区域，则操纵(例如，旋转)可视化。也就是说，每个用户都具有他/她自己的医学图像数据的个体视图。以同样的方式，每个用户可以个体地切除可视化的部分，以便获得其中仅显示特定用户感兴趣的可视化的部分的可视化。可视化的绘制参数可以包括绘制的类型(即，体积绘制和/或表面绘制)，并且图像设置可以包括表面的颜色和阴影选项(即，光源在空间中的位置)。另外，用户可以设置他的个体可视化的设置，使得以切片形式或其他形式对医学图像数据进行可视化。另外，可以预设不同的其中显示医学图像数据的可视化，例如，平面视图、右前视图、左前视图、后视图、按钮视图和透视图。预设可以被预先设置或者可以由每个用户预定义。
有利地，至少一个用户可以采用由另一用户对所述医学图像数据的所述可视化所做的一个或多个所述改变。也就是说，通过采用另一用户的可视化(即，医学图像数据的个体视图)，将可视化转移到至少一个其他用户的工作空间，使得至少两个用户具有相同的医学图像数据的个体视图。如果有经验的用户(例如，教师)当前正在向其他用户(例如，学生)解释某些内容，则该流程可以特别有用。结果，其他用户可能能够向更有经验的用户学习。换句话说，向(一个或多个)其他用户提供与有经验的用户相同的医学图像数据的个体视图。可以连续执行从一个个体视图到另一个体视图的切换，以向用户示出个体视图以何种方式改变。替代地，可以通过在鸟瞰视图中对切换进行可视化来图示个体视图之间的切换，也就是说，在俯视图中图示两个个体视图之间的改变。
替代地，一个用户可以强制至少一个其他用户采用他/她对所述医学图像数据的所述可视化的一个或多个改变。也就是说，用户可以强制其他用户精确地看到他/她所看到的内容(即，具有相同的个体视图)，这在一个用户想要向其他用户示出工作流程的特定部分的过程中会特别适用。因此，提高了协作的效率。在另外的优选实施例中，仅允许一个用户决定医学图像数据的可视化的(哪个或哪些)改变可以与其他用户共享(即，该用户可以是演示者和/或教师)，而其他用户具有受限的功能并且可能不被允许共享医学图像数据的可视化的任何(一个或多个)改变(例如，用户可以是参与者和/或学生)。
在另外的优选实施例中，允许至少一个用户在他/她的工作空间中执行所述医学图像数据的分析过程的步骤还包括进行3D测量，执行MPR模式和/或插入注释。也就是说，分析过程的结果可以是与可视化的特定方面有关的一个或多个注释，例如，先前执行的治疗的背景信息、与异常有关的用户评论等。每个结果可以通过工作空间中的每个工作空间内的细线来实时可视化，因为结果属于所有用户共享的医学图像数据。也就是说，在获得了结果后，每个用户都会立即在其个体视图中看到结果。3D测量结果可以是在3D维度空间中的测量结果，也就是说，在x坐标、y坐标和z坐标中的每个上彼此不同的两个点之间的距离。另外，3D测量可以涉及跟踪非平面的、不规则形状的对象，例如通过测量空间中的几个点(例如，沿着诸如二尖瓣环之类的不规则形状的对象的点)所跨越的距离来实现的测量。这样的非平面测量无法在2D屏幕上执行，但是在本发明的XR工作空间中能够轻松完成。MPR模式可以是多平面重建，它是一种二维图像重建的方法。在MPR中，根据横向截面来计算正切截面、矢状截面、斜切截面或弯曲截面，并且显示这些截面以帮助用户进行解剖定位。例如，斜切截面有助于心脏成像(四腔观视图、短轴截面)、为了表示血管(例如，冠状动脉)或输尿管而进行的沿着本身弯曲多次的结构的弯曲重建。为了获得高质量的MPR重建，应当以较小的层厚度采集(例如通过CT获得的)医学图像数据。另外，应当选择较小的层厚度以避免在图像重建期间的阶跃伪影。将几层相加可以降低图像噪声。阈值化可以是对每个体素的阈值边界的调整，以便更好地对感兴趣区域进行可视化。
优选地，允许至少一个用户在他/她的工作空间中执行所述医学图像数据的所述分析过程的步骤还包括在所述医学图像数据的所述可视化内定位医学设备的至少一个模型，特别是定位植入物的至少一个模型，以便确定其操作位置。医学设备的模型可以是计算机图形对象。也就是说，医学设备的模型可以被额外地显示在XR工作空间内。医学设备可以是植入物或任何其他要被放置在人类或动物身体内的设备。计算机图形对象例如是几何数据的表示，例如，通过顶点定义的3D结构，例如，多面体。计算机图形对象优选被锁定到解剖结构的移动，即，在任何一帧中，计算机图形对象都被放置在相对于可视化的一个特定位置和取向中一次。当用户启动电影模式时，控制可视化的处理器记住医学设备相对于可视化的相对位置和取向，并且将保持该相对位置和取向。在医学设备表示新的瓣膜的情况下，这样的新的瓣膜能够被锁定到瓣膜环(例如，二尖瓣环)的移动。优选地，这可以使用3D散斑来完成。因此，递送了整个心动周期内的重要动态信息，并且瓣膜可以被最优地定位在其操作位置(即，其最优位置)中，从而避免或限制了对流出的任何阻塞。另外，用户可以使用控制器来相对于可视化移动和倾斜计算机图形对象。因此，用户不仅能够测量选定的植入物(例如，替换瓣膜)或植入物大小，还可以“试用”该选定的植入物(例如，替换瓣膜)或植入物大小以查看它是否适配解剖特征(例如，二尖瓣)。例如，用户可以从库中选择最佳适配的瓣膜并将该瓣膜(或者更确切地说是与该瓣膜相对应的计算机图形对象)放置在可视化内部以用于初始检查。在有用的实施例中，计算机图形对象对应于医学设备的CAD模型(例如，在医学设备的设计和/或生产中使用的CAD模型)，或者更优选地对应于其简化模型(例如，心脏瓣膜的简化模型)。
在另一实施例中，计算机图形对象看起来类似于医学设备在介入X射线图像(荧光透视图像)上的样子，因为微创介入几乎总是在荧光透视的控制下进行的。因此，用户可以在三个维度上对场景进行可视化，并且了解植入物在荧光透视图像上的样子。计算机图形对象优选是三维的，它例如可以是植入物的简化模型，例如是丝网或由一组简单表面定义的对象的形式。
根据本发明的优选实施例，通过在操作中对所述医学设备进行动态可视化来确定所述医学设备的所述模型的所述操作位置，优选结合所述4D图像信息来确定所述医学设备的所述模型的所述操作位置。换句话说，当医学设备(例如，人工二尖瓣)的模型被定位在其预期位置处时，使用4D医学图像数据(即，(例如在电影模式下的)3D医学图像数据的序列)对在操作中要研究的对象(例如，心脏)进行可视化。医学设备的(例如在心跳期间的)动态移动可以基于被跟踪的4D图像数据。例如，在3D图像数据的序列上跟踪与医学设备交互的特定界标，并且相应地调节医学设备的虚拟位置。随后，用户可以调查医学设备的特定模型如何结合被检查的特定解剖结构进行工作。
总之，本发明根据第一方面提供了一种与位置无关的XR协作工具，所述XR协作工具提供了互连通信的概念，其中，医学图像数据和分析过程的结果由所有用户共享，而每个用户在他/她自己的工作空间内仍然具有他/她自己的医学图像数据的个体视图(即，他/她自己的医学图像数据的副本/可视化)。
根据本发明的第二方面，提供了一种包括权利要求12的特征的计算机程序。所述计算机程序包括程序代码指令，所述程序代码指令在由处理器执行时使得所述处理器能够执行上述方法。计算机程序可以是任何代码，特别是适用于计算机图形应用的代码，特别是适用于XR编程的代码。
另外，可以提供包括上述计算机程序的计算机可读介质。计算机可读介质可以是任何数字存储设备，例如，USB棒、硬盘、CD-ROM、SD卡或SSD卡。自然地，计算机程序不需要被存储在这样的计算机可读介质上以被提供给客户，而是可以经由互联网被下载。
优选地，根据本发明的方法由处理器来执行，该处理器可以被结合在任何能够控制显示器的电子设备中，该显示器特别是XR显示器(例如，XR头戴式设备)或投影显示器。这样的数字设备可以是计算机、PC、服务器、电视机、平板电脑、智能手机、膝上型电脑、手持式设备等。处理器也可以是云计算机、工作站或医学图像设备(特别是超声扫描器)的控制台的部分。
根据本发明的第三方面，提供了一种被配置为在执行上述方法中使用的用户接口，其中，所述用户接口包括：
XR显示设备，特别是VR头戴式设备，其用于在工作空间内将医学图像数据的可视化和分析过程的结果实时显示给用户，
其中，所述工作空间是XR工作空间，并且
其中，所述工作空间包括虚拟环境，以便在所述虚拟环境内显示医学图像数据的所述可视化和所述分析过程的所述结果，以及
被跟踪的控制器，其被配置为在所述方法的执行期间被使用，以便通过所述用户的姿势来输入命令，其中，所述命令包括：
选择性地且个体地启用和禁用对所述分析过程的所述结果的所述显示。
结合本发明的方法描述的有用的实施例的任何特征也适用于所述用户接口。
用户接口例如是一个系统，所述系统至少包括屏幕或显示器，并且通常还包括输入元件，例如，XR控制器和/或按钮或滑块，从而允许用户(例如通过调节可视化参数/设置、缩放、注释和/或移动或倾斜可视化)与显示器的内容进行交互。
优选地，所述命令还可以包括个体地且独立地调节所述用户的所述工作空间内的对比度，优选通过设置所述虚拟环境的透明度和/或颜色来个体地且独立地调节所述用户的所述工作空间内的对比度。
根据本发明的第四方面，提供了一种用于在虚拟多用户协作中分析医学图像数据的系统，所述系统包括：处理器，其被配置为执行上述方法，以及至少两个用户接口，其被连接到所述处理器。
结合本发明的方法描述的有用的实施例的任何特征也适用于所述系统。
可以使用市售的VR装备来实现虚拟现实环境，例如，HTC VIVE Pro虚拟现实系统，其包括一个VR头戴式设备、两个VR控制器、两个位置跟踪器(由中国台湾省桃园市330的HTC公司制造)；或Oculus Rift S(Oculus，Facebook Technologies，LLC)。这款头戴式设备不需要在房间内的单独的位置跟踪器，因为位置跟踪功能由头戴式设备本身提供。
附图说明
现在将参考附图来描述本发明的有用的实施例。在附图中用相同的附图标记来指代相似的元件或特征。在附图中：
图1示出了穿过人类心脏的示意性横截面(4腔观视图)；
图2示出了医学图像的序列的示意性表示；
图3是示意性图示根据本发明的实施例的虚拟多用户协作的原理图；
图4示出了根据本发明的实施例的用户接口；
图5示出了图示根据本发明的实施例的方法的流程图。
具体实施方式
为了更好地可视化本发明的用于在虚拟多用户协作中分析医学图像数据的方法的优选应用，图1图示了人类心脏1的结构。来自肺部的血液流入左心房2，然后从左心房2流过二尖瓣3而进入左心室4。血液从左心室4流过主动脉瓣5而被泵入主动脉6。这部分也被称为左心室流出道(LVOT)。来自身体的血液流入右心房7并流过三尖瓣8而被泵入右心室9。血液从右心室9流过肺动脉瓣10而被泵入肺动脉11。心脏壁12由包围心脏腔室2、4、7和9的肌肉组织构成。左心室和右心室由隔膜13隔开。从图1中明显看到，心脏具有复杂的形状，并且还随着心跳不断移动，即，心脏是动态的解剖结构。因此，分析诸如二尖瓣3之类的复杂结构以规划瓣膜置换是困难的并且容易出错。也就是说，图1中的心脏1表示通过MR、计算机断层摄影(CT)、正电子发射断层摄影(PET)、超声(US)或经食道超声心动描记(TEE)实现的3D医学图像数据的示例。为了实现4D医学图像数据，时间被用作第四维度。
图2示出了基于医学图像数据的心脏1的超声图像序列M1、M2、M3、…MZ的示意性表示。Z是在一个心动周期期间(即，在时间T内)采集的图像的数量，其中，T为大约0.5至1.5秒。为了简化起见，该图示出了二维图像，然而，根据本发明，在每个时间点ti处采集了三维图像。三维医学图像可以由二维图像的堆叠形成。四维医学图像可以由按顺序相继显示的多幅三维医学图像形成。例如，通过(例如利用TEE探头)对移动的心脏进行超声心动描记，可以采集这样的图像序列M1、M2、M3、…MZ。医学图像序列M1、M2、M3、…MZ表示4D医学图像数据。
在本发明的一个实施例中，跨学科心脏团队(IHT)规划心脏手术，并且应该在实际手术前讨论复杂方面。为了确保IHT的所有参与者对患者解剖结构和规划的流程都具有相同的理解，该团队安排虚拟多用户协作。在协作期间，该团队的每个成员在不同的位置。IHT包括：介入心脏病学专家C、心脏麻醉师A、OR/导管实验室护士N，以及心脏病外科医生S。图3示意性地示出了根据本发明的实施例的虚拟多用户协作的原理。
如图3所示，每个参与者/用户都具有他/她自己的工作空间WS。提供3D或4D医学图像数据34并将其加载，以便在每个工作空间30中对其进行可视化。结果，针对每个工作空间生成并提供医学图像数据34的个体可视化32。换句话说，每个用户都具有他/她自己的医学图像数据34的个体视图32。随后，用户中的每个用户开始利用该可视化进行工作。首先，每个用户改变该可视化，以便满足他/她对分析医学图像数据34的可视化的要求。
不同的用户查看和分析数据集的情况(缩放水平、阈值/对比度/亮度设置、优选查看角度等)存在显著的个体差异。因此，每个用户都具有他/她自己的医学图像数据34的可视化的隔离副本32，并且能够使用控制器36对图像设置进行重新调节大小、旋转、平移和设置。这种处理/查看设置部分的任何内容都不会被转移到任何其他用户。例如，介入心脏病学专家C偏好以较高的阈值设置将可视化示为大小大致为40cm并且距他的头部为50cm而使得二尖瓣4的小叶消失，并且从左心房2通过二尖瓣4进入左心室4的方向进行查看。另一方面，心脏麻醉师A偏好以较低的阈值设置尽可能大地(100-120cm)显示可视化，使得他/她能够将他/她的头部移入可视化而使得小叶容易被看见并且从侧面的方向且以两腔观视图进行查看。另外，OR/导管实验室护士N和心脏外科医生S偏好投射到可视化上的另外的个体视图。每个用户个体地且独立地执行对可视化32的这种改变，以便获得个体可视化(即，医学图像数据的个体视图)。应当注意，用户不会看到由其他用户执行的对医学图像数据的个体视图的改变。
另外，在医学图像数据由于可用的新的测量结果而改变的情况下，基于医学图像数据的可视化被自动更新。也就是说，在每个工作空间30中，基于由所有用户共享的医学图像数据来更新可视化。新的医学图像数据可用的另一个原因是分析患者器官是与协作同时发生的，并且例如在患者处于紧急情况下直接提供所采集的数据。另外，每个用户在他/她的工作空间30中看到可视化基于医学图像数据的哪个版本。另外，每个用户可以在不同的可视化版本之间个体地改变。
然后，启动分析过程，并且每个用户在具有医学图像数据的个体视图的同时在他/她的工作空间30中执行分析过程。也就是说，每个用户都使用控制器在他/她自己的工作空间30内做出他/她自己的测量结果/注释(作为分析过程的结果)。换句话说，每个用户都控制医学图像数据，因为他/她经由他/她自己的工作空间30将分析过程的结果直接加入到医学图像数据中。同时，经由控制器输入的测量结果/注释被发送到由所有用户共享的医学图像数据。因此，每个用户都在他/她自己的医学图像数据的可视化内实况看到其他用户的测量结果/注释。结果，每个用户都可以立即看到和接收其他用户的测量结果/注释，以便潜在地将其他用户的测量结果/注释用于他/她自己的方法。
例如，向所有4个用户同时显现相同的图像数据集。每个用户(C、A、N和S)都做出他自己的测量结果和注释。每个用户都在他自己的图像数据集的可视化上实况看到其他用户的注释。作为示例，心脏病学专家C和外科医生S对于哪个流程是正确的这一问题可能具有不同的想法，但是在看到这两种方法之后，麻醉师A具有另一想法，这种想法以有意义的方式将S和N的方法结合在一起。当使用本发明的方法时，S和N将做出不同的测量结果和注释，这两者都能够被A看到。因此，A可以在他自己的图像数据集的可视化上注释他的改进的提议。每一个用户都在他自己的模型/可视化上实况看到他的新的注释并同意他的新的注释。因此，能够实现更有效的跨学科心脏会议。
由于测量结果/注释被直接转移到由所有用户共享的医学图像数据34(即，与所有用户共享的医学图像数据34同步)，因此测量结果/注释可以隐藏或者覆盖在另一用户的工作空间30中的可视化的部分。因此，如果在一个用户的工作空间30中隐藏和/或覆盖了可视化的部分，则用户可以禁用相应的测量结果/注释。替代地，用户可以调节测量结果/注释而使其是透明的。
也就是说，根据本发明，在不必要的交互较少的协作期间，测量结果/注释的共享更快，并且每个用户获得感兴趣区域的不受限制的视图，而不管VR会话中有多少参与者。另外，由于个体对解剖结构的理解不同，因此对医学3D数据集中的参考点和结构的不同感知不可避免地导致观察者间的可变性、不同的测量(流程)、不同的假设和对解剖相关性的不同解读。然而，根据本发明，避免了这些现象，因为每个用户都可以以他/她偏好的工作方式个体地改变可视化。另外，用户现在在他的个体视图中实况看到他的改变和其他用户的改变，他能够根据他的个人偏好来处理和调节他的个体视图。
在本发明的另一实施例中，至少一个工作空间30是AR工作空间。换句话说，除了用户看到可视化和真实环境以外，该流程与前一实施例的流程相同，其中，真实环境形成可视化的背景。为了使得用户能够充分地看到和分析可视化，在该实施例中，AR工作空间具有被插入在可视化与真实环境之间的虚拟环境。结果，可以通过增加虚拟环境的不透明度来遮蔽真实环境。结果，AR工作空间30可以自动设置虚拟背景的不透明度/透明度，以便在工作空间30内提供目标对比度。当用户同时与真实环境中的人(例如，患者)交互时，AR工作场所特别有用。另外，虚拟环境会针对变化的光照条件自动调整。替代地，在另一实施例中，每个用户可以个体地调节虚拟环境，以便满足他/她自己的要求和/或表现。
根据另外的实施例，用户能够将他们的个体视图与另一用户(例如，向教室里的学生示出医学设备的关键测量结果或定位结果的教师)同步。也就是说，与协作的另外一个或多个参与者共享朝向可视化的个体视图32。用户能够将自己置于最优查看位置中并以实况真实3D形式观看其他(例如，更有经验的)用户，同时他们在可视化内做出某些测量结果、注释或者定位设备(如人工心脏瓣膜)以确定他们的最优位置。例如，“教师”能够(从学生的视图)首先观察学生将如何进行特定的注释/测量，然后将一个或多个学生的个体视图与他自己的个体视图同步，例如在他想从他的确切视角展示介入或测量的特定部分时。对于这种场景，一个用户将接管审核部分，类似于GoToMeeting(“演示者/教师”)，而所有其他参与者(“参与者/学生”)具有更加受限的功能。
在优选实施例中，用户接口为VR接口，如图4所示。这样的接口由用户80穿戴的虚拟现实头戴式设备82来实现。头戴式设备82通过线缆或者通过无线连接被连接到计算机72。这样的虚拟现实头戴式设备82包括单独用于每只眼睛的内部显示器以及跟踪头部移动的位置传感器84。这样的头戴式设备还可以包括相机(在要呈现增强现实环境的情况下)。另外，用户80在他的手中握持VR控制器86，其中，控制器86还包括位置传感器(未示出)以及按钮或其他输入元件。这样的虚拟现实控制器86允许用户抓取和移动在虚拟现实环境50中显示的对象。VR头戴式设备例如可以是HTC VIVE头戴式设备和对应的VR控制器。
图5示出了图示根据本发明的实施例的方法的流程图。在步骤90中，提供包括示出例如移动的心脏的3D或4D图像信息的医学图像数据。在提供4D医学图像数据的情况下，序列跨越与一次心跳相对应的时间段。在步骤92中，将医学图像数据加载到每个用户的工作空间30中，以便(例如通过生成体积绘制或表面绘制的可视化)同时向每个用户显示医学图像数据的可视化。在步骤94中，允许每个用户个体地且相互独立地改变医学图像数据的可视化，以便在涉及每个用户的每个工作空间30中获得医学图像数据的个体可视化(即，他/她的医学图像数据的个体视图)。在步骤96中，允许至少一个用户在他/她的工作空间30中执行医学图像数据的分析过程。这样的分析过程包括做出被定位在3D坐标系内的测量结果和注释。在步骤98中，在执行分析过程的工作空间30中显示分析过程的结果。在步骤100中，将分析过程的结果与至少一个其他工作空间30实时同步，使得每个工作空间30在医学图像数据的相应的个体可视化中显示分析过程的结果。步骤96至100是同时执行的，也就是说，在步骤96中做出的测量结果和注释在工作空间中的每个工作空间中是直接可见的，因为测量结果和注释是直接在由每个用户共享的医学图像数据34中实施的。
虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应被认为是图示性的或示例性的而非描述性的；本发明不限于所公开的实施例。

Claims (15)

1.一种用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，
所述医学图像数据(34)由至少两个用户(A、N、C、S)分析，
每个用户都具有他/她自己的工作空间(30)，其中，所述工作空间(30)是XR工作空间，
所述方法包括以下步骤：
提供包括3D或4D图像信息的医学图像数据(34)，
将所述医学图像数据(34)加载到每个用户(A、N、C、S)的所述工作空间(30)中，以便将所述医学图像数据(34)的可视化(32)同时显示给每个用户，
允许每个用户(A、N、C、S)个体地且相互独立地改变所述医学图像数据(34)的所述可视化(32)，以便在涉及每个用户的每个工作空间中获得所述医学图像数据(34)的个体可视化(32)，
允许至少一个用户(A、N、C、S)在他/她的工作空间(30)中执行所述医学图像数据(34)的分析过程，
在执行所述分析过程的所述工作空间(30)中显示所述分析过程的结果，并且
将所述分析过程的所述结果与至少一个其他工作空间(30)实时同步，使得每个工作空间(30)在所述医学图像数据(34)的相应的个体可视化(32)中显示所述分析过程的所述结果。
2.根据权利要求1所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，允许至少一个用户(A、N、C、S)在他/她的工作空间(30)中执行所述医学图像数据(34)的分析过程的步骤由至少两个用户同时执行。
3.根据权利要求1或2所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，对所述分析过程的所述结果的所述显示可以由用户(A、N、C、S)在他/她的工作空间中选择性地且个体地启用和禁用。
4.根据权利要求1至3中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，
其中，至少一个工作空间(30)是AR工作空间或MR工作空间，并且
其中，对所述AR工作空间或所述MR工作空间内的至少一个可视化参数，特别是所述医学图像数据(34)的所述可视化(32)的透明度和/或颜色和/或所述分析过程的所述结果进行自动调节，以便允许所述用户(A、N、C、S)查看所述医学图像数据(34)的所述可视化(32)和/或以目标对比度叠置在真实环境上的所述分析过程的所述结果。
5.根据前述权利要求中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，
其中，每个工作空间(30)都具有其自己的虚拟环境，在所述虚拟环境中，显示所述医学图像数据(34)的所述可视化(32)和所述分析过程的所述结果，并且
其中，所述方法还包括以下步骤：
允许每个用户(A、N、C、S)个体地且独立地调节所述虚拟环境的可视化(32)参数，以便调节所述工作空间(30)内的对比度，优选通过设置所述虚拟环境的透明度和/或颜色来调节所述工作空间(30)内的对比度。
6.根据权利要求5所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，所述虚拟环境包括至少一个虚拟控制元件。
7.根据权利要求1至6中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，允许每个用户(A、N、C、S)个体地且独立地改变所述医学图像数据(34)的所述可视化(32)的步骤包括使用控制器(36)以使用手势来执行所述可视化(32)的所述改变，优选通过在所述工作空间(30)中抓取对象来执行所述可视化的所述改变。
8.根据权利要求1至7中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，允许每个用户(A、N、C、S)个体地且独立地改变所述医学图像数据(34)的所述可视化(32)的步骤包括操纵所述可视化(32)以旋转所述可视化(32)，切除所述可视化(32)的部分，改变所述可视化(32)的绘制参数，改变所述可视化的图像设置，改变所述可视化的对比度，改变所述可视化(32)的体素强度阈值和/或改变所述可视化(32)的大小。
9.根据权利要求1至8中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，
其中，至少一个用户(A、N、C、S)可以采用由另一用户对所述医学图像数据(34)的所述可视化(32)所做的一个或多个所述改变，或者
其中，一个用户可以强制至少一个其他用户采用他/她对所述医学图像数据(34)的所述可视化(32)的一个或多个改变。
10.根据权利要求1至9中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，允许至少一个用户(A、N、C、S)在他/她的工作空间(30)中执行所述医学图像数据(34)的分析过程的步骤还包括进行3D测量，执行MPR模式和/或插入注释。
11.根据权利要求1至10中的任一项所述的用于在虚拟多用户协作中分析医学图像数据(34)的方法，其中，允许至少一个用户(A、N、C、S)在他/她的工作空间(30)中执行所述医学图像数据(34)的所述分析过程的步骤还包括在所述医学图像数据(34)的所述可视化(32)内定位医学设备的至少一个模型，特别是定位植入物的至少一个模型，以便确定其操作位置，
其中，通过在操作中对所述医学设备进行动态可视化来确定所述医学设备的所述模型的所述操作位置，优选结合所述4D图像信息来确定所述医学设备的所述模型的所述操作位置。
12.一种包括程序代码指令的计算机程序，所述程序代码指令在由处理器执行时使得所述处理器能够执行根据权利要求1至11中的任一项所述的方法。
13.一种用户接口，其被配置为在执行根据权利要求1至11中的任一项所述的方法中使用，其中，所述用户接口包括：
XR显示设备，特别是VR头戴式设备(80)，其用于在工作空间(30)内将医学图像数据(34)的可视化(32)和分析过程的结果实时显示给用户(A、N、C、S)，
其中，所述工作空间(30)是XR工作空间，并且
其中，所述工作空间(30)包括虚拟环境，以便在所述虚拟环境内显示医学图像数据(34)的所述可视化(32)和所述分析过程的所述结果，以及
被跟踪的控制器(36)，其被配置为在所述方法的执行期间被使用，以便通过所述用户的姿势来输入命令，其中，所述命令包括：
选择性地且个体地启用和禁用对所述分析过程的所述结果的所述显示。
14.根据权利要求13所述的用户接口，其中，所述命令还包括：
个体地且独立地调节所述用户的所述工作空间(30)内的对比度，优选通过设置所述虚拟环境的透明度和/或颜色来个体地且独立地调节所述用户的所述工作空间内的对比度。
15.一种用于在虚拟多用户协作中分析医学图像数据(34)的系统，包括：
处理器(72)，其被配置为执行根据权利要求1至11中的任一项所述的方法，以及
至少两个根据权利要求13或14所述的用户接口，其被连接到所述处理器。
CN202080061842.1A 2019-09-03 2020-08-28 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统 Pending CN114391158A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19195018.7 2019-09-03
EP19195018.7A EP3790023A1 (en) 2019-09-03 2019-09-03 Method for analyzing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system
PCT/EP2020/074132 WO2021043684A1 (en) 2019-09-03 2020-08-28 Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system

Publications (1)

Publication Number Publication Date
CN114391158A true CN114391158A (zh) 2022-04-22

Family

ID=67847595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061842.1A Pending CN114391158A (zh) 2019-09-03 2020-08-28 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统

Country Status (5)

Country Link
EP (2) EP3790023A1 (zh)
JP (1) JP2022547450A (zh)
CN (1) CN114391158A (zh)
CA (1) CA3152809A1 (zh)
WO (1) WO2021043684A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3223738A1 (en) * 2021-06-29 2023-01-05 Torin Arni Taerum Systems and methods for medical image presentation in multiple contexts
CN113456220B (zh) * 2021-06-30 2023-02-28 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714855B2 (en) 2004-05-17 2010-05-11 Siemens Medical Solutions Usa, Inc. Volume rendering processing distribution in a graphics processing unit
CN102150072B (zh) * 2008-07-10 2013-08-21 实景成像有限公司 宽视角显示和用户接口
EP3496046A1 (de) 2018-02-13 2019-06-12 Siemens Healthcare GmbH Verfahren zur darstellung dreidimensionaler medizinischer bildinformationen

Also Published As

Publication number Publication date
EP3790023A1 (en) 2021-03-10
JP2022547450A (ja) 2022-11-14
CA3152809A1 (en) 2021-03-11
EP4026143A1 (en) 2022-07-13
WO2021043684A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP6883177B2 (ja) 解剖学的アイテムのコンピュータによる視覚化
US10359916B2 (en) Virtual object display device, method, program, and system
JP2022017422A (ja) 拡張現実感手術ナビゲーション
JP6837551B2 (ja) Ｈｍｄｓに基づく医学画像形成装置
US20170035517A1 (en) Dynamic and interactive navigation in a surgical environment
CN112740285A (zh) 在虚拟环境中对医学图像的叠加和操纵
Pinter et al. SlicerVR for medical intervention training and planning in immersive virtual reality
JP2013521971A (ja) 医療処置のコンピュータ化シミュレーションを行うシステム及び方法
US20220130046A1 (en) Method of visualizing a dynamic anatomical structure
EP3497600B1 (en) Distributed interactive medical visualization system with user interface features
WO2020205714A1 (en) Surgical planning, surgical navigation and imaging system
Krapichler et al. VR interaction techniques for medical imaging applications
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
CN114391158A (zh) 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统
KR101903996B1 (ko) 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치
US20230054394A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery
Grandi et al. Spatially aware mobile interface for 3d visualization and interactive surgery planning
RU2808612C2 (ru) Способ визуализации динамической анатомической структуры
US20230230321A1 (en) Extended reality-based user interface add-on, system and method for reviewing 3d or 4d medical image data
EP4160543A1 (en) Method for analysing 3d medical image data, computer program and 3d medical image data evaluation device
EP3951749A1 (en) Collaborative system for visual analysis of a virtual medical model
Sutherland et al. Augmented and Virtual Reality in Medicine
Foo et al. Isis: Patient Data Visualization and Surgical Planning in an Interactive Virtual Environment
Bartlett The Use of Augmented Reality in the Operating Room: a Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination