CN113302660A - 对动态解剖结构进行可视化的方法 - Google Patents

对动态解剖结构进行可视化的方法 Download PDF

Info

Publication number
CN113302660A
CN113302660A CN202080009694.9A CN202080009694A CN113302660A CN 113302660 A CN113302660 A CN 113302660A CN 202080009694 A CN202080009694 A CN 202080009694A CN 113302660 A CN113302660 A CN 113302660A
Authority
CN
China
Prior art keywords
volume
interest
dimensional
dynamic
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080009694.9A
Other languages
English (en)
Inventor
M·史瑞克恩伯格
N·黑楚里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113302660A publication Critical patent/CN113302660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种对动态解剖结构(1)进行可视化的方法、计算机程序和用户接口。所述方法包括：(a)提供跨时间段(T)的动态解剖结构(1)的三维医学图像(M1、M2、M3、…、MZ)的序列，(b)提供动态模型(14)，特别是所述解剖结构的表面，(c)确定包含所述三维图像中的每一幅内的感兴趣解剖特征(3)的感兴趣体积(40)，其中，所述感兴趣体积(40)在所述时间段上跟随所述感兴趣解剖特征(3)的位置和/或形状，并且其中，所述感兴趣体积(40)小于所述三维医学图像(M1、M2、M3、…、MZ)的完整视场，以及(d)提供三维可视化环境(50、70)，其中，对应于特定时间点的可视化(45)包括(i)所述三维图像的所述感兴趣体积(40)的体积绘制；以及(ii)在相同坐标系中的所述动态模型(14)的可视化。优选地，所述三维可视化环境(50、70)允许以电影模式在所述时间段上针对每幅三维图像显示所述动态模型(14)和经体积绘制的感兴趣体积(40)。

Description

对动态解剖结构进行可视化的方法
技术领域
本发明涉及一种对动态解剖结构进行可视化的方法，涉及一种相关的计算机程序和用户接口。
背景技术
医学成像技术提供人体或动物体的三维(3D)图像数据。然而，通常在二维(2D)屏幕上查看图像。因此，当在2D屏幕上的正交平面中查看和分析3D数据集时，存在错误解读医学3D数据上表示的解剖结构之间的相对空间关系的普遍风险。常见的错误源是选择不正确放置或扭曲的测量平面用于分析解剖结构和对解剖结构进行测量。
3D体积绘制是用于显示3D图像数据集的2D投影的技术的集合。然而，尽管3D体积绘制有助于形成解剖结构的思想3D模型，但是它强烈依赖于图像质量以及所选择的设置(阈值、平滑等)。它经常包含图像误差，并且因此携带用户不再批判性地质疑或验证解剖结构的经体积绘制的表示的风险。然而，当用于复杂病理(例如肿瘤、破裂的腱或钙化的生物假体)时，用一个或多个阈值分割3D体积的方法仍然是令人感兴趣的。
另一方面，解剖结构的简化模型在临床实践中享有高声誉，因为它们能够补偿差的图像质量并且解读起来更容易且更快。动态表面模型的示例是TOMTEC
Figure BDA0003166561340000011
TOMTECImaging Systems GmbH的市售软件4D
Figure BDA0003166561340000012
或4D MV的特征，其是右心室腔的动态表面模型。然而，它们不适合于所有病理，因为复杂且精细的结构未被适当地捕获和显示。
因此，分割和显示复杂解剖结构的医学图像数据(例如心脏3D体积数据)的目前方法通过使用表面或形状模型将解剖特性简化太多，或使用能够导致错误结论的基于阈值的分割。因此，重要的几何相关性和信息(其例如在规划心脏介入时是必要的)可能丢失或被忽略。
一些研究涉及基于CT或3D回波数据的医学模型的3D打印。然而，3D打印过程花费大量时间和专业知识，是昂贵的，不能包括在日常临床例程中，并且不能表示解剖结构的动态移动(特别是对于3D回波)。
虚拟现实(VR)已经用于可视化医学图像数据。例如，Thomas S.
Figure BDA0003166561340000021
等人在“Anew virtual reality approach for planning of cardiac interventions”(Artificial Intelligence in Medicine 22(2001)，193-2014)中公开了心脏磁共振(MR)数据的虚拟现实可视化。所公开的方法包括优化的呼吸补偿3D MR扫描、分割、模型生成和交互式虚拟现实可视化。分割导致平行平面中的轮廓的集合，定义心血管系统的不同解剖部分。通过连接这些轮廓来创建3D模型。使用快门眼镜结合“holobench”(彼此成90°角的两个显示器的设置)来查看模型。
Cristian A.Linte等人在“Virtual reality-enhanced ultrasound guidance:Anovel technique for intracardiac interventions”(Computer Aided Surgery，2008年3月，13(2)，82-94)中公开了一种用于可视化实时术中超声心动图的虚拟现实环境。能够向外科医生呈现术前图像和磁跟踪手术器械的位置，以增强术中超声图像。使用基于特征的配准技术将术前图像与术中TEE(经食管超声心动图)数据配准。
US2014/052001Al公开了使用表示组织的B模式数据和表示反流射流的流动数据两者，以便利用机器学习分类器自动地检测二尖瓣。可以使用一系列分类器，诸如利用一个分类器确定瓣膜区域的位置和取向，利用另一个分类器确定反流孔口，并且利用第三分类器定位二尖瓣解剖结构。可以基于瓣膜区域的取向来计算针对分类器中的一些的一个或多个特征。一旦检测到二尖瓣，就将其绘制为网格模型并叠加在心脏的绘制上。
US2016220311Al公开了一种从医学成像系统采集图像数据的处理器。所述处理器根据图像数据生成第一模型。所述处理器生成计算模型，该计算模型包括根据第一模型估计的心脏电生理学和心脏力学。所述处理器对计算模型执行测试以确定治疗的结果。所述处理器将所述结果叠加在介入图像上。使用介入成像，可以在治疗期间更新/叠加第一心脏模型以可视化其对患者心脏的影响。
US2008194957A1公开了一种用于产生对象的三维图像的方法。该方法包括提供对象的模型，从对象外部的源换能器声穿透对象的区域，在对象外部的接收换能器处接收来自对象的返回回波，处理返回回波并生成对象的混合图像，该混合图像包括响应于对象的模型的对象区域和响应于返回回波的对象区域。
Lin W.等人在“Visualisation of cardiac dynaM1cs using physics-baseddeformable mode”(visual communications and image processing；20-1-2004-201-2004；San Jose，第3976卷，2000年2月15日(2000-02-15)，第210-217页，XP008019251，DOI:10.1117/12.383043ISBN:978-1-62841-730-2)中公开了创建显示左心室的动态运动的图像。因此，提供了第一种方法，根据该方法来创建表面模型。此外，提供了第二种方法，根据该方法，基于物理的可变形模型，在该模型中，通过跟随连续时间点表面模型中的连接的对应顶点的轨迹来变形表面网格。
因此，本发明的目的是提供一种对动态解剖结构进行可视化的方法，其最小化对图像数据进行错误解读的风险，并且特别是最小化对解剖特征之间的相对空间关系进行错误解读或不正确测量的风险。
发明内容
为了更好地解决上述问题中的一个或多个，根据本发明的第一方面，提供了一种对动态解剖结构进行可视化的方法。所述方法包括以下步骤：
a)提供跨时间段的三维医学图像的序列，所述序列中的每幅三维医学图像示出在所述时间段期间的时间点处的动态解剖结构；
b)提供所述解剖结构的至少部分的动态模型，其中，所述动态模型已经根据所述三维医学图像的序列导出并且与所述三维医学图像的序列配准；
c)确定所述三维图像中的每一幅内的包含感兴趣解剖特征的感兴趣体积，其中，所述感兴趣体积在所述时间段上跟随所述感兴趣解剖特征的位置和/或形状，并且其中，所述感兴趣体积小于所述三维医学图像的完整视场；以及
d)提供用于显示在所述时间段上的所述动态解剖结构的三维可视化环境，其中，对应于所述时间段内的特定时间点的可视化包括：
(i)对应于所述特定时间点的所述三维图像的所述感兴趣体积的体积绘制；以及
(ii)在所述特定时间点处并且在与所述感兴趣体积的所述体积绘制相同的坐标系中的所述动态模型的可视化。
优选地，三维可视化环境允许以“电影模式”(即，以“电影模式”或动画)跨时间段显示针对每幅三维图像的动态模型和经体积绘制的感兴趣体积，这意味着以例如每秒5-100个可视化的帧速率动态地示出可视化的序列。
因此，当查看医学3D体积数据时，本发明组合了两种重要的方法：第一种方法是解剖结构的至少部分的动态的、计算机生成的模型。这样的模型具有以下优点：它们示出了解剖结构的更简单的版本/抽象化，使其更易于导航并解读解剖结构，不非常依赖于图像质量，并且它们没有“孔”，即不包含伪影等。
第二种方法是体积绘制，其具有以下优点：它适合于更复杂/不寻常的解剖结构或高度个体的结构，像不能通过软件(像TOMTEC的4DMV)来建模的瓣膜小叶尖瓣、狭窄、钙化、生物假体、破裂的腱等。另外，像阈值、不透明度、对比度的参数能够被“实时”调整，即在观看体积绘制的动态序列时具有既时效果。另一方面，体积绘制强烈地依赖于图像质量，并且因此对于容易的解读来说可能太复杂。
本发明提供了给出两种方法的优点的组合：体积绘制仅用于解剖结构的其中它真正有用和必要的那些部分。其中使用体积绘制的区域(＝VOI)能够被最小化到实际的感兴趣特征，从而导致更好的概览，而感兴趣特征(例如，瓣膜)不会移出焦点。这可以通过使用动态模型的点来同样动态地调整VOI的位置来完成。
因此，本发明提供了由动态模型(例如形状/表面模型)提供的极好的概览和导航机会，结合由体积绘制提供的可调整且高度个体的益处，而体积绘制仅在必要的情况下使用。
动态解剖结构可以是人体或动物体内的任何移动对象。特别地，它是受周期性运动(诸如呼吸运动或心跳)影响的结构。因此，该方法特别适合于可视化躯干内的解剖结构，例如心脏、肺、肋骨、肝、肾等。解剖结构可以是人体或动物体的器官或器官的部分(诸如心脏)，但也可以是血管或骨结构。本发明的方法特别适用于中空器官和包括腔的器官，诸如心脏。
在跨时间段从人类对象获得的三维医学图像序列中捕获动态解剖结构，其中，图像可以是术前图像，但也可以是术中图像。3D医学图像的序列可以被称为4D图像。三维(3D)图像通常是数字图像，例如以DICOM标准，即包含体素的三维阵列，每个体素包含灰度值。通常已经使用医学成像模态(诸如MR、计算机断层摄影(CT)、正电子发射断层摄影(PET)或超声(US))从包含动态解剖结构的视场获得这样的3D医学图像。当解剖结构是心脏时，可以有利地使用超声并且特别是经食道超声心动图(TEE)。来自3D图像的时间序列的一幅3D图像在下文中也被称为“帧”。可以以例如每秒5-100幅、优选地20-60幅图像的帧速率采集3D图像，以便允许动态移动的解剖结构的平滑表示，其中它以电影模式显示。该时间段通常是周期性运动的至少一个周期，例如至少一个心跳。
解剖结构的至少部分的动态模型特别是解剖结构的简化，例如解剖结构内的特定界面(例如血管或心脏腔室的血液-组织界面)的三角化表面模型。该模型可以包括跨每个帧的线或表面的多个点。它也可以是数学模型，例如参数化模型，诸如由样条曲线跨过的表面或体积。该模型是动态的，即，其跟随解剖结构在时间段上的移动。动态模型的目的是可视化解剖结构的至少部分，例如移动心脏的一个或若干腔室，而不会以太多细节阻碍用户的查看。因此，这样的简化模型在向用户提供取向方面是有用的，例如当规划介入或对解剖结构的特定部分进行测量时。
可以例如通过散斑跟踪技术从4D超声图像数据中提取动态模型，以在整个心动周期期间自动跟随三维心内膜轮廓，从而生成一个或若干心脏腔室的动态表面模型，特别是左心室和可选地左心房的至少部分。另外，它可以是被拟合到相应的3D医学图像的形状或表面模型。
本发明对于查看和分析感兴趣的特定解剖特征特别有用，所述感兴趣的特定解剖特征通常是解剖结构的部分。这种感兴趣特征包含在比3D医学图像的完整视场更小的感兴趣体积(VOI)中。它可以是构成解剖结构的器官的部分，特别是具有复杂解剖结构的部分，例如心脏瓣膜。在有用的实施例中，感兴趣解剖特征是二尖瓣、三尖瓣、主动脉瓣或肺动脉瓣。在其他实施例中，感兴趣解剖特征可以是其他重要的血管(诸如冠状血管)或另一结构(诸如肿瘤)。
为了更详细地查看这种感兴趣解剖特征，本发明提供了经体积绘制的感兴趣体积(VOI)，其包含所述解剖特征，但是优选地不比感兴趣解剖特征多得多，即VOI尽可能小。换言之，VOI的尺寸和/或形状适于尽可能接近地匹配感兴趣解剖特征的尺寸和/或形状，并且这优选地在整个图像序列上面。因此，在三维图像中的每一幅内确定包含感兴趣解剖特征的VOI，其中，感兴趣体积在时间段上跟随感兴趣解剖特征的位置和/或形状。VOI是来自3D图像的子体积，并且例如由封闭属于所述VOI的体积的一组封闭表面来定义。VOI包含具有不同灰度值的体素。当体积绘制VOI时，一个或若干设置/参数(像阈值)确定VOI内的哪些体素被显示以及如何被显示。根据本发明的VOI可以是长方体、圆柱形、球体或具有不规则形状。感兴趣体积通常基于感兴趣解剖特征的位置和/或形状来定义，并且可以具有在图像序列上的固定尺寸，例如具有预定边缘长度和直径的盒体或圆柱体。优选地选择所述预定长度和直径，使得VOI的尺寸对应于感兴趣解剖特征的预期尺寸。在一些实施例中，取决于每幅3D图像上的感兴趣解剖特征的尺寸，尺寸可以在时间段上改变。VOI的目的是在每幅3D图像上定义包含感兴趣特征的体积。因此，通过仅对这样的VOI内的图像内容进行体积绘制，获得感兴趣特征的非常好的可视化，而查看不会被解剖结构的不太感兴趣的其他经体积绘制的部分妨碍。
在有用的实施例中，动态模型覆盖或邻接感兴趣解剖特征，即，它在空间上与其相关，诸如左心室与二尖瓣处于空间关系中。解剖特征也可以是动态模型的部分。因此，每个经体积绘制的VOI基于对应的3D医学图像，并且例如，序列的每个体积绘制的VOI的中心相对于在时间段内的对应时间点处的动态模型的解剖特征的位置在固定的相对位置处。
确定VOI的步骤可以作为提供动态模型的部分来执行。在二尖瓣的情况下，例如，左心室的动态表面模型将包括二尖瓣环上的一组(标志)点。二尖瓣环构成心室和左心房之间的解剖结合部，并且用作用于小叶组织的插入部位。因此，动态模型将包括二尖瓣的位置的定义，其可以用于定义序列中的每一幅3D图像的VOI。在其他实施例中，可以通过分割技术和特征/散斑跟踪技术来定义感兴趣解剖特征的位置，其中，某个标志点在一幅图像上被识别，并且然后在整个图像序列内被跟踪。位置可以由三维图像空间中的单个点定义，但是也可以由一组点、或几何结构的位置、或甚至体积的位置定义。
为了允许用户查看和分析感兴趣解剖特征，提供三维可视化环境用于在时间段上对动态解剖结构进行可视化。与所述时间段内的特定时间点相对应的可视化包括至少两种不同种类的可视化/描绘。这些在相同的坐标系中，即它们相对于彼此以正确的相对空间位置和取向显示。在两个不同的可视化在空间上交叠的情况下，它们可以与彼此交叠或叠加，例如，两者都被描绘为透明的，或一个可以被认为比另一个更重要并且可以覆盖另一个。所述至少两个可视化对象是：
(i)对VOI的体积绘制，即，VOI内的三维医学图像的图像内容被体积绘制和显示。由于VOI跟随感兴趣解剖特征的位置和/或形状，因此该体积绘制应当是基本上感兴趣解剖特征(以及可能的直接周围环境，但不会更多)的体积绘制。因此，给予用户感兴趣的特定解剖特征的详细且无障碍的查看，而不会失去体积绘制的益处，因为体积绘制仅在其起作用的情况下被应用。在有用的实施例中，所选择的用于体积绘制的设置(诸如阈值、平滑等)是自动可调的和/或用户可调的。
(ii)其次，描绘了动态模型的可视化，特别是在与根据其体积绘制VOI的三维图像相同的时间点处的动态模型的三维可视化。由此，给予用户进一步的定向和导航信息。例如，当分析VOI中的二尖瓣时，他能够同时跟踪左心室流出道(LVOT)。这在规划诸如瓣膜置换(例如，经导管主动脉瓣植入(TAVI)或经导管主动脉瓣置换(TAVR))或二尖瓣置换(其中，LVOT可能不被阻塞)的介入程序时是重要的。
这种可视化可以以电影模式(也称为电影放映或影片模式)显示。在电影模式下，向用户示出与3D医学图像的序列相对应的可视化的序列，优选地以大约每秒5-100、优选地20-60帧的合适的帧速率，以便给予用户移动动态模型以及感兴趣移动特征的良好印象。在有用的应用中，例如，对跳动的心脏和相应的瓣膜打开和关闭进行可视化，其中，时间段是至少一个心跳。
由此，经体积绘制的VOI(例如，心脏瓣膜的部分和LVOT)的移动被锁定到表面模型的移动结构(例如，二尖瓣环)，并且因此在整个心动周期期间动态地移动。因此，本发明防止解剖结构的相关部分(感兴趣特征)移出VOI，并确保能够更快且更有信心地分析、测量和解读当前情况。本发明的可视化环境可以用于查看和分析复杂的动态解剖结构，特别是用于规划介入和/或确定在未来介入中待植入的植入物的正确尺寸、形状和位置。
动态模型的3D可视化通常是动态形状或表面模型的绘制，其中，绘制可以通过从计算机图形可获得的技术(包括阴影、光线投射、环境遮挡等)来完成。
体积绘制可以通过本领域已知的任何体积绘制技术来执行，例如如US2005/0253841Al中所描述的，其通过引用并入本文。通常，需要定义空间中的相机位置和查看方向以执行体积绘制。而且，一些技术定义每一个体素的不透明度和颜色。在一些体积绘制技术中，可以通过从体积提取等值面(相等灰度值的表面)并将它们例如绘制为多边形网格或通过将体积直接绘制为数据块来查看体积。移动立方体算法是从体积数据中提取等值面的常用技术。另一种常见的技术是体积射线投射。在该技术中，为每个期望的图像像素生成射线。使用简单的相机模型，射线在相机的保护中心(通常是查看位置或视点)处开始，并且经过在相机与要绘制的体积之间浮动的假想图像平面上的图像像素。然后，遍及该体积以规则或适配的间隔对射线进行采样。在每个采样点处内插数据，应用传递函数以形成RGBA样本，将结果添加到射线的累积RGBA上，并且重复该过程直至射线离开体积。对屏幕上的每一个像素重复该过程以形成完整图像。
根据特别有用的实施例，所述三维可视化环境是虚拟现实环境。通过“虚拟现实”来意指提供所描绘的结构的真正三维体验的任何计算机生成的可视化。因此，本发明的虚拟现实(VR)环境特别提供视觉反馈，但也可以允许其他类型的感官反馈，例如听觉反馈。VR环境也可以是增强现实环境，其中，用户仍然看见真实环境，但是VR对象(例如，体积绘制和动态模型)覆盖或叠加在现实对象上，或是混合现实，其中，现实世界对象叠加在虚拟场景上。经体积绘制的VOI和动态模型的可视化一起可以形成可视化对象，优选地是虚拟现实对象。
虚拟现实环境通常通过向用户呈现立体图像来实现，即每只眼睛看见不同的图像，使得大脑将两幅不同的图像放在一起成为真实的三维场景。这样的双目图像可以结合快门眼镜呈现在任何VR显示器上，诸如虚拟现实头戴式设备或多投影环境，或间歇地示出两幅图像的屏幕。
在VR环境中，经体积绘制的VOI和动态模型可以通过立体绘制来显示：其中，对于具有轻微空间偏移的两个查看位置(即，对于左眼的一个查看位置和对于右眼的一个查看位置)，经体积绘制的(或以其他方式绘制的)可视化/图像被计算两次。当两个如此计算的可视化在每只眼睛上(例如，在VR头戴式设备上)向用户示出一个时，用户获得真实的三维(VR)印象。由此，经体积绘制的VOI和动态表面模型能够被转换为VR。
在优选实施例中，使用本发明的VR环境的人能够“环顾”人造世界，在其中四处移动，并与虚拟对象、特征或物品交互。该效果通常由VR头戴式设备创建，该VR头戴式设备包括在每只眼睛前面具有小屏幕的头戴式显示器，但是也能够通过具有多个大屏幕的专门设计的房间来创建。为了使用户在VR环境中四处移动，位置和取向信息必须由头戴式设备传输到生成VR环境的电子设备(例如，计算机)，使得可视化与用户的头部移动一致地移动。为了使用户与VR环境中的虚拟特征交互，还必须跟踪手部移动，这可以由手持VR控制器完成。然而，该最后的特征以及位置/定向信息的传输是可选的，以便用户在虚拟场景中四处走动。
在有用的实施例中，用户能够缩放/按比例调节VR环境中的可视化/模型，调整可视化参数和绘制设置，和/或抓取所显示的对象，特别是经体积绘制的VOI和/或动态模型的可视化。由于它们与彼此锁定，因此它们优选地被抓住并一起移动。另外，在有用的实施例中，VR环境包括用户可以在VR环境中抓握和移动的灯，以便影响经体积绘制的VOI和表面的照明。在有用的实施例中，还可以调整场景的亮度，特别是可移动灯的亮度。另一有用的实施例使用VR环境，其中，若干用户可以一起在一个场景中。
虚拟现实环境提供了以下优点：用户可以在极大信心的情况下查看和分析可视化对象，因为他获得了解剖结构的真实三维视图。另外，由于他能够在其周围走动并且甚至可能进入其中，因此他能够以巨大的放大率显示可视化对象(例如，人类心脏的可视化)，以便完全填充用户前面的空间。因此，用户具有特别好的概览并且可以以高准确地进行测量。另外，用户输入事件的处理在VR环境中是特别容易的且直观的。在使用VR控制器的VR环境中，诸如在二维屏幕上可能相当棘手的转动和/或调整经体积绘制的VOI的设置的动作是非常直观的且快速的。
然而，本发明也可以有利地与非VR可视化环境一起使用。在没有具体提及VR(虚拟现实)的情况下，以下特征和实施例对于VR和非VR可视化环境两者都是有用的。
在有用的实施例中，所述动态解剖结构是人类或动物心脏，并且所述感兴趣解剖特征是所述心脏的部分，诸如心脏瓣膜或冠状血管。如果已经通过超声(诸如TEE)采集3D图像的序列，这是特别有用的，因为该技术以高帧率提供动态图像，与像CT或MRI的其他图像模态相比是便宜的，并且对于患者来说具有最小的风险和辐射暴露。在又一有用的应用中，所述动态模型是一个或若干心脏腔室的动态表面模型，并且所述解剖特征是心脏瓣膜。在有用的实施例中，动态表面模型是左心室和左心房(的部分)的心内膜的模型，并且感兴趣特征是二尖瓣。
本发明可以特别用于规划微创心脏手术，诸如心脏瓣膜上的外科手术或心脏瓣膜置换。新的微创方法(像经导管瓣膜置换)能够用于以前被认为不可手术和/或不适合开放式心脏外科手术的患者。一些经导管瓣膜置换(例如TAVR)使用可完全折叠的生物假体瓣膜。然而，对于这些介入的成功至关重要的是，完全分析和理解现有的病理/几何结构，并且仔细选择、定尺寸和定位新的瓣膜以确保其适当地工作并且不阻塞LVOT或冠状动脉。对于瓣膜中瓣膜(ViV)介入尤其如此。因此，在微创ViV程序中，功能失调的瓣膜(有时生物假体二尖瓣)被新的瓣膜置换。因此，置换瓣膜被定位在旧瓣膜内部，在展开时破坏旧瓣膜。因此，瓣膜应正确定位并具有正确的尺寸是至关重要的。特别地，重要的是新的二尖瓣不阻塞左心室流出道(LVOT)。因此，对于瓣膜中瓣膜介入规划，经体积绘制的VOI包含二尖瓣并且优选地还包含LVOT。左心室由动态表面模型表示，并且包括二尖瓣环上的标志点的集合的定义。这些点可以用作用于定义VOI的基础，VOI相应地随着心跳移动，从而防止二尖瓣移出感兴趣体积。在有用的实施例中，用户可以测量例如二尖瓣的直径，并相应地从库中选择最佳配合的瓣膜。
因此，当解剖特征是心脏瓣膜时，本发明允许在表面绘制的VOI中的瓣膜的极好可视化。心脏腔室的其余部分(例如左心室或右心室和/或心房)仅由简化的表面模型表示，其利用心跳动态地泵送，但不妨碍对感兴趣解剖结构(瓣膜)的查看。
在有用的实施例中，所述动态模型是动态表面模型，并且是通过对三维图像进行图像分割、或通过在一幅三维图像中进行图像分割并且在后续图像中进行散斑或特征跟踪而根据所述三维医学图像的序列导出的。图像分割是将数字图像分割成像素/体素的多个节段或集合的过程，并且通常用于定位边界。因此，分割是将标签分配给3D图像中的每一个体素的过程，使得具有相同标签的体素共享某些特性。可以使用阈值化来执行图像分割，即，在某个阈值之上或之下的所有体素被分配相同的标签。其他方法包括聚类方法、边缘检测或区域生长方法。在心脏的情况下，分割可以用于将充满血液的腔体(特别是心室和心房)与心脏组织(诸如心脏壁和瓣膜)分开。当检测到例如充满血液的腔与心脏壁的组织之间的边界时，可以通过例如选择边界上的多个体素并将它们连接到线网格模型或三角化表面模型来建立表面模型。可以对序列中的每幅3D图像执行该过程。根据另一有用的方法，序列中仅一幅图像例如如上所述的那样被分割，以提取例如静态表面模型。然后通过特征跟踪根据该静态模型导出动态模型。由此，在序列的一幅3D图像中选择解剖结构的某些特性特征。然后在该序列上逐图像地跟踪这样的特性特征，这优选地使用特征跟踪算法自动完成。在超声图像的情况下，优选地使用3D散斑跟踪。这是一种使用M模式超声图像的特征散斑伪影用于跟踪的特征跟踪方法，因为散斑是由于交叠回波之间的干扰效应，并且因此其发生与相应的解剖结构有关。因此，3D超声散斑可以像任何解剖特征一样被逐图像地跟踪，并且因此可以被用于导出解剖结构的动态模型。在特别有用的实施例中，散斑跟踪用于导出左心室的动态表面模型。这样的表面模型包括二尖瓣环，并且二尖瓣环进而用于定义和锁定包含感兴趣解剖特征(即二尖瓣)的VOI。
根据有用的实施例，通过识别所述动态模型中的所述感兴趣特征的对应位置和/或取向而在所述时间段上确定所述感兴趣体积的位置和/或取向。因此，当感兴趣特征是通过动态模型建模的结构的部分时，通过使用动态模型(例如通过使用为模型的部分的某些标志点)来简化在图像序列上跟踪VOI的位置和/或取向。
更一般地，根据有用的实施例，可以通过识别解剖特征的标志点的集合、通过定义跨标志点的集合的近似表面、以及通过定义在近似表面的上方和/或下发和/或侧面延伸的体积来定义感兴趣体积。因此，感兴趣体积被锁定到解剖特征，并且如果解剖特征是通过动态表面模型建模的结构的部分，则VOI将与动态模型并且特别地与感兴趣解剖特征一起移动。标志点的集合可以例如是特征表面或边界(例如心内膜或心外膜)上的若干点。根据优选实施例，标志点的集合是二尖瓣环或另一心脏瓣膜的膜环上的点。标志点的集合也可以被称为点云。近似表面优选地是这样的表面，其可以具有预定形状，诸如球形、椭球形、椭圆形或卵形，并且其通过拟合技术被拟合到点云，以便获得对点云的最佳拟合(例如，最小二乘)。表面可以有利地是平面的以便高效处理，但是它也可以是非平面的以便最佳地拟合标志点的集合。如此定义的近似表面然后用于通过定义包围近似表面并且优选地在近似表面的上方和/或下发和/或侧面延伸预定长度的体积来确定VOI。在有用的实施例中，VOI延伸直到为感兴趣特征的特性的预定长度(例如，对于二尖瓣，在近似表面之上和之下1cm和到侧面例如1cm的安全宽度)，以确保感兴趣特征完全包含在VOI中。通过使用预定长度/宽度，控制可视化的处理器或计算机可以针对序列中的每幅3D图像从感兴趣特征上的标志点的集合自动定义VOI。当感兴趣特征是二尖瓣时，近似表面将是二尖瓣平面中的近似圆。因此，通过定义在所述近似表面之上和之下延伸预定长度并且可能朝向侧面延伸预定宽度的体积，可以选择包含二尖瓣并且可能另外包含LVOT但是其中不包含进一步阻碍的解剖结构的VOI。由此，体积绘制提供感兴趣解剖特征(例如，二尖瓣)的无妨碍且准确的视图。
根据有用的实施例，与三维可视化环境一起提供输入工具。
在非VR可视化环境中，输入工具可以是键盘、定点设备(诸如鼠标、跟踪球、触控板或触敏显示器)，其通常配合包括在屏幕上查看的按钮、滑块等的交互式面板来使用。这样的按钮或滑块可以例如由用户用他的手指或定点设备致动，例如，用户可以在屏幕上移动光标以致动输入工具。通过这样的输入工具，用户可以例如放大和缩小可视化，适配可视化参数/设置(诸如体积绘制阈值、平滑、照明和对比度)，开始并保持电影模式，并且对经体积绘制的VOI执行测量。在特别有用的实施例中，输入工具允许用户选择点并且在解剖结构上进行测量。例如，用户可以选择体积绘制上的两个点，并且将自动计算这样的点之间的距离。该特征在规划介入(例如，选择植入物)时是有用的。在一些实施例中，用户可以能够借助于定点设备(即鼠标或触敏显示器上的触摸)“抓取”可视化对象，并且由此移动或倾斜它。
在VR环境中，这种输入工具优选地由虚拟控制器实现，该虚拟控制器允许用户通过手势在虚拟现实环境内至少抓取和移动对象。此外，VR控制器可以包括按钮或滑块，用户可以通过按钮或滑块进行选择。在VR环境中，佩戴VR头戴式设备并在一只手中握住至少一个VR控制器(优选地，每只手中一个VR控制器)的用户在VR环境中看见包括经体积绘制的VOI和动态模型的解剖结构的静态或动态可视化。优选地，他还能够在与当前手位置和取向相对应的位置和取向处看见控制器。因此，VR环境为用户提供了朝向可视化移动控制器、通过按下特定按钮来抓取它并且随着他的手的移动来移动、转动或倾斜可视化对象(像他对真实世界对象一样)的可能性。因此，用户具有18个自由度(VR头戴式设备和两个VR控制器中的每一个的六个自由度，即三个旋转自由度和三个平移自由度)，以正确且直观地查看和分析可视化对象。这非常类似于与对象交互的自然方式。
根据有用的实施例，如上所述的输入工具允许用户选择可视化的三维体积中的平面。该方法然后优选地包括显示所述序列的所述三维医学图像中的至少一幅三维医学图像的所选择的平面的多平面重建(MPR)的步骤，特别是在所述三维可视化环境中对应于所选择的平面的位置处。多平面重建是从若干原始图像平面重建的图像。例如，在CT中，采集通常横向图像的堆叠。因此，如果要查看在与横向不同的取向上与图像堆叠相交的截面平面，则用户可以选择期望的取向，并且通过例如从各个横向切片中的相应最近像素进行内插来创建MPR。除了显示经体积绘制的VOI和动态模型之外还显示MPR允许用户更详细地查看解剖结构。在虚拟现实环境中，由于18个自由度(VR头戴式设备和两个控制器)，可抓握MPR平面在3D体积中的正确定位是非常快速且可验证的，并且MPR平面上或经体积绘制的部分内的测量变得更精确且可靠。
根据有用的实施例，VR控制器允许用户借助于手势控制来调整参数。例如，用户通过在VR环境中使用手移动触摸某个参数来选择它。然后，他可以使用手势来例如致动虚拟滑块，或简单地水平(或垂直)移动控制器以在不参考任何滑块的情况下调整参数。合适的参数与可视化有关，并且可以从体积绘制阈值、平滑、照明强度、尺寸、可视化对象的不透明度、开始和保持电影模式等中选择。
在有用的实施例中，三维可视化环境还包括在与体积绘制和动态模型相同的坐标系中显示与医学设备(特别是植入物)相对应的计算机图形对象。计算机图形对象例如是几何数据的(例如由顶点定义的3D结构，诸如多面体)的三维表示。计算机图形对象优选地被锁定到解剖结构的移动，即，一旦它被放置在关于任何一个帧中的经体积绘制的VOI的特定位置和取向中。当用户开始电影模式时，控制可视化的处理器记住计算机图形对象相对于经体积绘制的VOI的相对位置和取向，并且将保持该相对位置和取向。在计算机图形对象表示新的瓣膜的情况下，这样的新的瓣膜能够被锁定到瓣环(例如，二尖瓣环)的移动。优选地，这可以使用3D散斑来完成，如上所述。因此，递送整个心动周期内的重要动态信息，并且可以最佳地定位瓣膜，从而避免或限制外流的任何阻塞。将计算机图形对象的位置锁定到动态模型中的位置能够通过将标志点的集合中的一个或若干个分配给计算机图形对象来完成，所述计算机图形对象然后在时间段上具有到这样的标志点的固定相对位置。
根据另外的实施例，向用户提供了输入工具，所述输入工具允许用户相对于经体积绘制的VOI和/或动态模型的可视化来移动和倾斜计算机图形对象。因此，用户不仅能够测量，而且能够“尝试”所选择的植入物或植入物尺寸(例如置换瓣膜)，以查看它是否适合解剖特征(例如二尖瓣)。例如，用户可以从库中选择最佳配合的瓣膜，并将瓣膜，或更确切地说是对应于瓣膜的计算机图形对象，放置在可视化对象内部以便初始检查。在特别有用的实施例中，计算机图形对象看起来类似于医学设备将在介入X射线图像(荧光透视图像)上看起来的样子，因为微创介入几乎总是在荧光透视控制下完成的。因此，用户可以以三维方式可视化场景，并且还获得关于植入物将在荧光图像上看起来像什么的想法。计算机图形对象优选地是三维的，它可以例如是植入物的简化模型，例如以线网格或由一组简单表面定义的对象的形式。
计算机图形对象还可以是测量设备，诸如测量带或标尺。
本文描述的所有实施例都适用于能够在计算机屏幕、平板计算机或显示器上以及在VR环境中实现的“常规”可视化环境。然而，VR环境是特别有利的，因为它提供真实的3D视图和最直观/快速的用户体验/处理，以及用户能够相对于可视化对象移动的6、12或18个自由度。
优选地，根据本发明的方法由处理器执行，该处理器可以包含在能够控制显示器(特别是诸如VR头戴式设备或投影显示器的VR显示器)的任何电子设备中。这样的数字设备可以是计算机、PC、服务器、电视机、平板计算机、智能手机、膝上型计算机、手持设备等。处理器还可以是云计算机、工作站或医学图像设备(特别是超声扫描仪)的控制台的部分。
根据另一方面，本发明提供了一种包括程序代码指令的计算机程序，所述程序代码指令在被处理器运行时使得所述处理器执行本发明的方法。计算机程序可以是任何代码，特别是适合于计算机图形应用(特别是适合于VR编程)的代码。
在又一方面中，本发明涉及一种包括上面定义的计算机程序的计算机可读介质。所述计算机可读介质可以是任何数字数据存储设备，诸如USB棒、硬盘、CR-ROM、SD卡或SSD卡。当然，计算机程序不需要存储在这样的计算机可读介质上以供应给客户，而是可以经由互联网下载。
根据又一方面，本发明涉及一种被配置为对动态解剖结构进行可视化的用户接口。所述动态解剖结构已经被捕获在跨时间段的3D医学图像的序列上，所述序列中的每幅3D医学图像示出在所述时间段期间的时间点处的所述动态解剖结构。所述用户接口包括：
a)三维可视化环境，其被配置为提供在时间段上的所述动态解剖结构的三维可视化，以及
处理器，其被配置用于生成与所述时间段内的特定时间点相对应的可视化，所述可视化包括：
(i)对应于所述特定时间点的所述三维图像内的感兴趣体积的体积绘制的显示，所述感兴趣体积包含感兴趣解剖特征；以及
(ii)在所述特定时间点处并且在与所述感兴趣体积的所述体积绘制相同的坐标系中的所述动态解剖结构的至少部分的动态模型的显示，
其中，当以电影模式显示所述动态模型和经体积绘制的VOI时，所述感兴趣体积在所述时间段上跟随所述感兴趣解剖特征的位置和/或形状，并且其中，所述感兴趣体积小于所述三维医学图像的完整视场。
结合本发明方法描述的任何特征或有用实施例也适用于用户接口。
用户接口例如是至少包括屏幕或显示器(VR或非VR显示器)和通常如上所述的输入工具的系统，所述输入工具允许用户例如通过调整可视化参数/设置、缩放、注释和/或移动或倾斜所显示的对象而与显示器的内容交互。
在优选实施例中，所述三维可视化环境是虚拟现实环境，并且所述体积绘制和所述动态模型的显示是虚拟现实显示，特别是在虚拟现实头戴式设备上。
在有利的实施例中，所述虚拟现实环境包括至少一个输入工具，其中，所述输入工具是允许用户执行以下动作中的一项或多项的虚拟现实控制器：
抓取并移动显示在所述虚拟现实环境中的对象；
对所述解剖结构进行测量；
借助于手势控制来调整所述可视化中使用的参数；以及
对所述解剖结构进行注释，其中，当以电影模式显示所述动态模型和经体积绘制的VOI时，所述注释被锁定到所述动态模型中的位置。
虚拟现实环境可以使用市售VR设备来实现，诸如HTC VIVE或VIVE Pro虚拟现实系统，其包括VR头戴式设备、两个VR控制器、两个位置跟踪器以及可选的扬声器系统(由HTC公司(桃园市330，中国台湾)制造)。
附图说明
现在将参考附图描述本发明的有用实施例。在附图中，类似的元件或特征用相同的附图标记指定。在附图中：
图1示出了通过人类心脏的示意性横截面(4腔室视图)；
图2示出了左心室的动态表面模型；
图3示出了医学图像的序列的示意性表示；
图4示出了包括针对经体积绘制的感兴趣体积的参考位置的动态表面模型的示意图；
图5示出了包括感兴趣体积的心脏的三维超声图像的体积绘制的示意性表示；
图6示出了动态模型和跟踪的感兴趣体积的示意性表示；
图7示出了根据本发明的实施例的三维可视化的表示；
图8示出了根据本发明的实施例的虚拟现实环境；
图9示出了根据本发明的实施例的三维可视化的较大视图；
图10示出了根据本发明的第一实施例的用户接口；
图11示出了根据本发明的第二实施例的用户接口；
图12示出了图示根据本发明的实施例的方法的流程图。
附图标记
1 心脏
2 左心房
3 二尖瓣
4 左心室
5 主动脉瓣
6 主动脉
7 右心房
8 三尖瓣
9 右心室
10 肺动脉瓣
11 肺动脉
12 心脏壁
13 隔膜
14 动态表面模型
18 左心室的袋模型
16 二尖瓣环
20 LVOT
22 顶点定义的模型
24 线网格
M1、M2、M3、…、Mz 医学图像的序列
26 左心房的模型
30 二尖瓣环的近似表面/模型
31 标志点
32 二尖瓣的小叶
34 体积绘制
36 心脏
40 经体积绘制的VOI
42 瓣膜开口
44 箭头
45 可视化
50 VR环境
52 VR水平线
54 VR对象形式的体积绘制
56 VR灯
60、60a、60b VR控制器
62 按钮
64 VR标尺
66、66a、66b 对应于瓣膜植入物的计算机图形对象
70 屏幕
71 输入面板
72 计算机
73 处理器
74 键盘
75 硬盘
76 鼠标
80 用户
82 VR头戴式设备
84 位置传感器
86 VR控制器
90-100 方法步骤
具体实施方式
为了更好地可视化本发明的可视化方法和用户接口的优选应用，图1图示了人类心脏1的结构。来自肺的血液流入左心房2，并从那里通过二尖瓣3进入左心室4。从那里，它被泵送通过主动脉瓣5进入主动脉6。该部分也称为左心室流出道(LVOT)。来自身体的血液流入右心房7并被泵送通过三尖瓣8进入右心室9。从那里，它被泵送通过肺动脉瓣10进入肺动脉11。心脏壁12由围绕心脏腔室2、4、7和9的肌肉组织构成。左心室和右心室由隔膜13分开。从图1中可以明显看出，心脏具有复杂的形状，并且另外随着心跳不断移动，即它是动态解剖结构。因此，为了规划瓣膜置换而对诸如二尖瓣3的形状进行可视化是困难的并且易于出错。
为了更好地可视化左心室活动，可以使用图2中表示的动态表面模型14。该表面模型14表示左心室4的血液-组织边界的简化模型。它基本上具有在顶部处具有两个开口16、20的袋18的形状：开口16表示二尖瓣环，而开口20表示主动脉瓣位于其中的左心室流出道(LVOT)。动态表面模型14可以根据心脏的三维超声图像的序列导出，特别是通过跟踪解剖特征或通过跟踪从一幅图像到下一幅图像的散斑。由此，可以为每幅三维图像生成由跨过线网格24的一组顶点22组成的表面模型。这样的动态表面模型14可以以电影模式查看，即像电影，使得查看者获得左心室随着心跳移动的印象。显然，类似的动态表面模型可以由人类解剖结构的其他部分形成，特别是其他心脏腔室或血管。
图3示出了心脏的超声图像M1、M2、M3、…、Mz的序列的示意性表示。Z是在一个心动周期期间(即在时间T中)采集的图像的数量，其中，T为约0.5秒至1.5秒。该图示出了二维图像，然而，优选地，在每个时间点ti处采集三维图像。三维医学图像可以由二维图像的堆叠形成。图像M1、M2、M3、…、Mz的这种序列可以例如通过移动心脏的超声心动图(例如利用TEE探头)来采集。
根据本发明的实施例，在时间段上的三维图像上定义包含感兴趣解剖特征的VOI。如图4所示，可以借助于动态表面模型14上的标志点的集合或参考位置30来确定这样的VOI。在感兴趣特征是二尖瓣环的情况下，合适的参考是二尖瓣环30的模型。在图4中，这由环形对象30表示。二尖瓣环30位于左心房26和左心室18的表面模型之间。LVOT 20以及二尖瓣的小叶32在图4中也是可见的。因此，二尖瓣环30的平面可以形成针对经体积绘制的VOI的参考位置，其因此在心动周期上与表面模型14一起移动。
图5图示了三维图像的体积绘制34，在这种情况下是经体积绘制的心脏36。如从图5显而易见的，三维超声图像的体积绘制通常难以解读，因为它包含许多解剖细节。因此，根据本发明，定义了感兴趣体积40，并且仅将该VOI 40内的图像内容提交给体积绘制过程。在这种情况下，VOI包含二尖瓣3，其中，瓣膜的打开在42处示出。VOI 40可以是盒形或立方体的，如图5所示。它还可以具有任何其他三维形状，它可以具有球形、椭圆形、圆柱形等的形状。对于感兴趣解剖特征是二尖瓣的应用，VOI可以具有盒形或圆柱形的形状，或甚至是在二尖瓣环的平面之上和之下延伸定义长度的不规则形状。通过在相对于解剖特征的位置的固定相对位置中定义VOI，特别是在时间段内的每个时间点处的动态模型上，VOI在整个时间段(例如，心动周期)期间被锁定到表面模型中的感兴趣的移动解剖特征(例如，二尖瓣环)的移动。由此，感兴趣特征(例如，二尖瓣3)不移出经体积绘制的VOI 40。
因此，由根据本发明的实施例的三维可视化环境提供的对应于特定时间点的可视化45可以看起来如图6所示：可视化45包括动态模型14的可视化，动态模型包括左心室18和左心房26的袋形表面模型。例如，通过在一幅3D图像上进行分割，并且借助于在另外的图像上的特征跟踪或散斑跟踪方法，在三维图像中的每一幅上确定二尖瓣环30。由此，并且针对二尖瓣环定义标志点31的集合。二尖瓣环的环形模型30被拟合到标志点的集合，并且由此定义近似表面，该近似表面是由拟合的环30跨过的平面，在这种情况下，近似表面是球形或椭圆形的且是平面的。VOI盒40相对于三维图像中的每一幅上的二尖瓣环30的近似表面30被定义，并且由此随着移动的心脏移动，如通过箭头44所示。在盒形VOI内部，三维图像被体积绘制，优选地具有可调阈值，并且因此当以电影模式查看时，体积绘制被锁定到二尖瓣环。
这在图7中进一步图示，图7示出了根据本发明的实施例的VR环境50。当使用这样的用户接口时，用户将在虚拟现实环境中找到他自己，包括例如虚拟水平线52和虚拟灯56。备选地，他可能会发现他自己在封闭的房间中。动态解剖结构45的可视化将在用户前面的自由空间中浮动，因此他将看见动态表面模型14的三维可视化，其看起来像具有左心室和可能的左心房的形状的透明管。在二尖瓣的位置处，VOI 40被锁定到心脏的运动。由于用户实际上不会看见VOI盒40的轮廓，因此该盒以虚线表示。用户将看见的是虚拟现实对象54，并且其对应于VOI盒40内部的图像内容的体积或表面绘制，即二尖瓣3的体积绘制54。表面模型14和体积绘制54两者将随着心跳移动，其中，用户可以在时间段内的任何时间点处开始和停止电影模式，其中，由序列跨过的时间段是至少一个心跳。在有用的实施例中，用户可以致动输入工具，即虚拟现实控制器60。其可以具有按钮62，用户可以按下按钮62以开始和停止电影模式，或抓取和移动或倾斜可视化或虚拟现实对象45。用户将VR控制器60握在他的手中，并且理想地将看见在他前面的与真实的手位置相对应的位置处的控制器。
在图8中图示了VR环境50的其他有利特征。在有用的实施例中，用户不仅看见控制器60a以及包括经体积绘制的VOI和动态表面模型的虚拟现实对象45，而且可看见另外的工具或VR对象。例如，工具64可以是用于测量解剖结构(例如二尖瓣)的尺寸的标尺或尺子。备选地，通过用户选择VR空间中的点，握在用户的任一只手中的VR控制器60a、60b可以直接用于对三维可视化45执行测量，其中，处理器计算其间的距离。基于这样的测量，可以从库中选择最佳配合的瓣膜。因此，VR环境50可以包含表示植入物(在这种情况下二尖瓣植入物)的VR兼容的计算机图形对象66a、66b，该植入物能够由用户用控制器60a、60b抓取并且“试穿”在可视化45中表示的二尖瓣上。因此，用户还能够尝试瓣膜66a、66b的位置，使得他将能够在实际介入期间将瓣膜插入在正确的位置处。因此，VR对象66a、66b由在荧光图像中可见的瓣膜植入物的元件(在这种情况下是线结构)构成。这种瓣膜假体可以用于瓣膜中瓣膜手术中，并且在微创程序中直接展开到旧瓣膜中。
图9图示了VR环境50的放大视图，示出了水平线52和左心室的表面模型14。还示出了经体积绘制的瓣膜54。在该可视化45中，用户已经选择并抓取新的瓣膜66(或更确切地说是与其相对应的VR对象)，已经将其放置在三维可视化45内部以便初始检查。然后使用3D散斑跟踪将新的瓣膜锁定到二尖瓣环的移动。能够在整个心动周期上测量并评估剩余的LVOT20和可能的阻塞。此外，能够在动态移动中优化与瓣膜相对应的VR对象的放置。能够在模拟心动周期内的移动时调整瓣膜的放置。
图10示出了根据本发明的非VR实施例的用户接口。在该设置中，动态可视化45在常规计算机屏幕70上，并且可视化仅仅是二维屏幕70上的绘制。屏幕可以包括按钮和滑块的面板71，其允许用户倾斜、缩放、移动或以其他方式操纵可视化45。而且在这样的用户接口中，具有被锁定到动态解剖结构(诸如跳动的心脏)的动态模型上的感兴趣特征的位置的经体积绘制的VOI是有用的工具。显示器可以由包括处理器73和硬盘75的计算机72(诸如PC)控制。用户接口可以具有输入工具，诸如键盘74和/或鼠标76。
然而，在优选实施例中，用户接口是虚拟现实接口，如图11所示。这种接口由用户80佩戴的虚拟现实头戴式设备82实现。头戴式设备82通过线缆或通过无线连接被连接到计算机72。这种虚拟现实头戴式设备82包括针对每只眼睛分开的内部显示器、以及跟踪头部移动的位置传感器84。假如要呈现增强现实环境，这种头戴式设备还可以包括相机。此外，用户80将VR控制器86握在他的手中，其中，控制器86还包括位置传感器(未示出)以及按钮或其他输入元件。这样的虚拟现实控制器86允许用户抓取并移动显示在虚拟现实环境50中的对象。VR头戴式设备可以例如是HTC VIVE头戴式设备和对应的VR控制器。
图12示出了图示根据本发明的实施例的方法的流程图。在步骤90中，提供示出例如移动心脏的三维医学图像的序列，该序列跨过对应于一个心跳的时间段。在步骤92中，提供心脏的至少部分的动态模型，例如通过将表面模型拟合到解剖结构的部分，或通过生成表面模型(通过对一幅图像的分割和特征/散斑跟踪)。由此，动态模型与图像的序列自动配准，即，模型能够被示出在3D图像上的正确解剖位置处。在步骤94中，可以在时间段上并且特别是借助于诸如二尖瓣环的参考结构来确定感兴趣解剖特征的位置。此外，在步骤94中在三维图像中的每一幅内定义包含感兴趣解剖特征的感兴趣体积(VOI)，使得VOI在时间段上跟随感兴趣解剖特征的位置和/或形状。在步骤96中，提供三维可视化环境用于可视化在时间段上的动态解剖结构，如上所述。这样的可视化环境可以包括虚拟现实控制器形式的输入工具，其中，来自用户的输入事件可以在步骤98中发生。然后可以使用这样的输入事件来改变在步骤96中示出的可视化环境，例如通过改变表面绘制的照明或阈值。根据这样的输入事件98，可以在步骤100中在可视化环境中示出另外的对象，例如瓣膜植入物的表示。
虽然已经在附图和前面描述中详细图示并描述了本发明，但是这样的图示和描述被认为是图示性的或示例性的而非描述性的；本发明不限于所公开的实施例。

Claims (15)

1.一种对动态解剖结构(1)进行可视化的方法，所述方法包括以下步骤：
a)提供跨时间段(T)的三维医学图像(M1、M2、M3、…、MZ)的序列，所述序列中的每幅三维医学图像示出在所述时间段期间的时间点处的动态解剖结构(1)；
b)提供所述解剖结构的至少部分的动态模型(14)，其中，所述动态模型已经根据所述三维医学图像的序列导出并且与所述三维医学图像的序列配准；
c)确定所述三维图像中的每一幅内的包含感兴趣解剖特征(3)的感兴趣体积(40)，其中，所述感兴趣体积(40)在所述时间段上跟随所述感兴趣解剖特征(3)的位置和/或形状，并且其中，所述感兴趣体积(40)小于所述三维医学图像(M1、M2、M3、…、MZ)的完整视场；以及
d)提供用于显示在所述时间段上的所述动态解剖结构的三维可视化环境(50、70)，其中，对应于所述时间段内的特定时间点的可视化(45)包括：
(i)对应于所述特定时间点的所述三维图像的所述感兴趣体积(40)的体积绘制；以及
(ii)在所述特定时间点处并且在与所述感兴趣体积的所述体积绘制相同的坐标系中的所述动态模型(14)的可视化。
2.根据权利要求1所述的方法，其中，所述三维可视化环境(50)是虚拟现实环境。
3.根据前述权利要求中的一项所述的方法，其中，所述动态解剖结构(1)是人类或动物心脏，并且所述感兴趣解剖特征(3)是所述心脏的部分。
4.根据权利要求3所述的方法，其中，所述动态模型(14)是一个或若干心脏腔室(2、4、7、9)的动态表面模型，并且所述解剖特征是心脏瓣膜(3、5、8、10)。
5.根据前述权利要求中的一项所述的方法，其中，所述动态模型(14)是动态表面模型(14)，并且所述动态模型(14)是通过对所有三维图像进行分割、或通过在一幅三维图像中进行分割并且在后续图像中进行散斑或特征跟踪而根据所述三维医学图像的序列导出的。
6.根据前述权利要求中的一项所述的方法，其中，所述感兴趣体积(40)的位置和/或取向是通过识别所述动态模型(14)中的所述感兴趣特征(3)的对应位置(30)和/或取向而在所述时间段上确定的。
7.根据前述权利要求中的一项所述的方法，其中，所述感兴趣体积(40)是通过识别所述动态模型(14)中或所述三维图像中的所述解剖特征的标志点(31)的集合、并且通过定义跨针对每幅三维图像的所述标志点的集合的近似表面(30)、并且通过将所述感兴趣体积(40)确定为在所述近似表面的上方和/或下方和/或侧面延伸的体积来确定的，其中，所述标志点(31)在所述时间段上跟随所述感兴趣解剖特征(3)的位置和/或形状。
8.根据前述权利要求中的一项所述的方法，其中，提供三维可视化环境的步骤包括：
在与所述体积绘制(54)相同的坐标系中显示与医学设备、特别是与植入物相对应的计算机图形对象(66、66a、66b)，并且其中，当以电影模式显示所述动态模型和经体积绘制的VOI(40、54)时，所述计算机图形对象被锁定到所述动态模型(14)中的位置，以及
向用户提供输入工具(60、60a、60b)，所述输入工具允许所述用户相对于所述体积绘制(54)和所述动态模型的所述可视化移动和倾斜与所述医学设备相对应的所述计算机图形对象(66、66a、66b)。
9.根据前述权利要求中的一项所述的方法，其中，提供三维可视化环境(50、70)的步骤包括：
向用户提供输入工具(60、60a、60b、71、74、76)，所述输入工具允许所述用户选择所述解剖结构内的点并且对所述解剖结构进行测量。
10.根据权利要求2所述的方法，其中，所述虚拟现实环境(50)包括至少一个输入工具，其中，所述输入工具由虚拟现实控制器(60、60a、60b)实现，并且允许用户使用手势在所述虚拟现实环境内抓取和移动对象。
11.根据权利要求2或10所述的方法，其中，所述虚拟现实环境(50)包括至少一个输入工具，其中，所述输入工具由虚拟现实控制器(60、60a、60b)实现，并且允许用户借助于手势控制来调整在所述可视化中使用的参数，特别是调整诸如在对所述感兴趣体积(40)执行体积绘制中使用的阈值的设置。
12.一种包括程序代码指令的计算机程序，所述程序代码指令在被处理器运行时使得所述处理器能够执行根据权利要求1至11中任一项所述的方法。
13.一种被配置用于对动态解剖结构(1)进行可视化的用户接口(50、70)，所述动态解剖结构已经被捕获在跨时间段(T)的三维医学图像(M1、M2、M3、…、MZ)的序列上，所述序列中的每幅三维医学图像示出在所述时间段期间的时间点处的所述动态解剖结构(1)，
所述用户接口包括：
a)三维可视化环境(50、70)，其被配置为提供在时间段上的所述动态解剖结构的三维可视化(45)，以及
处理器(73)，其被配置用于生成与所述时间段内的特定时间点相对应的可视化(45)，所述可视化(45)包括：
(i)对应于所述特定时间点的所述三维图像内的感兴趣体积(40)的体积绘制的显示，所述感兴趣体积(40)包含感兴趣解剖特征(3)；以及
(ii)在所述特定时间点处并且在与所述感兴趣体积(40)的所述体积绘制相同的坐标系中的所述动态解剖结构的至少部分的动态模型(14)的显示，
其中，所述感兴趣体积在所述时间段上跟随所述感兴趣解剖特征(3)的位置和/或形状，并且其中，所述感兴趣体积(40)小于所述三维医学图像(M1、M2、M3、…、MZ)的完整视场。
14.根据权利要求13所述的用户接口，其中，所述三维可视化环境(50)是虚拟现实环境，并且所述体积绘制(54)和所述动态模型(14)的所述显示是虚拟现实显示，特别是在虚拟现实头戴式设备(82)上。
15.根据权利要求13或14所述的用户接口，其中，所述虚拟现实环境包括至少一个输入工具(86)，其中，所述输入工具是允许用户执行以下动作中的一项或多项的虚拟现实控制器：
抓取并移动显示在所述虚拟现实环境中的对象；
对所述解剖结构进行测量；
借助于手势控制来调整所述可视化中使用的参数；以及
对所述解剖结构(1)进行注释，其中，当以电影模式显示所述动态模型和经体积绘制的感兴趣体积(40)时，所述注释被锁定到所述动态模型(14)中的位置。
CN202080009694.9A 2019-01-17 2020-01-10 对动态解剖结构进行可视化的方法 Pending CN113302660A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19152222.6A EP3683773A1 (en) 2019-01-17 2019-01-17 Method of visualising a dynamic anatomical structure
EP19152222.6 2019-01-17
PCT/EP2020/050604 WO2020148195A1 (en) 2019-01-17 2020-01-10 Method of visualising a dynamic anatomical structure

Publications (1)

Publication Number Publication Date
CN113302660A true CN113302660A (zh) 2021-08-24

Family

ID=65041572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009694.9A Pending CN113302660A (zh) 2019-01-17 2020-01-10 对动态解剖结构进行可视化的方法

Country Status (5)

Country Link
US (1) US20220130046A1 (zh)
EP (2) EP3683773A1 (zh)
JP (1) JP2022517308A (zh)
CN (1) CN113302660A (zh)
WO (1) WO2020148195A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7532402B2 (ja) 2019-04-01 2024-08-13 キャスワークス リミテッド 血管造影画像選択のための方法および装置
US12039685B2 (en) 2019-09-23 2024-07-16 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
TW202206030A (zh) * 2020-07-14 2022-02-16 美商外科劇院股份有限公司 用於四維血管造影之系統及方法
EP4377968A1 (en) * 2021-07-30 2024-06-05 Ventripoint Diagnostics Ltd. System, method and/or computer-readable medium for mapping and displaying anatomical structures in a user-friendly manner
US11786212B1 (en) * 2022-12-15 2023-10-17 UAB Ligence Echocardiogram classification with machine learning
CN117789563B (zh) * 2024-02-23 2024-05-31 湖南晟医智能科技有限公司 基于ai和mr技术虚实融合模拟医学教学方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714855B2 (en) 2004-05-17 2010-05-11 Siemens Medical Solutions Usa, Inc. Volume rendering processing distribution in a graphics processing unit
US8574157B2 (en) * 2007-02-14 2013-11-05 General Electric Company Method and apparatus for generating an ultrasound image of moving objects using deformable models
US8103070B2 (en) * 2007-11-22 2012-01-24 Toshiba Medical Visualization Systems Europe, Limited Volume rendering apparatus and method
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
JP6041350B2 (ja) * 2012-03-30 2016-12-07 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法
CN104271066B (zh) * 2012-05-25 2017-10-24 外科手术室公司 具有不用手的控制的混合图像/场景再现器
US9033887B2 (en) * 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
CN103236058B (zh) * 2013-04-25 2016-04-13 内蒙古科技大学 获取四维心脏图像感兴趣体积的方法
CN106133789B (zh) * 2014-03-21 2022-11-18 皇家飞利浦有限公司 用于分割感兴趣区域的图像处理装置和方法
KR102297346B1 (ko) * 2014-10-31 2021-09-03 삼성메디슨 주식회사 의료 영상 장치 및 그에 따른 의료 영상을 디스플레이 하는 방법
US10485510B2 (en) * 2015-01-29 2019-11-26 Siemens Healthcare Gmbh Planning and guidance of electrophysiology therapies
EP3106096B1 (en) * 2015-06-12 2020-02-19 Samsung Medison Co., Ltd. Method and apparatus for displaying ultrasound images
US11207133B1 (en) * 2018-09-10 2021-12-28 David Byron Douglas Method and apparatus for the interaction of virtual tools and geo-registered tools

Also Published As

Publication number Publication date
WO2020148195A1 (en) 2020-07-23
JP2022517308A (ja) 2022-03-08
EP3683773A1 (en) 2020-07-22
US20220130046A1 (en) 2022-04-28
EP3912139A1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
US20220130046A1 (en) Method of visualizing a dynamic anatomical structure
CN109589170B (zh) 医学成像中的左心耳闭合引导
US9818231B2 (en) Computer visualization of anatomical items
US8079957B2 (en) Synchronized three or four-dimensional medical ultrasound imaging and measurements
US9155470B2 (en) Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
RU2711140C2 (ru) Редактирование медицинских изображений
JP2000182078A (ja) 三次元（３ｄ）イメ―ジングシステム及び三次元（３ｄ）イメ―ジにおける境界を決定する方法
US20240008844A1 (en) Method, device and system for intracavity probe procedure planning
CN114391158A (zh) 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
Sørensen et al. A new virtual reality approach for planning of cardiac interventions
RU2808612C2 (ru) Способ визуализации динамической анатомической структуры
US20230230321A1 (en) Extended reality-based user interface add-on, system and method for reviewing 3d or 4d medical image data
CN111432718B (zh) 评估通过解剖学结构的血流阻塞
Makhlouf et al. Biomechanical Modeling and Pre-Operative Projection of A Human Organ using an Augmented Reality Technique During Open Hepatic Surgery
EP3637374A1 (en) Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium
EP4160543A1 (en) Method for analysing 3d medical image data, computer program and 3d medical image data evaluation device
Olson et al. 3D Echocardiography
Ford et al. Heartpad: real-time visual guidance for cardiac ultrasound
Wahle et al. Virtual angioscopy in human coronary arteries with visualization of computational hemodynamics
EP4280164A1 (en) Computer implemented method for adjusting a morphology of a heart valve model, computer program and system
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法
Udupa 1 3D Imaging
Magnenat-Thalmann et al. Towards the Virtual Physiological Human.
Mitchell et al. Virtual angioscopy in human coronary arteries with visualization of computational hemodynamics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination