CN113168734A - 管状结构的切割面显示 - Google Patents

管状结构的切割面显示 Download PDF

Info

Publication number
CN113168734A
CN113168734A CN201980073323.4A CN201980073323A CN113168734A CN 113168734 A CN113168734 A CN 113168734A CN 201980073323 A CN201980073323 A CN 201980073323A CN 113168734 A CN113168734 A CN 113168734A
Authority
CN
China
Prior art keywords
image
volumetric data
branches
interest
viewing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980073323.4A
Other languages
English (en)
Inventor
S·彼得森
B·托马斯
J·齐任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vader Diagnostics
VIDA DIAGNOSTICS Inc
Original Assignee
Vader Diagnostics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vader Diagnostics filed Critical Vader Diagnostics
Publication of CN113168734A publication Critical patent/CN113168734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20108Interactive selection of 2D slice in a 3D data set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021Flattening

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

用于从体积数据集中可视化管状对象的方法可以包括以下步骤:确定管状对象的查看方向;在体积数据内选择管状对象的约束子集;通过所述体积数据限定切割面并在所述体积数据内包括所述管状对象的约束子集;和基于所确定的查看方向和沿体积数据与限定的切割面的交点的管状对象的体积数据渲染图像。附加地或可替代地,该方法可以识别管状对象中的多个分叉;为每个识别的分叉分配加权因子;确定与每个分叉相关的分叉法向矢量;确定分叉法向矢量的加权平均值;以及从与分叉法向矢量的加权平均值平行的角度渲染体积数据的图像。

Description

管状结构的切割面显示
相关事项
本申请要求2018年11月9日提交的美国临时专利申请号62/758,309的权益。该申请的全部内容通过引用并入本文。
发明领域
本发明总体上涉及用于生成肺气道树和其他复杂解剖结构的丰富信息显示的系统和方法。
背景技术
由于其形状复杂性和非平面性质,可视化和解释嵌入3D医学图像体积中的管状解剖结构通常具有挑战性。
通常最好以虚拟模型显示的形式查看管状结构的整体拓扑,尤其是表现出分支的拓扑,在该模型中,用户可以在单个显示中看到整个对象。但是,这种查看范例是外部的,并且纯粹是几何的,因此无法提供内部组成和周围组织的背景信息。穿过图像体积的2D平面横截面(例如,多平面重新格式(MPR))非常适合查看组成和周围背景,但只能在单个显示中捕获高度非平面对象的一小部分。通常用于这种可视化的另一种技术是最大强度投影(MIP)或最小强度投影(MinIP)。这些方法可以很好地生成感兴趣的均匀亮或暗对象的全面视图(例如,在密集结构的CT扫描的情况下下的MIP和在空心结构的CT扫描的情况下的MinIP),但是在频谱的相对端的数据被完全过滤掉,并因此丢失了重要的背景和组成信息。作为MPR视图的替代方法,弯曲平面重新格式(弯曲的MPR或CPR)被广泛用于在单个视图中渲染沿管状结构(和有限数量的分支)的整个长度的纵向横截面。大肠的可视化通常使用一种类似的方法,称为“鱼片视图(filet view)”。但是,必须将这类构造缝合在一起的方式(尤其是在对象高度弯曲或沿多个方向分支时)常常会迷失方向,并且很容易丢失所显示内容的空间背景。也难以为复杂的分支结构制定这些类型的视图。因为这些和其他可视化方法受到各种限制,所以希望找到一种替代方式,以在单个连续的显示中传达感兴趣的管状和/或分支结构的形状和丰富的内部/背景信息。先前提出了用于限定和渲染“自由形式”表面以便以连续方式捕获分支结构的方法(避免了“缝合”问题)。然而,所描述的方法并不适合于高度复杂的分支结构,例如肺气道树。
现有技术只能应用于可以被单个连续歧管完全覆盖的结构。然而,在诸如气道树的复杂结构的情况下,这是不切实际的,因为会导致过度的失真。
发明内容
一般地,本文公开了与产生肺气道树和其他复杂解剖结构的丰富信息显示的系统和方法有关的各种实施例。这样的实施例可以在示例性应用中使用以帮助医师或其他用户可视化患者的肺部。
一个实施例包括一种用于从一组体积数据中可视化感兴趣的管状对象的方法。在该实施例中,该方法包括以下步骤:确定感兴趣对象的查看方向;在体积数据内选择对象的约束子集;通过包括所述体积数据内的所述感兴趣对象的约束子集的所述体积数据限定切割面;和基于所确定的查看方向和沿体积数据与限定的切割面的交点的管状对象的体积数据渲染图像。确定查看方向还可以包括实施预定义的设置;接收查看的选择;或计算最佳查看方向。接收查看方向的选择可以包括:提供体积数据的可旋转的二维可视化和/或可旋转的三维可视化,以及基于可旋转的二维可视化和/或可旋转的三维可视化的旋转位置接收选择的方向。
另一个实施例可以包括一种用于从一组体积数据中可视化感兴趣的管状对象的方法,该方法包括以下步骤:识别所述管状对象中的多个分叉;为每个识别出的分叉分配加权因子;确定与多个分叉中的每一个相关联的分叉法向矢量;基于所述加权因子和多个识别出的分叉中的每一个的确定的分叉法向矢量,确定所述分叉法向矢量的加权平均值;和从与分叉法向矢量的加权平均值平行的角度渲染体积数据的图像。
在下文的附图和描述中阐述了一个或多个实例的细节。其它特征、目标和优点将从所述描述和所述图式以及从权利要求书显而易见。
附图说明
受益于以下详细描述并参考附图,本发明的优点对于本领域技术人员而言将变得显而易见。
图1示出了管状结构的显示的各种实例。
图2示出了使用示例性气道树结构实现的示例性实施例的基本管道的示例性图示。
图3示出了作为两个子分支的方向的叉积计算出的分叉平面的法线方向。
图4示出了树,其中树的左侧表示具有根据其长度标记的分支,树的右侧表示具有根据其自身长度和加上所有子支的长度的总来标记的分支。
图5示出了肺的分支的3-D表示。
图6示出树,其中树的左侧表示具有根据其到固定点的距离标记的分支,而树的右侧表示具有根据其自身距离以及其子支距感兴趣的固定点的所有距离的最小值标记的分支。
图7示出了对树结构中的优先分支集合做出的包含决策的示例性序列。
图8示出深度图像的初始化的实例。
图9示出了针对气道树实例的演变中的各个阶段的实例,其以初始化的深度图像开始并且以完全填充且平滑变化的深度图像结束。
图10示出了示例气道结构情况的最终结果切割面生成的图像。
图11示出了在图10中所示的示例性气道情况文件中存在的失真的量和位置。
图12示出了用于减小、定位和/或缩窄图像失真的替代实施例的示例性切割面和所得显示。
图13示出了由切割面产生的失真数据。
图14示出了具有多个交叉参考视图的切割面的多个示例性显示。
图15示出了覆盖在切割面显示上的区域,以指示低于正常密度的组织区域。
图16显示了3D肺结节叠加在切割面渲染上。
图17示出了切割面渲染,其中除气道的交叉点之外的每个地方都施加了设定量的厚度。
图18示出了通过沿视图方向向前和向后移动原始切割面而获得的图像。
图19示出了3D气道树模型和相应的切割面显示的两个查看角度。
图20显示了带有注释的切割面显示。
图21示出了可用于计划手术的支气管镜路径的各种视图。
图22示出了用于生成多个切割平面渲染以便最终包括针对给定视图方向的树结构的每个分支的示例过程。
图23示出了可用于计算两个共同配准的图像体积的等效切割面显示图像的映射方案的实施例。
具体实施方式
本公开的方面涉及用于从医学图像数据产生复杂和/或分支解剖结构的显示的系统和方法。“切割面渲染”或“切割面显示”将3D几何渲染的各个方面与沿连续弯曲表面采样的概念结合在一起。实施例可以包括生成以与感兴趣的总体积和/或结构的一部分(例如,重要的和/或感兴趣的部分)相交的方式刻划通过图像体积的3D弯曲的平表面(在本文中通常称为“切割面”)。根据本公开的各种实施方式可以用于生成肺气道树和其他复杂解剖结构的丰富的信息显示。
图1示出了管状结构的显示的各种实例。图像110(左上)从外部视点示出了示例性3-D显示。图像120(左上)显示了各种平面横截面显示(MPR)。图像130(左下)显示了血管结构132和结肠结构134的弯曲平面重新格式。图像140(左下)显示了最小强度投影142(例如,用于气道)和最大强度投影144(例如,用于血管)。
在根据本申请的一些实施例中,可以在切割面构造之前选择用于显示的视点(例如,视点212)和/或基于感兴趣结构的子集(例如216或222)并取决于所选的视点构造切割面。
存在用于图像分段以及中心线计算(例如,骨架化)的各种技术。在一些实施例中,从体积图像数据中分段出感兴趣的管状对象,从而描绘出与感兴趣的对象相对应的体素,并计算其中轴线(或“中心线”)。图3示出了示例性实施例,其以黑色显示的中心线覆盖在分段的分支气道结构325上。在一些实施例中,系统和方法利用体积图像数据,已经从该体积图像数据中分段了感兴趣的对象和/或已经确定了中心线。
在一些实施例中,根据本申请的系统可以被配置为执行以下步骤:1)确定感兴趣对象的3D查看方向(例如,查看方向214);2)选择对象的子集以约束切割面构造(例如,可查看的子集222);3)以在约束之间平滑变化的方式限定体积的整个其余部分中的切割面(例如,切割面232);以及4)例如,通过射线投射和三线性插值,渲染沿着图像体积与切割面的相交处形成的图像,如图2的240所示。
各种实例包括通过计算机断层摄影(CT)或荧光镜锥形束CT扫描显示肺气道树,并因此下面的描述以这种实施方式为例。然而,将理解,本文描述的各种过程可以应用于其他管状结构(诸如血管、血管树或大/小肠)和/或另一体积成像模态(诸如磁共振成像(MRI))。
视点选择
在各种实施例中,当为三维结构选择查看方向时,可能希望使对象尽可能地散开并且在最终的投影中具有最小的重叠或障碍。换句话说,可能期望在感兴趣对象上的点位置之间的变化沿着查看方向最小化并且在垂直于查看方向(平行于图像平面)的方向上最大化。在一些实施方式中,这类似于感兴趣对象的2D投影以占据大面积。在各种实施例中,可以通过选择显示角度执行对树结构的渲染,从该角度,分支(例如,分支330)宽广地分开并且彼此不阻塞。例如,这可以通过查看任何分叉点(例如分叉点310)来实现。在一些实施例中,这可以通过查看分叉点(例如,分叉点310)来实现,在分叉点处,多个子分支330A和330B可以从单个父分支335发出。父分支335可以具有中心线337,子分支可以具有中心线325A和325B。在每个分支的基础上,此查看方向通常与分叉平面320的法线重合,显示为法向矢量305,以便两个发射分支的投影沿分叉平面320的跨度彼此分开。假设可以从树的中心线(例如,中心线325A和325B)得出每对分叉分支(例如,分支330A和330B)的3D矢量方向,则可以使用方向叉积(定向叉积315)容易地计算出分叉平面320的法线。图3示出了到分叉平面320的法向矢量305,其被计算为两个子分支330A和330B的方向的叉积315。
图2示出了使用示例性气道树结构实现的示例性实施例的基本管道的示例性图示。在左上图像210中,示出了感兴趣对象216以及确定的视点212;在图像220中,用于渲染感兴趣的结构216的所选子集222为深色阴影,而省略的部分224(在所选子集222的前面或后面交叉)则为浅阴影。在左下图像230中,切割面232被示为与感兴趣的结构(例如感兴趣的结构216)的所选子集(例如所选子集222)以及将用于渲染的图像平面236相交。然后,在右下图像240中,将产生最终渲染图像的表面投影显示为渲染图像242。
在一些实施例中,可以通过在树中的所有分叉上聚合平面法线(例如,如图3所示,与子中心线325A和325B的叉积315相关联)来计算整个树的查看方向。在一些实施例中,叉积315可以包括符号改变以维持一致的取向规则。一致的方向规则可以是将法线方向的集合限制为仅包含任何矢量的一个带符号版本的任何规则。例如,可以定义一个规则,使得矢量(x,y,z)和(-x,-y,-z)不是同一方向规则的一部分。以下是一个简单的方向规则的实例:
对于给定方向(x,y,z),
如果z>0,则使用(x,y,z)
否则,如果z<0,则使用(-x,-y,-z)\
否则,如果z=0:
如果y>0,则使用(x,y,0)
否则,如果y<0,则使用(-x,-y,0)
否则,如果y=0:
如果x>0,则使用(x,0,0)
否则使用(-x,0,0)
在所示实例中,该规则导致仅包括(x,y,z)或(-x,-y,-z)中的一个。
在示例性实施方式中,树的较早(近端)分支的分叉平面优选用于查看。在一些这样的实例中,方法可以包括使用加权平均值来聚合分叉法向矢量(例如,法向矢量305),其中权重与每个分叉处的世代数成反比。作为一个例子,在分叉b中的相对权重可以由w(b)=1/(1+anc(b))给出,其中anc(b)是树中b前分叉的总数(b为其子支的分叉的数量)。
应当理解,可以选择各种加权方案来优化数据的任何期望的方面。例如,在用于在一个或多个特定感兴趣的点(例如疾病或异常部位)附近产生气道树的最佳视图的示例性实施例中,可以以使得权重与距感兴趣点的距离反相关的方式选择加权方案。图6示出了从树结构中的各个分支到感兴趣的固定点的距离。作为一个例子,分叉b处的相对权重可以由(b)=1/(1+d(b,P))给出,其中d(b,P)是从分叉b到感兴趣的点集P的距离的某种度量。可以用传统方式将点集距离度量定义为d(b,P)=minp∈P d(b,p)。此外,每个d(b,p)可以定义为||b-p||
(如果b在分叉处被视为单个点),或者可以将其扩展为例如d(b,p)=minx∈b d(x,p),其中x∈b表示在分叉b所涉及的任何分支(通常是父分支和两个姊妹分支)的中心线上出现的所有点x。在各种实施例中,感兴趣的点可以由使用者手动选择,或者它们可以是自动分段/检测过程(例如,肿瘤CAD算法)或两者的产物。
附加或替代方法可以包括使用形状分析方法来找到最佳视图方向。主成分分析(PCA)非常适合此任务,并且例如,可以将查看方向选择为从所有中心线点的集计算出的次要主轴。
在肺气道的情况下利用体积图像数据的各种实例中,也可以使用固定的查看方向并且仍然获得高质量的结果。例如,冠状方向(朝受试者的身体的前方看的方向,例如图2的214)很好地用于捕获气管围(气道树的根)的全部范以及左右肺的近端和周边分支的大共享部分。可选地,如果分别显示左肺和右肺子树,则矢状投影(看对象身体左侧或右侧的方向)效果很好。
在另一实施例中,用户可以以某种方式限定特定的期望显示,诸如通过在一个视图中旋转和定向3D立体显示或2D MPR显示界面(例如,图19的左侧所示的3D视图1910和1930),然后在另一个视图中显示生成的渲染(例如,图19右侧所示的切割面显示视图1920和1940)。
又另一个实施例可以利用直接3D操纵界面在他们操纵他们的感兴趣的对象的视图时在同一视图内实时地交互式地显示完全渲染的结果。
在某些情况下,查看两个时间点(例如,治疗之前和之后)的患者解剖结构的比较可能有用。在某些这种情况下,可以选择两个实例在解剖学上相同的视点。此外,可能选择或计算两种情况下的视点以最好地突出显示两个时间点之间最大变化的位置。例如,感兴趣结构的子集可以被定义为在两个扫描时间点之间具有显着变化(例如,体积或强度变化大于某个阈值)。然后可以将特定的视点计算(PCA,分叉法线的加权平均值或某些其他机制)应用于仅仅该子集。可替代地,加权平均方法可以在整个结构上使用,而分叉权重与在涉及该分叉的任何分支上显示的变化量(体积、密度等)有关。权重函数可能看起来像w(b)=maxx∈bc(x),其中c(x)是在各个时间点之间该点x的变化量度。无论如何选择显示,这对于构造切割面的下一步都是至关重要的。
切割面约束:
本发明的各种实施例包括弯曲切割面的构造,其选择将图像体积的哪些部分渲染在所得图像上,诸如图2的图像220中所示的子集222。在一些实施例中,选择对象内的稀疏约束点集合以初始化表面,然后内插/外推其余部分以在其他任何地方平滑地变化(例如,图9)。可以执行构造切割面的其他方式,例如从平表面开始,然后在各个位置推拉表面以尽可能多地穿过感兴趣的对象。在一些实例中,约束点可以从对象(例如,气道树结构)的中心线中选择。在一些这样的实施例中,所形成的表面将在气道的各个部分中央切开,从而沿它们的长度切开它们,例如图2所示的实例。如果整个中心线树沿查看方向可见而没有任何自相交(从查看方向的角度来看,中心树的任何部分都不遮挡其他任何部分的视图),则有可能将其完全包含在初始化表面约束中。但是,大多数解剖树对象(尤其是具有许多分支的树对象)具有足够的复杂性(而事实并非如此)。例如,当从查看方向观看时,各分支可以彼此交叉,如图5的图像510所示。为了适应这种复杂性,在一些实例中,可以使用算法来选择对象的子集,使得从查看方向的视点来看,该子集的任何部分都不会经过同一子集的另一部分的前面。在一些实施例中,例如,与树结构有关的实施例,可以逐个分支地进行包含的选择。可以按照某种定义的顺序考虑分支,并且如果每个分支都没有交叉(从查看方向的视点来看在前面或后面)已经包含的任何分支,则可以选择每个分支以包含在表面约束中。在示例性实施例中,一种贪婪的方法可以用于分支排序问题,以努力使所有选定分支的组合长度(相对于视平面)最大化。可以通过向树中的每个分支分配分数来执行此过程,例如,将其投影长度的总和与其在树中后代分支的投影长度相加。投影长度可以通过确定每个分支的中心线在投影到垂直于查看方向的平面后的长度来计算。该方法通常导致分数在树的根部处最大而在树的叶部处最小(例如,参见图4)。图4示出了树410A-B,其中树的左侧表示410A具有根据其长度标记的分支,树的右侧表示410B具有根据其自身长度和加上所有子支的长度的总来标记的分支。长度412示出了信号分支长度的实例。关于树410A,分支414A-C分别被标记为具有长度1.8”、2.9”和4.8”。移至树410B,可以看到分支424B和424C具有相同的标记2.9”和4.8”,然后分支424A被标记具有9.5”的长度。这是因为到分支点414A、424A的分支的总和为9.5”(1.8”+4.8”+2.9”=9.5”)。如所示,父分支424A处的值可以更新其值以表示其自身(例如,长度为1.8”)加上其子分支424B和424C(例如,长度为2.9”和4.8”)的权重的总和。
在将分数应用于各个分支之后,该方法可以包括:按照从最高分数到最低分数的顺序遍历分支的列表,并且如果其中心线不相对于查看方向在任何先前包括的中心线之前或之后通过,则选择包括该分支(参见图5和7)。
在图5的示例性实施例中,较暗阴影的分支520代表已经被选择以包括在初始表面约束中的那些,而较浅阴影的分支530代表被拒绝的分支。分支可以被拒绝,因为从给定的视角看,在某个点上通过在较深阴影的分支520之前或之后。
所描述的优先顺序仅是一种可能的实施例。可以根据与场景最相关的信息分配优先顺序的方法有很多。例如,代替分支长度,可以基于到图像中一个多个“感兴趣”区域(疾病部位、治疗目标等)的距离来分配优先级。在一些这样的实例中,可以将靠近感兴趣区域的分支的优先级提高。
图6示出了基于到树610A、B上的给定感兴趣点(例如,感兴趣点630)的距离的分支标记方案。如图6所示,树的左侧表示610A具有根据分支从沿着其中心线的所有点到感兴趣点630的最小距离来标记的分支,树的右侧表示610B具有根据从沿着其中心线的所有点以及在沿所有其子分支的中心线上的所有点的最小距离的分支标记。分支612具有5.1”的标签。如树610A上所示,分支612的中心线与感兴趣点630之间的最小距离为5.1”。以类似的方式,分支610A-C分别被标记为值4.8”、4.7”和4.9”。转到树610B,可以看到分支624B和624C具有相同的标记4.7”和4.9”,然后分支624A被标记为值4.7”。这是因为相对于分支424A,分支624B从其中心线到感兴趣点630的最小距离为4.7”。如所示,父分支624A处的值可以更新其值以代表其自身或其任何子代到感兴趣点(例如,感兴趣点630)的最小距离。分支选择可以按照从最低到最高标签的顺序遍历树610B中的列表,再次,如果其中心线不相对于查看方向在任何先前包括的中心线之前或之后通过,则选择包括该分支。这种标记方案促进分支靠近感兴趣的点,并促进到达根部的整个路径(对于肺气道的情况,是气管)。
优先顺序可以从最低到最高标记。类似地,优先级排序可以基于到位于该体积内的某个2D平面的距离,其中距离该平面较近的分支被分配的优先级高于距离更远的那些。在一些实例中,这样的平面可以平行于查看平面(垂直于查看方向)。可以通过将平面沿其法线方向移动通过体积并为每个离散位置生成切割面显示来生成一系列切割面显示。所有这些显示的集合可以依次“播放”或“滚动浏览”,从而对感兴趣的结构进行动态和动画显示。
在一些实施例中,例如在纵向分析的情况下,例如,可以基于一个或多个时间点之间的变化量来分配优先级。在某些此类实例中,可以将具有较大变化(变窄、壁变厚等)的分支赋予更高的优先级。该排序可能不必一定是分层的。可以严格根据分支整体上的最大变化量(与从另一个时间点进行的扫描相比)来对分支进行标记。约束包含的分支遍历可以从最高到最低标记进行。
一旦将优先顺序分配给结构的各个部分,便可以考虑将各个组分包括在表面约束定义集中。从具有最高优先级的组分开始,可以通过包括不会相对于查看方向的角度已经包含的其他元素构成障碍或不被其阻塞的元素来定义约束集。图7示出了对树结构中的优先分支集合做出的包含决策的示例性序列。在每个步骤中,取决于阻塞标准,将包含或排除具有最高优先级的分支。
图7显示了树,其分支值对应于在约束集中要考虑的其优先级(较高的值具有较高的优先级)。包含决策的顺序显示在第1帧到第11帧中。黑色细线对应于尚未考虑的分支,黑色粗线表示约束集中包括的分支。由于受阻,从约束集中省略了以虚线表示的分支。在帧1中,分支710具有最高优先级值17.0,并且被首先选择。然后,在帧2中,选择具有第二高优先级值的分支,即值为10.3的分支720,因为它没有与先前包含的分支交叉。该过程继续在帧3-5中选择下一个最高优先级值,在其中选择具有值7.2的分支722;然后选择值为5.6的分支724;然后选择值为3.5的分支726。移至帧6时,将忽略优先级最高的其余分支,即优先级值为1.8的分支730,因为它与先前选择的分支724交叉。类似地,在帧7中,具有下一个最高优先级的分支即分支740被省略,因为它与先前选择的分支726交叉。然后,该过程以帧9和9继续,其中选择值为1.1的分支742并且选择值为1.0的分支744。在帧9中显示了最后一组选定和省略的分支,其中选择了分支710、720、722、724、726、742和744,而省略了分支730和740。
在一些实例中,为了捕获刚好在分段分支的远端和末端的关键位置之外的图像特征,可以将用于约束初始化的中心线从它们终止处向外外推一些距离。类似地,从中心线的末端发出的狭窄锥形区域内的图像分析也可以为切割面约束应扩展到何处以获得最终显示的最佳样本集提供指导。另一个变化可能是使用MIP或MinIP在每个中心线的末端渲染有边界的锥形区域,以突出显示对象分支远端的潜在感兴趣特征(例如,肺气道树中的粘液堵塞)。
为了选择分支进行初始化,附加的可选约束可以包括使用其父分支已经包含在选择中的分支。甚至可以施加更严格的约束,从而仅在也可以包括其所有姊妹分支的情况下才包括分支。可以定义其他约束条件来控制切割面的平滑度(直接影响最终图像中的失真量的属性)。例如,可以设置标准,以使得不同所选分支上的两个点之间的3D距离不能超过其在图像平面上的投影位置的2D距离的某个预定倍数“M”。参数“M”可用于控制最终结果中的失真量。
鉴于感兴趣对象的性质以及在最终结果中渲染对象的哪些部分的优先级,可以使用约束选择问题的替代方法。例如,可以采用更全局的优化方案,而不是采用贪婪和线性优先排序方法,例如,其中在每个包含点处目标值的总和(或平方和等)受投影不重叠的约束而最大化。目标值可以基于分支长度或某些其他优先级度量,例如周围区域的属性、局部结构的不规则性、疾病的可能性或解剖标记。在又一个实施例中,可以由用户来选择迫使对象的哪个部分穿过切割面。
切割面构建
在切割面上选择了初始点集之后,各种方法都包括定义切割面其余部分刻划通过图像体积的方式。表面的其余部分可以以多种方式构建。在一些实例中,切割面被定义为使得其平滑地变化并且相对于所选视点的角度自身不重叠。一种这么做的可能方法是使用参数化的曲面表示(例如NURBS表面),其在初始化点集处具有固定的顶点,而在其他位置处具有最小的曲率。在一些实施例中,可以通过在其上定义精确地对应于最终输出图像中的像素的离散的点位置集合来隐式地构造切割面。可以通过从渲染图像平面中的每个像素到沿查看方向的某个深度值跟踪矢量来定义这些切割面点位置。在示例性实施例中,在先前选择的约束中心线点集合(例如,图8的点818)处分配深度,并且可以使用迭代轮询和平均过程将深度向外传播到图像平面中的相邻像素(例如,图9)。在各种这样的实例中,可以将图像平面选择为垂直于查看方向并且位于图像体积中所有点的前面的任何平面。在一些实例中,对于初始化集中的每个约束切割面点,通过沿着查看方向投影到图像平面来确定对应的网格像素,例如图像位置830,并将该像素初始化为其深度值。
图8示出深度图像的初始化的实例。在所示的实例中,暗阴影选择的分支810已经被预先选择以初始化切割面。然后将所选分支810的中心线点820投影到图像平面830上,并且将深度记录在所得像素上。在一些实施例中,图像平面830包括代表投影的中心线820的多个点和/或线840。例如,中心线820上的点812在位置816上投影到图像平面830上。位置816上的像素初始化为值di–从中心线点812投影到图像平面830的距离。
在一些实例中,在整个演化过程中,约束集中所有初始化像素(例如,图9中的图像910)处的深度保持固定。从这里开始,剩余像素处的深度值可以通过连续地在相邻像素之间传播和平均这些值来演变,例如图像920和930中所示,直到达到稳定点(例如图像940)为止。在示例性实施例中,除了初始化像素之外,图像(例如,图像910)中的所有像素都被标记为“未分配”。在步骤一,将与一个或多个初始化像素相邻的每个“未分配”像素“分配”为其所有已初始化邻居像素的平均值。因此,这组“分配的”像素可以向外增加一个像素。对于每个后续迭代,每个像素(原始初始化集中的像素除外)的值都可以用其所有“已分配”相邻像素的平均值代替。该过程可以继续直到达到指定的稳定性标准和/或执行指定的迭代量。一组稳定性标准的实例是:(1)当没有“未分配”的像素时,和(2)当像素值的变化不超过上一次迭代中像素值的选定百分比时。
图9示出了针对气道树实例的演变中的各个阶段的实例。左上方的图像910示出了初始化约束集合;右上图像920示出了10次迭代之后的深度图像;左下图像930示出了100次迭代之后的深度图像;右下图像940显示了最终的稳定深度图像。
一旦填充了整个深度图像,即可在每个像素处定义相应的3D切割点。然后,可以使用任何采样和/或渲染方法来基于源扫描体积中的值在每个像素处分配图像值。在示例性实施例中,三线性插值可用于从CT图像体积中在各个切割面点处采样灰度值。在某些实例中,所得显示可以是8位、16位或任何优选格式。在16位输出的情况下,可以在许多不同类型的商业医学成像软件中查看生成的图像,并利用窗口/级别调整功能。但是,随着开发不同的软件,其他格式也可能适用。在图10中示出了示例性的气道情况文件,其中在图像1010和1020中示出了隐式切割面,并且在图像1030中示出了所得的最终显示图像。
图10示出了示例性气道结构情况(例如本文所讨论的那些情况)的最终所得切割面生成的图像。图10的图像1010示出了与整个感兴趣的对象1025(浅阴影)相交的隐式定义的切割面1012(以白色示出)。图像1020然后示出具有仅感兴趣的对象1025(现在为暗阴影)的相交部分的切割面。移至图像1030,图像1030描绘了基于来自源CT图像体积的三线性内插灰度值样本的最终显示。
在此实例中,在切割面上形成初始约束的气道被切割面中心相交,因此在所得图像中清晰显示,例如区域1032中所示。最终图像1030的区域1032是专门旨在显示的内容的主要目标。基于通过演化步骤对表面进行内插和/或外推的方式,来自扫描体积的周围薄壁组织和其他组织的其余部分被切割面1012相交。示出了图像位置的一些实例,这些图像位置不是感兴趣的特定对象(例如,感兴趣的对象1025)的一部分,而是恰好与切割面相交的“背景”的一部分,例如在区域1034中所示。
在一些实例中,如果用于渲染的切割面是弯曲的,则所得显示将表现出固有的失真。通过在每个像素处采样深度图像梯度,可以轻松地测量失真度。图11示出了在图10中所示的示例性气道情况文件中存在的失真的量和位置。图11示出指示在每个像素处出现的失真量的图像。转到图像1110,图像1110示出原始失真数据,其中,较暗的灰色部分1114对应于较小的失真,而较亮的灰色部分1112对应于较大的失真。然后,图像1120示出了覆盖在图像1030上的图像1110(例如,部分1114和1112)的失真数据。
在一些实例中,可以结合各种技术来减少失真量。在一些实施例中,用户可以例如经由显示器显示图像1120观察存在的失真量,并选择不同地渲染切割面,以便减少所产生的失真量。
图12示出了用于减小、定位和/或缩窄图像失真的替代实施例的示例性切割面和所得显示。图12的图像1210示出了切割面1212(浅阴影)以及相交的气道1225(暗阴影)。如图所示,切割面1212在切割面1214的较宽平坦区域(例如区域1216)之间呈现出更陡峭的高度变化。图像1220然后示出利用图像1210中所示的切割面的实施例的最终显示。
图13示出了由切割面1212产生的失真数据。图13的图像1310示出了示例性原始失真数据,其中部分1314(深色阴影)对应于较小的失真,而部分1312(浅色阴影)对应于较大的失真。然后,图像1320示出了覆盖在图像1030上的图像1310(例如,部分1314和1312)的失真数据。
在一些实例中,可以对该技术进行排序以生成多个显示,这些显示最终捕获感兴趣结构中的每个分支。一个可能的实施例可以生成显示,然后删除在先前迭代中渲染的所有叶分支(没有子代的分支),然后在经过简化的树上重新运行该过程,直到所有叶分支都被渲染为止。这样,可以在后续迭代中捕获被省略的分支(例如,由于与当前选择的集合重叠)。
除了本文其他地方描述的各种实例之外或作为其替代,可以包括各种特征。
例如,在一些实施例中,可以将选择感兴趣对象的表面约束子集预定义为固定的解剖子集。例如,在气道树的情况下,约束子集可以是解剖学标记的气道分支的预定义子集。在一些实例中,可以使用标记的和分段的感兴趣的结构进行标记来执行这样的方法。这样的标记可以通过各种自动化方法来实现,或者可以由用户分配/编辑。
在一些实例中,表面约束子集的直接调整可以由用户执行。例如,在一些实施例中,用户可以显式地选择或取消选择感兴趣的结构的部分以便影响切割面约束,然后可以相应地更新切割面。例如,如果感兴趣结构的特定期望部分未包括在显示中,则用户可以例如通过单击该部分内的各个点来将该部分的一些部分添加为约束。类似地,为了排除包括在显示中的特定的不期望的部分。
在一些实例中,可以创建预先计算的显示序列的动画或回放。可以基于一组连续变化的查看方向来生成这些序列。例如,可以从围绕感兴趣结构中心的360度旋转中采样看向该中心的一系列视点。可以预先计算这些视点中每个视点的切割面显示,然后将生成的图像序列渲染为动画。可选地,用户可以通过基本的向前播放、向后播放和暂停控件来控制播放。
本文描述的各种实例可以用于生成单个显示或显示的离散集合和/或可以集成到更复杂的可视化应用程序中。生成的表面通常与最终图像要渲染到的图像平面同胚,并且通常可以将2D显示图像中的点映射到3D体积中的唯一位置,例如,通过在显示中给定2D位置进行深度插值并沿着查看方向从图像平面突出该深度,以到达相应的3D位置。反之亦然,可以将3D体积中的任何点映射到其在2D显示上的相应投影,并轻松查询它是直接位于表面上还是位于其前面或后面。这些属性允许在显示界面中使用多种功能。示例性用例如下所述。
用例(A)
在一些实例中,每个显示像素对应于唯一的3D体积位置这一事实意味着,对于任何选定的2D位置,辅助视图(例如轴向/矢状/冠状)都可以与该显示一起显示。在一些实施例中,用户可以使用“十字准线”工具在表面显示中选择十字准线位置,并且唯一定义的轴向/矢状/冠状平面MPR可以相应地更新,例如,如图14所示。
图14示出了切割面显示1410(左上角),其中同时可见多个气道分支和分叉1412。十字准线1414放置在2D位置,然后从到切割面的深度得出相应的3D点。其平面位置对应于十字准线位置的各种平面和/或辅助MPR视图显示为轴向MPR图像1420、冠状MPR图像1430和1440矢状MPR图像1440。
另外,分配给显示中表示的3D体积位置的任何属性(例如,突出显示组织属性的着色,与解剖学名称相对应的标记或其他注释)都可以轻松地转移到2D显示中它们的像素位置,例如如图15所示。图15示出了覆盖在切割面显示1510上的区域1512,以指示低于正常密度的组织区域。
可以通过投影将3D体积中的辅助结构或区域映射到2D显示中的某些像素子集。在各种实例中,这样的结构或区域可以在表面的后面、前面或与其相交,并且因此它们的投影形状可以相应地叠加,例如,如图16所示。图16示出了3D肺结节叠加在切割面渲染上。不透明结节1610位于切割面的前面(从给定的视点看),而半透明结节(1630)位于切割面的后面。在切割面渲染中显示的同时气道表示通向靠近重叠结节1620的肺区域的多个气道路径。
用例(B)
在一些实例中,被渲染的表面与传统的平面横截面(MPR)之间的相似性使得可视化软件中的MPR通常可使用的许多操作都可以在切割面显示中实现。例如,可以沿查看方向向前或向后移动表面,以便在一系列并行渲染中滚动浏览图像体积,例如,如图18所示。图18示出了通过沿视图方向向前和向后移动原始切割面而获得的图像。图像1850显示原始切割面显示(0mm)。图像1810-1840显示了四个样本图像,这些图像的切割面向后(相对于查看方向)平移了不同的量。更具体地,图像1810示出了切割面平移了-10mm;图像1820显示切割面平移了-7.5mm;图像1830显示切割面平移了-5mm;图1840显示切割面平移了-2.5mm。图像1860-1890还显示了四个样本图像,其中切割面向前(相对于查看方向)平移了不同的量。更具体地说,图像1860显示切割面平移了+10mm;图像1870显示切割面平移了+7.5mm;图像1880显示切割面平移了+5mm;图1890显示切割面平移了+2.5mm。可以以与平面MPR图像典型的“电影”或“滚动”操作类似的方式来实现将切割面平移不同量。也有可能在表面上施加“厚度”,与对MPR平面通常执行的操作类似。例如,在一些实施例中,2D显示中的每个像素对应于3D体积中的多个位置的集合。类似于厚MPR图像的各种处理,可以通过平均/最大强度投影(MIP)/最小强度投影(MinIP)或其他技术(例如图17所示的一种)从3D位置集合中定义像素处的显示。
图17示出了切割面渲染,其中除气道的交叉点之外的每个地方都施加了设定量(例如5mm)的厚度。可以使用最大强度投影(MIP)渲染厚度。在图17所示的实例中,厚度可以帮助可视化肺内更多的高密度血管1710,同时保持未增厚的气道位置1720的背景。
用例(C)
查看应用程序可以具有多种方式来修改表面和/或视点以进行渲染。例如,用户可以在各种预先计算的表面选项之间进行切换,这些选项在组合时将覆盖整个感兴趣的结构。用于创建这样的一组表面的各种方法在本文的其他地方被描述为一种迭代,其中基于感兴趣的结构减去先前迭代所覆盖的结构的所有部分来创建每个步骤的表面,例如,如图22所示。图22示出了用于生成多个切割平面渲染以便最终包括针对给定视图方向的树结构的每个分支的示例过程。
附加地或可替代地,用户可以手动选择期望同时显示的感兴趣的原始结构的一些子集。在气道树的情况下,这可能通过选择感兴趣的单个分支或选择一个或多个辅助区域(疾病部位、异常等)来实现,以使表面倾向于与感兴趣的结构中最接近限定的区域的部分相交。例如,如果正在计划支气管镜检查程序,则用户可以指示通过气道树的路径,该路径是该程序的预期路线。可以针对该特定路径优化切割面的显示,并以突出显示的路径显示给用户,例如,如图21所示。图21示出了可用于计划程序的支气管镜路径的各种视图,包括在右上角示出的切割面视图2110。
在一些实例中,不是从用户接收表面约束位置,而是可以将显示同步到定位设备以在实时程序中跟踪医疗设备(例如,支气管镜或血管导管)的位置。除了仅修改用于显示的表面之外,本申请还可以提供用于调整视点的机制,通过该视点定义表面以及从中渲染显示。例如,用户可以通过旋转操纵来改变视点,以将视图定向为感兴趣结构的特定透视图。一旦调整视点,就可以根据新的有利位置重新计算用于显示的表面。视点操纵可以结合辅助显示(例如3D视图或可调节斜面MPR)来执行,其中,随着用户修改3D视图,表面显示相应地更新,例如,如图19所示。图19显示了为辅助显示(左)中的视图优化的切割面显示(右)。上行示出了切割面渲染1920和用于冠状视点的相应的3D显示1910。下行示出了切割面渲染1940和在围绕垂直轴线旋转45度之后的对应的3D显示1930。
在一些实例中,表面视图显示本身可以具有可操纵的界面,并且用户可以根据在表面视图上正在交互显示和更新的内容直接修改视点。如先前描述的医疗设备同步中一样,活动的解剖位置也可以用于将视点(以及随后的表面)修改和更新为理想的虚拟位置,从该位置可以观察到感兴趣的结构。
用例(D)
在一些实例中,可以例如使用切割面显示上的位置与体积数据中的部分之间的已知关系来在显示图像上限定和计算各种测量。例如,可以在切割面显示上启用测量两个点位置之间实际距离的标尺工具。通过在图像上绘制直线标尺,用户可以在体积中限定两个唯一的3D端点。这两个3D端点之间的最终3D距离可以显示在标尺旁边,以指示实际测量值。类似地,可以使用角度测量工具来测量由三个点限定的角度。此外,由于2D图像显示和3D表面之间的同胚关系,因此可以在2D图像上限定的任何2D区域将对应于3D表面上的明确限定的封闭区域。这意味着例如可以计算并显示区域测量值,例如区域的面积或图像强度统计数据,如图20所示。图20示出了切割面显示,其具有示例画出的长度测量值,例如长度2020,作为通过分支的中心线2010A和2010B的两个端点之间的3D距离。还示出了分叉角2030,该分叉角表示相对于它们分支的分叉点2040的两个子分支2050A和2050B的端点之间形成的3D角度。另外,可以显示在2D区域内表示的所有3D体素上的平均HU值。例如,区域2060的平均HU值显示为-971HU。
用例(E)
在一些实例中,当分析两个或多个扫描体积时,可以使用切割面显示来同时表示其比较的大量信息。如果在两次或更多次扫描之间建立了微分同胚对应关系(例如,通过自动图像配准技术),则可以定义适当的变换序列以生成等效的切割面显示,如图23所示。图23示出了映射方案的实施例,该映射方案可以用于计算两个共同配准的图像体积(体积A和体积B)的等效切割面显示图像(切割面显示A和切割面显示B)。在一些实施例中,这可以在共同配准能够将体积A中的每个3D点(x,y,z)映射到体积B中的3D点T(x,y,z)的假设下执行。
在一些这样的实例中,所得到的显示可以表示相同的解剖学局部,并且可以并排渲染或者直接以可调节的权重或透明度功能彼此重叠。在各种其他体积的视图中,上述的任何操作都可以转换为类似的操作。
将理解,关于本文列出的用例描述的各种概念可以在各种实施例中组合。
已经描述了各种特征。下面列出了本公开的一些方面,并且可以根据不同的实施例以各种方式进行组合。
对于3D图像体积内的给定感兴趣结构,定义有利点和关联表面(与图像平面同胚),与感兴趣结构的全部或部分相交,通过投影到图像平面来渲染该表面,并生成输出图像。
在3D图像体积内定义有利点和关联表面,通过投影到图像平面渲染表面,在屏幕上显示渲染的图像,并提供以下一项或多项功能:
对应于渲染显示中指定像素位置的一个或多个辅助视图(例如,用例(A)和图14)
通过叠加注释、着色等来更改显示的图像(例如,用例(A)和图15)
通过叠加一个或多个其他解剖结构的3D渲染来更改显示的图像(例如,用例(A)和图16)
向表面施加指定量的“厚度”,从而每个像素的渲染通过求平均值、最大强度、最小强度或其他一些值在整个加厚的表面投影上聚合所述值(例如,用例(B)和图17)
通过将其移动到更靠近或远离有利点的方式来交互式调整表面的位置(例如,用例(B)和图18)
通过以下任何一种方式对表面进行交互式调整(例如,用例(C):
i.在给定结构之内或附近选择一个或多个特定的感兴趣点或区域
ii.从一个或多个捕获感兴趣结构不同部分的替代表面中进行选择(图22)
基于以下任一情况,对有利点进行交互式调整,然后自动更新表面:(例如,用例(C)和图19):
i.辅助显示的旋转操纵或
ii.在切割面显示上直接旋转操作
自动调整有利点,然后基于提供的解剖位置自动更新表面(例如,用例(C)):
i.由用户直接提供或通过与辅助扫描仪或设备(例如手术GPS单元)对应提供的解剖位置
ii.穿过感兴趣结构的3D路径-例如,用于计划支气管镜检查程序的建议气道路径(例如,用例(C)和图21)。在不同的查看范例中显示了感兴趣的气道路径的多种表示形式。在显示2120上示出了整个气道树的3D视图,其中气道路径被叠加为白色虚线。在显示2110上示出了气道路径叠加为白色虚线的切割面视图。在显示2150中示出了具有近似的内部和外部气道壁轮廓的横截面图(在垂直于沿着中心线路径的特定位置的平面中)。另外,在显示2130中示出了从气道内部的3D飞越透视图。
正确调整并考虑所显示图像中任何失真的距离、角度、面积等的测量值(例如,用例(D)和图20)。
在两个共同配准的体积空间之间同步视点和表面,并同时查看两个显示(并排显示或直接叠加在另一个显示之上,并具有可调整的权重或透明度功能,以可从一个平稳切换到另一个(例如,用例(E)和图23)。
本文描述的各种特征及其各种组合可以导致相对于现有系统和方法的改进和优点。例如,本文描述的各种特征和/或其组合可以被配置为
a.显示完整的体积背景,而不是仅基于外部形状的3D模型视图。
b.同时在许多非共面的分支上展示各种特征(例如,血管或气道逐渐变细)。
c.在每个显示的管状分支的末端显示解剖结构。
d.与平面横截面相比,捕获的感兴趣对象明显更多。
e.与传统的弯曲平面重新格式化图像相比,保留方向和全局空间背景更好。
f.保持源数据的分辨率和完整性(例如,在MPR或MIP或MinIP渲染变厚的情况下不使用平均或滤波)。
g.确保3D的切割面与2D的渲染图像之间一一对应且连续(在两个方向上)对应-强度投影以及大多数弯曲的MPR和圆角查看方法都缺少这种特性。这种数学关系具有许多优势,因为可以轻松自然地在3D和2D表示之间来回映射。
h.通过将显示限制为感兴趣的结构的可行子集来处理任意复杂性的对象(与[1]不同)。
i.根据感兴趣的特定信息进行可变构造(在查看方向和切割面限定方面)以进行优化。
以下是本文描述的系统和方法的潜在用途和实现方式的非限制性列表:
静态和交互式可视化医学图像中的管状解剖结构,包括气道树、血管树、大/小肠中心线。
广谱的CT血管造影(CTA)和MR血管造影(MRA)分析的替代显示,包括头/颈血管、臂/手血管、以及胸主动脉和腹主动脉以及相关的近端动脉分支(腹腔、肠系膜等)和远端动脉分支(髂骨、股、肾、腘等)。
可视化类似歧管的解剖结构,例如肩部、臀部、膝盖和脚踝的膈肌、弯曲的骨表面以及弯曲的透明朊和纤维软骨结构。
在CT、MR或磁共振胆胰胰管扫描中可视化胆管和胰管。
将实体器官的多个部分映射到单个视图中,例如脑叶、肺叶、心室和肝叶。
在单个显示中可视化复杂的有机子系统,例如肾脏/输尿管/膀胱,或阴道/子宫/输卵管/卵巢,或前列腺/精囊/输精管/睾丸。
评估上面列出的解剖结构内部和外部的疾病状态,尤其是与其他结构或特征的定位和空间关系。例如,以下任何一项:
i.肺气道中支气管扩张
ii.肺气道中粘液堵塞
iii.气道壁炎症/增厚
iv.COPD中的气道丢失/重塑
v.气道各种特征与周围实质状态之间的空间关系
vi.气道阻塞或变窄
vii.气道憩室
viii.与周围气道有关的肺癌结节
ix.肺栓子
x.血管狭窄
xi.血管动脉瘤
xii.血管钙化/斑块
xiii.血管壁异常
xiv.大/小肠憩室
xv.结肠息肉
xvi.与周围脉管系统有关的肿瘤
外科手术和内窥镜手术计划。
术中和过程内辅助(基于医疗设备的位置实时调整切割面图像)。
可以在本地和/或分布式系统中实现本文描述的各种方法。系统可以包括用于存储诸如CT或MRI数据之类的体积数据的存储器,以及被配置为根据本文所述的方法处理这种体积数据的处理器。在一些实例中,系统可以体现为独立计算机。附加地或替代地,可以在远程位置执行各种处理,诸如经由云计算或其他远程处理配置。例如,在一些实例中,可以将数据(例如,体积数据)从初始位置传送到远程位置以进行处理,并且可以将结果图像(例如,切割面显示图像)传送回初始位置。系统可以包括用户界面,以允许用户调整和/或选择与执行本文所述的各种过程相关联的一个或多个方面。
已经描述了各种非限制性实例。这些和其他都在以下列举的实施例的范围内。

Claims (27)

1.一种用于从体积数据集中可视化管状感兴趣对象的方法,包括:
确定所述感兴趣对象的查看方向;
在所述体积数据内选择所述对象的约束子集;
通过所述体积数据限定切割面,并在所述体积数据内包括所述感兴趣对象的所述约束子集;和
基于确定的查看方向和管状对象的所述体积数据沿所述体积数据与限定的切割面的交点渲染图像。
2.根据权利要求1或前述权利要求中任一项所述的方法,其中所述体积数据包括CT或MRI数据。
3.根据权利要求1或前述权利要求中任一项所述的方法,其中确定所述查看方向包括:实施预定义的设置;
接收查看方向的选择;或者
计算最佳查看方向。
4.根据权利要求3或前述权利要求中任一项所述的方法,其中接收查看方向的选择包括提供所述体积数据的可旋转的二维可视化,以及基于所述可旋转的二维可视化的旋转位置接收选择的方向。
5.根据权利要求4或前述权利要求中任一项所述的方法,其中所述可旋转的二维可视化包括斜位MPR、2D最大强度投影(MIP)或2D最小强度投影(MinIP)。
6.根据权利要求3或前述权利要求中任一项所述的方法,其中接收查看方向的选择包括提供所述体积数据的可旋转的三维可视化,以及基于所述可旋转的三维可视化的旋转位置接收选择的方向。
7.根据权利要求6或前述权利要求中任一项所述的方法,其中所述可旋转的三维可视化包括最大强度投影(MIP)或最小强度投影(MinIP)。
8.根据权利要求3或前述权利要求中任一项所述的方法,还包括接收代表外部医疗设备和/或计划系统的方向的信息,并且其中基于所接收的信息确定所述查看方向。
9.根据权利要求3或前述权利要求中任一项所述的方法,其中计算最佳查看方向包括:计算多个矢量的加权平均值,所述多个矢量中的每一个是与管状对象中不同的识别出的分叉相关联的法向矢量。
10.根据权利要求3或前述权利要求中任一项所述的方法,其中计算最佳查看方向包括对所述体积图像数据中的所述管状对象执行主组分分析。
11.根据权利要求1或前述权利要求中任一项所述的方法,其中识别所述体积数据中的约束包括:选择所述管状对象内的多个点;并且其中通过体积数据限定切割面包括在所选择的多个点之间进行插值和/或从所选择的多个点外推。
12.根据权利要求11或前述权利要求中任一项所述的方法,其中所述管状对象内的所选择的多个点对应于所述管状对象的所选择的一个或多个分支。
13.根据权利要求12或前述权利要求中任一项所述的方法,其中选择一个或多个分支包括:
对所述管状对象的分支进行优先级排序;和
按优先级降序选择分支,并排除中心线在先前选择的分支的中心线之前或之后通过的分支。
14.根据权利要求13或前述权利要求中任一项所述的方法,还包括:给每个分支分配分数,所述分数对应于当投影到垂直于所确定的查看方向的平面上时其长度和其子代分支的长度之和,并且其中根据分配的分数对分支进行优先级排序。
15.根据权利要求13或前述权利要求中任一项所述的方法,其中根据从所述分支到所述体积数据中的一个或多个感兴趣位置的距离来对分支进行优先级排序。
16.根据权利要求15或前述权利要求中任一项所述的方法,其中从最低距离到最高距离对分支进行优先级排序。
17.根据权利要求13或前述权利要求中任一项所述的方法,还包括:
将所述管状对象的所述体积数据与先前时间获取的所述管状对象的体积数据进行比较;和
对于所述体积数据中的多个区域,确定从所述先前时间的所述体积数据的变化量;并且其中根据从所述先前时间的所述体积数据的变化量对分支进行优先级排序。
18.根据权利要求1或前述权利要求中任一项所述的方法,还包括:
对于所述渲染图像中的多个区域,确定由于所述切割面而在所述图像中存在的失真量;和
生成显示在所述渲染图像内多个位置存在的失真量的显示。
19.根据权利要求1或前述权利要求中任一项所述的方法,还包括:
将所述感兴趣对象的所述查看方向改变为更新的查看方向;
基于所述约束子集和所述更新的查看方向,通过所述体数据更新所述切割面;和
基于所述更新的查看方向和管状对象的所述体积数据沿所述体积数据与更新的切割面的交点渲染更新的图像。
20.一种用于从体积数据集中可视化感兴趣管状对象的方法,包括:
识别所述管状对象中的多个分叉;
为每个识别出的分叉分配加权因子;
确定与所述多个分叉中的每一个相关联的分叉法向矢量;
基于所述加权因子和所确定的所述多个识别出的分叉中的每一个的确定的分叉法向矢量,确定所述分叉法向矢量的加权平均值;和
从与所述分叉法向矢量的所述加权平均值平行的角度渲染所述体积数据的图像。
21.根据权利要求20或前述权利要求中任一项所述的方法,其中与给定的分叉相关联的所述加权因子与所述给定的分叉之前的分叉的数量有关,并且其中具有更少之前分叉的分叉比具有更多之前分叉的分叉被赋予更强的权重。
22.根据权利要求20或前述权利要求中任一项所述的方法,还包括:识别所述体积内的一个或多个感兴趣点,并且其中与给定分叉相关联的所述加权因子基于所述给定分叉与所述一个或多个感兴趣点之间的距离度量。
23.根据权利要求22或前述权利要求中任一项所述的方法,其中所述给定分叉与所述一个或多个感兴趣点之间的所述距离度量对应于所述分叉与所述一个或多个感兴趣点中的每一个之间的距离的最小距离。
24.根据权利要求20或前述权利要求中任一项所述的方法,还包括:
在整个体积数据中限定切割面;并且其中
渲染体积数据的图像包括渲染所述切割面和所述管状对象的相交的图像。
25.一种可视化系统,其包括处理器,所述处理器被配置为接收体积数据并执行根据权利要求1-24中任一项所述的方法。
26.根据权利要求25或前述权利要求中任一项所述的系统,还包括:用户界面,其用于从用户接收输入并且与所述处理器通信,所述输入控制以下的一个或多个方面:
确定所述查看方向;
选择所述约束子集;
基于确定的查看方向和管状对象的所述体积数据沿所述体积数据与限定的切割面的交点渲染所述图像;或
将所述切割面显示上的一个点与包括同一点的一个或多个辅助视图进行交叉引用。
27.根据权利要求25或前述权利要求中任一项所述的系统,还包括显示器,所述显示器与所述处理器通信并且被配置为显示所渲染的图像。
CN201980073323.4A 2018-11-09 2019-11-08 管状结构的切割面显示 Pending CN113168734A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862758309P 2018-11-09 2018-11-09
US62/758309 2018-11-09
PCT/US2019/060407 WO2020097425A2 (en) 2018-11-09 2019-11-08 Cut-surface display of tubular structures

Publications (1)

Publication Number Publication Date
CN113168734A true CN113168734A (zh) 2021-07-23

Family

ID=69160113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073323.4A Pending CN113168734A (zh) 2018-11-09 2019-11-08 管状结构的切割面显示

Country Status (5)

Country Link
US (1) US11176666B2 (zh)
EP (1) EP3877956A2 (zh)
JP (1) JP7401540B2 (zh)
CN (1) CN113168734A (zh)
WO (1) WO2020097425A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022009392A (es) * 2020-01-29 2022-11-07 Vertex Software Llc Visualizacion y evaluacion de secciones transversales en 3d.
WO2021207289A1 (en) 2020-04-07 2021-10-14 Vida Diagnostics, Inc. Subject specific coordinatization and virtual navigation systems and methods
US20230260198A1 (en) * 2020-07-03 2023-08-17 Hirofumi Seo Image processing device, image processing method, and storage medium
JP2023540284A (ja) * 2020-09-01 2023-09-22 ザ リサーチ ファウンデーション フォー ザ ステイト ユニバーシティー オブ ニューヨーク 仮想膵管造影パイプラインのためのシステムおよび方法
CA3216802A1 (en) * 2021-05-05 2022-11-10 Rhea TOMBROPOULOS Systems and methods for processing electronic images to determine a planar mapping

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009224A1 (en) * 1999-01-22 2002-01-24 Claudio Gatti Interactive sculpting for volumetric exploration and feature extraction
JP2002092590A (ja) * 2000-09-14 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2004113537A (ja) * 2002-09-27 2004-04-15 Ziosoft Inc 分岐体のcpr画像表示処理方法、分岐体のcpr画像表示処理装置及びプログラム
US6807292B1 (en) * 1998-03-09 2004-10-19 Hitachi Medical Corporation Image displaying method and apparatus
CN1882950A (zh) * 2003-09-25 2006-12-20 派昂公司 用于管状器官的三维重建的系统和方法
US20100309198A1 (en) * 2007-05-15 2010-12-09 Claude Kauffmann method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures
CN107209924A (zh) * 2015-01-29 2017-09-26 美国西门子医疗解决公司 利用经渲染的体积成像中的平面投影的测量工具
US20170345155A1 (en) * 2008-02-14 2017-11-30 The Penn State Research Foundation Medical image reporting system and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5558091A (en) 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
US6466687B1 (en) 1997-02-12 2002-10-15 The University Of Iowa Research Foundation Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
US6580938B1 (en) 1997-02-25 2003-06-17 Biosense, Inc. Image-guided thoracic therapy and apparatus therefor
IL126333A0 (en) 1998-09-24 1999-05-09 Super Dimension Ltd System and method of recording and displaying in context of an image a location of at least one point-of-interest in body during an intra-body medical procedure
AU5882599A (en) 1998-09-24 2000-04-10 Super Dimension Ltd. System and method for determining the location of a catheter during an intra-body medical procedure
US6775404B1 (en) 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
US6466815B1 (en) 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US6615155B2 (en) 2000-03-09 2003-09-02 Super Dimension Ltd. Object tracking using a single sensor or a pair of sensors
AU2001251539A1 (en) 2000-04-11 2001-10-23 Cornell Research Foundation Inc. System and method for three-dimensional image rendering and analysis
WO2001088882A2 (en) 2000-05-19 2001-11-22 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US6690960B2 (en) 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
WO2003045223A2 (en) 2001-11-21 2003-06-05 Viatronix Incorporated Imaging system and method for cardiac analysis
WO2003086498A2 (en) 2002-04-17 2003-10-23 Super Dimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
CN100377685C (zh) 2002-08-30 2008-04-02 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
JP4263943B2 (ja) * 2003-05-07 2009-05-13 テルモ株式会社 超音波診断装置
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US9373166B2 (en) 2004-04-23 2016-06-21 Siemens Medical Solutions Usa, Inc. Registered video endoscopy and virtual endoscopy
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
WO2005119505A2 (en) 2004-06-04 2005-12-15 Stereotaxis, Inc. User interface for remote control of medical devices
US8073210B2 (en) 2005-02-14 2011-12-06 University Of Lowa Research Foundation Methods of smoothing segmented regions and related devices
EP1917641A2 (en) * 2005-08-17 2008-05-07 Koninklijke Philips Electronics N.V. Method and apparatus for automatic 4d coronary modeling and motion vector field estimation
DE102005039657A1 (de) 2005-08-22 2007-03-22 Siemens Ag Verfahren zur Darstellung einer Vorrichtung in einem 3-D-Bild eines Volumendatensatzes
US7760941B2 (en) 2005-09-23 2010-07-20 Mevis Research Gmbh Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object
US20070092864A1 (en) 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US7855723B2 (en) 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
ATE553457T1 (de) * 2006-06-28 2012-04-15 Bio Tree Systems Inc Binned-micro-vessel-dichteverfahren und vorrichtungen
DE602007006811D1 (de) * 2007-10-09 2010-07-08 Agfa Healthcare Nv Verfahren und Vorrichtung zur Volumendarstellung medizinischer Datensätze
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8611989B2 (en) 2010-11-30 2013-12-17 Kabushiki Kaisha Toshiba Multi-planar reconstruction lumen imaging method and apparatus
JP6257913B2 (ja) * 2013-04-19 2018-01-10 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像処理プログラム
US9824492B2 (en) * 2016-03-24 2017-11-21 Vital Images, Inc. Hollow object model visualization in medical images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807292B1 (en) * 1998-03-09 2004-10-19 Hitachi Medical Corporation Image displaying method and apparatus
US20020009224A1 (en) * 1999-01-22 2002-01-24 Claudio Gatti Interactive sculpting for volumetric exploration and feature extraction
JP2002092590A (ja) * 2000-09-14 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2004113537A (ja) * 2002-09-27 2004-04-15 Ziosoft Inc 分岐体のcpr画像表示処理方法、分岐体のcpr画像表示処理装置及びプログラム
CN1882950A (zh) * 2003-09-25 2006-12-20 派昂公司 用于管状器官的三维重建的系统和方法
US20100309198A1 (en) * 2007-05-15 2010-12-09 Claude Kauffmann method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures
US20170345155A1 (en) * 2008-02-14 2017-11-30 The Penn State Research Foundation Medical image reporting system and method
CN107209924A (zh) * 2015-01-29 2017-09-26 美国西门子医疗解决公司 利用经渲染的体积成像中的平面投影的测量工具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS AUZINGER: "Vessel Visualization using Curved Surface Reformation", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, no. 12, pages 2858 - 2867, XP011529779, DOI: 10.1109/TVCG.2013.215 *

Also Published As

Publication number Publication date
EP3877956A2 (en) 2021-09-15
US20200151874A1 (en) 2020-05-14
US11176666B2 (en) 2021-11-16
WO2020097425A2 (en) 2020-05-14
WO2020097425A3 (en) 2020-08-13
JP7401540B2 (ja) 2023-12-19
JP2022506985A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
CN113168734A (zh) 管状结构的切割面显示
Kanitsar et al. CPR-curved planar reformation
US7822461B2 (en) System and method for endoscopic path planning
AU759501B2 (en) Virtual endoscopy with improved image segmentation and lesion detection
US5891030A (en) System for two dimensional and three dimensional imaging of tubular structures in the human body
US9099015B2 (en) System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
Hong et al. 3D reconstruction of virtual colon structures from colonoscopy images
US20070276214A1 (en) Systems and Methods for Automated Segmentation, Visualization and Analysis of Medical Images
CN101065771B (zh) 支气管树的平面角显像
US20050110791A1 (en) Systems and methods for segmenting and displaying tubular vessels in volumetric imaging data
US8077948B2 (en) Method for editing 3D image segmentation maps
EP3561768B1 (en) Visualization of lung fissures in medical imaging
WO2000032106A1 (en) Virtual endoscopy with improved image segmentation and lesion detection
EP2244633A2 (en) Medical image reporting system and method
JP2002504385A (ja) 自動経路立案方法
JP2000182078A (ja) 三次元(3d)イメ―ジングシステム及び三次元(3d)イメ―ジにおける境界を決定する方法
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
Kanitsar et al. Diagnostic relevant visualization of vascular structures
Bartz et al. Visualization and exploration of segmented anatomic structures
Cheirsilp 3D multimodal image analysis for lung-cancer assessment
US11875459B2 (en) Subject specific coordinatization and virtual navigation systems and methods
EP4231246A1 (en) Technique for optical guidance during a surgical procedure
Ajani et al. Volumetric Clipping Surface: Un-occluded visualization of structures preserving depth cues into surrounding organs
Lee et al. Fast path planning in virtual colonoscopy
Neri et al. Multidetector-Row CT: Image-Processing Techniques and Clinical Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination