CN109564679B - 用于细化图像中的解剖结构的模型的方法和装置 - Google Patents
用于细化图像中的解剖结构的模型的方法和装置 Download PDFInfo
- Publication number
- CN109564679B CN109564679B CN201780046262.3A CN201780046262A CN109564679B CN 109564679 B CN109564679 B CN 109564679B CN 201780046262 A CN201780046262 A CN 201780046262A CN 109564679 B CN109564679 B CN 109564679B
- Authority
- CN
- China
- Prior art keywords
- control point
- model
- image
- anatomical structure
- anatomical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供了一种用于细化图像中的解剖结构的模型的方法和装置。采集针对所述图像中的所述解剖结构的模型。所述模型包括多个控制点,每个控制点对应于所述解剖结构中的特征。所述模型相对于所述解剖结构被放置在所述图像中。基于被接收以调节所述图像中的所述模型的用户输入,所述多个控制点中的至少一个的位置被调节以将所述模型的形状改变到所述图像中的所述解剖结构,其中,对所述至少一个控制点中的一个或多个的位置的调节是基于与所述至少一个控制点有关的信息来限制的。
Description
技术领域
本发明涉及医学成像的领域,并且具体地涉及细化图像中的解剖结构的模型。
背景技术
医学成像是用于提供图像中的解剖结构(例如,器官)的视觉表示的有用工具。存在许多不同的类型的医学成像技术,包括计算机断层摄影(CT)、磁共振(MR)、超声(US)等。从医学成像采集的图像可以证明对于对象的临床分析和在必要的情况下医学介入有价值。
例如,医学成像在二尖瓣疾病的处置中是尤其有用的。二尖瓣疾病的处置需要介入设备和规划系统,其是快速增长市场的部分。在规划系统中,二尖瓣环和小叶需要被表征并且某些长度和区需要被测量。这通常基于从计算机断层摄影(CT)或者超声(US)图像采集的多个重新格式化的二维视图通过手动过程实现。例如,用于二尖瓣测量的临床工作流可以涉及沿着左心室的长轴切割左心室和二尖瓣并且呈现通过二尖瓣的正交切割的二维重新格式化。通过围绕左心室长轴旋转这些视图,创建一系列“桨-轮”重新格式化。二尖瓣的环可以在桨-轮系列的16个分立旋转状态中手动地注释(例如,在22.5度的角增量处)。定义二尖瓣环的三维轮廓可以通过所得的16个控制点之间的内插来估计。而且,在这些视图中的两个视图中,可以注释三角点。
如所提到的,这些当前临床工作流程需要手动交互。然而,由于二尖瓣和二尖瓣环的复杂的解剖结构,因而当前技术是麻烦、不直观并且常常是不可再现的。此外,二尖瓣环具有太复杂以致于不能简单地近似到能够利用很少自由度编辑的几何图元形状(诸如椭圆形或者环形结构)的形状。相反,二尖瓣环的形状引入用于编辑的许多自由度。此外,额外注释必须被执行以定义三角的近似位置,其被用于将全鞍形环转换为更好地适合设备规划所需的几何性质的更多D形环结构。然而,由于二尖瓣环和二尖瓣膜的复杂的三维解剖结构,因此二维切片中的注释是不直观并且常常是不可再现的。而且,16个二维视图对于定义三维中的三角点可能不是最佳的。
为了克服关于手动交互的问题,已经提供用于对二尖瓣环进行建模的方法。例如,Bastian Graser等人的“A Robust Model-Based Approach to Detect the MitralAnnulus in 3D Ultrasound”(Medical Imaging 2013)公开了根据三维超声数据创建的这样的模型,其中,力被计算并且被施加以调节模型。然而,这些力能够导致完成不可靠的调节并且提供二尖瓣的不准确的模型。
甚至鉴于以上困难,二尖瓣置换是心脏手术中的迅速增长的学科并且因此二尖瓣的复杂的几何结构继续导致复杂的规划,其中,需要若干测量结果以规划用于介入的最佳设备和最佳路径。相同困难也存在于具有复杂的几何结构的许多其他解剖结构中。
因此,需要一种细化图像中的解剖结构的模型以克服现有问题的经改进的方法和装置。
发明内容
如上所述,关于现有方法的限制在于,当前临床工作流程需要手动交互以规划解剖结构中的疾病的处置,这能够是麻烦、不直观并且常常不可再现的。此外,解剖结构的复杂的几何结构使针对介入的最佳设备和最佳路径的规划复杂,其中,针对解剖结构的现有模型证明是不准确的。具有可以细化复杂解剖结构的模型以克服这些现有问题的方法和装置将是有价值的。
因此,根据本发明的第一方面,提供了一种用于细化图像中的解剖结构的模型的方法。所述方法包括采集针对所述图像中的所述解剖结构的模型,所述模型包括多个控制点,每个控制点对应于所述解剖结构中的特征。所述方法还包括相对于所述解剖结构将所述模型放置在所述图像中,并且基于被接收以调节所述图像中的所述模型的用户输入,调节所述多个控制点中的至少一个的位置以将所述模型的形状改变到所述图像中的所述解剖结构,其中,对所述至少一个控制点中的一个或多个的所述位置的调节是基于与所述至少一个控制点有关的信息来限制的。
在一些实施例中,对所述至少一个控制点的所述位置的调节可以引起对一个或多个其他控制点的位置的调节。
在一些实施例中,所述方法可以包括调节所述多个控制点中的至少两个的位置以将所述模型的所述形状改变到所述图像中的所述解剖结构,其中,对至少两个控制点之一的位置的调节是独立于一个或多个其他控制点被限制的。
在一些实施例中,与所述至少一个控制点有关的信息可以包括解剖背景信息,所述解剖背景信息被包括在与所述至少一个控制点所对应的所述特征有关的模型。在一些实施例中,所述解剖背景信息可以设置关于对所述至少一个控制点的调节的一个或多个限制,所述一个或多个限制确保所述至少一个控制点所对应的所述解剖特征的形状被反映在经调节的模型中。
在一些实施例中,解剖背景信息可以被编码在所述模型中。在一些实施例中,所述一个或多个限制可以包括所述至少一个控制点能够调节以确保所述至少一个控制点所对应的所述特征的所述形状被反映在所述经调节的模型中的最大量。
在一些实施例中,所述解剖背景信息可以定义所述至少一个控制点所对应的所述特征的形状根据调节所述至少一个控制点被构建的方式。
在一些实施例中,与所述至少一个控制点有关的信息可以包括与所述至少一个控制点处的所述图像的一个或多个特性有关的图像背景信息。
在一些实施例中,对所述至少一个控制点的位置的调节可以通过限制针对所述至少一个控制点的位置的调节的自由度来限制。
在一些实施例中,限制自由度可以包括限制以下项中的任何一项或多项:在其中所述至少一个控制点的位置可调节的平面;相对于所述至少一个控制点的原始位置的方向,其中,所述至少一个控制点可调节;相对于至少一个其他控制点的方向,其中,所述至少一个控制点可调节;距所述至少一个控制点的所述原始位置的距离,通过其,所述至少一个控制点可调节;相对于至少一个其他控制点的距离,通过其,所述至少一个控制点可调节;在其内所述控制点可调节的区域;以及所述至少一个控制点向弯曲或非平面的平面的移动。
在一些实施例中,所述方法还可以包括从针对所述解剖结构的所述图像提取几何信息并且基于针对所述解剖结构的所述提取的几何信息利用所述至少一个控制点所对应的所述特征标记至少一个控制点。
在一些实施例中,方法还可以包括处理经细化的模型以获得针对解剖结构的几何信息。
在一些实施例中,所述解剖结构可以是心脏或者所述心脏的二尖瓣。在一些实施例中,所述特征可以是三角、环形物的前部或环形物的后部。
根据本发明的第二方面,提供了一种包括计算机可读介质的计算机程序产品,所述计算机可读介质具有实现在其中的计算机可读代码,所述计算机可读代码被配置使得在由合适的计算机或处理器运行时,使所述计算机或者处理器执行上文所描述的方法中的任一个。
根据本发明的第三方面,提供了一种用于细化图像中的解剖结构的模型的装置,所述装置包括处理器。所述处理器被配置为采集针对所述图像中的所述解剖结构的模型,所述模型包括多个控制点,每个控制点对应于所述解剖结构中的特征。所述处理器还被配置为相对于所述解剖结构将所述模型放置在所述图像中,并且基于被接收以调节所述图像中的所述模型的用户输入来调节所述多个控制点中的至少一个的位置以将所述模型的形状改变到所述图像中的所述解剖结构,其中,对所述至少一个控制点中的一个或多个的位置的调节是基于与所述至少一个控制点有关的信息来限制的。在一些实施例中,与所述至少一个控制点有关的信息可以包括解剖背景信息,所述解剖背景信息被包括在与所述至少一个控制点所对应的所述特征有关的模型中。在一些实施例中,所述解剖背景信息可以设置关于对所述至少一个控制点的调节的一个或多个限制,所述一个或多个限制确保所述至少一个控制点所对应的所述解剖特征的所述形状被反映在所述调节的模型中。
在一些实施例中,所述处理器可以被配置为控制一个或多个接口以绘制所述解剖结构的经细化的模型。
因此,提供了一种细化图像中的解剖结构的模型并且克服现有问题的经改进的方法和装置。
附图说明
为了本发明的更好理解并且更清楚地示出其可以如何实现,现在将仅通过范例对附图进行参考,其中:
图1是根据实施例的装置的框图;
图2是图示根据实施例的方法的流程图;并且
图3是根据实施例的可调节模型的图示。
具体实施方式
如上所述,本发明提供了一种细化图像中的解剖结构的模型并且克服现有问题的经改进的方法和装置。
图1示出了根据本发明的实施例的装置100的框图,装置100可以被用于细化图像中的解剖结构的模型。图像可以是二维(2D)图像或者三维(3D)图像。图像可以是医学图像,诸如计算机断层摄影(CT)图像、磁共振(MR)图像、超声(US)图像、X射线图像、正电子发射断层摄影(PET)图像、单光子发射计算机断层摄影(SPECT)图像、核医学图像或任何其他医学图像。
图像中的解剖结构可以是心脏(或心脏的部分,诸如心脏的二尖瓣)、肺、肠、肾、肝或任何其他解剖结构。尽管范例已经被提供用于图像中的解剖结构,但是将理解,本发明还可以被用于细化其他解剖结构的模型。
装置100包括处理器102,处理器102控制装置100的操作并且可以实施本文中所描述的方法。处理器102可以包括一个或多个处理器、处理单元、多核处理器或者模块,其被配置或者被编程为以本文所描述的方式控制装置100。在具体实现方式中,处理器102可以包括多个软件和/或硬件模块,每个被配置为执行或者用于执行根据本发明的实施例的方法的个体或者多个步骤。
简要地,处理器102被配置为采集针对图像中的解剖结构的模型并且相对于解剖结构将模型放置在图像中。模型包括多个控制点并且每个控制点对应于解剖结构中的特征(或者界标)。例如,在其中图像中的解剖结构是心脏或心脏的二尖瓣的实施例中,特征可以是三角(诸如左三角或者右三角)、环形物的前部、环形物的后部、分段之间的边界(例如,二尖瓣扇区之间的边界,诸如P1二尖瓣扇区与P2二尖瓣扇区之间的边界,或者任何其他分段之间的边界)或者心脏或心脏的二尖瓣中的任何其他特征(或者界标)。
在一些实施例中,每个控制点可以对应于解剖结构中的不同的特征。例如,在一个控制点对应于二尖瓣的左三角的情况下,另一控制点可以对应于二尖瓣的右三角。在一些实施例中,至少两个控制点可以对应于解剖结构中的相同特征。具体地,至少两个控制点可以对应于解剖结构中的相同特征上的不同的位置。例如,至少两个控制点可以对应于二尖瓣的环上的不同的位置。尽管此处范例已经被提供用于解剖结构和解剖结构中的特征,但是将理解,本发明还可以被用于细化具有其他特征的其他解剖结构的模型。
处理器102还被配置为基于被接收以调节图像中的模型的用户输入来调节多个控制点中的至少一个的位置以将模型的形状改变到图像中的解剖结构。用户可以例如能够将至少一个控制点从图像中的第一位置拖曳到图像中的第二位置。至少一个控制点中的一个或多个的位置的调节是基于与至少一个控制点有关的信息来限制的。更具体地,用户被允许对至少一个控制点中的一个或多个的位置做出的调节是基于与至少一个控制点有关的信息来限制的。限制可以例如根据由模型中的控制点所表示的解剖特征的几何结构来指定,如下文更详细地描述的。
在一些实施例中,装置100还可以包括至少一个用户接口104。备选地或者额外地,至少一个用户接口104可以在装置100外部(即,分离或者远离装置100)。例如,至少一个用户接口104可以是另一设备的部分。
用户接口104可以用于向装置100的用户(例如,医疗保健提供者、医疗保健专家、护理者、对象或任何其他用户)提供产生于根据本发明的方法的信息中。处理器102可以被配置为控制一个或多个用户接口104以提供产生于根据本发明的方法的信息。例如,处理器102可以被配置为控制一个或多个用户接口104以绘制解剖结构的经细化的模型。备选地或者额外地,用户接口104可以被配置为接收用户输入。换言之,用户接口104可以允许装置100的用户手动地录入指令、数据或者信息。例如,用户接口可以被配置为接收用户输入以调节图像中的模型。处理器102可以被配置为从一个或多个用户接口104采集用户输入。
用户接口104可以是使得能够将信息、数据或者信号绘制(或者输出)到对象或者装置100的另一用户的任何用户接口。备选地或者额外地,用户接口104可以是使得对象或者装置100的另一用户能够提供用户输入,与装置100交互和/或控制装置100的任何用户接口。例如,用户接口104可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或者应用(例如,在平板电脑或者智能电话上)、显示屏、图形用户接口(GUI)或者其他视觉指示器、一个或多个扬声器、一个或多个麦克风、任何其他语音对话部件、一个或多个灯、用于提供触觉反馈(例如振动功能)的部件,或者任何其他用户接口或者用户接口的组合。
在一些实施例中,装置100还可以包括存储器106,存储器106被配置为存储可以由处理器102运行以执行本文所描述的方法的程序代码。存储器106还可以被用于存储由装置100的处理器102或从装置100外部的任何接口、存储器或设备采集或实现的信息、数据、信号和测量结果。例如,存储器106可以被用于存储针对解剖结构的采集的模型、与至少一个控制点有关的信息、解剖结构的经细化的模型等。
在一些实施例中,装置100还可以包括通信接口108,通信接口108用于使得装置100能够与装置100内部或者外部的任何接口、存储器和设备通信。通信接口108可以无线地或者经由有线连接与任何接口、存储器和设备通信。例如,在其中用户接口104在装置100外部的实施例中,通信接口108可以无线地或者经由有线连接与外部用户接口通信。
将意识到,图1仅示出图示本发明的该方面所需的部件,并且在实际的实施方式中,装置100可以包括除了所示的那些的额外的部件。例如,装置100可以包括用于对装置100进行供电的电池或者其他电源或者用于将装置100连接到干线电源的模块。
图2图示了根据实施例的用于细化图像中的解剖结构的模型的方法200。所图示的方法200通常可以由装置100的处理器102执行或者在装置100的处理器102的控制下执行。
参考图2,在框202处,采集针对图像中的解剖结构的模型。可以从装置100的存储器106或者从外部存储器采集针对解剖结构的模型。在二维图像实施例中,针对解剖结构的模型是二维模型。在三维图像实施例中,针对解剖结构的模型是三维模型。如先前所描述的,模型包括多个控制点并且每个控制点对应于解剖结构中的特征(或者界标)。
在框204处,模型相对于解剖结构被放置在图像中。在一些实施例中,相对于解剖结构将模型放置在图像中可以包括检测图像中的解剖结构以将模型放置在图像中的解剖结构的位置处。在心脏实施例中,这可以包括检测图像中的心脏或者心脏的部分(诸如二尖瓣)。可以使用任何适合的特征提取技术(诸如霍夫变换)在图像中检测解剖结构。
在一些实施例中,相对于解剖结构将模型放置在图像中可以包括模型的适应。例如,相对于解剖结构将模型放置在图像中可以包括图像中的解剖结构的经细化的分割。这可以使用任何适合的基于模型的分割技术执行。例如,解剖结构的网格(诸如三角形表面网格)可以适应于图像。在心脏实施例中,这可以包括使心脏(其可以包括二尖瓣环、二尖瓣小叶和/或心脏的其他特征)的网格适应于图像。可以自动地执行图像中的解剖结构的分割。
然后,可以从针对解剖结构的图像(具体地,图像中的网格)提取几何信息。提取的几何信息可以适应于图像。例如,提取的几何信息可以被用于标记解剖结构的特征。在示范性实施例中,网格三角形(或者顶点)的一个或多个子集可以被标记并且标记的三角形(或者顶点)可以被用于定义解剖结构的特征。例如,解剖结构的特征可以由三角形中心(或者顶点)的几何平均来定义。在心脏实施例中,环形物可以被提取作为一系列网格边缘。尽管范例已经被提供用于几何信息的提取,但是将理解,可以使用任何适合的提取策略来提取几何信息。
备选地或者除基于网格几何结构和标签的提取之外,可以在图像的某些区域中执行专用局部后处理。例如,在心脏实施例中,这可以包括经由后处理来检测A1扇区和A2扇区相遇或者A2扇区和A3扇区相遇的小叶上的位置,或者检测接合点的位置。后处理可以涉及分析分段小叶周围的局部图像区并且分析局部灰度值概况等。
在一些实施例中,从针对解剖结构的图像(具体地,图像中的网格)提取的几何信息可以被转移到图像中的解剖结构上。例如,被附接到网格三角形(或者顶点)的标签可以被投影到解剖结构上,或者最靠近的控制点可以被确定并且标签可以被附接到该最靠近的控制点。以这种方式,至少一个控制点可以基于针对解剖结构的提取的几何信息利用至少一个控制点所对应的特征(或者界标)标记。至少一个控制点由用户输入可调节以修改图像中的模型的形状。
在模型相对于解剖结构被放置在图像中时,图像和模型可以被绘制给用户。例如,处理器102可以控制一个或多个用户接口104(诸如,显示屏或者图形用户接口)以绘制图像和模型。以这种方式,用户可以察看图像中的模型以提供用户输入来调节图像中的模型。
在一些实施例中,可以以桨-轮格式绘制图像中的解剖结构的模型。例如,解剖结构的模型的视图可以当适应于对象的解剖结构时被提取。在心脏实施例中,一个或多个心脏视图可以根据一组心脏特征(诸如LV顶点、二尖瓣、主动脉瓣或任何其他心脏特征)来定义(诸如2室视图、4室视图等)。
在一些实施例中,模型可以以在模型的调节期间向用户提供视觉反馈(或者引导)的方式来绘制,诸如以确保平滑调节。视觉反馈可以独立于由用户调节的控制点。例如,视觉反馈可以被显示为从一个或多个其他控制点导出的解剖结构的内插轮廓。以这种方式,用户被提供有关于调节将偏离在其他情况下的平滑轮廓的程度的反馈。
图3图示了根据示范性实施例的模型的调节期间绘制的视觉反馈的范例。在该示范性实施例中,图3A图示了初始轮廓300,图3B图示了多个控制点302,其中一些在没有视觉反馈的情况下由用户调节以将初始轮廓300调节为到达经调节的轮廓304,并且图3C图示了在有视觉反馈的情况下由用户调节以将初始轮廓300调节为到达经调节的轮廓304的多个控制点302。
如在图3C中所图示的,在用户正调节由箭头306所指示的控制点时,通过其他控制点通过内插示出得到的轮廓308。换言之,被示出给用户的得到的轮廓308是基于排除被调节的控制点的当前(经调节的)控制点的内插。以这种方式,用户可以被提供有用于平滑调节的引导。在调节一个或多个顺序控制点之后,经调节的轮廓304可以偏离初始轮廓300。示范性实施例图示了如从顶部看到的环形物,而用于控制点调节的桨-轮格式呈现正交310。在正交310中,仅从环形物看到一个控制点。被提供给用户的视觉反馈可以包括与得到的轮廓308的正交310的显示。
再次返回图2,在框206处,基于被接收以调节图像中的模型的用户输入,多个控制点中的至少一个的位置被调节以将模型的形状改变到图像中的解剖结构。至少一个控制点的位置的调节可以引起一个或多个其他控制点的位置的调节。在一个实施例中,控制点(诸如在解剖结构的中心处的控制点)的调节可以引起整个模型的移动。
至少一个控制点中的一个或多个的位置的调节是基于与至少一个控制点有关的信息来限制的。至少一个控制点中的一个或多个的位置的调节在调节自身期间被限制。在一些实施例中,多个控制点中的至少两个的位置可以被调节以将模型的形状改变到图像中的解剖结构。在该实施例中,至少两个控制点之一的位置可以独立于一个或多个其他控制点被限制。换言之,被放置在多个控制点中的两个或更多个的调节上的限制可以是不同的。
在一些实施例中,与至少一个控制点有关的信息可以包括解剖背景信息,其被包括(或者编码)在模型中。例如,典型的调节参数可以被编码在模型中并且以这种方式也在解剖结构中。在示范性实施例中,所述模型可以编码关于某些三角形或者顶点(或者某些三角形或者顶点组)的调节参数的额外的信息并且该信息可以被转移到所述控制点作为解剖背景信息。解剖背景信息涉及至少一个控制点所对应的特征。
所述解剖背景信息可以定义所述至少一个控制点所对应的特征的形状根据调节至少一个控制点被构建的方式。具体地,所述解剖背景信息可以设置关于可以对所述至少一个控制点做出的调节的一个或多个限制,以确保所述至少一个控制点所对应的解剖特征的形状被反映在得到的模型中。例如,所述一个或多个限制可以将可以对所述至少一个控制点做出(或者允许)的调节限制到对于所述至少一个控制点所对应的所述解剖结构而言典型或者预期的调节。在一些实施例中,所述解剖背景信息可以限制可以根据真实人类中的对应的特征中观察的几何变化量做出的调节。在一些实施例中,所述一个或多个限制包括所述至少一个控制点可以被调节以确保所述至少一个控制点所对应的所述特征的所述形状被反映在得到的模型中的量(或者最大量)。所述至少一个控制点可以被调节的量(或者最大量)可以被设置为对于所述至少一个控制点所对应的特征而言典型或者期望的量。一个或多个限制可以被编码到模型中。例如,调节量可以被编码到所述模型中并且最大限制为此设置。然后,如果调节模型的用户输入超过最大限制,则可以提供通知。
在一些实施例中,备选地或者除解剖背景信息之外,与至少一个控制点有关的信息可以包括图像背景信息。图像背景信息涉及至少一个控制点处的图像的一个或多个特性。在一些实施例中,方法可以因此包括测量图像的一个或多个特性。在一些实施例中,所述至少一个控制点处的所述图像的特性可以是所述至少一个控制点周围的区域中的强度差。在这些实施例中,如何根据图像确定典型的编辑范围可以被编码在所述模型中。例如,在具有均匀灰度值的区域中,所述解剖结构的特征可以不太准确地定义。因此,可以比针对更高的强度特征允许更大的调节,其可以更准确地被定义在图像中。在一些实施例中,至少一个控制点处的图像的特性可以是绝对强度。在这些实施例中,其可以被编码在编辑未被允许(即,被防止)在具有超过最大值的绝对强度的区域中的模型中。被放置在编辑上的该限制可以通过不允许(即,防止)将控制点放置在具有超过最大值的绝对强度的区域内被编码在图像中。这在一些应用中可以是尤其有用的,诸如计算机断层摄影应用,其中,钙化表现为明亮,其中,模型可以防止将控制点放置在钙化区域内。在其他实施例中,至少一个控制点处的图像的特性可以是噪声水平或任何其他特性或图像的特性的组合。
至少一个控制点的位置的调节可以以任何适合的方式限制。在一些实施例中,至少一个控制点的位置的调节可以通过限制至少一个控制点的位置的调节的自由度来限制。备选地或者除自由度的限制之外,至少一个控制点的位置的调节可以通过限制以下项中的任何一项或多项来限制:其中至少一个控制点的位置可调节的平面;相对于至少一个控制点的原始位置的方向,其中,至少一个控制点可调节;相对于至少一个其他控制点的方向,其中,至少一个控制点可调节;距至少一个控制点的原始位置的距离,通过其,至少一个控制点可调节;相对于至少一个其他控制点的距离,通过其,至少一个控制点可调节;在其内控制点可调节的区域;至少一个控制点向弯曲(例如,根据或者取决于其他控制点构建的)或非平面的平面的移动;或任何其他限制;或限制的组合。
以这种方式,对应于解剖结构中的不同的特征的控制点的调节可以以不同的方式来限制。换言之,不同的调节模式可以被提供用于模型中的不同的控制点(并且因此解剖结构中的不同的特征)。例如,在心脏实施例中,环形物的中央后部可以受益于与三角周围的区域不同的调节模式。
关于至少一个控制点的位置的调节的限制可以根据解剖背景信息和图像背景信息中的一个或多个来约束或者放松。例如,对应于环形物的中央后部的控制点可以在环形物平面内是可替换的,而对应于三角的控制点(至少在一个调节模式中)可以被限为保持在环形物轮廓上。在一些实施例中,对应于三角的控制点可以被限于仅沿着环形物线是可调节的。在一些实施例中,对应于三角的控制点可以以组合的方式是可调节的(例如,在相同方向上或者在相反方向上两者)。在一些实施例中,限制还可以控制是否控制点被允许垂直于环形物平面移动。在一些实施例中,关于至少一个控制点的位置的调节的限制可以在至少一个控制点周围的区域中的弱强度差的区域中放松。
备选地或者除上文之外,几何不确定性的一个或多个裕度可以被编码在解剖结构的模型上。几何不确定性的裕度可以取决于解剖结构中的特征而不同。例如,在心脏实施例中,针对三角的几何不确定性的裕度可以与针对后环形物中心的几何不确定性的裕度不同。在一些实施例中,几何不确定性的一个或多个裕度可以被绘制有图像和模型,使得裕度在调节期间由用户可查看。备选地或者额外地,当接收到的用户输入指示将使得控制点在一个或多个裕度外部移动的调节时,可以输出通知(诸如弹出式警告通知)。
尽管已经提供针对关于至少一个控制点的位置的调节的限制的范例,但是将理解,任何其他限制或者限制的组合可以被应用到调节。
尽管未图示在图2中,但是在一些实施例中,方法还可以包括绘制解剖结构的经细化的模型。例如,如先前所描述的,处理器102可以控制一个或多个用户接口104以绘制解剖结构的经细化的模型。在一个示范性实施例中,解剖结构的经细化的模型可以被绘制在显示屏或者图形用户接口上。
在一些实施例中,方法还可以包括处理经细化的模型以获得针对解剖结构的几何信息。备选地或者除绘制解剖结构的经细化的模型之外,可以绘制针对解剖结构的所获得的几何信息。例如,处理器102可以控制一个或多个用户接口104以绘制针对解剖结构的所获得的几何信息。在一个示范性实施例中,针对解剖结构的所获得的几何信息可以被绘制在显示屏或者图形用户接口上。当针对解剖结构的几何信息从解剖结构的经细化的模型被获得时,所获得的几何信息是更准确并且可靠的。
还提供了一种包括计算机可读介质的计算机程序产品,所述计算机可读介质具有实现在其中计算机可读代码,所述计算机可读代码被配置为使得在由合适的计算机或处理器运行时,使所述计算机或者处理器执行本文所描述的方法。因此,将意识到,本发明还应用于适于将本发明付诸实践的计算机程序,尤其是载体上或中的计算机程序。程序可以采取源代码、目标代码、代码中间源和目标代码的形式,诸如采取部分编译形式或适于使用在根据本发明的方法的实施方式中的任何其他形式。
还将意识到,这样的程序可以具有许多不同的架构设计。例如,实施根据本发明的方法或者系统的功能的程序代码可以细分为一个或多个子例程。将功能分布在这些子例程中间的许多不同的方式对于技术人员而言将是显而易见的。子例程可以一起被存储在一个可执行文件中以形成自包含程序。这样的可执行文件可以包括计算机可执行指令,例如,处理器指令和/或解析器指令(例如,JAVA解析器指令)。备选地,子例程中的一个或多个或全部可以被存储在至少一个外部库文件中并且要么静态要么动态地与主程序链接(例如,在运行时间处)。主程序包含对子例程中的至少一个的至少一个调用。子例程还可以包括对彼此的函数调用。
与计算机程序产品有关的实施例包括对应于本文所阐述的方法中的至少一个的每个处理阶段的计算机可执行指令。这些指令可以细分为子例程和/或被存储在可以静态或动态地链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括对应于本文所阐述的系统和/或产品中的至少一个的每个模块的计算机可执行指令。这些指令可以细分为子例程和/或被存储在可以静态或动态地链接的一个或多个文件中。
计算机程序的载体可以是能够携带程序的任何实体或设备。例如,载体可以包括数据存储设备,诸如ROM,例如CD ROM或半导体ROM或磁性记录介质(例如,硬盘)。此外,载体可以是可传输载体,诸如电或光信号,其可以经由电缆或光缆或者通过无线电或其他手段传达。当程序被实现在这样的信号中时,载体可以由这样的线缆或其他设备或模块构成。备选地,载体可以是程序被嵌入在其中的集成电路,集成电路适于执行或者用于执行相关方法。
因此,提供了细化图像中的解剖结构的模型的经改进的方法和装置。方法和装置可以在医学成像分析和可视化工具中是有用的。例如,方法和装置在二尖瓣疾病或者涉及复杂解剖结构的任何其他疾病的处置中是尤其有用的。
通过研究附图、说明书和权利要求书,本领域的技术人员在实践请求保护的本发明时可以理解和实现所公开的实施例的变型。在权利要求中,词语“包括”不排除其他元件或者步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/被分布在适合的介质(诸如与其他硬件一起或作为其部分提供的光学存储介质或固态介质)上,而且可以以其他形式分布,诸如经由因特网或其他有线或无线电信系统分布。权利要求中的任何附图标记不应当被解释为对范围的限制。
Claims (15)
1.一种用于细化图像中的解剖结构的模型的方法,所述方法包括:
采集针对所述图像中的所述解剖结构的模型,所述模型包括多个控制点,每个控制点对应于所述解剖结构中的特征;
相对于所述解剖结构将所述模型放置在所述图像中;并且
基于被接收以调节所述图像中的所述模型的用户交互输入来调节所述多个控制点中的至少一个控制点的位置以将所述模型的形状改变到所述图像中的所述解剖结构,其中,对所述至少一个控制点中的一个或多个控制点的位置的调节是基于与所述至少一个控制点有关的信息来限制的,
其中,与所述至少一个控制点有关的所述信息包括解剖背景信息,所述解剖背景信息被包括在与所述至少一个控制点所对应的所述解剖特征有关的所述模型中,并且其中,所述解剖背景信息设置关于对所述至少一个控制点的所述调节的一个或多个限制,所述一个或多个限制确保所述至少一个控制点所对应的所述解剖特征的所述形状被反映在经调节的模型中。
2.根据权利要求1所述的方法,其中,对所述至少一个控制点的所述位置的调节引起对一个或多个其他控制点的位置的调节。
3.根据权利要求1或2所述的方法,包括调节所述多个控制点中的至少两个控制点的位置以将所述模型的所述形状改变到所述图像中的所述解剖结构,其中,对所述至少两个控制点中的一个控制点的所述位置的调节是独立于一个或多个其他控制点被限制的。
4.根据权利要求1或2所述的方法,其中,所述解剖背景信息被编码在所述模型中。
5.根据权利要求1或2所述的方法,其中,所述一个或多个限制包括所述至少一个控制点能够调节以确保所述至少一个控制点所对应的所述特征的所述形状被反映在所述经调节的模型中的最大量。
6.根据权利要求1或2所述的方法,其中,与所述至少一个控制点有关的所述信息包括与所述至少一个控制点处的所述图像的一个或多个特性有关的图像背景信息。
7.根据权利要求1或2所述的方法,其中,对所述至少一个控制点的所述位置的所述调节是通过限制对所述至少一个控制点的所述位置的所述调节的自由度来限制的。
8.根据权利要求1或2所述的方法,其中,对所述至少一个控制点的所述位置的所述调节是通过限制以下项中的任何一项或多项来限制的:
所述至少一个控制点的所述位置在其中能够调节的平面;
相对于所述至少一个控制点的原始位置的方向,所述至少一个控制点在所述方向上能够调节;
相对于至少一个其他控制点的方向,所述至少一个控制点在所述方向上能够调节;
距所述至少一个控制点的所述原始位置的距离,所述至少一个控制点能够以所述距离调节;
相对于所述至少一个其他控制点的距离,所述至少一个其他控制点能够以所述距离调节;
所述控制点在其内能够调节的区域;以及
所述至少一个控制点到弯曲面或非平面的移动。
9.根据权利要求1或2所述的方法,还包括:
从针对所述解剖结构的所述图像提取几何信息;并且
基于针对所述解剖结构的所提取的几何信息,利用所述至少一个控制点所对应的所述特征标记至少一个控制点。
10.根据权利要求1或2所述的方法,还包括:
处理经细化的模型以获得针对所述解剖结构的几何信息。
11.根据权利要求1或2所述的方法,其中,所述解剖结构是心脏或所述心脏的二尖瓣。
12.根据权利要求11所述的方法,其中,所述特征是三角、环形物的前部或环形物的后部。
13.一种计算机可读介质,所述计算机可读介质具有被实现在其中的计算机可读代码,所述计算机可读代码被配置为使得在由合适的计算机或处理器运行时,使所述计算机或处理器执行根据权利要求1-12中的任一项所述的方法。
14.一种用于细化图像中的解剖结构的模型的装置(100),所述装置包括:
处理器(102),其被配置为:
采集针对所述图像中的所述解剖结构的模型,所述模型包括多个控制点,每个控制点对应于所述解剖结构中的特征;
相对于所述解剖结构将所述模型放置在所述图像中;并且
基于被接收以调节所述图像中的所述模型的用户交互输入来调节所述多个控制点中的至少一个控制点的位置以将所述模型的形状改变到所述图像中的所述解剖结构,其中,对所述至少一个控制点中的一个或多个控制点的位置的调节是基于与所述至少一个控制点有关的信息来限制的,
其中,与所述至少一个控制点有关的所述信息包括解剖背景信息,所述解剖背景信息被包括在与所述至少一个控制点所对应的所述解剖特征有关的所述模型中,并且其中,所述解剖背景信息设置关于对所述一个或多个控制点的所述调节的一个或多个限制,所述一个或多个限制确保所述至少一个控制点所对应的所述解剖特征的所述形状被反映在经调节的模型中。
15.根据权利要求14所述的装置(100),其中,所述处理器(102)被配置为控制一个或多个用户接口(104)以绘制所述解剖结构的经细化的模型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16181126.0 | 2016-07-26 | ||
EP16181126 | 2016-07-26 | ||
PCT/EP2017/068772 WO2018019835A1 (en) | 2016-07-26 | 2017-07-25 | A method and apparatus for refining a model of an anatomical structure in an image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109564679A CN109564679A (zh) | 2019-04-02 |
CN109564679B true CN109564679B (zh) | 2023-06-06 |
Family
ID=56618000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780046262.3A Active CN109564679B (zh) | 2016-07-26 | 2017-07-25 | 用于细化图像中的解剖结构的模型的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11341651B2 (zh) |
EP (1) | EP3491622B1 (zh) |
CN (1) | CN109564679B (zh) |
WO (1) | WO2018019835A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3629287B1 (en) * | 2018-09-25 | 2023-11-01 | Laralab GmbH | Assisted or automatic generating of a digital representation of an annulus structure of a valve of a human internal organ |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222357A (zh) * | 2010-04-15 | 2011-10-19 | 温州大学 | 基于图像分割和网格细分的脚型三维表面重建方法 |
CN103886581A (zh) * | 2012-11-15 | 2014-06-25 | 西门子公司 | 利用生物力学模型仿真配准术前和术中图像的系统和方法 |
CN104112292A (zh) * | 2013-04-22 | 2014-10-22 | 株式会社东芝 | 医用图像处理装置、医用图像处理方法以及医用图像处理程序 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07255703A (ja) | 1994-03-22 | 1995-10-09 | Shimadzu Corp | 左心室、左心房輪郭の自動抽出方法 |
WO2004068406A2 (en) | 2003-01-30 | 2004-08-12 | Chase Medical, L.P. | A method and system for image processing and contour assessment |
WO2008052312A1 (en) * | 2006-10-10 | 2008-05-08 | Cedara Software Corp. | System and method for segmenting a region in a medical image |
US7940974B2 (en) * | 2006-11-21 | 2011-05-10 | General Electric Company | Method and system for adjusting 3D CT vessel segmentation |
WO2009016530A2 (en) * | 2007-07-27 | 2009-02-05 | Koninklijke Philips Electronics N.V. | Interactive atlas to image registration |
US10687856B2 (en) * | 2007-12-18 | 2020-06-23 | Howmedica Osteonics Corporation | System and method for image segmentation, bone model generation and modification, and surgical planning |
US8819591B2 (en) * | 2009-10-30 | 2014-08-26 | Accuray Incorporated | Treatment planning in a virtual environment |
US8958621B2 (en) * | 2010-08-03 | 2015-02-17 | Agency For Science, Technology And Research | Corneal graft evaluation based on optical coherence tomography image |
US9196049B2 (en) | 2011-03-09 | 2015-11-24 | Siemens Aktiengesellschaft | Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices |
US9020227B2 (en) * | 2013-06-13 | 2015-04-28 | Siemens Aktiengesellschaft | Automatic interatrial septum detection from pre-operative and intra-operative 3D medical images for accurate transseptal puncture |
WO2015023787A1 (en) * | 2013-08-13 | 2015-02-19 | Coffey Dane | Computer visualization of anatomical items |
US9710880B2 (en) * | 2014-07-03 | 2017-07-18 | Siemens Product Lifecycle Management Software Inc. | User-guided shape morphing in bone segmentation for medical imaging |
US9569866B2 (en) * | 2015-03-10 | 2017-02-14 | Adobe Systems Incorporated | Flexible video object boundary tracking |
JP7104632B2 (ja) * | 2015-12-31 | 2022-07-21 | アシスト・メディカル・システムズ,インコーポレイテッド | 半自動化画像セグメント化システム及び方法 |
-
2017
- 2017-07-25 WO PCT/EP2017/068772 patent/WO2018019835A1/en unknown
- 2017-07-25 CN CN201780046262.3A patent/CN109564679B/zh active Active
- 2017-07-25 EP EP17748694.1A patent/EP3491622B1/en active Active
- 2017-07-25 US US16/317,901 patent/US11341651B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222357A (zh) * | 2010-04-15 | 2011-10-19 | 温州大学 | 基于图像分割和网格细分的脚型三维表面重建方法 |
CN103886581A (zh) * | 2012-11-15 | 2014-06-25 | 西门子公司 | 利用生物力学模型仿真配准术前和术中图像的系统和方法 |
CN104112292A (zh) * | 2013-04-22 | 2014-10-22 | 株式会社东芝 | 医用图像处理装置、医用图像处理方法以及医用图像处理程序 |
Also Published As
Publication number | Publication date |
---|---|
US11341651B2 (en) | 2022-05-24 |
US20210279886A1 (en) | 2021-09-09 |
WO2018019835A1 (en) | 2018-02-01 |
EP3491622B1 (en) | 2022-04-06 |
CN109564679A (zh) | 2019-04-02 |
EP3491622A1 (en) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3210163B1 (en) | Gaze-tracking driven region of interest segmentation | |
CN106663309B (zh) | 用于医学成像中的用户引导的骨骼分段的方法和存储介质 | |
JP6290780B2 (ja) | 標本をスライスするスライシングスキームを生成するシステム、画像取得装置、ワークステーション、方法及びコンピュータプログラム | |
EP2695138B1 (en) | Measurement system for medical images | |
CN108496205A (zh) | 身体部分的三维模型 | |
JP5842082B1 (ja) | 医学画像からキー画像を生成すること | |
CN103635936B (zh) | 显示多个配准图像 | |
CN106716496B (zh) | 对解剖结构的体积图像进行可视化 | |
CN107851337B (zh) | 交互式网格编辑 | |
CN109313803B (zh) | 一种用于映射对象的身体的至少部分的图像中的结构的至少部分的方法和装置 | |
US10679350B2 (en) | Method and apparatus for adjusting a model of an anatomical structure | |
CN109564679B (zh) | 用于细化图像中的解剖结构的模型的方法和装置 | |
CN111226260A (zh) | 分割图像 | |
CN107106106B (zh) | 针对具有减小的角范围的旋转c型臂计算机断层摄影的自适应分割 | |
Hassan et al. | Evaluation of software tools for segmentation of temporal bone anatomy | |
CN108701492B (zh) | 医学图像导航系统 | |
CN110088806B (zh) | 用于在解剖结构的图像中定位标记物的方法和装置 | |
EP3444778A1 (en) | Method and apparatus for adjusting a model of an anatomical structure | |
CN110235180B (zh) | 用于修改包括定位于图像上的点的序列的轮廓的方法和装置 | |
Beichel et al. | Segmentation of Diseased Livers: A 3D Refinement Approach | |
Shrestha | Building user interactive capabilities for image-basedmodeling of patient-specific biological flows in single platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |