CN115136193A - 基于模型的图像分割 - Google Patents
基于模型的图像分割 Download PDFInfo
- Publication number
- CN115136193A CN115136193A CN202180014809.8A CN202180014809A CN115136193A CN 115136193 A CN115136193 A CN 115136193A CN 202180014809 A CN202180014809 A CN 202180014809A CN 115136193 A CN115136193 A CN 115136193A
- Authority
- CN
- China
- Prior art keywords
- triangle
- interest
- triangular mesh
- mesh
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种用于将已知拓扑的至少一个源三角网格的边界检测特征映射到任意拓扑的目标三角网格的方法和系统。将与目标三角网格的每个三角形相关联的体积图像中的感兴趣区域提供给特征映射网络。特征映射网络将特征选择向量分配给目标三角网格的每个三角形。将目标三角网格的每个三角形的相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络。基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征,从边界检测网络获得预测边界。
Description
发明领域
本发明涉及基于模型的图像分割领域,并且特别涉及使用三角表面网格的基于模型的图像分割。
背景技术
基于模型的图像分割在一系列应用中用于从图像中自动分割对象。例如,在医学图像处理中使用基于模型的图像分割技术来从体积医学图像分割器官或一些其它身体部分。
已经证明使用三角表面网格的基于模型的分割技术是快速、鲁棒和准确的。在这些技术中,形状先验被编码在表面网格中,并且该网格适合于图像。形状先验意指图像中的对象可以在对象边界的某些部分不能被检测到的情况下被分割,并且,由于只有靠近网格表面的图像数据被处理以使网格适配图像,因此可快速地分割图像。
传统的基于模型的分割技术使用诸如图像梯度的特征来检测图像中的对象的边界。最近,已经开发了基于深度学习的技术来改进边界检测。Brosch,T.等人,2018(“DeepLearning-Based Boundary Detection for Model-Based Segmentation withApplication to MR Prostate Segmentation”,MICCAI(2018年),第512-522页)描述了被训练为预测网格的每个三角形的边界的神经网络。基于特定于三角形的特征组合来检测网格的每个三角形处的边界。
然而,由于这些技术被训练为通过将特定特征分配给每个三角形来检测边界,因此它们需要具有固定拓扑(即,固定数目的顶点和三角形)的表面网格。因为未定义新的、经修改的拓扑中的三角形的特征,这防止了拓扑中的任何改变,诸如将三角形添加到网格、从网格中移除三角形,以及以其它方式重新排列或细化拓扑。因此,这类基于模型的分割技术不能用于分割身体部分的形状明显不同于先前形状的图像,例如由于诸如额外椎骨的解剖学异常,或者诸如来自脊柱固定的螺钉的人工异常。一些身体部分,诸如直肠,具有如此大的形状灵活性,以至于不可能对可靠地描绘它们的形状先验进行编码。
因此,需要一种可使用任意拓扑的三角表面网格的基于模型的分割技术。
发明内容
本发明由权利要求定义。
根据依据本发明的一方面的示例,提供了一种预测感兴趣区域中的对象的边界的计算机实施的方法,该方法包括将已知拓扑的至少一个源三角网格的边界检测特征映射到任意拓扑的目标三角网格。
该方法包括:将与目标三角网格的每个三角形相关联的体积图像中的感兴趣区域提供给特征映射网络;使用特征映射网络将特征选择向量分配给目标三角网格的每个三角形;针对目标三角网格的每个三角形,将相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络;以及针对目标三角网格的每个三角形,基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征,从边界检测网络获得预测边界。
所提出的概念基于这样的提议:即在确定三角形处的边界时,具有相似局部图像环境的具有不同拓扑的网格的三角形应具有应用于它们的相同特征选择向量。所提出的实施例使用第二网络,即特征映射网络,以基于围绕三角形的图像区域的外观将特征选择向量分配给任意拓扑的网格的每个三角形,而不是使用针对每个三角形的特定于三角形的特征选择向量的边界检测网络(这需要固定网格拓扑)。
预测任意拓扑的网格的边界的能力意指可调整网格的形状以更好地描绘图像中的结构。所提出的实施例可提供的另一个优势是,一旦已经训练了边界检测网络和特征映射网络,将这些网络用于新拓扑时可以不需要训练数据。
在一些实施例中,该方法可进一步包括通过向已知拓扑的三角网格添加三角形或从已知拓扑的三角网格移除三角形来获得任意拓扑的目标三角网格。以这种方式,可为已经添加了三角形或从中移除了三角形的网格预测边界,以便例如局部地细化网格以改进体积医学图像中的身体部分的描绘,或者向网格添加结构以包含身体部分的形状的异常。
在其它实施例中,该方法可进一步包括通过使用逐体素分割技术获得体积图像的分割来获得任意拓扑的目标三角网格,并且基于所获得的分割来生成目标三角网格。以这种方式,可为不存在现有三角表面网格的结构获得边界。这允许描绘具有大的形状灵活性的身体部分,诸如直肠。
与每个三角形相关联的感兴趣区域可根据三角形的法线来定向。这使得特征映射网络能够将相同的特征选择向量分配给如下三角形:针对其的相关联的感兴趣区域在被定向为使得该三角形处于相同角度时看起来相似。
可使用被配置为接收训练输入和已知输出的阵列的第一训练算法来训练特征映射网络,其中训练输入包括与任意拓扑的网格的三角形相关联的感兴趣区域,并且已知输出包括感兴趣区域的已知边界。
在一些实施例中,第一训练算法还可被配置为:针对与任意拓扑的网格的三角形相关联的每个感兴趣区域分配特征选择向量;针对任意拓扑的每个网格三角形,将相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络;针对任意拓扑的网格的每个三角形,从边界检测网络获得预测边界;以及基于来自边界检测网络的预测边界和已知边界训练特征映射网络的权重。以这种方式,特征映射网络可被训练为学习感兴趣区域和特征选择向量之间的对应关系,该特征选择向量最佳地选择用于预测感兴趣区域中的边界的特征。
在一些实施例中,该方法进一步包括将每个感兴趣区域的一组标准化坐标提供给特征映射网络。
在一些实施例中,该方法可进一步包括将目标三角网格的每个三角形的相对位置提供给特征映射网络。
可使用被配置为接收训练输入和已知输出的阵列的第二训练算法来训练边界检测网络,其中训练输入包括具有已知拓扑的网格的训练图像,并且已知输出包括已知边界。该训练算法训练边界检测网络以检测已知拓扑的网格的三角形处的边界。
根据本发明的另一方面,提供了基于模型的图像分割的计算机实施的方法,其包括根据任何先前描述的方法,将已知拓扑的至少一个源三角网格的特征映射到任意拓扑的目标三角网格,并且使用目标三角网格从体积图像分割对象。
这类提出的方法可实现对不能以其他方式用现有的基于模型的分割技术来分割的对象的分割。例如,使用固定拓扑的三角表面网格的基于模型的分割技术不适用于分割具有异常的解剖结构和形状可能有很大变化的身体部分。通过将固定拓扑的网格的特征映射到任意拓扑的网格,可分割这些结构。
根据本发明的另一方面,提供了一种计算机程序,其包括当所述程序在处理系统上运行时用于实施任何先前描述的方法的代码装置。
根据本发明的另一方面,提供了一种处理系统,其适于:将与目标三角网格的每个三角形相关联的体积图像中的感兴趣区域提供给特征映射网络;使用特征映射网络将特征选择向量分配给目标三角网格的每个三角形;针对目标三角网格的每个三角形,将相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络;以及针对目标三角网格的每个三角形,基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征来从边界检测网络获得预测边界。
在一些实施例中,处理系统进一步适于根据三角形的法线来定向与每个三角形相关联的感兴趣区域。
在一些实施例中,处理系统进一步适于针对目标三角网格的每个三角形向特征映射网络提供以下至少一项:相关联的感兴趣区域的一组标准化坐标以及三角形的相对位置。
根据本发明的另一方面,提供了一种基于模型的图像分割系统,其包括:如先前描述的处理系统,其进一步适于使用目标三角网格从体积图像分割对象,以及用户接口,被配置为从处理系统接收并显示对象的分割图像。
参考下文描述的实施例,本发明的这些和其它方面将变得显而易见。
附图说明
为了更好地理解本发明,并且为了更清楚地示出如何实施本发明,现在将仅通过示例的方式参考附图,在附图中:
图1是由不同拓扑的两个网格分割的对象的图示。
图2是根据三角形的法线定向的图1的网格的三角形的感兴趣区域的图示。
图3是根据本发明实施例的将已知拓扑的至少一个源三角网格的边界检测特征映射到任意拓扑的目标三角网格的方法的流程图。
图4是根据本发明实施例的训练特征映射网络的方法的流程图。
图5是根据本发明实施例的基于模型的图像分割方法的流程图。
图6是根据本发明实施例的处理系统的示意图。
图7是根据本发明实施例的基于模型的图像分割系统的示意图。
具体实施方式
将参考附图描述本发明。
应理解,详细描述和特定示例虽然指示了系统和方法的示例性实施例,但是仅旨在用于说明的目的,而不旨在限制本发明的范围。本发明的系统和方法的这些和其它特征、方面和优势将从以下描述、所附权利要求和附图中变得更好理解。应理解,附图仅仅是示意性的,并且没有按比例绘制。还应理解,在所有附图中使用相同的附图标记来指示相同或相似的部件。
根据所提出的概念,提供了一种将已知拓扑的至少一个源三角网格的边界检测特征映射到任意拓扑的目标三角网格的方法。将与目标三角网格的每个三角形相关联的体积图像中的感兴趣区域提供给特征映射网络。特征映射网络向目标三角网格的每个三角形分配特征选择向量。将目标三角网格的每个三角形的相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络。从边界检测网络获得基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征的预测边界。
说明性实施例可例如在基于模型的图像分割系统,诸如在医学成像分析系统中使用。
实施例可至少部分地基于以下认识:相同的特征选择向量可用于具有相似局部环境的不同拓扑的网格的三角形,并且神经网络可被训练为学习三角形的局部环境与特征选择向量之间的对应关系。
图1图示了由不同拓扑的两个网格分割的对象110。在顶部图像中,对象110被第一网格120分割。与第一网格120的三角形125相关联的感兴趣区域130涵盖三角形125、以及对象110与相邻结构140之间的边界的一部分。在底部图像中,对象110被第二网格150分割,第二网格150具有比网格120更多的表面三角形,因此具有与网格120不同的拓扑。与第二网格150的三角形155相关联的第二感兴趣区域160涵盖三角形155、以及对象110与第二相邻结构170之间的边界的一部分。
图2图示了分别根据三角形125和155的法线定向的感兴趣区域130和160。从图2中可看出,当在相同方向上定向时,三角形125和155具有相似的相关联的感兴趣区域。因此,可使用相同的边界检测特征来预测三角形125和155处的边界。然而,当前边界检测网络基于特定于三角形的特征组合来检测三角形处的边界。这意指使用网格120训练的边界检测网络不能用于检测网格150的三角形的边界。
本发明认识到,通过训练第二神经网络以将网格120的三角形125的边界检测特征映射到网格150的三角形155,可使用在网格120上训练的边界检测网络在三角形155处检测边界。
图3图示了根据本发明实施例的用于将已知拓扑的至少一个源三角网格的边界检测特征映射到任意拓扑的目标三角网格的计算机实施的方法300。至少一个源三角网格可为从相同的已知拓扑的N个网格生成的平均网格,其中N个网格中的每一个是N个患者图像的(真值)分割。
方法300从步骤320开始,在该步骤中,将与目标三角网格的每个三角形相关联的体积图像中的感兴趣区域提供给特征映射网络。
在步骤340,特征映射网络基于相关联的感兴趣区域向目标三角网格的每个三角形分配特征选择向量。
在步骤360,针对目标三角网格的每个三角形,将相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络。
在步骤380,基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征,从边界检测网络获得目标三角网格的每个三角形的预测边界。
目标三角网格可通过修改已知拓扑的三角网格或者通过从头开始生成新网格来获得。例如,可将三角形添加到在MBS模型中编码的形状先验或从形状先验中移除三角形,以局部细化网格,或者向网格添加附加结构。备选地,初始(粗)分割技术,诸如逐体素(voxel-wise)分割技术,可用于获得体积图像的初始分割,并且目标三角网格可通过基于初始分割生成网格,例如通过使用行进立方体或一些其它网格生成技术来获得。合适的初始(粗)分割技术对于本领域技术人员来说是显而易见的,并且可包含使用深度学习网络。
体积图像例如可为体积医学图像。例如,体积图像可为计算机断层摄影(CT)图像、磁共振(MR)图像、核医学图像,诸如正电子发射断层摄影(PET)图像或单光子发射计算机断层摄影(SPECT)图像,或体积超声图像。
目标三角网格的每个三角形与体积图像中的感兴趣区域相关联。每个感兴趣区域包含其相关联的三角形、目标网格要描绘的对象的一部分以及对象的周围环境的一部分。每个感兴趣区域可被定向为使得相关联的三角形处于相同的角度。例如,每个感兴趣区域可根据其相关三角形的法线来定向。
将每个感兴趣区域提供给特征映射网络。每个感兴趣区域可伴随有附加信息。例如,在待描绘的对象被预先配准到公共坐标系(诸如用于体积医学图像的基于图集的配准)的情况下,可为特征映射网络提供针对每个感兴趣区域的一组标准化坐标。特征映射网络可提供有与每个感兴趣区域相关联的目标三角网格的三角形的相对位置,例如每个三角形的球坐标或从每个三角形到网格重心的距离向量。
特征映射网络是被训练为将向每个感兴趣区域分配特征选择向量的人工神经网络。人工神经网络是一种机器学习算法,即处理输入数据以便产生或预测输出数据的自训练算法。特征映射网络的输入数据包括与任意拓扑的网格的三角形相关联的感兴趣区域,并且输出数据包括所分配的特征选择向量。
人工神经网络(或简单地,神经网络)的结构受到人脑的启发。神经网络由多个层组成,每个层包括多个神经元。每个神经元包括数学运算。特别地,每个神经元可包括单一类型的变换的不同加权组合(例如,同一类型的变换、sigmoid等,但有不同的加权)。在处理输入数据的过程中,对输入数据执行每个神经元的数学运算以产生数字输出,并且将神经网络中的每一层的输出顺序地馈送到下一层。最后一层提供输出。
训练神经网络的方法是公知的。典型地,这类方法包括获得训练数据集,该训练数据集包括训练输入数据条目和对应的训练输出数据条目。将初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测输出数据条目和对应的训练输出数据条目之间的误差用于修改机器学习算法。可重复该过程直到误差收敛,并且预测输出数据条目与训练输出数据条目足够相似(例如±1%)。例如,可修改每个神经元的数学运算的加权,直到误差收敛。这通常被称为监督学习技术。修改神经网络的已知方法包含梯度下降、反向传播算法等。
可使用对应于与任意拓扑的网格的三角形相关联的感兴趣区域的训练输入数据条目以及对应于感兴趣区域的已知边界的训练输出数据条目来训练特征映射网络。训练数据集因此可包括一组训练图像,该组训练图像具有任意拓扑的适配网格并被注释以描绘图像中对象的边界。
图4图示了根据本发明实施例的用于训练特征映射网络的计算机实施的方法400。
方法400从步骤410开始,在该步骤中,特征映射网络从训练数据集接收与任意拓扑的网格的三角形相关联的感兴趣区域。感兴趣区域可被定向为使得它们相关联的三角形处于相同的角度。
在步骤420,对于每个感兴趣区域,特征映射网络将特征选择向量分配给与感兴趣区域相关联的三角形。
在步骤430,将针对每个三角形的相关联的感兴趣区域和所分配的特征选择向量提供给边界检测网络。
在步骤440,从边界检测网络获得每个三角形的预测边界。边界检测网络基于由所分配的特征选择向量选择的相关联的感兴趣区域的特征来预测每个三角形处的边界。
在步骤450,基于来自包括训练数据集的图像上的注释的已知边界和所获得的预测边界来训练特征映射网络的权重。该步骤可包括计算每个预测边界与其对应的已知边界之间的距离,以及基于所计算的距离来训练特征映射网络的权重。
可重复这些步骤,直到由边界检测网络使用由特征映射网络分配的特征选择向量预测的边界与它们对应的已知边界足够相似(例如,直到它们在彼此的1%内)。
返回到图3,将在步骤340中由经训练的特征映射网络分配给目标三角网格的每个三角形的特征选择向量,在步骤360中连同每个三角形的相关联的感兴趣区域一起提供给边界检测网络。
边界检测网络是第二人工神经网络,其被训练为基于由特定于三角形的特征选择向量选择的图像的特征来预测在已知拓扑的网格的三角形处的体积图像中的边界。
可使用与具有至少一个已知拓扑的网格的训练图像相对应的训练输入数据条目以及与训练图像中的已知边界相对应的训练输出数据条目来训练边界检测网络。训练数据集因此可包括一组训练图像,该组训练图像具有已知拓扑的适配网格并被注释以描绘图像中对象的边界。训练图像可为用于训练特征映射网络的相同图像,但是具有已知拓扑的网格而不是适于它们的任意拓扑。边界检测网络可使用在Brosch,T.等人,2018中所描述的方法。
以这种方式,已知拓扑的源网格可被认为是从用于训练边界检测网络的相同的已知拓扑的所有N个网格生成的平均网格,并且分配给源网格的每个三角形的特征通过跨所有N个网格训练特征来生成。因此,已知拓扑的源网格是用于训练边界检测网络的已知拓扑的所有网格的表示,并且分配给源网格的每个三角形的特征是表示跨所有N个网格针对该三角形的最佳匹配的特征。
在步骤380中,从边界检测网络获得任意拓扑的目标三角网格的每个三角形的预测边界。边界检测网络能够使用特定于用于训练该边界检测网络的已知拓扑的网格的三角形的特征选择向量来选择特征以预测任意拓扑的目标网格的三角形处的边界,因为特征映射网络已经确定这些特征选择向量中的哪一个特征选择向量将最好地选择用于预测目标三角网格的每个三角形处的边界的特征。
换句话说,特征映射网络将特定于三角形的特征选择向量映射到目标三角网格,并且边界检测网络使用所映射的特征选择向量来选择使用哪些特征来确定目标三角网格的每个三角形处的边界。边界检测网络然后基于与目标网格的每个三角形相关联的感兴趣区域的所选特征来预测边界。
图5图示了根据本发明实施例的基于模型的图像分割的计算机实施的方法500。
该方法从步骤510开始,在该步骤中,根据任何先前描述的方法,将已知拓扑的至少一个源三角网格的特征映射到任意拓扑的目标三角网格。
在步骤520,使用目标三角网格从体积图像分割对象。例如,当体积图像是体积医学图像时,目标三角网格可用于从体积医学图像分割器官或一些其它身体部分。使用三角网格从体积图像分割对象的方法是公知的,并且对于本领域技术人员是显而易见的。
图6图示了根据本发明实施例的处理系统600。处理系统600包括特征映射网络640和边界检测网络660。
针对目标三角网格的每个三角形,将体积图像的相关联的感兴趣区域620提供给特征映射网络640,特征映射网络640基于每个三角形的相关联的感兴趣区域620将特征选择向量662分配给每个三角形。
将针对目标三角网格的每个三角形的相关联的感兴趣区域620和所分配的特征选择向量662提供给边界检测网络660。边界检测网络660使用由所分配的特征选择向量662选择的相关联的感兴趣区域620的特征664来确定目标三角网格的每个三角形的预测边界680。
在一些实施例中,处理系统600进一步适于定向与每个三角形相关联的感兴趣区域620,使得每个三角形处于相同的角度。例如,处理系统可适于根据三角形的法线来定向与每个三角形相关联的感兴趣区域620。
在一些实施例中,处理系统600进一步适于向特征映射网络640提供附加信息。例如,处理系统600可适于将每个感兴趣区域620的一组标准化坐标提供给特征映射网络640,和/或将目标三角网格的每个三角形的相对位置提供给特征映射网络640。
图7图示了根据本发明实施例的基于模型的分割系统700。基于模型的分割系统包括如先前描述的处理系统600和用户接口720,处理系统600进一步适于使用目标三角网格从体积图像分割对象,从而产生分割图像710。
用户接口720被配置为从处理系统600接收分割图像710并显示分割图像710。用户接口还可从处理系统600接收并显示原始体积图像和/或目标三角网格。
应理解,所公开的方法是计算机实施的方法。这样,还提出了一种概念,即一种计算机程序,其包括当所述程序在处理系统上运行时用于实施任何先前描述的方法的代码装置。
本领域技术人员能够容易地开发用于执行本文所描述的任何方法的处理器。因此,流程图的每个步骤可表示由处理器执行的不同动作,并且可由处理处理器的相应模块执行。
如上所述,该系统利用处理器来执行数据处理。处理器可用软件和/或硬件以多种方式实施,以执行所需的各种功能。处理器典型地采用一个或多个微处理器,这些微处理器可使用软件(例如微代码)来编程以执行所需的功能。处理器可被实施为执行一些功能的专用硬件和执行其它功能的一个或多个编程微处理器和相关联电路系统的组合。
可在本公开的各种实施例中采用的电路系统的示例包含(但不限于)常规微处理器,专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
在各种实施方式中,处理器可与诸如易失性和非易失性计算机存储器(诸如RAM、PROM、EPROM和EEPROM)的一个或多个存储介质相关联。存储介质可用一个或多个程序编码,当在一个或多个处理器和/或控制器上执行时,这些程序执行所需的功能。各种存储介质可固定在处理器或控制器内,或者可为可传送的,使得存储在其上的一个或多个程序可加载到处理器中。
通过对附图、公开内容和所附权利要求的研究,本领域技术人员在实践所要求保护的本发明时可理解和实现所公开实施例的变型。在权利要求中,词语“包括(comprising)”不排除其它元件或步骤,并且不定冠词“一(a)”或“一个(an)”不排除多个。单个处理器或其它单元可实现权利要求中列举的若干项的功能。在相互不同的从属权利要求中引用某些措施的事实并不指示不能有利地使用这些措施的组合。计算机程序可存储/分布在适当的介质上,诸如与其它硬件一起提供或作为其它硬件的一部分提供的光存储介质或固态介质,但是也可按其它形式分布,诸如经由互联网或其它有线或无线电信系统。如果在权利要求或说明书中使用术语“适于(adapted to)”,则应注意,术语“适于”旨在等同于术语“被配置为(configured to)”。权利要求中的任何附图标记不应解释为限制范围。
Claims (15)
1.一种预测感兴趣区域(160、620)中的对象(110)的边界的计算机实施的方法,所述方法适于将已知拓扑的至少一个源三角网格(120)的边界检测特征映射到任意拓扑的目标三角网格(150),所述计算机实施的方法包括:
-将与所述目标三角网格(150)的每个三角形(155)相关联的体积图像中的所述感兴趣区域(160、620)提供给特征映射网络(640),其中所述感兴趣区域(160)包括每个三角形(155)、所述目标三角网格要描绘的所述对象(110)的边界的一部分、以及所述对象的周围环境的一部分,所述特征映射网络(640)被配置为基于所述感兴趣区域将特征选择向量(662)分配给所述目标三角网格(150)的每个三角形(155)以用于选择,从而将所述至少一个源三角网格(120)的三角形(125)的所述边界检测特征映射到所述目标三角网格(155)的所述三角形(155);
-使用所述特征映射网络(640)将所述特征选择向量(662)分配给所述目标三角网格(150)的每个三角形(155);
-针对所述目标三角网格(150)的每个三角形(155),将相关联的所述感兴趣区域(160、620)和所分配的特征选择向量(662)提供给边界检测网络(660),其中所述边界检测网络被配置为基于由所分配的所述特征选择向量(662)选择的所述感兴趣区域的特征来检测所述目标三角网格(150)的每个三角形(155)的预测边界;以及
-针对所述目标三角网格(150)的每个三角形(155),基于由所分配的所述特征选择向量(662)选择的相关联的所述感兴趣区域(160、620)的特征(664),从所述边界检测网络(660)获得预测边界(680)。
2.根据权利要求1所述的计算机实施的方法,进一步包括:通过向已知拓扑的三角网格添加三角形或从已知拓扑的三角网格移除三角形来获得任意拓扑的所述目标三角网格(150)。
3.根据权利要求1所述的计算机实施的方法,进一步包括:通过以下步骤获得任意拓扑的所述目标三角网格(150):
-使用逐体素分割技术获得所述体积图像的分割;以及
-基于所获得的所述分割生成所述目标三角网格(150)。
4.根据权利要求1至3中任一项所述的计算机实施的方法,其中与每个三角形(155)相关联的所述感兴趣区域(160、620)根据所述三角形的所述法线来定向。
5.根据权利要求1至4中任一项所述的计算机实施的方法,其中所述特征映射网络(640)使用第一训练算法被训练,所述第一训练算法被配置为接收训练输入和已知输出的阵列,其中所述训练输入包括与任意拓扑的网格的三角形相关联的感兴趣区域,并且所述已知输出包括所述感兴趣区域的已知边界。
6.根据权利要求5所述的计算机实施的方法,其中所述第一训练算法进一步被配置为:
-针对与任意拓扑的网格的三角形关联的每个感兴趣区域,分配特征选择向量(662);
-针对任意拓扑的网格的每个三角形,向所述边界检测网络(660)提供相关联的所述感兴趣区域和所分配的所述特征选择向量;
-针对任意拓扑的网格的每个三角形,从所述边界检测网络获得预测边界(680);以及
-基于来自所述边界检测网络(660)的所述预测边界(680)和所述已知边界来训练所述特征映射网络(640)的权重。
7.根据权利要求1至6中任一项所述的计算机实施的方法,进一步包括:将针对每个感兴趣区域(160、620)的一组标准化坐标提供给所述特征映射网络(640)。
8.根据权利要求1至7中任一项所述的计算机实施的方法,进一步包括:将所述目标三角网格(150)的每个三角形(155)的相对位置提供给所述特征映射网络(640)。
9.根据权利要求1至8中任一项所述的计算机实施的方法,其中所述边界检测网络(660)使用第二训练算法被训练,所述第二训练算法被配置为接收训练输入和已知输出的阵列,其中所述训练输入包括具有已知拓扑的网格的训练图像,并且所述已知输出包括已知边界。
10.一种基于模型的图像分割的计算机实施的方法,包括:
-根据任一前述权利要求所述的方法,将已知拓扑的至少一个源三角网格(120)的特征映射到任意拓扑的目标三角网格(150);以及
-使用所述目标三角网格(150)从所述体积图像分割对象。
11.一种计算机程序,包括代码装置,在所述程序在处理系统上运行时所述代码装置用于实施根据任一前述权利要求所述的方法。
12.一种处理系统(600),用于预测对象(110)的感兴趣区域(160、620)中的对象(110)的边界,并且适于:
-将与目标三角网格(150)的每个三角形(155)相关联的体积图像中的所述感兴趣区域(160、620)提供给特征映射网络(640),其中所述感兴趣区域(160)包括每个三角形(155)、所述目标三角网格要描绘的所述对象(110)的边界的一部分、以及所述对象的周围环境的一部分,所述特征映射网络(640)被配置为基于所述感兴趣区域将特征选择向量(662)分配给所述目标三角网格(150)的每个三角形(155)以用于选择,从而将所述至少一个源三角网格(120)的三角形(125)的所述边界检测特征映射到所述目标三角网格(155)的所述三角形(155);
-使用所述特征映射网络(640)将所述特征选择向量(662)分配给所述目标三角网格(150)的每个三角形(155);
-针对所述目标三角网格(150)的每个三角形(155),将相关联的所述感兴趣区域(160、620)和所分配的特征选择向量(662)提供给边界检测网络(660),其中所述边界检测网络被配置为基于由所分配的所述特征选择向量(662)选择的所述感兴趣区域的特征来检测所述目标三角网格(150)的每个三角形(155)的预测边界;以及
-针对所述目标三角网格(150)的每个三角形(155),基于由所分配的所述特征选择向量(662)选择的相关联的所述感兴趣区域(160、620)的特征(664),从所述边界检测网络(660)获得预测边界(680)。
13.根据权利要求12所述的处理系统(600),进一步适于:根据所述三角形的所述法线,定向与每个三角形(155)相关联的所述感兴趣区域(160、620)。
14.根据权利要求12或13所述的处理系统(600),进一步适于:针对所述目标三角网格(150)的每个三角形(155),向所述特征映射网络(640)提供以下至少一项:针对相关联的所述感兴趣区域(160、620)的一组标准化坐标、以及所述三角形(155)的相对位置。
15.一种基于模型的图像分割系统(700),包括:
-根据权利要求12至14中任一项所述的处理系统(600),进一步适于:使用所述目标三角网格(150)从所述体积图像分割对象;以及
-用户接口(720),被配置为从所述处理系统(600)接收并显示所述对象的所述分割图像(710)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20157424.1 | 2020-02-14 | ||
EP20157424.1A EP3866108A1 (en) | 2020-02-14 | 2020-02-14 | Model-based image segmentation |
PCT/EP2021/052741 WO2021160525A1 (en) | 2020-02-14 | 2021-02-05 | Model-based image segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115136193A true CN115136193A (zh) | 2022-09-30 |
Family
ID=69630153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180014809.8A Pending CN115136193A (zh) | 2020-02-14 | 2021-02-05 | 基于模型的图像分割 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12062185B2 (zh) |
EP (2) | EP3866108A1 (zh) |
JP (1) | JP2023513311A (zh) |
CN (1) | CN115136193A (zh) |
WO (1) | WO2021160525A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010032245A2 (en) * | 2008-09-17 | 2010-03-25 | Opticul Diagnostics Ltd. | Means and methods for detecting bacteria in an aerosol sample |
EP3488381B1 (en) | 2016-07-21 | 2024-02-28 | Siemens Healthineers AG | Method and system for artificial intelligence based medical image segmentation |
US10937170B2 (en) | 2016-09-21 | 2021-03-02 | Koninklijke Philips N.V. | Apparatus for adaptive contouring of a body part |
EP3493154A1 (en) * | 2017-12-01 | 2019-06-05 | Koninklijke Philips N.V. | Segmentation system for segmenting an object in an image |
US10943375B2 (en) * | 2019-04-17 | 2021-03-09 | Adobe Inc. | Multi-state vector graphics |
-
2020
- 2020-02-14 EP EP20157424.1A patent/EP3866108A1/en not_active Withdrawn
-
2021
- 2021-02-05 US US17/797,786 patent/US12062185B2/en active Active
- 2021-02-05 EP EP21702514.7A patent/EP4104142A1/en active Pending
- 2021-02-05 CN CN202180014809.8A patent/CN115136193A/zh active Pending
- 2021-02-05 WO PCT/EP2021/052741 patent/WO2021160525A1/en unknown
- 2021-02-05 JP JP2022548650A patent/JP2023513311A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230050190A1 (en) | 2023-02-16 |
JP2023513311A (ja) | 2023-03-30 |
EP3866108A1 (en) | 2021-08-18 |
US12062185B2 (en) | 2024-08-13 |
WO2021160525A1 (en) | 2021-08-19 |
EP4104142A1 (en) | 2022-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643331B2 (en) | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging | |
US10210613B2 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
US9299145B2 (en) | Image segmentation techniques | |
US20190035075A1 (en) | Method and apparatus for classifying a data point in imaging data | |
US11776128B2 (en) | Automatic detection of lesions in medical images using 2D and 3D deep learning networks | |
CN113168914B (zh) | 交互式迭代图像注释 | |
EP3617948A1 (en) | Capsule networks for analyzing medical image data | |
Krawczyk et al. | Segmentation of bone structures with the use of deep learning techniques | |
US20220415021A1 (en) | Data augmentation for a machine learning method | |
US20230005158A1 (en) | Medical image segmentation and atlas image selection | |
JP5432241B2 (ja) | メッシュ衝突回避 | |
US12062185B2 (en) | Model-based image segmentation | |
US12100502B2 (en) | Multi-view matching across coronary angiogram images | |
Robinson | Reliable Machine Learning for Medical Imaging Data Through Automated Quality Control and Data Harmonization | |
US20240233134A1 (en) | Weakly-Supervised 3D Medical Image Segmentation using Geometric Prior and Contrastive Similarity | |
US20230298736A1 (en) | Multi-view matching across coronary angiogram images | |
Lenkiewicz et al. | Techniques for medical image segmentation: review of the most popular approaches | |
Pitale et al. | Machine Learning Algorithms for Classifying Disorder in Brain and Lung Biomedical Images | |
CN118096874A (zh) | 四维纵向成像研究中的病变追踪 | |
CN118318246A (zh) | 用于边界检测的方法和系统 | |
Wu et al. | Improved two-level model averaging techniques in Drosophila brain modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |