CN110036409B - 使用联合深度学习模型进行图像分割的系统和方法 - Google Patents

使用联合深度学习模型进行图像分割的系统和方法 Download PDF

Info

Publication number
CN110036409B
CN110036409B CN201780074980.1A CN201780074980A CN110036409B CN 110036409 B CN110036409 B CN 110036409B CN 201780074980 A CN201780074980 A CN 201780074980A CN 110036409 B CN110036409 B CN 110036409B
Authority
CN
China
Prior art keywords
image
model
shape
foreground
cost factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780074980.1A
Other languages
English (en)
Other versions
CN110036409A (zh
Inventor
哈里哈兰·瑞维享卡
维韦卡·普拉巴卡尔·维迪雅
谢沙迪·史鲁文亚当
拉胡尔·文卡塔拉马尼
普拉撒度·苏达卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110036409A publication Critical patent/CN110036409A/zh
Application granted granted Critical
Publication of CN110036409B publication Critical patent/CN110036409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明提供了一种用于图像分割的方法，该方法包括接收输入图像(102)。该方法还包括获得具有三元组预测器(116,118,120)的深度学习模型(104)。此外，该方法包括通过三元组预测器((116,118,120)中的形状模型来处理输入图像，以生成分割形状图像(110)。此外，该方法包括经由显示单元(128)呈现分割形状图像。

Description

使用联合深度学习模型进行图像分割的系统和方法
背景技术
本说明书的实施方案整体涉及医学图像的上下文分割，并且更具体地涉及用于使用用于医学图像的上下文分割的生成模型来联合深度学习前景、背景和形状的系统和方法。
医学图像/体积的分割或对象描绘是后续定量任务的基本步骤，而定量任务是医学诊断的关键促成因素。一般来讲，图像分割需要检测、粗略分割和更精细细节的分割。通常，来自医学图像的分割或对象描绘中的一些挑战包括图像诸如超声图像、正电子发射断层摄影(PET)图像等中固有的噪声，成像模态固有的不同对比度，X射线、磁共振(MR)和超声图像的多模态强度变化，以及图像内的复杂形状。传统技术通常要求检测图像中的对象，然后进行精确分割。
此外，传统分割方法采用几何先验、前景/背景强度模型和形状先验。传统方法遇到的一些挑战包括分割任务的初始化、复杂纹理和/或形状的建模、超参数调整和计算定时。已经使用被配置为学习复杂前景/背景强度的机器学习方法来规避这些挑战中的一些。而且，其他方法包括使用基于训练数据开发的形状模型。然后，将机器学习方法和基于形状模型的方法插入到标准分割框架中。
最近基于完全卷积网络(FCN)的方法为通过学习上下文和形状与纹理之间的交互(例如U-Net)实现的对象的端到端检测和分割提供了单一框架。此外，考虑到适当的训练数据，基于FCN的方法也扩展到不同问题的普遍性。然而，完全卷积网络(FCN)需要大量代表性训练数据来促进多个实体的学习，诸如这些实体的前景、背景、形状和上下文交互。训练数据有限或不足时，难以解释故障。此外，手动选择数据以提高性能可能是有问题的。
发明内容
根据本说明书的一个方面，公开了方法。该方法包括接收输入图像。此外，该方法包括获得具有三元组预测器的深度学习。该方法还包括通过三元组预测器中的形状模型来处理输入图像，以生成分割形状图像。此外，该方法包括经由显示单元呈现分割形状图像。
根据本说明书的另一方面，公开了系统。该系统包括被配置为采集输入图像的图像采集单元。此外，该系统包括深度学习单元，该深度学习单元包括深度学习模型，其中深度学习模型包括三元组预测器。该深度学习单元被配置为通过三元组预测器中的形状模型来处理输入图像，以生成分割形状图像。此外，该系统包括处理器单元，该处理器单元通信地耦接到深度学习单元并且被配置为经由显示单元呈现分割形状图像。
附图说明
当参考附图阅读以下详细描述时，本说明书的实施方案的这些和其他特征和方面将变得更好理解，附图中相同的字符在整个附图中表示相同的部分，其中：
图1是示出根据本说明书的各方面的使用联合深度学习模型进行图像分割的系统的框图；
图2(a)是根据本说明书的各方面供应至图1的深度学习模型的输入图像；
图2(b)至2(d)是根据本说明书的各方面，在通过图1的深度学习模型处理图2(a)的输入图像之后生成的三通道输出图像；
图3(a)至3(c)是示出根据本说明书的各方面，在从输入图像分割形状边界时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；
图4(a)至4(c)是示出根据本说明书的各方面，在从输入图像分割胎儿腹部区域时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；
图5(a)至5(c)是示出根据本说明书的各方面，在从输入图像分割腹部区域时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；
图6是根据本说明书的各方面的使用联合深度学习模型进行图像分割的方法的流程图；并且
图7是根据本说明书的各方面的形状正则化深度学习模型的框图。
具体实施方式
完全卷积网络(FCN)非常适合将上下文引入学习以进行分割。根据本说明书的各方面，提供了使用图像形成的生成建模的混合对图像进行上下文分割的系统和方法，该图像形成的生成建模的混合使用完全卷积网络(FCN)来联合学习前景(F)、背景(B)和形状(S)的三元组。这种基于FCN的前景、背景和形状三元组的生成建模有助于捕获上下文。此外，这些系统和方法可与较小的训练数据集一起使用。而且，这些系统和方法提供易于解释的结果，并且能够容易地实现跨分割问题的学习转移。
图1是示出根据本说明书的各方面的使用联合深度学习模型进行图像分割的系统100的框图。图像分割系统100用于基于通过前景、背景和形状模型的联合深度学习生成的学习模型的医学图像的上下文分割。更具体地，图像分割系统100包括图像采集单元102，该图像采集单元被配置为采集对应于受检者的输入图像112。
在一个实施方案中，输入图像102是二维(2D)图像，并且图像分割是指2D图像分割。在另一个实施方案中，输入图像102可以指三维(3D)图像，并且图像分割是指3D图像分割。本文所用的术语“受检者”是指患者、患者身体中所关注的器官、机器部件或待通过输入图像102分析的任何其他对象。
图像分割系统100还包括深度学习单元114，该深度学习单元包括深度学习模型104。在一个实施方案中，深度学习模型104是完全卷积网络(FCN)。具体地，深度学习模型104被实现为多通道FCN。在图示实施方案中，深度学习模型104是具有三元组预测器116、118、120的多通道FCN。多通道FCN可基于并行U-Net架构来实现，该架构具有用于三元组预测器中的每一者的单独权重。在另一个实施方案中，基于共享U-Net架构来实现多通道FCN，该架构具有用于三元组预测器的共享权重。
在图1的示例中，深度学习模型104被描绘为具有前景模型116、背景模型118和形状模型120的三通道FCN。输入图像102被提供给深度学习模型104，并且深度学习模型104被配置为生成三个输出通道106、108和110。具体地，附图标号106用于表示由前景模型116生成的前景纹理图像，而附图标号108用于表示由背景模型118生成的背景纹理图像。而且，由形状模型120生成的分割形状图像用附图标号110表示。图像分割系统100还包括处理器单元122和存储器单元124，该存储器单元经由通信总线126通信地耦接到图像采集单元112和深度学习单元114。
在标准FCN公式中，诸如U-Net，考虑到图像对和分割掩模{Ik，Sk}k＝1，2，...N的训练示例，框架学习由参数w定义的预测器
Figure BDA0002083405480000041
该预测器使训练损失最小化，诸如均方根误差(RMSE)/>
Figure BDA0002083405480000042
根据本说明书的各方面，使训练损失的以下可能性最小化的三元组预测器/>
Figure BDA0002083405480000043
可根据等式(1)和(2)来定义。
FBS1：
Figure BDA0002083405480000044
使得
Figure BDA0002083405480000045
等式(1)的前两项分别学习前景和背景预测器。等式(1)的最后一个项学习对象形状的表示。
另外，可采用更简单的符号来根据公式(2)定义三元组预测器。
FBS2：
Figure BDA0002083405480000046
使得
Figure BDA0002083405480000047
可以指出的是，在等式(2)中，使用了更简单的符号。例如，使用
Figure BDA0002083405480000048
代替/>
Figure BDA0002083405480000049
等式(2)中的第二项包括前景/背景预测器，而第一项包括图像形成模型。等式(2)中的最后一项包括形状预测器。
在等式(1)和(2)的FBS1和FBS2中，预测器
Figure BDA00020834054800000410
受到/>
Figure BDA00020834054800000411
的预测的影响。另外，等式(1)和(2)的公式可补充有几何先验，诸如长度缩短、曲率光滑度、形状字典先验、反射率等。
等式(1)和(2)的公式FBS1和FBS2被实现为具有适当的损失函数(如均方误差、平均绝对误差等)的多通道回归输出FCN，用于纹理预测和形状的二元交叉熵。具体地，FCN的输出层包括分别用于预测前景纹理图像106、背景纹理图像108和分割形状图像110的三个通道。
在另一个实施方案中，等式(1)中的三元组预测器中的每一者可基于具有p维形状投影(编码器)E和解码器R的卷积去噪自动编码器(CDAE)进行修改。CDAE的编码器-解码器对被配置为基于卷积神经网络提供输入图像的去噪。编码器E被配置为将任何任意形状S投影到表征表示几何先验的形状空间M的多个基本真值分割掩模中的一个。RMSE函数被修改为：
PRE1：
Figure BDA0002083405480000051
其中
Figure BDA0002083405480000052
等式(3)中的第一项是投影误差成本项，并且基于预测形状和形状空间M之间的距离。等式(3)中的第二项表示成本项，该成本项为基于分割掩模的编码表示与预测掩模之间的距离的。等式(3)中的第三项是欧几里得成本项，其基于基本真值分割掩模与来自形状空间M的预测掩模之间的距离。虽然等式(3)对应于表示形状正则化的成本函数，但可以为等式(1)中的背景纹理正则化和前景纹理正则化添加类似的成本函数。还可以指出的是，等式(2)也可以以类似的方式进行修改，以解决投影误差、表示误差和欧几里得误差。
在一个实施方案中，等式(3)的形状正则化可如图7所示来实现。现在参见图7，其呈现了根据本说明书的一个方面的形状正则化深度学习模型700的框图。形状正则化深度学习模型700包括与第二完全卷积网络704级联的第一完全卷积网络702。
此外，第一FCN 702可被称为分割网络，而第二FCN 704可被称为形状正则化网络。第一FCN 702被配置为处理输入图像708并生成分割图像710。第二FCN 704被配置为将分割图像710约束到由多个训练图像714定义的流形(由M表示)中的自动编码器输出图像712。在一个实施方案中，当受检者是患者并且输入图像是医学图像时，使用香草U-Net架构作为第一FCN 702和第二FCN 704。
此外，第二FCN 704包括编码器(E)和解码器(R)。第一FCN 702的输出对等式(3)中的第三项有贡献，第二FCN 704的输出对等式(3)的前两项有贡献。此外，基于多个训练图像对第二FCN 704进行预训练。而且，基于自定义损失函数716更新第一FCN。继而基于分割图像710、自动编码器输出图像712和基本真值图像714来确定自定义损失函数。
返回参见图1，实现如关于图1描述的图像分割系统100有助于处理输入图像102以分别生成/预测前景纹理图像106、背景纹理图像108和分割形状图像110。此外，前景纹理图像106、背景纹理图像108和分割形状图像110中的一者或多者可在显示单元128上可视化以帮助向受检者(诸如患者)提供医疗护理。
图2(a)是根据本说明书的各方面的供应至图1的深度学习模型/完全卷积网络(FCN)的输入图像202。在一个实施方案中，输入图像可以是超声图像202。此外，图2(b)至2(d)是在通过FCN处理图2(a)的输入图像202之后生成的三通道输出图像204、206、208。更具体地，图2(a)表示输入图像202，诸如作为图1的FCN/深度学习模型104的输入提供的超声图像。
而且，图2(b)表示由深度学习模型104生成的前景纹理的输出图像204。在一个示例中，前景纹理图像204表示图1的前景纹理图像106。以类似的方式，图2(c)表示由深度学习模型104生成的背景纹理的输出图像206。在一个示例中，背景纹理图像206表示图1的背景纹理图像108。另外，图2(d)表示由深度学习模型104生成的分割形状的输出图像208。在一个示例中，分割形状图像208表示图1的分割形状图像110。
可以指出的是，由于三元组预测器的互补性，基于等式(1)和(2)的公式FBS1和/或FBS2来确定深度学习模型104提供了稳健的形状预测器。同时确定给定选择的训练数据的三元组预测器确保了基于深度学习模型的优异的图像分割。
图3(a)至3(c)是示出根据本说明书的各方面，在从输入图像分割形状边界时，示例性深度学习模型104与现存FCN的性能的比较的图像。图3(a)表示输入图像302，诸如提供给深度学习模型104和/或现存FCN(诸如U-Net)的超声图像。
此外，图3(b)表示由现存FCN(诸如U-Net)生成的输出图像304。在现存的基于FCN的方法中，需要更大的集合训练数据来抽象前景/背景纹理、形状以及纹理与形状的关系。附图标号308表示图像304中的对象的形状边界的基本真值。如在图3(b)的说明性示例中所见，输出图像304示出了对比度差的区域中形状边界310的不完全生成。
此外，图3(c)表示由图1的深度学习模型104生成的输出图像308。在图3(c)中，附图标号312表示图像306中的对象的形状边界的基本真值。如在图3(c)的说明性示例中所见，输出图像304示出了完整的形状边界314。
可以指出的是，经由示例性深度学习模型104式(1)的FBS1公式来处理输入图像302导致识别完整的形状边界314，而经由U-Net处理输入图像302导致识别不完整的形状边界310。
图4(a)至4(c)是示出根据本说明书的各方面，在从输入图像分割胎儿腹部区域时，图1的示例性深度学习模型104与现存FCN的性能的比较的图像。图4(a)至4(c)提供了当前可用技术(诸如U-Net和示例性深度学习模型104)在从输入图像(诸如超声图像)分割胎儿腹部区域时的性能的比较。图4(a)表示输入图像402，诸如提供给深度学习模型104和/或现存FCN(诸如U-Net)的超声图像。
图4(b)表示通过现存FCN U-Net处理输入超声图像402而生成的输出图像404。以类似的方式，图4(c)表示通过根据等式(1)的公式FBS1实现的深度学习模型104处理输入超声图像402而生成的输出图像406。
在图4(b)中，附图标号408通常表示对应于所关注的分割形状(诸如图像404中的胎儿腹部区域)的基本真值形状轮廓。附图标号410通常表示通过U-Net处理输入超声图像402而生成的对应于图像404中的所关注的分割形状的分割形状轮廓。
类似地，在图4(c)中，附图标号412通常表示对应于所关注的分割形状(诸如图像406中的胎儿腹部区域)的基本真值形状轮廓。附图标号414通常表示通过深度学习模型104处理输入超声图像402而生成的对应于图像406中的所关注的分割形状的分割形状轮廓。
如图4(a)至4(c)的说明性示例中所描绘的，图4(c)的图像406示出了与U-Net生成图像404相比在基本真值形状轮廓412上DICE系数重叠的4％的改善，这在胎儿生物测量中尤其显著。此外，在图像406中，由于除了形状建模之外的图像前景和背景的建模，由深度学习模型104生成的分割形状轮廓414紧随胎儿腹部边缘。
可以指出的是，前景和背景纹理的联合学习可以避免FCN相对于医学图像的过度拟合和泛化。考虑到前述内容，图5(a)至5(c)是响应于具有一组肾脏图像的示例性训练阶段和具有含有不同腹部脂肪水平的腹部图像的测试阶段而从深度学习模型104生成的图像。
在图5(a)至5(c)中，呈现了根据本说明书的各方面，当前可用技术(诸如U-Net和示例性深度学习模型104)从输入图像分割腹部区域时的性能的比较。
图5(a)表示提供给深度学习模型104和/或现存FCN(诸如U-Net)的输入图像502，诸如具有高脂肪含量的腹部的超声图像。而且，图5(b)表示通过现存FCN U-Net处理输入超声图像502而生成的输出图像504。以类似的方式，输出图像506对应于通过根据等式(1)的公式FBS1实现的深度学习模型104处理输入超声图像502而生成的输出。
在图5(b)中，附图标号508通常表示对应于所关注的分割形状(诸如图像504中的腹部区域)的基本真值形状轮廓。附图标号510通常表示通过U-Net处理输入超声图像502而生成的对应于图像504中的所关注的分割形状的分割形状轮廓。
此外，在图5(c)中，附图标号512通常表示对应于所关注的分割形状(诸如图像506中的腹部区域)的基本真值形状轮廓。附图标号514通常表示通过深度学习模型104处理输入超声图像502而生成的对应于图像506中的所关注的分割形状的分割形状轮廓。
可从图5(b)的图像504观察到，分割形状轮廓510显著偏离基本真值形状轮廓508。此外，可从图5(c)的图像506观察到，分割形状轮廓514和基本真值形状轮廓512显示出显著的重叠。因此，从图5(b)和5(c)可以清楚地看出，图5(c)的分割形状轮廓514比图5(b)的分割形状轮廓510更精确。因此，深度学习模型104的使用导致更精确的形态测量。这可归因于深度学习模型104学习前景和背景纹理的能力，其导致上下文的稳健建模。
图6为根据本说明书的各方面的用于使用联合深度学习模型来分割图像的方法600的流程图。
方法600包括接收输入图像，如步骤602所示。输入图像对应于受检者，诸如但不限于患者、所关注的器官、机器部件、行李等。此外，在步骤604处，获得深度学习模型。在一个实施方案中，深度学习模型包括被配置为预测前景纹理、背景纹理和分割形状的三元组预测器。此外，在某些实施方案中，获得深度学习模型的步骤包括生成表示三元组预测器的多通道完全卷积神经网络。在另一个实施方案中，获得深度学习网络的步骤包括基于多个前景模型权重、多个背景模型权重和多个形状模型权重来制定联合成本函数。此外，使联合成本函数最小化以生成前景模型、背景模型和形状模型。可以指出的是，前景模型包括多个前景模型权重，背景模型包括多个背景模型权重，并且形状模型包括多个形状模型权重。
在其他实施方案中，联合成本函数包括前景成本因子、背景成本因子和形状成本因子。前景成本因子代表前景建模误差，背景成本因子代表背景建模误差，并且形状成本因子代表形状建模误差。通过同时使前景成本因子、背景成本因子和形状成本因子最小化，来使联合成本函数最小化。
在另一个实施方案中，联合成本函数包括形状成本因子、外观成本因子和过度拟合成本因子。因此，在该示例中，通过同时使形状成本因子、外观成本因子和过度拟合成本因子最小化，来使联合成本函数最小化。
而且，在一个实施方案中，基于关于前景、背景和形状的先验信息来修改联合成本函数。具体地，先验信息代表几何先验，诸如长度缩短先验、曲率平滑度先验、形状字典先验、反射率等。当几何先验可用时，对于前景成本因子、背景成本因子和形状成本因子中的每一者，将投影成本因子、表示成本因子和/或欧几里得成本因子添加到联合成本函数中。在一个实施方案中，投影成本因子、示成本因子和欧几里得成本因子基于卷积去噪自动编码器(CDAE)生成。
此外，在步骤606处，通过三元组预测器中的形状模型处理输入图像，以生成分割形状图像。此外，可通过使用图1的显示单元128来可视化分割形状图像，如步骤608所示。在一个实施方案中，当受检者为患者时，分割形状图像的显示有利于向受检者提供医疗护理。
另外，该方法包括通过三元组预测器中的前景模型和背景模型处理输入图像。具体地，输入图像由三元组预测器中的前景模型处理以生成前景纹理图像。类似地，输入图像由三元组预测器中的背景模型处理以生成背景纹理图像。此外，前景图像和/或背景图像可在显示单元128上可视化。在受检者为患者的示例中，前景图像和/或背景图像的显示有利于向受检者提供医疗护理。
用于使用上文呈现的医学图像的上下文分割的生成模型进行联合深度学习的系统和方法提供了通过使用前景、背景和形状的同时学习预测器来对医学图像进行稳健的上下文分割的替代方法。此外，前景、背景和形状的生成建模有利地利用了FCN捕获上下文信息的能力。此外，尽管受到有限的训练数据的限制，但此方法提供了易于解释的结果。另外，该方法能够容易地实现跨分割问题的学习转移。
应当理解，不一定能够根据任何特定实施方案实现上述所有这些目的或优点。因此，例如，本领域的技术人员将认识到，本文所述的系统和技术可以以实现或改进如本文所教导的一个优点或一组优点的方式来实施或执行，同时不一定实现本文所教导或建议的其他目的或优点。
虽然已结合仅有限数目的实施方案详细描述了该技术，但应当容易地理解，说明书不限于此类公开的实施方案。相反，可修改该技术以结合迄今未描述但与权利要求的实质和范围相称的任何数量的变型、更改、替换或等同布置。另外，虽然已经描述了该技术的各种实施方案，但应当理解，说明书的各方面可仅包括所描述的实施方案中的一些。因此，本说明书不应被视为受前述描述的限制。

Claims (12)

1.一种图像分割方法，包括：
接收输入图像；
获得包含三元组预测器的深度学习模型，所述三元组预测器包括前景模型、背景模型和形状模型，其中，获得所述深度学习模型包括：
生成表示所述三元组预测器的多通道完全卷积神经网络；
基于多个前景模型权重、多个背景模型权重和多个形状模型权重来制定联合成本函数；
基于包括长度缩短先验、曲率平滑度先验、形状字典先验和反射率的几何先验修改联合成本函数； 和
使所述联合成本函数最小化以生成包括所述多个前景模型权重的所述前景模型、包括所述多个背景模型权重的所述背景模型以及包括所述多个形状模型权重的所述形状模型；
通过所述三元组预测器中的形状模型来处理所述输入图像以生成分割形状图像；
通过所述三元组预测器中的前景模型处理输入图像以生成前景纹理图像；
通过所述三元组预测器中的背景模型处理输入图像以生成背景纹理图像；
经由显示单元呈现所述分割形状图像；以及
在所述显示单元上呈现所述前景纹理图像、所述背景纹理图像，或所述前景纹理图像和所述背景纹理图像二者。
2.根据权利要求1所述的方法，其中使所述联合成本函数最小化包括同时使前景成本因子、背景成本因子和形状成本因子最小化。
3.根据权利要求1所述的方法，其中使所述联合成本函数最小化包括同时使形状成本因子、外观成本因子和过度拟合成本因子最小化。
4.根据权利要求1所述的方法，其中所述联合成本函数还包括投影成本因子、表示成本因子和欧几里得成本因子，并且其中所述投影成本因子、所述表示成本因子和所述欧几里得成本因子基于卷积去噪自动编码器生成。
5.根据权利要求1所述的方法，其中处理所述输入图像包括使用包括用于所述三元组预测器中的每一者的单独权重的并行U-Net架构来生成所述前景纹理图像、所述背景纹理图像和所述分割形状图像中的至少一者。
6.根据权利要求1所述的方法，其中处理所述输入图像包括使用包括用于所述三元组预测器的共享权重的共享U-Net架构来生成所述前景纹理图像、所述背景纹理图像和所述分割形状图像中的至少一者。
7.一种图像分割系统，包括：
图像采集单元，所述图像采集单元被配置为采集输入图像；
深度学习单元，所述深度学习单元包括深度学习模型，其中所述深度学习模型包括三元组预测器，所述三元组预测器包括前景模型、背景模型和形状模型，并且其中所述深度学习单元被配置为：
生成表示所述三元组预测器的多通道完全卷积神经网络；
基于多个前景模型权重、多个背景模型权重和多个形状模型权重来制定联合成本函数；
基于包括长度缩短先验、曲率平滑度先验、形状字典先验和反射率的几何先验修改联合成本函数； 和
使所述联合成本函数最小化以生成包括所述多个前景模型权重的所述前景模型、包括所述多个背景模型权重的所述背景模型以及包括所述多个形状模型权重的所述形状模型；
通过所述三元组预测器中的形状模型来处理所述输入图像以生成分割形状图像；
通过所述三元组预测器中的前景模型处理输入图像以生成前景纹理图像；
通过所述三元组预测器中的背景模型处理输入图像以生成背景纹理图像；和
处理器单元，所述处理器单元通信地耦接到所述深度学习单元并且被配置为经由显示单元呈现所述分割形状图像，并进一步被配置为在所述显示单元上呈现所述前景纹理图像、所述背景纹理图像，或所述前景纹理图像和所述背景纹理图像二者。
8.根据权利要求7所述的系统，其中所述深度学习单元被进一步配置为同时使前景成本因子、背景成本因子和形状成本因子最小化。
9.根据权利要求7所述的系统，其中所述深度学习单元被配置为同时使形状成本因子、外观成本因子和过度拟合成本因子最小化。
10.根据权利要求7所述的系统，其中所述联合成本函数还包括投影成本因子、表示成本因子和欧几里得成本因子，并且其中所述投影成本因子、所述表示成本因子和所述欧几里得成本因子基于卷积去噪自动编码器生成。
11.根据权利要求7所述的系统，其中所述多通道完全卷积神经网络是基于包括用于所述三元组预测器中的每一者的单独权重的平行U-Net架构。
12.根据权利要求7所述的系统，其中所述多通道完全卷积神经网络是基于包括用于所述三元组预测器的共享权重的共享U-Net架构。
CN201780074980.1A 2016-12-15 2017-12-14 使用联合深度学习模型进行图像分割的系统和方法 Active CN110036409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201641042796 2016-12-15
IN201641042796 2016-12-15
PCT/US2017/066292 WO2018112137A1 (en) 2016-12-15 2017-12-14 System and method for image segmentation using a joint deep learning model

Publications (2)

Publication Number Publication Date
CN110036409A CN110036409A (zh) 2019-07-19
CN110036409B true CN110036409B (zh) 2023-06-30

Family

ID=67234660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074980.1A Active CN110036409B (zh) 2016-12-15 2017-12-14 使用联合深度学习模型进行图像分割的系统和方法

Country Status (4)

Country Link
US (2) US10997724B2 (zh)
EP (1) EP3555850B1 (zh)
CN (1) CN110036409B (zh)
WO (1) WO2018112137A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112137A1 (en) * 2016-12-15 2018-06-21 General Electric Company System and method for image segmentation using a joint deep learning model
US11468286B2 (en) * 2017-05-30 2022-10-11 Leica Microsystems Cms Gmbh Prediction guided sequential data learning method
CN110009598B (zh) * 2018-11-26 2023-09-05 腾讯科技（深圳）有限公司 用于图像分割的方法和图像分割设备
CN110613480B (zh) * 2019-01-14 2022-04-26 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声动态影像检测方法及系统
US11334995B2 (en) * 2019-11-27 2022-05-17 Shanghai United Imaging Intelligence Co., Ltd. Hierarchical systems and methods for image segmentation
CN111274445B (zh) * 2020-01-20 2021-04-23 山东建筑大学 基于三元组深度学习的相似视频内容检索方法及系统
US20210334975A1 (en) * 2020-04-23 2021-10-28 Nvidia Corporation Image segmentation using one or more neural networks
CN111583293B (zh) * 2020-05-11 2023-04-11 浙江大学 一种面向多色双光子图像序列的自适应图像分割方法
US11457891B2 (en) * 2020-08-17 2022-10-04 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2780710A1 (en) * 2012-06-11 2013-12-11 Minglun Gong Video segmentation method

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
EP3466335A1 (en) * 2011-12-21 2019-04-10 Catherine M. Shachaf Fluorescence imaging autofocus method
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9202281B2 (en) * 2012-03-17 2015-12-01 Sony Corporation Integrated interactive segmentation with spatial constraint for digital image analysis
US20150309568A1 (en) * 2012-11-27 2015-10-29 Kyocera Corporation Electronic apparatus and eye-gaze input method
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN105574859B (zh) * 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
CN105809671B (zh) * 2016-03-02 2018-10-16 无锡北邮感知技术产业研究院有限公司 前景区域标注与深度次序推理的联合学习方法
CN106204587B (zh) * 2016-05-27 2019-01-08 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络和区域竞争模型的多器官分割方法
US10043088B2 (en) * 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model
CN106204600A (zh) * 2016-07-07 2016-12-07 广东技术师范学院 基于多序列mr图像关联信息的脑肿瘤图像分割方法
WO2018112137A1 (en) * 2016-12-15 2018-06-21 General Electric Company System and method for image segmentation using a joint deep learning model
US10255681B2 (en) * 2017-03-02 2019-04-09 Adobe Inc. Image matting using deep learning
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
US11756667B2 (en) * 2018-05-30 2023-09-12 Siemens Healthcare Gmbh Decision support system for medical therapy planning
US11491350B2 (en) * 2018-05-30 2022-11-08 Siemens Healthcare Gmbh Decision support system for individualizing radiotherapy dose
EP3861560A1 (en) * 2018-10-05 2021-08-11 Imperial College Of Science, Technology And Medicine Method for detecting adverse cardiac events
US20200395117A1 (en) * 2019-06-14 2020-12-17 Cycle Clarity, LLC Adaptive image processing method and system in assisted reproductive technologies
US10426442B1 (en) * 2019-06-14 2019-10-01 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2780710A1 (en) * 2012-06-11 2013-12-11 Minglun Gong Video segmentation method

Also Published As

Publication number Publication date
WO2018112137A1 (en) 2018-06-21
EP3555850B1 (en) 2021-10-27
CN110036409A (zh) 2019-07-19
US20210233244A1 (en) 2021-07-29
EP3555850A1 (en) 2019-10-23
US11810301B2 (en) 2023-11-07
US20200043170A1 (en) 2020-02-06
US10997724B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
CN110036409B (zh) 使用联合深度学习模型进行图像分割的系统和方法
Oktay et al. Anatomically constrained neural networks (ACNNs): application to cardiac image enhancement and segmentation
CN110047056B (zh) 用深度图像到图像网络和对抗网络的跨域图像分析和合成
US11514573B2 (en) Estimating object thickness with neural networks
EP2977921B1 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
CN110570426B (zh) 使用深度学习的图像联合配准和分割
CN113313234A (zh) 用于图像分割的神经网络系统和方法
CN111047629B (zh) 多模态图像配准的方法、装置、电子设备及存储介质
Tang et al. Tongue contour tracking in dynamic ultrasound via higher-order MRFs and efficient fusion moves
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
EP3712849B1 (en) Automated uncertainty estimation of lesion segmentation
Bongratz et al. Vox2cortex: Fast explicit reconstruction of cortical surfaces from 3d mri scans with geometric deep neural networks
Zhao et al. S3Reg: superfast spherical surface registration based on deep learning
Fan et al. A segmentation-aware deep fusion network for compressed sensing mri
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
Mouches et al. Unifying brain age prediction and age-conditioned template generation with a deterministic autoencoder
CN114387317A (zh) Ct图像和mri三维图像的配准方法、装置
Dayarathna et al. Deep learning based synthesis of MRI, CT and PET: Review and analysis
CN114787862A (zh) 医学图像分割和图集图像选择
Iglesias et al. A generative model for probabilistic label fusion of multimodal data
Sousa et al. Learning to segment the lung volume from CT scans based on semi-automatic ground-truth
CN112419283A (zh) 估计厚度的神经网络及其方法
Wu et al. Deeply supervised network for white matter hyperintensities segmentation with transfer learning
CN116958217B (zh) 一种mri与ct多模态3d自动配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant