CN108022242B - 处理在成本函数最小化框架中提出的图像分析的系统 - Google Patents

处理在成本函数最小化框架中提出的图像分析的系统 Download PDF

Info

Publication number
CN108022242B
CN108022242B CN201711063219.6A CN201711063219A CN108022242B CN 108022242 B CN108022242 B CN 108022242B CN 201711063219 A CN201711063219 A CN 201711063219A CN 108022242 B CN108022242 B CN 108022242B
Authority
CN
China
Prior art keywords
image
segmentation
cost function
framework
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711063219.6A
Other languages
English (en)
Other versions
CN108022242A (zh
Inventor
S.穆赫吉
R.帕戈利亚
X.黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN108022242A publication Critical patent/CN108022242A/zh
Application granted granted Critical
Publication of CN108022242B publication Critical patent/CN108022242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20161Level set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及处理在成本函数最小化框架中提出的图像分析的系统。本文中描述的实施例提供使用图切割,在基于模型的能量最小化分割中结合学习的肺结节特征的混合技术。使用卷积神经网络,从培训样本中提取特征,并且经由深度学习的能量增广分割成本函数。系统和方法改进了分割性能和更鲁棒的初始化。

Description

处理在成本函数最小化框架中提出的图像分析的系统
相关申请的交叉引用
本申请是2016年11月2日提出的题为“Automated Segmentation Using DeepLearned Priors”的美国临时专利申请号62/416228的非临时申请,该申请被结合于本文中。
技术领域
本文中公开的主题涉及自动化分割,具体而言它涉及用于表征在医疗图像中的对象的图像分析(analytics)模态。
背景技术
肺癌为所有癌有关死亡中的相当大的百分比负责,并且除非被早期诊断出,否则通常与预后不良关联。经由筛查规程的肺结节的早期检测对使临床医生能够确定患者的治疗路线图(roadmap)是不可缺少的。低剂量计算机断层成像(LDCT)扫描是用于肺癌筛查的实际标准,并且缺乏自动化肺结节表征框架来囊括用于肺癌筛查的三维LDCT成像的可能性。
全自动化肺癌筛查规程依赖三个独特的步骤。首先,自动化肺结节检测框架识别结节的位置。这是近年来已受到相当大关注的活跃研究领域。其次,自动化肺结节分割规程识别结节边界。最后,经由基于机器学习的方法,分析分割的结节以将结节表征为良性或潜在恶性的情况。然而,关于在提取用于表征的特征的问题中缺乏解决方案。
从三维(3D)胸部计算机断层成像(CT)的自动化结节分割通常是困难的问题,因为结节的外观和形态能够根据其类型(例如,实性或半实性)或基于疾病的阶段而大大不同。此外,噪声、重构伪影和诸如脉管、裂纹等等的其它肺结构的存在使分割问题变得复杂。预期解决这些问题以处理噪声和成像伪影,并且应展示在分割期间抑制非结节结构的能力。另外,以下公开将有益地解决在基于模型的能量最小化分割问题中的学习的肺结节特征。细节如下所述。
发明内容
上述和其它缺陷或不足可通过像如下所述的系统的开发而得以克服或减轻。
本文中的实施例公开一种自动化肺结节表征框架,其加快了临床工作流程,降低了操作员可变性,并且利用(harness)用于肺癌筛查的3D LDCT成像的可能性。本发明的方面也提出肺结节分割问题的解决方案。一旦检测到初始结节,便执行改进的方法以准确地分割所检测到的结节,其能够随后直接用来提取如由用户指定的用于表征的特征。
另外,实施例提供熟练于处理噪声和成像伪影,并且展示在分割期间抑制非结节结构的能力的鲁棒分割算法。虽然现有混合技术可使用深度学习,但深度学习的信息被用作预处理工具(用于模型初始化),或者用于对算法输出的后处理(用于改善)。相反,本文中揭示的混合技术结合了在使用图切割解决的基于模型的能量最小化分割问题中的学习的肺结节特征。使用卷积深度神经网络(CNN),从培训样本中提取特征,并且经由深度学习的能量增广分割成本函数。本文中称为“深度学习的图切割”(DLGC)的提议的算法改进了分割性能,并且对初始化是更鲁棒的。
一种本文中描述的非暂时计算机可读媒介包括在其中存储的计算机可读指令,其用于促使控制处理器执行操作以确定图切割能量函数。在一个实施例中,描述的非暂时计算机可读媒介包括在其中存储的计算机可读指令,其用于促使控制处理器执行操作以确定图切割能量函数,包括以下步骤:确定是图像的径向渐变的数据项;使用深度学习的概率图来分割图像以创建分割的图像;以及通过将阳性体素连接到汇节点,并且将阴性体素连接到源节点来创建图;其中图能量函数利用在分割图像中的阈值表面,降低在概率图的边缘处的误差,并且提供在图像中对象的增强。除提供平滑解的正则化项外,图能量函数还添加域特定的图像推导的低水平特征(例如,径向边缘图)。
关于术语图像的“有符号径向渐变”,在图切割利用幅值和符号两者时,在图切割中反映符号(正/负)。相反,传统上采用渐变的绝对值以用于计算边缘图。
变体因此能够被设计成适应不同大小、形状、群组和结构,使得方法能够以具成本效益的有效方式完成。结构系统和架构能够被修改和进行组件交换,以实现如详细描述和图形中所描绘的功能性和改进。
本发明提供一组技术方案,如下。
1.一种包括混合方法以处理在成本函数最小化框架中提出的图像分析的系统,所述系统包括:
一个或多个图像数据集,包括利用低水平图像特征的基于图像的数据;
提供有关对象的先验知识的概率图;
其中所述混合方法包括:提供所述基于图像的数据中的至少一个,提供赋予平滑性的正则化能量,以及经由所述概率图,结合有关所述对象的所述先验知识。
2.如技术方案1所述的系统,其中所述低水平图像特征独自或组合地包含边缘、纹理和区域统计中的一个或多个。
3.如技术方案1所述的系统,其中所述混合方法被处理器用作预处理工具以用于模型初始化,或者被处理器用作后处理工具以用于改善输出数据和输出图像。
4.如技术方案1所述的系统,其中所述混合方法还包括预测所述成本函数最小化框架的步骤。
5.如技术方案4所述的系统,其中所述成本函数最小化框架是计算最佳分区以提供从背景描绘的所述对象的可视化的优化架构。
6.如技术方案1所述的系统,其中所述图像分析个别或组合地包括分割、增强、去噪和背景估计。
7.如技术方案1所述的系统,其中所述一个或多个图像数据集由至少一个模态或模态的组合提供,其中所述模态包括:磁共振(MR)、计算机断层成像(CT)、超声、X射线或其变体。
8.如技术方案1所述的系统,其中所述混合方法利用所述对象的平滑表面来增强在所述图像数据集中的所述对象,并且抑制所述图像数据集的背景。
9.如技术方案8所述的系统,其中所述对象包含解剖结构。
10.如技术方案9所述的系统,其中所述解剖结构包括丝状对象,其包含血管。
11.一种在本文中描述的非暂时计算机可读媒介,包括在其中存储的计算机可读指令,所述计算机可读指令用于促使控制处理器执行操作以确定图切割能量函数,包括以下步骤:确定是图像的有符号径向渐变的数据项;
使用深度学习的概率图分割所述图像以创建分割的图像;以及
通过将阳性体素连接到汇节点,并且将阴性体素连接到源节点来创建图;
其中所述图能量函数利用在所述分割图像中的阈值表面,降低在所述概率图的边缘处的误差,并且提供在所述图像中对象的增强。
12.一种系统,包括:对象分割模块;对种子定位敏感的组合的一个或多个图切割和水平集;以及深度学习模块,包括学习对象的有区别的特征并且产生结合所述对象分割模块的对象概率图的处理器。
13.如技术方案12所述的系统,其中所述对象分割模块是优化框架。
14.如技术方案13所述的系统,其中所述优化框架包含深度神经网络。
15.如技术方案14所述的系统,其中所述深度神经网络是全卷积网络(FCN)。
16.如技术方案15所述的系统,其中所述FCN将来自所述深度学习模块的深度学习的信息嵌入到单个目标函数中,并且呈现一次性规程以在无基于约束的预测的情况下获得解。
17.如技术方案15所述的系统,其中所述FCN是估计回归函数,并且将至少二维(2D)输入图像的每个像素映射到对应的分割概率图的解码器编码器架构。
18.如技术方案17所述的系统,其中所述至少二维输入图像是三维的(3D)。
19.如技术方案12所述的系统,其中所述深度学习模块被培训成不受所述种子定位中的可变性影响。
附图说明
图1描绘本发明的实施例的透视图。
图2描绘在本发明的一个方面的透视图。
图3图示一个实施例的示意表示。
具体实施方式
在下文中将参照附图,更全面地描述各种实施例。此类实施例不应被视为限制。例如,能够在其它实施例和甚至其它类型的装置中利用一个或多个方面。通常参见附图,将理解的是,说明是为了描述特定实施例的目的并且无意于限制。
公开了使用深度学习的混合方法学以解决图像分析问题;该方法学在成本函数最小化框架中提出(pose)。混合成本函数包括至少三个组分,包含:(a)基于图像的数据项,其利用低水平图像特征(诸如边缘、纹理、区域统计等);(b)赋予解平滑性的正则化能量项;和(c)经由深度学习的对象概率图,有关对象的数据驱动先验知识。方案的显著亮点如下所述:
不同于传统基于机器学习的技术,利用(leverage)卷积深度学习架构的鲁棒性和一致性。与诸如逻辑回归、支持向量回归机等的其它基于机器学习的回归框架相比,这提供了改进的稳定性和增强的性能。另外,框架将深度学习的信息嵌入到单个目标函数中,并且在未基于深度学习模型的预测施加硬约束的情况下呈现一次性有效规程以用于获得解。
混合方法学是胜过直接以深度学习预测工作以用于预测输出的解,并且通过结合(a)域特定的(本地)图像推导项和(b)限制在解中的不规则性的正则化矩阵,有利地提供鲁棒性。在一个实施例中,混合方法学适用于2D和3D图像分析问题两者。方法学的方面是模态不可知论的,并且能够适用于来自不同模态的宽范围的问题,包含仅出于示范目的而不是限制的CT、磁共振成像(MRI)和超声。
公开的方法学的实施例也能够扩展到在成本函数最小化框架中提出的大量图像分析问题。这包含但不限于诸如分割、增强、去噪和背景估计等图像分析任务。
数学公式化
在一个实施例中,图像分析问题(诸如分割)被公式化为成本函数最小化问题。虽然函数的性质和外观取决于特定应用,但要最小化的能量函数能够从广义上表述如下:
E(x)=Eimg(x)+EDL(x)+Ereg(x) (1)
总能量E(x)包括三项:图像推导能量Eimg(x);基于深度学习的成本函数EDL(x)(其赋予解的学习的先验);和最后,正则项Ereg(x),其鼓励平滑解。此类公式化在诸如分割、图像增强等的若干图像分析问题中是常见的。我们将提供两个此类情况的示例以用于说明。
图像分割示例
图像分割表示将图像的像素或体素编组成前景和背景类的问题。用于分割的基于能量最小化的策略一般用来形成优化方程以识别图像域的最佳分区。此种问题能够使用持续或离散优化来解决;此处展示了三个不同的情况,其中可使用深度学习的先验来执行分割。深度学习的先验的一个表示如下所述:
Figure GDA0004054409840000051
此处,P(x)是由深度学习算法预测的概率图,其提供所预期对象存在或不存在的证据。原始图像被定义为f(x)。
经由水平集的对象分割
Figure GDA0004054409840000052
φ是水平集函数。使用低水平图像特征(边缘、纹理等)推导基于图像的能量项Eimg(x),并且由正则化项
Figure GDA0004054409840000053
提供曲线正则化。基于深度学习的项EDL(x)基于深度学习模型的分割预测,指定曲线传播的方向。使用变分学来解函数(3)。
经由变分定阈值的对象分割
在变分分割问题中,目标是要得出阈值表面t(x),使得分割的输出s(x)={x:f(x)>t(x)}。对应的能量函数能够表述如下:
Figure GDA0004054409840000054
对(4)的解得出平滑的最佳阈值表面t*(x),并且最小化在概率图函数的边缘处的误差。
使用图切割的对象分割
分割问题使用本文中的实施例来解决,实施例使用图切割来实现离散优化。图切割能量函数被编写如下:
Figure GDA0004054409840000061
第一项是数据项,其表示图像的径向渐变。第二项使用深度学习的概率图来增加分割的鲁棒性。符号‘*’表示卷积算子。通过将阳性体素连接到汇节点(T),并且将源节点连接到阴性体素,能够创建图。通过使用最小割算法来获得解。
对象增强示例
对象增强表示抑制背景结构以识别前景对象的问题。如类似于方程(6a和6b)的一种增强算法:最佳表面t*(x)是增强对象,并且抑制背景的平滑表面。此技术充当用于是薄的(诸如像血管等的丝状对象)且细长的结构的增强方法学。
前景-背景估计
在一个实施例中,前景和背景图像由函数s(x)和b(x)表示。用于估计平滑前景和背景函数的成本函数能够表述为下列中的一个:
Figure GDA0004054409840000062
Figure GDA0004054409840000063
前景/背景估计可对诸如偏置场去除、区域统计的分析的若干处理和分析任务有用。
在方法的上面提及的实施例中,显式机制提供具有深度学习的预测的组合数据平滑和本地图像信息。这引起比以孤立使用任何方法更鲁棒的解。
深度学习的图切割
在公开的实施例中,分割问题等效于体素分区技术,其中图像域
Figure GDA0004054409840000064
分别被分区成非重叠前景和背景区域Ωf与Ωb。在优化框架中,目标是要计算此最佳分区,使得对象从背景被准确描绘。
分割成本函数
如果f(x)是三维CT肺结节感兴趣区域(ROI)体素,并且x∈Ω是在图像域中的体素,则被分割的对象作为体素集被获得,体素将最小化下列成本函数:
Figure GDA0004054409840000071
(7)中的数据项定义分割准则,而平滑性项防止分割的对象的不规则性。数据项包括两个项:图像推导组分和机器学习的数据推导区域模型,其充当软分割先验。(7)中的正则化项防止分割的对象的不规则性。
边缘能量函数
基于图像的有符号方向渐变,推导边缘能量函数。在数学上,我们定义边缘成本函数如下:
Figure GDA0004054409840000072
此处,
Figure GDA0004054409840000073
表示沿单位向量r的(有符号)方向导数,并且由/>
Figure GDA0004054409840000074
表示。此方向被选择为径向向外方向,相对于初始检测到的体素x0计算。图像f(x)由各向同性高斯函数gσ(x)进行平滑。由于肺结节比背景更亮,因此,有符号导数对于边界体素是负的。因此,方程(8)的极小元(minimizer)优选选择在分割的体积中的边界体素。
深度学习的分割先验
使用仅基于边缘的准则的分割模型易于受弱边缘影响,导致过割(即,轮廓泄漏)。通过在分割成本函数中添加对象区域先验,其增广分割,这被阻止。替代使用以前已使用基于模型的技术或基于学习的方法的几个区域先验,此处在形成区域先验中优化了深度神经网络。
深度神经网络已在传统计算机视觉和图像分析中的最近问题中显示了许诺(promise),特别是在问题涉及学习假设函数hΘ时,假设函数从培训数据集{xi}和关联的有监督的标注(supervised label){yi}将输出
Figure GDA0004054409840000075
估计为/>
Figure GDA0004054409840000076
此处,Θ是算法通过最小化适当的损失函数而从培训样本估计的超参数集。提议的全卷积编码器-解码器深度神经架构估计回归函数,其将二维输入图像的每个像素映射到对应的分割概率图
Figure GDA0004054409840000077
假设足够的培训数据的可用性,此类深度神经架构展示了在对象定位中的成功。深度神经网络是在用于实性肺结节的15231个二维轴向切片和用于部分实性结节的9675个轴向切片的集上培训。
此处定义的架构包括具有下采样的四个解码器层和具有反卷积的四个编码器层(如图1中所示)。对应的分割掩码已由经培训的放射科医师注释。为获得用于3D体积的概率分数,使用学习的模型将测试体积的每个轴向切片回归,并且重构二维输出以获得3D前景概率项。使用此信息,将深度学习的区域成本定义如下:
Figure GDA0004054409840000081
使用用于分割成本函数的此描述,使用图切割执行成本函数的优化。
图创建和分割
图切割算法的实现建立在极图的想法上;居中在x0的球形子体积Ωs={x:||x-x0||<R}从三维图像域中提取。定义从图像域到图G=(V,E,W)的映射,其中V和E表示图的顶点和边缘集,并且W表示关联的边缘权重集。球形域被细分成N个均匀采样的径向线R(i)={(1-t)x+tri},其中t∈[0,1],i=0,...,N-1,并且||ri-x0||=R。参数t被均匀采样以产生每径向列的M个顶点。另外,称为源和汇的两个特殊顶点S和T由图切割算法用来将体素分别分类为前景和背景。图2示出图创建过程的二维等效。
模型初始化和最小割分割
实施例展示开始分割的初始检测到的体素x0。在初始化从自动化算法或从专家用户已经可用的情况下,算法指定最大半径R以定义极图。此适当的半径从深度学习输出的分割的结果估计。如果B={bj}表示通过取(3)的零水平集而获得的边界体素集,则半径被估计如下:
Figure GDA0004054409840000082
通过明断地指派权重到图边缘,能够使用最小流(min-flow)策略分割方程(8)中的成本函数。预期的是图的最小成本切割创建分区,使得前景顶点与节点S集群,并且背景顶点附连到T。使用以下策略设定体素到S-T节点的边缘权重。如果x表示对应于任何节点的体素位置v∈V,则总节点成本通过下式给出:
E(x)=Eedge(x)+EDL(x) (11)
理想地,对于结节体素,E(x)是负的,并且对于前景体素是正的。因此,权重被设定如下:
w(S,v)=|E(x)|H(-E(x)) (12)
w(T,v)=|E(x)|H(E(x)) (13)
此处,H(z)是重侧阶梯函数。目标函数经由在多项式时间中运行的最大流(max-flow)算法被最小化。
实验结果:来自低剂量CT的肺结节的分割
系统和方法的性能已在实性和半实性肺结节的数据集上评估。为每个类别执行了两个单独的实验,一个是其中初始体素x0被假设为在结节中心处,并且第二情形是其中初始位置稍微从结节质心移位。针对传统基于边缘的图切割和U-net的分割方法,测试了深度学习的图切割(DLGC)的性能。实验结果在下面表(表1和表2)中报告,其中报告了用于不同算法的切块分数(Dice score)。从实验结果,观察到深度学习的图切割(DLGC)提供了稳定的性能,并且对初始化是更鲁棒的。
表1中示出实性肺结节的性能比较。
Figure GDA0004054409840000091
表1
表2中示出实性肺结节的性能比较。
Figure GDA0004054409840000092
表2
本文中公开的实施例描述如图1中描述的深度学习架构和系统。图解说明示出系统100,包含来自CT扫描的输入图像切片102,其由计算机处理器通过神经网络104处理以生成输出图像切片106。在神经网络内是四个下采样层105和四个上采样层107。深度神经网络在用于实性肺结节的15231个二维轴向切片102和用于部分实性结节的9675个轴向切片的集上培训。架构系统100包括具有下采样的四个解码器层和具有反卷积的四个编码器层。对应的分割掩码已由经培训的放射科医师注释。
图2参照在2D轴向切片上的图构造。从3D体积构建的原始图共享相同方法学。
图3中的实施例图示了包含用于从CT体积分割肺结节的半自动化过程(即,一次用户点击)的混合系统300。在检测步骤301处,检测到一次点击结节质心302,其随后通过深度学习模块303继续,并且随后通过将此处为结节质心302的对象的边缘和平滑表面分类的图切割能量技术305继续。所得到的3D分割307因此表示用于系统300中结节分割的数据驱动深度学习方案的准确度。此准确的分割提供了结节的自动化表征。使用基于模型的技术(图切割)和用于结节分割的数据驱动方案(提议深度学习)的混合方法能够与在成像、医疗成像或其它中的任何模态一起工作。
本发明的各种实施例可囊括任何数量的设计、配置、概念、逻辑和/或基于硬件的架构。虽然个别的实施例因此已被描述,但个别的实施例可集成和组合供与系统一起使用。配置能够被简化,并且复杂性被最小化以降低成本和提供更容易的实现。
根据一些实施例,在非易失性存储器或计算机可读媒介(例如,寄存器存储器、处理器高速缓存、RAM、ROM、硬盘驱动、闪速存储器、CD ROM、磁媒体等)中存储的计算机程序应用可包含代码或可运行指令,其在被运行时可指示和/或促使控制器或处理器执行上面讨论和描述的方法。
计算机可读媒介可以是非暂时计算机可读媒体,包含多种形式和类型的存储器,并且也可包含除用于暂时传播信号外的计算机可读媒体。在一个实现中,非易失性存储器或计算机可读媒介可以是外部存储器。
虽然已在本文中描述特定硬件和方法,但根据本发明的实施例,可提供任何数量的其它配置。因此,虽然本发明的基本新颖特征已被示出,描述和参考,但将理解的是,在不脱离本发明的精神和范围的情况下,由本领域的技术人员可进行在图示的实施例的形式和细节中和在其操作中的各种忽略、替代和变化。也完全预期和设想了从一个实施例到另一实施例的元素的替代。本发明关于随附于此的权利要求书和在其中的叙述的等效物定义。
虽然仅参照几个示范实施例对本发明进行了相当详细地描述,但将领会的是,没有意图将本发明仅限于这些实施例,因为在实质上不脱离本发明的范围的情况下,可对公开实施例进行各种修改、忽略、添加和替代。另外,在不脱离本发明的基本范围的情况下,可进行许多修改以适应特定情况或装配(installation)。因此,必须理解的是,已通过说明而不是限制对上述发明进行了描述。相应地,意图将涵盖可包括在如由权利要求书定义的本发明的范围和精神内的所有修改、忽略、添加、替代或诸如此类。

Claims (10)

1.一种包括混合方法以处理在成本函数最小化框架中提出的图像分析的系统,所述系统包括:
一个或多个图像数据集,包括利用低水平图像特征的基于图像的数据;
提供有关对象的先验知识的概率图;
其中所述混合方法包括:提供所述基于图像的数据中的至少一个,通过图能量函数利用在分割图像中的阈值表面来降低在所述概率图的边缘处的误差,从而提供赋予平滑性的正则化能量,以及经由所述概率图,结合有关所述对象的所述先验知识。
2.如权利要求1所述的系统,其中所述低水平图像特征独自或组合地包含边缘、纹理和区域统计中的一个或多个。
3.如权利要求1所述的系统,其中所述混合方法被处理器用作预处理工具以用于模型初始化,或者被处理器用作后处理工具以用于改善输出数据和输出图像。
4.如权利要求1所述的系统,其中所述混合方法还包括预测所述成本函数最小化框架的步骤。
5.如权利要求4所述的系统,其中所述成本函数最小化框架是计算最佳分区以提供从背景描绘的所述对象的可视化的优化架构。
6.如权利要求1所述的系统,其中所述图像分析个别或组合地包括分割、增强、去噪和背景估计。
7.如权利要求1所述的系统,其中所述一个或多个图像数据集由至少一个模态或模态的组合提供,其中所述模态包括:磁共振MR、计算机断层成像CT、超声、X射线或其变体。
8.如权利要求1所述的系统,其中所述混合方法利用所述对象的平滑表面来增强在所述图像数据集中的所述对象,并且抑制所述图像数据集的背景。
9.如权利要求8所述的系统,其中所述对象包含解剖结构。
10.如权利要求9所述的系统,其中所述解剖结构包括丝状对象,其包含血管。
CN201711063219.6A 2016-11-02 2017-11-02 处理在成本函数最小化框架中提出的图像分析的系统 Active CN108022242B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662416228P 2016-11-02 2016-11-02
US62/416228 2016-11-02
US15/367,275 US10453200B2 (en) 2016-11-02 2016-12-02 Automated segmentation using deep learned priors
US15/367275 2016-12-02

Publications (2)

Publication Number Publication Date
CN108022242A CN108022242A (zh) 2018-05-11
CN108022242B true CN108022242B (zh) 2023-05-23

Family

ID=62022511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711063219.6A Active CN108022242B (zh) 2016-11-02 2017-11-02 处理在成本函数最小化框架中提出的图像分析的系统

Country Status (2)

Country Link
US (1) US10453200B2 (zh)
CN (1) CN108022242B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
US10614574B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Generating image segmentation data using a multi-branch neural network
DE102018208955A1 (de) * 2018-06-06 2019-12-12 Siemens Healthcare Gmbh Bestimmung eines Schwellwertes für wenigstens ein Energieband eines direkt-konvertierenden Detektors
CN109036522B (zh) * 2018-06-28 2021-08-17 深圳视见医疗科技有限公司 图像处理方法、装置、设备及可读存储介质
CN109215014B (zh) * 2018-07-02 2022-03-04 中国科学院深圳先进技术研究院 Ct图像预测模型的训练方法、装置、设备及存储介质
CN108961274B (zh) * 2018-07-05 2021-03-02 四川大学 一种mri图像中自动头颈肿瘤分割方法
CN109272510B (zh) * 2018-07-24 2021-06-04 清华大学 一种三维医学图像中管状结构的分割方法
CN109285157A (zh) * 2018-07-24 2019-01-29 深圳先进技术研究院 左心室心肌分割方法、装置及计算机可读存储介质
KR102615196B1 (ko) 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
CN109544554B (zh) * 2018-10-18 2020-01-31 中国科学院空间应用工程与技术中心 一种植物图像分割及叶片骨架提取方法及系统
CN109448006B (zh) * 2018-11-01 2022-01-28 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
US11604992B2 (en) * 2018-11-02 2023-03-14 Microsoft Technology Licensing, Llc Probabilistic neural network architecture generation
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US20220092785A1 (en) * 2018-12-18 2022-03-24 Agfa Nv Method of decomposing a radiographic image into sub-images of different types
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN109949209B (zh) * 2019-03-06 2022-07-19 武汉工程大学 一种基于深度学习的绳索检测与去除方法
CN109949323B (zh) * 2019-03-19 2022-12-20 广东省农业科学院农业生物基因研究中心 一种基于深度学习卷积神经网络的作物种子净度判断方法
US11696700B2 (en) * 2019-04-25 2023-07-11 General Electric Company System and method for correcting for patient motion during MR scanning
CN110223341B (zh) * 2019-06-14 2024-05-28 北京国信华源科技有限公司 一种基于图像识别的智能水位监测方法
US10984507B2 (en) 2019-07-17 2021-04-20 Harris Geospatial Solutions, Inc. Image processing system including training model based upon iterative blurring of geospatial images and related methods
US11417087B2 (en) 2019-07-17 2022-08-16 Harris Geospatial Solutions, Inc. Image processing system including iteratively biased training model probability distribution function and related methods
US11068748B2 (en) 2019-07-17 2021-07-20 Harris Geospatial Solutions, Inc. Image processing system including training model based upon iteratively biased loss function and related methods
US11288507B2 (en) * 2019-09-27 2022-03-29 Sony Corporation Object detection in image based on stochastic optimization
US11682110B2 (en) * 2019-09-27 2023-06-20 Rensselaer Polytechnic Institute Modularized adaptive processing neural network (MAP-NN) for low-dose CT
US11842498B2 (en) 2019-12-16 2023-12-12 Siemens Healthineers International Ag Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models
US11436703B2 (en) * 2020-06-12 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
EP4016453B1 (en) * 2020-12-21 2023-08-09 Siemens Healthcare GmbH Method and system for automated segmentation of biological object parts in mri
CN112669325B (zh) * 2021-01-06 2022-10-14 大连理工大学 一种基于主动式学习的视频语义分割方法
CN112950582B (zh) * 2021-03-01 2023-11-24 北京小白世纪网络科技有限公司 一种基于深度学习的3d肺部病灶分割方法、装置
CN113299374B (zh) * 2021-06-03 2023-08-29 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
CN116844734B (zh) * 2023-09-01 2024-01-16 福建自贸试验区厦门片区Manteia数据科技有限公司 剂量预测模型的生成方法、装置、电子设备及存储介质
CN117576144B (zh) * 2024-01-15 2024-03-29 湖北工业大学 一种激光点云电力线提取方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144957A1 (en) * 2011-04-21 2012-10-26 Nanyang Technological University A method and system for interactive image segmentation
WO2014032041A1 (en) * 2012-08-24 2014-02-27 Old Dominion University Research Foundation Method and system for image registration
WO2015010451A1 (zh) * 2013-07-22 2015-01-29 浙江大学 一种从单幅图像检测道路的方法
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5489782A (en) * 1994-03-24 1996-02-06 Imaging Laboratory, Inc. Method and apparatus for quantum-limited data acquisition
US7217266B2 (en) * 2001-05-30 2007-05-15 Anderson R Rox Apparatus and method for laser treatment with spectroscopic feedback
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
US7583831B2 (en) * 2005-02-10 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for using learned discriminative models to segment three dimensional colon image data
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
US8073226B2 (en) * 2006-06-30 2011-12-06 University Of Louisville Research Foundation, Inc. Automatic detection and monitoring of nodules and shaped targets in image data
US7804989B2 (en) * 2006-10-30 2010-09-28 Eigen, Inc. Object recognition system for medical imaging
US8139891B2 (en) * 2006-11-03 2012-03-20 Siemens Aktiengesellschaft System and method for structure enhancement and noise reduction in medical images
WO2010071597A1 (en) * 2008-12-15 2010-06-24 Singapore Health Services Pte Ltd A method and system for determining the position of an optic cup boundary
JP5291755B2 (ja) * 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
JP5954846B2 (ja) * 2012-08-24 2016-07-20 富士通株式会社 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US10776606B2 (en) 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
US9990743B2 (en) * 2014-03-27 2018-06-05 Riverain Technologies Llc Suppression of vascular structures in images
JP6577703B2 (ja) 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN105608459B (zh) 2014-10-29 2018-09-14 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
CN105574859B (zh) 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN105513014B (zh) 2016-01-21 2019-02-01 集美大学 一种多帧图像超分辨率重建方法及其重建系统
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
US20180096490A1 (en) * 2016-09-30 2018-04-05 Aarila Dots Oy Method for determining anthropometric measurements of person
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144957A1 (en) * 2011-04-21 2012-10-26 Nanyang Technological University A method and system for interactive image segmentation
WO2014032041A1 (en) * 2012-08-24 2014-02-27 Old Dominion University Research Foundation Method and system for image registration
WO2015010451A1 (zh) * 2013-07-22 2015-01-29 浙江大学 一种从单幅图像检测道路的方法
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法

Also Published As

Publication number Publication date
US10453200B2 (en) 2019-10-22
CN108022242A (zh) 2018-05-11
US20180122082A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN108022242B (zh) 处理在成本函数最小化框架中提出的图像分析的系统
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
Gu et al. Automated delineation of lung tumors from CT images using a single click ensemble segmentation approach
Häme et al. Semi-automatic liver tumor segmentation with hidden Markov measure field model and non-parametric distribution estimation
Qazi et al. Auto‐segmentation of normal and target structures in head and neck CT images: a feature‐driven model‐based approach
Jolly Automatic segmentation of the left ventricle in cardiac MR and CT images
Abdollahi et al. A novel gaussian scale space-based joint MGRF framework for precise lung segmentation
Mukherjee et al. Lung nodule segmentation using deep learned prior based graph cut
Vivanti et al. Patient-specific and global convolutional neural networks for robust automatic liver tumor delineation in follow-up CT studies
Priyadarsini et al. Survey on segmentation of liver from CT images
WO2016038604A1 (en) Interactive segmentation
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
US10002420B2 (en) Model-based segmentation of an anatomical structure
Makni et al. Introducing spatial neighbourhood in Evidential C-Means for segmentation of multi-source images: Application to prostate multi-parametric MRI
WO2010001127A1 (en) Medical image segmentation
Esfandiarkhani et al. A generalized active shape model for segmentation of liver in low-contrast CT volumes
Zhu et al. Automatic delineation of the myocardial wall from CT images via shape segmentation and variational region growing
Pedoia et al. Glial brain tumor detection by using symmetry analysis
Zhou et al. Automated compromised right lung segmentation method using a robust atlas-based active volume model with sparse shape composition prior in CT
Santiago et al. A new ASM framework for left ventricle segmentation exploring slice variability in cardiac MRI volumes
Dangi et al. Cine cardiac MRI slice misalignment correction towards full 3D left ventricle segmentation
WO2020137745A1 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム
Wang et al. Adaptive mesh expansion model (AMEM) for liver segmentation from CT image
Mohagheghi et al. Developing an explainable deep learning boundary correction method by incorporating cascaded x-Dim models to improve segmentation defects in liver CT images
Czipczer et al. Adaptable volumetric liver segmentation model for CT images using region-based features and convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant