CN107784647A - 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统 - Google Patents

基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统 Download PDF

Info

Publication number
CN107784647A
CN107784647A CN201710908752.1A CN201710908752A CN107784647A CN 107784647 A CN107784647 A CN 107784647A CN 201710908752 A CN201710908752 A CN 201710908752A CN 107784647 A CN107784647 A CN 107784647A
Authority
CN
China
Prior art keywords
liver
segmentation
task
network
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710908752.1A
Other languages
English (en)
Other versions
CN107784647B (zh
Inventor
彭佳林
林家庆
揭萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201710908752.1A priority Critical patent/CN107784647B/zh
Publication of CN107784647A publication Critical patent/CN107784647A/zh
Application granted granted Critical
Publication of CN107784647B publication Critical patent/CN107784647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统,方法包括:数据预处理和扩充;多任务深度卷积网络的搭建;带有任务间约束的监督层的构建;网络的训练;数据测试结果生成。本发明提出的多任务网络含有两个通路,分别实现肝脏和肝脏肿瘤的识别分割;本发明通过通路部分共享的方法来缩小深度卷积网络体积并降低模型学习对训练数据量的要求;本发明通过在共享通路之后连接各自任务相关的特征提取模块和相应输出模块实现多任务输出;关键的是,本发明提出了一种可以利用多任务间几何关联信息的监督学习模块来达到肝脏和肝脏肿瘤分割相互约束的目的。本发明能够准确地识别和分割肝脏及其肿瘤。

Description

基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
技术领域
本发明涉及一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统,特别涉及通过多任务学习以及任务间关联约束实现图像中复杂目标分割的方法,属于机器学习和医学图像分析领域,具体可应用于但不限于医学图像分割任务等。
背景技术
智能医疗是当前人工智能领域一个热门的应用方向。如果能够让机器自动识别和分析医学图像,那就能帮助医生实现诊疗的精准化和个体化,并降低诊疗风险。这其中,医学图像中目标组织的自动识别和分割是一个关键的子问题。如果交给医生的医学影像已经排除了多余信息或是标注出了重要信息,医生的诊断效率将能得到大大的提高。本专利以腹部CT扫描(电子计算机断层扫描)图像中肝脏及其内部病变组织的自动标注为背景,提出一种新颖且有效的自动识别与分割方法。当前,主要的肝脏分割方法是基于交互的半自动方法,但由于该类方法的不稳定性和交互的敏感性使得其并未得到广泛应用。近年来,基于机器学习,特别是深度学习的方法,在医学图像分割中逐渐得到应用并在一些问题上取得了较好成绩,但该类方法应用在肝脏分割上还有很大缺陷,特别是应用在带有病变的肝脏分割上。其中的难点在于肿瘤组织的灰度表现完全不同于肝脏组织,且病变组织形态和位置有很大不确定性。然而,除了活体肝移植应用外,目前主要的病例都是带有病变的肝脏组织。此外,由于肿瘤分割的困难性,当前缺少能够自动进行肝脏肿瘤分割的方法。
目前,带有病变的肝脏组织分割中容易出现欠分割,即肿瘤组织没有能有效地归为肝脏的一部分;而单独的肿瘤识别和分割很容易将其他组织的病变区域划分进去。因此本发明提出了一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统,和传统的多任务学习不同的是,本发明进一步考虑了肿瘤和肝脏组织的相互几何约束关系,并将该几何约束通过一种新颖的能量损失函数进行建模和学习,从而实现了有效地分割肝脏组织和肝脏肿瘤。
发明内容
本发明要解决的关键技术问题是:如何能够有效地定位、识别并准确地分割肝脏组织;如何能有效地定位、识别并准确地分割肝脏肿瘤;面对多任务分割问题时,如何有效利用各任务间的先验关联信息从而提高各个任务分割效率和效果。在肝脏及其肿瘤分割的过程中,常常会出现以下这些状况:肝脏分割中,由于肝脏中肿瘤与肝脏外形差异大而不被识别分割的情况;肿瘤分割中,由于其他组织也有病变部分而把其他组织病变区域视为肝脏肿瘤的情况;要想达到较好的分割效果,往往要使用先分割出肝脏,再从肝脏中分割出肿瘤的效率较低的串行多任务解决方案。
本发明目的在于克服现有技术的不足,提出一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统,来实现肝脏和肝脏肿瘤的同时分割,该网络含有两个通路,分别实现肝脏和肝脏肿瘤的分割。本发明通肝脏和肝脏肿瘤分割任务共享公用特征的方法,即两个任务通路共享前端部分通路,来缩小深度卷积网络体积并降低模型学习对训练数据量的要求,在共享通路之后连接的是各自任务相关的特征提取模块和相应输出模块;进一步,本发明提出一种可以利用多任务关联信息的监督模块,具体来说就是在多个任务输出之间构造用于实现任务间几何关系约束的任务关联损失函数,该任务关联损失与各任务本身对应各自标签得到的任务相关损失共同构成该网络的总损失。本发明提出的多任务卷积网络通过有监督的方式进行训练,具体地,通过将网络总损失进行反向传播的方式进行网络参数的学习和优化。
本发明解决其技术问题所采用的技术方案是:
一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法,包括以下步骤:数据预处理、多任务深度卷积网络的构建、监督层的构建、网络的训练及结果的生成。
步骤1,数据预处理:收集肝脏和肝脏肿瘤标签的CT扫描图像;对收集到的图像进行预处理:包括调整其灰度到一定范围,下采样图像到合适尺寸以满足网络输入端要求,截取感兴趣的图像区域,对截取到的图像进行形变以扩充训练数据量。
步骤2,多任务深度卷积网络的构建:网络包括数据输入、公用特征提取、任务相关特征提取和任务输出四部分。根据硬件能力,选择输入端分辨率大小和卷积网络的维数;而后根据任务间的相关情况,选择网络各部分的深度;最后确定模块中各层的宽度,激活函数,卷积核的大小,特征跨层连接的方式和布局。或使用现成的端到端深度卷积网络进行多分割任务改造。
步骤2.1,确定网络维数。在硬件有能力即机器显存足够的情况下,优先使用三维卷积网络,否则使用二维网络。
步骤2.2,确定任务相关特征层深度。首先构建单任务端到端肝脏分割网络,具体可以借鉴当前典型网络的经验做法。其次确定网络共享通路部分的深度。原则上,任务间差别较小时,共享通路深度可以设计得比较深。
步骤2.3,确定模块中各层的宽度。原则上应确保网络宽度足够大,防止特征不够而无法描述目标的情况。跨层特征相连的方法一般是将同样大小的卷积层和反卷积层相连,目的是补充细节信息,减小反卷积出现的一些位置细节偏差。
步骤2.4,确定激活函数。一般使用PRELU激活函数以防止误差反向传导中的梯度爆炸或消失问题。
步骤2.5,确定卷积核大小。卷积核的选择一般要保证在卷积到网络卷积部分最高层特征时卷积的视野已经达到全图。以输入为256x256,卷积部分深度为9,中间有四个2x2的下采样层的二维网络为例,一般可以选择大小为5x5,步长为1x1的卷积核。或者使用两个3x3,步长为1x1的卷积核代替,这样可以达到节省参数空间的效果。
步骤3,监督层的构造:在此一种基于多任务的深度卷积网络的有监督训练过程中,其监督层由各自分割任务的损失函数和任务关联损失函数共同构成。
步骤3.1,将各任务标签下采样并裁剪出与网络输入图像成对应关系的目标区域,而后将图像输入网络得到的输出与对应标签真值做比较得到损失,具体可以使用交叉熵损失,DICE损失等或他们的系数大于0的线性组合作为各自任务分割损失。
步骤3.2,任务关联损失函数描述为:
其中,上指标l和t分别表示肝脏和肝脏肿瘤,N为输入图像中像素点总数,为肝脏分割结果中i点属于肝脏的概率,为肝脏肿瘤分割结果中i点属于肿瘤的概率。通过多任务输出层加上SOFTMAX函数可得。
步骤3.3,监督层的总损失表述为:
Ltotal=α1×Lliver2×Ltumor+Linter
其中Ltotal为任务的总损失,Lliver为肝脏分割任务相关的损失函数,Ltumor为肝脏肿瘤分割任务相关的损失函数,Linter为任务之间的关联损失,α12为调节对应所乘项对Ltotal影响程度的大于0的影响系数。
步骤4,网络的训练:将上一步总损失作为误差利用神经网络反向传导优化算法,通过不断的输入-输出-误差-反向传导误差的网络优化过程,就可以得到一个越来越优的多任务深度卷积分割网络。这其中便涉及到选择合适的批量、步长和训练样本。
步骤4.1,步长选择上,如果步长太大容易导致难以收敛,太小又会导致收敛速度太慢。根据前人经验一般设定在初始10-4,而后随训练的进行慢慢减小。或者使用人为调控的方法,当发现网络收敛到一定值难以继续收敛时,便可以适当减小步长。
步骤4.2,批数的选择上,当发现经过一段时间迭代后损失仍然震荡强烈,此时就可以加大批量以突出共有特征,加快学习速度减小震荡。
步骤4.3,经过一段时间迭代优化后,若发现有部分样本输出分割效果较好,但另一部分样本由于类型稀少或是特征较少等原因仍然较难识别,此时便可以加大这部分样本的训练比例,或是通过形变加大这部分样本的训练数量。
步骤5,结果的生成:对测试数据,使用训练好的多任务分割模型进行多任务分割,得到各任务分割结果;对各分割结果按照原图尺寸和区域信息进行恢复,得原图最终多任务分割结果。
一种基于多任务深度卷积网络的肝脏及其肿瘤分割系统,包括:
数据预处理模块,用于对带有肝脏和肝脏肿瘤标签的CT扫描图像进行预处理;包括调整灰度到预设范围、下采样图像到预设尺寸、截取感兴趣的图像区域及对截取到的图像区域进行形变以扩充训练数据量;
多任务深度卷积网络构建模块,用于构建包括数据输入模块、公用特征提取模块、任务相关特征提取模块、任务输出模块的多任务深度卷积网络;
监督模块构建模块,用于对所述多任务深度卷积网络进行有监督的训练,构建由肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数共同构成的监督层;
网络训练模块,用于将肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数构成的总损失函数作为误差,利用神经网络反向传导优化算法,通过不断的输入-输出-误差-反向传导误差的网络优化过程,训练所述多任务深度卷积网络;
分割结果生成模块,用于使用训练好的多任务深度卷积分割网络对测试数据进行肝脏和肝脏肿瘤分割,得到肝脏和肝脏肿瘤分割结果;根据图像原大小和截取区域信息恢复分割结果。
所述数据输入模块用于接收整张图像或图像中的部分截取区域,所述任务输出模块用于输出整张图像的肝脏分割和肝脏肿瘤分割结果。
所述公用特征提取模块和任务特征相关提取模块包括卷积层、池化层、反卷积层。
本发明具有如下有益效果:
(1)提高分割器分割精准度;
(2)解决多任务中肝脏欠分割,肿瘤过分割的问题;
(3)适用范围广泛,只要是多任务间存在关联关系,就可以使用该方法;
(4)通过特征的共享,加快分割器学习速度;
(4)能够将串行任务改为并行任务,从而极大缩短总任务完成时间;
(5)通过大量共有层缩小多任务网络总体积;
(6)充分利用了任务间关联的先验信息。
以下结合附图及实施例对本发明作进一步详细说明,但本发明一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统不局限于实施例。
附图说明
图1是本发明方法的流程图;
图2是本发明的多任务深度卷积网络构建示意图;
图3是本发明以V-Net网络为基础构造的端到端分割网络;
图4是本发明方法和对照方法训练出的模型的最终分割结果比较图一;
图5是本发明方法和对照方法训练出的模型的最终分割结果比较图二。
具体实施方式
下面结合图示和具体实施例对本发明进行进一步说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本实施例中,任务目标是训练分割器使之可以有效地在CT扫描(电子计算机断层扫描)图像数据上进行肝脏及肝脏肿瘤分割。实施例采用基于V-Net的多任务卷积网络作为具体分割网络,使用训练数据为21237个带标签的肝脏部分CT扫描垂直方向切片,其中有些切片图像中没有病变组织,带病变组织的切片中病变部分大小不一。
参见图1所示,本实施例方法的具体步骤如下:
步骤1,数据收集和预处理
步骤1.1,数据收集
通过各方途径,共收集到151个带有肝脏和肝脏肿瘤标签的CT扫描影像来训练模型。
步骤1.2,灰度范围截取、图像缩放与兴趣区域采集
根据观察,当灰度范围截取-100至250时,图像中各组织区分度较大且保有其大部分细节,因此将图像灰度在该范围内截取,而后线性变换到[0,1]空间中。进行兴趣区域采集,即根据原本的三维扫描图像的标签,找到肝脏区域,将肝脏区域块截取下来,并按照原图像方向信息翻转到正确位置。考虑到硬件能力限制,实施例使用二维的卷积网络。因此在截取翻转好后的三维图像垂直方向上切一层层512x512的切片进行保存,最终切片总数为21237个。图像缩放上,为保证网络计算时显存足够用,将原本512x512大小的图像下采样到256x256作为网络输入。
步骤1.3,对样本进行形变操作以扩充训练数据量
对每个投入网络作为训练数据的样本,以50%的概率进行基于B-样条(B-Spline)的弹性形变以扩充训练数据集。
步骤2,多任务深度卷积网络的构建
参见图2所示,构建的多任务深度卷积网络包括数据输入、公用特征提取、任务相关特征提取和任务输出四部分。根据硬件能力,选择输入端分辨率大小和卷积网络的维数;而后根据任务间的相关情况,选择网络各部分的深度;最后确定模块中各层的宽度,激活函数,卷积核的大小,特征跨层连接的方式和布局。或使用现成的端到端深度卷积网络进行多分割任务改造。
参见图3所示,本实施例中,以V-Net网络为基础构造端到端多任务深度卷积分割网络。
为确保网络宽度足以承载肝脏和肝脏肿瘤两方面信息,将第一层特征数设为48,而后以下采样层为大层界限,在卷积部分每大层特征数翻倍增长,直至第五大层达到768个特征图。激活函数设为PRELU,然后使用跨层信息连接方法和对应点求和方法保存局部信息到高层。实施例将最后一个5x5卷积层之前的所有特征层都作为公用特征,然后在最后一层中分为两个方向卷积,分别卷积为两个任务相关特征层,分别代表肝脏分割的前景和背景以及肝脏肿瘤分割的前景和背景。
步骤3,监督层的构建
构造监督层是为了使用监督层的总损失作为网络总误差以便通过神经网络的误差反向传导算法优化网络。总损失有两部分:任务相关损失和任务关联损失。表达式为:
Ltotal=α1*Lliver2*Ltumor+Linter
其中,Ltotal为任务的总损失,Lliver为肝脏分割任务相关损失函数,Ltumor为肝脏肿瘤分割任务相关损失函数,Linter为任务之间的关联损失,α12为调节对应所乘项对Ltotal影响程度的大于0的影响系数。
实施例使用Tensorflow作为网络搭建学习框架,使用DICE损失和交叉熵损失之和作为任务相关损失,取影响系数α1=α2=2>1,保证优先提取各任务自身特征,而后再在此基础上用关联损失进行修正。最终使用的损失函数表述为:
其中,为肝脏分割的DICE损失和交叉熵损失,为肝脏肿瘤分割的DICE损失和交叉熵损失,Linter为关联损失,Ltotal为总损失。其中,DICE损失表达式为:
其中,LDICE为DICE损失,N为输入图像总点数,i为分割结果中i点属于前景的概率,gi为标签中i点的值(属于前景为1,属于背景为0)。
实施例中为DICE损失和Linter的表达式上下各添上极小项ε=10-7以确保当目标图像在目标分割任务中,标签为全前景或全背景时DICE损失仍然适用,或是当图像中只有肝脏没有肝脏肿瘤时,或是连肝脏都没有时任务关联损失也仍然适用。DICE损失和Linter就表示为:
步骤4,网络的训练
实施例在GPU(Graphics Processing Unit:显示芯片)为2x K40c(12G)的服务器上运行,批量大小为5,基础学习率为10-4,使用Adam(adaptive moment estimation:自适应矩估计)优化方法优化网络参数。当网络经过近1.5×104次左右优化后大部分样本损失大小收敛达到基本不变。此时将学习率调整为2×10-5,并挑选总损失大于-4的样本以批量为1的大小进行先形变再训练,进一步优化网络。当网络总迭代次数约为3×104时损失大小达到进一步降低收敛,优化完毕。
步骤5,结果的生成
使用测试数据进行测试:先将测试数据按训练中同样方法进行预处理,而后输入训练好的网络中得到肝脏分割和肝脏肿瘤分割的结果,最后根据图像原大小和截取区域信息恢复分割结果。
为测试本方法性能,实施例在对照试验中使用单独分割方法进行肝脏及其肿瘤识别与分割,使用的网络为本实施例多任务网络的原型V-Net。
参见图4所示,由图中方框部分可知:未加关联损失时,非肝脏部分有病变特征,容易被误识别成肝脏病变区;另外结合交叠视图可知,在分割肝脏部分由于没有添加关联信息,出现了肿瘤边缘和肝脏边缘不一致的情况。而加了关联损失后则没有出现这种现象。因此可以看出加了关联损失后肿瘤分割前景明显局限到肝脏分割前景内,效果好于未加关联损失。参见图5所示,可知关联信息可以促成网络将肝脏肿瘤识别为肝脏的一部分,效果好于未加关联损失。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进,将声明所示损失函数用在其他网络中等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多任务深度卷积网络的肝脏及其肿瘤分割方法,其特征在于,包括:
对带有肝脏和肝脏肿瘤标签的CT扫描图像进行预处理;包括调整灰度到预设范围、下采样图像到预设尺寸、截取感兴趣的图像区域及对截取到的图像区域进行形变以扩充训练数据量;
构建包括数据输入、公用特征提取、任务相关特征提取、任务输出四部分的多任务深度卷积网络;
对所述多任务深度卷积网络进行有监督的训练,构建由肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数共同构成的监督层;
将肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数构成的总损失函数作为误差,利用神经网络反向传导优化算法,通过不断的输入-输出-误差-反向传导误差的网络优化过程,训练所述多任务深度卷积网络;
使用训练好的多任务深度卷积分割网络对测试数据进行肝脏和肝脏肿瘤分割,得到肝脏和肝脏肿瘤分割结果;根据图像原大小和截取区域信息恢复分割结果。
2.根据权利要求1所述的基于多任务深度卷积网络的肝脏及其肿瘤分割方法,其特征在于,所述多任务深度卷积网络以整张图像或图像中的部分截取区域为输入,输出整张图像的肝脏分割和肝脏肿瘤分割结果;所述多任务深度卷积网络为三维网络或二维网络。
3.根据权利要求1所述的基于多任务深度卷积网络的肝脏及其肿瘤分割方法,其特征在于,所述公用特征提取和任务特征相关提取包括卷积层、池化层和反卷积层。
4.根据权利要求1所述的基于多任务深度卷积网络的肝脏及其肿瘤分割方法,其特征在于,所述肝脏分割任务和肝脏肿瘤分割任务关联损失函数Linter定义为:
<mrow> <msub> <mi>L</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <msubsup> <mi>p</mi> <mi>i</mi> <mi>l</mi> </msubsup> <msubsup> <mi>p</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <msubsup> <mi>p</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中,上指标l和t分别表示肝脏和肝脏肿瘤,N为输入图像中像素点总数,为肝脏分割结果中i点属于肝脏的概率,为肝脏肿瘤分割结果中i点属于肿瘤的概率。
5.根据权利要求4所述的基于多任务深度卷积网络的肝脏及其肿瘤分割方法,其特征在于,监督层中用于刻画预测结果和标准分割结果的误差的总损失函数为:
Ltotal=α1×Lliver2×Ltumor+Linter
其中,Ltotal为任务的总损失函数,Lliver为肝脏分割任务相关的损失函数,Ltumor为肝脏肿瘤分割任务相关的损失函数,Linter为任务之间的关联损失,α12为非负的权重因子。
6.一种基于多任务深度卷积网络的肝脏及其肿瘤分割系统,其特征在于,包括:
数据预处理模块,用于对带有肝脏和肝脏肿瘤标签的CT扫描图像进行预处理;包括调整灰度到预设范围、下采样图像到预设尺寸、截取感兴趣的图像区域及对截取到的图像区域进行形变以扩充训练数据量;
多任务深度卷积网络构建模块,用于构建包括数据输入模块、公用特征提取模块、任务相关特征提取模块、任务输出模块的多任务深度卷积网络;
监督模块构建模块,用于对所述多任务深度卷积网络进行有监督的训练,构建由肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数共同构成的监督层;
网络训练模块,用于将肝脏分割任务相关的损失函数、肝脏肿瘤分割任务相关的损失函数、肝脏分割任务和肝脏肿瘤分割任务关联损失函数构成的总损失函数作为误差,利用神经网络反向传导优化算法,通过不断的输入-输出-误差-反向传导误差的网络优化过程,训练所述多任务深度卷积网络;
分割结果生成模块,用于使用训练好的多任务深度卷积分割网络对测试数据进行肝脏和肝脏肿瘤分割,得到肝脏和肝脏肿瘤分割结果;根据图像原大小和截取区域信息恢复分割结果。
7.根据权利要求6所述的基于多任务深度卷积网络的肝脏及其肿瘤分割系统,其特征在于,所述数据输入模块用于接收整张图像或图像中的部分截取区域,所述任务输出模块用于输出整张图像的肝脏分割和肝脏肿瘤分割结果。
8.根据权利要求6所述的基于多任务深度卷积网络的肝脏及其肿瘤分割系统,其特征在于,所述公用特征提取模块和任务特征相关提取模块包括卷积层、池化层、反卷积层。
9.根据权利要求6所述的基于多任务深度卷积网络的肝脏及其肿瘤分割系统,其特征在于,所述肝脏分割任务和肝脏肿瘤分割任务关联损失函数Linter定义为:
<mrow> <msub> <mi>L</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <msubsup> <mi>p</mi> <mi>i</mi> <mi>l</mi> </msubsup> <msubsup> <mi>p</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <msubsup> <mi>p</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中,上指标l和t分别表示肝脏和肝脏肿瘤,N为输入图像中像素点总数,为肝脏分割结果中i点属于肝脏的概率,为肝脏肿瘤分割结果中i点属于肿瘤的概率。
10.根据权利要求9所述的基于多任务深度卷积网络的肝脏及其肿瘤分割系统,其特征在于,监督层中用于刻画预测结果和标准分割结果的误差的总损失函数为:
Ltotal=α1×Lliver2×Ltumor+Linter
其中,Ltotal为任务的总损失函数,Lliver为肝脏分割任务相关的损失函数,Ltumor为肝脏肿瘤分割任务相关的损失函数,Linter为任务之间的关联损失,α12为非负的权重因子。
CN201710908752.1A 2017-09-29 2017-09-29 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统 Active CN107784647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710908752.1A CN107784647B (zh) 2017-09-29 2017-09-29 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710908752.1A CN107784647B (zh) 2017-09-29 2017-09-29 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统

Publications (2)

Publication Number Publication Date
CN107784647A true CN107784647A (zh) 2018-03-09
CN107784647B CN107784647B (zh) 2021-03-09

Family

ID=61434416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908752.1A Active CN107784647B (zh) 2017-09-29 2017-09-29 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统

Country Status (1)

Country Link
CN (1) CN107784647B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN109214279A (zh) * 2018-07-27 2019-01-15 东南大学 基于视频的在线人脸表情预检测方法及装置
CN109215035A (zh) * 2018-07-16 2019-01-15 江南大学 一种基于深度学习的脑部mri海马体三维分割方法
CN109461139A (zh) * 2018-09-29 2019-03-12 桂林电子科技大学 一种基于动态mri信息融合的肝癌定量分析方法
CN109528230A (zh) * 2018-11-21 2019-03-29 济南浪潮高新科技投资发展有限公司 一种基于多级变换网络的乳腺肿瘤分割方法及装置
CN109598734A (zh) * 2018-12-29 2019-04-09 上海联影智能医疗科技有限公司 心脏与肺叶分割的方法和系统
CN109636812A (zh) * 2018-12-13 2019-04-16 银河水滴科技(北京)有限公司 一种钢轨表面与接触网表面图像分割方法及装置
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109886891A (zh) * 2019-02-15 2019-06-14 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110060262A (zh) * 2019-04-18 2019-07-26 北京市商汤科技开发有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN110163847A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 基于ct/mr影像的肝脏肿瘤分割方法及装置
CN110211127A (zh) * 2019-08-01 2019-09-06 成都考拉悠然科技有限公司 基于双相关性网络的图像分割方法
CN110432908A (zh) * 2018-05-04 2019-11-12 威里利生命科学有限责任公司 对婴儿的感知和活动分类
WO2019223147A1 (zh) * 2018-05-23 2019-11-28 平安科技(深圳)有限公司 肝脏癌变定位方法、装置及存储介质
CN110569882A (zh) * 2019-08-15 2019-12-13 杨春立 一种图像信息分类方法及装置
WO2020001086A1 (zh) * 2018-06-28 2020-01-02 深圳先进技术研究院 基于深度学习的心脏ct图像分割方法、装置、设备及介质
CN110648317A (zh) * 2019-09-18 2020-01-03 上海交通大学 适用于脊柱转移肿瘤骨质的质量分类方法及系统
CN110766694A (zh) * 2019-09-24 2020-02-07 清华大学 一种三维医学图像的交互式分割方法
CN110910408A (zh) * 2019-11-28 2020-03-24 慧影医疗科技(北京)有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111292307A (zh) * 2020-02-10 2020-06-16 刘肖 一种消化系统胆囊结石识别方法及定位方法
CN111696126A (zh) * 2020-05-18 2020-09-22 东南大学 一种基于多视角的多任务肝脏肿瘤图像分割方法
WO2020238817A1 (en) * 2019-05-24 2020-12-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for processing x-ray images
CN112348826A (zh) * 2020-10-26 2021-02-09 陕西科技大学 一种基于测地线距离和V-net的交互式肝脏分割方法
CN112819763A (zh) * 2021-01-25 2021-05-18 北京工业大学 基于Guide-MultiScale-Net端到端的三维乳腺超声图像肿瘤分割方法
CN113127431A (zh) * 2020-01-10 2021-07-16 浙江大学 智能多任务特征数据共享方法及装置
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469041A (zh) * 2015-11-19 2016-04-06 上海交通大学 基于多任务正则化与逐层监督神经网络的人脸点检测系统
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469041A (zh) * 2015-11-19 2016-04-06 上海交通大学 基于多任务正则化与逐层监督神经网络的人脸点检测系统
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FANG LU等: "Automatic 3D liver location and segmentation via convolutional neural network and graph cut", 《ORIGINAL ARTICLE》 *
HASSAN MASOUMI等: "Automatic Liver segmentatiConvolution and Artificial Neural Network in MRI Imageson Using Vector Field", 《MAJLESI JOURNAL OF ELECTRICAL ENGINEERING》 *
李雯: "基于深度卷积神经网络的CT图像肝脏肿瘤分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110432908A (zh) * 2018-05-04 2019-11-12 威里利生命科学有限责任公司 对婴儿的感知和活动分类
WO2019223147A1 (zh) * 2018-05-23 2019-11-28 平安科技(深圳)有限公司 肝脏癌变定位方法、装置及存储介质
WO2020001086A1 (zh) * 2018-06-28 2020-01-02 深圳先进技术研究院 基于深度学习的心脏ct图像分割方法、装置、设备及介质
CN109215035B (zh) * 2018-07-16 2021-12-03 江南大学 一种基于深度学习的脑部mri海马体三维分割方法
CN109215035A (zh) * 2018-07-16 2019-01-15 江南大学 一种基于深度学习的脑部mri海马体三维分割方法
WO2020019612A1 (zh) * 2018-07-24 2020-01-30 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
TWI715117B (zh) * 2018-07-24 2021-01-01 大陸商北京市商湯科技開發有限公司 醫療影像處理方法及裝置、電子設備及儲存介質
CN109214279A (zh) * 2018-07-27 2019-01-15 东南大学 基于视频的在线人脸表情预检测方法及装置
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109461139A (zh) * 2018-09-29 2019-03-12 桂林电子科技大学 一种基于动态mri信息融合的肝癌定量分析方法
CN109461139B (zh) * 2018-09-29 2021-05-18 桂林电子科技大学 一种基于动态mri信息融合的肝癌定量分析方法
CN109528230A (zh) * 2018-11-21 2019-03-29 济南浪潮高新科技投资发展有限公司 一种基于多级变换网络的乳腺肿瘤分割方法及装置
CN109528230B (zh) * 2018-11-21 2021-08-17 山东浪潮科学研究院有限公司 一种基于多级变换网络的乳腺肿瘤分割方法及装置
CN109636812A (zh) * 2018-12-13 2019-04-16 银河水滴科技(北京)有限公司 一种钢轨表面与接触网表面图像分割方法及装置
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric
CN109598734A (zh) * 2018-12-29 2019-04-09 上海联影智能医疗科技有限公司 心脏与肺叶分割的方法和系统
CN109886891A (zh) * 2019-02-15 2019-06-14 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110060262A (zh) * 2019-04-18 2019-07-26 北京市商汤科技开发有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110163847A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 基于ct/mr影像的肝脏肿瘤分割方法及装置
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
WO2020238817A1 (en) * 2019-05-24 2020-12-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for processing x-ray images
CN110211127A (zh) * 2019-08-01 2019-09-06 成都考拉悠然科技有限公司 基于双相关性网络的图像分割方法
CN110569882B (zh) * 2019-08-15 2023-05-09 杨春立 一种图像信息分类方法及装置
CN110569882A (zh) * 2019-08-15 2019-12-13 杨春立 一种图像信息分类方法及装置
CN110648317B (zh) * 2019-09-18 2023-06-30 上海交通大学 适用于脊柱转移肿瘤骨质的质量分类方法及系统
CN110648317A (zh) * 2019-09-18 2020-01-03 上海交通大学 适用于脊柱转移肿瘤骨质的质量分类方法及系统
CN110766694A (zh) * 2019-09-24 2020-02-07 清华大学 一种三维医学图像的交互式分割方法
CN110910408A (zh) * 2019-11-28 2020-03-24 慧影医疗科技(北京)有限公司 图像分割方法、装置、电子设备及可读存储介质
CN113127431A (zh) * 2020-01-10 2021-07-16 浙江大学 智能多任务特征数据共享方法及装置
CN111292307A (zh) * 2020-02-10 2020-06-16 刘肖 一种消化系统胆囊结石识别方法及定位方法
CN111696126A (zh) * 2020-05-18 2020-09-22 东南大学 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN112348826B (zh) * 2020-10-26 2023-04-07 陕西科技大学 一种基于测地线距离和V-net的交互式肝脏分割方法
CN112348826A (zh) * 2020-10-26 2021-02-09 陕西科技大学 一种基于测地线距离和V-net的交互式肝脏分割方法
CN112819763A (zh) * 2021-01-25 2021-05-18 北京工业大学 基于Guide-MultiScale-Net端到端的三维乳腺超声图像肿瘤分割方法

Also Published As

Publication number Publication date
CN107784647B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Wang et al. Slic-Seg: A minimally interactive segmentation of the placenta from sparse and motion-corrupted fetal MRI in multiple views
CN110475505A (zh) 利用全卷积网络的自动分割
US20080033302A1 (en) System and method for semi-automatic aortic aneurysm analysis
JP2023550844A (ja) 深層形状学習に基づく肝臓ct自動分割方法
WO2009138202A1 (en) Method and system for lesion segmentation
CN112308846B (zh) 血管分割方法、装置及电子设备
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
Snaauw et al. End-to-end diagnosis and segmentation learning from cardiac magnetic resonance imaging
CN110717518A (zh) 基于3d卷积神经网络的持续性肺结节识别方法及装置
CN110874860A (zh) 基于混合损失函数的对称监督模型的目标提取方法
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
He et al. Automatic left ventricle segmentation from cardiac magnetic resonance images using a capsule network
CN116664590A (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN116563305A (zh) 一种血管的异常区域的分割方法、装置及电子设备
CN114419032B (zh) 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置
CN115830317A (zh) 基于极坐标转换的U-Net增强注意模块的皮肤癌图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant