CN110942465A - 一种基于ResUnet的3视图PET图像分割方法 - Google Patents

一种基于ResUnet的3视图PET图像分割方法 Download PDF

Info

Publication number
CN110942465A
CN110942465A CN201911085032.5A CN201911085032A CN110942465A CN 110942465 A CN110942465 A CN 110942465A CN 201911085032 A CN201911085032 A CN 201911085032A CN 110942465 A CN110942465 A CN 110942465A
Authority
CN
China
Prior art keywords
dimensional
resunet
view
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911085032.5A
Other languages
English (en)
Inventor
胡海根
沈雷钊
苏一平
周乾伟
肖杰
管秋
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911085032.5A priority Critical patent/CN110942465A/zh
Publication of CN110942465A publication Critical patent/CN110942465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

一种基于ResUnet的3视图PET图像分割方法,包括以下步骤:步骤1,针对淋巴瘤病灶特点设计或修改网络模型,使之适合淋巴瘤的分割;步骤2,将3维的训练数据沿3个视图方向(俯视,正视,左视)进行切片,得到3个视图方向的2维数据;步骤3,将3个视图方向的2维数据分别输入到网络中进行训练,得到3个分割模型,分别对应3个视图方向的数据;步骤4、将测试数据分别输入到3个预测模型,将3个预测结果进行加权求和得到测试数据的最终的预测结果。本发明增加了2维模型对3维数据的空间信息利用,提高了分割的准确率。

Description

一种基于ResUnet的3视图PET图像分割方法
技术领域
本发明涉及到一种基于ResUnet的PET图像分割方法,具体而言,通过3维PET数据的3个视图方向获得更加完整的3维信息,本发明属于计算机视觉的图像识别中的图像分割方法,而非医学目的的疾病诊断或治疗方法,是一种PET图像分割方法。
背景技术
淋巴瘤是具有相当异质性的一大类肿瘤,虽然好发于淋巴结,但是由于淋巴系统的分布特点,使得淋巴瘤属于全身性疾病,几乎可以侵犯到全身任何组织和器官。因此,从PET图中自动的分割淋巴瘤具有较大的挑战性。
PET全称为:正电子发射型计算机断层显像(Positron Emission ComputedTomography),是核医学领域比较先进的临床检查影像技术。其大致方法是,将某种物质,一般是生物生命代谢中必须的物质,氟代脱氧葡萄糖(FDG)注入人体后,通过对于该物质在代谢中的聚集,来反映生命代谢活动的情况,目前PET检查85%是用于肿瘤的检查,因为绝大部分恶性肿瘤葡萄糖代谢高,FDG作为与葡萄糖结构相似的化合物,静脉注射后会在恶性肿瘤细胞内积聚起来,所以PET能够鉴别淋巴瘤及正常组织。
随着深度学习在计算机视觉中的广泛应用,语义分割、实例分割、全景分割等新概念与方法的提出为PET图像分割带来了全新的视角。这些分割方法大多基于深度卷积神经网络实现,通过为图像中每一个像素赋予类型标签而实现目标分割,从FCN开始,U-Net、Deeplab、PSPNet、Mask-RCNN等各类网络方法层出不穷,U-Net以其优越的分割性能而在医学图像分割上广为使用。ResUnet将U-Net的特征提取替换为目前特征提取功能优秀的resnet,大幅度提高了分割的准确率。然而ResUnet还是针对2维的图片数据进行分割,对3维的PET数据的利用时会有信息的丢失,通过在3个视图上分别进行分割,再将分割的结果进行均值求和能够更好的利用3维的PET数据,从而达到更高的分割精度。
发明内容
本发明的目的是提供一种PET图像的自动分割方法来克服2维网络对3维的PET数据利用不完全的问题,具体是将3维的PET数据沿着长宽高的方向分别分割成3个2维的数据集,将3个2维的数据集分别输入到卷积神经网络中训练,最终会得到3个对应的模型,将测试数据同样沿着长宽高方向进行切片,将得到的3个数据集分别输入到对应的网络模型中得到3个对应的预测结果,最后通过均值求和得到最终的分割结果,相对于传统的只利用高方向的切片有更好的3维PET利用率,能得到更精确的分割结果。
本发明解决其技术问题所采用的技术方案是:
一种基于ResUnet的3视图PET图像分割方法,包括以下步骤:
步骤1、针对淋巴瘤病灶特点修改网络模型,使之适合淋巴瘤的分割;
步骤2、将3维的训练数据沿3个视图方向进行切片,得到3视图方向的2维数据;
步骤3、将3个视图方向的2维数据分别输入到网络中进行训练,将3个预测结果进行均值求和得到最终的分割结果;
步骤4、将测试数据输入预测模型,得到测试数据的分割结果。
所述步骤1中,PET数据分辨率并不高,ResUnet原网络包含5个下采样层,会导致最后的特征图太小,信息丢失严重,将其下采样层数减少到3层更利于细节信息的保留。
进一步,所述步骤2中,所述数据处理的实现过程为:
(1)对于正视图:将3维数据沿宽增大的方向进行切片,得到数量与宽相关,大小为长乘高的2维切片;
(2)对于俯视图:将3维数据沿高增大的方向进行切片,得到数量与高相关,大小为长乘宽的2维切片;
(3)对于左视图:将3维数据沿长增大的方向进行切片,得到数量与长相关,大小为宽乘高的2维切片;
(4)对所有2维切片进行归一化,得到最终用于训练的数据。
再进一步,所述步骤3中,ResUnet神经网络预测模型参数如下:
(1)优化器:使用Adam优化器,它能够对每个不同的参数调整不同的学习率,对频繁变化的参数以更小的步长进行更新,而稀疏的参数以更大的步长进行更新;
(2)激活函数:ResUnet中选择ReLU作为激活函数,它能够把输入的负数变为零,输入的正数原封不动的输出,其导数为1,利于反向传播优化参数;
(3)评价标准:最后评价分割效果好坏的标准,用Dice相似系数来评价分割的好坏,Dice相似系数越高,预测结果与真实标签的重合率越高;
(4)损失函数:选择Dice相似系数作为损失函数,交叉熵损失函数对于正负样本不均衡的情况具有较大的局限性,Dice相似系数作为损失函数可以克服这个困难,该损失函数关注于预测的前景(淋巴瘤)和真实标签中的前景(淋巴瘤)的交集和并集,不会因背景像素过多而导致损失函数太小的问题;
Figure BDA0002265129920000031
(5)其他参数:训练轮数为200轮,当在验证集上20轮Dice相似系数没有上升则停止训练,batch_size根据输入图片分辨率确定,16到128不等,学习率为0.001。
本发明的有益效果主要表现在:充分利用resnet的特征学习能力可以提取2维PET图中淋巴瘤的特征,通过3个视图方向分别训练模型可以获得3个方向的预测结果,而这些模型所学到的特征表达是不同的,将3个方向的预测结果均值求和可以汇总3个视图方向的分割模型的学习到的特征,得到更高的分割精度。
附图说明
图1为本发明所述基于ResUnet的3视图PET图像分割方法的流程图;
图2为本发明所属修改后的ResUnet网络结构图;
图3为实施例中样本图(俯视图方向);
图4为实施例中样本图(正视图方向);
图5为实施例中样本图(左视图方向);
图6为本发明预测效果图(俯视图方向)。
图7为本发明预测效果图(正视图方向)。
图8为本发明预测效果图(左视图方向)。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图8,一种基于ResUnet的3视图PET图像分割方法,所述方法包括以下步骤:
步骤1,针对淋巴瘤病灶特点设计或修改网络模型,使之适合淋巴瘤的分割;
参照图2在ResUnet网络做修改,使之适合淋巴瘤的分割
(1.1)当以高为切片方向进行切片时,获得的2维切片的分辨率较低,过多的下采样层会导致信息的丢失,我们将ResUnet的下采样层数减少为3层。
(1.2)由于PET图像中正样本(被认为是淋巴癌的像素)和负样本(背景)极不平衡,loss函数应尽量克服这种非平衡性,可以使用Dice损失函数代替交叉熵损失函数。
步骤2,将3维的训练数据沿3个视图方向进行切片,得到3视图方向的2维数据;
参照图3,图4,图5。分别对应同一个3维的PET图在3个视图方向的PET切片。
(2.1)由于分辨率为168×168的PET图像中有许多与分割无关的像素,其像素值为0,我们将3维的PET数据进行了裁剪,将无关的像素去除。裁剪后的3维PET图的大小为48×96×480;
(2.2)在高的方向进行切片,将3维的PET图切成480个48×96的2维图片;在长的方向进行切片,将3维的PET图切成96个48×480的2维图片;在宽的方向进行切片,将3维的PET图切成48个96×480的2维图片。
(2.3)将得到的所有2维图片进行归一化,设X为输入图片,归一化方法
X=(X-X.min)/(X.max-X.min)
最后得到的PET图,其中图3为正视图中的某一切片。
步骤3,将3个视图方向的2维数据分别输入到网络中进行训练,将3个预测结果进行均值求和得到最终的分割结果;
参照图6,图7,图8。分别对应图3,图4,图5的预测结果,其中的红色代表真实标签中是淋巴瘤的像素,但网络预测为正常的像素。绿色代表网络预测维淋巴瘤,但真实标签中是正常的像素。黄色代表真实标签是淋巴瘤并且网络也预测维淋巴瘤的像素。
分别将3个视图方向的2维PET输入到修改后的ResUnet中进行训练,其中随机选取80个病人的数据当做训练集,29个病人的数据作为测试集。经过ResUnet的编码器和解码器,输出的预测结果经过sigmoid函数后被归一化至0到1间连续的值,将该预测结果与标签计算Dice损失,再将计算所得的损失反向传播更新参数。当模型在验证集上20个epoch,Dice没有上升时停止训练。
将测试数据同样做相同的处理后分别输入至训练结束后得到的对应的模型中分别得到3个对同一个3维PET的预测结果(X,Y,Z)。3个预测结果分别结合了各个方向的空间信息,我们将信息进行合并,(X+Y+Z)/3作为最后的预测结果进行输出。
所述步骤3中,ResUnet神经网络对数据集进行训练,实现淋巴瘤预测,采用ResUnet神经网络,将预处理后的数据集和对应的标签作为ResUnet神经网络的输入,进行网络训练后,得到最终的预测模型;ResUnet神经网络预测模型网络参数如下:
(1)优化器:使用pytorch框架中的Adam函数,其中初始学习率为0.0001,权重衰减为0;
(2)激活函数:ResUnet中选择ReLU作为激活函数,增加非线性的同时该激活函数在反向传播时梯度为1,不会发生梯度爆炸和梯度消失的问题;
(3)评价标准:在医学图像中一般不用准确率来作为评价指标,因为其负样本太多,正样本所占的比例少,准确率很难描述正样本分割的好坏。Dice相似系数是医学上很常用的评价标准,因为它更专注与预测的正样本和真实的正样本之间的交集和并集,不太关注于负样本分割的好坏,所以选用Dice相似系数作为评价的指标;
(4)损失函数:通常的分割方法采用交叉熵作为分割任务的损失函数,但在该任务中,正负样本极度不均衡,导致用交叉熵做损失函数会得到一个很小的loss,从而导致回传时更新幅度小,但Dice相似系数却不大的情况。而Dice相似系数作为损失函数更能把握预测与真实相交的部分,更易于优化。Dice损失函数公式如下;
Figure BDA0002265129920000061
(5)标准化:BN能将每一层的输出都变为均值为0,方差为1的相同分布,通过这种方式避免梯度爆炸和梯度消失。BN的具体公式如下
Figure BDA0002265129920000062
其中,X为BN层的输入,E[X]代表输入特征的期望,Var[X]代表输入特征的方差,为了不降低神经网络的特征表达能力,对每个神经元引入调节参数a和b,a和b由神经网络自动调整,Y是BN层的输出。

Claims (4)

1.一种基于ResUnet的3视图PET图像分割方法,其特征在于,所述方法包括以下步骤:
步骤1、针对淋巴瘤病灶特点设计或修改网络模型,使之适合淋巴瘤的分割;
步骤2、将3维的训练数据沿3个视图方向进行切片,得到3视图方向的2维数据;
步骤3、将3个视图方向的2维数据分别输入到网络中进行训练,将3个预测结果进行加权求和得到最终的分割结果;
步骤4、将测试数据输入预测模型,得到测试数据的分割结果。
2.根据权利要求1所述的一种基于ResUnet的3视图PET图像分割方法,其特征在于:所述步骤1中,PET数据分辨率并不高,ResUnet原网络包含5个下采样层,会导致最后的特征图太小,信息丢失严重,将其下采样层数减少到3层更利于细节信息的保留。
3.根据权利要求1或2所述的一种基于ResUnet的3视图PET图像分割方法,其特征在于:所述步骤2中,所述数据预处理的实现过程为:
(1)对于正视图:将3维数据沿宽增大的方向进行切片,得到数量与宽相关,大小为长乘高的2维切片;
(2)对于俯视图:将3维数据沿高增大的方向进行切片,得到数量与高相关,大小为长乘宽的2维切片;
(3)对于左视图:将3维数据沿长增大的方向进行切片,得到数量与长相关,大小为宽乘高的2维切片;
(4)对所有2维切片进行归一化,得到最终用于训练的数据。
4.根据权利要求1或2所述的一种基于ResUnet的3视图PET图像分割方法,其特征在于:所述步骤3中,ResUnet神经网络预测模型参数如下:
(1)优化器:使用Adam优化器,它能够对每个不同的参数调整不同的学习率,对频繁变化的参数以更小的步长进行更新,而稀疏的参数以更大的步长进行更新;
(2)激活函数:ResUnet中选择ReLU作为激活函数,它能够把输入的负数变为零,输入的正数原封不动的输出,其导数为1,利于反向传播优化参数;
(3)评价标准:最后评价分割效果好坏的标准,用Dice相似系数来评价分割的好坏,Dice相似系数越高,预测结果与真实标签的重合率越高;
(4)损失函数:选择Dice相似系数作为损失函数,交叉熵损失函数对于正负样本不均衡的情况具有较大的局限性,Dice相似系数作为损失函数可以克服这个困难,该损失函数关注于预测的淋巴瘤前景和真实标签中的淋巴瘤前景的交集和并集,不会因背景像素过多而导致损失函数太小的问题;
Figure FDA0002265129910000021
(5)其他参数:训练轮数为200轮,当在验证集上20轮Dice相似系数没有上升则停止训练,batch_size根据输入图片分辨率确定,16到128不等,学习率为0.001。
CN201911085032.5A 2019-11-08 2019-11-08 一种基于ResUnet的3视图PET图像分割方法 Pending CN110942465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911085032.5A CN110942465A (zh) 2019-11-08 2019-11-08 一种基于ResUnet的3视图PET图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911085032.5A CN110942465A (zh) 2019-11-08 2019-11-08 一种基于ResUnet的3视图PET图像分割方法

Publications (1)

Publication Number Publication Date
CN110942465A true CN110942465A (zh) 2020-03-31

Family

ID=69907346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911085032.5A Pending CN110942465A (zh) 2019-11-08 2019-11-08 一种基于ResUnet的3视图PET图像分割方法

Country Status (1)

Country Link
CN (1) CN110942465A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461130A (zh) * 2020-04-10 2020-07-28 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN113284074A (zh) * 2021-07-12 2021-08-20 中德(珠海)人工智能研究院有限公司 全景图像的目标对象去除方法、装置、服务器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、系统及电子设备
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技(深圳)有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、系统及电子设备
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技(深圳)有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘晨羽等: "基于卷积神经网的单幅图像超分辨率重建算法", 《计算机辅助设计与图形学学报》 *
周飞燕等: "卷积神经网络研究综述", 《计算机学报》 *
徐晨阳: "基于深度学习的神经分割方法的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461130A (zh) * 2020-04-10 2020-07-28 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111461130B (zh) * 2020-04-10 2021-02-09 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN111914947B (zh) * 2020-08-20 2024-04-16 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN113284074A (zh) * 2021-07-12 2021-08-20 中德(珠海)人工智能研究院有限公司 全景图像的目标对象去除方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111311592B (zh) 一种基于深度学习的三维医学图像自动分割方法
Kervadec et al. Boundary loss for highly unbalanced segmentation
Ye et al. Multi-depth fusion network for whole-heart CT image segmentation
CN111179269B (zh) 一种基于多视图和三维卷积融合策略的pet图像分割方法
CN110942464A (zh) 一种融合2维和3维模型的pet图像分割方法
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN110942465A (zh) 一种基于ResUnet的3视图PET图像分割方法
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN110223300A (zh) Ct图像腹部多器官分割方法及装置
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN113808146B (zh) 一种医学图像多器官分割方法及系统
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN109886929B (zh) 一种基于卷积神经网络的mri肿瘤体素检测方法
CN110084823A (zh) 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN112381846B (zh) 一种基于非对称网络的超声甲状腺结节分割方法
Keshwani et al. Computation of total kidney volume from CT images in autosomal dominant polycystic kidney disease using multi-task 3D convolutional neural networks
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN114782350A (zh) 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN111860528A (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN112419320A (zh) 基于sam与多层uda的跨模态心脏分割方法
CN112330645A (zh) 基于注意力机制的胶质瘤分级方法以及装置
CN115619797A (zh) 一种基于注意力机制的并行U-Net网络的肺部图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200331

RJ01 Rejection of invention patent application after publication