CN112102276A - 基于迁移学习图像增强的低场强mr胃部分割方法 - Google Patents

基于迁移学习图像增强的低场强mr胃部分割方法 Download PDF

Info

Publication number
CN112102276A
CN112102276A CN202010947917.8A CN202010947917A CN112102276A CN 112102276 A CN112102276 A CN 112102276A CN 202010947917 A CN202010947917 A CN 202010947917A CN 112102276 A CN112102276 A CN 112102276A
Authority
CN
China
Prior art keywords
res3
net
network
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010947917.8A
Other languages
English (en)
Other versions
CN112102276B (zh
Inventor
姚瑶
缑水平
刘豪锋
张晓鹏
刘宁涛
刘波
张向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Hangzhou Vocational and Technical College
Original Assignee
Xidian University
Hangzhou Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Hangzhou Vocational and Technical College filed Critical Xidian University
Priority to CN202010947917.8A priority Critical patent/CN112102276B/zh
Publication of CN112102276A publication Critical patent/CN112102276A/zh
Application granted granted Critical
Publication of CN112102276B publication Critical patent/CN112102276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习图像增强的低场强MR胃部影像分割方法,主要解决低场强3DMR影像噪声大、伪影多、影像数据较少的问题。其方案包括:获取高、低场强3DMR胃部影像数据集以及相应的标签数据集,并对影像数据进行预处理;将预处理后的数据输入循环生成式对抗网络中,获得增强后的伪低场强3DMR胃部影像集;构建并训练3D Res3‑U‑net分割网络;再将伪低场强3DMR胃部影像集输入分割网络,完成分割网络参数的微调,形成迁移学习后的3D Res3‑U‑net分割网络,将测试数据输入该网络得到分割结果。本发明实现了低场强3DMR胃部影像的分割,有效提高了图像分割精度。

Description

基于迁移学习图像增强的低场强MR胃部分割方法
技术领域
本发明属于医学图像处理技术领域,进一步涉及图像分割技术,具体为一种基于迁移学习图像增强的低场强MR胃部影像分割方法,可用于在低场强3DMR影像中对胃部区域进行精确分割。
背景技术
目前,胃癌发病率率仅次于肺癌,死亡率排第三位。全球每年新发胃癌病例约120万,中国约占其中的40%。我国早期胃癌发现率低,仅约20%,大多数发现时已到进展期,总体5年生存率不足50%。因此对胃部疾病的诊断研究受到广泛关注,更加准确、高效的医疗诊断成为一种迫切的需要。
依据《中国胃部诊疗规范》相关文献,影像检查在胃癌诊疗规范中起到指导作用。随着计算机技术和医学技术的迅速发展,影像引导放射治疗技术也取得了巨大突破,并在临床应用中被广泛使用。影像引导放射治疗是在患者进行治疗前、治疗中利用各种影像设备,对肿瘤及正常器官进行监控,并根据器官位置的变化调整治疗位置、治疗条件,使照射视野紧紧“追随”靶区,做到真正的精确治疗。影像引导放疗系统主要采用MV级锥形束CT、三维超声图像和核磁图像引导。核磁共振引导系统有高于CT数倍的软组织分辨能力,而且不会产生损伤人体的电离辐射。
目前,核磁共振引导系统中,主要采用低场强磁共振设备,该设备产生影像磁场强度小于0.5T,具有更大的扫描空间,而且不需要安装通风管,可以根据需要移动治疗床,适合辅助医生进行放化疗。但低场强磁共振扫描和成像速度较慢,容易因体内器官的运动造成伪影,而且成像中含有大量噪声,严重影响了图像引导放射治疗手术。低场强MR分割技术在医学图像分析中占有重要地位,其发展影响到医学图像处理中的其他相关技术发展,比如影像可视化和三维重建等。低场强MR胃部分割是决定低场强MR影像在胃癌精准治疗中能否提供可靠依据的关键。
医学图像分割方法主要分为两大类:基于传统算法的医学图像分割和基于深度学习的医学图像分割。基于传统算法的医学图像分割方法主要有基于阈值、区域生长、边缘检测、活动轮廓和水平集的分割方法等。然而,由于低场强磁共振扫描和成像速度较慢,容易因体内器官的运动造成伪影,且在成像中含有大量噪声,因此,传统医学图像分割方法不能满足图像引导手术对图像配准精度和速度的要求。随着深度学习算法发展,深度学习以其强大的特征提取和抽象表示能力,逐渐代替了手工提取特征的方法,在图像分割的任务上取得了巨大突破。然而,低场强MR影像存在噪声大、伪影多、影像数据较少的问题,且在使用3D深度学习网络进行分割时会出现过拟合的情况,因此迫切需要准确可靠、具有泛化能力的分割方法以确保图像分割的精度,从而满足实际应用的要求。
发明内容
本发明目的在于针对目前已有分割技术的不足,提出一种基于迁移学习图像增强的低场强MR胃部影像分割方法,以实现低场强3DMR胃部影像的分割,提高图像分割精度。
本发明的思路是:将高、低场强磁共振图像作为输入数据,通过使用循环生成对抗网络CycleGAN生成具有高、低场强磁共振图像之间映射关系的图像,获得图像增强后的伪低场强3DMR胃部影像集,使用部分低场强3DMR胃部影像训练生成3D Res3-U-net分割网络;再将伪低场强3DMR胃部影像集输入该分割网络,完成分割网络参数微调,形成迁移学习后的3D Res3-U-net分割网络,。最终提高低场强3DMR胃部影像测试集分割效果。本发明采用的3DMR胃部分割网络具有一定泛化能力,在低场强MR胃部分割任务中取得较为理想的分割效果,进而为临床应用提供了可靠依据。
为实现上述目的,本发明的技术方案包括:
(1)输入高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y空间分辨率、大小及灰度区间保持一致;其中,X对应标签数据集XL,Y对应标签数据集YL
(2)生成伪低场强3DMR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集
Figure BDA0002675941960000021
Figure BDA0002675941960000022
对应标签数据集
Figure BDA0002675941960000023
(3)构建训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集
Figure BDA0002675941960000031
将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集
Figure BDA0002675941960000032
另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集
Figure BDA0002675941960000033
将伪低场强3DMR胃部影像集
Figure BDA0002675941960000034
为迁移训练集Train1,对应标签数据集
Figure BDA0002675941960000035
(4)构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
(5)使用训练集Train和验证集Valid,训练步骤(4)构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be
(5d)将验证集Valid样本记为
Figure BDA0002675941960000036
其中Iv为验证集中的胃部影像,
Figure BDA0002675941960000037
为胃部影像Iv对应的标签;将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取输出Ov与标签
Figure BDA0002675941960000038
之间的Dice相似系数De
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3DRes3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,直接执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
(6)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络Nb'est,直接执行步骤(7);
(6e)对当前迭代次数h加1之后,返回步骤(6c)。
(7)利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
本发明与现有技术相比具有以下优点:
第一、本发明通过循环生成式对抗网络CycleGAN学习高、低场强MR图像的映射关系,生成图像增强的伪低场强MR影像,并且达到带标签训练数据扩增目的,同时克服了高、低场强MR影像之间存在的域偏移问题;
第二、由于本发明使用3D Res3-U-Net将网络中的卷积操作模块改进为三个由“归一化层+线性整流函数层ReLU+卷积层”组成的连接模型,从而优化了卷积结构,使得胃部影像分割性能提升;
第三、本发明采用迁移学习的方法,在使用低场强MR影像生成3D Res3-U-Net后,采用伪低场强MR影像对该3D Res3-U-Net进行样本迁移;实现整个分割过程的全自动化,无需人机交互,避免了人为因素的干扰,有效提高了分割效率。
附图说明
图1是本发明方法的实现流程图;
图2是本发明中训练3D Res3-U-Net分割网络使用的高场强MR影像轴切面示例图;
图3是本发明中训练3D Res3-U-Net分割网络使用的高场强MR影像轴切面标签示例图;
图4是本发明中训练3D Res3-U-Net分割网络使用的低场强MR影像轴切面示例图;
图5是本发明中训练3D Res3-U-Net分割网络使用的低场强MR影像轴切面标签示例图;
图6是本发明中3D Res3-U-Net分割网络的结构示意图;
图7是本发明中3D Res3-U-Net分割网络的卷积模块示意图;
图8是本发明对测试样本低场强MR影像的3D分割效果图。
具体实施方式
以下结合附图,对本发明的具体实施方案和效果作进一步描述。
参照图1,本发明提出的基于迁移学习图像增强的低场强MR胃部影像分割方法,包括如下步骤:
步骤1:数据准备:
获取高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,这里的预处理是指偏场校正、图像重采样、图像裁块和数据归一化处理等,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y分辨率、大小及灰度区间保持一致;
高场强3DMR胃部影像集Ahigh经过偏场校正、图像重采样、图像裁块、数据归一化,得到预处理后高场强3DMR胃部影像集X,如图2所示;对应标签数据集XL,如图3所示;
待分割的低场强3DMR胃部影像集Alow经过偏场校正、图像重采样、图像裁块、数据归一化,得到预处理后待分割的低场强3DMR胃部影像集Y,如图4所示;对应标签数据集YL,如图5所示;
步骤2.生成伪低场强MR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割的低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,本实施例将CycleGAN网络生成器的学习速率设为0.0001,判别器的学习速率设为0.0004,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集
Figure BDA0002675941960000061
Figure BDA0002675941960000062
对应标签数据集
Figure BDA0002675941960000063
步骤3.划分训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集
Figure BDA0002675941960000064
将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集
Figure BDA0002675941960000065
另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集
Figure BDA0002675941960000066
将伪低场强3DMR胃部影像集
Figure BDA0002675941960000067
作为迁移训练集Train1,对应标签数据集
Figure BDA0002675941960000068
步骤4.构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C,如图7所示;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
3D Res3-U-Net分割网络N的整体结构如图6所示。
各卷积层的输出ψ按照如下步骤计算:
A1)计算卷积层的卷积输出F:
Figure BDA0002675941960000071
其中,σs表示卷积层的第s个输入,
Figure BDA0002675941960000072
表示卷积层第k个卷积核的权重,bk表示卷积层第k个卷积核的偏置,∑表示求和运算,
Figure BDA0002675941960000077
表示图像卷积运算;
A2)使用修正线性单元ReLU对卷积输出F进行非线性激活,得到卷积层的输出ψ:
Figure BDA0002675941960000073
步骤5:使用训练集Train和验证集Valid,训练并验证步骤4构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be
使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,具体按照如下步骤进行:
(5c1)从训练集Train中随机不放回地选择4个训练样本,记为一个训练批次
Figure BDA0002675941960000074
其中I为一个训练批次中的胃部影像,
Figure BDA0002675941960000075
为与I对应的标签;
(5c2)将胃部影像I输入到3D Res3-U-Net分割网络N中,经过3D Res3-U-Net分割网络N得到胃部影像I对应的输出O,得到3D Res3-U-Net分割网络N的损失函数L:
Figure BDA0002675941960000076
其中,B表示训练集Train样本的数量,G表示训练集Train中任一影像样本的像素点数量,pb,j表示3D Res3-U-Net分割网络对于训练集Train第b个影像样本的第j个像素点的输出,gb,j表示训练集Train第b个影像对应标签的第j个像素点的值,gb,j∈{0,1},gb,j=0表示该像素点为背景,gb,j=1表示该像素点为前景。
(5c3)根据损失函数L和自适应学习率优化算法Adam对3D Res3-U-Net分割网络N进行优化;使用Early stop机制防止过拟合,并采用误差反向传播机制对3D Res3-U-Net分割网络N的权重W和偏置b进行更新,得到优化权重W'和优化偏置b';按照如下步骤进行:
(5c3.1)对3D Res3-U-Net分割网络N的权重W和偏置b进行初始化,其公式如下:
W~U(-0.01,0.01),
b=0,
其中,U(·,·)表示均匀分布;
(5c3.2)设置初始学习率η=0.0001,采用误差反向传播机制对3D Res3-U-Net分割网络N的权重W和偏置b进行更新,得到优化权重W'和优化偏置b':
Figure BDA0002675941960000081
Figure BDA0002675941960000082
其中,
Figure BDA0002675941960000083
表示损失函数L关于W的梯度,
Figure BDA0002675941960000084
表示损失函数L关于b的梯度,·表示点乘运算。
(5c4)将优化权重W'和优化偏置b'作为3D Res3-U-Net分割网络N的权重W和偏置b,返回执行步骤(5c1),直到遍历完训练集Train中的所有数据,最终得到训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be
(5d)将验证集Valid样本记为
Figure BDA0002675941960000085
其中Iv为验证集中的胃部影像,
Figure BDA0002675941960000086
为与Iv对应的标签,将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取Ov与标签
Figure BDA0002675941960000087
之间的Dice相似系数De;按照如下步骤计算:
(5d1)对输出Ov中的第i个值进行离散化得到其对应的分割结果值Qv,i
Figure BDA0002675941960000091
其中,i={1,2,…,Z},Z表示输出Ov中的数值总数;
(5d 2)按照下式计算输出Ov
Figure BDA0002675941960000092
之间的Dice相似系数De
Figure BDA0002675941960000093
其中,Qv={Qv,1,Qv,2,…Qv,i,…,Qv,z}表示输出Ov中的所有数值均进行离散化后得到输出分割结果;|·|表示对集合中的所有值求和;∩表示位与运算。
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3DRes3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
步骤6:使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;具体按照如下步骤进行:
(6c1)从迁移训练集Train1中随机不放回地选择4个训练样本,记为一个训练批次
Figure BDA0002675941960000094
其中I1为一个训练批次中的伪胃部影像,
Figure BDA0002675941960000095
为伪胃部影像I1对应的标签;
(6c2)将伪胃部影像I1输入到最优3D Res3-U-Net分割网络Nbest中,经过最优3DRes3-U-Net分割网络Nbest得到伪胃部影像I1对应的输出O1,得到最优3D Res3-U-Net分割网络Nbest的损失函数L':
Figure BDA0002675941960000101
其中,B'表示迁移训练集Train1样本的数量,G'表示迁移训练集Train1中任一影像样本的像素点数量,p'b',j'表示最优3D Res3-U-Net分割网络Nbest对于迁移训练集Train1第b'个影像样本的第j'个像素点的输出,g'b',j'表示迁移训练集Train1第b'个影像对应标签的第j'个像素点的值,且g'b',j'∈{0,1},g'b',j'=0表示该像素点为背景,g'b',j'=1表示该像素点为前景。
(6c3)根据分割网络Nbest的损失函数L'和自适应学习率优化算法Adam对最优3DRes3-U-Net分割网络Nbest进行优化,得到迁移优化权重Wb'est和迁移优化偏置bb'est;具体操作如下:
设置迁移初始学习率η'=0.0001,采用误差反向传播机制对最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest进行更新,得到迁移优化权重Wb'est和迁移优化偏置bb'est
Figure BDA0002675941960000102
Figure BDA0002675941960000103
其中,
Figure BDA0002675941960000104
表示分割网络Nbest的损失函数L'关于Wbest的梯度,
Figure BDA0002675941960000105
表示分割网络Nbest的损失函数L'关于bbest的梯度,·表示点乘运算。
(6c4)将优化权重Wb'est和优化偏置bb'est作为最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest,返回执行步骤(6c1),直到遍历完迁移训练集Train1中的所有数据,最终得到第h次迭代迁移训练后3D Res3-U-Net分割网络Nb'est,h,及其对应的权重Wbest,h和偏置bbest,h
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络Nb'est,直接执行步骤7;
(6e)对当前迭代次数h加1之后,返回步骤(6c)。
步骤7:利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
将测试集Test中的胃部影像输入到步骤7获得的迁移后最优3D Res3-U-Net分割网络N'best,对其进行仿真3D分割测试,得到胃部影像对应的一组分割结果,其中一个3D分割结果如图8所示。
上述分析和所得结果证明了本发明所提方法的正确性与有效性。
本发明未详细说明部分属于本领域技术人员公知常识。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于迁移学习图像增强的低场强MR胃部分割方法,其特征在于,包括如下步骤:
(1)输入高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y空间分辨率、大小及灰度区间保持一致;其中,X对应标签数据集XL,Y对应标签数据集YL
(2)生成伪低场强3DMR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集
Figure FDA0002675941950000011
Figure FDA0002675941950000012
对应标签数据集
Figure FDA0002675941950000013
(3)构建训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集
Figure FDA0002675941950000014
将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集
Figure FDA0002675941950000015
另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集
Figure FDA0002675941950000016
将伪低场强3DMR胃部影像集
Figure FDA0002675941950000017
作为迁移训练集Train1,对应标签数据集
Figure FDA0002675941950000018
(4)构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
(5)使用训练集Train和验证集Valid,训练步骤(4)构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3DRes3-U-Net分割网络Ne,及其对应的权重We和偏置be
(5d)将验证集Valid样本记为
Figure FDA0002675941950000021
其中Iv为验证集中的胃部影像,
Figure FDA0002675941950000022
为胃部影像Iv对应的标签;将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取输出Ov与标签
Figure FDA0002675941950000023
之间的Dice相似系数De
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3D Res3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,直接执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
(6)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络N'best,直接执行步骤(7);
(6e)对当前迭代次数h加1之后,返回步骤(6c);
(7)利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
2.根据权利要求1所述的方法,其特征在于:步骤(1)中所述预处理指偏场校正、图像重采样、图像裁块和数据归一化处理。
3.根据权利要求1所述的方法,其特征在于:步骤(5c)中使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,具体按照如下步骤进行:
(5c1)从训练集Train中随机不放回地选择4个训练样本,记为一个训练批次
Figure FDA0002675941950000031
其中I为一个训练批次中的胃部影像,
Figure FDA0002675941950000032
为与I对应的标签;
(5c2)将胃部影像I输入到3D Res3-U-Net分割网络N中,经过3D Res3-U-Net分割网络N得到胃部影像I对应的输出O,得到3D Res3-U-Net分割网络N的损失函数L;
(5c3)根据分割网络N的损失函数L和自适应学习率优化算法Adam对3D Res3-U-Net分割网络N进行优化,得到优化权重W'和优化偏置b';
(5c4)将优化权重W'和优化偏置b'作为3D Res3-U-Net分割网络N的权重W和偏置b,返回执行步骤(5c1),直到遍历完训练集Train中的所有数据,最终得到训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be
4.根据权利要求3所述的方法,其特征在于:步骤(5c2)中所述的损失函数L按照如下公式计算:
Figure FDA0002675941950000041
其中,B表示训练集Train样本的数量,G表示训练集Train中任一影像样本的像素点数量,pb,j表示3D Res3-U-Net分割网络对于训练集Train第b个影像样本的第j个像素点的输出,gb,j表示训练集Train第b个影像对应标签的第j个像素点的值,gb,j∈{0,1},gb,j=0表示该像素点为背景,gb,j=1表示该像素点为前景。
5.根据权利要求3所述的方法,其特征在于:步骤(5c3)中根据损失函数和自适应学习率优化算法Adam对3D Res3-U-Net分割网络进行优化,按照如下步骤进行:
(5c3.1)对3D Res3-U-Net分割网络N的权重W和偏置b进行初始化,其公式如下:
W~U(-0.01,0.01),
b=0,
其中,U(·,·)表示均匀分布;
(5c3.2)设置初始学习率η=0.0001,采用误差反向传播机制对3D Res3-U-Net分割网络N的权重W和偏置b进行更新,得到优化权重W'和优化偏置b':
Figure FDA0002675941950000043
Figure FDA0002675941950000044
其中,
Figure FDA0002675941950000046
表示损失函数L关于W的梯度,
Figure FDA0002675941950000045
表示损失函数L关于b的梯度,·表示点乘运算。
6.根据权利要求1所述的方法,其特征在于:步骤(5d)中输出Ov与标签
Figure FDA0002675941950000042
之间的Dice相似系数De,按照如下步骤计算:
(5d1)对输出Ov中的第i个值进行离散化得到其对应的分割结果值Qv,i
Figure FDA0002675941950000051
其中,i={1,2,…,Z},Z表示输出Ov中的数值总数;
(5d 2)按照下式计算输出Ov
Figure FDA0002675941950000052
之间的Dice相似系数De
Figure FDA0002675941950000053
其中,Qv={Qv,1,Qv,2,…Qv,i,…,Qv,z}表示输出Ov中的所有数值均进行离散化后得到输出分割结果,|·|表示对集合中的所有值求和;∩表示位与运算。
7.根据权利要求1所述的方法,其特征在于:步骤(6c)中使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练,具体按照如下步骤进行:
(6c1)从迁移训练集Train1中随机不放回地选择4个训练样本,记为一个训练批次
Figure FDA0002675941950000054
其中I1为一个训练批次中的伪胃部影像,
Figure FDA0002675941950000055
为伪胃部影像I1对应的标签;
(6c2)将伪胃部影像I1输入到最优3D Res3-U-Net分割网络Nbest中,经过最优3D Res3-U-Net分割网络Nbest得到伪胃部影像I1对应的输出O1,得到最优3D Res3-U-Net分割网络Nbest的损失函数L';
(6c3)根据分割网络Nbest的损失函数L'和自适应学习率优化算法Adam对最优3D Res3-U-Net分割网络Nbest进行优化,得到迁移优化权重W'best和迁移优化偏置b'best
(6c4)将优化权重W'best和优化偏置b'best作为最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest,返回执行步骤(6c1),直到遍历完迁移训练集Train1中的所有数据,最终得到第h次迭代迁移训练后3D Res3-U-Net分割网络N'best,h,及其对应的权重Wbest,h和偏置bbest,h
8.根据权利要求7所述的方法,其特征在于:步骤(6c2)中所述最优3D Res3-U-Net分割网络Nbest的损失函数L',按照如下公式计算:
Figure FDA0002675941950000061
其中,B'表示迁移训练集Train1样本的数量,G'表示迁移训练集Train1中任一影像样本的像素点数量,p'b',j'表示最优3D Res3-U-Net分割网络Nbest对于迁移训练集Train1第b'个影像样本的第j'个像素点的输出,g'b',j'表示迁移训练集Train1第b'个影像对应标签的第j'个像素点的值,且g'b',j'∈{0,1},g'b',j'=0表示该像素点为背景,g'b',j'=1表示该像素点为前景。
9.根据权利要求7所述的方法,其特征在于:步骤(6c3)中根据最优3D Res3-U-Net分割网络Nbest的损失函数L'和自适应学习率优化算法Adam对最优3D Res3-U-Net分割网络Nbest进行优化,具体操作如下:
设置迁移初始学习率η'=0.0001,采用误差反向传播机制对最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest进行更新,得到迁移优化权重W'best和迁移优化偏置b'best
Figure FDA0002675941950000062
Figure FDA0002675941950000063
其中,
Figure FDA0002675941950000064
表示分割网络Nbest的损失函数L'关于Wbest的梯度,
Figure FDA0002675941950000065
表示分割网络Nbest的损失函数L'关于bbest的梯度,·表示点乘运算。
CN202010947917.8A 2020-09-10 2020-09-10 基于迁移学习图像增强的低场强mr胃部分割方法 Active CN112102276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010947917.8A CN112102276B (zh) 2020-09-10 2020-09-10 基于迁移学习图像增强的低场强mr胃部分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010947917.8A CN112102276B (zh) 2020-09-10 2020-09-10 基于迁移学习图像增强的低场强mr胃部分割方法

Publications (2)

Publication Number Publication Date
CN112102276A true CN112102276A (zh) 2020-12-18
CN112102276B CN112102276B (zh) 2023-03-28

Family

ID=73751840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010947917.8A Active CN112102276B (zh) 2020-09-10 2020-09-10 基于迁移学习图像增强的低场强mr胃部分割方法

Country Status (1)

Country Link
CN (1) CN112102276B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112700534A (zh) * 2020-12-30 2021-04-23 华东师范大学 一种基于特征迁移的超声或ct医学影像三维重建方法
CN113205521A (zh) * 2021-04-23 2021-08-03 复旦大学 一种医学影像数据的图像分割方法
CN113205528A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN114170276A (zh) * 2021-10-15 2022-03-11 烟台大学 一种磁共振脑图像海马配准方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377497A (zh) * 2018-08-17 2019-02-22 西安电子科技大学 一种低场强胃部mri图像的分割装置及方法
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110414481A (zh) * 2019-08-09 2019-11-05 华东师范大学 一种基于Unet和LSTM的3D医学影像识别和分割方法
CN110580728A (zh) * 2019-09-16 2019-12-17 中南大学 基于结构特征自增强的ct-mr模态迁移方法
CN110751651A (zh) * 2019-09-27 2020-02-04 西安电子科技大学 基于多尺度迁移学习的mri胰腺图像分割方法
US20200125818A1 (en) * 2018-10-23 2020-04-23 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
CN111179269A (zh) * 2019-11-11 2020-05-19 浙江工业大学 一种基于多视图和3维卷积融合策略的pet图像分割方法
CN111260651A (zh) * 2018-11-30 2020-06-09 西安电子科技大学 一种基于深度迁移学习的胃部低质量mri图像分割方法
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN109377497A (zh) * 2018-08-17 2019-02-22 西安电子科技大学 一种低场强胃部mri图像的分割装置及方法
US20200125818A1 (en) * 2018-10-23 2020-04-23 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
CN111260651A (zh) * 2018-11-30 2020-06-09 西安电子科技大学 一种基于深度迁移学习的胃部低质量mri图像分割方法
CN110414481A (zh) * 2019-08-09 2019-11-05 华东师范大学 一种基于Unet和LSTM的3D医学影像识别和分割方法
CN110580728A (zh) * 2019-09-16 2019-12-17 中南大学 基于结构特征自增强的ct-mr模态迁移方法
CN110751651A (zh) * 2019-09-27 2020-02-04 西安电子科技大学 基于多尺度迁移学习的mri胰腺图像分割方法
CN111179269A (zh) * 2019-11-11 2020-05-19 浙江工业大学 一种基于多视图和3维卷积融合策略的pet图像分割方法
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MICHAŁ JANUSZEWSKI ET AL.: "Segmentation-Enhanced CycleGAN", 《BIORXIV PREPRINT》 *
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV[CS.CV]》 *
WEI YU ET AL.: "Liver Vessels Segmentation Based on 3d Residual U-NET", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
XIAO XIAO ET AL.: "Weighted Res-UNet for High-quality Retina Vessel Segmentation", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION(ITME)》 *
张倩雯 等: "基于3D ResUnet网络的肺结节分割", 《中国医学物理学杂志》 *
张家兵 等: "基于深度监督残差网络的肝脏及肝肿瘤分割", 《集成技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112686906B (zh) * 2020-12-25 2022-06-14 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112700534A (zh) * 2020-12-30 2021-04-23 华东师范大学 一种基于特征迁移的超声或ct医学影像三维重建方法
CN113205528A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113205528B (zh) * 2021-04-02 2023-07-07 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113205521A (zh) * 2021-04-23 2021-08-03 复旦大学 一种医学影像数据的图像分割方法
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113421274B (zh) * 2021-07-13 2022-08-02 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN114170276A (zh) * 2021-10-15 2022-03-11 烟台大学 一种磁共振脑图像海马配准方法

Also Published As

Publication number Publication date
CN112102276B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN112102276B (zh) 基于迁移学习图像增强的低场强mr胃部分割方法
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
Onishi et al. Automated pulmonary nodule classification in computed tomography images using a deep convolutional neural network trained by generative adversarial networks
CN112184658B (zh) 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
EP4014201A1 (en) Three dimensional object segmentation of medical images localized with object detection
US8290568B2 (en) Method for determining a property map of an object, particularly of a living being, based on at least a first image, particularly a magnetic resonance image
CN113516210B (zh) 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置
CN112365980B (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN108629785B (zh) 基于自步学习的三维磁共振胰腺图像分割方法
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
CN111724344A (zh) 一种基于对抗网络生成医学超声影像数据的方法
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
Zhang et al. RFI-GAN: A reference-guided fuzzy integral network for ultrasound image augmentation
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN115601535A (zh) 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及系统
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
Cao et al. A convolutional neural network-based COVID-19 detection method using chest CT images
Roy Medhi Lung Cancer Classification from Histologic Images using Capsule Networks
CN116092643A (zh) 一种基于医疗影像的交互式半自动标注方法
Reddy et al. Different Algorithms for Lung Cancer Detection and Prediction
CN113128599A (zh) 一种基于机器学习的头颈肿瘤远端转移预测方法
Wang et al. Interpretable Optimization Training Strategy-Based DCNN and Its Application on CT Image Recognition
Balaji Generative deep belief model for improved medical image segmentation
Jain et al. SumNet Convolution Neural network based Automated pulmonary nodule detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant