CN111402268A - 一种医学图像中肝脏及其病灶分割的方法 - Google Patents

一种医学图像中肝脏及其病灶分割的方法 Download PDF

Info

Publication number
CN111402268A
CN111402268A CN202010180378.XA CN202010180378A CN111402268A CN 111402268 A CN111402268 A CN 111402268A CN 202010180378 A CN202010180378 A CN 202010180378A CN 111402268 A CN111402268 A CN 111402268A
Authority
CN
China
Prior art keywords
training
liver
data
focus
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010180378.XA
Other languages
English (en)
Other versions
CN111402268B (zh
Inventor
奚雪峰
郑志华
程成
崔志明
胡伏原
付保川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Golden Bit Information Technology Co ltd
Suzhou University of Science and Technology
Original Assignee
Suzhou Golden Bit Information Technology Co ltd
Suzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Golden Bit Information Technology Co ltd, Suzhou University of Science and Technology filed Critical Suzhou Golden Bit Information Technology Co ltd
Priority to CN202010180378.XA priority Critical patent/CN111402268B/zh
Publication of CN111402268A publication Critical patent/CN111402268A/zh
Priority to PCT/CN2020/131402 priority patent/WO2021184817A1/zh
Application granted granted Critical
Publication of CN111402268B publication Critical patent/CN111402268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种医学图像中肝脏及其病灶分割的方法,先将腹部CT图像数据进行筛选及整合预处理,并划分成多个不同用处的数据集,然后搭建新的神经网络,使用小图数据进行初始训练;之后,保存训练好的模型,使用原图和新的数据增强方式进行二次训练,对预测的图片进行膨胀和腐蚀处理,用医学评价指标进行评测;分别用DL、GDL、TL损失函数训练的模型预测结果,将上述三个损失模型的预测结果相加取平均值形成融合特征,最后修改网络,把这三个损失模型融合在单个网络进行训练预测。能进行端到端的训练测试,以高精度和高速度来同时识别肝脏和病灶,有效帮助医生识别CT图像,大大减少医生所消耗的时间和精力,减少误诊的概率。

Description

一种医学图像中肝脏及其病灶分割的方法
技术领域
本发明涉及一种医学图像中肝脏及其病灶分割的方法。
背景技术
目前肝脏部位的疾病是世界上发病率和致死率均较高的部位之一,但若肝部疾病发生在早期,并且能够及时定位病灶,对病灶加以控制与防御,可避免病灶的转移,对肝病的治疗具有重大的意义。CT图像的出现极大提高了医生的诊断水平,但需要具有深厚的专业背景,并且需要具有丰富的临床经验的医生才能定位病灶,诊断出患者的病症非常耗时。随着计算机视觉技术的迅速发展,出现了基于区域、阈值分割和机器学习等分割算法,图像语义分割方面的研究取得了长足的进步,医疗图像分割能精确的了解病灶的位置、大小,但是精确度还有待提高。
FCN利用反卷积使得被卷积缩小的特征图回到原图,把分割做成像素级别分类,可以处理任意大小的图片。但是,直接将特征进行上采样,使得深层和浅层的信息进行不对等结合,丢失关键性特征信息。U-Net是一个编解码网络,先进行特征提取,再进行上采样还原,将不同尺度通道数相同的特征进行拼接,跳转连接融合不同尺度的特征信息,可以用较少的数据训练出较优模型,后来被广泛用在超大图和医疗图像分割。在U-Net基础上有几点问题需要解决,U-Net普遍采用五层结构,简单数据浅层就能解决,复杂数据加深网络也能得到优化,多深网络最适合没有解决;网络每一层的重要性没有明确,需要多深的网络没有指出;仅仅通过各层的短连接,不能有效融合深浅层特征。U-Net++修改了直接将高分辨的特征映射从编码器快速转发到解码器网络,有效克服编解码器的语义鸿沟问题。
发明内容
本发明的目的是克服传统用于医学图像分割的神经网络在网络深度、不同深度的重要性和跳转连接的合理性等方面的不足,提供一种医学图像中肝脏及其病灶分割的方法。
本发明的目的通过以下技术方案来实现:
一种医学图像中肝脏及其病灶分割的方法,特点是:
首先将腹部CT图像数据进行筛选及整合预处理,并划分成多个不同用处的数据集,然后搭建新的神经网络,使用小图数据进行初始训练;
之后,保存训练好的模型,使用原图和新的数据增强方式进行二次训练,对预测的图片进行膨胀和腐蚀处理,用医学评价指标进行评测;
分别用DL、GDL、TL损失函数训练的模型预测结果,将上述三个损失模型的预测结果相加取平均值形成融合特征,最后修改网络,把三个损失模型融合在单个网络进行训练预测。
进一步地,上述的一种医学图像中肝脏及其病灶分割的方法,其中,具体包括以下步骤:
a)首先,数据筛选及整合;
将训练的数据集剔除掉没有肝脏的切片,然后打乱成19000~20000张3d切片,3d切片是当前切片和其前后两张切片作为整体输入,选取其中的17000~18000张切片作为训练集,剩下的1800~1900张切片作为验证集,70个病人序列用于测试,其中训练集大小分为224×224和512×512;
b)然后,搭建新的神经网络,使用小图数据进行初始训练;
把Unet中U型路径设置为主路径,全路径加上ResNet结构形成编解码结构,密集跳转连接在DenseNet基础上换成1×1的卷积层,在肝脏和病灶的过渡地带,肝脏输出的信息成为病灶的输入和卷积,肝脏其他层的输出短连接至病灶对应深度的输入;
通过网络训练缩小成224×224的数据,把有效的权重分布应用在后续模型训练上,对调整后的图片训练40~60轮,每轮12~16份切片,在训练过程中将图片进行旋转、放大、缩小,并以随机概率组合;
c)继而,使用原图和新的数据增强方式进行二次训练;
在缩小的图片数据上训练模型之后,保留网络结构和权重分布,将原图以旋转、缩放、翻转、拉伸的概率组合,使用新的学习率再进行二次训练;
d)最后,通过调整损失函数组合方式得到不同的医学评价结果;
通过单个最优损失函数模型和基于权重及相似性相结合的损失模型做不同层的监督信号,得到不同的评价结果。
进一步地,上述的一种医学图像中肝脏及其病灶分割的方法,其中,步骤c)使用原图和新的数据增强方式进行二次训练,原图即是512×512大小,对图片进行旋转、缩放、翻转、拉伸操作,以随机概率组合,采用指数衰减学习率,调整每轮衰减大小调节变化,方程如下:
Figure BDA0002412326030000031
上述公式,衰减后的学习率decayed_learning_rate,由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps,衰减速度设定为0.8~0.9,每global_step步进行衰减,global_step是当前迭代轮数,即多少轮可迭代完所有的样本数据,初始学习率设定为1e-3~3e-3,在原图训练时设定为1e-4~3e-4,结果是学习率以基数0.8~0.9每一轮的步数进行衰减。
进一步地,上述的一种医学图像中肝脏及其病灶分割的方法,其中,步骤d)通过调整损失函数组合方式得到不同的医学评价结果,损失函数具体为DL、GDL、TL,采用的三个损失函数如下公式,分别选取对于肝脏和病灶适用的损失函数,DL用于评估预测集合和真实集合的相似度,用于样本不均衡的情况,表达式如下:
Figure BDA0002412326030000041
分母的量化计算采取元素平方再求和的方法,其中k和t分别代表预测区域和真值区域元素,ij代表遍历其中元素;是一种集合相似度度量函数,通常用于计算两个样本的相似度,范围为[0,1],分子中的系数,因分母存在重复计算k和t之间的共同元素的原因,最终由各类别的2倍点乘除以各自元素的平方和得到损失值;
GDL(Generalized Dice loss):当肝脏病灶有多个分割区域时,针对每一类有一个Dice,而GDL将多个类别进行整合,采用一个指标进行量化计算,公式如下:
Figure BDA0002412326030000042
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;相比于DL,多了作为每个类别的权重wi,wi用于维系病灶区域和DL系数之间的平衡;
TL(Tversky loss)公式如下:
Figure BDA0002412326030000043
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;
α和β分别控制假阳性和假阴性的比重。
进一步地,上述的一种医学图像中肝脏及其病灶分割的方法,其中,当α=β=0.5,TL系数就是DL系数。
本发明与现有技术相比具有显著的优点和有益效果,具体体现在以下方面:
①通过数据预处理,去除无效的肝脏图片;将图像去噪提高对比度更易于网络分割模糊边缘;使用序列化的3d图像做融合分割,可以保留上下文的语义信息;将合成的3d图做不同组合的数据增强强化了数据集鲁棒性和防止过拟合;
②肝脏和病灶各自的网络都采用编解码网络,设计了肝脏和病灶分割的过度区更好的连接编解码器之间的分辨率鸿沟,同时病灶只接收来自肝脏的信息,把正确范围进一步缩小,使得网络能够减少参数和时间去学习上下文信息,同时能加速网络收敛;原始分辨率的图片从输入开始到最终提取的最小特征图采用16或32倍采样,这样不仅可以减少网络推理时间还可以用于更密集的特征提取;此外,去掉U-Net++的Droopout和最大池化操作,收集更多的底层特征信息;
③在损失函数方面,对比多个Loss的性能,选取对于肝脏和病灶最优的函数,在不同深度的网络添加带权重的损失函数,可以提高不同深度网络的分类器判别能力,能有效克服梯度消失问题,并提供额外的正则化;此外,对比了单个最优损失函数模型和基于权重及相似性相结合的损失模型做深度监督,选取最后一个残差块的输出,其它层损失以0.3的权重加到优化器里,再以输出结果进行加权求和取平均作为最终损失,通过各个层级的联合决策能够有效避免多个模型消耗大量资源和时间的问题,同时能够吸取各个模型的优点,缓解过分割和欠分割的问题;
④本发明方法能进行端到端的训练测试,以高精度和高速度来同时识别肝脏和病灶,有效帮助医生识别CT图像,大大减少医生所消耗的时间和精力,减少误诊的概率,具有较好的实际应用价值。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明具体实施方式了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1:本发明的网络结构示意图;
图2:本发明处理流程示意图;
图3:本发明的数据增强及序列化的示意图;
图4:本发明的部分网络肝脏分割图;
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,方位术语和次序术语等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本发明医学图像中肝脏及其病灶分割的方法,首先,数据筛选及整合;
将训练的数据集剔除掉没有肝脏的切片,然后打乱成19000~20000张3d切片,3d切片是当前切片和其前后两张切片作为整体输入,选取其中的17000~18000张切片作为训练集,剩下的1800~1900张切片作为验证集,70个病人序列用于测试,其中训练集大小分为224×224和512×512;
然后,搭建新的神经网络,使用小图数据进行初始训练;
把Unet中U型路径设置为主路径,全路径加上ResNet结构形成编解码结构,密集跳转连接在DenseNet基础上换成1×1的卷积层,在肝脏和病灶的过渡地带,肝脏输出的信息成为病灶的输入和卷积,肝脏其他层的输出短连接至病灶对应深度的输入;
通过网络训练缩小成224×224的数据,把有效的权重分布应用在后续模型训练上,对调整后的图片训练40~60轮,每轮12~16份切片,在训练过程中将图片进行旋转、放大、缩小,并以随机概率组合;
继而,使用原图和新的数据增强方式进行二次训练;
在缩小的图片数据上训练模型之后,保留网络结构和权重分布,将原图以旋转、缩放、翻转、拉伸的概率组合,使用新的学习率再进行二次训练;
使用原图和新的数据增强方式进行二次训练,原图即是512×512大小,对图片进行旋转、缩放、翻转、拉伸操作,以随机概率组合,采用指数衰减学习率,调整每轮衰减大小调节变化,方程如下:
Figure BDA0002412326030000071
上述公式,衰减后的学习率decayed_learning_rate,由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps,衰减速度设定为0.8~0.9,每global_step步进行衰减,global_step是当前迭代轮数,即多少轮可迭代完所有的样本数据,初始学习率设定为1e-3~3e-3,在原图训练时设定为1e-4~3e-4,结果是学习率以基数0.8~0.9每一轮的步数进行衰减。
最后,通过调整损失函数组合方式得到不同的医学评价结果;
损失函数具体为DL、GDL、TL,采用的三个损失函数如下公式,分别选取对于肝脏和病灶适用的损失函数,DL(Generalized Dice loss)用于评估预测集合和真实集合的相似度,用于样本不均衡的情况,表达式如下:
Figure BDA0002412326030000081
分母的量化计算采取元素平方再求和的方法,其中k和t分别代表预测区域和真值区域元素,ij代表遍历其中元素;是一种集合相似度度量函数,通常用于计算两个样本的相似度,范围为[0,1],分子中的系数,因分母存在重复计算k和t之间的共同元素的原因,最终由各类别的2倍点乘除以各自元素的平方和得到损失值;
GDL:当肝脏病灶有多个分割区域时,针对每一类有一个Dice,而GDL将多个类别进行整合,采用一个指标进行量化计算,公式如下:
Figure BDA0002412326030000082
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;相比于DL,多了作为每个类别的权重wi,wi用于维系病灶区域和DL系数之间的平衡;
TL(Tversky loss)公式如下:
Figure BDA0002412326030000083
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;
α和β分别控制假阳性和假阴性的比重;
当α=β=0.5,TL系数即是DL系数。
首先进行数据预处理,去掉没有肝脏的CT图像,将剩余的图像整合序列化,以3D数据流的形式做数据增强,通过合成新的样本来提高准确性,然后使用相关评价指标评价,同时将预测的图像进行膨胀和腐蚀后处理得到预测标签;
图1跳转连接类似原始U-Net网络,C和N采用卷积,R和D采用残差网络结构。在圆弧方向,各自之间分别采用DenseNet结构,肝脏其他层的输出短连接至病灶对应深度的输入,在损失函数方面,对比多个Loss的性能,选取对于肝脏和病灶最优的函数。
具体步骤如下:
a)首先,数据预处理;
选择肝脏肿瘤分割挑战(LiTS)官网上数据集,由PatrickChrist主办。数据集原图是序列化的腹部单通道灰度图,原图和标签的大小都是512×512。标签是分为两个前景和一个背景,0代表背景,1代表肝脏,2代表病灶,把标签重新编排成三通道的图:背景、肝脏和病灶,相应的地方用1代表,其他都为0。数据集包含131个病人序列的训练集,把训练的数据集剔除掉没有肝脏的切片,然后打乱成19000~20000张3d切片,3d切片是当前切片和前后两张切片作为整体输入,选取其中的17000~18000张切片作为训练集,剩下的1800~1900张切片作为验证集,还有70个病人序列用作测试。
b)设置训练参数,进行初始训练;
为方便把有效的权重分布应用在模型训练上,初始把图片大小缩小成224×224,对调整后的图片训练40~60轮,每轮12~16份切片,最后在原图上微调20~40轮达到模型最优,具体处理流程,如图2所示。最后进行图片旋转、放大、缩小等操作,并以一定的概率组合,目的在于数据增强,数据增强的直观效果如图3所示。表一表示肝脏分割相关网络性能:
表一 肝脏分割评价指标
Figure BDA0002412326030000101
表一下方表示目前主流的语义分割方法和本发明方法的比较,横向是评价指标。从表一可以看出,在肝脏分割上,除精度不及多个损失函数联合决策模型,其他指标均优于前面所有网络。由于计算机硬盘读写机制,多个模型取联合决策会大大降低计算机的运算速度,单个模型添加参数做深度监督,达到联合的效果,速度和运算资源利用要明显优于多模型。病灶的分割结果见表二:
表二 网络结构参数
Figure BDA0002412326030000102
表二下面代表不同损失及其组合,横向是评价指标。表二可以看出,加权和基于相似性相结合的损失是无效的,加权甚至会降低网络性能。与肝脏分割结果相比,病灶分割中DL和GDL性能分别优于TL和GTL。于是使用DL做病灶分割的深度监督,效果优于各个损失以及联合决策结果。
图4第一行表示标签真实图像,纵向表示不同网络的训练迭代效果,最后一行为网络的训练输出效果,相比其他网络结构,效果最好。
使用双层编解码半圆型网络,通过密集的跳转连接,把深层和浅层的语义信息结合起来,更易于给优化器处理;设计肝脏和病灶分割的过渡区,使得肝脏分割的结果有效的传递给病灶分割,大大节约了分割原图的时间;选取互补的损失函数来组合进行深度监督,可以有效的接受反传播时的梯度信号,获得更多的正则化效果。在基于加权和基于相似性中选取了最适合肝脏及其病灶分割的损失函数,用最优损失做深度监督,同时使用两者一起做深度监督。最后在肝脏分割上,除了在精度上低于多个损失函数做联合决策的模型,其他评价指标包括病灶所有的评价指标均超过多模型融合结果。
综上所述,本发明医学图像中肝脏及其病灶分割的方法,提出端到端的肝脏及其病灶分割的编解码网络,1*1的卷积核作为密集跳转连接的核心单元,多个神经单元融合多尺度特征,传播语义相近的信息更易被优化器处理,同时不引入过多参数;使用ResNet结构加强主干网络,用叠操作取代加操作,保证网络的深度和宽度。设计肝脏和病灶的过渡区,把病灶分割限定在肝脏里,节约计算资源,效果优于单独用网络来分割病灶。基于加权策略和基于相似性的损失模型,选取分别最适合肝脏和病灶分割的损失函数,用做深度监督,用不同的损失函数比单个最优损失函数做深度监督要好,满足医生诊断实际需求。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
上述仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (5)

1.一种医学图像中肝脏及其病灶分割的方法,其特征在于:
首先将腹部CT图像数据进行筛选及整合预处理,并划分成多个不同用处的数据集,然后搭建新的神经网络,使用小图数据进行初始训练;
之后,保存训练好的模型,使用原图和新的数据增强方式进行二次训练,对预测的图片进行膨胀和腐蚀处理,用医学评价指标进行评测;
分别用DL、GDL、TL损失函数训练的模型预测结果,将上述三个损失模型的预测结果相加取平均值形成融合特征,最后修改网络,把三个损失模型融合在单个网络进行训练预测。
2.根据权利要求1所述的一种医学图像中肝脏及其病灶分割的方法,其特征在于:具体包括以下步骤:
a)首先,数据筛选及整合;
将训练的数据集剔除掉没有肝脏的切片,然后打乱成19000~20000张3d切片,3d切片是当前切片和其前后两张切片作为整体输入,选取其中的17000~18000张切片作为训练集,剩下的1800~1900张切片作为验证集,70个病人序列用于测试,其中训练集大小分为224×224和512×512;
b)然后,搭建新的神经网络,使用小图数据进行初始训练;
把Unet中U型路径设置为主路径,全路径加上ResNet结构形成编解码结构,密集跳转连接在DenseNet基础上换成1×1的卷积层,在肝脏和病灶的过渡地带,肝脏输出的信息成为病灶的输入和卷积,肝脏其他层的输出短连接至病灶对应深度的输入;
通过网络训练缩小成224×224的数据,把有效的权重分布应用在后续模型训练上,对调整后的图片训练40~60轮,每轮12~16份切片,在训练过程中将图片进行旋转、放大、缩小,并以随机概率组合;
c)继而,使用原图和新的数据增强方式进行二次训练;
在缩小的图片数据上训练模型之后,保留网络结构和权重分布,将原图以旋转、缩放、翻转、拉伸的概率组合,使用新的学习率再进行二次训练;
d)最后,通过调整损失函数组合方式得到不同的医学评价结果;
通过单个最优损失函数模型和基于权重及相似性相结合的损失模型做不同层的监督信号,得到不同的评价结果。
3.根据权利要求2所述的一种医学图像中肝脏及其病灶分割的方法,其特征在于:步骤c)使用原图和新的数据增强方式进行二次训练,原图即是512×512大小,对图片进行旋转、缩放、翻转、拉伸操作,以随机概率组合,采用指数衰减学习率,调整每轮衰减大小调节变化,方程如下:
Figure FDA0002412326020000021
上述公式,衰减后的学习率decayed_learning_rate,由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps,衰减速度设定为0.8~0.9,每global_step步进行衰减,global_step是当前迭代轮数,即多少轮可迭代完所有的样本数据,初始学习率设定为1e-3~3e-3,在原图训练时设定为1e-4~3e-4,结果是学习率以基数0.8~0.9每一轮的步数进行衰减。
4.根据权利要求2所述的一种医学图像中肝脏及其病灶分割的方法,其特征在于:步骤d)通过调整损失函数组合方式得到不同的医学评价结果,损失函数具体为DL、GDL、TL,采用的三个损失函数如下公式,分别选取对于肝脏和病灶适用的损失函数,DL用于评估预测集合和真实集合的相似度,用于样本不均衡的情况,表达式如下:
Figure FDA0002412326020000031
分母的量化计算采取元素平方再求和的方法,其中k和t分别代表预测区域和真值区域元素,ij代表遍历其中元素;是一种集合相似度度量函数,通常用于计算两个样本的相似度,范围为[0,1],分子中的系数,因分母存在重复计算k和t之间的共同元素的原因,最终由各类别的2倍点乘除以各自元素的平方和得到损失值;
GDL:当肝脏病灶有多个分割区域时,针对每一类有一个Dice,而GDL将多个类别进行整合,采用一个指标进行量化计算,公式如下:
Figure FDA0002412326020000032
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;相比于DL,多了作为每个类别的权重wi,wi用于维系病灶区域和DL系数之间的平衡;
TL公式如下:
Figure FDA0002412326020000033
其中kij为类别i在第j个像素的真实值,tij为相应的预测概率值;
α和β分别控制假阳性和假阴性的比重。
5.根据权利要求4所述的一种医学图像中肝脏及其病灶分割的方法,其特征在于:当α=β=0.5,TL系数即是DL系数。
CN202010180378.XA 2020-03-16 2020-03-16 一种医学图像中肝脏及其病灶分割的方法 Active CN111402268B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010180378.XA CN111402268B (zh) 2020-03-16 2020-03-16 一种医学图像中肝脏及其病灶分割的方法
PCT/CN2020/131402 WO2021184817A1 (zh) 2020-03-16 2020-11-25 一种医学图像中肝脏及其病灶分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180378.XA CN111402268B (zh) 2020-03-16 2020-03-16 一种医学图像中肝脏及其病灶分割的方法

Publications (2)

Publication Number Publication Date
CN111402268A true CN111402268A (zh) 2020-07-10
CN111402268B CN111402268B (zh) 2023-05-23

Family

ID=71428820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180378.XA Active CN111402268B (zh) 2020-03-16 2020-03-16 一种医学图像中肝脏及其病灶分割的方法

Country Status (2)

Country Link
CN (1) CN111402268B (zh)
WO (1) WO2021184817A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860840A (zh) * 2020-07-28 2020-10-30 上海联影医疗科技有限公司 深度学习模型训练方法、装置、计算机设备及存储介质
CN111950595A (zh) * 2020-07-14 2020-11-17 十堰市太和医院(湖北医药学院附属医院) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
CN112070685A (zh) * 2020-08-10 2020-12-11 武汉大学 Hifu治疗系统的动态软组织运动预测的方法
CN112819032A (zh) * 2021-01-11 2021-05-18 平安科技(深圳)有限公司 基于多模型的切片特征分类方法、装置、设备及介质
CN113052857A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于CovSegNet的肺部病变图像分割方法
CN113112475A (zh) * 2021-04-13 2021-07-13 五邑大学 一种基于机器学习的中医耳部五脏区域分割方法和装置
CN113159147A (zh) * 2021-04-08 2021-07-23 平安科技(深圳)有限公司 基于神经网络的图像识别方法、装置、电子设备
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
CN113378984A (zh) * 2021-07-05 2021-09-10 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN114066871A (zh) * 2021-11-19 2022-02-18 江苏科技大学 一种新冠肺炎病灶区域分割模型训练的方法
WO2022089473A1 (en) * 2020-10-30 2022-05-05 International Business Machines Corporation Multiple operating point false positive removal for lesion identification
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155195B (zh) * 2021-11-01 2023-04-07 中南大学湘雅医院 基于深度学习的脑肿瘤分割质量评估方法、设备及介质
CN114049339B (zh) * 2021-11-22 2023-05-12 江苏科技大学 一种基于卷积神经网络的胎儿小脑超声图像分割方法
CN113902752B (zh) * 2021-12-06 2022-02-22 湖南大学 一种医学图像分割方法、装置及计算机可读存储介质
CN114358144B (zh) * 2021-12-16 2023-09-26 西南交通大学 一种图像分割质量评估方法
CN114511728B (zh) * 2021-12-24 2024-05-14 之江实验室 一种电子内镜食管病灶智能检测模型建立方法
CN114359194A (zh) * 2021-12-27 2022-04-15 浙江大学 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法
CN114511850B (zh) * 2021-12-30 2024-05-14 广西慧云信息技术有限公司 一种阳光玫瑰葡萄果实大小粒图像识别方法
CN114067092B (zh) * 2022-01-17 2022-04-19 山东药品食品职业学院 一种基于DenseNet和lightGBM的脂肪肝B超图像分类方法
CN114511523B (zh) * 2022-01-21 2024-05-31 中山大学 基于自监督学习的胃癌分子亚型分类方法及装置
CN114693689B (zh) * 2022-03-02 2024-03-15 西北工业大学 一种用于医学图像的自适应神经网络分割模型构建方法
CN114764811A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种基于动态超声视频的病灶区域实时分割装置
CN114897922B (zh) * 2022-04-03 2024-04-26 西北工业大学 一种基于深度强化学习的组织病理图像分割方法
CN114511581B (zh) * 2022-04-20 2022-07-08 四川大学华西医院 一种多任务多分辨率协作的食管癌病变分割方法及装置
CN114937171B (zh) * 2022-05-11 2023-06-09 复旦大学 基于深度学习的阿尔茨海默分类系统
CN114818838B (zh) * 2022-06-30 2022-09-13 中国科学院国家空间科学中心 基于像元时域分布学习的低信噪比运动点目标检测方法
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置
CN115937423B (zh) * 2022-12-13 2023-08-15 西安电子科技大学 肝脏肿瘤医疗影像的三维智能重建方法
CN115661144B (zh) * 2022-12-15 2023-06-13 湖南工商大学 基于可变形U-Net的自适应医学图像分割方法
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
CN116563285B (zh) * 2023-07-10 2023-09-19 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统
CN116894820B (zh) * 2023-07-13 2024-04-19 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质
CN116630971B (zh) * 2023-07-24 2023-09-29 安徽大学 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN116777793B (zh) * 2023-07-31 2024-06-14 深圳扬奇医芯智能科技有限公司 基于对数引导对比学习的医学影像提示去噪技术
CN117524427B (zh) * 2024-01-05 2024-04-02 莱凯医疗器械(北京)有限公司 一种智能化医学影像分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108937934A (zh) * 2018-05-07 2018-12-07 武汉科技大学 一种基于深度学习的人脑mri海马体检测与分割方法
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110232721A (zh) * 2019-05-16 2019-09-13 福建自贸试验区厦门片区Manteia数据科技有限公司 一种危机器官自动勾画模型的训练方法及装置
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492286B (zh) * 2018-03-13 2020-05-05 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
US10803591B2 (en) * 2018-08-28 2020-10-13 International Business Machines Corporation 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110853038A (zh) * 2019-10-15 2020-02-28 哈尔滨工程大学 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN111402268B (zh) * 2020-03-16 2023-05-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108937934A (zh) * 2018-05-07 2018-12-07 武汉科技大学 一种基于深度学习的人脑mri海马体检测与分割方法
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110232721A (zh) * 2019-05-16 2019-09-13 福建自贸试验区厦门片区Manteia数据科技有限公司 一种危机器官自动勾画模型的训练方法及装置
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111950595A (zh) * 2020-07-14 2020-11-17 十堰市太和医院(湖北医药学院附属医院) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
CN111860840B (zh) * 2020-07-28 2023-10-17 上海联影医疗科技股份有限公司 深度学习模型训练方法、装置、计算机设备及存储介质
CN111860840A (zh) * 2020-07-28 2020-10-30 上海联影医疗科技有限公司 深度学习模型训练方法、装置、计算机设备及存储介质
CN112070685A (zh) * 2020-08-10 2020-12-11 武汉大学 Hifu治疗系统的动态软组织运动预测的方法
CN112070685B (zh) * 2020-08-10 2023-08-18 武汉大学 Hifu治疗系统的动态软组织运动预测的方法
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11688517B2 (en) 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
US11688065B2 (en) 2020-10-30 2023-06-27 Guerbet Lesion detection artificial intelligence pipeline computing system
WO2022089473A1 (en) * 2020-10-30 2022-05-05 International Business Machines Corporation Multiple operating point false positive removal for lesion identification
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
CN112819032B (zh) * 2021-01-11 2023-10-27 平安科技(深圳)有限公司 基于多模型的切片特征分类方法、装置、设备及介质
CN112819032A (zh) * 2021-01-11 2021-05-18 平安科技(深圳)有限公司 基于多模型的切片特征分类方法、装置、设备及介质
CN113052857A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于CovSegNet的肺部病变图像分割方法
WO2022213465A1 (zh) * 2021-04-08 2022-10-13 平安科技(深圳)有限公司 基于神经网络的图像识别方法、装置、电子设备及介质
CN113159147B (zh) * 2021-04-08 2023-09-26 平安科技(深圳)有限公司 基于神经网络的图像识别方法、装置、电子设备
CN113159147A (zh) * 2021-04-08 2021-07-23 平安科技(深圳)有限公司 基于神经网络的图像识别方法、装置、电子设备
CN113112475A (zh) * 2021-04-13 2021-07-13 五邑大学 一种基于机器学习的中医耳部五脏区域分割方法和装置
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
CN113378984A (zh) * 2021-07-05 2021-09-10 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN113902761B (zh) * 2021-11-02 2024-04-16 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN114066871A (zh) * 2021-11-19 2022-02-18 江苏科技大学 一种新冠肺炎病灶区域分割模型训练的方法
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN114511599B (zh) * 2022-01-20 2022-09-20 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置

Also Published As

Publication number Publication date
WO2021184817A1 (zh) 2021-09-23
CN111402268B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111402268A (zh) 一种医学图像中肝脏及其病灶分割的方法
CN110992382B (zh) 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
Fuhrman et al. A review of explainable and interpretable AI with applications in COVID‐19 imaging
Ueda et al. Technical and clinical overview of deep learning in radiology
Rahman et al. Ambiguous medical image segmentation using diffusion models
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
CN105976367A (zh) 图像分割方法、肺结节检测方法及其计算机辅助检测系统
Yao et al. AdaD-FNN for chest CT-based COVID-19 diagnosis
Fan et al. GFNet: Automatic segmentation of COVID-19 lung infection regions using CT images based on boundary features
Guo et al. Msanet: multiscale aggregation network integrating spatial and channel information for lung nodule detection
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN115345246A (zh) 一种基于t-s模糊语义智能肝癌分期方法及系统
Jiang et al. [Retracted] Application of Deep Learning in Lung Cancer Imaging Diagnosis
Wang et al. A ResNet‐based approach for accurate radiographic diagnosis of knee osteoarthritis
Sun et al. COVID-19 CT image segmentation method based on swin transformer
Nan et al. Automatic fine-grained glomerular lesion recognition in kidney pathology
CN113269799A (zh) 一种基于深度学习的宫颈细胞分割方法
CN113269764A (zh) 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法
CN111784652B (zh) 基于强化学习多尺度神经网络的mri分割方法
Wang et al. An effective deep network for automatic segmentation of complex lung tumors in CT images
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
Shen et al. CT medical image segmentation algorithm based on deep learning technology
CN115018780A (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
Fu et al. Harmony loss for unbalanced prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant