CN111127490A - 一种基于循环残差U-Net网络的医学图像分割方法 - Google Patents

一种基于循环残差U-Net网络的医学图像分割方法 Download PDF

Info

Publication number
CN111127490A
CN111127490A CN201911414686.8A CN201911414686A CN111127490A CN 111127490 A CN111127490 A CN 111127490A CN 201911414686 A CN201911414686 A CN 201911414686A CN 111127490 A CN111127490 A CN 111127490A
Authority
CN
China
Prior art keywords
unit
convolution
training
net
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911414686.8A
Other languages
English (en)
Inventor
颜成钢
杨祥宇
杨建�
张二四
孙垚棋
张继勇
张勇东
韩卫东
肖芒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911414686.8A priority Critical patent/CN111127490A/zh
Publication of CN111127490A publication Critical patent/CN111127490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明是一种基于循环残差U‑Net网络的医学图像分割方法。本发明在深度残差模型、循环卷积网络和U‑Net模型基础上，提出了两种分别加入了循环卷积单元的U‑Net和循环残差卷积操作的U‑Net的分割模型。本发明引入了循环卷积单元和残差卷积单元，较好的解决了分割任务中数据缺乏和分类不平衡的问题。由于循环结构和残差结构只是从结构上改变了网络，并没有增加额外的参数，在分割任务上表现出更好的性能。循环和残差的操作并没有增加网络参数的数量，对训练和测试性能有显著性提高。

Description

一种基于循环残差U-Net网络的医学图像分割方法
技术领域
本发明属于深度学习技术领域，尤其针对医学图像分割，具体涉及一种基于循环残差U-Net网络的医学图像分割方法。
背景技术
目前深度学习给图像分类，分割，检测提供了最优越的表现性能，自从2012年，几个深度卷积神经网络模型已经被提了出来，比如，AlexNet，VGG，GoogleNet，Residual Net。一个基于深度学习的方法(CNN)为最近发展的几种先进的方法(包括激活函数，改进的正则化技术和优化方法)提供了最先进的分类，分割和检测任务的性能。然而，在大多数情况下，模型是通过对非常大的数据集的分类任务来探索和评估的，也可以使用结构变化的小模型来来完成语义图像分割任务。
深度学习给图像分类，分割，检测提供了目前最优越的表现性能，由于深度卷积神经网络在计算机视觉领域非常成功，不同的深度学习方法被应用到不同种类的医学图像中，包括分割，分类，检测等，医学图像包括CT、超声波、x射线，核磁共振。计算机辅助诊断的目标是在相同的时间段的非常多的病人获得一个又好又快的诊断结果。由于手工分割方法的过程较为漫长且繁琐，因此对无需人工交互就能快速准确地进行分割的计算机算法有着很大的需求。深度学习的方法已经被应用到几乎所有的医学图像中，分割任务中的结构包括卷积编码和解码单元。编码单元将输入图片转换成低维的多张特征图，解码单元使用反卷积操作生成与初始图像相同维度的分割图像。
考虑随着深度学习的网络模型不断发展优化，如何更好地改进之前的模型将其应用到医学图像中来，从而可以很好地解决医学图像中数据缺乏和分类不平衡的问题。语义分割是一个活跃的研究领域，利用DCNN对图像中的每个像素分别进行分类，这是由计算机视觉和医学成像领域不同的挑战性数据集推动的。在过去的几年，人们提出了许多模型，证明了更深层次的网络更适合于识别和分割任务。在医学图像分割领域最流行的方法是U-Net，U-Net网络由卷积编码和解码单元组成。
发明内容
本发明针对解决医学图像中数据缺乏和分类不平衡的问题，提出一种基于循环残差U-net网络的医学图像分割方法；在Res-Net(深度残差模型)，RCNN(循环卷积网络)和U-Net模型基础上，提出了两种分别加入了循环卷积单元的U-Net(RU-Net)和循环残差卷积操作的U-Net(R2U-Net)的分割模型。
本发明包括以下步骤：
步骤一、将所选的数据集进行图像预处理；
步骤二、在U-Net网络模型中，在编码结构的每一步卷积单元中和解码结构的每一步反卷积单元中加入循环单元构成了循环卷积单元，在每一步卷积单元中和每一步反卷积单元中加入循环单元和残差单元构成循环残差卷积单元；
步骤三、对改进的变体U-Net网络设置训练策略，采用随机初始化和随机梯度下降优化的方法，随机梯度下降优化具有分类交叉熵损失、合适的BatchSize(一次训练所选取的样本数)以及epoch(回合，代表样本集内所有的数据经过了一次训练)。依次设置合适的初始学习率、分割层学习率、动量、权重衰减系数。根据设置好的训练策略进行训练，得到训练后的网络模型；
步骤四、将经过处理后的几个数据集输入已经训练好的网络模型中，获得分割数据；
步骤五、建立包括精确度(AC)，灵敏度(SE)，特殊性(SP)，F1评分，骰子系数(DC)，雅卡尔指标(JA)的评估指标，通过计算评估指标将我们的方法和最先进的方法进行比较进而评估我们方案的性能。
优选的，步骤一中数据集中百分之八十的样本用于训练，剩下的百分之二十个样本用于测试。如果每个图像原始像素的大小不是正方形，为了生成一个正方形数据集，需要将图像进行裁剪变成正方形。从数据集中的需要训练的图像中随机选取n个patch(图像分块)，其中0.9n个图像分块用于训练，其余0.1n个图像分块用于验证。
优选的，在步骤二中U-Net网络模型包括：编码路径和解码路径；在编码单元，每一个卷积块由两个或三个RCLs(循环卷积操作单元)组成，卷积核为3*3，依次为ReLU激活层和批量归一化层，下采样采用2*2的最大池化层。在解码单元，每个块由卷积转置层，两个卷积层和一个连接层组成。
优选的，步骤五评价指标公式如下：精确度
Figure BDA0002350885600000021
灵敏度
Figure BDA0002350885600000022
特殊性
Figure BDA0002350885600000023
骰子系数
Figure BDA0002350885600000024
雅卡尔指标
Figure BDA0002350885600000025
F1分数
Figure BDA0002350885600000026
其中
Figure BDA0002350885600000027
其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。
本发明引入了循环卷积单元和残差卷积单元，较好的解决了分割任务中数据缺乏和分类不平衡的问题。很容易的应用于基于SegNet，3D-U-Net等深度学习模型提高了分割任务中的性能。与U-Net相比，使用该构架有几个优点：首先是网络参数数量方面的效率，由于循环结构和残差结构只是从结构上改变了网络，并没有增加额外的参数，因此提出的RU-Net和R2U-Net体系结构具有相同的网络参数，与U-Net和ResU-Net相比，RU-Net和R2U-Net模型在分割任务上表现出更好的性能。循环和残差的操作并没有增加网络参数的数量，传统神经网络有一个缺点就是，同一层的神经元不会相互传递，但循环单元会让同一层的神经元参数相互交流，残差单元由于解决的梯度消失和梯度爆炸的问题，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率，将这两个模块加入U-Net中确实对训练和测试性能有显著性提高。
附图说明
图1为本发明方法实施例的结构图；
图2为本发明方法实施例的中的循环卷积单元和残差卷积单元的结构图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明做详细描述。本发明涵盖任何由权利要求定义在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
下面结合附图对本发明的具体实施方式做详细说明。
如图1所示，步骤为：
步骤一、将DRIVE图像数据集进行图像预处理；
这个数据集由40幅彩色视网膜图像组成，其中20个样本用于训练，其余20个样本用于测试。每个原始图像的大小为565*584像素，为了生成一个正方形数据集，将图像裁剪为只包含从第9列到第574列的数据，使每个图像大小为565*565像素。从数据集中的20个图像中随机选取190000个patch，其中171000个patch用于训练，其余19000个用于测试；
步骤二、在U-Net网络中，在编码结构的每一步卷积单元中和解码结构的每一步反卷积单元中加入循环单元构成了循环卷积单元，在每一步卷积单元中和每一步反卷积单元中加入循环单元和残差单元构成循环残差卷积单元；
如图2所示，(b)是循环卷积单元的结构图，(d)是循环残差卷积单元的结构图。在编码单元，每一个卷积块由两个或三个RCLs组成，卷积核为3*3，依次为ReLU激活层和批归一化层，下采样采用2*2的最大池化层。在解码单元，每个块由卷积转置层，两个卷积层和一个连接层组成。
步骤三、对改进的变体U-Net网络根据设置好的训练策略进行训练；
由于视网膜血管分割数据集的数据匮乏，在训练和测试阶段采用了基于区块的方法。采用随机初始化和随机梯度下降优化的方法，实现了具有分类交叉熵损失、批次大小为32，epoch为150个的随机梯度下降优化。初始学习率为0.001，最后的分割层学习率为0.01，动量为0.9，权重衰减为0.0005。
步骤四、将经过处理后的几个数据集输入已经训练好的网络模型中，获得分割数据，将分割好的数据给专家进行辅助诊断；
步骤五、建立包括精确度(AC)，灵敏度(SE)，特殊性(SP)，F1评分，骰子系数(DC)，雅卡尔指标(JA)的评估指标，评价指标计算方式如下：
Figure BDA0002350885600000041
Figure BDA0002350885600000042
Figure BDA0002350885600000043
其中
Figure BDA0002350885600000044
其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。

Claims (4)

1.一种基于循环残差U-Net网络的医学图像分割方法，其特征在于：
具体包括以下步骤：
步骤一、将所选的数据集进行图像预处理；
步骤二、在U-Net网络模型中，在编码结构的每一步卷积单元中和解码结构的每一步反卷积单元中加入循环单元构成了循环卷积单元，在每一步卷积单元中和每一步反卷积单元中加入循环单元和残差单元构成循环残差卷积单元；
步骤三、对改进的变体U-Net网络设置训练策略，采用随机初始化和随机梯度下降优化的方法，随机梯度下降优化具有分类交叉熵损失、一次训练所选取的样本数以及epoch(回合，代表样本集内所有的数据经过了一次训练)；依次设置合适的初始学习率、分割层学习率、动量、权重衰减系数；根据设置好的训练策略进行训练，得到训练后的网络模型；
步骤四、将经过处理后的几个数据集输入已经训练好的网络模型中，获得分割数据；
步骤五、建立包括精确度，灵敏度，特殊性，F1评分，骰子系数，雅卡尔指标的评估指标。
2.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤一具体步骤如下：步骤一中数据集中百分之八十的样本用于训练，剩下的百分之二十个样本用于测试；如果每个图像原始像素的大小不是正方形，为了生成一个正方形数据集，需要将图像进行裁剪变成正方形；从数据集中的需要训练的图像中随机选取n个图像分块，其中0.9n个图像分块用于训练，其余0.1n个图像分块用于验证。
3.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤二中U-Net网络模型包括：编码路径和解码路径；在编码单元，每一个卷积块由两个或三个循环卷积操作单元组成，卷积核为3*3，依次为ReLU激活层和批量归一化层，下采样采用2*2的最大池化层；在解码单元，每个块由卷积转置层，两个卷积层和一个连接层组成。
4.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤五评价指标公式如下：精确度
Figure FDA0002350885590000011
灵敏度
Figure FDA0002350885590000012
特殊性
Figure FDA0002350885590000017
Figure FDA0002350885590000019
骰子系数
Figure FDA0002350885590000015
雅卡尔指标
Figure FDA0002350885590000013
F1分数
Figure FDA0002350885590000018
Figure FDA0002350885590000016
其中
Figure FDA0002350885590000014
其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。
CN201911414686.8A 2019-12-31 2019-12-31 一种基于循环残差U-Net网络的医学图像分割方法 Pending CN111127490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911414686.8A CN111127490A (zh) 2019-12-31 2019-12-31 一种基于循环残差U-Net网络的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911414686.8A CN111127490A (zh) 2019-12-31 2019-12-31 一种基于循环残差U-Net网络的医学图像分割方法

Publications (1)

Publication Number Publication Date
CN111127490A true CN111127490A (zh) 2020-05-08

Family

ID=70506658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911414686.8A Pending CN111127490A (zh) 2019-12-31 2019-12-31 一种基于循环残差U-Net网络的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN111127490A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681254A (zh) * 2020-06-16 2020-09-18 中国科学院自动化研究所 用于血管动脉瘤介入手术导航系统的导管检测方法及系统
CN111915597A (zh) * 2020-08-07 2020-11-10 温州医科大学 一种病灶图像检测方法和装置
CN112183510A (zh) * 2020-12-01 2021-01-05 北京圣点云信息技术有限公司 基于Att-3CRB-Unet网络的指静脉图像分割方法及装置
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALOM M Z: ""Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation"" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681254A (zh) * 2020-06-16 2020-09-18 中国科学院自动化研究所 用于血管动脉瘤介入手术导航系统的导管检测方法及系统
CN111915597A (zh) * 2020-08-07 2020-11-10 温州医科大学 一种病灶图像检测方法和装置
CN112183510A (zh) * 2020-12-01 2021-01-05 北京圣点云信息技术有限公司 基于Att-3CRB-Unet网络的指静脉图像分割方法及装置
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置

Similar Documents

Publication Publication Date Title
CN111127490A (zh) 一种基于循环残差U-Net网络的医学图像分割方法
CN111612790B (zh) 一种基于t型注意力结构的医学图像分割方法
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
JP6522161B2 (ja) ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー
CN109410114B (zh) 基于深度学习的压缩感知图像重建算法
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN111860528B (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN113706544B (zh) 一种基于完备注意力卷积神经网络的医学图像分割方法
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113191390A (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN114820450A (zh) 适宜李氏人工肝治疗的ct血管造影图像分类方法
CN110956617A (zh) 基于循环注意力模型的大脑核磁共振异常图像可视化方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN115311186B (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
Astono et al. [Regular Paper] Adjacent Network for Semantic Segmentation of Liver CT Scans
CN114937044A (zh) 一种轻量化图像分割方法、装置及存储介质
Yan et al. Two and multiple categorization of breast pathological images by transfer learning
CN114494828A (zh) 葡萄病害识别方法、装置、电子设备及存储介质
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN112132768A (zh) 一种基于多降噪器联合优化降噪的mri图像降噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination