CN112785617B - 残差UNet直肠癌肿瘤磁共振图像自动分割方法 - Google Patents
残差UNet直肠癌肿瘤磁共振图像自动分割方法 Download PDFInfo
- Publication number
- CN112785617B CN112785617B CN202110199536.0A CN202110199536A CN112785617B CN 112785617 B CN112785617 B CN 112785617B CN 202110199536 A CN202110199536 A CN 202110199536A CN 112785617 B CN112785617 B CN 112785617B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- unet
- tumor
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 101
- 208000015634 Rectal Neoplasms Diseases 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 40
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 31
- 206010038038 rectal cancer Diseases 0.000 title claims abstract description 26
- 201000001275 rectum cancer Diseases 0.000 title claims abstract description 26
- 208000013718 rectal benign neoplasm Diseases 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 230000003044 adaptive effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000012795 verification Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 44
- 230000000694 effects Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 17
- 238000003709 image segmentation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011127 radiochemotherapy Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种残差UNet直肠癌肿瘤磁共振图像自动分割方法，属于直肠癌的精确分割技术领域。本发明包括如下步骤：S1：提出直肠肿瘤MR图像的自动分割任务，包括如下小步：S11：建立AttSEResUNet网络结构；S12：引入通道注意力挤压‑激励模块；S13：引入空间注意力门控模块；S14：引入BCE_DICE损失函数；S15：预测结果的后结果处理；S2：建立直肠肿瘤数据集进行模型评估，包括如下小步：S21：归一化和自适应直方图均衡化的预处理；S22：评估指标的选用；S23：评估有效性的验证。本发明能有效分割直肠肿瘤区域，同时组合的损失函数也能在一定程度上提高分割精度，可用于直肠癌的精确分割场合。
Description
技术领域
本发明涉及一种残差UNet直肠癌肿瘤磁共振图像自动分割方法，属于直肠癌的精确分割技术领域。
背景技术
直肠癌是严重威胁我国居民健康的疾病之一。据我国国家癌症中心发表的最新报告显示，直肠癌的发病人数居我国恶性肿瘤发病人数的第三位，约占38.8％，是癌症死亡率的主要诱因之一，特别是在城市地区，其发病人数更是仅次于肺癌，成为危害人们身体健康的第二大杀手。在全球范围内，不论是发病数量还是死亡人数，结直肠癌症也一直居高不下。
术前影像学检查是直肠癌治疗方法的重要步骤，它能够帮助医生确定适合患者的辅助放化疗技术和手术方式，从而提高生存率。其中，磁共振图像(MR)因其具有良好的软组织对比度，一直在直肠癌的诊断、术前预测和疗效评估中承担不可忽视的作用。因此，准确的分割直肠肿瘤对于后续的治疗规划及预后分析具有十分重要的意义。目前，直肠癌肿瘤图像的分割主要依靠经验丰富的医生进行手动勾画，这种方法不仅耗时耗力，并且容易受到医生之间内部水平差异的影响.
近年来，随着深度学习在各个领域的广泛应用，其在医学图像分析任务中也收获了很大成功，其中，对于医学图像的分割，主要是在肝脏、多器官、前列腺、胰腺、颈部和大脑等方面，针对直肠癌肿瘤MR图像的自动分割研究相对较少。Stefano Trebeschi等利用卷积神经网络(CNNS)对直肠肿瘤核磁共振(MRI)图像进行完全的自动定位和分割，验证了深度学习的技术潜力。得益于全卷积神经网络(FCN)结构的提出，Junming Jian等人将其引入结直肠肿瘤分割，使用VGG-16为基础模型从归一化图像中提取特征，VGG-16每个块的最后一个卷积层构建五个边输出块来捕获多尺度信息并产生预测结果，最后融合所有结果以获得精确的分割结果，但是这种分割方法仍然存在一些局限性，分割结果的边界也与基本事实有些不一致。UNet模型借鉴了FCN网络，它包含能够捕获上下文信息的收缩路径和确保精确定位的扩展路径，大大提高了医学图像分割任务的性能。Jiazhou Wang等人实现了一种类似二维 UNet自动分割模型来用于直肠癌T2加权成像MRI图像，考虑到MRI图像的三维结构，其将5 张MRI图像切片输入网络以形成5通道的输入张量，并采用了两阶段的训练策略提升了训练效率。Hongyi Wang等人通过粗提取和二次提取两步完成了CT图像中直肠肿瘤的掩膜提取，并建立了淋巴结转移模型。在二次提取中使用了简化的UNet网络结构，收缩路径的每一层包含一个卷积层和一个池化层，扩展路径有一个反卷积层将其输出与收缩路径中的特征图相匹配，对拼接的特征图进行两次卷积，最终将64通道特征图转化为分割图像。
注意力机制得益于其利用特征图的长期依赖性和促进神经网络探索全局上下文信息的强大能力，处于计算机视觉和自然语言处理的研究前沿，也有人尝试将注意力机制嵌入到深度神经网络体系结构中，完成医学图像分析领域的医学图像分类和医学图像分割等任务。受注意力机制的启发，本文提出了一种新的用于直肠癌肿瘤磁共振图像自动分割的方法。本文的主要内容可以总结为：1)提出了一个融合了空间和通道注意力机制的残差UNet网络模型 AttSEResUNet用于直肠肿瘤MR图像的自动分割任务；2)构建了一个小型的直肠肿瘤MR图像分割数据集，并在这个数据集上验证了本文所提方法的有效性；3)模型训练过程中使用了组合的损失函数，并通过实验对比了不同损失函数的分割效果。
发明内容
针对现有技术存在的上述缺陷，本发明提出了一种残差UNet直肠癌肿瘤磁共振图像自动分割方法。
本发明所述的残差UNet直肠癌肿瘤磁共振图像自动分割方法，包括如下步骤：
S1：提出直肠肿瘤MR图像的自动分割任务，包括如下小步：
S11：建立AttSEResUNet网络结构：以UNet网络作为基本框架，通过残差卷积进行特征提取，并引入通道注意力挤压-激励模块和空间注意力门控模块将在不同级别提取的特征与和任务相关的特征进行选择合并，同时加深网络层数进行5次下采样：
S12：引入通道注意力挤压-激励模块：通过全局平均池化来生成各通道的统计量，将全局空间信息压缩到一个通道描述符中；通过两个全连接层建模通道间的相关性，并输出和输入特征同样数目的权重；
S13：引入空间注意力门控模块：抑制与分割任务不相关的信息以及噪声的激活响应，同时增强与分割任务相关的目标区域的学习；
S14：引入BCE_DICE损失函数：将二分类交叉熵损失函数、DICE损失函数两者结合作为模型最终的损失函数，其中：
二分类交叉熵损失函数的定义为：
DICE损失函数的定义为：
则，组合的BCE_DICE损失函数为：
LBCE_DICE＝LBCE+LDICE (3)
式中：yi为标注的真实掩膜图中像素点i的值，取值为0或1；
N是分割图和标注掩模图中的像素点总个数；
ε是平滑因子，用于避免损失函数中分母为0，值取1；
S15：预测结果的后结果处理：将模型的预测结果进行二值化得到最终的肿瘤分割图，但是会有边缘噪声点或病灶区域不连续的情况产生，而根据直肠肿瘤的病灶特点，其在MR图像中的位置通常较为固定且连续，为此通过8连通域来找出分割图中的所有连通域，然后计算各连通域的面积大小，最后只保留面积最大的连通域，删除其他连通域；
S2：建立直肠肿瘤数据集进行模型评估，包括如下小步：
S21：归一化和对比度受限的自适应直方图均衡化的预处理：
归一化是在保留图像中具有诊断价值的图像信息，减小或者消除图像中其他信息不一致而进行的图像转换方法，其公式为：
式中：I为原始图像，Inorm为归一化后的图像，Imin为I的最小强度值，Imax为I的最大强度值；
对比度受限的自适应直方图均衡化是自适应直方图均衡化和直方图均衡化方法的改进，通过该方法显著降低图像噪声，并防止执行传统直方图均衡化时发生的亮度饱和；
S22：评估指标的选用：评估指标包括准确率和DICE相似系数，其中：
准确率的定义为：
DICE相似系数的DSC定义为：
式中：TP表示被正确分割成直肠肿瘤区域的像素数量；
TN表示被正确分割成背景区域的像素数量；
FP表示将背景区域预测成肿瘤区域的像素数量；
FN表示将肿瘤区域预测成背景区域的像素数量；
DSC表征算法的分割结果与肿瘤掩膜的重叠程度，取值为[0,1]，取值越大表示两者的重叠程度越大，分割效果越好；
S23：评估有效性的验证：将AttSEResUNet网络结构与UNet、UNet*和AttUNet在数据集进行对比验证，AttSEResUNet网络结构均取得最优的分割性能，预测准确率和DSC指标方面明显高于其他模型；
其中：UNet*是UNet的优化模型，是在原始UNet的卷积层之后加入BN层处理，同时在池化操作之后增加Dropout层，以防止过拟合现象。
优选地，所述步骤S11中，AttSEResUNet网络结构由编码器和解码器两部分组成，磁共振图像输入大小为256*256*3，即尺寸大小为256*256，通道数为3；每个残差卷积中包含2 个3*3的卷积块和映射部分，其中每个卷积块由卷积层，批量归一化层和ReLU激活函数构成， 1*1卷积之后的映射与经过两次卷积运算的结果进行相加形成短连接；在编码器部分利用步长为2的2*2卷积核进行下采样，特征图的通道数增加了一倍，而特征图的大小减少了一半；经过5次下采样之后的残差块作为连接编码器和解码器的桥梁。
优选地，所述步骤S11中，编码器的输出通过SE模块来学习通道之间的相关性，筛选出针对通道的注意力；相应地，在解码器部分，通过AG单元将低层特征图与相应SE模块的输出结合起来，获得更相关的小尺度肿瘤位置信息，同时，AG单元的输出与经过上采样的低级别特征图进行拼接；经过每个上采样之后，特征图的通道数都会减少一半，大小增加一倍；最后，利用1*1的卷积和sigmoid激活函数得到分割图。
优选地，所述步骤S21中，通过训练数据集进行数据扩充，包括如下操作：最大25°范围内的左右随机旋转；按一定概率的左右、上下翻转图像；将一定概率的图像进行缩放；小块变形图像；所有图像尺寸大小归一化为256*256。
优选地，所述步骤S23中，为了对比模型深度对分割效果的影响，加入没有加深网络层数之前，即具有4次下采样的AttSEResUNet*模型同时进行实验比较，发现AttSEResUNet模型在上述模型中取得了最优的分割性能。
优选地，所述步骤S23中，AttSEResUNet网络结构使用残差卷积并融合空间和通道注意力机制提取更加有效的图像特征，细化了分割效果；使用组合的损失函数进一步提升分割精度，并在自建的数据集上进行对比实验，验证其有效性。
本发明的有益效果是：
(1)本发明提出了一个融合了空间和通道注意力机制的残差UNet网络模型AttSEResUNet用于直肠肿瘤MR图像的自动分割任务；
(2)本发明构建了一个小型的直肠肿瘤MR图像分割数据集，并在这个数据集上验证了本文所提方法的有效性；
(3)本发明的模型训练过程中使用了组合的损失函数，并通过实验对比了不同损失函数的分割效果。
附图说明
图1是本发明AttSEResUNet网络的整体结构图。
图2是本发明通道注意力挤压-激励模块的结构图。
图3是本发明空间注意力门控模块的结构图。
图4(a)是本发明后处理操作前的结构图。
图4(b)是本发明后处理操作后的结构图。
图5(a)是标准模型的分割结果对比图。
图5(b)是UNet*模型的分割结果对比图。
图5(c)是AttUNet模型的分割结果对比图。
图5(d)是AttSEResUNet模型的分割结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1至图5(d)所示，本发明所述的残差UNet直肠癌肿瘤磁共振图像自动分割方法，本发明旨在建立实现自建直肠肿瘤数据集自动分割的深度学习模型。由于UNet对小的医学图像数据集表现出较好的分割性能，因此，本发明以UNet作为基本框架，用残差卷积代替原来的卷积，并引入通道注意力挤压-激励(Squeeze and Excitation，SE)模块和空间注意力门控(Attention Gate，AG)模块，以便可以将在不同级别提取的特征与和任务相关的特征进行选择合并，同时加深网络层数进行5次下采样来获得更多的特征信息，实现更好的分割效果。
本发明AttSEResUNet整体的网络结构图1所示：网络的整体结构还是依照UNet模型由编码器和解码器两部分组成。图片的输入大小为256*256*3，即尺寸大小为256*256，通道数为3。每个残差卷积中包含2个3*3的卷积块和映射部分，其中每个卷积块由卷积层，BN(批量归一化层)和ReLU激活函数构成，1*1卷积之后的映射与经过两次卷积运算的结果进行相加形成短连接。在编码器部分利用步长为2的2*2卷积核进行下采样，特征图的通道数增加了一倍，而特征图的大小减少了一半。经过5次下采样之后的残差块作为连接编码器和解码器的桥梁。
需要说明的是：与普通UNet网络不同的是，编码器的输出通过SE模块来学习通道之间的相关性，筛选出针对通道的注意力。相应地，在解码器部分，通过AG单元将低层特征图与相应SE模块的输出结合起来，获得更相关的小尺度肿瘤位置信息，同时，AG单元的输出与经过上采样的低级别特征图进行拼接。经过每个上采样之后，特征图的通道数都会减少一半，大小增加一倍。最后，利用1*1的卷积和sigmoid激活函数得到分割图。
SE模块能够有效地利用通道之间的相互依赖关系进行精确建模来使网络自适应地校准通道方向的特征响应，也就是把重要的特征进行强化以提升准确率。本发明使用的SE模块的结构图如图2所示。首先，通过全局平均池化来生成各通道的统计量，将全局空间信息压缩到一个通道描述符中，从而解决空间依赖性问题。然后，通过两个全连接层建模通道间的相关性，并输出和输入特征同样数目的权重。目前，利用SE模块的神经网络在许多图像处理任务上表现良好，例如图像分类、场景分类、图像分割和对象检测等。
本发明首次实现将注意力门控机制应用到UNet网络模型中进行医学图像分析任务。它能够抑制与分割任务不相关的信息以及噪声的激活响应，同时增强与分割任务相关的目标区域的学习。而且，AG模块可以移植到任意网络中进行应用，用于学习不同形状/大小的目标。最新的研究结果也表明，AG模块的应用能够有效提高网络性能。把AG模块引入到提出的网络模型中，并结合SE模块增强有用信息，抑制对分割任务用处不大的信息，从而改善分割效果。
医学图像的自动分割是语义分割在医学图像分析领域的应用，二分类交叉熵损失函数是语义分割最常用的损失函数之一。但是，由于在构建的数据集中出现类别不平衡的问题，即目标像素小于背景像素，因此，本发明引入DICE损失函数，将两者结合作为模型最终的损失函数来改善模型的性能。
二分类交叉熵损失函数的定义为：
DICE损失函数的定义为：
组合的BCE_DICE损失函数为：
LBCE_DICE＝LBCE+LDICE (3)
其中，yi为标注的真实掩膜图中像素点i的值，取值为0或1；
为算法得到的分割图中像素点i的值，取值范围为0～1；N是分割图和标注掩模图中的像素点总个数；ε是平滑因子，用于避免损失函数中分母为0，值取1。
将模型的预测结果进行二值化得到最终的肿瘤分割图，但是会有边缘噪声点或病灶区域不连续的情况产生，而根据直肠肿瘤的病灶特点，其在MR图像中的位置通常较为固定且连续，因此有必要对得到的分割图进行一些后处理操作。如图4(a)至图4(b)所示，本发明通过8连通域来找出分割图中的所有连通域，然后计算各连通域的面积大小，最后只保留面积最大的连通域，删除其他连通域。
实施例2：
下面结合具体案例对本发明的有效性进行评估。
本发明所用临床影像数据由某医院提供，包含了65位患者(43名男性，22名女性，年龄范围35岁-87岁)的直肠T2加权磁共振影像切片(T2W-MR)，每位患者均一张，并由三位经验丰富的医生进行勾画病灶。因为图像是由不同的设备和采集协议所得，所以数据集在分辨率和图像质量上呈现多样化。为了降低数据样本之间的差异与设备噪声的影响，对数据进行了强度归一化和对比度受限的自适应直方图均衡化(CLAHE)的预处理。
归一化操作是在保留图像中具有诊断价值的图像信息，减小或者消除图像中其他信息不一致而进行的图像转换方法。其公式为：
式中：I为原始图像，Inorm为归一化后的图像，Imin为I的最小强度值，Imax为I的最大强度值；
CLAHE是一种用于数字图像中低对比度问题的增强方法，是自适应直方图均衡化(AHE)和直方图均衡化(HE)方法的改进，有助于增强图像的小细节、纹理和局部对比度，是医学图像中最流行和最受欢迎的方法之一。本发明通过CLAHE显著降低了图像噪声，并防止执行传统直方图均衡化时可能发生的亮度饱和，获得了较好的处理效果，改善了图像质量。
随机选择20张图像做测试，其余用作训练。由于训练集数据量有限，为了防止过拟合，还对训练集进行了数据扩充，主要包括：最大25°范围内的左右随机旋转；按一定概率的左右、上下翻转图像；将一定概率的图像进行缩放；小块变形图像等等。训练集图像最终扩充至1175张，其中118张用于验证集。所有图像尺寸大小归一化为256*256。
在评估指标这项工作中，主要选用准确率(Accuracy,ACC)与DICE相似系数(DiceSimilarity Coeffificient，DSC)作为的评估指标。DSC表征算法的分割结果与肿瘤掩膜的重叠程度，取值为[0,1]，取值越大表示两者的重叠程度越大，分割效果越好。两者的定义分别如下：
其中，TP表示被正确分割成直肠肿瘤区域的像素数量；TN表示被正确分割成背景区域的像素数量；FP表示将背景区域预测成肿瘤区域的像素数量；FN表示将肿瘤区域预测成背景区域的像素数量。
为了验证本发明所提网络的有效性，将其与UNet、UNet*和AttUNet在的数据集进行对比验证，UNet*是UNet的优化模型，是在原始UNet的卷积层之后加入BN层处理，同时在池化操作之后增加Dropout层，以防止过拟合现象。为了对比模型深度对分割效果的影响，还加入了没有加深网络层数之前，即具有4次下采样的AttSEResUNet*模型同时进行实验比较，实验结果如表1所示：
表1不同模型在测试集上的指标对比表
如表1所示，本发明提出的模型在上述模型中取得了最优的分割性能，在预测准确率方面模型达到了100％，而其他模型均为低于该模型。在DSC指标方面，模型为0.847，与UNet* 模型相比，仍提高了6.14％，也是明显高于其他模型。AttUNet与AttSEResUNet*虽然分割效果较UNet有所提高，但是仍然低于AttSEResUNet。对比实验结果表明，本发明提出的网络模型能够基本实现直肠肿瘤的自动分割。
对UNet*，AttUNet，AttSEResUNet模型的部分分割结果进行了展示，如图5(a)至图5(d) 所示，更加直观地表现了本方法的有效性。在第二行中，只有AttSEResUNet模型能够对该病灶区域输出预测结果，并且DSC达到0.8875。
另外，还对比了不同的损失函数对分割结果的影响，如表2所示。
表2不同损失函数对结果影响表
通过对比可知，使用本发明中组合的BCE_DICE损失函数的结果要优于BCE与DICE损失函数，对于同一模型，使用组合的损失函数的分割结果都有不同程度的提高。
在MR图像中实现直肠肿瘤的精确分割是至关重要的，本发明提出了一种基于UNet的改进网络AttSEResUNet，实现了直肠肿瘤端到端的自动分割任务。该模型使用残差卷积并融合空间和通道注意力机制提取更加有效的图像特征，细化了分割效果；使用组合的损失函数进一步提升了分割精度，并在自建的数据集上进行了对比实验，取得了不错的结果，验证了本发明方法的有效性。所以，在未来的工作中，也会在其他医学分割数据集上通过实验评估本发明方法，同时获取更多直肠肿瘤数据，开发更加优化的方法。
本发明提出了一种新的用于直肠癌肿瘤磁共振图像自动分割的方法。本发明的主要内容可以总结为：1)提出了一个融合了空间和通道注意力机制的残差UNet网络模型AttSEResUNet 用于直肠肿瘤MR图像的自动分割任务；2)构建了一个小型的直肠肿瘤MR图像分割数据集，并在这个数据集上验证了本文所提方法的有效性；3)模型训练过程中使用了组合的损失函数，并通过实验对比了不同损失函数的分割效果。
本发明可广泛运用于直肠癌的精确分割场合。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种残差UNet直肠癌肿瘤磁共振图像自动分割方法，其特征在于，包括如下步骤：
S1：提出直肠肿瘤MR图像的自动分割任务，包括如下小步：
S11：建立AttSEResUNet网络结构：以UNet网络作为基本框架，通过残差卷积进行特征提取，并引入通道注意力挤压-激励模块和空间注意力门控模块将在不同级别提取的特征与和任务相关的特征进行选择合并，同时加深网络层数进行5次下采样：
AttSEResUNet网络结构由编码器和解码器两部分组成，磁共振图像输入大小为256*256*3，即尺寸大小为256*256，通道数为3；每个残差卷积中包含2个3*3的卷积块和映射部分，其中每个卷积块由卷积层，批量归一化层和ReLU激活函数构成，1*1卷积之后的映射与经过两次卷积运算的结果进行相加形成短连接；在编码器部分利用步长为2的2*2卷积核进行下采样，特征图的通道数增加了一倍，而特征图的大小减少了一半；经过5次下采样之后的残差块作为连接编码器和解码器的桥梁；
编码器的输出通过SE模块来学习通道之间的相关性，筛选出针对通道的注意力；相应地，在解码器部分，通过AG单元将低层特征图与相应SE模块的输出结合起来，获得更相关的小尺度肿瘤位置信息，同时，AG单元的输出与经过上采样的低级别特征图进行拼接；经过每个上采样之后，特征图的通道数都会减少一半，大小增加一倍；最后，利用1*1的卷积和sigmoid激活函数得到分割图；
S12：引入通道注意力挤压-激励模块：通过全局平均池化来生成各通道的统计量，将全局空间信息压缩到一个通道描述符中；通过两个全连接层建模通道间的相关性，并输出和输入特征同样数目的权重；
S13：引入空间注意力门控模块：抑制与分割任务不相关的信息以及噪声的激活响应，同时增强与分割任务相关的目标区域的学习；
S14：引入BCE_DICE损失函数：将二分类交叉熵损失函数、DICE损失函数两者结合作为模型最终的损失函数，其中：
二分类交叉熵损失函数的定义为：
DICE损失函数的定义为：
则，组合的BCE_DICE损失函数为：
LBCE_DICE＝LBCE+LDICE (3)
式中：yi为标注的真实掩膜图中像素点i的值，取值为0或1；
N是分割图和标注掩模图中的像素点总个数；
ε是平滑因子，用于避免损失函数中分母为0，值取1；
S15：预测结果的后结果处理：将模型的预测结果进行二值化得到最终的肿瘤分割图，但是会有边缘噪声点或病灶区域不连续的情况产生，而根据直肠肿瘤的病灶特点，其在MR图像中的位置固定且连续，为此通过8连通域来找出分割图中的所有连通域，然后计算各连通域的面积大小，最后只保留面积最大的连通域，删除其他连通域；
S2：建立直肠肿瘤数据集进行模型评估，包括如下小步：
S21：归一化和对比度受限的自适应直方图均衡化的预处理：
归一化是在保留图像中具有诊断价值的图像信息，减小或者消除图像中其他信息不一致而进行的图像转换方法，其公式为：
式中：I为原始图像，Inorm为归一化后的图像，Imin为I的最小强度值，Imax为I的最大强度值；
对比度受限的自适应直方图均衡化是自适应直方图均衡化和直方图均衡化方法的改进，通过该方法显著降低图像噪声，并防止执行传统直方图均衡化时发生的亮度饱和；
S22：评估指标的选用：评估指标包括准确率和DICE相似系数，其中：
准确率的定义为：
DICE相似系数DSC的定义为：
式中：TP表示被正确分割成直肠肿瘤区域的像素数量；
TN表示被正确分割成背景区域的像素数量；
FP表示将背景区域预测成肿瘤区域的像素数量；
FN表示将肿瘤区域预测成背景区域的像素数量；
DSC表征算法的分割结果与肿瘤掩膜的重叠程度，取值为[0,1]，取值越大表示两者的重叠程度越大，分割效果越好；
S23：评估有效性的验证：将AttSEResUNet网络结构与UNet、UNet*和AttUNet在数据集进行对比验证，AttSEResUNet网络结构均取得最优的分割性能，预测准确率和DSC指标方面明显高于其他模型；
其中：UNet*是UNet的优化模型，是在原始UNet的卷积层之后加入BN层处理，同时在池化操作之后增加Dropout层，以防止过拟合现象。
2.根据权利要求1所述的残差UNet直肠癌肿瘤磁共振图像自动分割方法，其特征在于，所述步骤S21中，通过训练数据集进行数据扩充，包括如下操作：最大25°范围内的左右随机旋转；按一定概率的左右、上下翻转图像；将一定概率的图像进行缩放；小块变形图像；所有图像尺寸大小归一化为256*256。
3.根据权利要求1所述的残差UNet直肠癌肿瘤磁共振图像自动分割方法，其特征在于，所述步骤S23中，为了对比模型深度对分割效果的影响，加入没有加深网络层数之前，即具有4次下采样的AttSEResUNet*模型同时进行实验比较，发现AttSEResUNet模型在上述模型中取得了最优的分割性能。
4.根据权利要求1所述的残差UNet直肠癌肿瘤磁共振图像自动分割方法，其特征在于，所述步骤S23中，AttSEResUNet网络结构使用残差卷积并融合空间和通道注意力机制提取更加有效的图像特征，细化了分割效果；使用组合的损失函数进一步提升分割精度，并在自建的数据集上进行对比实验，验证其有效性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110199536.0A CN112785617B (zh) | 2021-02-23 | 2021-02-23 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110199536.0A CN112785617B (zh) | 2021-02-23 | 2021-02-23 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785617A CN112785617A (zh) | 2021-05-11 |
| CN112785617B true CN112785617B (zh) | 2022-04-15 |
Family
ID=75761759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110199536.0A Active CN112785617B (zh) | 2021-02-23 | 2021-02-23 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785617B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516640B (zh) * | 2021-07-05 | 2022-03-18 | 首都师范大学 | 基于分类分支的ct图像细小裂缝分割装置和方法 |
| CN113538363A (zh) * | 2021-07-13 | 2021-10-22 | 南京航空航天大学 | 一种基于改进U-Net的肺部医学影像分割方法及装置 |
| CN113763387B (zh) * | 2021-07-22 | 2023-09-01 | 深圳大学 | 一种胎盘超微血管的分割方法、存储介质及终端设备 |
| CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学（武汉） | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
| CN114141339B (zh) * | 2022-01-26 | 2022-08-05 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN114638814B (zh) * | 2022-03-29 | 2024-04-16 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、系统、介质及设备 |
| WO2023193175A1 (zh) * | 2022-04-07 | 2023-10-12 | 中国科学院深圳先进技术研究院 | 一种基于超声图像的穿刺针实时检测方法及装置 |
| CN114863123A (zh) * | 2022-05-16 | 2022-08-05 | 福州大学 | 基于多模型权重分配网络的直肠癌病理完全反应预测方法 |
| CN114972248A (zh) * | 2022-05-24 | 2022-08-30 | 广州市华奕电子科技有限公司 | 基于注意力机制改进的U-net肝肿瘤分割方法 |
| CN115082402A (zh) * | 2022-06-22 | 2022-09-20 | 济南大学 | 一种基于注意力机制的食管鳞癌图像分割方法及系统 |
| CN116416239B (zh) * | 2023-04-13 | 2024-03-12 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
| CN116596999B (zh) * | 2023-04-19 | 2024-04-05 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
| CN116823833B (zh) * | 2023-08-30 | 2023-11-10 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、系统及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211137A (zh) * | 2019-06-08 | 2019-09-06 | 西安电子科技大学 | 基于残差网络和U-Net分割网络的卫星图像分割方法 |
| CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| CN111640121A (zh) * | 2020-04-28 | 2020-09-08 | 南京理工大学 | 基于改进U-net的直肠CT图像肿瘤分割方法 |
| CN112348794A (zh) * | 2020-11-05 | 2021-02-09 | 南京天智信科技有限公司 | 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889853B (zh) * | 2018-09-07 | 2022-05-03 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
| CN111951289B (zh) * | 2020-08-13 | 2023-10-31 | 江苏东印智慧工程技术研究院有限公司 | 一种基于BA-Unet的水下声呐图像数据分割方法 |
| CN112132813B (zh) * | 2020-09-24 | 2022-08-05 | 中国医学科学院生物医学工程研究所 | 基于改进的UNet网络模型的皮肤超声影像分割方法 |
-
2021
- 2021-02-23 CN CN202110199536.0A patent/CN112785617B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211137A (zh) * | 2019-06-08 | 2019-09-06 | 西安电子科技大学 | 基于残差网络和U-Net分割网络的卫星图像分割方法 |
| CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111640121A (zh) * | 2020-04-28 | 2020-09-08 | 南京理工大学 | 基于改进U-net的直肠CT图像肿瘤分割方法 |
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| CN112348794A (zh) * | 2020-11-05 | 2021-02-09 | 南京天智信科技有限公司 | 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| Attention Gate ResU-Net for Automatic MRI Brain Tumor Segmentation;JIANXIN ZHANG et al.;《IEEE Access》;20200407;第58533-58545页 * |
| Attention U-Net: Learning Where to Look for the Pancreas;Ozan Oktay et al.;《arXiv:1804.03999v3 [cs.CV]》;20180520;第1-10页 * |
| Squeeze-and-Excitation Networks;Jie Hu et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20200831;第42卷(第8期);第2011-2023页 * |
| 基于U-Net结构改进的医学影像分割技术综述;殷晓航 等;《软件学报》;20200727;第519-550页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785617A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785617B (zh) | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| Cheng et al. | Contour-aware semantic segmentation network with spatial attention mechanism for medical image | |
| Zhang et al. | Brain tumor segmentation of multi-modality MR images via triple intersecting U-Nets | |
| CN106408001B (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
| CN109754007A (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN116681679A (zh) | 基于双分支特征融合注意的医学图像小目标分割方法 | |
| CN114972248A (zh) | 基于注意力机制改进的U-net肝肿瘤分割方法 | |
| Wang et al. | DPBET: A dual-path lung nodules segmentation model based on boundary enhancement and hybrid transformer | |
| Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
| Zhang et al. | Fully multi-target segmentation for breast ultrasound image based on fully convolutional network | |
| Wang et al. | Automatic detection and segmentation of ovarian cancer using a multitask model in pelvic CT images | |
| Zhang et al. | Classification of renal biopsy direct immunofluorescence image using multiple attention convolutional neural network | |
| Honghan et al. | Rms-se-unet: A segmentation method for tumors in breast ultrasound images | |
| Tyagi et al. | An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation | |
| KR20220144687A (ko) | 듀얼 어텐션 다중 인스턴스 학습 방법 | |
| Jin et al. | Automatic primary gross tumor volume segmentation for nasopharyngeal carcinoma using ResSE-UNet | |
| CN109635866B (zh) | 处理肠图像的方法 | |
| CN116596890A (zh) | 基于图卷积网络的动态图像甲状腺癌危险分层预测方法 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| Wu et al. | Inner Cascaded U²-Net: An Improvement to Plain Cascaded U-Net. | |
| Mahoro et al. | Breast masses detection on mammograms using recent one-shot deep object detectors | |
| CN114881910A (zh) | 一种肝及肝肿瘤的医学图像分割方法、系统、终端以及存储介质 | |
| Xie et al. | Identification method of thyroid nodule ultrasonography based on self-supervised learning dual-branch attention learning framework | |
| Wu et al. | Deep neural networks for semantic segmentation of lung nodules |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |