CN114066883A - 一种基于特征选择与残差融合的肝肿瘤分割方法 - Google Patents
一种基于特征选择与残差融合的肝肿瘤分割方法 Download PDFInfo
- Publication number
- CN114066883A CN114066883A CN202111557668.2A CN202111557668A CN114066883A CN 114066883 A CN114066883 A CN 114066883A CN 202111557668 A CN202111557668 A CN 202111557668A CN 114066883 A CN114066883 A CN 114066883A
- Authority
- CN
- China
- Prior art keywords
- feature
- module
- nfs
- characteristic
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 52
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 37
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 210000004185 liver Anatomy 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 13
- 238000007906 compression Methods 0.000 claims abstract description 13
- 108091006146 Channels Proteins 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000002679 ablation Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 19
- 238000002591 computed tomography Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于特征选择与残差融合的肝肿瘤分割方法。本发明首先通过注意力机制对UNet瓶颈特征及跳跃链接进行优化，提出以全局特征压缩操作为基础的瓶颈特征选择模块，即全局特征选择模块和邻近特征选择模块。再使用跳跃链接对空间注意力模块进行特征重标定，最后通过空间特征残差融合模块解决前后空间特征的语义不匹配问题，在保持低复杂度的同时使特征高效表达。本发明使2D肝肿瘤分割的结果更加准确，在LiTS公开数据集上进行了组件消融测试并与当前方法进行对比测试，在肝脏及肝肿瘤分割任务中分别取得了96.2％和68.4％的平均Dice得分，比当前最佳的2D肝肿瘤分割模型平均Dice得分高0.8％。
Description
技术领域
本发明涉及一种基于特征选择与残差融合的肝肿瘤分割方法，属于计算机视觉技术领域。
背景技术
肝癌是目前全球死亡率最高且最常见的癌症之一。计算机断层扫描(ComputedTomography，CT)是临床上常用的肿瘤诊断方法，通过测定肿瘤的形状、位置等信息可帮助医生制定相应的治疗计划。CT图像的手动分割存在效率低下、医生主观经验影响等问题，因此临床实践中迫切需要一种高效的自动分割方法，肝脏治疗可以通过准确而快速的自动分割方法中获益。然而，由于CT图像中软组织的对比度较低，并且肝肿瘤的形状与位置具有高可变性，同时肝肿瘤区域边界不清楚，大部分肿瘤相对较小，所以肝肿瘤自动分割在实践中是一项艰巨的任务。
为解决肝肿瘤自动分割问题，在过去的几年中基于深度学习提出了许多解决方法，这些方法一般可以分为三类：(1)2D模型，如Multiple U-Nets(Chlebus等，2018)在每层收缩路径和扩展路径中采用残差链接用于增加训练效率并在扩展路径的卷积之前加入概率为0.5的dropout防止网络过拟合，模型在2D输入的情况下取得了领先的效果；FED-Net(Chen等，2019)基于注意力机制设计了一种新颖的特征融合方法，可以将语义信息嵌入到低级特征中，并且替换掉传统UNet的收缩路径和扩展路径，分别改为残差卷积块和密集上采样卷积，在跳跃链接部分引入卷积改善前后语义不匹配问题，但未能解决特征冗余问题。(2)2.5D模型，例如Res-UNet(Han，2017)使用了两个U型结构长跳和短跳连接模型，第一个网络用于粗略的肝脏分割，第二个网络专注于肝脏细致分割，第二个网络经过训练可以进一步分割肝脏和肝肿瘤，模型通过接收五个相邻切片为模型提供上下文信息，用多段级联处理逐步细化，导致模型冗余，不易部署；LW-HCN(Zhang等，2019)为降低模型复杂度替换3D编码器底部卷积为2D卷积，设计了深度和时空分离(DSTS)操作处理3D卷积降低模型复杂度；非线性增强和图割方法(Liao等，2019)通过组织对比增强图像和边界信息融入图割能量函数，最后使用三维形态学进行后处理实现高精度分割，着重于预处理及后处理过程；结合影像组学方法(Liu等，2020)先经过级联的2D分割模型，然后结果分别经过影像组学分类模型和3D模型减少假阳性并细化分割结果，该方法依赖于后处理消除假阳性以提升分割结果，中间过程效果不佳。(3)3D模型，例如H-DenseUNet(Li等，2018)使用2D-DenseUNet模型提取切片内特征，并根据自动上下文算法进行层次聚合，即切片内和切片间混合特征学习体系，分割效果优秀，但3D模型参数量达到千万级，模型庞大且不易训练；CDNN(Yuan，2017)提出一个分层的深度完全卷积-反卷积神经网络模型，第一层用整个CT体素粗分割肝脏区域，第二层进行精细的肝脏分割，第三层进行肝肿瘤分割的补充输入。
发明内容
本发明涉及一种基于特征选择与残差融合的肝肿瘤分割方法，使得肝肿瘤分割的结果更加准确。
本发明的技术方案是：一种基于特征选择与残差融合的肝肿瘤分割方法，所述方法的具体包括如下：
Step1、瓶颈特征部分采用全局特征选择模块(Feature Selection Module，FS)处理肝脏CT图像，邻近特征选择模块(Neighbor Feature Selection Module，NFS)处理肝肿瘤CT图像，两种模块均采用全局特征压缩操作(GFS)压缩特征图；
Step2、跳跃链接部分采用空间注意力模块(Spatial Attention Module，SAM)和空间特征残差融合模块(Spatial Feature Residual Fusion Module，SFRF)提取空间维度的有效信息并解决语义鸿沟问题；
Step3、输出分割图采用扩展路径增加特征图维度并减少特征通道数，扩展层均采用2倍上采样双线性插值法生成扩展特征图，扩展特征图通过一个卷积单元后与收缩路径同层的高分辨率特征图拼接。
进一步地，所述Step1中的全局特征选择模块具体包括如下：
使用全局特征压缩(GFS)操作，该操作通过矩阵运算在压缩特征图的同时融入空间特征，提高网络的表达能力及泛化性，如计算公式所示：
式中fGFS表示全局特征压缩操作，输入X∈RC×HW，输出fGFS(X)∈RC×1，C是特征图的通道数，H和W分别表示特征图的高和宽。
表示1*1卷积矩阵的转置，其目的是将特征图通道数由C压缩至1，全局特征选择模块(FS)，如计算公式所示fFS(X)＝σ(WE(ReLU(WSfGFS(X))))；YFS(X)＝FS(fFS(X))·X。式中fFS是全局特征选择操作，fFS(X)∈RC×1。WS∈RM×C表示1*1卷积矩阵，用于压缩通道数，M为压缩后的通道数。WE∈RC×M表示1*1卷积矩阵，用于恢复通道数为原始维度C。σ为Sigmoid函数，其目的为输出各个通道的激活值，范围为[0，1]。FS为空间维度扩展函数，功能为扩展fFS(X)空间维度与输入X一致，YFS∈RC×HW为全局特征选择模块(FS)的输出；
进一步地，所述Step1中的邻近特征选择模块具体包括如下：
邻近特征选择模块(NFS)在特征图压缩时采用上述提出的GFS操作，NFS与全局特征选择模块(FS)的区别在于NFS模块关联n个相邻的特征通道，有利于更加细微的特征表达，同时可以捕获跨通道交互，适用于处理肝肿瘤CT图像，而FS模块通过压缩全部通道融合全局特征，适合肝脏CT图像这类具有全局位置特点表达需求的数据。NFS的n邻近关联可以通过一维卷积操作实现，如计算公式所示：
其中，卷积核的大小为n，式中内核n的大小代表本组通道交互的覆盖范围，|t|odd表示与t最接近的奇数，C表示特征通道数，γ和β数值分别为2和1。邻近特征选择模块(NFS)计算公式：fNFS(X，n)＝σ(C1Dn(fGFS(X)))；YNFS(X，n)＝FS(fNFS(X，n))·X。式中fNFS表示邻近特征选择操作，输入为特征图X∈RC×HW和一维卷积核大小n，输出fNFS(X，n)∈RC×1与输入保持一致。C1Dn表示卷积核大小为n的一维卷积，σ为sigmoid函数，其输出激活值对特征图X的通道维度进行特征选择。邻近特征选择模块(NFS)输出YNFS∈RC×HW。
进一步地，所述Step2中的空间注意力模块具体包括如下：
空间注意力模型采用1*1卷积压缩通道维度至1，不改变特征图的大小，保证空间维度特征一致性，如计算公式所示：fSA(X)＝σ(WKX)；YSA(X)＝FC(fSA(X))·X。式中fSA表示空间注意力操作，输出fSA(X)∈R1×HW，WK∈R1×C为1*1卷积矩阵，用于压缩通道维度至1，σ为Sigmoid函数，输出空间维度特征的激活值。空间注意力模块的输出YSA∈RC×HW，FC为通道维度扩展函数，可通过该函数将函数输入的通道维度扩展至C。
进一步地，所述Step2中的空间特征残差融合模块SFRF具体包括：
空间特征残差融合模块(SFRF)用于解决跳跃链接带来的语义鸿沟问题。空间特征残差融合模块(SFRF)接收模型相对浅层特征(k层)及相对深层特征(k+1层)为输入，k为[1，4]中的整数。如计算公式所示：YSFRF(Xk，Xk+1)＝Xk+Fup(WFXk+1)。式中Xk∈RC×HW来自k层收缩路径的输出特征，
来自k+1层SFRF的输出特征，仅当k＝4时，Xk+1为瓶颈特征选择模块的输出，
表示H与W大小分别减半。WF∈RC×2C为1*1卷积操作，目的为压缩通道数由2C至C，Fup为2倍上采样双线性插值操作，可通过双线性插值的方式对特征图进行扩充，使输出YSFRF(Xk，Xk+1)∈RC×HW与Xk在特征维度上保持一致。
进一步地，所述Step3还包括如下：
针对数据集存在的正负样本不均衡这一情况，采用二元交叉熵(Binary crossentropy，BCE)与骰子损失(Dice Loss，DL)加权结合的方式，由于骰子损失(DL)可能会导致梯度剧烈变化从而影响反向传播导致训练困难，所以我们适当降低DL的权重，损失函数如计算公式所示：
式中y表示真实的分割图，
为模型预测的分割图，ω为两种损失的权重，本发明设置为0.3，∈为避免分母为0而设置的平滑项，本发明设置∈为1.0。
本发明的有益效果是：本发明使2D肝肿瘤分割的结果更加准确，在LiTS公开数据集上进行了组件消融测试并与当前方法进行对比测试，在肝脏及肝肿瘤分割任务中分别取得了96.2％和68.4％的平均Dice得分，该结果与部分2.5D和3D模型的效果相当，比当前最佳的2D肝肿瘤分割模型平均Dice得分高0.8％。
附图说明
图1为传统UNet结构图；
图2为总体模型及关键组件结构示意图；(A.Overall Architecture；B.FeatureSelection Module；C.Global Feature Squeeze Module；D.Neighbor Feature SelectionModule；E.Spatial Attention Module；F.Spatial Feature Residual Fusion Module)；
图3为本发明分割结果对比。
具体实施方式
实施例1，一种基于特征选择与残差融合的肝肿瘤分割方法，所述方法的具体步骤如下：
Step1、瓶颈特征部分采用全局特征选择模块(Feature Selection Module，FS)处理肝脏CT图像，邻近特征选择模块(Neighbor Feature Selection Module，NFS)处理肝肿瘤CT图像，两种模块均采用全局特征压缩操作(GFS)压缩特征图；
Step2、跳跃链接部分采用空间注意力模块(Spatial Attention Module，SAM)和空间特征残差融合模块(Spatial Feature Residual Fusion Module，SFRF)提取空间维度的有效信息并解决语义鸿沟问题；
Step3、输出分割图采用扩展路径增加特征图维度并减少特征通道数，扩展层均采用2倍上采样双线性插值法生成扩展特征图，扩展特征图通过一个卷积单元后与收缩路径同层的高分辨率特征图拼接。
进一步地，所述Step1中的全局特征选择模块具体包括如下：
使用全局特征压缩(GFS)操作，该操作通过矩阵运算在压缩特征图的同时融入空间特征，提高网络的表达能力及泛化性，如计算公式所示：
式中fGFS表示全局特征压缩操作，输入X∈RC×HW，输出fGFS(X)∈RC×1，C是特征图的通道数，H和W分别表示特征图的高和宽。
表示1*1卷积矩阵的转置，其目的是将特征图通道数由C压缩至1，全局特征选择模块(FS)，如计算公式所示fFS(X)＝σ(WE(ReLU(WSfGFS(X))))；YFS(X)＝FS(fFS(X))·X。式中fFS是全局特征选择操作，fFS(X)∈RC×1。WS∈RM×C表示1*1卷积矩阵，用于压缩通道数，M为压缩后的通道数。WE∈RC×M表示1*1卷积矩阵，用于恢复通道数为原始维度C。σ为Sigmoid函数，其目的为输出各个通道的激活值，范围为[0，1]。FS为空间维度扩展函数，功能为扩展fFS(X)空间维度与输入X一致，YFS∈RC×HW为全局特征选择模块(FS)的输出；
进一步地，所述Step1中的邻近特征选择模块具体包括如下：
邻近特征选择模块(NFS)在特征图压缩时采用上述提出的GFS操作，NFS与全局特征选择模块(FS)的区别在于NFS模块关联n个相邻的特征通道，有利于更加细微的特征表达，同时可以捕获跨通道交互，适用于处理肝肿瘤CT图像，而FS模块通过压缩全部通道融合全局特征，适合肝脏CT图像这类具有全局位置特点表达需求的数据。NFS的n邻近关联可以通过一维卷积操作实现，如计算公式所示：
其中，卷积核的大小为n，式中内核n的大小代表本组通道交互的覆盖范围，|t|odd表示与t最接近的奇数，C表示特征通道数，γ和β数值分别为2和1。邻近特征选择模块(NFS)计算公式：fNFS(X，n)＝σ(C1Dn(fGFS(X)))；YNFS(X，n)＝FS(fNFS(X，n))·X。式中fNFS表示邻近特征选择操作，输入为特征图X∈RC×HW和一维卷积核大小n，输出fNFS(X，n)∈RC×1与输入保持一致。C1Dn表示卷积核大小为n的一维卷积，σ为sigmoid函数，其输出激活值对特征图X的通道维度进行特征选择。邻近特征选择模块(NFS)输出YNFS∈RC×HW。
进一步地，所述Step2中的空间注意力模块具体包括如下：
空间注意力模型采用1*1卷积压缩通道维度至1，不改变特征图的大小，保证空间维度特征一致性，如计算公式所示：fSA(X)＝σ(WKX)；YSA(X)＝FC(fSA(X))·X。式中fSA表示空间注意力操作，输出fSA(X)∈R1×HW，WK∈R1×C为1*1卷积矩阵，用于压缩通道维度至1，σ为Sigmoid函数，输出空间维度特征的激活值。空间注意力模块的输出YSA∈RC×HW，FC为通道维度扩展函数，可通过该函数将函数输入的通道维度扩展至C。
进一步地，所述Step2中的空间特征残差融合模块SFRF具体包括：
空间特征残差融合模块(SFRF)用于解决跳跃链接带来的语义鸿沟问题。空间特征残差融合模块(SFRF)接收模型相对浅层特征(k层)及相对深层特征(k+1层)为输入，k为[1，4]中的整数。如计算公式所示：YSFRF(Xk，Xk+1)＝Xk+Fup(WFXk+1)。式中Xk∈RC×HW来自k层收缩路径的输出特征，
来自k+1层SFRF的输出特征，仅当k＝4时，Xk+1为瓶颈特征选择模块的输出，
表示H与W大小分别减半。WF∈RC×2C为1*1卷积操作，目的为压缩通道数由2C至C，Fup为2倍上采样双线性插值操作，可通过双线性插值的方式对特征图进行扩充，使输出YSFRF(Xk，Xk+1)∈RC×HW与Xk在特征维度上保持一致。
进一步地，所述Step3还包括如下：
针对数据集存在的正负样本不均衡这一情况，采用二元交叉熵(Binary crossentropy，BCE)与骰子损失(Dice Loss，DL)加权结合的方式，由于骰子损失(DL)可能会导致梯度剧烈变化从而影响反向传播导致训练困难，所以我们适当降低DL的权重，损失函数如计算公式所示：
式中y表示真实的分割图，
为模型预测的分割图，ω为两种损失的权重，本发明设置为0.3，∈为避免分母为0而设置的平滑项，本发明设置∈为1.0。
进一步地，为了验证本发明的效果，由上述步骤训练好的模型输入MICCAI 2017LiTS Challenge的训练数据集对模型进行测验，该数据集包含来自7个临床机构的131个对比增强的腹部CT扫描。该试验的环境配置为CPU：Intel(R)Silver；GPU：NVIDIA TITAN XP(12G)；内存：128G；操作系统：Ubuntu16.04。
本模型由UNet作为基础网络(Baseline)，模型组件包含全局特征选择模块(FS)或邻近特征选择模块(NFS)；空间注意力模块(SAM)；空间特征残差融合模块(SFRF)。预测结果均采用国际上常用的平均Dice得分进行衡量，该标准反映了预测结果与真实结果的相似程度。平均Dice得分的计算公式如下式所示。
式中yij与
分别表示第i例CT的第j张切片的真实分割图与模型预测分割图，N表示所有CT切片的总数。
模型组件测试结果如表1所示。在分别加入瓶颈特征选择(FS/NFS)操作后，模型相较于基础网络效果明显提升，其中肝脏分割预测结果的平均Dice得分均达到0.95以上，比基础网络的错误预测改善约37％，肝肿瘤分割预测得分均达到0.65以上。基础网络在跳跃链接处分别加入空间注意力模块(SAM)和空间特征残差融合模块(SFRF)后效果均得到提升，其中单独加入SFRF模块后效果提升有限，分析原因为SFRF模块接收了未经k层空间注意力机制(SAM)与k+1层瓶颈特征选择(FS/NFS)的原始UNet特征，导致冗余特性重复干扰模型导致训练困难。添加全部组件后，FS模块和NFS模块分别在肝脏分割和肝肿瘤分割任务中达到最高的平均Dice得分。实验结果表明了模型组件的有效性，如表2所示，在肝脏及肝肿瘤分割任务中取得了68.4％的平均Dice得分，该结果比当前最佳的2D肝肿瘤分割模型平均Dice得分67.6％高0.8％。
表1模型关键组件消融实验结果
| Model | Liver | Tumor |
| Baseline | 0.921 | 0.633 |
| Baseline+FS | 0.952 | 0.650 |
| Baseline+NFS(5) | 0.951 | 0.655 |
| Baseline+SAM | 0.945 | 0.646 |
| Baseline+SFRF | 0.931 | 0.639 |
| Baseline+SAM+SFRF | 0.952 | 0.653 |
| Baseline+FS+SAM | 0.957 | 0.661 |
| Baseline+FS+SFRF | 0.959 | 0.674 |
| Baseline+NFS(5)+SAM | 0.955 | 0.667 |
| Baseline+NFS(5)+SFRF | 0.956 | 0.676 |
| Baseline+FS+SAM+SFRF | 0.962 | 0.682 |
| Baseline+NFS(5)+SAM+SFRF | 0.959 | 0.684 |
表2本发明与其他主流分割方法对比
| Methods | Liver | Tumor |
| Attention Unet(Oktay等，2018) | 0.956 | 0.676 |
| MS-DG(Ashish等，2021) | 0.960 | 0.657 |
| MsAUNet(Soham等，2020) | 0.962 | 0.673 |
| 本发明 | 0.962 | 0.684 |
如图3所示是分割结果对比，a列是三张CT原图，b列是真实标签，c列是基准模型UNet的结果标签，d列是本发明加入FS模块之后的改进结果，e列是本发明加入NFS模块之后的改进结果；从图中可以看出，d列、e列的图可以很直接的看到与原始标签非常接近，比c列的基准模型效果要好。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于特征选择与残差融合的肝肿瘤分割方法，其特征在于：所述方法具体包括如下：
Step1、瓶颈特征部分采用全局特征选择模块处理肝脏CT图像，邻近特征选择模块处理肝肿瘤CT图像，两种模块均采用全局特征压缩操作压缩特征图；
Step2、跳跃链接部分采用空间注意力模块和空间特征残差融合模块提取空间维度的有效信息并解决语义鸿沟问题；
Step3、输出分割图采用扩展路径增加特征图维度并减少特征通道数，扩展层均采用2倍上采样双线性插值法生成扩展特征图，扩展特征图通过一个卷积单元后与收缩路径同层的高分辨率特征图拼接。
2.根据权利要求1所述基于特征选择与残差融合的肝肿瘤分割方法，其特征在于：所述Step1中的全局特征选择模块具体包括如下：
使用全局特征压缩GFS操作，该操作通过矩阵运算在压缩特征图的同时融入空间特征，提高网络的表达能力及泛化性，如计算公式所示：
式中fGFS表示全局特征压缩操作，输入X∈RC×HW，输出fGFS(X)∈RC×1，C是特征图的通道数，H和W分别表示特征图的高和宽；
表示1*1卷积矩阵的转置，其目的是将特征图通道数由C压缩至1，全局特征选择模块FS，如计算公式所示fFS(X)＝σ(WE(ReLU(WSfGFS(X))))；YFS(X)＝FS(fFS(X))·X；式中fFS是全局特征选择操作，fFS(X)∈RC×1，WS∈RM×C表示1*1卷积矩阵，用于压缩通道数，M为压缩后的通道数，WE∈RC×M表示1*1卷积矩阵，用于恢复通道数为原始维度C，σ为Sigmoid函数，其目的为输出各个通道的激活值，范围为[0,1]，FS为空间维度扩展函数，功能为扩展fFS(X)空间维度与输入X一致，YFS∈RC×HW为全局特征选择模块FS的输出。
3.根据权利要求1所述基于特征选择与残差融合的肝肿瘤分割方法，其特征在于：所述Step1中的邻近特征选择模块具体包括如下：
邻近特征选择模块NFS在特征图压缩时采用GFS操作，NFS与全局特征选择模块FS的区别在于NFS模块关联n个相邻的特征通道，有利于更加细微的特征表达，同时可以捕获跨通道交互，适用于处理肝肿瘤CT图像，而全局特征选择模块FS通过压缩全部通道融合全局特征，适合肝脏CT图像这类具有全局位置特点表达需求的数据；邻近特征选择模块NFS的n邻近关联能通过一维卷积操作实现，如计算公式所示：
其中，卷积核的大小为n，式中内核n的大小代表本组通道交互的覆盖范围，|t|odd表示与t最接近的奇数，C表示特征通道数，γ和β数值分别为2和1；邻近特征选择模块NFS计算公式：fNFS(X,n)＝σ(C1Dn(fGFS(X)))；YNFs(X,n)＝Fs(fNFS(X,n))·X；式中fNFS表示邻近特征选择操作，输入为特征图X∈RC×HW和一维卷积核大小n，输出fNFS(X,n)∈RC×1与输入保持一致；C1Dn表示卷积核大小为n的一维卷积，σ为sigmoid函数，其输出激活值对特征图X的通道维度进行特征选择；邻近特征选择模块NFS输出YNFS∈RC×HW。
4.根据权利要求1所述的基于特征选择与残差融合的肝肿瘤分割模型方法，其特征在于：所述Step2中的空间注意力模块具体包括如下：
空间注意力模型采用1*1卷积压缩通道维度至1，不改变特征图的大小，保证空间维度特征一致性，如计算公式所示：fSA(X)＝σ(WKX)；YSA(X)＝FC(fSA(X))·X；式中fSA表示空间注意力操作，输出fSA(X)∈R1×HW，WK∈R1×C为1*1卷积矩阵，用于压缩通道维度至1，σ为Sigmoid函数，输出空间维度特征的激活值；空间注意力模块的输出YSA∈RC×HW，FC为通道维度扩展函数，可通过该函数将函数输入的通道维度扩展至C。
5.根据权利要求1所述的基于特征选择与残差融合的肝肿瘤分割模型方法，其特征在于：所述Step2中的空间特征残差融合模块SFRF具体包括：
空间特征残差融合模块SFRF用于解决跳跃链接带来的语义鸿沟问题；空间特征残差融合模块SFRF接收模型相对浅层特征(k层)及相对深层特征(k+1层)为输入，k为[1,4]中的整数；如计算公式所示：YSFRF(Xk,Xk+1)＝Xk+Fup(WFXk+1)；式中Xk∈RC×HW来自k层收缩路径的输出特征，
来自k+1层SFRF的输出特征，仅当k＝4时，Xk+1为瓶颈特征选择模块的输出，
表示H与W大小分别减半；WF∈RC×2C为1*1卷积操作，目的为压缩通道数由2C至C，Fup为2倍上采样双线性插值操作，可通过双线性插值的方式对特征图进行扩充，使输出YSFRF(Xk,Xk+1)∈RC×HW与Xk在特征维度上保持一致。
6.根据权利要求1所述基于特征选择与残差融合的肝肿瘤分割方法：所述Step3还包括如下：
针对数据集存在的正负样本不均衡这一情况，采用二元交叉熵与骰子损失加权结合的方式，由于骰子损失可能会导致梯度剧烈变化从而影响反向传播导致训练困难，所以降低DL的权重，损失函数如计算公式所示：
式中y表示真实的分割图，
为模型预测的分割图，ω为两种损失的权重，设置为0.3，∈为避免分母为0而设置的平滑项，设置∈为1.0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111557668.2A CN114066883A (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征选择与残差融合的肝肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111557668.2A CN114066883A (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征选择与残差融合的肝肿瘤分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066883A true CN114066883A (zh) | 2022-02-18 |
Family
ID=80229836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111557668.2A Pending CN114066883A (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征选择与残差融合的肝肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066883A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114995782A (zh) * | 2022-08-03 | 2022-09-02 | 上海登临科技有限公司 | 数据处理方法、装置、设备和可读存储介质 |
| CN115619687A (zh) * | 2022-12-20 | 2023-01-17 | 安徽数智建造研究院有限公司 | 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质 |
-
2021
- 2021-12-20 CN CN202111557668.2A patent/CN114066883A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114995782A (zh) * | 2022-08-03 | 2022-09-02 | 上海登临科技有限公司 | 数据处理方法、装置、设备和可读存储介质 |
| CN114995782B (zh) * | 2022-08-03 | 2022-10-25 | 上海登临科技有限公司 | 数据处理方法、装置、设备和可读存储介质 |
| CN115619687A (zh) * | 2022-12-20 | 2023-01-17 | 安徽数智建造研究院有限公司 | 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584252B (zh) | 基于深度学习的ct影像的肺叶段分割方法、装置 | |
| CN108596884B (zh) | 一种胸部ct图像中的食管癌分割方法 | |
| WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
| Li et al. | Classification of breast mass in two‐view mammograms via deep learning | |
| CN114066883A (zh) | 一种基于特征选择与残差融合的肝肿瘤分割方法 | |
| Xie et al. | SERU: A cascaded SE‐ResNeXT U‐Net for kidney and tumor segmentation | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| Chen et al. | A deep residual attention-based U-Net with a biplane joint method for liver segmentation from CT scans | |
| CN111784713A (zh) | 一种引入注意力机制的u形心脏分割方法 | |
| Hou et al. | Mass segmentation for whole mammograms via attentive multi-task learning framework | |
| Zhang et al. | Attention-guided feature extraction and multiscale feature fusion 3d resnet for automated pulmonary nodule detection | |
| Yadav et al. | Deep learning-based CAD system design for thyroid tumor characterization using ultrasound images | |
| Pi et al. | Automated assessment of BI-RADS categories for ultrasound images using multi-scale neural networks with an order-constrained loss function | |
| Yu et al. | 3D Medical Image Segmentation based on multi-scale MPU-Net | |
| CN115631387B (zh) | 基于图卷积神经网络的肺癌病理高危因素预测方法和装置 | |
| Wu et al. | Automatic liver tumor segmentation used the cascade multi-scale attention architecture method based on 3D U-Net | |
| Iqbal et al. | LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation | |
| Wang et al. | An improved CapsNet applied to recognition of 3D vertebral images | |
| Heidarian et al. | Cae-transformer: Transformer-based model to predict invasiveness of lung adenocarcinoma subsolid nodules from non-thin section 3d ct scans | |
| Cao et al. | EFAG-CNN: Effectively fused attention guided convolutional neural network for WCE image classification | |
| CN112151175A (zh) | 一种基于影像学数据的计算机辅助多人决策方法、系统及设备 | |
| CN113744210A (zh) | 基于多尺度注意力U-net网络的心脏分割方法 | |
| Chen et al. | Hybrid‐attention densely connected U‐Net with GAP for extracting livers from CT volumes | |
| CN114298957A (zh) | 一种乳腺钼靶图像病灶的分类方法、系统及存储介质 | |
| Lin et al. | Glandular Cell Image Segmentation Method based on Improved SegNet Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |