CN112785598A - 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 - Google Patents
基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 Download PDFInfo
- Publication number
- CN112785598A CN112785598A CN202011225593.3A CN202011225593A CN112785598A CN 112785598 A CN112785598 A CN 112785598A CN 202011225593 A CN202011225593 A CN 202011225593A CN 112785598 A CN112785598 A CN 112785598A
- Authority
- CN
- China
- Prior art keywords
- attention
- network
- module
- improved
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法,步骤(A),构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构;步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函数,用于获取更准确的网络损失值;步骤(C),根据注意力增强改进U型网络结构以及混合注意力损失函数,通过粗细结合的网络分层训练方式,对网络参数进行微调,提高网络参数的精度,实现对乳腺超声图像病灶区域的快速定位和分割。本发明能够用来提取乳腺超声图像的病灶区域,可有效提高乳腺肿瘤分割的准确性,用以辅助医生快速准确进行病灶区域定位,降低医生工作量,缓解年轻医生临床经验不足等缺陷,对现代医学具有非常重要的研究价值和应用前景。
Description
技术领域
本发明涉及超声图像的乳腺肿瘤自动分割技术领域,具体涉及一 种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法。
背景技术
目前,乳腺癌是仅次于皮肤癌的一种严重危害妇女健康的疾病。 随着现代医学的发展,早期诊断和治疗可以大大提升乳腺癌患者的存 活率。目前,乳腺肿瘤的诊断可分为侵入性和非侵入性诊断。侵入性 诊断主要指活检,但这会对乳腺组织造成物理损伤,给患者带来痛苦; 非侵入性诊断则包括使用X射线、MRI(磁共振成像)、超声影像等 技术对乳腺病变区域进行检查。在各种检查方式中,鉴于低辐射、低 成本和实时性等优点,超声影像检查已成为乳腺肿瘤早期诊断的首选 方法。
在进行超声乳腺肿瘤诊断过程中,超声医生首先需要缓慢移动探 头寻找患者的病变组织,确定病灶区域范围,这是进行乳腺肿瘤诊断 的第一步。然而,由于超声图像的低照度特点,肿瘤形态的多样性, 以及乳房不同组织间可能存在的侵润性等特点,超声医生需要根据临 床经验反复观察才能确定病灶的准确位置和区域,这无疑增加了医生 的诊断难度和工作量,也延长了患者的就诊时间。同时,由于年轻医 生临床经验不足、人眼视觉疲劳等原因,有时也会出现病灶区域的误 检测或漏检测。因此,利用计算机辅助诊断(Computer Aided Diagnosis,CAD)系统实现超声乳腺肿瘤区域的自动分割,有助于提高医生诊断的准确率,降低工作量,缓解基层医院优秀超声医生不足的 现状,对现代医学具有非常重要的研究价值和应用前景。
目前,超声乳腺肿瘤区域分割算法主要分为两大类:基于图像处 理的传统分割算法和基于深度神经网络的语义分割算法,均存在不足, 具体介绍如下:
(1)基于图像处理的传统图像分割算法主要包括阈值法、聚类 法、分水岭法、活动轮廓模型法、马尔科夫随机场法、图论法等等。 虽然已取得了一定研究成果,但传统方法均需要手工设定一些初始参 数,例如,阈值法中需要提供诸如区域中心、高度、宽度等初始参数; 模糊C均值聚类算法则需要手工设置初始化聚类区域数目和噪声容 限水平;活动轮廓模型则需要提供肿瘤区域内初始化圆形轮廓。这些 初始参数设置是否准确,对最终分割结果好坏有很大影响。同时,变 换数据后,初始参数设置也需要更新,不具有自动分割性能。
(2)基于深度神经网络的语义分割算法逐渐被应用在医学图像 中,并取得了不错的分割效果。常用的深度神经网络模型主要有FCN 网络,U型网络,Mask-RCNN网络等等。与主要依赖浅层特征的传 统分割算法相比,深度神经网络模型结合了浅层特征和高级语义特征, 从像素级角度进行分析判断,可以获得更精确的分割结果。但是,由 于训练数据的大量缺乏,以及超声图像对比度低,可疑病变与周围组 织之间相互侵润,以及肿瘤形态的多样性等特点,基于深度神经网络 的超声乳腺肿瘤区域分割研究仍处于起步阶段,分割效果仍有待进一 步提高。
发明内容
本发明的目的是克服现有技术中超声乳腺肿瘤区域分割算法存 在的问题。本发明的基于注意力增强改进U型网络(Improved Attention-enhancing Unet,Improved AE-Unet),用来提取超声乳腺图 像的病灶区域,可有效提高乳腺肿瘤分割的精确度,用以辅助医生快 速准确诊断,降低医生的误检率和漏检率,缓解超声医生工作强度大、 基层医院优秀超声医生不足等现状,对现代医学具有非常重要的研究 价值和应用前景。
为了达到上述目的,本发明所采用的技术方案是:
一种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方 法,包括以下步骤,
步骤(A),构建用于提取出超声乳腺肿瘤目标特征的注意力增 强改进U型网络结构;
步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函 数,用于获取更准确的网络损失值;
步骤(C),根据注意力增强改进U型网络结构以及混合注意力 损失函数,通过粗细结合的网络分层训练方式,对网络参数进行微调, 提高网络参数的精度,实现对乳腺超声图像病灶区域的快速定位和分 割。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割 方法,步骤(A),所述注意力增强改进型U型网络结构包括一个左 侧编码路径、一个右侧解码路径和四个中间注意力门模块组成,每个 模块的上数值表示通道数,下数值表示输出尺寸,将左侧支路从上到 下分为四层,右侧支路从下到上也分为四层,构建用于提取出超声乳 腺肿瘤细节特征的注意力增强改进U型网络结构,包括以下步骤,
(A1)建立左侧编码路径,该左侧编码路径包含左卷积运算模 块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩 展残差卷积运算模块五个运算模块,所述左卷积运算模块用于获取更 丰富的超声图像纹理特征,所述左卷积预算模块的卷积核大小均为 7*7;每个所述左卷积运算后均需经过左修正线性单元运算模块激活 函数,用于增强网络的非线性判别能力;用步长为2的最大池化对 7*7卷积运算模块运算输出的通道特征进行下采样运算,保留主要特 征同时降低网络参数,用于防止过拟合,然后由残差卷积模块和扩展 残差卷积模块依次提取图像的深层语义特征,残差卷积模块采用两个 3*3卷积运算模块级联构成,扩展残差卷积模块在跨层连接支路上又 增加了一个1*1卷积运算模块,用于扩展特征通道数;
(A2)建立右侧扩展路径,该右侧扩展路径包含上采样运算模 块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四 个运算模块,上采样运算模块采用2*2反卷积,对超声乳腺肿瘤深层 特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数, 使中间注意力门模块的两路输入数据参数一致,对超声乳腺肿瘤深层 特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数, 为了使注意力门的两路输入数据参数一致,然后3*3卷积运算模块, 用于后续的像素级分类预测,每个所述卷积运算模块后均需经过右修 正线性单元运算模块激活函数,用于增强网络的非线性判别能力,最 后,在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量 映射为各个像素的分类概率值,实现超声乳腺肿瘤分割;
(A3)建立四个中间注意力门模块,该四个注意力门模块从下 到上分布,具体对编码路径的l层特征图xl和解码路径的l+1层特征图 g分别进行通道数为Cint的1*1卷积运算模块卷积运算,所述编码路径 的l层尺寸特征图xl的尺寸为Hx*Wx,所述解码路径的l+1层特征图g 的尺寸为Hg*Wg,将得到的两个特征图相加,送入修正线性单元运算 模块激活函数进行非线性运算,然后将修正线性单元运算模块输出特 征图再进行通道数为1的1*1卷积运算模块卷积运算,经过Sigmoid 激活函数,重采样为原尺寸Hx*Wx大小,得到权值矩阵α,最后将权 值矩阵α与编码路径特征图xl相乘,得到最终的增强特征图
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法, 步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函 数,用于获取更准确的网络损失值,包括以下步骤,
(B1)在传统损失函数基础上又融入四个注意力损失函数,用 于获取更准确的网络损失值,注意力增强改进U型网络结构的混合 注意力损失函数计算公式如下:
其中,λBCE(pre,mask)为传统损失函数,λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、 λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数,其中,α1、 α2、α3、α4是四个注意力门的输出权值,mask1、mask2、mask3、mask4则 为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图,λ、λ1、 λ2、λ3、λ4为损失系数,取λ1+λ2+λ3+λ4=1/2,λ=1/2,式(1)中BCE(·) 是二分类交叉熵损失函数的缩写,具体表示为 其中,y和分别表示为预测值和真实 值;
(B2)进一步提高损失函数精度,加速网络收敛,引入了特征 图纹理一致性指标Uk,用于衡量四个注意力门损失值在总体损失值中 所占比重,计算公式如下:
其中,Uk(k=1,2,3,4)分别表示注意力增强U型网络结构从下到上 四个注意力门输出特征图的纹理一致性,Uk越大,特征图纹理越平滑, 反之,越粗糙;pk(zi)(i=0,1,2,...,L-1)为特征图对应的直方图,L为可 区分的灰度级数目。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割 方法,其特征在于:步骤(B),λ1、λ2、λ3、λ4为四个中间注意力门 模块的损失函数系数,通过公式(3)-公式(6)计算得到,
其中,Uk(k=1,2,3,4)分别表示注意力增强U型网络结构从下到上 四个注意力门输出特征图的纹理一致性。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割 方法,其特征在于:步骤(C),根据注意力增强改进U型网络结构 以及混合注意力损失函数,通过粗细结合的网络分层训练方式,对网 络参数进行微调,提高网络参数的精度,实现对乳腺超声图像病灶区 域的快速定位和分割,先用总体损失函数训练整体网络,使网络损失 值下降且趋于稳定,网络参数达到局部最优;再用注意力损失函数和 传统损失函数,依次交替训练主干网络和中间注意力门模块,对网络 参数进行微调,提高网络参数的精度,具体实现步骤如下,
(C1)在训练集上训练n(n>0)个epochs,前m(0<m<n)个epochs 训练中,学习率为0.0001,使用公式(1)的总体损失函数对整个网 络结构进行参数更新,使网络损失值下降趋于稳定,并得到局部最优 网络权值;
(C2)在m+1~n个epochs训练中,将学习率调整到0.00001, 并依次使用注意力损失函数公式(7)和传统损失函数公式(8)进行 网络参数更新:
LossA=λ1BCE(α1,mask1)+λ2BCE(α2,mask2)+λ3BCE(α3,mask3)+λ4BCE(α4,mask4) (7)
LossP=λBCE(pre,mask) (8);
(C3)第m+1个epoch训练时,固定主干网络中左侧编码路径以 及右侧解码路径中的权值参数,仅使用注意力损失函数(7)迭代更 新网络中间注意力门模块的参数;第m+2个epoch训练时,固定网络 中间注意力门模块的参数,仅使用传统损失函数公式(8)迭代更新主干网络左侧编码路径以及右侧解码路径的权值参数,依此类推,在 得到的局部最优网络权值基础上进行微调,不断提高网络参数的精度, 得到全局最优网络权值,从而实现超声乳腺肿瘤分割。
本发明的有益效果是:本发明的基于注意力增强改进U型网络的 超声乳腺肿瘤自动分割方法,在U型网络基础上从三个方面进行改 进:
首先,对U型网络结构进行改进,鉴于U型网络中编码路径和解 码路径是串行连接,对编码路径进行优化改进,采用残差卷积运算和 扩展残差卷积运算代替传统的卷积运算,既缓解了由于网络层数加深 而导致的梯度爆炸或梯度消失问题,又使用残差跨层连接实现浅层特 征的再利用,用以进一步提取出更丰富的超声乳腺肿瘤细节特征,在 不增加计算成本的前提下,有效提高了乳腺肿瘤的分割精度,在传统 U型网络中编码路径和解码路径的跳层连接部分引入注意力机制,用 于进一步抑制特征图背景中的无关信息,突出目标信息;
其次,对网络损失函数进行改进,在传统U型网络损失函数基础 上融入四个注意力损失函数,用于迭代优化获得更准确的网络权值参 数,又引入了特征图纹理一致性指标,用于衡量四个注意力函数损失 值在总体损失值中所占比重,有效利用关键特征,加速网络收敛。
最后,对网络训练方式进行改进,采用粗细结合的分层训练策略, 首先基于总体损失函数训练整体网络,使网络损失值下降且趋于稳定, 网络参数达到局部最优;再用注意力损失函数和传统损失函数,依次 交替训练主干网络和中间注意力门模块,对网络参数进行微调,提高 网络参数的精度,两者结合,大大提高了网络的分割性能。
本发明用来提取超声乳腺图像的病灶区域,可有效提高乳腺肿瘤 分割的精确度,用以辅助医生快速准确诊断,降低医生的误检率和漏 检率,缓解超声医生工作强度大、基层医院优秀超声医生不足等现状, 对现代医学具有非常重要的研究价值和应用前景。
附图说明
图1是本发明的超声图像的乳腺肿瘤自动分割方法的流程图;
图2是本发明的注意力增强改进U型网络的结构图;
图3是本发明的残差卷积模块内部结构图;
图4是本发明的扩展残差卷积模块内部结构图;
图5是本发明的注意力门结构图;
图6是本发明的Dice系数曲线图;
图7是本发明的部分超声乳腺肿瘤图像
图8是本发明的部分乳腺超声图像分割结果图;
图9是本发明U型网络(U-net)四个跳层连接输出特征图;
图10是本发明注意力U型网络(Attention-Unet)四个跳层连接输出特征 图;
图11是本发明引入混合注意力损失函数的注意力U型网络(Attention-Unet withmixed attention loss)四个跳层连接输出特征图;
图12是本发明的注意力增强改进U型网络(Improved AE-Unet) 的四个跳层连接输出特征图。
具体实施方式
下面将结合说明书附图,对本发明作进一步的说明。
如图1所示,基于注意力增强改进U型网络的超声乳腺肿瘤自 动分割方法,包括以下步骤,
步骤(A),构建用于提取出超声乳腺肿瘤目标特征的注意力增 强改进U型网络结构;
步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函 数,用于获取更准确的网络损失值;
步骤(C),根据注意力增强改进U型网络结构以及混合注意力 损失函数,通过粗细结合的网络分层训练方式,对网络参数进行微调, 提高网络参数的精度,实现对乳腺超声图像病灶区域的快速定位和分 割。
如图2-3所示:步骤(A),所述注意力增强改进U型网络结构 包括一个左侧编码路径、一个右侧解码路径和四个中间注意力门模块 组成,每个模块的上数值表示通道数,下数值表示输出尺寸,将左侧 支路从上到下分为四层,右侧支路从下到上也分为四层,构建用于提 取出超声乳腺肿瘤细节特征的U型网络结构,包括以下步骤,
(A1)建立左侧编码路径,该左侧编码路径包含左卷积运算模 块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩 展残差卷积运算模块五个运算模块,所述左卷积运算模块用于获取更 丰富的超声图像纹理特征,所述左卷积预算模块的卷积核大小均为 7*7;每个所述左卷积运算后均需经过左修正线性单元运算模块激活 函数,用于增强网络的非线性判别能力;用步长为2的Max pooling 对7*7卷积运算模块运算输出的通道特征进行下采样运算,保留主要 特征同时降低网络参数,用于防止过拟合,提高泛化性能,然后由残 差卷积模块和扩展残差卷积模块依次提取图像的深层语义特征,残差 卷积模块采用两个3*3卷积运算模块级联构成,扩展残差卷积模块在 跨层连接支路上又增加了一个1*1卷积运算模块,用于扩展特征通道 数;
该步骤的具体实施方式为,首先,用7×7卷积运算和修正线性单 元运算将1幅原始超声图像转换为64通道的特征图,采用7×7卷积 核,其目的是使用较大感受野获取更丰富的超声图像纹理特征,且不 增加卷积深度;卷积运算后经过修正线性单元激活运算,是为了增强 网络的非线性判别能力,7×7卷积+修正线性单元运算的参数取值如 表1所示:
表1 7×7 Conv+修正线性单元运算参数列表
然后,用步长为2的Max pooling对7×7卷积运算输出的64 通道特征图进行下采样运算,为了保留特征图主要信息同时, 降低权值参数个数,防止网络过拟合,提高网络泛化性能。
表2 Max pooling运算参数列表
模块 | 步长参数 | 输入尺寸 | 输出尺寸 |
Max pooling | 2 | 250×200×64 | 125×100×64 |
最后,采用通道数不断增加、输出尺寸不断减小的残差卷积模块 (Residual ConvBlock)和扩展残差卷积模块(Extended Residual Conv Block)依次提取图像的深层语义特征,其中,残差卷积模块和扩展 残差卷积模块的内部结构,从图2和图3中可以看出,残差卷积模块 采用两个3×3卷积模块级联构成,扩展残差卷积模块则在跨层连接支 路上又增加了一个1×1卷积模块,用于扩展特征通道数,本发明提出 的注意力增强改进U型网络结构的混合注意力损失函数中左侧编码 路径各个残差卷积模块和扩展残差卷积模块的参数取值如表3所示
表3 残差卷积运算和扩展残差卷积运算参数列表
模块 | 所在层 | 卷积核参数 | 卷积步长 | 输入尺寸 | 输出尺寸 |
Residual Conv-64 | L1 | 3×3×64 | 1 | 125×100×64 | 125×100×64 |
Residual Conv-64 | L1 | 3×3×64 | 1 | 125×100×64 | 125×100×64 |
Extended Residual Conv-128 | L2 | 3×3×128 | 2 | 125×100×64 | 63×50×128 |
Residual Conv-128 | L2 | 3×3×128 | 1 | 63×50×128 | 63×50×128 |
Extended Residual Conv-256 | L3 | 3×3×256 | 2 | 63×50×128 | 32×25×256 |
Residual Conv-256 | L3 | 3×3×256 | 1 | 32×25×256 | 32×25×256 |
Extended Residual Conv-512 | L4 | 3×3×512 | 2 | 32×25×256 | 16×13×512 |
Residual Conv-256 | L4 | 3×3×512 | 1 | 16×13×512 | 16×13×512 |
从表中可以看出,在残差卷积模块中,输出尺寸与输入尺寸大小一致, 通道数相同,而在扩展残差卷积模块中,输出尺寸是输入的一半,通 道数扩展为原来的2倍。
(A2)建立右侧扩展路径,该右侧扩展路径包含上采样运算模 块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四 个运算模块,上采样运算模块采用2*2反卷积,对超声乳腺肿瘤深层 特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数, 使中间注意力门模块的两路输入数据参数一致,对超声乳腺肿瘤深层 特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数, 为了使注意力门的两路输入数据参数一致,然后3*3卷积运算模块, 用于后续的像素级分类预测,每个所述卷积运算模块后均需经过右修 正线性单元运算模块激活函数,用于增强网络的非线性判别能力,最 后,在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量 映射为各个像素的分类概率值,实现超声乳腺肿瘤分割;
该步骤的具体实施方式为,首先,对超声乳腺肿瘤深层特征图进 行上采样运算,用于扩大输出图像尺寸和降低特征通道数,其目的是 为了使注意力门的两路输入数据参数一致,这里,上采样运算采用 2*2反卷积实现。
然后,用通道数不断减少、输出尺寸不断增大的3×3卷积运算依 次扩展特征图,便于后续的像素级分类预测。右侧支路不同层的 3×3卷积运算模块的参数如表4所示,每个卷积运算后均经过修 正线性单元激活运算,用于增强网络的非线性判别能力。
表4 卷积运算参数列表
模块 | 所在层 | 卷积核参数 | 卷积步长 | 输入尺寸 | 输出尺寸 |
3×3 Conv-256 | R4 | 3×3×256 | 1 | 32×25×512 | 32×25×256 |
3×3 Conv-256 | R4 | 3×3×256 | 1 | 32×25×256 | 32×25×256 |
3×3 Conv-128 | R3 | 3×3×128 | 1 | 63×50×256 | 63×50×128 |
3×3 Conv-128 | R3 | 3×3×128 | 1 | 63×50×128 | 63×50×128 |
3×3 Conv-64 | R2 | 3×3×64 | 1 | 125×100×128 | 125×100×64 |
3×3 Conv-64 | R2 | 3×3×64 | 1 | 125×100×64 | 125×100×64 |
3×3 Conv-64 | R1 | 3×3×64 | 1 | 250×200×128 | 250×200×64 |
3×3 Conv-64 | R1 | 3×3×64 | 1 | 250×200×64 | 250×200×64 |
最后,在右侧解码路径末端使用1*1卷积运算将32通道特征向 量映射为各个像素的分类概率值,这里分类类别为病灶目标和背景两 类,从而实现超声乳腺肿瘤分割;
(A3)建立四个中间注意力门模块,该四个注意力门从下到上 分布,具体对编码路径的l层特征图xl和解码路径的l+1层特征图g分 别进行通道数为Cint的1*1卷积运算模块卷积运算,所述编码路径的l 层尺寸特征图xl的尺寸为Hx*Wx,所述解码路径的l+1层特征图g的尺 寸为Hg*Wg,将得到的两个特征图相加,送入修正线性单元运算模块 激活函数进行非线性运算,然后将修正线性单元运算模块输出特征图 再进行通道数为1的1*1卷积运算模块卷积运算,经过Sigmoid激活 函数,重采样为原尺寸Hx*Wx大小,得到权值矩阵α,最后将权值矩 阵α与编码路径特征图xl相乘,得到最终的增强特征图
步骤(B),建立混合注意力损失函数的注意力增强改进U型网络结 构,用于获取更准确的网络损失值,包括以下步骤,
(B1)在传统损失函数基础上又融入四个注意力损失函数,用 于获取更准确的网络损失值,注意力增强改进U型网络结构的混合 注意力损失函数计算公式如下:
其中,λBCE(pre,mask)为传统损失函数,λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、 λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数,其中,α1、 α2、α3、α4是四个注意力门的输出权值,mask1、mask2、mask3、mask4则 为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图,λ、λ1、 λ2、λ3、λ4为损失系数,取λ1+λ2+λ3+λ4=1/2,λ=1/2,式(1)中BCE(·) 是二分类交叉熵损失函数的缩写,具体表示为 其中,y和分别表示为预测值和真实 值;
(B2)进一步提高损失函数精度,加速网络收敛,引入了特征 图纹理一致性指标Uk,用于衡量四个注意力门损失值在总体损失值中 所占比重,计算公式如下:
其中,Uk(k=1,2,3,4)分别表示注意力增强U型网络模型从下到上 四个注意力门输出特征图的纹理一致性,Uk越大,特征图纹理越平滑, 反之,越粗糙;pk(zi)(i=0,1,2,...,L-1)为特征图中每个灰度值zi所占像 素比例,L为可区分的灰度级数目,由此得到四个注意力损失系数λ1、 λ2、λ3和λ4的计算公式如下,
其中,Uk(k=1,2,3,4)分别表示注意力增强U型网络结构从下到上 四个注意力门输出特征图的纹理一致性。
如图4所示,步骤(C),根据注意力增强改进U型网络结构以 及混合注意力损失函数,通过粗细结合的网络分层训练方式,对网络 参数进行微调,提高网络参数的精度,实现对乳腺超声图像病灶区域 的快速定位和分割。先用总体损失函数训练整体网络,使网络损失值 下降且趋于稳定,网络参数达到局部最优;再用注意力损失函数和传 统损失函数,依次交替训练主干网络和中间注意力门模块,对网络参 数进行微调,提高网络参数的精度,具体实现步骤如下,
(C1)在训练集上训练n(n>0)个epochs,前m(0<m<n)个epochs 训练中,学习率为0.0001,使用公式(1)的总体损失函数对整个网 络结构进行参数更新,使网络损失值下降趋于稳定,并得到局部最优 网络权值;
(C2)在m+1~n个epochs训练中,将学习率调整到0.00001, 并依次使用注意力损失函数公式(7)和公式(8)进行网络参数更新,
LossA=λ1BCE(α1,mask1)+λ2BCE(α2,mask2)+λ3BCE(α3,mask3)+λ4BCE(α4,mask4) (7)
LossP=λBCE(pre,mask) (8);
(C3)第m+1个epoch训练时,固定主干网络中左侧收缩路径以及 右侧扩张路径中的参数,仅使用公式(7)作为损失函数更新网络中 间四个注意门的参数;第m+2个epoch训练时,固定网络中间四个注 意门的参数,仅使用公式(8)作为损失函数迭代更新主干网络左侧 编码路径以及右侧解码路径的权值参数,依此类推,在得到的局部最 优网络权值基础上进行微调,不断提高网络参数的精度,得到全局最 优网络权值,从而实现超声乳腺肿瘤分割。
如图5所示,本发明的训练的一个实施例,训练集迭代epochs=100 时,验证集的Dice系数(Dice_coeff)曲线图,其中, X为网络分割结果,Y为标准分割模板,Dice系数值越大,说明分割 效果越准确。从图中可以看出,到第50次迭代时,网络训练已达到 基本稳定。因此,本发明实验中选择n=60,m=50进行层次训练。
如图6所示,本发明进行实验的数据采集于VINNO 70超声诊断 仪,探头发射频率为5MHz~14MHz,共采集了316张超声乳腺肿瘤 图像,以及对应的由高年资超声医生手动分割的316张标准分割模板 图,部分超声乳腺肿瘤图像,图中(a)~(c)为良性肿瘤,(d)~(f)为恶性肿瘤,本发明实验环境为Ge-Force GTX 2080 Ti,Intel Core i7-8700,内存32G,操作系统为64位的ubuntu18,软件平台使用 Pytorch深度学习框架,利用CUDA工具加速计算;
可以看出,超声乳腺图像存在对比度低,肿瘤形态各异,以及可 疑病变与周围组织特征不易区分等特点,这导致采用深度神经网络准 确分割超声乳腺肿瘤难度大。同时,由于行业限制,带有标签的训练 数据也不易获取,这无疑又增大的网络准确分割的难度。为了获得性 能良好的分割网络,本发明对原始数据集进行扩增。在实验中,将原 始数据集(316张)分为训练集(203张),验证集(34张)和测试 集(79张)三类,分别对训练集进行水平翻转和弹性形变操作,对 验证集进行水平翻转操作,得到扩增后的数据集,
表5扩增数据集构成
训练集(张) | 验证集(张) | 测试集(张) | 总数量(张) | |
原数据集 | 203 | 34 | 79 | 316 |
水平翻转 | 203 | 34 | 0 | |
弹性形变 | 845 | 0 | 0 | |
扩增后数据集 | 1251 | 68 | 79 | 1398 |
如表5所示,需要强调的是,由于乳腺肿瘤存在一些固有特征,如肿 瘤方向、边缘纹理、区域大小等,所以本发明没有对图像进行旋转、 剪切等扩增操作,避免影响乳腺肿瘤的固有特征,
如图7所示,为了验证本发明的有效性,采用Improved AE-Unet 网络和其他网络(FCN16s、FCN8s、SegNet、U-net、Attention-Unet) 对超声乳腺肿瘤图像进行分割,其中,图(a)~(e)为原始超声乳腺图像, 图(a1)、(b1)~(e1)为对应的标准分割模板图,图(a2)、(b2)~(e2)为 FCN16s网络分割结果图,图(a3)、(b3)~(e3)为FCN8s网络分割结果 图,图(a4)、(b4)~(e4)为Segnet网络分割结果图,图(a5)、(b5)~(e5) 为传统U型网络(U-net)分割结果图,图(a6)、(b6)~(e6)为传统U型网 络中加入注意力门的分割结果图,即Attention-Unet网络分割结果图, 图(a7)、(b7)~(e7)为Attention-Unet网络中引入混合注意力损失函数的 分割结果图,即Attention-Unet(with mixed attention loss)分割结果 图。图(a8)、(b8)~(e8)为本发明提出的Improved AE-Unet分割结果图。 分析图7我们可以看出:
①Segnet网络分割效果最差,对于肿瘤边缘清晰的良性超声乳腺 图像,仍不能准确分割出完整的病灶区域(如图(a4)所示),对于组织 间相互侵润的恶性超声乳腺图像,则分割效果更差(如图(e4)所示)。
②FCN16s和FCN8s网络分割效果次之,但仍会出现分割区域不 完整的情况(如图(c2),(c3)),也会出现误检测(见图(a2),(a3))和漏 检测的情况(见图(e2),(e3))。
③传统U型网络(U-net)分割效果优于Segnet、FCN16s和FCN8s 网络,但不如Attention-Unet网络。例如,传统U型网络(U-net)虽然 可以较准确定位病灶区域,但会出现部分像素误检测(见图b(5))或 漏检测(见图e(5))的情况,而Attention-Unet网络在传统U型网络 中引入了注意力机制,使得分割病灶区域更完整、更准确,如图b(6) 和e(6)所示。这充分说明,在网络中引入注意力机制有助于抑制背景 噪声,增强目标特征,提高网络分割性能。
④比较Attention-Unet和Attention-Unet(with mixed attention loss) 网络的分割效果,我们发现,对于肿瘤边缘清晰的良性超声乳腺图像, 两者分割效果相当(如图a(6)和a(7)所示),但对于组织间相互侵润 的恶性超声乳腺图像,Attention-Unet(withmixed attention loss)网络 的分割效果更佳(如图e(6)和e(7)所示)。由此可见,在Attention-Unet 网络中又引入混合注意力损失函数,可以进一步提高网络的分割性能。
⑤最后,U-net、Attention-Unet、Attention-Unet(with mixed attention loss)以及本发明注意力增强改进U型网络(Improved AE-Unet)的分割 效果。我们发现,这四种网络分割效果逐渐提高,注意力增强改进U 型网络结构的分割效果达到最佳。究其原因,分析这四种网络结构, 我们发现,Attention-Unet网络是在传统U型网络中引入注意力机制,Attention-Unet(with mixed attention loss)网络则是在Attention-Unet 上又引入混合注意力损失函数,而本发明注意力增强改进U型网络 (Improved AE-Unet)则是在传统U型网络基础上引入注意力机制和混 合注意力损失函数,同时又进行了网络结构改进,用残差卷积模块、 扩展残差卷积模板代替左侧编码路径中的卷积模块,用来获取更丰富 的乳腺肿瘤纹理特征,进一步提高乳腺肿瘤的分割精度。
如图8所述,为了进一步直观感受本发明提出的注意力增强改进 U型网络结构以及注意力机制、混合注意力损失函数引入在抑制背景 噪声、增强目标特征上的有效性,给出了U-net、Attention-Unet、 Attention-Unet(with mixed attention loss)以及本发明注意力增强改进 U型网络(Improved AE-Unet)的跳层连接路径(即图1中虚线路径) 输出特征图,图中,尺寸从小到大的特征图依次为网络中从下(浅) 往上(深)四个跳层连接的输出特征图,并且大特征图的尺寸是小特 征图尺寸的两倍。从图中可以看出,从U型网络到注意力增强改进U 型网络,输出特征图中背景噪声逐渐减少,目标特征逐渐增强,在注 意力增强改进U型网络特征图中达到最佳,背景区域噪声明显抑制, 肿瘤目标特征明显增强,为后续像素级预测提供了更精准的分割区域。
为了从统计角度进一步说明本发明的有效性,又使用了准确率(Accuracy)、F1分数、平均交并比(M-IOU)、曲线下面积(AUC)、 敏感度(Sensitivity)、特异度(Specitivity)、阳性预测值(Positive Predicitive Value,PPV)、阴性预测值(NegativePredicitive Value,NPV) 8个性能指标进行评价,实验结果如表6所示。
表6-1 不同网络的统计性能指标
表6-2 不同网络的统计性能指标
从表中可以看出,本发明提出的注意力增强改进U型网络结构 的各项统计性能指标均高于其他网络(除AUC略低)。具体为:
(1)本发明注意力增强改进U型网络结构的灵敏度(Sensitivity) 为85%,特异性(Specitivity)为97.9%,明显高于其他网络,这说 明,本发明出现误诊和漏诊的可能性均低于其他网络,分类性能最佳。
(2)本发明注意力增强改进U型网络结构的阳性预测率(PPV) 为89.3%,表示预测为肿瘤实际也为肿瘤的像素比例,阴性预测率 (NPV)为97%,表示预测为背景实际也为背景的像素比例,本发明 的PPV和NPV值均高于其他网络,这也从另一个角度验证了本发明在超声乳腺肿瘤分割上的有效性。
(3)本发明提出的注意力增强改进U型网络结构的F1分数、 Accuracy和M-IOU三个性能指标均高于其他网络,尤其是F1分数, 比第二名Attention-Unet(with mixedattention loss)网络提高了6.5%, M-IOU指标也比第二名上升了4.6%。需要强调的是,虽然注意力增 强改进U型网络结构的AUC略低,但也高于0.95,说明它是一个接 近完美的分类器。
综上,本发明提出的注意力增强改进U型网络结构通过改进左 侧编码路径网络结构,引入注意力机制和混合注意力损失函数,采用 粗细结合的训练策略,可有效提高超声乳腺肿瘤的分割精度,用以辅 助医生快速准确诊断,降低医生的误检率和漏检率,缓解超声医生工 作强度大、基层医院优秀超声医生不足等现状,对现代医学具有非常 重要的研究价值和应用前景。
Claims (5)
1.基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法,其特征在于:包括以下步骤,
步骤(A),构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构;
步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函数,用于获取更准确的网络损失值;
步骤(C),根据注意力增强改进U型网络结构以及混合注意力损失函数,通过粗细结合的网络分层训练方式,对网络参数进行微调,提高网络参数的精度,实现对乳腺超声图像病灶区域的快速定位和分割。
2.根据权利要求1所述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法,其特征在于:步骤(A),所述注意力增强改进U型网络结构包括一个左侧编码路径、一个右侧解码路径和四个中间注意力门模块组成,每个模块的上数值表示通道数,下数值表示输出尺寸,将左侧支路从上到下分为四层,右侧支路从下到上也分为四层,构建用于提取出超声乳腺肿瘤细节特征的注意力增强改进U型网络结构,包括以下步骤,
(A1)建立左侧编码路径,该左侧编码路径包含左卷积运算模块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩展残差卷积运算模块五个运算模块,所述左卷积运算模块用于获取更丰富的超声图像纹理特征,所述左卷积预算模块的卷积核大小均为7*7;每个所述左卷积运算后均需经过左修正线性单元运算模块激活函数,用于增强网络的非线性判别能力;用步长为2的最大池化对7*7卷积运算模块运算输出的通道特征进行下采样运算,保留主要特征同时降低网络参数,用于防止过拟合,然后由残差卷积模块和扩展残差卷积模块依次提取图像的深层语义特征,残差卷积模块采用两个3*3卷积运算模块级联构成,扩展残差卷积模块在跨层连接支路上又增加了一个1*1卷积运算模块,用于扩展特征通道数;
(A2)建立右侧扩展路径,该右侧扩展路径包含上采样运算模块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四个运算模块,上采样运算模块采用2*2反卷积,对超声乳腺肿瘤深层特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数,使中间注意力门模块的两路输入数据参数一致,对超声乳腺肿瘤深层特征图进行上采样运算,用于扩大输出图像尺寸和降低特征通道数,为了使注意力门的两路输入数据参数一致,然后3*3卷积运算模块,用于后续的像素级分类预测,每个所述卷积运算模块后均需经过右修正线性单元运算模块激活函数,用于增强网络的非线性判别能力,最后,在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量映射为各个像素的分类概率值,实现超声乳腺肿瘤分割;
3.根据权利要求1所述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法,其特征在于:步骤(B),建立注意力增强改进U型网络结构的混合注意力损失函数,用于获取更准确的网络损失值,包括以下步骤,
(B1)在传统损失函数基础上又融入四个注意力损失函数,用于获取更准确的网络损失值,注意力增强改进U型网络结构的混合注意力损失函数计算公式如下:
其中,λBCE(pre,mask)为传统损失函数,λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数,其中,α1、α2、α3、α4是四个注意力门的输出权值,mask1、mask2、mask3、mask4则为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图,λ、λ1、λ2、λ3、λ4为损失系数,取λ1+λ2+λ3+λ4=1/2,λ=1/2,式(1)中BCE(·)是二分类交叉熵损失函数的缩写,具体表示为其中,y和分别表示为预测值和真实值;
(B2)进一步提高混合注意力损失函数精度,加速网络收敛,引入了特征图纹理一致性指标Uk,用于衡量四个注意力门损失值在总体损失值中所占比重,计算公式如下:
其中,Uk(k=1,2,3,4)分别表示注意力增强U型网络模型从下到上四个注意力门输出特征图的纹理一致性,Uk越大,特征图纹理越平滑,反之,越粗糙;pk(zi)(i=0,1,2,...,L-1)为特征图对应的直方图,L为可区分的灰度级数目。
5.根据权利要求4所述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法,其特征在于:步骤(C),根据注意力增强改进U型网络结构以及混合注意力损失函数,通过粗细结合的网络分层训练方式,对网络参数进行微调,提高网络参数的精度,实现对乳腺超声图像病灶区域的快速定位和分割,先用总体损失函数训练整体网络,使网络损失值下降且趋于稳定,网络参数达到局部最优;再用注意力损失函数和传统损失函数,依次交替训练主干网络和中间注意力门模块,对网络参数进行微调,具体实现步骤如下,
(C1)在训练集上训练n(n>0)个epochs,前m(0<m<n)个epochs训练中,学习率为0.0001,使用公式(1)的总体损失函数对整个网络结构进行参数更新,使网络损失值下降趋于稳定,并得到局部最优网络权值,所述epochs为训练次数;
(C2)在m+1~n个epochs训练中,将学习率调整到0.00001,并依次使用注意力损失函数公式(7)和传统损失函数公式(8)进行网络参数更新:
LossA=λ1BCE(α1,mask1)+λ2BCE(α2,mask2)+λ3BCE(α3,mask3)+λ4BCE(α4,mask4)(7)
LossP=λBCE(pre,mask) (8);
(C3)第m+1个epoch训练时,固定主干网络中左侧编码路径以及右侧解码路径中的权值参数,仅使用注意力损失函数(7)迭代更新网络中间注意力门模块的参数;第m+2个epoch训练时,固定网络中间注意力门模块的参数,仅使用传统损失函数公式(8)迭代更新主干网络左侧编码路径以及右侧解码路径的权值参数,依此类推,在得到的局部最优网络权值基础上进行微调,不断提高网络参数的精度,得到全局最优网络权值,从而实现超声乳腺肿瘤分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225593.3A CN112785598B (zh) | 2020-11-05 | 2020-11-05 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225593.3A CN112785598B (zh) | 2020-11-05 | 2020-11-05 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112785598A true CN112785598A (zh) | 2021-05-11 |
CN112785598B CN112785598B (zh) | 2022-05-13 |
Family
ID=75750374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011225593.3A Active CN112785598B (zh) | 2020-11-05 | 2020-11-05 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112785598B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113298826A (zh) * | 2021-06-09 | 2021-08-24 | 东北大学 | 一种基于LA-Net网络的图像分割方法 |
CN113421240A (zh) * | 2021-06-23 | 2021-09-21 | 深圳大学 | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 |
CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
CN113837931A (zh) * | 2021-09-27 | 2021-12-24 | 海南长光卫星信息技术有限公司 | 遥感图像的变换检测方法、装置、电子设备及存储介质 |
CN114332122A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 基于注意力机制分割并回归的细胞计数方法 |
CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
CN114332122B (zh) * | 2021-12-30 | 2024-06-07 | 福州大学 | 基于注意力机制分割并回归的细胞计数方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059717A (zh) * | 2019-03-13 | 2019-07-26 | 山东大学 | 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统 |
CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
CN111028242A (zh) * | 2019-11-27 | 2020-04-17 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
CN111311547A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种超声图像分割装置及超声图像分割方法 |
CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
CN111563897A (zh) * | 2020-04-13 | 2020-08-21 | 北京理工大学 | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 |
CN111784701A (zh) * | 2020-06-10 | 2020-10-16 | 深圳市人民医院 | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 |
-
2020
- 2020-11-05 CN CN202011225593.3A patent/CN112785598B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059717A (zh) * | 2019-03-13 | 2019-07-26 | 山东大学 | 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统 |
CN110473188A (zh) * | 2019-08-08 | 2019-11-19 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
CN111028242A (zh) * | 2019-11-27 | 2020-04-17 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
CN111311547A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种超声图像分割装置及超声图像分割方法 |
CN111563897A (zh) * | 2020-04-13 | 2020-08-21 | 北京理工大学 | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 |
CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
CN111784701A (zh) * | 2020-06-10 | 2020-10-16 | 深圳市人民医院 | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 |
Non-Patent Citations (3)
Title |
---|
LI S,DONG M,DU G,ET AL: "《Attention_Dense-U-Net_for_Automatic_Breast_Mass_Segmentation_in_Digital_Mammogram》", 《IEEE ACCESS》 * |
任丽; 刘洋洋; 童莹; 曹雪虹; 吴意贇: "《乳腺肿瘤超声图像的多特征提取及分类研究》", 《中国医疗器械杂志》 * |
李嘉冀: "《基于模糊逻辑注意力机制U-Net乳腺肿瘤图像分割》", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113298826A (zh) * | 2021-06-09 | 2021-08-24 | 东北大学 | 一种基于LA-Net网络的图像分割方法 |
CN113298826B (zh) * | 2021-06-09 | 2023-11-14 | 东北大学 | 一种基于LA-Net网络的图像分割方法 |
CN113421240A (zh) * | 2021-06-23 | 2021-09-21 | 深圳大学 | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 |
CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
CN113554669B (zh) * | 2021-07-28 | 2023-05-12 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
CN113837931A (zh) * | 2021-09-27 | 2021-12-24 | 海南长光卫星信息技术有限公司 | 遥感图像的变换检测方法、装置、电子设备及存储介质 |
CN114332122A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 基于注意力机制分割并回归的细胞计数方法 |
CN114332122B (zh) * | 2021-12-30 | 2024-06-07 | 福州大学 | 基于注意力机制分割并回归的细胞计数方法 |
CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112785598B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785598B (zh) | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 | |
Chen et al. | Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet | |
Sharif et al. | A comprehensive review on multi-organs tumor detection based on machine learning | |
CN112767407B (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
CN112348794A (zh) | 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法 | |
CN111681210A (zh) | 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法 | |
Koundal et al. | Challenges and future directions in neutrosophic set-based medical image analysis | |
Jarosik et al. | Breast lesion classification based on ultrasonic radio-frequency signals using convolutional neural networks | |
CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
CN112614093A (zh) | 基于多尺度空间注意力网络的乳腺病理图像分类方法 | |
Ganvir et al. | Filtering method for pre-processing mammogram images for breast cancer detection | |
Li et al. | Computer aided diagnosis of fatty liver ultrasonic images based on support vector machine | |
Khasana et al. | Segmentation of breast using ultrasound image for detection breast cancer | |
Sasikala et al. | Soft Computing based Brain Tumor Categorization with Machine Learning Techniques | |
Reda et al. | Prostate segmentation using deformable model-based methods: A review | |
Mala et al. | Wavelet based texture analysis of Liver tumor from Computed Tomography images for characterization using Linear Vector Quantization Neural Network | |
CN115797308A (zh) | 一种基于dce-mri的乳腺肿瘤分割方法 | |
CN116310535A (zh) | 一种多尺度多区域的甲状腺结节预测方法 | |
CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测系统 | |
Begam et al. | Ovarian cyst detection using neural networks | |
Qian | ProsegNet: A new network of prostate segmentation based on MR images | |
Chen et al. | Predictions for Central Lymph Node Metastasis of Papillary Thyroid Carcinoma via CNN-Based Fusion Modeling of Ultrasound Images. | |
Amritha et al. | Liver tumor segmentation and classification using deep learning | |
AU2020103785A4 (en) | Method for improving recognition rates of mri images of prostate tumors based on cad system | |
CN115984188B (zh) | 皮肤病多病种超声图像识别方法、识别设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |