CN112785598B - 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 - Google Patents

基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 Download PDF

Info

Publication number
CN112785598B
CN112785598B CN202011225593.3A CN202011225593A CN112785598B CN 112785598 B CN112785598 B CN 112785598B CN 202011225593 A CN202011225593 A CN 202011225593A CN 112785598 B CN112785598 B CN 112785598B
Authority
CN
China
Prior art keywords
attention
network
module
loss function
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011225593.3A
Other languages
English (en)
Other versions
CN112785598A (zh
Inventor
童莹
赵曼雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tianzhixin Technology Co ltd
Original Assignee
Nanjing Tianzhixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tianzhixin Technology Co ltd filed Critical Nanjing Tianzhixin Technology Co ltd
Priority to CN202011225593.3A priority Critical patent/CN112785598B/zh
Publication of CN112785598A publication Critical patent/CN112785598A/zh
Application granted granted Critical
Publication of CN112785598B publication Critical patent/CN112785598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，步骤(A)，构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构；步骤(B)，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值；步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割。本发明能够用来提取乳腺超声图像的病灶区域，可有效提高乳腺肿瘤分割的准确性，用以辅助医生快速准确进行病灶区域定位，降低医生工作量，缓解年轻医生临床经验不足等缺陷，对现代医学具有非常重要的研究价值和应用前景。

Description

基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法
技术领域
本发明涉及超声图像的乳腺肿瘤自动分割技术领域，具体涉及一种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法。
背景技术
目前，乳腺癌是仅次于皮肤癌的一种严重危害妇女健康的疾病。随着现代医学的发展，早期诊断和治疗可以大大提升乳腺癌患者的存活率。目前，乳腺肿瘤的诊断可分为侵入性和非侵入性诊断。侵入性诊断主要指活检，但这会对乳腺组织造成物理损伤，给患者带来痛苦；非侵入性诊断则包括使用X射线、MRI(磁共振成像)、超声影像等技术对乳腺病变区域进行检查。在各种检查方式中，鉴于低辐射、低成本和实时性等优点，超声影像检查已成为乳腺肿瘤早期诊断的首选方法。
在进行超声乳腺肿瘤诊断过程中，超声医生首先需要缓慢移动探头寻找患者的病变组织，确定病灶区域范围，这是进行乳腺肿瘤诊断的第一步。然而，由于超声图像的低照度特点，肿瘤形态的多样性，以及乳房不同组织间可能存在的侵润性等特点，超声医生需要根据临床经验反复观察才能确定病灶的准确位置和区域，这无疑增加了医生的诊断难度和工作量，也延长了患者的就诊时间。同时，由于年轻医生临床经验不足、人眼视觉疲劳等原因，有时也会出现病灶区域的误检测或漏检测。因此，利用计算机辅助诊断(ComputerAided Diagnosis,CAD)系统实现超声乳腺肿瘤区域的自动分割，有助于提高医生诊断的准确率，降低工作量，缓解基层医院优秀超声医生不足的现状，对现代医学具有非常重要的研究价值和应用前景。
目前，超声乳腺肿瘤区域分割算法主要分为两大类：基于图像处理的传统分割算法和基于深度神经网络的语义分割算法，均存在不足，具体介绍如下：
(1)基于图像处理的传统图像分割算法主要包括阈值法、聚类法、分水岭法、活动轮廓模型法、马尔科夫随机场法、图论法等等。虽然已取得了一定研究成果，但传统方法均需要手工设定一些初始参数，例如，阈值法中需要提供诸如区域中心、高度、宽度等初始参数；模糊C均值聚类算法则需要手工设置初始化聚类区域数目和噪声容限水平；活动轮廓模型则需要提供肿瘤区域内初始化圆形轮廓。这些初始参数设置是否准确，对最终分割结果好坏有很大影响。同时，变换数据后，初始参数设置也需要更新，不具有自动分割性能。
(2)基于深度神经网络的语义分割算法逐渐被应用在医学图像中，并取得了不错的分割效果。常用的深度神经网络模型主要有FCN网络，U型网络，Mask-RCNN网络等等。与主要依赖浅层特征的传统分割算法相比，深度神经网络模型结合了浅层特征和高级语义特征，从像素级角度进行分析判断，可以获得更精确的分割结果。但是，由于训练数据的大量缺乏，以及超声图像对比度低，可疑病变与周围组织之间相互侵润，以及肿瘤形态的多样性等特点，基于深度神经网络的超声乳腺肿瘤区域分割研究仍处于起步阶段，分割效果仍有待进一步提高。
发明内容
本发明的目的是克服现有技术中超声乳腺肿瘤区域分割算法存在的问题。本发明的基于注意力增强改进U型网络(Improved Attention-enhancing Unet，Improved AE-Unet)，用来提取超声乳腺图像的病灶区域，可有效提高乳腺肿瘤分割的精确度，用以辅助医生快速准确诊断，降低医生的误检率和漏检率，缓解超声医生工作强度大、基层医院优秀超声医生不足等现状，对现代医学具有非常重要的研究价值和应用前景。
为了达到上述目的，本发明所采用的技术方案是：
一种基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，包括以下步骤，
步骤(A)，构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构；
步骤(B)，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值；
步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，步骤(A)，所述注意力增强改进型U型网络结构包括一个左侧编码路径、一个右侧解码路径和四个中间注意力门模块组成，每个模块的上数值表示通道数，下数值表示输出尺寸，将左侧支路从上到下分为四层，右侧支路从下到上也分为四层，构建用于提取出超声乳腺肿瘤细节特征的注意力增强改进U型网络结构，包括以下步骤，
(A1)建立左侧编码路径，该左侧编码路径包含左卷积运算模块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩展残差卷积运算模块五个运算模块，所述左卷积运算模块用于获取更丰富的超声图像纹理特征，所述左卷积预算模块的卷积核大小均为7*7；每个所述左卷积运算后均需经过左修正线性单元运算模块激活函数，用于增强网络的非线性判别能力；用步长为2的最大池化对7*7卷积运算模块运算输出的通道特征进行下采样运算，保留主要特征同时降低网络参数，用于防止过拟合，然后由残差卷积模块和扩展残差卷积模块依次提取图像的深层语义特征，残差卷积模块采用两个3*3卷积运算模块级联构成，扩展残差卷积模块在跨层连接支路上又增加了一个1*1卷积运算模块，用于扩展特征通道数；
(A2)建立右侧扩展路径，该右侧扩展路径包含上采样运算模块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四个运算模块，上采样运算模块采用2*2反卷积，对超声乳腺肿瘤深层特征图进行上采样运算，用于扩大输出图像尺寸和降低特征通道数，使中间注意力门模块的两路输入数据参数一致，然后3*3卷积运算模块，用于后续的像素级分类预测，每个所述卷积运算模块后均需经过右修正线性单元运算模块激活函数，用于增强网络的非线性判别能力，最后，在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量映射为各个像素的分类概率值，实现超声乳腺肿瘤分割；
(A3)建立四个中间注意力门模块，该四个注意力门模块从下到上分布，具体对编码路径的l层特征图xl和解码路径的l+1层特征图g分别进行通道数为Cint的1*1卷积运算模块卷积运算，所述编码路径的l层尺寸特征图xl的尺寸为Hx*Wx，所述解码路径的l+1层特征图g的尺寸为Hg*Wg，将得到的两个特征图相加，送入修正线性单元运算模块激活函数进行非线性运算，然后将修正线性单元运算模块输出特征图再进行通道数为1的1*1卷积运算模块卷积运算，经过Sigmoid激活函数，重采样为原尺寸Hx*Wx大小，得到权值矩阵α，最后将权值矩阵α与编码路径特征图xl相乘，得到最终的增强特征图
Figure GDA0003561460350000051
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，步骤(B)，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值，包括以下步骤，
(B1)在传统损失函数基础上又融入四个注意力损失函数，用于获取更准确的网络损失值，注意力增强改进U型网络结构的混合注意力损失函数计算公式如下：
Figure GDA0003561460350000052
其中，λBCE(pre,mask)为传统损失函数，λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数，其中，α1、α2、α3、α4是四个注意力门的输出权值，mask1、mask2、mask3、mask4则为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图，λ、λ1、λ2、λ3、λ4为损失系数，取λ1+λ2+λ3+λ4＝1/2，λ＝1/2，式(1)中BCE(·)是二分类交叉熵损失函数的缩写，具体表示为
Figure GDA0003561460350000053
其中，y和
Figure GDA0003561460350000054
分别表示为预测值和真实值；
(B2)进一步提高损失函数精度，加速网络收敛，引入了特征图纹理一致性指标Uk，用于衡量四个注意力门损失值在总体损失值中所占比重，计算公式如下：
Figure GDA0003561460350000055
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络结构从下到上四个注意力门输出特征图的纹理一致性，Uk越大，特征图纹理越平滑，反之，越粗糙；pk(zi)(i＝0,1,2,...,L-1)为特征图对应的直方图，L为可区分的灰度级数目。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，其特征在于：步骤(B)，λ1、λ2、λ3、λ4为四个中间注意力门模块的损失函数系数，通过公式(3)-公式(6)计算得到，
Figure GDA0003561460350000061
Figure GDA0003561460350000062
Figure GDA0003561460350000063
Figure GDA0003561460350000064
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络结构从下到上四个注意力门输出特征图的纹理一致性。
前述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，其特征在于：步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割，先用总体损失函数训练整体网络，使网络损失值下降且趋于稳定，网络参数达到局部最优；再用注意力损失函数和传统损失函数，依次交替训练主干网络和中间注意力门模块，对网络参数进行微调，提高网络参数的精度，具体实现步骤如下，
(C1)在训练集上训练n(n＞0)个epochs，前m(0＜m＜n)个epochs训练中，学习率为0.0001，使用公式(1)的总体损失函数对整个网络结构进行参数更新，使网络损失值下降趋于稳定，并得到局部最优网络权值；
(C2)在m+1～n个epochs训练中，将学习率调整到0.00001，并依次使用注意力损失函数公式(7)和传统损失函数公式(8)进行网络参数更新：
LossA＝λ1BCE(α1,mask1)+λ2BCE(α2,mask2)+λ3BCE(α3,mask3)+λ4BCE(α4,mask4) (7)
LossP＝λBCE(pre,mask) (8)；
(C3)第m+1个epoch训练时，固定主干网络中左侧编码路径以及右侧解码路径中的权值参数，仅使用注意力损失函数(7)迭代更新网络中间注意力门模块的参数；第m+2个epoch训练时，固定网络中间注意力门模块的参数，仅使用传统损失函数公式(8)迭代更新主干网络左侧编码路径以及右侧解码路径的权值参数，依此类推，在得到的局部最优网络权值基础上进行微调，不断提高网络参数的精度，得到全局最优网络权值，从而实现超声乳腺肿瘤分割。
本发明的有益效果是：本发明的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，在U型网络基础上从三个方面进行改进：
首先，对U型网络结构进行改进，鉴于U型网络中编码路径和解码路径是串行连接，对编码路径进行优化改进，采用残差卷积运算和扩展残差卷积运算代替传统的卷积运算，既缓解了由于网络层数加深而导致的梯度爆炸或梯度消失问题，又使用残差跨层连接实现浅层特征的再利用，用以进一步提取出更丰富的超声乳腺肿瘤细节特征，在不增加计算成本的前提下，有效提高了乳腺肿瘤的分割精度，在传统U型网络中编码路径和解码路径的跳层连接部分引入注意力机制，用于进一步抑制特征图背景中的无关信息，突出目标信息；
其次，对网络损失函数进行改进，在传统U型网络损失函数基础上融入四个注意力损失函数，用于迭代优化获得更准确的网络权值参数，又引入了特征图纹理一致性指标，用于衡量四个注意力函数损失值在总体损失值中所占比重，有效利用关键特征，加速网络收敛。
最后，对网络训练方式进行改进，采用粗细结合的分层训练策略，首先基于总体损失函数训练整体网络，使网络损失值下降且趋于稳定，网络参数达到局部最优；再用注意力损失函数和传统损失函数，依次交替训练主干网络和中间注意力门模块，对网络参数进行微调，提高网络参数的精度，两者结合，大大提高了网络的分割性能。
本发明用来提取超声乳腺图像的病灶区域，可有效提高乳腺肿瘤分割的精确度，用以辅助医生快速准确诊断，降低医生的误检率和漏检率，缓解超声医生工作强度大、基层医院优秀超声医生不足等现状，对现代医学具有非常重要的研究价值和应用前景。
附图说明
图1是本发明的超声图像的乳腺肿瘤自动分割方法的流程图；
图2是本发明的注意力增强改进U型网络的结构图；
图3是本发明的残差卷积模块内部结构图；
图4是本发明的扩展残差卷积模块内部结构图；
图5是本发明的注意力门结构图；
图6是本发明的Dice系数曲线图；
图7a-图7f是本发明的部分超声乳腺肿瘤图像
图8a-图8e是本发明的部分乳腺超声图像分割结果图；
图9是本发明U型网络(U-net)四个跳层连接输出特征图；
图10是本发明注意力U型网络(Attention-Unet)四个跳层连接输出特征图；
图11是本发明引入混合注意力损失函数的注意力U型网络(Attention-Unet withmixed attention loss)四个跳层连接输出特征图；
图12是本发明的注意力增强改进U型网络(Improved AE-Unet)的四个跳层连接输出特征图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，包括以下步骤，
步骤(A)，构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构；
步骤(B)，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值；
步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割。
如图2-5所示：步骤(A)，所述注意力增强改进U型网络结构包括一个左侧编码路径、一个右侧解码路径和四个中间注意力门模块组成，每个模块的上数值表示通道数，下数值表示输出尺寸，将左侧支路从上到下分为四层，右侧支路从下到上也分为四层，构建用于提取出超声乳腺肿瘤细节特征的U型网络结构，包括以下步骤，
(A1)建立左侧编码路径，该左侧编码路径包含左卷积运算模块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩展残差卷积运算模块五个运算模块，所述左卷积运算模块用于获取更丰富的超声图像纹理特征，所述左卷积预算模块的卷积核大小均为7*7；每个所述左卷积运算后均需经过左修正线性单元运算模块激活函数，用于增强网络的非线性判别能力；用步长为2的Max pooling对7*7卷积运算模块运算输出的通道特征进行下采样运算，保留主要特征同时降低网络参数，用于防止过拟合，提高泛化性能，然后由残差卷积模块和扩展残差卷积模块依次提取图像的深层语义特征，残差卷积模块采用两个3*3卷积运算模块级联构成，扩展残差卷积模块在跨层连接支路上又增加了一个1*1卷积运算模块，用于扩展特征通道数；
该步骤的具体实施方式为，首先，用7×7卷积运算和修正线性单元运算将1幅原始超声图像转换为64通道的特征图，采用7×7卷积核，其目的是使用较大感受野获取更丰富的超声图像纹理特征，且不增加卷积深度；卷积运算后经过修正线性单元激活运算，是为了增强网络的非线性判别能力，7×7卷积+修正线性单元运算的参数取值如表1所示：
表1 7×7Conv+修正线性单元运算参数列表
Figure GDA0003561460350000101
然后，用步长为2的Max pooling对7×7卷积运算输出的64通道特征图进行下采样运算，为了保留特征图主要信息同时，降低权值参数个数，防止网络过拟合，提高网络泛化性能。
表2 Max pooling运算参数列表
模块 步长参数 输入尺寸 输出尺寸
Max pooling 2 250×200×64 125×100×64
最后，采用通道数不断增加、输出尺寸不断减小的残差卷积模块(Residual ConvBlock)和扩展残差卷积模块(Extended Residual Conv Block)依次提取图像的深层语义特征，其中，残差卷积模块和扩展残差卷积模块的内部结构，从图3和图4中可以看出，残差卷积模块采用两个3×3卷积模块级联构成，扩展残差卷积模块则在跨层连接支路上又增加了一个1×1卷积模块，用于扩展特征通道数，本发明提出的注意力增强改进U型网络结构的混合注意力损失函数中左侧编码路径各个残差卷积模块和扩展残差卷积模块的参数取值如表3所示
表3 残差卷积运算和扩展残差卷积运算参数列表
模块 所在层 卷积核参数 卷积步长 输入尺寸 输出尺寸
Residual Conv-64 L1 3×3×64 1 125×100×64 125×100×64
Residual Conv-64 L1 3×3×64 1 125×100×64 125×100×64
Extended Residual Conv-128 L2 3×3×128 2 125×100×64 63×50×128
Residual Conv-128 L2 3×3×128 1 63×50×128 63×50×128
Extended Residual Conv-256 L3 3×3×256 2 63×50×128 32×25×256
Residual Conv-256 L3 3×3×256 1 32×25×256 32×25×256
Extended Residual Conv-512 L4 3×3×512 2 32×25×256 16×13×512
Residual Conv-256 L4 3×3×512 1 16×13×512 16×13×512
从表中可以看出，在残差卷积模块中，输出尺寸与输入尺寸大小一致，通道数相同，而在扩展残差卷积模块中，输出尺寸是输入的一半，通道数扩展为原来的2倍。
(A2)建立右侧扩展路径，该右侧扩展路径包含上采样运算模块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四个运算模块，上采样运算模块采用2*2反卷积，对超声乳腺肿瘤深层特征图进行上采样运算，用于扩大输出图像尺寸和降低特征通道数，使中间注意力门模块的两路输入数据参数一致，然后3*3卷积运算模块，用于后续的像素级分类预测，每个所述卷积运算模块后均需经过右修正线性单元运算模块激活函数，用于增强网络的非线性判别能力，最后，在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量映射为各个像素的分类概率值，实现超声乳腺肿瘤分割；
该步骤的具体实施方式为，首先，对超声乳腺肿瘤深层特征图进行上采样运算，用于扩大输出图像尺寸和降低特征通道数，其目的是为了使注意力门的两路输入数据参数一致，这里，上采样运算采用2*2反卷积实现。
然后，用通道数不断减少、输出尺寸不断增大的3×3卷积运算依次扩展特征图，便于后续的像素级分类预测。右侧支路不同层的3×3卷积运算模块的参数如表4所示，每个卷积运算后均经过修正线性单元激活运算，用于增强网络的非线性判别能力。
表4 卷积运算参数列表
模块 所在层 卷积核参数 卷积步长 输入尺寸 输出尺寸
3×3Conv-256 R4 3×3×256 1 32×25×512 32×25×256
3×3Conv-256 R4 3×3×256 1 32×25×256 32×25×256
3×3Conv-128 R3 3×3×128 1 63×50×256 63×50×128
3×3Conv-128 R3 3×3×128 1 63×50×128 63×50×128
3×3Conv-64 R2 3×3×64 1 125×100×128 125×100×64
3×3Conv-64 R2 3×3×64 1 125×100×64 125×100×64
3×3Conv-64 R1 3×3×64 1 250×200×128 250×200×64
3×3Conv-64 R1 3×3×64 1 250×200×64 250×200×64
最后，在右侧解码路径末端使用1*1卷积运算将32通道特征向量映射为各个像素的分类概率值，这里分类类别为病灶目标和背景两类，从而实现超声乳腺肿瘤分割；
(A3)建立四个中间注意力门模块，该四个注意力门从下到上分布，具体对编码路径的l层特征图xl和解码路径的l+1层特征图g分别进行通道数为Cint的1*1卷积运算模块卷积运算，所述编码路径的l层尺寸特征图xl的尺寸为Hx*Wx，所述解码路径的l+1层特征图g的尺寸为Hg*Wg，将得到的两个特征图相加，送入修正线性单元运算模块激活函数进行非线性运算，然后将修正线性单元运算模块输出特征图再进行通道数为1的1*1卷积运算模块卷积运算，经过Sigmoid激活函数，重采样为原尺寸Hx*Wx大小，得到权值矩阵α，最后将权值矩阵α与编码路径特征图xl相乘，得到最终的增强特征图
Figure GDA0003561460350000131
步骤(B)，建立混合注意力损失函数的注意力增强改进U型网络结构，用于获取更准确的网络损失值，包括以下步骤，
(B1)在传统损失函数基础上又融入四个注意力损失函数，用于获取更准确的网络损失值，注意力增强改进U型网络结构的混合注意力损失函数计算公式如下：
Figure GDA0003561460350000132
其中，λBCE(pre,mask)为传统损失函数，λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数，其中，α1、α2、α3、α4是四个注意力门的输出权值，mask1、mask2、mask3、mask4则为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图，λ、λ1、λ2、λ3、λ4为损失系数，取λ1+λ2+λ3+λ4＝1/2，λ＝1/2，式(1)中BCE(·)是二分类交叉熵损失函数的缩写，具体表示为
Figure GDA0003561460350000133
其中，y和
Figure GDA0003561460350000134
分别表示为预测值和真实值；
(B2)进一步提高损失函数精度，加速网络收敛，引入了特征图纹理一致性指标Uk，用于衡量四个注意力门损失值在总体损失值中所占比重，计算公式如下：
Figure GDA0003561460350000135
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络模型从下到上四个注意力门输出特征图的纹理一致性，Uk越大，特征图纹理越平滑，反之，越粗糙；pk(zi)(i＝0,1,2,...,L-1)为特征图中每个灰度值zi所占像素比例，L为可区分的灰度级数目，由此得到四个注意力损失系数λ1、λ2、λ3和λ4的计算公式如下，
Figure GDA0003561460350000141
Figure GDA0003561460350000142
Figure GDA0003561460350000143
Figure GDA0003561460350000144
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络结构从下到上四个注意力门输出特征图的纹理一致性。
步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割。先用总体损失函数训练整体网络，使网络损失值下降且趋于稳定，网络参数达到局部最优；再用注意力损失函数和传统损失函数，依次交替训练主干网络和中间注意力门模块，对网络参数进行微调，提高网络参数的精度，具体实现步骤如下，
(C1)在训练集上训练n(n＞0)个epochs，前m(0＜m＜n)个epochs训练中，学习率为0.0001，使用公式(1)的总体损失函数对整个网络结构进行参数更新，使网络损失值下降趋于稳定，并得到局部最优网络权值；
(C2)在m+1～n个epochs训练中，将学习率调整到0.00001，并依次使用注意力损失函数公式(7)和公式(8)进行网络参数更新，
LossA＝λ1 BCE(α1,mask1)+λ2 BCE(α2,mask2)+λ3 BCE(α3,mask3)+λ4 BCE(α4,mask4) (7)
LossP＝λBCE(pre,mask) (8)；
(C3)第m+1个epoch训练时，固定主干网络中左侧收缩路径以及右侧扩张路径中的参数，仅使用公式(7)作为损失函数更新网络中间四个注意门的参数；第m+2个epoch训练时，固定网络中间四个注意门的参数，仅使用公式(8)作为损失函数迭代更新主干网络左侧编码路径以及右侧解码路径的权值参数，依此类推，在得到的局部最优网络权值基础上进行微调，不断提高网络参数的精度，得到全局最优网络权值，从而实现超声乳腺肿瘤分割。
如图6所示，本发明的训练的一个实施例，训练集迭代epochs＝100时，验证集的Dice系数(Dice_coeff)曲线图，其中，
Figure GDA0003561460350000151
X为网络分割结果，Y为标准分割模板，Dice系数值越大，说明分割效果越准确。从图中可以看出，到第50次迭代时，网络训练已达到基本稳定。因此，本发明实验中选择n＝60，m＝50进行层次训练。
如图7所示，本发明进行实验的数据采集于VINNO 70超声诊断仪，探头发射频率为5MHz～14MHz，共采集了316张超声乳腺肿瘤图像，以及对应的由高年资超声医生手动分割的316张标准分割模板图，部分超声乳腺肿瘤图像，图中图7a～图7c为良性肿瘤，图7d～图7f为恶性肿瘤，本发明实验环境为Ge-Force GTX 2080 Ti，Intel Core i7-8700，内存32G，操作系统为64位的ubuntu18，软件平台使用Pytorch深度学习框架，利用CUDA工具加速计算；
可以看出，超声乳腺图像存在对比度低，肿瘤形态各异，以及可疑病变与周围组织特征不易区分等特点，这导致采用深度神经网络准确分割超声乳腺肿瘤难度大。同时，由于行业限制，带有标签的训练数据也不易获取，这无疑又增大的网络准确分割的难度。为了获得性能良好的分割网络，本发明对原始数据集进行扩增。在实验中，将原始数据集(316张)分为训练集(203张)，验证集(34张)和测试集(79张)三类，分别对训练集进行水平翻转和弹性形变操作，对验证集进行水平翻转操作，得到扩增后的数据集，
表5 扩增数据集构成
训练集(张) 验证集(张) 测试集(张) 总数量(张)
原数据集 203 34 79 316
水平翻转 203 34 0
弹性形变 845 0 0
扩增后数据集 1251 68 79 1398
如表5所示，需要强调的是，由于乳腺肿瘤存在一些固有特征，如肿瘤方向、边缘纹理、区域大小等，所以本发明没有对图像进行旋转、剪切等扩增操作，避免影响乳腺肿瘤的固有特征，
如图8所示，为了验证本发明的有效性，采用Improved AE-Unet网络和其他网络(FCN16s、FCN8s、SegNet、U-net、Attention-Unet)对超声乳腺肿瘤图像进行分割，其中，图8a～图8e为原始超声乳腺图像，图8a1、图8b1～图8e1为对应的标准分割模板图，图8a2、图8b2～图8e2为FCN16s网络分割结果图，图8a3、图8b3～图8e3为FCN8s网络分割结果图，图8b4～图8e4为Segnet网络分割结果图，图8a5、图8b5～图8e5为传统U型网络(U-net)分割结果图，图8a6、图8b6～图8e6为传统U型网络中加入注意力门的分割结果图，即Attention-Unet网络分割结果图，图8a7、图8b7～图8e7为Attention-Unet网络中引入混合注意力损失函数的分割结果图，即Attention-Unet(with mixed attention loss)分割结果图。图8a8、图8b8～图8e8为本发明提出的Improved AE-Unet分割结果图。分析图8我们可以看出：
①Segnet网络分割效果最差，对于肿瘤边缘清晰的良性超声乳腺图像，仍不能准确分割出完整的病灶区域，对于组织间相互侵润的恶性超声乳腺图像，则分割效果更差(如图8e4)所示)。
②FCN16s和FCN8s网络分割效果次之，但仍会出现分割区域不完整的情况(如图8c2,图8c3)，也会出现误检测(见图8a2,图8a3)和漏检测的情况(见图8e2,图8e3)。
③传统U型网络(U-net)分割效果优于Segnet、FCN16s和FCN8s网络，但不如Attention-Unet网络。例如，传统U型网络(U-net)虽然可以较准确定位病灶区域，但会出现部分像素误检测(见图8b5)或漏检测(见图8e5)的情况，而Attention-Unet网络在传统U型网络中引入了注意力机制，使得分割病灶区域更完整、更准确，如图8b6和图8e6所示。这充分说明，在网络中引入注意力机制有助于抑制背景噪声，增强目标特征，提高网络分割性能。
④比较Attention-Unet和Attention-Unet(with mixed attention loss)网络的分割效果，我们发现，对于肿瘤边缘清晰的良性超声乳腺图像，两者分割效果相当(如图8a6和图8a7所示)，但对于组织间相互侵润的恶性超声乳腺图像，Attention-Unet(with mixedattention loss)网络的分割效果更佳(如图8e6和图8e7所示)。由此可见，在Attention-Unet网络中又引入混合注意力损失函数，可以进一步提高网络的分割性能。
⑤最后，U-net、Attention-Unet、Attention-Unet(with mixed attention loss)以及本发明注意力增强改进U型网络(Improved AE-Unet)的分割效果。我们发现，这四种网络分割效果逐渐提高，注意力增强改进U型网络结构的分割效果达到最佳。究其原因，分析这四种网络结构，我们发现，Attention-Unet网络是在传统U型网络中引入注意力机制，Attention-Unet(with mixed attention loss)网络则是在Attention-Unet上又引入混合注意力损失函数，而本发明注意力增强改进U型网络(Improved AE-Unet)则是在传统U型网络基础上引入注意力机制和混合注意力损失函数，同时又进行了网络结构改进，用残差卷积模块、扩展残差卷积模板代替左侧编码路径中的卷积模块，用来获取更丰富的乳腺肿瘤纹理特征，进一步提高乳腺肿瘤的分割精度。
如图8所述，为了进一步直观感受本发明提出的注意力增强改进U型网络结构以及注意力机制、混合注意力损失函数引入在抑制背景噪声、增强目标特征上的有效性，给出了U-net、Attention-Unet、Attention-Unet(with mixed attention loss)以及本发明注意力增强改进U型网络(Improved AE-Unet)的跳层连接路径(即图2中虚线路径)输出特征图，图中，尺寸从小到大的特征图依次为网络中从下(浅)往上(深)四个跳层连接的输出特征图，并且大特征图的尺寸是小特征图尺寸的两倍。从图中可以看出，从U型网络到注意力增强改进U型网络，输出特征图中背景噪声逐渐减少，目标特征逐渐增强，在注意力增强改进U型网络特征图中达到最佳，背景区域噪声明显抑制，肿瘤目标特征明显增强，为后续像素级预测提供了更精准的分割区域。
为了从统计角度进一步说明本发明的有效性，又使用了准确率(Accuracy)、F1分数、平均交并比(M-IOU)、曲线下面积(AUC)、敏感度(Sensitivity)、特异度(Specitivity)、阳性预测值(Positive Predicitive Value,PPV)、阴性预测值(Negative PredicitiveValue,NPV)8个性能指标进行评价，实验结果如表6所示。
表6-1 不同网络的统计性能指标
Figure GDA0003561460350000191
表6-2 不同网络的统计性能指标
Figure GDA0003561460350000192
从表中可以看出，本发明提出的注意力增强改进U型网络结构的各项统计性能指标均高于其他网络(除AUC略低)。具体为：
(1)本发明注意力增强改进U型网络结构的灵敏度(Sensitivity)为85％，特异性(Specitivity)为97.9％，明显高于其他网络，这说明，本发明出现误诊和漏诊的可能性均低于其他网络，分类性能最佳。
(2)本发明注意力增强改进U型网络结构的阳性预测率(PPV)为89.3％，表示预测为肿瘤实际也为肿瘤的像素比例，阴性预测率(NPV)为97％，表示预测为背景实际也为背景的像素比例，本发明的PPV和NPV值均高于其他网络，这也从另一个角度验证了本发明在超声乳腺肿瘤分割上的有效性。
(3)本发明提出的注意力增强改进U型网络结构的F1分数、Accuracy和M-IOU三个性能指标均高于其他网络，尤其是F1分数，比第二名Attention-Unet(with mixedattention loss)网络提高了6.5％，M-IOU指标也比第二名上升了4.6％。需要强调的是，虽然注意力增强改进U型网络结构的AUC略低，但也高于0.95，说明它是一个接近完美的分类器。
综上，本发明提出的注意力增强改进U型网络结构通过改进左侧编码路径网络结构，引入注意力机制和混合注意力损失函数，采用粗细结合的训练策略，可有效提高超声乳腺肿瘤的分割精度，用以辅助医生快速准确诊断，降低医生的误检率和漏检率，缓解超声医生工作强度大、基层医院优秀超声医生不足等现状，对现代医学具有非常重要的研究价值和应用前景。

Claims (2)

1.基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，其特征在于：包括以下步骤，
步骤(A)，构建用于提取出超声乳腺肿瘤目标特征的注意力增强改进U型网络结构；
步骤(B)，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值；
步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割；
在步骤(A)中，所述注意力增强改进U型网络结构包括一个左侧编码路径、一个右侧解码路径和四个中间注意力门模块组成，每个模块的上数值表示通道数，下数值表示输出尺寸，将左侧支路从上到下分为四层，右侧支路从下到上也分为四层，构建用于提取出超声乳腺肿瘤细节特征的注意力增强改进U型网络结构，包括以下步骤，
(A1)建立左侧编码路径，该左侧编码路径包含左卷积运算模块、左修正线性单元运算模块、下采样模块、残差卷积运算模块和扩展残差卷积运算模块五个运算模块，所述左卷积运算模块用于获取更丰富的超声图像纹理特征，所述左卷积预算模块的卷积核大小均为7*7；每个所述左卷积运算后均需经过左修正线性单元运算模块激活函数，用于增强网络的非线性判别能力；用步长为2的最大池化对7*7卷积运算模块运算输出的通道特征进行下采样运算，保留主要特征同时降低网络参数，用于防止过拟合，然后由残差卷积模块和扩展残差卷积模块依次提取图像的深层语义特征，残差卷积模块采用两个3*3卷积运算模块级联构成，扩展残差卷积模块在跨层连接支路上又增加了一个1*1卷积运算模块，用于扩展特征通道数；
(A2)建立右侧扩展路径，该右侧扩展路径包含上采样运算模块、3*3运算模块、右修正线性单元运算模块、1*1卷积运算模块四个运算模块，上采样运算模块采用2*2反卷积，对超声乳腺肿瘤深层特征图进行上采样运算，用于扩大输出图像尺寸和降低特征通道数，使中间注意力门模块的两路输入数据参数一致，然后3*3卷积运算模块，用于后续的像素级分类预测，每个所述卷积运算模块后均需经过右修正线性单元运算模块激活函数，用于增强网络的非线性判别能力，最后，在右侧解码路径末端使用1*1卷积运算模块将32通道特征向量映射为各个像素的分类概率值，实现超声乳腺肿瘤分割；
(A3)建立四个中间注意力门模块，该四个注意力门模块从下到上分布，具体对编码路径的l层特征图xl和解码路径的l+1层特征图g分别进行通道数为Cint的1*1卷积运算模块卷积运算，所述编码路径的l层尺寸特征图xl的尺寸为Hx*Wx，所述解码路径的l+1层特征图g的尺寸为Hg*Wg，将得到的两个特征图相加，送入修正线性单元运算模块激活函数进行非线性运算，然后将修正线性单元运算模块输出特征图再进行通道数为1的1*1卷积运算模块卷积运算，经过Sigmoid激活函数，重采样为原尺寸Hx*Wx大小，得到权值矩阵α，最后将权值矩阵α与编码路径特征图xl相乘，得到最终的增强特征图
Figure FDA0003452596020000021
在步骤(B)中，建立注意力增强改进U型网络结构的混合注意力损失函数，用于获取更准确的网络损失值，包括以下步骤，
(B1)在传统损失函数基础上又融入四个注意力损失函数，用于获取更准确的网络损失值，注意力增强改进U型网络结构的混合注意力损失函数计算公式如下：
Figure FDA0003452596020000031
其中，λBCE(pre,mask)为传统损失函数，λ1BCE(α1,mask1)、λ2BCE(α2,mask2)、λ3BCE(α3,mask3)和λ4BCE(α4,mask4)分别为四个注意力损失函数，其中，α1、α2、α3、α4是四个注意力门的输出权值，mask1、mask2、mask3、mask4则为标准模板mask的0.125倍、0.25倍、0.5倍和1倍的缩放图，λ、λ1、λ2、λ3、λ4为损失系数，取λ1+λ2+λ3+λ4＝1/2，λ＝1/2，式(1)中BCE(·)是二分类交叉熵损失函数的缩写，具体表示为
Figure FDA0003452596020000032
其中，y和
Figure FDA0003452596020000033
分别表示为预测值和真实值；
(B2)进一步提高混合注意力损失函数精度，加速网络收敛，引入了特征图纹理一致性指标Uk，用于衡量四个注意力门损失值在总体损失值中所占比重，计算公式如下：
Figure FDA0003452596020000034
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络模型从下到上四个注意力门输出特征图的纹理一致性，Uk越大，特征图纹理越平滑，反之，越粗糙；pk(zi)(i＝0,1,2,...,L-1)为特征图对应的直方图，L为可区分的灰度级数目；
在步骤(B)中，λ1、λ2、λ3、λ4为四个中间注意力门模块的损失函数系数，通过公式(3)-公式(6)计算得到，
Figure FDA0003452596020000035
Figure FDA0003452596020000036
Figure FDA0003452596020000041
Figure FDA0003452596020000042
其中，Uk(k＝1,2,3,4)分别表示注意力增强U型网络结构从下到上四个注意力门输出特征图的纹理一致性。
2.根据权利要求1所述的基于注意力增强改进U型网络的超声乳腺肿瘤自动分割方法，其特征在于：步骤(C)，根据注意力增强改进U型网络结构以及混合注意力损失函数，通过粗细结合的网络分层训练方式，对网络参数进行微调，提高网络参数的精度，实现对乳腺超声图像病灶区域的快速定位和分割，先用总体损失函数训练整体网络，使网络损失值下降且趋于稳定，网络参数达到局部最优；再用注意力损失函数和传统损失函数，依次交替训练主干网络和中间注意力门模块，对网络参数进行微调，具体实现步骤如下，
(C1)在训练集上训练n(n>0)个epochs，前m(0<m<n)个epochs训练中，学习率为0.0001，使用公式(1)的总体损失函数对整个网络结构进行参数更新，使网络损失值下降趋于稳定，并得到局部最优网络权值，所述epochs为训练次数；
(C2)在m+1～n个epochs训练中，将学习率调整到0.00001，并依次使用注意力损失函数公式(7)和传统损失函数公式(8)进行网络参数更新：
LossA＝λ1BCE(α1,mask1)+λ2BCE(α2,mask2)+λ3BCE(α3,mask3)+λ4BCE(α4,mask4) (7)
LossP＝λBCE(pre,mask) (8)；
(C3)第m+1个epoch训练时，固定主干网络中左侧编码路径以及右侧解码路径中的权值参数，仅使用注意力损失函数(7)迭代更新网络中间注意力门模块的参数；第m+2个epoch训练时，固定网络中间注意力门模块的参数，仅使用传统损失函数公式(8)迭代更新主干网络左侧编码路径以及右侧解码路径的权值参数，依此类推，在得到的局部最优网络权值基础上进行微调，不断提高网络参数的精度，得到全局最优网络权值，从而实现超声乳腺肿瘤分割。
CN202011225593.3A 2020-11-05 2020-11-05 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 Active CN112785598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011225593.3A CN112785598B (zh) 2020-11-05 2020-11-05 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011225593.3A CN112785598B (zh) 2020-11-05 2020-11-05 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法

Publications (2)

Publication Number Publication Date
CN112785598A CN112785598A (zh) 2021-05-11
CN112785598B true CN112785598B (zh) 2022-05-13

Family

ID=75750374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011225593.3A Active CN112785598B (zh) 2020-11-05 2020-11-05 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法

Country Status (1)

Country Link
CN (1) CN112785598B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298826B (zh) * 2021-06-09 2023-11-14 东北大学 一种基于LA-Net网络的图像分割方法
CN113421240B (zh) * 2021-06-23 2023-04-07 深圳大学 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN113554669B (zh) * 2021-07-28 2023-05-12 哈尔滨理工大学 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法
CN113837931A (zh) * 2021-09-27 2021-12-24 海南长光卫星信息技术有限公司 遥感图像的变换检测方法、装置、电子设备及存储介质
CN114972130B (zh) * 2022-08-02 2022-11-18 深圳精智达技术股份有限公司 一种去噪神经网络的训练方法、装置及训练设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统
CN110473188A (zh) * 2019-08-08 2019-11-19 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
CN110675419A (zh) * 2019-10-11 2020-01-10 上海海事大学 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN111028242A (zh) * 2019-11-27 2020-04-17 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311547A (zh) * 2020-01-20 2020-06-19 北京航空航天大学 一种超声图像分割装置及超声图像分割方法
CN111401480B (zh) * 2020-04-27 2023-07-25 上海市同济医院 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN111784701B (zh) * 2020-06-10 2024-05-10 深圳市人民医院 结合边界特征增强和多尺度信息的超声图像分割方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统
CN110473188A (zh) * 2019-08-08 2019-11-19 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
CN110675419A (zh) * 2019-10-11 2020-01-10 上海海事大学 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN111028242A (zh) * 2019-11-27 2020-04-17 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Attention_Dense-U-Net_for_Automatic_Breast_Mass_Segmentation_in_Digital_Mammogram》;LI S，DONG M，DU G，et al;《IEEE Access》;20190507;第59037-59047页 *
《基于模糊逻辑注意力机制U-Net乳腺肿瘤图像分割》;李嘉冀;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20200215;全文 *
任丽 ; 刘洋洋 ; 童莹 ; 曹雪虹 ; 吴意贇.《乳腺肿瘤超声图像的多特征提取及分类研究》.《中国医疗器械杂志》.2020, *

Also Published As

Publication number Publication date
CN112785598A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112785598B (zh) 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
Sharif et al. A comprehensive review on multi-organs tumor detection based on machine learning
CN106447645A (zh) 增强ct图像中冠脉钙化检测及量化装置和方法
CN112767407B (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112348794A (zh) 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法
CN111681210A (zh) 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
Koundal et al. Challenges and future directions in neutrosophic set-based medical image analysis
CN111784701A (zh) 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN114529505A (zh) 一种基于深度学习的乳腺病变风险评估系统
Wang et al. Malignancy characterization of hepatocellular carcinoma using hybrid texture and deep features
Ganvir et al. Filtering method for pre-processing mammogram images for breast cancer detection
Halder et al. Morphattnnet: an attention-based morphology framework for lung cancer subtype classification
Wulaning Ayu et al. Pixel Classification Based on Local Gray Level Rectangle Window Sampling for Amniotic Fluid Segmentation.
Reda et al. Prostate segmentation using deformable model-based methods: A review
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN115797308A (zh) 一种基于dce-mri的乳腺肿瘤分割方法
CN116310535A (zh) 一种多尺度多区域的甲状腺结节预测方法
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
CN114494232A (zh) 一种基于影像组学的乳腺癌保乳手术切缘状态预测模型
Cao et al. A novel method for segmentation of breast masses based on mammography images
Amritha et al. Liver tumor segmentation and classification using deep learning
Shaaban et al. An Efficient Breast Cancer Segmentation System based on Deep Learning Techniques
Kouser et al. Deep Learning-Based Segmentation Of Brain Tumor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant