CN111401480B - 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 - Google Patents
一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 Download PDFInfo
- Publication number
- CN111401480B CN111401480B CN202010345214.8A CN202010345214A CN111401480B CN 111401480 B CN111401480 B CN 111401480B CN 202010345214 A CN202010345214 A CN 202010345214A CN 111401480 B CN111401480 B CN 111401480B
- Authority
- CN
- China
- Prior art keywords
- sequence
- tumor
- segmentation
- attention
- dce
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法,所述的乳腺MRI自动辅助诊断新方法包括以下步骤:S1:人工选取乳腺分割数据集,训练DenseUNet模型,将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割,并去除胸腔中干扰肿瘤检测的器官;S2:将S1得到的分割结果映射到DCE序列,得到分割后的乳腺组织,将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割,针对类不平衡和困难样本问题,在训练过程中采用Focal Loss以防止模型偏移;S3:将S2得到的结果输入到一个轻量级的神经网络中,进行良恶性判断,得到辅助诊断结果。本发明可以实现端到端的乳腺癌症辅助诊断,无需人工干预,且可以极大提高诊断效率和准确率。
Description
技术领域
本发明属于医学图像处理技术领域,特别涉及一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。
背景技术
乳腺癌的发病率和死亡率在所有女性疾病中分别位于第一位和第二位,严重危害着女性的生命健康。早起发现肿瘤可以有效地增加存活率。核磁共振成像(MRI)以其高分辨率、无辐射、多方向、多功能的成像技术而著称,对乳腺肿瘤非常敏感而成为乳腺癌筛查和诊断时的一种常用方法。在实际诊断中,阅读MR影像不仅费时,而且需要放射科医师具有丰富的专业经验。此外,在乳腺癌诊断的图像分析中,病变的多样性和复杂性可能与致密组织的相互作用有关,放射科医师很难准确地检测和分析肿块。针对这些情况,乳腺MRI辅助诊断应运而生。
经典的乳腺MRI辅助诊断的主要流程包括对乳腺MRI图像进行预处理,之后采用半自动或人工的方法获得感兴趣区域,并提取肿瘤的特征,例如形态、纹理、灰度等,然后将提取的特征组成特征向量,并进行分类得到良恶性的诊断结果。
虽然经典的乳腺MRI辅助诊断方法取得了一定的成绩,但是往往需要人工干预或先验知识,容易受到医生主观因素的影响。此外,手工特征有一定的局限性,无法表述尚未被医生发现的特征。近些年来,卷积神经网络,尤其是全卷积神经网络已经被证明对于医学图像分割任务是非常有效的,并且不需要设计手工特征和先验知识。但是,全卷积神经网络对类别不平衡问题非常敏感,这会造成模型偏移而造成分割准确率下降。目前,针对乳腺肿瘤分割并可以解决上述问题而设计的深度学习方法很少。
中国专利文献CN:201710429118.X,公开了一种基于三维全卷积神经网络的核磁共振图像的分割方法,包括如下步骤:输入核磁共振图像数据;设置三维全卷积神经网络结构,将脑部皮下组织的分割任务看作基于核磁共振图像的多特征多分类问题,提取脑部皮下组织的特征;优化三维全卷积神经网络的参数;将训练模型应用于核磁共振图像测试集进行测试,产生测试集的分类结果;将测试集的分类结果画图产生三维脑皮下组织图。中国专利文献CN:201910002630.5一种基于多注意力机制的端到端的肿瘤分割方法,该方法主要包括主干网络部分和注意力模块部分,其中主干网络包括三个子网络,由改进的3DResidual U-net构成;注意力模块由特殊设计的双分支结构构成。适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3D影像的分割,包括MRI,CT图像等,能够提供更加精确的分割结果。但是关于可以实现端到端的乳腺癌症辅助诊断,无需人工干预,且可以极大提高诊断效率和准确率,基于融合注意力机制的乳腺MRI自动辅助诊断新方法目前还未见报道。
发明内容
本发明的第一个目的是,针对现有技术中的不足,提供一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。
为实现上述第一个目的,本发明采取的技术方案是:
一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法,包括以下步骤:
S1:人工选取乳腺分割数据集,训练DenseUNet模型,将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割,并去除胸腔中干扰肿瘤检测的器官。
S2:将S1得到的分割结果映射到DCE序列,得到分割后的乳腺组织,将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割。针对类不平衡和困难样本问题,在训练过程中采用Focal Loss以防止模型偏移。
S3:将S2得到的结果输入到一个轻量级的神经网络中,进行良恶性判断,得到辅助诊断结果。
进一步地,步骤S1具体包括:
S11:采用无监督的经典方法对TSE序列进行乳腺分割,并人工选取分割结果较好的作为数据集。
S12:根据S11得到的数据集对DenseUNet训练。将所有病人的TSE序列输入到训练好的DenseUNet中,得到每一个TSE序列对应的二值乳腺掩膜。
进一步地,步骤S2具体包括:
S21:将每一个病人的TSE序列与DCE序列配准,根据配准结果,将S12得到的二值乳腺掩膜也做相应变换,并与DCE序列进行点乘,以去除DCE序列中的干扰组织和器官。
S22:将S21得到的DCE序列进行统一剪裁,以去除部分黑色背景,降低负样本的个数。
S23:将DCE序列的肿瘤标注图做S22中同样的剪裁操作,与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集。
S24:利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化。
S25:根据S23得到的数据集进行三通道的图像表示,并将其输入到ADUNet进行训练。对所有病人的DCE序列进行新的图像表示,输入到训练好的ADUNet中,得到肿瘤的分割结果;
具体的,通过S1可以将大部分的区域去除,然而仍然有很多背景,这将导致严重的类不平衡问题。为此,我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征,我们结合解剖结构和代谢特征,将每一个病人的所有DCE序列进行新表示,生成三通道的新序列,具体表示为:
channel1=Ipeak
channel2=Ipeak-Ibase
channel3=Iearly-Idelayed
其中,channel1,channel2,channel3表示新图像序列的三个通道,Ibase表示对比前的T1图像序列,Ipeak表示在增强峰值的图像序列,Iearly为对比注入造影剂后的初始响应图像序列,Idelayed是延迟增强图像序列,通常是最后获得的增强序列。
优选的,ADUNet中具有注意力块的上采样块(UB)操作包括:
S241:将低级特征图x通过步长为2的3×3卷积,得到分辨率和高级特征图g一样的新特征图x1。
S242:将高级特征图g通过1×1卷积降低其通道数,使其和S241得到的新特征图x1的通道上一致,并与其相加,得到新特征图f1。
S243:将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数,得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。
S244:将高级特征图g依次通过全局平均池化,1×1卷积和Sigmoid激活函数,得到一个1×1×c的通道方向想的注意力系数向量v1,c表示低级特征图x的通道数。
S245:将低级特征图x与注意力权重图m2和注意力系数向量v1相乘,得到注意力块的输出,即低级特征图x2。高级特征图拥有丰富的语义信息,通过注意力块,低级特征图中的前景区域在高级特征图的指导下可以得到增强。
S246:通过上采样将高级特征图的长和宽扩大两倍,得到新的高级特征图g2。
S247:将高级特征图g2和x2进行拼接,组成新的特征图f2。并将其依次通过3×3卷积,组标准化(GN),ReLU激活函数和dropout层,进而融合上下文信息。GN是批标准化(BN)的替代品,并且不要求很大的批量(Batch size)。Dropout层可以降低过拟合情况。
优选的,ADUNet网络模型包括编码器和解码器组成,其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(DB(6))、过渡层1(TL1)、DB(12)、TL2、DB(36)、TL3和DB(24);解码器组成依次包括UB1、UB2、UB3、UB4和上采样层(UL)。其中,TL1~3的区别在于1×1卷积的个数,分别为192、384和1056;UB1~4的区别在于注意力块中最后3×3卷积的个数,分别为768、384、96和96。UB块的输入x是TL块中1×1卷积的输出,目的是降低特征图的通道数,减少计算量。
优选的,乳腺MRI图像中存在正负样本分布不平衡问题,这会导致在训练过程中模型偏移。此外,一些困难样本,例如类似肿瘤外观的组织,即使是经验丰富的放射科医生也很难鉴别。本发明采用Focal loss解决这两个问题,具体公式为:
其中,α为常数,为应对类别不平衡的因子;γ为大于0的参数,为控制难易样本对损失函数的贡献差距的参数;p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值,即是正样本的概率,y(x)∈{0,1}表示对应的真实标签;对于正样本,p(x)越大说明是简单样本,对应的(1-p(x))γ越小,从而降低其对损失函数的贡献;p(x)越小说明是困难样本,对应的(1-p(x))γ越大,加大其在损失函数的占比。
进一步地,步骤S3具体包括:
S31:用矩形框将S2步骤得到的肿瘤区域进行提取,采用双线性插值将其调整到32×32大小,采用S1中提出的图像表示方法,生成32×32×3大小的肿瘤图像块。
S32:设计一个轻量的分类网络,该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成。
S33:在训练阶段,将每个病人的所有肿瘤图像块输入到S32得到的分类网络中,可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。
S34:在测试阶段,根据肿瘤大小选取前50%的肿瘤图像块输入到S33训练好的分类网络中,病人的良恶性由预测得到的结果投票决定。
本发明的目的在于提供一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。该方法可以实现端到端的乳腺癌症辅助诊断,无需人工干预,且可以极大提高诊断效率和准确率。
本发明是第一个多阶段乳腺MRI自动辅助诊断方法,包括乳腺分割、肿瘤分割和肿瘤分类;本发明提出了一种具有注意力机制的全卷积神经网络结构——ADUNet,采用Focalloss以解决类不平衡和模型偏移问题,显著提升了肿瘤分割结果;本发明提出了一个轻量的二分类网络,对肿瘤的良恶性进行准确识别。
本发明优点在于:
1、本发明提出的多阶段乳腺MRI自动辅助诊断方法,采用由粗到细的方式,准确获得肿瘤的位置和良恶性。
2、本发明的第一阶段,采用DenseUNet可以准确地将胸腔中无关组织和器官去除,提取乳腺组织。
3、本发明的第二阶段,提出的ADUNet将通道注意力机制和空间注意力机制结合,可以增强肿瘤在特征图中的相应,进而改善肿瘤的定位;使用预训练模型可以显著提高训练速度;采用Focal loss解决了正负样本不平衡和模型偏移问题,提高了分割效果。
4、本发明的第三阶段,提出的肿瘤良恶性识别模型,不仅参数少,而且可以准确地判断良恶性。
附图说明
图1为本发明一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法流程示意图;
图2为本发明上采样块(UB)的示意图;
图3为本发明ADUNet的示意图;
图4为本发明图3中DB的示意图;
图5为本发明图4中卷积块的示意图;
图6为本发明图3中TL的示意图;
图7为本发明图3中UL的示意图;
图8为本发明良恶性分类网络的示意图。
具体实施方式
下面结合实施例对本发明提供的具体实施方式作详细说明。
实施例1
请参看图1,图1为本发明一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法流程示意图。一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法,包括以下步骤:
S1:人工选取乳腺分割数据集,训练DenseUNet模型,将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割,并去除胸腔中干扰肿瘤检测的器官。
S2:将S1得到的分割结果映射到DCE序列,得到分割后的乳腺组织,将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割,针对类不平衡和困难样本问题,在训练过程中采用Focal Loss以防止模型偏移。
S3:将S2得到的结果输入到一个轻量级的神经网络中,进行良恶性判断,得到辅助诊断结果。
进一步地,步骤S1具体包括:
S11:采用无监督的经典方法对TSE序列进行乳腺分割,并人工选取分割结果较好的作为数据集。
S12:根据S11得到的数据集对DenseUNet训练。将所有病人的TSE序列输入到训练好的DenseUNet中,得到每一个TSE序列对应的二值乳腺掩膜。
进一步地,步骤S2具体包括:
S21:将每一个病人的TSE序列与DCE序列配准,根据配准结果,将S12得到的二值乳腺掩膜也做相应变换,并与DCE序列进行点乘,以去除DCE序列中的干扰组织和器官。
S22:将S21得到的DCE序列进行统一剪裁,以去除部分黑色背景,降低负样本的个数。
S23:将DCE序列的肿瘤标注图做S22中同样的剪裁操作,与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集。
S24:利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化。
S25:根据S23得到的数据集进行三通道的图像表示,并将其输入到ADUNet进行训练。对所有病人的DCE序列进行新的图像表示,输入到训练好的ADUNet中,得到肿瘤的分割结果
具体的,通过S1可以将大部分的区域去除,然而仍然有很多背景,这将导致严重的类不平衡问题。为此,我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征,我们结合解剖结构和代谢特征,将每一个病人的所有DCE序列进行新表示,生成三通道的新序列,具体表示为:
channel1=Ipeak
channel2=Ipeak-Ibase
channel3=Iearly-Idelayed
其中,channel1,channel2,channel3表示新图像序列的三个通道,Ibase表示对比前的T1图像序列,Ipeak表示在增强峰值的图像序列,Iearly为对比注入造影剂后的初始响应图像序列,Idelayed是延迟增强图像序列,通常是最后获得的增强序列。
优选的,如图2所示,ADUNet中具有注意力块的上采样块(UB)操作包括:
S241:将低级特征图x通过步长为2的3×3卷积,得到分辨率和高级特征图g一样的新特征图x1。
S242:将高级特征图g通过1×1卷积降低其通道数,使其和S241得到的新特征图x1的通道上一致,并与其相加,得到新特征图f1。
S243:将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数,得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。
S244:将高级特征图g依次通过全局平均池化,1×1卷积和Sigmoid激活函数,得到一个1×1×c的通道方向想的注意力系数向量v1,c表示低级特征图x的通道数。
S245:将低级特征图x与注意力权重图m2和注意力系数向量v1相乘,得到注意力块的输出,即低级特征图x2。高级特征图拥有丰富的语义信息,通过注意力块,低级特征图中的前景区域在高级特征图的指导下可以得到增强。
S246:通过上采样将高级特征图的长和宽扩大两倍,得到新的高级特征图g2。
S247:将高级特征图g2和x2进行拼接,组成新的特征图f2。并将其依次通过3×3卷积,组标准化(GN),ReLU激活函数和dropout层,进而融合上下文信息。GN是批标准化(BN)的替代品,并且不要求很大的批量(Batch size)。Dropout层可以降低过拟合情况。
优选的,如图3所示,ADUNet网络模型包括编码器和解码器组成,其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(DB(6))、过渡层1(TL1)、DB(12)、TL2、DB(36)、TL3和DB(24);解码器组成依次包括UB1、UB2、UB3、UB4和上采样层(UL)。请参看图4,图5,图6会和图7(图4为本发明图3中DB的示意图;图5为本发明图4中卷积块的示意图;图6为本发明图3中TL的示意图;图7为本发明图3中UL的示意图)。其中,TL1~3的区别在于1×1卷积的个数,分别为192、384和1056;UB1~4的区别在于注意力块中最后3×3卷积的个数,分别为768、384、96和96。UB块的输入x是TL块中1×1卷积的输出,目的是降低特征图的通道数,减少计算量。
优选的,乳腺MRI图像中存在正负样本分布不平衡问题,这会导致在训练过程中模型偏移。此外,一些困难样本,例如类似肿瘤外观的组织,即使是经验丰富的放射科医生也很难鉴别。本发明采用Focal loss解决这两个问题,具体公式为:
其中,α为常数,为应对类别不平衡的因子;γ为大于0的参数,为控制难易样本对损失函数的贡献差距的参数;p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值,即是正样本的概率,y(x)∈{0,1}表示对应的真实标签;对于正样本,p(x)越大说明是简单样本,对应的(1-p(x))γ越小,从而降低其对损失函数的贡献;p(x)越小说明是困难样本,对应的(1-p(x))γ越大,加大其在损失函数的占比。
进一步地,步骤S3具体包括:
S31:用矩形框将S2步骤得到的肿瘤区域进行提取,采用双线性插值将其调整到32×32大小,采用S1中提出的图像表示方法,生成32×32×3大小的肿瘤图像块。
S32:设计一个轻量的分类网络,如图8所示,该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成。
S33:在训练阶段,将每个病人的所有肿瘤图像块输入到S32得到的分类网络中,可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。
S34:在测试阶段,根据肿瘤大小选取前50%的肿瘤图像块输入到S33训练好的分类网络中,病人的良恶性由预测得到的结果投票决定。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明方法的前提下,还可以做出若干改进和补充,这些改进和补充也应视为本发明的保护范围。
Claims (8)
1.一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法,其特征在于,所述的乳腺MRI自动辅助诊断新方法包括以下步骤:
S1:人工选取乳腺分割数据集,训练DenseUNet模型,将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割,并去除胸腔中干扰肿瘤检测的器官;
S2:将S1得到的分割结果映射到DCE序列,得到分割后的乳腺组织,将其输入到具有注意力机制的DenseUNet模型ADUNet进行肿瘤分割,针对类不平衡和困难样本问题,在训练过程中采用Focal Loss以防止模型偏移;
S3:将S2得到的结果输入到一个轻量级的神经网络中,进行良恶性判断,得到辅助诊断结果;
所述的步骤S2中的ADUNet中具有注意力块的上采样块UB操作包括:
S241:将低级特征图x通过步长为2的3×3卷积,得到分辨率和高级特征图g一样的新特征图x1;
S242:将高级特征图g通过1×1卷积降低其通道数,使其和S241得到的新特征图x1的通道上一致,并与其相加,得到新特征图f1;
S243:将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数,得到一个单通道的空间方向的注意力权重图m1,通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2;
S244:将高级特征图g依次通过全局平均池化,1×1卷积和Sigmoid激活函数,得到一个1×1×c的通道方向想的注意力系数向量v1,c表示低级特征图x的通道数;
S245:将低级特征图x与注意力权重图m2和注意力系数向量v1相乘,得到注意力块的输出,即低级特征图x2,高级特征图拥有丰富的语义信息,通过注意力块,低级特征图中的前景区域在高级特征图的指导下可以得到增强;
S246:通过上采样将高级特征图的长和宽扩大两倍,得到新的高级特征图g2;
S247:将高级特征图g2和x2进行拼接,组成新的特征图f2,并将其依次通过3×3卷积,组标准化GN,ReLU激活函数和dropout层,进而融合上下文信息,GN是批标准化BN的替代品,并且不要求很大的批量Batch size,Dropout层可以降低过拟合情况。
2.根据权利要求1所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S1具体包括:
S11:采用无监督的经典方法对TSE序列进行乳腺分割,并人工选取分割结果较好的作为数据集;
S12:根据S11得到的数据集对DenseUNet训练,将所有病人的TSE序列输入到训练好的DenseUNet中,得到每一个TSE序列对应的二值乳腺掩膜。
3.根据权利要求1所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S2具体包括:
S21:将每一个病人的TSE序列与DCE序列配准,根据配准结果,将S12得到的二值乳腺掩膜也做相应变换,并与DCE序列进行点乘,以去除DCE序列中的干扰组织和器官;
S22:将S21得到的DCE序列进行统一剪裁,以去除部分黑色背景,降低负样本的个数;
S23:将DCE序列的肿瘤标注图做S22中同样的剪裁操作,与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集;
S24:利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化;
S25:根据S23得到的数据集进行三通道的图像表示,并将其输入到ADUNet进行训练,对所有病人的DCE序列进行新的图像表示,输入到训练好的ADUNet中,得到肿瘤的分割结果。
4.根据权利要求3所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S2中的DCE序列进行新表示,生成三通道的新序列,具体表示为:
channel1=Ipeak
channel2=Ipeak-Ibase
channel3=Iearly-Idelayed
其中,channel1,channel2,channel3表示新图像序列的三个通道,Ibase表示对比前的T1图像序列,Ipeak表示在增强峰值的图像序列,Iearly为对比注入造影剂后的初始响应图像序列,Idelayed是延迟增强图像序列,通常是最后获得的增强序列。
5.根据权利要求3所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S2中的ADUNet网络模型包括编码器和解码器组成,其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块DB6、过渡层TL1、DB12、TL2、DB36、TL3和DB24;解码器组成依次包括UB1、UB2、UB3、UB4和上采样层UL。
6.根据权利要求5所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的TL1~3的区别在于1×1卷积的个数,分别为192、384和1056;UB1~4的区别在于注意力块中最后3×3卷积的个数,分别为768、384、96和96。
7.根据权利要求1所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S1
Focal loss具体公式为:
其中,α为常数,为应对类别不平衡的因子;γ为大于0的参数,为控制难易样本对损失函数的贡献差距的参数;p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值,即是正样本的概率,y(x)∈{0,1}表示对应的真实标签;对于正样本,p(x)越大说明是简单样本,对应的(1-p(x))γ越小,从而降低其对损失函数的贡献;p(x)越小说明是困难样本,对应的(1-p(x))γ越大,加大其在损失函数的占比。
8.根据权利要求1所述的乳腺MRI自动辅助诊断新方法,其特征在于,所述的步骤S3具体包括:
S31:用矩形框将S2步骤得到的肿瘤区域进行提取,采用双线性插值将其调整到32×32大小,采用S1中提出的图像表示方法,生成32×32×3大小的肿瘤图像块;
S32:设计一个轻量的分类网络,该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成;
S33:在训练阶段,将每个病人的所有肿瘤图像块输入到S32得到的分类网络中,可以使模型学习到不同大小肿瘤的特征,采用交叉熵损失函数进行训练;
S34:在测试阶段,根据肿瘤大小选取前50%的肿瘤图像块输入到S33训练好的分类网络中,病人的良恶性由预测得到的结果投票决定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010345214.8A CN111401480B (zh) | 2020-04-27 | 2020-04-27 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010345214.8A CN111401480B (zh) | 2020-04-27 | 2020-04-27 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401480A CN111401480A (zh) | 2020-07-10 |
CN111401480B true CN111401480B (zh) | 2023-07-25 |
Family
ID=71429826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010345214.8A Active CN111401480B (zh) | 2020-04-27 | 2020-04-27 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401480B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
CN112132790B (zh) * | 2020-09-02 | 2024-05-14 | 西安国际医学中心有限公司 | Dac-gan模型构建方法及在乳腺mr图像中的应用 |
CN112164028A (zh) * | 2020-09-02 | 2021-01-01 | 陈燕铭 | 基于人工智能的垂体腺瘤磁共振图像定位诊断方法和装置 |
CN112201328B (zh) * | 2020-10-09 | 2022-06-21 | 浙江德尚韵兴医疗科技有限公司 | 一种基于交叉注意力机制的乳腺肿块分割方法 |
CN112785598B (zh) * | 2020-11-05 | 2022-05-13 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
CN112927246A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 |
CN112927243B (zh) * | 2021-03-31 | 2022-12-23 | 上海大学 | 一种基于卷积神经网络的微出血病灶分割方法 |
CN113139981A (zh) * | 2021-05-18 | 2021-07-20 | 哈尔滨理工大学 | 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法 |
CN114140688B (zh) * | 2021-11-23 | 2022-12-09 | 武汉理工大学 | 基于透射扫描图像的叶脉表型提取方法、装置及电子设备 |
CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
CN114677378B (zh) * | 2022-05-31 | 2022-09-02 | 四川省医学科学院·四川省人民医院 | 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统 |
CN114913169B (zh) * | 2022-06-10 | 2023-03-24 | 浙江大学 | 一种新生儿坏死性小肠结肠炎筛查系统 |
CN115063393A (zh) * | 2022-06-29 | 2022-09-16 | 江南大学 | 一种基于边缘补偿注意力的肝脏及肝脏肿瘤自动分割方法 |
CN115937223B (zh) * | 2023-01-06 | 2023-07-14 | 北京理工大学 | 一种单样本新类别白质束分割方法、装置、设备及介质 |
CN117611806B (zh) * | 2024-01-24 | 2024-04-12 | 北京航空航天大学 | 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104851101A (zh) * | 2015-05-25 | 2015-08-19 | 电子科技大学 | 一种基于深度学习的脑肿瘤自动分割方法 |
CN109033998B (zh) * | 2018-07-04 | 2022-04-12 | 北京航空航天大学 | 基于注意力机制卷积神经网络的遥感影像地物标注方法 |
US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
CN110059717A (zh) * | 2019-03-13 | 2019-07-26 | 山东大学 | 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统 |
US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
CN110084794B (zh) * | 2019-04-22 | 2020-12-22 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
CN110689544A (zh) * | 2019-09-06 | 2020-01-14 | 哈尔滨工程大学 | 一种遥感图像细弱目标分割方法 |
-
2020
- 2020-04-27 CN CN202010345214.8A patent/CN111401480B/zh active Active
Non-Patent Citations (1)
Title |
---|
乳腺钼靶摄影结合CAD诊断乳腺癌的价值;高燕莉, 刘晓娟, 王丽, 麻增林, 翟仁友;中国医学影像学杂志(第02期);127-130 * |
Also Published As
Publication number | Publication date |
---|---|
CN111401480A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401480B (zh) | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 | |
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
Xian et al. | Automatic breast ultrasound image segmentation: A survey | |
CN107464250B (zh) | 基于三维mri图像的乳腺肿瘤自动分割方法 | |
CN109816661B (zh) | 一种基于深度学习的牙齿ct图像分割方法 | |
CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN110084318B (zh) | 一种结合卷积神经网络和梯度提升树的图像识别方法 | |
CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
CN108399616B (zh) | 基于深度残差网络的骨科病病变分类分级方法 | |
Zuo et al. | R2AU-Net: attention recurrent residual convolutional neural network for multimodal medical image segmentation | |
CN107886514A (zh) | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 | |
CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
CN110852396A (zh) | 一种宫颈图像的样本数据处理方法 | |
CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
JP7312510B1 (ja) | 腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法 | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
CN114548265A (zh) | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 | |
Wang et al. | Anomaly segmentation in retinal images with poisson-blending data augmentation | |
CN111369501A (zh) | 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法 | |
Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
CN108765431B (zh) | 一种图像的分割方法及其在医学领域的应用 | |
CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |