CN111401480A - 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 - Google Patents

一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 Download PDF

Info

Publication number
CN111401480A
CN111401480A CN202010345214.8A CN202010345214A CN111401480A CN 111401480 A CN111401480 A CN 111401480A CN 202010345214 A CN202010345214 A CN 202010345214A CN 111401480 A CN111401480 A CN 111401480A
Authority
CN
China
Prior art keywords
sequence
feature map
new
tumor
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010345214.8A
Other languages
English (en)
Other versions
CN111401480B (zh
Inventor
王培军
薛宏伟
高燕
吴晓芬
陈浩
钱光武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongji Hospital
Shenzhen Imsight Medical Technology Co Ltd
Original Assignee
Shanghai Tongji Hospital
Shenzhen Imsight Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongji Hospital, Shenzhen Imsight Medical Technology Co Ltd filed Critical Shanghai Tongji Hospital
Priority to CN202010345214.8A priority Critical patent/CN111401480B/zh
Publication of CN111401480A publication Critical patent/CN111401480A/zh
Application granted granted Critical
Publication of CN111401480B publication Critical patent/CN111401480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明涉及一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法，所述的乳腺MRI自动辅助诊断新方法包括以下步骤：S1：人工选取乳腺分割数据集，训练DenseUNet模型，将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官；S2：将S1得到的分割结果映射到DCE序列，得到分割后的乳腺组织，将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割,针对类不平衡和困难样本问题，在训练过程中采用Focal Loss以防止模型偏移；S3：将S2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。本发明可以实现端到端的乳腺癌症辅助诊断，无需人工干预，且可以极大提高诊断效率和准确率。

Description

一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法
技术领域
本发明属于医学图像处理技术领域，特别涉及一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。
背景技术
乳腺癌的发病率和死亡率在所有女性疾病中分别位于第一位和第二位，严重危害着女性的生命健康。早起发现肿瘤可以有效地增加存活率。核磁共振成像(MRI)以其高分辨率、无辐射、多方向、多功能的成像技术而著称，对乳腺肿瘤非常敏感而成为乳腺癌筛查和诊断时的一种常用方法。在实际诊断中，阅读MR影像不仅费时，而且需要放射科医师具有丰富的专业经验。此外，在乳腺癌诊断的图像分析中，病变的多样性和复杂性可能与致密组织的相互作用有关，放射科医师很难准确地检测和分析肿块。针对这些情况，乳腺MRI辅助诊断应运而生。
经典的乳腺MRI辅助诊断的主要流程包括对乳腺MRI图像进行预处理，之后采用半自动或人工的方法获得感兴趣区域，并提取肿瘤的特征，例如形态、纹理、灰度等，然后将提取的特征组成特征向量，并进行分类得到良恶性的诊断结果。
虽然经典的乳腺MRI辅助诊断方法取得了一定的成绩，但是往往需要人工干预或先验知识，容易受到医生主观因素的影响。此外，手工特征有一定的局限性，无法表述尚未被医生发现的特征。近些年来，卷积神经网络，尤其是全卷积神经网络已经被证明对于医学图像分割任务是非常有效的，并且不需要设计手工特征和先验知识。但是，全卷积神经网络对类别不平衡问题非常敏感，这会造成模型偏移而造成分割准确率下降。目前，针对乳腺肿瘤分割并可以解决上述问题而设计的深度学习方法很少。
中国专利文献CN：201710429118.X，公开了一种基于三维全卷积神经网络的核磁共振图像的分割方法，包括如下步骤：输入核磁共振图像数据；设置三维全卷积神经网络结构，将脑部皮下组织的分割任务看作基于核磁共振图像的多特征多分类问题，提取脑部皮下组织的特征；优化三维全卷积神经网络的参数；将训练模型应用于核磁共振图像测试集进行测试，产生测试集的分类结果；将测试集的分类结果画图产生三维脑皮下组织图。中国专利文献CN：201910002630.5一种基于多注意力机制的端到端的肿瘤分割方法，该方法主要包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络，由改进的3DResidual U-net构成；注意力模块由特殊设计的双分支结构构成。适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3D影像的分割，包括MRI，CT图像等，能够提供更加精确的分割结果。但是关于可以实现端到端的乳腺癌症辅助诊断，无需人工干预，且可以极大提高诊断效率和准确率，基于融合注意力机制的乳腺MRI自动辅助诊断新方法目前还未见报道。
发明内容
本发明的第一个目的是，针对现有技术中的不足，提供一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。
为实现上述第一个目的，本发明采取的技术方案是：
一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法，包括以下步骤：
S1：人工选取乳腺分割数据集，训练DenseUNet模型，将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官。
S2：将S1得到的分割结果映射到DCE序列，得到分割后的乳腺组织，将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割。针对类不平衡和困难样本问题，在训练过程中采用Focal Loss以防止模型偏移。
S3：将S2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。
进一步地，步骤S1具体包括：
S11：采用无监督的经典方法对TSE序列进行乳腺分割，并人工选取分割结果较好的作为数据集。
S12：根据S11得到的数据集对DenseUNet训练。将所有病人的TSE序列输入到训练好的DenseUNet中，得到每一个TSE序列对应的二值乳腺掩膜。
进一步地，步骤S2具体包括：
S21：将每一个病人的TSE序列与DCE序列配准，根据配准结果，将S12得到的二值乳腺掩膜也做相应变换，并与DCE序列进行点乘，以去除DCE序列中的干扰组织和器官。
S22：将S21得到的DCE序列进行统一剪裁，以去除部分黑色背景，降低负样本的个数。
S23：将DCE序列的肿瘤标注图做S22中同样的剪裁操作，与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集。
S24：利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化。
S25：根据S23得到的数据集进行三通道的图像表示，并将其输入到ADUNet进行训练。对所有病人的DCE序列进行新的图像表示，输入到训练好的ADUNet中，得到肿瘤的分割结果；
具体的，通过S1可以将大部分的区域去除，然而仍然有很多背景，这将导致严重的类不平衡问题。为此，我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征，我们结合解剖结构和代谢特征，将每一个病人的所有DCE序列进行新表示，生成三通道的新序列，具体表示为：
channel1＝Ipeak
channel2＝Ipeak-Ibase
channel3＝Iearly-Idelayed
其中，channel1，channel2，channel3表示新图像序列的三个通道，Ibase表示对比前的T1图像序列，Ipeak表示在增强峰值的图像序列，Iearly为对比注入造影剂后的初始响应图像序列，Idelayed是延迟增强图像序列，通常是最后获得的增强序列。
优选的，ADUNet中具有注意力块的上采样块(UB)操作包括：
S241：将低级特征图x通过步长为2的3×3卷积，得到分辨率和高级特征图g一样的新特征图x1。
S242：将高级特征图g通过1×1卷积降低其通道数，使其和S241得到的新特征图x1的通道上一致，并与其相加，得到新特征图f1。
S243：将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数，得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。
S244：将高级特征图g依次通过全局平均池化，1×1卷积和Sigmoid激活函数，得到一个1×1×c的通道方向想的注意力系数向量v1，c表示低级特征图x的通道数。
S245：将低级特征图x与注意力权重图m2和注意力系数向量v1相乘，得到注意力块的输出，即低级特征图x2。高级特征图拥有丰富的语义信息，通过注意力块，低级特征图中的前景区域在高级特征图的指导下可以得到增强。
S246：通过上采样将高级特征图的长和宽扩大两倍，得到新的高级特征图g2。
S247：将高级特征图g2和x2进行拼接，组成新的特征图f2。并将其依次通过3×3卷积，组标准化(GN)，ReLU激活函数和dropout层，进而融合上下文信息。GN是批标准化(BN)的替代品，并且不要求很大的批量(Batch size)。Dropout层可以降低过拟合情况。
优选的，ADUNet网络模型包括编码器和解码器组成，其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(DB(6))、过渡层1(TL1)、DB(12)、TL2、DB(36)、TL3和DB(24)；解码器组成依次包括UB1、UB2、UB3、UB4和上采样层(UL)。其中，TL1～3的区别在于1×1卷积的个数，分别为192、384和1056；UB1～4的区别在于注意力块中最后3×3卷积的个数，分别为768、384、96和96。UB块的输入x是TL块中1×1卷积的输出，目的是降低特征图的通道数，减少计算量。
优选的，乳腺MRI图像中存在正负样本分布不平衡问题，这会导致在训练过程中模型偏移。此外，一些困难样本，例如类似肿瘤外观的组织，即使是经验丰富的放射科医生也很难鉴别。本发明采用Focal loss解决这两个问题，具体公式为：
Figure BDA0002469928720000051
其中，α为常数，为应对类别不平衡的因子；γ为大于0的参数，为控制难易样本对损失函数的贡献差距的参数；p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值，即是正样本的概率，y(x)∈{0,1}表示对应的真实标签；对于正样本，p(x)越大说明是简单样本，对应的(1-p(x))γ越小，从而降低其对损失函数的贡献；p(x)越小说明是困难样本，对应的(1-p(x))γ越大，加大其在损失函数的占比。
进一步地，步骤S3具体包括：
S31：用矩形框将S2步骤得到的肿瘤区域进行提取，采用双线性插值将其调整到32×32大小，采用S1中提出的图像表示方法，生成32×32×3大小的肿瘤图像块。
S32：设计一个轻量的分类网络，该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成。
S33：在训练阶段，将每个病人的所有肿瘤图像块输入到S32得到的分类网络中，可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。
S34：在测试阶段，根据肿瘤大小选取前50％的肿瘤图像块输入到S33训练好的分类网络中，病人的良恶性由预测得到的结果投票决定。
本发明的目的在于提供一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法。该方法可以实现端到端的乳腺癌症辅助诊断，无需人工干预，且可以极大提高诊断效率和准确率。
本发明是第一个多阶段乳腺MRI自动辅助诊断方法，包括乳腺分割、肿瘤分割和肿瘤分类；本发明提出了一种具有注意力机制的全卷积神经网络结构——ADUNet，采用Focalloss以解决类不平衡和模型偏移问题，显著提升了肿瘤分割结果；本发明提出了一个轻量的二分类网络，对肿瘤的良恶性进行准确识别。
本发明优点在于：
1、本发明提出的多阶段乳腺MRI自动辅助诊断方法，采用由粗到细的方式，准确获得肿瘤的位置和良恶性。
2、本发明的第一阶段，采用DenseUNet可以准确地将胸腔中无关组织和器官去除，提取乳腺组织。
3、本发明的第二阶段，提出的ADUNet将通道注意力机制和空间注意力机制结合，可以增强肿瘤在特征图中的相应，进而改善肿瘤的定位；使用预训练模型可以显著提高训练速度；采用Focal loss解决了正负样本不平衡和模型偏移问题，提高了分割效果。
4、本发明的第三阶段，提出的肿瘤良恶性识别模型，不仅参数少，而且可以准确地判断良恶性。
附图说明
图1为本发明一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法流程示意图；
图2为本发明上采样块(UB)的示意图；
图3为本发明ADUNet的示意图；
图4为本发明图3中DB的示意图；
图5为本发明图4中卷积块的示意图；
图6为本发明图3中TL的示意图；
图7为本发明图3中UL的示意图；
图8为本发明良恶性分类网络的示意图。
具体实施方式
下面结合实施例对本发明提供的具体实施方式作详细说明。
实施例1
请参看图1，图1为本发明一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法流程示意图。一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法，包括以下步骤：
S1：人工选取乳腺分割数据集，训练DenseUNet模型，将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官。
S2：将S1得到的分割结果映射到DCE序列，得到分割后的乳腺组织，将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割,针对类不平衡和困难样本问题，在训练过程中采用Focal Loss以防止模型偏移。
S3：将S2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。
进一步地，步骤S1具体包括：
S11：采用无监督的经典方法对TSE序列进行乳腺分割，并人工选取分割结果较好的作为数据集。
S12：根据S11得到的数据集对DenseUNet训练。将所有病人的TSE序列输入到训练好的DenseUNet中，得到每一个TSE序列对应的二值乳腺掩膜。
进一步地，步骤S2具体包括：
S21：将每一个病人的TSE序列与DCE序列配准，根据配准结果，将S12得到的二值乳腺掩膜也做相应变换，并与DCE序列进行点乘，以去除DCE序列中的干扰组织和器官。
S22：将S21得到的DCE序列进行统一剪裁，以去除部分黑色背景，降低负样本的个数。
S23：将DCE序列的肿瘤标注图做S22中同样的剪裁操作，与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集。
S24：利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化。
S25：根据S23得到的数据集进行三通道的图像表示，并将其输入到ADUNet进行训练。对所有病人的DCE序列进行新的图像表示，输入到训练好的ADUNet中，得到肿瘤的分割结果
具体的，通过S1可以将大部分的区域去除，然而仍然有很多背景，这将导致严重的类不平衡问题。为此，我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征，我们结合解剖结构和代谢特征，将每一个病人的所有DCE序列进行新表示，生成三通道的新序列，具体表示为：
channel1＝Ipeak
channel2＝Ipeak-Ibase
channel3＝Iearly-Idelayed
其中，channel1，channel2，channel3表示新图像序列的三个通道，Ibase表示对比前的T1图像序列，Ipeak表示在增强峰值的图像序列，Iearly为对比注入造影剂后的初始响应图像序列，Idelayed是延迟增强图像序列，通常是最后获得的增强序列。
优选的，如图2所示，ADUNet中具有注意力块的上采样块(UB)操作包括：
S241：将低级特征图x通过步长为2的3×3卷积，得到分辨率和高级特征图g一样的新特征图x1。
S242：将高级特征图g通过1×1卷积降低其通道数，使其和S241得到的新特征图x1的通道上一致，并与其相加，得到新特征图f1。
S243：将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数，得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。
S244：将高级特征图g依次通过全局平均池化，1×1卷积和Sigmoid激活函数，得到一个1×1×c的通道方向想的注意力系数向量v1，c表示低级特征图x的通道数。
S245：将低级特征图x与注意力权重图m2和注意力系数向量v1相乘，得到注意力块的输出，即低级特征图x2。高级特征图拥有丰富的语义信息，通过注意力块，低级特征图中的前景区域在高级特征图的指导下可以得到增强。
S246：通过上采样将高级特征图的长和宽扩大两倍，得到新的高级特征图g2。
S247：将高级特征图g2和x2进行拼接，组成新的特征图f2。并将其依次通过3×3卷积，组标准化(GN)，ReLU激活函数和dropout层，进而融合上下文信息。GN是批标准化(BN)的替代品，并且不要求很大的批量(Batch size)。Dropout层可以降低过拟合情况。
优选的，如图3所示，ADUNet网络模型包括编码器和解码器组成，其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(DB(6))、过渡层1(TL1)、DB(12)、TL2、DB(36)、TL3和DB(24)；解码器组成依次包括UB1、UB2、UB3、UB4和上采样层(UL)。请参看图4，图5，图6会和图7(图4为本发明图3中DB的示意图；图5为本发明图4中卷积块的示意图；图6为本发明图3中TL的示意图；图7为本发明图3中UL的示意图)。其中，TL1～3的区别在于1×1卷积的个数，分别为192、384和1056；UB1～4的区别在于注意力块中最后3×3卷积的个数，分别为768、384、96和96。UB块的输入x是TL块中1×1卷积的输出，目的是降低特征图的通道数，减少计算量。
优选的，乳腺MRI图像中存在正负样本分布不平衡问题，这会导致在训练过程中模型偏移。此外，一些困难样本，例如类似肿瘤外观的组织，即使是经验丰富的放射科医生也很难鉴别。本发明采用Focal loss解决这两个问题，具体公式为：
Figure BDA0002469928720000111
其中，α为常数，为应对类别不平衡的因子；γ为大于0的参数，为控制难易样本对损失函数的贡献差距的参数；p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值，即是正样本的概率，y(x)∈{0,1}表示对应的真实标签；对于正样本，p(x)越大说明是简单样本，对应的(1-p(x))γ越小，从而降低其对损失函数的贡献；p(x)越小说明是困难样本，对应的(1-p(x))γ越大，加大其在损失函数的占比。
进一步地，步骤S3具体包括：
S31：用矩形框将S2步骤得到的肿瘤区域进行提取，采用双线性插值将其调整到32×32大小，采用S1中提出的图像表示方法，生成32×32×3大小的肿瘤图像块。
S32：设计一个轻量的分类网络，如图8所示，该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成。
S33：在训练阶段，将每个病人的所有肿瘤图像块输入到S32得到的分类网络中，可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。
S34：在测试阶段，根据肿瘤大小选取前50％的肿瘤图像块输入到S33训练好的分类网络中，病人的良恶性由预测得到的结果投票决定。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (9)

1.一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法，其特征在于，所述的乳腺MRI自动辅助诊断新方法包括以下步骤：
S1：人工选取乳腺分割数据集，训练DenseUNet模型，将乳腺的TSE序列输入到训练好的DenseUNet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官；
S2：将S1得到的分割结果映射到DCE序列，得到分割后的乳腺组织，将其输入到具有注意力机制的DenseUNet(ADUNet)模型进行肿瘤分割,针对类不平衡和困难样本问题，在训练过程中采用Focal Loss以防止模型偏移；
S3：将S2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。
2.根据权利要求1所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S1具体包括：
S11：采用无监督的经典方法对TSE序列进行乳腺分割，并人工选取分割结果较好的作为数据集；
S12：根据S11得到的数据集对DenseUNet训练，将所有病人的TSE序列输入到训练好的DenseUNet中，得到每一个TSE序列对应的二值乳腺掩膜。
3.根据权利要求1所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S2具体包括：
S21：将每一个病人的TSE序列与DCE序列配准，根据配准结果，将S12得到的二值乳腺掩膜也做相应变换，并与DCE序列进行点乘，以去除DCE序列中的干扰组织和器官；
S22：将S21得到的DCE序列进行统一剪裁，以去除部分黑色背景，降低负样本的个数；
S23：将DCE序列的肿瘤标注图做S22中同样的剪裁操作，与S22得到的剪裁后的DCE图像构成肿瘤分割的数据集；
S24：利用预训练DenseNet-161中前160层的权重对所提出的ADUNet的编码器进行初始化；
S25：根据S23得到的数据集进行三通道的图像表示，并将其输入到ADUNet进行训练，对所有病人的DCE序列进行新的图像表示，输入到训练好的ADUNet中，得到肿瘤的分割结果。
4.根据权利要求3所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S2中的DCE序列进行新表示，生成三通道的新序列，具体表示为：
channel1＝Ipeak
channel2＝Ipeak-Ibase
channel3＝Iearly-Idelayed
其中，channel1，channel2，channel3表示新图像序列的三个通道，Ibase表示对比前的T1图像序列，Ipeak表示在增强峰值的图像序列，Iearly为对比注入造影剂后的初始响应图像序列，Idelayed是延迟增强图像序列，通常是最后获得的增强序列。
5.根据权利要求3所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S2中的ADUNet中具有注意力块的上采样块(UB)操作包括：
S241：将低级特征图x通过步长为2的3×3卷积，得到分辨率和高级特征图g一样的新特征图x1；
S242：将高级特征图g通过1×1卷积降低其通道数，使其和S241得到的新特征图x1的通道上一致，并与其相加，得到新特征图f1；
S243：将S242得到的新特征图f1依次通过1个步长为1的1×1卷积和Sigmoid激活函数，得到一个单通道的空间方向的注意力权重图m1，通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2；
S244：将高级特征图g依次通过全局平均池化，1×1卷积和Sigmoid激活函数，得到一个1×1×c的通道方向想的注意力系数向量v1，c表示低级特征图x的通道数；
S245：将低级特征图x与注意力权重图m2和注意力系数向量v1相乘，得到注意力块的输出，即低级特征图x2，高级特征图拥有丰富的语义信息，通过注意力块，低级特征图中的前景区域在高级特征图的指导下可以得到增强；
S246：通过上采样将高级特征图的长和宽扩大两倍，得到新的高级特征图g2；
S247：将高级特征图g2和x2进行拼接，组成新的特征图f2，并将其依次通过3×3卷积，组标准化(GN)，ReLU激活函数和dropout层，进而融合上下文信息，GN是批标准化(BN)的替代品，并且不要求很大的批量(Batch size)，Dropout层可以降低过拟合情况。
6.根据权利要求3所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S2中的ADUNet网络模型包括编码器和解码器组成，其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(DB(6))、过渡层1(TL1)、DB(12)、TL2、DB(36)、TL3和DB(24)；解码器组成依次包括UB1、UB2、UB3、UB4和上采样层(UL)。
7.根据权利要求6所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的TL1～3的区别在于1×1卷积的个数，分别为192、384和1056；UB1～4的区别在于注意力块中最后3×3卷积的个数，分别为768、384、96和96。
8.根据权利要求1所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S1
Focal loss具体公式为：
Figure FDA0002469928710000041
其中，α为常数，为应对类别不平衡的因子；γ为大于0的参数，为控制难易样本对损失函数的贡献差距的参数；p(x)∈[0,1]表示ADUNet输出的预测概率图中x位置的值，即是正样本的概率，y(x)∈{0,1}表示对应的真实标签；对于正样本，p(x)越大说明是简单样本，对应的(1-p(x))γ越小，从而降低其对损失函数的贡献；p(x)越小说明是困难样本，对应的(1-p(x))γ越大，加大其在损失函数的占比。
9.根据权利要求1所述的乳腺MRI自动辅助诊断新方法，其特征在于，所述的步骤S3具体包括：
S31：用矩形框将S2步骤得到的肿瘤区域进行提取，采用双线性插值将其调整到32×32大小，采用S1中提出的图像表示方法，生成32×32×3大小的肿瘤图像块；
S32：设计一个轻量的分类网络，该网络由3个5×5卷积层、ReLU激活层、池化层、全连接层和Softmax层组成；
S33：在训练阶段，将每个病人的所有肿瘤图像块输入到S32得到的分类网络中，可以使模型学习到不同大小肿瘤的特征，采用交叉熵损失函数进行训练；
S34：在测试阶段，根据肿瘤大小选取前50％的肿瘤图像块输入到S33训练好的分类网络中，病人的良恶性由预测得到的结果投票决定。
CN202010345214.8A 2020-04-27 2020-04-27 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 Active CN111401480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345214.8A CN111401480B (zh) 2020-04-27 2020-04-27 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345214.8A CN111401480B (zh) 2020-04-27 2020-04-27 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法

Publications (2)

Publication Number Publication Date
CN111401480A true CN111401480A (zh) 2020-07-10
CN111401480B CN111401480B (zh) 2023-07-25

Family

ID=71429826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345214.8A Active CN111401480B (zh) 2020-04-27 2020-04-27 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法

Country Status (1)

Country Link
CN (1) CN111401480B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132790A (zh) * 2020-09-02 2020-12-25 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112164028A (zh) * 2020-09-02 2021-01-01 陈燕铭 基于人工智能的垂体腺瘤磁共振图像定位诊断方法和装置
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112785598A (zh) * 2020-11-05 2021-05-11 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法
CN112927246A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 肺部轮廓分割、肿瘤免疫浸润分类系统及方法
CN112927243A (zh) * 2021-03-31 2021-06-08 上海大学 一种基于卷积神经网络的微出血病灶分割方法
CN113139981A (zh) * 2021-05-18 2021-07-20 哈尔滨理工大学 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法
CN114092477A (zh) * 2022-01-21 2022-02-25 浪潮云信息技术股份公司 一种图像篡改检测方法、装置及设备
CN114140688A (zh) * 2021-11-23 2022-03-04 武汉理工大学 基于透射扫描图像的叶脉表型提取方法、装置及电子设备
CN114677378A (zh) * 2022-05-31 2022-06-28 四川省医学科学院·四川省人民医院 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统
CN114913169A (zh) * 2022-06-10 2022-08-16 浙江大学 一种新生儿坏死性小肠结肠炎筛查系统
CN115063393A (zh) * 2022-06-29 2022-09-16 江南大学 一种基于边缘补偿注意力的肝脏及肝脏肿瘤自动分割方法
CN115937223A (zh) * 2023-01-06 2023-04-07 北京理工大学 一种单样本新类别白质束分割方法、装置、设备及介质
CN117611806A (zh) * 2024-01-24 2024-02-27 北京航空航天大学 基于影像和临床特征的前列腺癌手术切缘阳性预测系统
CN112132790B (zh) * 2020-09-02 2024-05-14 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851101A (zh) * 2015-05-25 2015-08-19 电子科技大学 一种基于深度学习的脑肿瘤自动分割方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110689544A (zh) * 2019-09-06 2020-01-14 哈尔滨工程大学 一种遥感图像细弱目标分割方法
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851101A (zh) * 2015-05-25 2015-08-19 电子科技大学 一种基于深度学习的脑肿瘤自动分割方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110689544A (zh) * 2019-09-06 2020-01-14 哈尔滨工程大学 一种遥感图像细弱目标分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高燕莉, 刘晓娟, 王丽, 麻增林, 翟仁友: "乳腺钼靶摄影结合CAD诊断乳腺癌的价值", 中国医学影像学杂志, no. 02, pages 127 - 130 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112164028A (zh) * 2020-09-02 2021-01-01 陈燕铭 基于人工智能的垂体腺瘤磁共振图像定位诊断方法和装置
CN112132790A (zh) * 2020-09-02 2020-12-25 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112132790B (zh) * 2020-09-02 2024-05-14 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112201328B (zh) * 2020-10-09 2022-06-21 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN112785598A (zh) * 2020-11-05 2021-05-11 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法
CN112927246A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 肺部轮廓分割、肿瘤免疫浸润分类系统及方法
CN112927243B (zh) * 2021-03-31 2022-12-23 上海大学 一种基于卷积神经网络的微出血病灶分割方法
CN112927243A (zh) * 2021-03-31 2021-06-08 上海大学 一种基于卷积神经网络的微出血病灶分割方法
CN113139981A (zh) * 2021-05-18 2021-07-20 哈尔滨理工大学 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法
CN114140688A (zh) * 2021-11-23 2022-03-04 武汉理工大学 基于透射扫描图像的叶脉表型提取方法、装置及电子设备
CN114092477A (zh) * 2022-01-21 2022-02-25 浪潮云信息技术股份公司 一种图像篡改检测方法、装置及设备
CN114677378A (zh) * 2022-05-31 2022-06-28 四川省医学科学院·四川省人民医院 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统
CN114913169A (zh) * 2022-06-10 2022-08-16 浙江大学 一种新生儿坏死性小肠结肠炎筛查系统
CN115063393A (zh) * 2022-06-29 2022-09-16 江南大学 一种基于边缘补偿注意力的肝脏及肝脏肿瘤自动分割方法
CN115937223A (zh) * 2023-01-06 2023-04-07 北京理工大学 一种单样本新类别白质束分割方法、装置、设备及介质
CN115937223B (zh) * 2023-01-06 2023-07-14 北京理工大学 一种单样本新类别白质束分割方法、装置、设备及介质
CN117611806A (zh) * 2024-01-24 2024-02-27 北京航空航天大学 基于影像和临床特征的前列腺癌手术切缘阳性预测系统
CN117611806B (zh) * 2024-01-24 2024-04-12 北京航空航天大学 基于影像和临床特征的前列腺癌手术切缘阳性预测系统

Also Published As

Publication number Publication date
CN111401480B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111401480A (zh) 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN108416360B (zh) 基于乳腺钼靶钙化特征的癌症诊断系统及方法
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
WO2022001571A1 (zh) 一种基于超像素图像相似度的计算方法
Kumar et al. Robust and automated lung nodule diagnosis from CT images based on fuzzy systems
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
Mahapatra et al. Active learning based segmentation of Crohn's disease using principles of visual saliency
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
CN111091575A (zh) 一种基于强化学习方法的医学图像分割方法
Parameshachari et al. SVM Based Brain Tumor Detection and Classification System
CN113781468A (zh) 一种基于轻量级卷积神经网络的舌图像分割方法
Ibrahim et al. Deep learning based Brain Tumour Classification based on Recursive Sigmoid Neural Network based on Multi-Scale Neural Segmentation
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
Vijayalakshmi et al. Liver tumor detection using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant