CN115272357A - 基于多时相融合与双注意力机制的肝肿瘤分割方法 - Google Patents

基于多时相融合与双注意力机制的肝肿瘤分割方法 Download PDF

Info

Publication number
CN115272357A
CN115272357A CN202210881264.7A CN202210881264A CN115272357A CN 115272357 A CN115272357 A CN 115272357A CN 202210881264 A CN202210881264 A CN 202210881264A CN 115272357 A CN115272357 A CN 115272357A
Authority
CN
China
Prior art keywords
characteristic diagram
feature map
stage
layer
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210881264.7A
Other languages
English (en)
Inventor
罗中华
周艳艳
曹云堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Medical University of PLA
Original Assignee
Air Force Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Medical University of PLA filed Critical Air Force Medical University of PLA
Priority to CN202210881264.7A priority Critical patent/CN115272357A/zh
Publication of CN115272357A publication Critical patent/CN115272357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供基于多时相融合与双注意力机制的肝肿瘤分割方法，涉及图形处理技术领域，能够解决现有技术中肝肿瘤分割精度差的问题。具体技术方案为：制作训练集和测试集，将病例同次扫描得到的动脉期门静脉期同层图像作为一组图像对；设计多时相特征融合机制对两期图像特征进行融合；加入双注意力机制提高网络对肝肿瘤特征关注度；以U‑Net为骨干网络构造基于上述两种机制的肝肿瘤分割网络；使用训练集中的图像对肝肿瘤分割网络进行训练；将测试集图像对输入训练好的网络，利用阈值法处理网络输出得到肝肿瘤分割结果。本发明用于多时相CT图像的肝肿瘤分割。

Description

基于多时相融合与双注意力机制的肝肿瘤分割方法
技术领域
本公开涉及图形处理技术领域，尤其涉及一种基于多时相融合与双注意力机制的肝肿瘤分割方法，可用于对多时相CT图像的肝肿瘤分割。
背景技术
肝癌作为最常见的肿瘤疾病之一具有起病隐匿、潜伏期长、转移性强及病情进展快等特点。随着计算机技术的发展，医学成像技术是医生为患者诊断和治疗过程中必不可少的工具，其中计算机断层扫描技术CT是肝癌患者诊断、治疗和随访过程中最常用的手段。人工识别CT图像中的肝肿瘤不仅耗时耗力且存在识别过程中主观性影响精度的缺点，因此利用计算机实现精确可靠的自动分割算法可以有效提高临床场景中医生的工作效率，减少医生的工作量。
在现有利用深度卷积神经网络分割肝肿瘤的方法中，主要有单独利用门静脉期图像训练分割网络和利用多时相图像训练分割网络两类方法。第一类方法通常在标准编解码结构分割网络中添加提取图像多尺度信息的网络特征融合模块及注意力机制来提升网络分割肝肿瘤的能力，第二类方法大多将多时相CT中获取的三种图像进行拼接成为三通道图像直接输入分割网络进行训练或者将两种或三种图像分别输入双分支或三分支网络进行训练，其中各分支共享网络结构不共享网络权重并在网络解码层某阶段进行特征融合。上述两类方法均有各自的不足，第一类方法仅在门静脉期图像上提取肿瘤分割的信息，忽视其他两种图像中含有的补充信息，第二类方法中对多时相CT 中获取的各期图像的特征融合过于简单粗暴，没有考虑各时相图像的特征在网络不同深度的可结合性，导致网络学习了很多冗余无关的信息，影响肝肿瘤的分割性能。
发明内容
本公开实施例提供一种基于多时相融合与双注意力机制的肝肿瘤分割方法，能够将多时相CT图像肝肿瘤分割出来，解决现有技术中肝肿瘤分割精度差的问题，提高多时相CT图像中肝肿瘤的分割准确性。所述技术方案如下：
根据本公开实施例的第一方面，提供一种基于多时相融合与双注意力机制的肝肿瘤分割方法，该方法包括：
步骤1：获取L个病例数据，将每个病例每次进行多时相CT扫描得到的同一层的动脉期图像和门静脉期图像作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，随机将L个病例数据中的P个病例数据作为训练集，剩下的 Q个病例数据作为测试集；
步骤2：构建多时相特征融合机制MFF，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图；
步骤3：构建包含位置注意力模块PAM和通道注意力模块CAM的双注意力机制DAM，将融合特征图进行卷积操作后得到的特征图输入双注意力机制模块DAM进行处理，得到双注意力特征图；
步骤4：将多时相特征融合机制MFF、双注意力机制DAM嵌入U-Net结构中，形成基于多时相融合与双注意力机制的肝肿瘤分割网络MFDA-Net；
步骤5：将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对MFDA-Net进行训练，得到训练好的MFDA-Net；
步骤6：将测试集中的动脉期图像和门静脉期图像组成的图像对输入训练好的MFDA-Net，利用二值化方法对网络的输出结果进行处理得到分割结果，并将分割结果以轮廓的形式表示在门静脉期图像上。
在一个实施例中，构建多时相特征融合机制MFF，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图包括：
将来自动脉期图像提取的特征图A、门静脉期图像提取的特征图V分别通过一个卷积核大小为1×1，滑动步长为1，个数为输入特征图通道数1/4的卷积层得到特征图A1和特征图V1；
将特征图A1和V1相加后依次通过一个激励函数为修正线性单元ReLU函数的激活层、一个卷积核大小为1×1，滑动步长为1，个数为1的卷积层以及一个采用Sigmoid激励函数的激励层得到注意力权重图；
将特征图A和注意力权重图相乘得到调整关注度后的特征图A2；
将特征图V与特征图A2进行特征图通道方向上的融合操作后依次通过一个卷积核大小为3×3，滑动步长为1，个数为特征图V通道数的卷积层和一个激励函数为修正线性单元ReLU函数的激活层，得到融合特征图V2。
在一个实施例中，对融合特征图进行卷积操作后得到的特征图输入双注意力机制模块DAM进行处理，得到双注意力特征图包括：
将融合特征图进行卷积操作后得到的特征图分别输入位置注意力模块P AM和通道注意力模块CAM进行处理，得到位置注意力特征图和通道注意力特征图；
将位置注意力特征图和通道注意力特征图相加后依次通过一个卷积核大小为3×3，滑动步长为1的卷积层和一个激励函数为修正线性单元ReLU函数的激活层，得到双注意力特征图。
在一个实施例中，将融合特征图进行卷积操作后得到的特征图输入位置注意力模块PAM，得到位置注意力特征图包括：
将融合特征图进行卷积操作后得到的特征图F分别通过两个卷积核大小为1×1，个数为C/4，滑动步长为1的卷积层得到特征图FX和特征图FY，特征图F的尺寸为H×W×C，H、W、C分别为特征图F的高、宽、通道数；
将特征图F通过卷积核大小为1×1，个数为C，滑动步长为1的卷积层得到特征图FZ；
对特征图FY和特征图FZ分别进行Reshape得到尺寸为
Figure BDA0003764236680000031
的特征图FY1、尺寸为(H×W)×C的特征图FZ1；
对特征图FX进行Reshape得到尺寸为
Figure BDA0003764236680000032
的特征图FX1，再进行Transpose得到尺寸为
Figure BDA0003764236680000033
的特征图FX2；
将特征图FY 1和特征图FX2相乘后通过Softmax函数得到尺寸为 (H×W)×(H×W)的通道间相关性图X1；
将通道间相关性图X1与特征图FZ1相乘后通过Reshape得到尺寸为 H×W×C的特征图FZ2；
将特征图FZ2乘以尺度相关系数α后与特征图F相加得到通道注意力特征图FP。
在一个实施例中，对融合特征图进行卷积操作后得到的特征图输入通道注意力模块CAM进行处理，得到通道注意力特征图包括：
对特征图F进行Reshape得到尺寸为(H×W)×C的特征图F1；
对特征图F1进行Transpose得到尺寸为C×(H×W)的特征图F2；
将特征图F1和特征图F2相乘后通过Softmax函数得到尺寸为C×C的通道间相关性图X2；
将通道间相关性图X2与特征图F1相乘后通过Reshape得到尺寸为 H×W×C的特征图F3；
将特征图F3乘以尺度相关系数β后与特征图F相加得到最终的通道注意力特征图FC。
在一个实施例中，MFDA-Net包括编码部分，编码部分包括6层编码块，每层编码块由两个连续的卷积层、ReLU激活层和采用最大池化方式的池化层组成，卷积层后连接一个ReLU激活层，卷积层的卷积核大小为3×3，滑动步长为1；MFDA-Net的编码部分包括：
第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；
第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制MFF，得到第一次融合动脉期图像特征的门静脉期特征图；
第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；
第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制MFF，得到第二次融合动脉期图像特征的门静脉期特征图；
第5阶段，将第4阶段得到的输出特征图输入第三层编码块；
第6阶段，将第5阶段得到的输出特征图输入第四层编码块；
第7阶段，将第6阶段得到的输出特征图输入双注意力机制DAM，得到通道相关性和位置相关性均调整后的特征图；
第8阶段，将第7阶段得到的输出特征图输入第五层编码块；
第9阶段，将第8阶段得到的输出特征图输入第六层编码块；
六层编码块的卷积核个数依次为32、64、128、256、512、1024。
在一个实施例中，MFDA-Net包括解码部分，解码部分包括5层解码块，每层解码块由上采样层、concatenate特征融合层、两个连续的卷积层和ReLU 激活层组成，卷积层后连接一个ReLU激活层，卷积核大小为3×3，滑动步长为1；MFDA-Net的解码部分包括：
第一阶段，将第9阶段的输出特征图和第8阶段的输出特征图输入第一层解码块；
第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；
第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；
第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；
第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；
五层解码块的卷积核个数依次为512、256、128、64、32；
第六阶段，MFDA-Net的解码部分后接一个卷积层和一个激活层，卷积层用于缩减特征图的通道数，卷积核大小为3×3，个数为1，滑动步长为1；激活层使用Sigmoid激活函数将卷积层的输出结果进行归一化。
在一个实施例中，将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对MFDA-Net进行训练，得到训练好的 MFDA-Net包括：
将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入到MFDA-Net进行训练，通过每次训练产生的网络输出与对应肿瘤标签利用损失函数计算的损失值反向传播更新网络中的参数，得到训练好的MFDA-Net。
在一个实施例中，损失函数为Combo Loss函数，其公式如下：
Figure BDA0003764236680000051
其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；gi是输入图像对应的肿瘤标签第i个像素点的值；pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。
在一个实施例中，设置训练的最大代数为100，学习率为0.0001，批大小为4；设置训练5代内无提升学习率乘以0.1，以及训练10代内无提升提前停止训练。
本发明与现有技术相比具有以下优点：
本公开实施例利用一个多时相特征融合机制将多时相CT中动脉期图像和门静脉期图像通过卷积提取的浅层特征进行融合，这两期图像中各器官位置和形变较小，肝肿瘤与正常肝组织的对比度有明显差异；特征融合机制将更多的关于肝脏和肝肿瘤的形状特征和纹理特征引入肝肿瘤的分割中，动脉期图像的加入提高了肝肿瘤分割的准确性。
同时，通过在分割网络的编码部分前期加入多时相特征融合机制将动脉期图像特征与门静脉期图像特征融合后，在编码部分后期加入一个兼顾位置相关性与通道相关性的双注意力机制，进一步调整了分割网络对肝肿瘤的关注度，使网络在训练过程中更多的关注与肝肿瘤分割相关的信息，减少分割网络对无关信息的关注，进一步提高了网络分割肝肿瘤的能力，提高了肝肿瘤分割准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的基于多时相融合与双注意力机制的肝肿瘤分割方法的流程图；
图2是本公开实施例提供的多时相特征融合机制MFF的结构示意图；
图3是本公开实施例提供的双注意力机制DAM的结构示意图；
图4是本公开实施例提供的基于多时相融合与双注意力机制的MFDA-Net的结构图示意图；
图5是本公开实施例提供的测试集中一对动脉期图像和门静脉期图像；
图6是用本发明对图5中的门静脉期图像进行肝肿瘤分割后得到的结果图；
图7是将图6的分割结果标记到门静脉期图像上的示意图；
图8是采用五次下采样的U-Net网络和本发明网络对图5中的门静脉期图像进行肝肿瘤分割后得到的对比结果图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
参照图1，本公开实施例提供的基于多时相融合与双注意力机制的肝肿瘤分割方法，包括：
步骤1：制作训练集和测试集，具体包括：
获取L个病例数据，将每个病例每次进行多时相CT扫描得到的动脉期图像和门静脉期图像的相同层作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，该门静脉期图像的肝肿瘤标签作为训练MFDA-Net采用的标签，随机将L个病例数据中的P个病例数据作为训练集，剩下的Q个病例数据作为测试集。示例性的，可以将所有病例数据中80％的病例数据作为训练集，剩下的20％的病例数据作为测试集。
在肝癌的诊断治疗等过程中，多时相CT技术获取的多时相图像在反映肝脏病理形态方面表现优越，为肝肿瘤的检测带来了更多的信息。患者每次进行多时相CT扫描后可获得动脉期、门静脉期、延迟期三个时相图像，其中动脉期图像在患者静脉注射造影剂后30秒左右获得，门静脉期图像在静脉注射造影剂后60-90秒左右获得，动脉期图像与门静脉期图像因拍摄时间间隔较短，两期图像之间各器官的位置和形变较小，肝肿瘤与正常肝组织的强化程度有明显差异；延迟期图像在患者静脉注射造影剂后3-5分钟左右拍摄，与前两期的拍摄时间间隔较长，与前两期图像相比器官的位置及发生的形变较大。因此，将患者同一次多时相CT扫描下获得的动脉期图像与门静脉期图像中肿瘤、器官等信息进行有效融合有利于对其CT图像中的肝肿瘤进行分割。
步骤2：构建多时相特征融合机制MFF，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图。
其中，该融合特征图融合动脉期图像特征和门静脉图像特征，能够为 MFDA-Net提供更多有利的形状特征和纹理特征。
参照图2所示，步骤2具体包括：将来自动脉期图像提取的特征图A、来自门静脉期图像提取的特征图V分别通过一个卷积核大小为1×1，滑动步长为1，个数为输入特征图通道数1/4的卷积层得到特征图A1和特征图V1；
将特征图A1和V1相加后通过一个激励函数为修正线性单元ReLU函数的激活层，再通过一个卷积核大小为1×1，滑动步长为1，个数为1的卷积层，再通过一个采用Sigmoid激励函数的激励层得到注意力权重图；
将特征图A和注意力权重图相乘得到调整关注度后的特征图A2；
将特征图V与特征图A2进行特征图通道方向上的concat(融合)操作后通过一个卷积核大小为3×3，滑动步长为1，个数为特征图V通道数的卷积层，再通过一个激励函数为修正线性单元ReLU函数的激活层，最终得到融合特征图V2。
步骤3：构建包含位置注意力模块PAM和通道注意力模块CAM的双注意力机制DAM，对融合特征图进行卷积操作得到的特征图输入双注意力机制DAM进行处理，得到双注意力特征图。
其中，双注意力机制DAM关注特征全局位置间相关性和通道间相关性，通过该机制可得到对肝肿瘤区域特征关注度更高的双注意力特征图。
参照图3，双路注意力机制(dual attention model，DAM)由位置注意力模块(Position Attention Module，PAM)和通道注意力模块(channel attention module，CAM)组成，记上层输出的融合特征图进行卷积操作后输出的特征图F的尺寸为H×W×C，H、W、C分别为特征图F的高、宽、通道数。步骤3具体实现如下：
3.1)在位置注意力模块PAM中：
将融合特征图进行卷积操作后得到的特征图F分别通过两个卷积核大小为1×1，个数为C/4，滑动步长为1的卷积层得到特征图FX和特征图FY，特征图F的尺寸为H×W×C，H、W、C分别为特征图F的高、宽、通道数；
将特征图F通过卷积核大小为1×1，个数为C，滑动步长为1的卷积层得到特征图FZ；
对特征图FY和特征图FZ分别进行Reshape(尺寸调整)得到尺寸为
Figure BDA0003764236680000091
的特征图FY1、尺寸为(H×W)×C的特征图FZ1；
对特征图FX进行Reshape得到尺寸为
Figure BDA0003764236680000092
的特征图FX1，再进行Tr anspose(转置)得到尺寸为
Figure BDA0003764236680000093
的特征图FX2；
将特征图FY 1和特征图FX2相乘后通过Softmax函数得到尺寸为 (H×W)×(H×W)的通道间相关性图X1；
将通道间相关性图X1与特征图FZ1相乘后通过Reshape得到尺寸为 H×W×C的特征图FZ2；
将特征图FZ2乘以尺度相关系数α后与特征图F相加得到通道注意力特征图FP；
3.2)在通道注意力模块CAM中：
对特征图F进行Reshape得到尺寸为(H×W)×C的特征图F1；
对特征图F1进行Transpose得到尺寸为C×(H×W)的特征图F2；
将特征图F1和特征图F2相乘后通过Softmax函数得到尺寸为C×C的通道间相关性图X2，；
将通道间相关性图X2与特征图F1相乘后通过Reshape得到尺寸为 H×W×C的特征图F3；
将特征图F3乘以尺度相关系数β后与特征图F相加得到最终的通道注意力特征图FC；
3.3)将通道注意力特征图FC和位置注意力特征图FP相加后通过一个卷积核大小为3×3，滑动步长为1的卷积层，再通过一个激励函数为修正线性单元ReLU函数的激活层，最终得到双注意力特征图。
步骤4：构建一个基于多时相融合与双注意力机制的MFDA-Net。
构建基于多时相融合与双注意力机制的MFDA-Net，该分割网络的基础结构为一个5次下采样的U-Net结构，该分割网络包括编码部分和解码部分，在编码部分前两个编码块后加入步骤2中的MFF将动脉期图像提取的特征与门静脉期图像提取的特征进行融合，在编码部分第四个编码块后加入3)中的 DAM进一步提高网络对肝肿瘤的关注度降低对无关信息的关注；
4.1)参照图4，基于多时相融合与双注意力机制的MFDA-Net的骨干网络采用五次下采样的U-Net结构，该分割网络包括编码部分和解码部分，编码部分包含6层编码块，解码部分包含5层解码块，其中编码块和解码块具体如下：
编码块由两个连续的卷积层、采用最大池化方式的池化层和ReLU激活层组成，卷积核大小为3×3，滑动步长为1，卷积层后都连接一个ReLU激活层；
解码块由上采样层、concatenate特征融合层、两个连续的卷积层和ReLU 激活层组成，卷积核大小为3×3，滑动步长为1，卷积层后都连接一个ReLU 激活层。
4.2)参照图4，MFDA-Net的编码部分包含以下9个阶段：
第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；
第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入2) 中的多时相特征融合机制MFF，得到第一次融合动脉期图像特征的门静脉期特征图；
第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；
第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入2) 中的多时相特征融合机制MFF，得到第二次融合动脉期图像特征的门静脉期特征图；
第5阶段，将第4阶段得到的输出特征图输入第三层编码块；
第6阶段，将第5阶段得到的输出特征图输入第四层编码块；
第7阶段，将第6阶段得到的输出特征图输入3)中的双注意力机制 DAM，得到通道相关性和位置相关性均调整后的特征图；
第8阶段，将第7阶段得到的输出特征图输入第五层编码块；
第9阶段，将第8阶段得到的输出特征图输入第六层编码块；
上述六层编码块的卷积核个数依次为32、64、128、256、512、1024。
在本公开实施例中，在编码部分的前两个编码块后加入多时相特征融合机制MFF将动脉期图像提取的特征与门静脉期图像提取的特征进行融合，在编码部分的第四个编码块后加入双注意力机制DAM进一步提高网络对肝肿瘤的关注度并降低对无关信息的关注。
4.3)参照图4，MFDA-Net的解码部分包含以下六个阶段：
第一阶段，将第9阶段输出特征图和第8阶段输出特征图输入第一层解码块；
第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；
第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；
第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；
第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；
上述五层解码块的卷积核个数依次为512、256、128、64、32。
第六阶段，MFDA-Net的解码部分后接一个卷积层和一个激活层，其中，卷积层用于缩减特征图的通道数，卷积核大小为3×3，个数为1，滑动步长为 1；激活层使用Sigmoid激活函数将卷积层的输出结果进行归一化。
步骤5：对步骤4中构建好的MFDA-Net进行训练。
具体的，从训练集中取由动脉期图像和门静脉期图像组成的输入图像对及对应的肝肿瘤标签输入构建好的MFDA-Net进行训练，过程如下：
5.1)将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入4)中构建好的MFDA-Net中进行训练；
5.2)设置训练的最大代数为100，学习率为0.0001，批大小为4。通过每次训练产生的网络输出与对应肿瘤标签利用Combo Loss函数计算的损失值反向传播更新网络中的参数，最终得到训练好的MFDA-Net，训练设置5 代内无提升学习率乘以0.1，且10代内无提升早停机制防止网络训练过拟合。
其中，训练分割网络时采用的损失函数均为Combo Loss函数，其公式如下：
Figure BDA0003764236680000121
其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；gi是输入图像对应的肿瘤标签第i个像素点的值；pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。
步骤6：对测试集图像对中的门静脉期图像肝肿瘤进行分割。
具体包括：将测试集中动脉期图像和门静脉期图像组成的图像对输入步骤5中得到的训练好的MFDA-Net中，利用阈值0.5对网络输出结果进行二值化处理，最终得到测试集中肝肿瘤的分割结果。
本公开实施例利用一个多时相特征融合机制将多时相CT中动脉期图像和门静脉期图像通过卷积提取的浅层特征进行融合，这两期图像中各器官位置和形变较小，肝肿瘤与正常肝组织的对比度有明显差异。特征融合机制将更多的关于肝脏和肝肿瘤的形状特征和纹理特征引入肝肿瘤的分割中，动脉期图像的加入提高了肝肿瘤分割的准确性。
同时，通过在分割网络的编码部分前期加入多时相特征融合机制将动脉期图像特征与门静脉期图像特征融合后，在编码部分后期加入一个兼顾位置相关性与通道相关性的双注意力机制，进一步调整了分割网络对肝肿瘤的关注度，使网络在训练过程中更多的关注与肝肿瘤分割相关的信息，减少分割网络对无关信息的关注，进一步提高了网络分割肝肿瘤的能力，提高了肝肿瘤分割准确性。
本发明的效果通过以下仿真实现。
仿真1，将图5所示的一对动脉期图像和门静脉期图像输入步骤6中训练好的双时相输入MFDA-Net中，其中展示在门静脉期图像上的肝肿瘤分割的结果如图6所示。
仿真2，将图6的分割结果标记到图5的门静脉期图像上，结果如图7。从图7可以看出，本发明能有效地将门静脉期图像中的肝肿瘤分割出来。
仿真3，将图5所示的一对动脉期图像和门静脉期图像输入五次下采样的U-Net网络中，其中展示在门静脉期图像上的肝肿瘤分割的结果和图6进行展示比较，如图8所示。可以看出，本发明能有效提升门静脉期肝肿瘤的分割效果。
本公开实施例还提供了一种炉基于多时相融合与双注意力机制的肝肿瘤分割设备，该基于多时相融合与双注意力机制的肝肿瘤分割设备包括接收器、发射器、存储器和处理器，该发射器和存储器分别与处理器连接，存储器中存储有至少一条计算机指令，处理器用于加载并执行至少一条计算机指令，以实现上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法。
基于上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、 CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种基于多时相融合与双注意力机制的肝肿瘤分割方法，其特征在于，所述方法包括：
步骤1：获取L个病例数据，将每个病例每次进行多时相CT扫描得到的同一层的动脉期图像和门静脉期图像作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，随机将L个病例数据中的P个病例数据作为训练集，剩下的Q个病例数据作为测试集；
步骤2：构建多时相特征融合机制MFF，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图；
步骤3：构建包含位置注意力模块PAM和通道注意力模块CAM的双注意力机制DAM，将所述融合特征图进行卷积操作后得到的特征图输入所述双注意力机制模块DAM进行处理，得到双注意力特征图；
步骤4：将所述多时相特征融合机制MFF、所述双注意力机制DAM嵌入U-Net结构中，形成基于多时相融合与双注意力机制的肝肿瘤分割网络MFD A-Net；
步骤5：将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对所述MFDA-Net进行训练，得到训练好的MFDA-Net；
步骤6：将测试集中的动脉期图像和门静脉期图像组成的图像对输入所述训练好的MFDA-Net，利用二值化方法对网络的输出结果进行处理得到分割结果，并将分割结果以轮廓的形式表示在门静脉期图像上。
2.根据权利要求1所述的方法，其特征在于，所述构建多时相特征融合机制MFF，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图包括：
将来自动脉期图像提取的特征图A、门静脉期图像提取的特征图V分别通过一个卷积核大小为1×1，滑动步长为1，个数为输入特征图通道数1/4的卷积层得到特征图A1和特征图V1；
将特征图A1和V1相加后依次通过一个激励函数为修正线性单元ReLU函数的激活层、一个卷积核大小为1×1，滑动步长为1，个数为1的卷积层以及一个采用Sigmoid激励函数的激励层得到注意力权重图；
将特征图A和注意力权重图相乘得到调整关注度后的特征图A2；
将特征图V与特征图A2进行特征图通道方向上的融合操作后依次通过一个卷积核大小为3×3，滑动步长为1，个数为特征图V通道数的卷积层和一个激励函数为修正线性单元ReLU函数的激活层，得到融合特征图V2。
3.根据权利要求1所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述双注意力机制模块DAM进行处理，得到双注意力特征图包括：
将所述融合特征图进行卷积操作后得到的特征图分别输入所述位置注意力模块PAM和所述通道注意力模块CAM进行处理，得到位置注意力特征图和通道注意力特征图；
将所述位置注意力特征图FP和所述通道注意力特征图FC相加后依次通过一个卷积核大小为3×3，滑动步长为1的卷积层和一个激励函数为修正线性单元ReLU函数的激活层，得到双注意力特征图。
4.根据权利要求3所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述位置注意力模块PAM，得到位置注意力特征图包括：
将融合特征图进行卷积操作后得到的特征图F分别通过两个卷积核大小为1×1，个数为C/4，滑动步长为1的卷积层得到特征图FX和特征图FY，所述特征图F的尺寸为H×W×C，H、W、C分别为特征图F的高、宽、通道数；
将特征图F通过卷积核大小为1×1，个数为C，滑动步长为1的卷积层得到特征图FZ；
对特征图FY和特征图FZ分别进行Reshape得到尺寸为
Figure FDA0003764236670000021
的特征图FY1、尺寸为(H×W)×C的特征图FZ1；
对特征图FX进行Reshape得到尺寸为
Figure FDA0003764236670000022
的特征图FX1，再进行Tr anspose得到尺寸为
Figure FDA0003764236670000023
的特征图FX2；
将特征图FY 1和特征图FX2相乘后通过Softmax函数得到尺寸为(H×W)×(H×W)的通道间相关性图X1；
将通道间相关性图X1与特征图FZ1相乘后通过Reshape得到尺寸为H×W×C的特征图FZ2；
将特征图FZ2乘以尺度相关系数α后与特征图F相加得到通道注意力特征图FP。
5.根据权利要求3所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述通道注意力模块CAM进行处理，得到通道注意力特征图包括：
对特征图F进行Reshape得到尺寸为(H×W)×C的特征图F1；
对特征图F1进行Transpose得到尺寸为C×(H×W)的特征图F2；
将特征图F1和特征图F2相乘后通过Softmax函数得到尺寸为C×C的通道间相关性图X2；
将通道间相关性图X2与特征图F1相乘后通过Reshape得到尺寸为H×W×C的特征图F3；
将特征图F3乘以尺度相关系数β后与特征图F相加得到通道注意力特征图FC。
6.根据权利要求1所述的方法，其特征在于，所述MFDA-Net包括编码部分，所述编码部分包括6层编码块，每层编码块由两个连续的卷积层、ReL U激活层和采用最大池化方式的池化层组成，卷积层后连接一个ReLU激活层，所述卷积层的卷积核大小为3×3，滑动步长为1；所述MFDA-Net的编码部分包括：
第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；
第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入所述多时相特征融合机制MFF，得到第一次融合动脉期图像特征的门静脉期特征图；
第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；
第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制MFF，得到第二次融合动脉期图像特征的门静脉期特征图；
第5阶段，将第4阶段得到的输出特征图输入第三层编码块；
第6阶段，将第5阶段得到的输出特征图输入第四层编码块；
第7阶段，将第6阶段得到的输出特征图输入所述双注意力机制DAM，得到通道相关性和位置相关性均调整后的特征图；
第8阶段，将第7阶段得到的输出特征图输入第五层编码块；
第9阶段，将第8阶段得到的输出特征图输入第六层编码块；
所述六层编码块的卷积核个数依次为32、64、128、256、512、1024。
7.根据权利要求6所述的方法，其特征在于，所述MFDA-Net包括解码部分，所述解码部分包括5层解码块，每层解码块由上采样层、concatenate特征融合层、两个连续的卷积层和ReLU激活层组成，卷积层后连接一个ReLU激活层，卷积核大小为3×3，滑动步长为1；所述MFDA-Net的解码部分包括：
第一阶段，将第9阶段的输出特征图和第8阶段的输出特征图输入第一层解码块；
第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；
第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；
第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；
第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；
所述五层解码块的卷积核个数依次为512、256、128、64、32；
第六阶段，MFDA-Net的解码部分后接一个卷积层和一个激活层，卷积层用于缩减特征图的通道数，卷积核大小为3×3，个数为1，滑动步长为1；激活层使用Sigmoid激活函数将卷积层的输出结果进行归一化。
8.根据权利要求1所述的方法，其特征在于，所述将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对所述MFDA-Net进行训练，得到训练好的MFDA-Net包括：
将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入到所述MFDA-Net进行训练，通过每次训练产生的网络输出与对应肿瘤标签利用损失函数计算的损失值反向传播更新网络中的参数，得到训练好的MFDA-Net。
9.根据权利要求8所述的方法，其特征在于，所述损失函数为Combo Loss函数，其公式如下：
Figure FDA0003764236670000051
其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；gi是输入图像对应的肿瘤标签第i个像素点的值；pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。
10.根据权利要求8所述的方法，其特征在于，设置训练的最大代数为100，学习率为0.0001，批大小为4；设置训练5代内无提升学习率乘以0.1，以及训练10代内无提升提前停止训练。
CN202210881264.7A 2022-07-26 2022-07-26 基于多时相融合与双注意力机制的肝肿瘤分割方法 Pending CN115272357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881264.7A CN115272357A (zh) 2022-07-26 2022-07-26 基于多时相融合与双注意力机制的肝肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881264.7A CN115272357A (zh) 2022-07-26 2022-07-26 基于多时相融合与双注意力机制的肝肿瘤分割方法

Publications (1)

Publication Number Publication Date
CN115272357A true CN115272357A (zh) 2022-11-01

Family

ID=83769318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881264.7A Pending CN115272357A (zh) 2022-07-26 2022-07-26 基于多时相融合与双注意力机制的肝肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN115272357A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342986A (zh) * 2023-05-29 2023-06-27 深圳惟德精准医疗科技有限公司 模型训练方法、目标器官的分割方法及相关产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342986A (zh) * 2023-05-29 2023-06-27 深圳惟德精准医疗科技有限公司 模型训练方法、目标器官的分割方法及相关产品
CN116342986B (zh) * 2023-05-29 2023-08-11 深圳惟德精准医疗科技有限公司 模型训练方法、目标器官的分割方法及相关产品

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112927240B (zh) 一种基于改进的AU-Net网络的CT图像分割方法
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113344951B (zh) 一种边界感知双重注意力引导的肝段分割方法
CN111667478B (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及系统
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN116228785A (zh) 一种基于改进的Unet网络的肺炎CT影像分割方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN115619797A (zh) 一种基于注意力机制的并行U-Net网络的肺部图像分割方法
CN115272357A (zh) 基于多时相融合与双注意力机制的肝肿瘤分割方法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination