CN113888551A - 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法 - Google Patents

基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法 Download PDF

Info

Publication number
CN113888551A
CN113888551A CN202111234115.3A CN202111234115A CN113888551A CN 113888551 A CN113888551 A CN 113888551A CN 202111234115 A CN202111234115 A CN 202111234115A CN 113888551 A CN113888551 A CN 113888551A
Authority
CN
China
Prior art keywords
dense
liver tumor
decoder
low
feature fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111234115.3A
Other languages
English (en)
Inventor
闫镔
陈健
高飞
乔凯
王林元
海金金
武明辉
史大鹏
王争艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202111234115.3A priority Critical patent/CN113888551A/zh
Publication of CN113888551A publication Critical patent/CN113888551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法。该方法包括步骤1：采集肝脏肿瘤病人的核磁图像组成数据集，并将数据集划分为训练集和测试集；步骤2：构造分割模型，分割模型选取密集连接网络作为框架，密集连接网络包括编码器、解码器和位于编码器和解码器之间的全局注意力模块；其中，全局注意力模块将肝脏肿瘤图像的低层特征和肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；步骤3：使用训练集中的图像数据训练分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。

Description

基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割 方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法。
背景技术
核磁共振图像（MRI）中肝脏肿瘤的分割对于肿瘤的准确诊断和后续治疗具有重要的临床应用价值。通常肝脏肿瘤图像分割是由放射科医生使用专业软件逐层手动分割完成，不仅效率低而且耗时，因此临床上需要一种全自动分割肝脏肿瘤的方法。MRI图像中肝脏肿瘤区域和正常肝组织之间的界限模糊，和临近器官组织灰度上非常接近，肿瘤区域与周围组织之间的对比度差，灰度不均匀，导致伪影和边界模糊等不良影响。肝脏肿瘤的位置、大小变化很大，使得肝脏肿瘤的全自动分割仍然是一个复杂而困难的问题。
在图像分割研究方面，Long等人提出了全卷积网络，它的编码器在不同阶段提取了粗糙程度不同的高层语义信息，通过反卷积将图像大小恢复到原始图像分辨率，解码器通过跳跃连接将高层语义特征和编码器不同阶段不同分辨率的空间信息融合，用来优化分割结果。PSPNet和DeepLab在保持图像一定分辨率的同时，利用丰富的上下文信息可以获得更好的性能，但有时这种类型的上下文信息是包含各种层次信息的混合体，从上下文信息中学习的知识对于像素级别分类是有限的。CNN网络中抽象出来的高层次的语义特征对于目标分类识别非常有效，但是对于像素分类和原始分辨率的重建而言相对较差，将高层特征和低层特征进行融合会提升分割效果。U-Net的编码器和解码器呈对称的U形结构，通过跳跃连接结构融合了高、低层特征，提高了分割效果。Jegou等人在DenseNet网络的基础上提出了类似的工作，将高、低层特征融合的方法，在图像分割领域取得了较好的结果。但是上述这些方法只涉及简单的高、低层特征拼接，而没有考虑高、低层特征之间的相关性。
发明内容
由于现有的图像分割网络忽略了高、低层特征之间的相关性，为了解决该技术问题，本发明提供了一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，通过利用高低层特征之间的相关性，可以有效提升肝脏肿瘤图像的分割精度。
本发明提供一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，包括：
步骤1：采集肝脏肿瘤病人的核磁图像组成数据集，并将所述数据集划分为训练集和测试集；
步骤2：构造基于高低层特征融合的肝脏肿瘤图像分割模型，所述分割模型选取密集连接网络作为框架，所述密集连接网络包括编码器、解码器和位于所述编码器和所述解码器之间的全局注意力模块；其中，所述全局注意力模块将所述肝脏肿瘤图像的低层特征和所述肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供所述解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；
步骤3：使用训练集中的图像数据训练所述分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。
进一步地，所述编码器和所述解码器均各自包括级联的4个密集块；在所述编码器中的每两个所述密集块之间设置有用于进行下采样操作的第一过渡层，在所述解码器中的每两个所述密集块之间设置有用于进行上采样操作的第二过渡层；
在所述编码器中的最后一个密集块和所述解码器的第一个密集块之间还连接有一个密集块，该密集块与所述编码器中的最后一个密集块之间设置有所述第一过渡层，该密集块与所述解码器的第一个密集块之间设置有所述第二过渡层。
进一步地，所述第一过渡层具体为步长为2的3×3卷积。
进一步地，所述分割模型包括4个全局注意力模块；
其中3个所述全局注意力模块将所述编码器的第i个密集块输出的低层特征和所述解码器的第4-i个密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第5-i个密集块的输入；其中，i=1,2,3；
另一个所述全局注意力模块将所述编码器的第4个密集块输出的低层特征和位于所述编码器和所述解码器之间的密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第1个密集块的输入。
进一步地，所述全局注意力模块的网络结构包括3×3卷积、全局平均池化、两个全连接层和位于两个所述全连接层之间的ReLU函数；
通过所述3×3卷积减少输入的高层特征的个数，使得高层特征的个数与输入的低层特征的个数相一致；
使用所述全局平均池化将所述3×3卷积输出的高层特征进行压缩，获得所有高层特征的权重；
两个所述全连接层和所述ReLU函数构成门控机制以实现注意力函数，利用所述注意力函数学习高层特征之间的非线性相互作用；
将压缩后的高层特征权重与低层特征进行相乘得到特征融合结果。
本发明的有益效果：
高层语义特征的优势在于分类，但在像素分类和高分辨率的预测恢复方面相对较弱，而低层特征的优势在于细节信息和高分辨率图像特征的恢复，本发明结合了多尺度信息和高、低层特征之间的相关性，构建了一个全局注意力模块，利用高层特征中所包含的分类信息去指导低层特征恢复高分辨率的图像细节，做到真正意义上的高、低层特征融合。利用全局注意模块GAM模块学习自动评估高层特征通道的重要性，获得通道间的相关性，对最有效的特征通道进行加权，使得高层次特征的重要性可以用来指导低层次细节信息的恢复，可以很好的提升肝脏肿瘤图像的分割精度。
附图说明
图1为本发明实施例提供的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法的流程示意图；
图2为本发明实施例提供的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割模型的结构示意图；
图3为本发明实施例提供的全局注意力模块GAM的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，包括：
S101：采集肝脏肿瘤病人的核磁图像组成数据集，并将所述数据集划分为训练集和测试集；
S102：构造基于高低层特征融合的肝脏肿瘤图像分割模型，所述分割模型选取密集连接网络作为框架，所述密集连接网络包括编码器、解码器和位于所述编码器和所述解码器之间的全局注意力模块（Global Attention Module，GAM）；其中，所述全局注意力模块将所述肝脏肿瘤图像的低层特征和所述肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供所述解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；
具体地，如图2所示，所述编码器和所述解码器均各自包括级联的4个密集块（Dense Block）；在所述编码器中的每两个所述密集块之间设置有用于进行下采样操作的第一过渡层，在所述解码器中的每两个所述密集块之间设置有用于进行上采样操作的第二过渡层；作为一种可实施方式，所述第一过渡层具体为步长为2的3×3卷积。本实施例中，密集块的宽度控制在12，下采样率控制在16。图2中，符号⊕表示级联操作。
在所述编码器中的最后一个密集块和所述解码器的第一个密集块之间还连接有一个密集块，该密集块与所述编码器中的最后一个密集块之间设置有所述第一过渡层，该密集块与所述解码器的第一个密集块之间设置有所述第二过渡层。
作为一种可实施方式，如图2所示，所述分割模型包括4个全局注意力模块；
其中3个所述全局注意力模块将所述编码器的第i个密集块输出的低层特征和所述解码器的第4-i个密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第5-i个密集块的输入；其中，i=1,2,3；
另一个所述全局注意力模块将所述编码器的第4个密集块输出的低层特征和位于所述编码器和所述解码器之间的密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第1个密集块的输入。
作为一种可实施方式，如图3所示，所述全局注意力模块的网络结构包括3×3卷积、全局平均池化（Global pooling）、两个全连接层FC和位于两个所述全连接层之间的ReLU函数；通过所述3×3卷积减少输入的高层特征的个数，使得高层特征的个数与输入的低层特征的个数相一致；使用所述全局平均池化将所述3×3卷积输出的高层特征进行压缩，获得所有高层特征的权重；两个所述全连接层和所述ReLU函数构成门控机制以实现注意力函数，利用所述注意力函数学习高层特征之间的非线性相互作用；将压缩后的高层特征权重与低层特征进行相乘得到特征融合结果。
S103：使用训练集中的图像数据训练所述分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。
本发明在编码器和解码器之间加入全局注意力模块GAM，用于融合高层次和低层次的特征，高层次的特征可以通过自己在分类上的优势来引导低层次细节信息的恢复，从而提供全局的上下文信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，其特征在于，包括：
步骤1：采集肝脏肿瘤病人的核磁图像组成数据集，并将所述数据集划分为训练集和测试集；
步骤2：构造基于高低层特征融合的肝脏肿瘤图像分割模型，所述分割模型选取密集连接网络作为框架，所述密集连接网络包括编码器、解码器和位于所述编码器和所述解码器之间的全局注意力模块；其中，所述全局注意力模块将所述肝脏肿瘤图像的低层特征和所述肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供所述解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；
步骤3：使用训练集中的图像数据训练所述分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。
2.根据权利要求1所述的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，其特征在于，所述编码器和所述解码器均各自包括级联的4个密集块；在所述编码器中的每两个所述密集块之间设置有用于进行下采样操作的第一过渡层，在所述解码器中的每两个所述密集块之间设置有用于进行上采样操作的第二过渡层；
在所述编码器中的最后一个密集块和所述解码器的第一个密集块之间还连接有一个密集块，该密集块与所述编码器中的最后一个密集块之间设置有所述第一过渡层，该密集块与所述解码器的第一个密集块之间设置有所述第二过渡层。
3.根据权利要求2所述的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，其特征在于，所述第一过渡层具体为步长为2的3×3卷积。
4.根据权利要求2所述的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，其特征在于，所述分割模型包括4个全局注意力模块；
其中3个所述全局注意力模块将所述编码器的第i个密集块输出的低层特征和所述解码器的第4-i个密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第5-i个密集块的输入；其中，i=1,2,3；
另一个所述全局注意力模块将所述编码器的第4个密集块输出的低层特征和位于所述编码器和所述解码器之间的密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第1个密集块的输入。
5.根据权利要求1所述的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，其特征在于，所述全局注意力模块的网络结构包括3×3卷积、全局平均池化、两个全连接层和位于两个所述全连接层之间的ReLU函数；
通过所述3×3卷积减少输入的高层特征的个数，使得高层特征的个数与输入的低层特征的个数相一致；
使用所述全局平均池化将所述3×3卷积输出的高层特征进行压缩，获得所有高层特征的权重；
两个所述全连接层和所述ReLU函数构成门控机制以实现注意力函数，利用所述注意力函数学习高层特征之间的非线性相互作用；
将压缩后的高层特征权重与低层特征进行相乘得到特征融合结果。
CN202111234115.3A 2021-10-22 2021-10-22 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法 Pending CN113888551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111234115.3A CN113888551A (zh) 2021-10-22 2021-10-22 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111234115.3A CN113888551A (zh) 2021-10-22 2021-10-22 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法

Publications (1)

Publication Number Publication Date
CN113888551A true CN113888551A (zh) 2022-01-04

Family

ID=79004387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111234115.3A Pending CN113888551A (zh) 2021-10-22 2021-10-22 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法

Country Status (1)

Country Link
CN (1) CN113888551A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170568A (zh) * 2022-09-06 2022-10-11 北京肿瘤医院(北京大学肿瘤医院) 直肠癌图像自动分割方法和系统及放化疗反应预测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170568A (zh) * 2022-09-06 2022-10-11 北京肿瘤医院(北京大学肿瘤医院) 直肠癌图像自动分割方法和系统及放化疗反应预测系统

Similar Documents

Publication Publication Date Title
Zhang et al. A late fusion cnn for digital matting
Zhang et al. Semantic image inpainting with progressive generative networks
US20200380695A1 (en) Methods, systems, and media for segmenting images
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN112084859B (zh) 一种基于稠密边界块和注意力机制的建筑物分割方法
CN111489324A (zh) 一种融合多模态先验病理深度特征的宫颈癌病变诊断方法
CN111784762B (zh) X光造影图像血管中心线提取方法及装置
CN112132834B (zh) 一种心室图像分割方法、系统、装置及存储介质
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110728666A (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN116012581A (zh) 一种基于双重注意力融合的图像分割方法
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113763406A (zh) 基于半监督学习的婴儿脑mri分割方法
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN113888551A (zh) 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN111726621B (zh) 一种视频转换方法及装置
CN115830317A (zh) 基于极坐标转换的U-Net增强注意模块的皮肤癌图像分割方法及装置
CN113450363B (zh) 一种基于标签校正的元学习细胞核分割系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination