CN112258526A - 一种基于对偶注意力机制的ct肾脏区域级联分割方法 - Google Patents

一种基于对偶注意力机制的ct肾脏区域级联分割方法 Download PDF

Info

Publication number
CN112258526A
CN112258526A CN202011199922.1A CN202011199922A CN112258526A CN 112258526 A CN112258526 A CN 112258526A CN 202011199922 A CN202011199922 A CN 202011199922A CN 112258526 A CN112258526 A CN 112258526A
Authority
CN
China
Prior art keywords
segmentation
network
cascade
input
segmentation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011199922.1A
Other languages
English (en)
Other versions
CN112258526B (zh
Inventor
孙玉宝
辛宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011199922.1A priority Critical patent/CN112258526B/zh
Publication of CN112258526A publication Critical patent/CN112258526A/zh
Application granted granted Critical
Publication of CN112258526B publication Critical patent/CN112258526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于对偶注意力机制的CT肾脏区域级联分割方法，包括如下步骤：S101、对原始CT图片进行预处理操作，获得训练数据集；S102、设计三维对偶注意力机制模块，充分提取完备的特征信息；S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络；S104、设计级联分割网络的损失函数，并学习网络参数；S105、将S101得到的训练数据下采样一倍作为输入，送入S103的级联分割网络的第一级粗分割网络；把第一级粗分割网络的结果上采样一倍，与原始输入的训练数据融合后送入第二级细分割网络学习，并获得最终分割结果。本发明可以显著提高对肾脏及其感兴趣区域的分割精度。

Description

一种基于对偶注意力机制的CT肾脏区域级联分割方法
技术领域
本发明属于图像信息处理技术领域，具体涉及一种基于对偶注意力机制的CT肾脏区域级联分割方法。
背景技术
医学图像语义分割也是计算机视觉中的一个重要研究方向。近年来，随着深度学习技术的发展，基于深度学习的语义分割方法在自然图像特征提取和分割精度上都取得长足的进步，这使得基于深度学习的语义分割方法在医学影像中也得到广泛的关注和应用。当前基于深度学习的语义分割方法主要采用数据驱动的学习方式，在损失函数约束下，对设计的分割网络进行训练，使其能够直接从训练数据中提取有用的特征信息，进而能够实现对目标自动分割。如何设计有效的分割网络模型是需要研究的一个重要问题。
发明内容
本发明针对现有技术中，当前CT图像中肾脏及其感兴趣区域形状复杂，感兴趣区域体积小、样本数少等问题，提供一种基于对偶注意力机制的CT肾脏区域级联分割方法。本发明引入注意力机制的思想，通过设计三维对偶注意力机制去学习完备的特征表示，来实现对CT肾脏和肾脏感兴趣区域的精确分割。
为实现上述目的，本发明采用以下技术方案：一种基于对偶注意力机制的CT肾脏区域级联分割方法，包括如下步骤：
S101、对原始CT图片进行预处理操作，获得训练数据集；
S102、设计三维对偶注意力机制模块，充分提取完备的特征信息；
S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络；
S104、设计级联分割网络的损失函数，并学习网络参数；
S105、将S101得到的训练数据下采样一倍作为输入，送入S103的级联分割网络的第一级粗分割网络；把第一级粗分割网络的结果上采样一倍，与原始输入的训练数据融合后送入第二级细分割网络学习，并获得最终分割结果。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S101中的预处理操作包括对原始CT图像灰度窗调节、格式转换、图像增强。
进一步地，步骤S102中三维对偶注意力机制模块包括，将主干通路与三维对偶通路进行耦合处理，通过三维对偶通路获取主路径的互补信息；当主干通路对感兴趣区域特别是小尺度的感兴趣区域存在漏检时，三维对偶通路通过取反操作，提取特征图中的互补信息。
进一步地，步骤S103中，级联分割网络包括两级，第一级为粗分割网络，第二季为细分割网络。
进一步地，步骤S103中，三维对偶注意力机制模块驱动的CT图像肾脏感兴趣区域级联分割网络包括，三维对偶注意力驱动的3D编解码网络；该3D编解码网络包括编码器与解码器两个部分，编码器部分通过下采样操作形成多尺度的特征表达，解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率，进而实现像素级的语义分割。
进一步地，编码器中每个分辨率尺度特征处理的基本模式为：特征下采样后输入残差模块进行卷积处理，在残差模块中对输入的特征进行三次3×3×3卷积处理，并通过残差连接和残差模块输入相加后作为输出。
进一步地，在编码器与解码器建立跳层连接，将图像信息传递至同尺度的解码层；将DAM模块输出的特征与解码器特征按通道串接后，通过CDRn操作处理后调整通道数，并与残差连接传递的解码器特征进行求和融合，生成最终的语义分割结果。
进一步地，在粗分割网络中采用跨尺度特征融合模块，将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合，为第二级网络提供准确的上下文信息。
进一步地，步骤S104具体包括，选择Dice损失函数作为损失函数，级联分割网络中每一级网络都由Dice损失函数来优化。
本发明的有益效果是：本发明利用医学图像语义分割理论，建立一种基于对偶注意力机制的CT肾脏区域级联分割方法，模型在图像训练样本少的情况下，利用级联网络的学历能力，初步提取原始图像信息，同时，利用设计的三维对偶注意力模型，进一步增强网络学习的能力，使得网络可以学习到更好的带分割目标的信息，实现对肾脏和肾脏感兴趣区域精确分割的目的。
附图说明
图1是本发明提供的基于对偶注意力机制的CT肾脏区域级联分割方法的网络结构图。
图2是本发明所构建的级联网络中每个全卷积网络结构示意图。
图3是本发明所构建的三维对偶注意力机制模块的结构示意图。
图4是本发明实施例中经典的分割网络3D-UNet、3D-VNet、MS-FCN与采用本发明的算法对于肾脏区域数据集CT切片分割结果的可视化结果对照图。
图5是本发明实施例中3D-UNet、3D-VNet、MS-FCN网络以及本发明方法，对验证集中肾脏感兴趣区域数据集CT切片分割结果的可视化结果对照图。
图6是应用本发明方法的肾脏的三维重建可视化结果图。
图7是应用本发明方法的肾脏感兴趣区域的三维重建可视化结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明提供了一种基于对偶注意力机制的CT肾脏区域级联分割方法，如图1所示，包括：
S101、对原始CT图片进行预处理操作，获得训练数据集。
S101具体包括：对原始CT图像进行预处理操作，这其中包括以下操作，对原始CT图像灰度窗调节、格式转换、图像增强等。
S102、设计三维对偶注意力机制模块充分提取完备的特征信息。
S102具体包括：
注意力机制是提升网络特征表达能力的一种重要方式，为了充分提取完备的特征信息，本发明提出了三维对偶注意力模块(Three-Dimensional Dual attention Module，3DAM)，如图3所示，在主干通路(Trunk Path)的基础上引入三维对偶通路(Dual Path)，通过三维对偶通路获取主路径的互补信息。当主干通路对目标区域特别是小尺度的目标存在漏检时，三维对偶通路通过取反操作，提取特征图中互补信息(原来的目标区域之外的图像)，获得更完备的特征表示，提升分割精度。消融实验的结果也表明，本发明的三维对偶注意力模块可以能够显著提升肾脏与肾脏肿瘤的分割准确性。
记三维对偶注意力模块的原始输入为U∈RH×W×D×C其中H，W，D分别代表特征的三维空间对应尺寸，C代表特征的通道数，Uc表示第c通道的三维特征。该模块首先去执行投影操作Fpr(U)，分别对各个通道特征Uc进行处理，即沿着三个不同的空间维度分别进行全局平均池化操作，计算公式如下
Figure BDA0002751706310000041
Figure BDA0002751706310000042
Figure BDA0002751706310000043
进一步将C个通道特征在三个不同的空间维度投影后的向量组和为特征矩阵：
Figure BDA0002751706310000044
并经维度拓展后，求和得到该模块投影操作的输出：
Z＝Fpr(U)＝sumT(Zh，Zw，Zd) (4)
其中，sumT操作表示将Zh，Zw，Zd通过复制操作将维度扩充至H×W×D×C后再去求和。
本发明将会通过主干通路和三维对偶通路分别对投影特征Z(输入的特征图)进行激活操作Fex(excitation operation)处理。主干通路首先对投影特征Z进行两次卷积操作，并分别用Relu和sigmoid作为激活函数，两次卷积操作中首先是把空间通道减少到C/R，然后在恢复到原通道C，激活操作后的注意力
Figure BDA0002751706310000045
和注意力模块的输入特征U进行点乘操作，产生新的特征图
Figure BDA0002751706310000046
这样就得到经过注意力机制产生的新的特征图。公式表达如下：
Figure BDA0002751706310000047
Fex(Z)＝σ(Vt2*δ(Vt1*Z)) (6)
其中：
Figure BDA0002751706310000048
为主干通路的激活操作，
Figure BDA0002751706310000049
代表着点乘操作，Vt1和Vt2分别代表两次卷积操作，而δ和σ分别代表两次卷积操作所依次对应对的Relu和sigmoid激活函数。
为了提取主干通路的互补信息，三维对偶通路对投影特征Z进行sigmoid激活函数，然后进行取1减取反操作(reverse)，即获得主干通路的三维对偶特征图，并经与主干通路相类似的卷积处理后获得三维对偶通路的注意力特征
Figure BDA00027517063100000410
并与特征U进行点乘，获得三维对偶特征
Figure BDA00027517063100000411
具体公式操作如下：
Figure BDA00027517063100000412
Figure BDA0002751706310000051
其中，
Figure BDA0002751706310000052
为三维对偶通路的激活操作，Vd1和Vd2分别代表两次卷积操作，而δ和σ分别代表两次卷积操作所依次对应对的两个激活函数Relu和sigmoid激活函数，两个通路的特征求和后作为三维对偶注意力模块的最终输出
Figure BDA0002751706310000053
通过主干通路与三维对偶通路的耦合处理，本发明的注意力模块能够充分提取特征图中与肾脏肿瘤目标的关联信息。
S103、构建三维对偶注意力模块驱动的CT图像肾脏肿瘤级联分割网络。
所述S103具体包括：
我们把S102设计的三维对偶注意力机制进搭载到金字塔式的双尺度注意力驱动的CT图像肾脏肿瘤级联分割网络，在该级联网络框架下，如何设置两级分割网络结构是一个关键问题。本发明设计了三维对偶注意力驱动的3D编解码网络，并作为级联分割网络的基本结构。如图2所示，该网络包括编码器与解码器两个部分，编码器部分通过下采样操作形成多尺度的特征表达。编码器中每个分辨率尺度特征处理的基本模式为特征下采样后输入残差模块(RBM)进行卷积处理，在RBM模块中对输入的特征进行三次3×3×3卷积处理，并通过残差连接和该残差模块输入相加后作为输出。解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率，进而实现像素级的语义分割。
在编码器与解码器建立跳层连接，将图像信息传递至同尺度的解码层。为了更有效提取关键特征，将本发设计的三维对偶注意力模块部署于跳层连接中。解码器为了更好地融合编码器跳层传输的特征，本发明设计了残差融合方式，将DAM模块输出的特征与解码器特征按通道串接后，通过CDRn操作处理后调整通道数，并与残差连接传递的解码器特征进行求和融合。具体而言，CDRn操作通过输入特征进行n个3×3×3卷积处理后将特征通到数调整至n通道。同时在最高分辨率的解码层也部署DAM模块，生成最终的语义分割结果。
在粗分割网路中为了更好利用高级特征图中的语义信息和低级特征图的空间信息，采用了跨尺度特征融合模块，将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合，有助于提升第一级网络的分割精度，为第二级网络提供准确的上下文信息。
S104、设计级联网络的损失函数，并学习网络参数。
S104具体包括：
该部分设计用于级联网络学习的损失函数，指导两级网络的联合学习。考虑到CT图像中肾脏及肾脏肿瘤只占整幅图像中的少数部分，肾脏肿瘤也只存在于少数样本，存在数据不平衡问题。为了应对该问题，本发明中选择可以有效处理类别不平衡状况的Dice损失函数作为损失函数。Dice损失函数其定义来源于集合相似度度量函数dice系数。Dice系数值S(X，Y)及其对应的Dice损失函数计算表达式为：
Figure BDA0002751706310000061
Figure BDA0002751706310000062
其中X代表网络的预测结果，Y代表分割结果的金标准，X∩Y代表预测结果和金标准的交集，|·|代表集合所包含的元素个数，由于Dice系数值计算的是两个集合重叠的比例，与具体的样本个数无直接关联，因此有利于处理样本不平衡问题。(11)式即为Dice函数。
本发明级联结网络中每一级网络都由Dice损失函数来优化，记第i级网络中肾脏类别的Dice损失函数为
Figure BDA0002751706310000063
肾脏肿瘤类别的损失函数为
Figure BDA0002751706310000064
对于K级整体损失函数如下所示：
Figure BDA0002751706310000065
S105、将S101得到的训练数据下采样一倍作为输入，送入S103的级联分割网络的第一级粗分割网络；把第一级粗分割网络的结果上采样一倍，与原始输入的训练数据融合后送入第二级细分割网络学习，并获得最终分割结果。
S105具体包括：
把S101得到的训练数据集送到我们在S103所设计的进三维对偶注意力驱动的CT图像肾脏肿瘤级联分割网络进行训练，对于第一个全卷积网络我们首先把输入图片的进行下采样操作，下采样一倍尺度(S1＝S/L1，S其中代表图片的原始输入尺度，L代表下采样操作的倍数，在本文中L1＝2)，将图片下采样一倍作为输入送进联分割网络，首先在第一级粗分割网络获得粗分割的结果。
对于级联网络的第二个全卷积网络则是第一阶段网络的预测的输出结果进行上采样一倍之后，然后再和原始输入连接在一起之后再去作为输入(S2＝S+P1L，其中S代表图片的原始输入，P1代表第一个全卷积网络的输出的预测结果，L2代表上采样操作的采样倍数，在本文中L2＝2)，也就是把把粗分割第一级网络的结果上采样一倍后和原始输入融合后送入第二级网络细分割网络学习，获得最终分割结果。我们设计的三维对偶注意力驱动的CT图像肾脏肿瘤级联分割方法，可以在较低分辨率的下采样图像中捕捉背景信息，同时又可以从两个不同的尺度空间金字塔的高分辨率的图像中学习更精确的分割，同时通过设计三维对偶注意力机制去学习更加完备的特征表示，来实现对CT肾脏和肾脏肿瘤的精确分割。
为了验证本发明提出的三维对偶注意力模块及其级联分割模型的有效性，实验主要包含消融实验和对比实验两个部分。消融实验定量评估三维对偶注意力模块与级联模型的有效性。对比实验部分同3D-UNet、3D-VNet与MS-FCN进行对比。本发明对于分割结果的评价标准采用Dice相似系数，其值介于0～1之间，其值越大表示分割效果越好，具体计算公式参见公式(10)。
为了证明本发明所设计的三维对偶注意力模块与级联网络的有效性，本文设计消融实验进行验证。消融实验在数据集KiTS19上进行。本实验设计了本发明模型的两个简化算法，第一个为只使用第一级粗分割网络，简记为单级网络，第二个方法仍为级联网络，但只保留注意力模块的主干通路。同时也将多尺度全卷积网络(MS-FCN)作为基线方法进行对比，消融实验结果如表1所示。
表1
Figure BDA0002751706310000071
从表1可以看出，相较于单级网络，级联方法可以有效提升分割的准确率。同时本发明所设计的三维对偶注意力机制可以显著提高分割精度，能够同时提升肾脏与肾脏肿瘤的分割准确率，这也证明了通过空间特征图的取反操作，可以使网络学习到更多互补信息，进而提高分割精度。
同时为了证明本发明提出来的三维对偶注意力驱动的级联网络对图像分割的效果，我们在肾脏肿瘤数据集上进行三维分割实验。首先把肾脏肿瘤数据集划分成62个数据作为训练集，17个数据作为验证集这两部分。在本发明的实验部分，本发明所设计的网络(图中标识为our)和经典的分割网络3D-UNet、3D-VNet以及MS-FCN进行对比实验，各算法取得的Dice相似系数如表2所示。
表2
Figure BDA0002751706310000081
从表2可以看出，本发明设计的网络模型对肾脏图像的分割结果优于其他经典分割模型。图4展示了3D-UNet、3D-VNet、MS-FCN网络以及本发明方法(图中标识为OurMethod)对验证集中的同一数据CT切片(肾脏图像切片)分割结果的可视化对比，可以看出本发明方法能够更准确定位肾脏轮廓，形成更精确的分割。
为了证明本发明提出来的三维对偶注意力驱动的级联网络对肾脏肿瘤的分割的果，本节实验在肾脏肿瘤数据集上进行肾脏与肾脏肿瘤两类目标的分割。表3显示了不同算法在该数据集上肾脏肿瘤以及平均Dice相似系数。本发明所设计的网络和经典的分割网络3D-UNet、3D-VNet以及MS-FCN进行对比实验。对比试验结果如下表所示。
表3
Figure BDA0002751706310000082
Figure BDA0002751706310000091
从表3可以看出本发明方法(Our Method)在肾脏与肾脏肿瘤两类目标上都获得了最优结果，同于较难分割的肾脏肿瘤，本发明算法也显著提高了分割准确率。图5展示了3D-UNet、3D-VNet、MS-FCN网络以及本发明方法(图中标识为Our Method)对验证集中的同一数据CT切片分割结果的可视化对比，可以看出本发明网络对于肾脏这种面积大、切片多的目标，以及针对肾脏肿瘤这种目标小、切片少的目标都有着很好的分割效果。
本发明提供的级联分割方法，可以在较低分辨率的下采样图像中捕捉背景信息，同时又可以从两个不同的尺度空间金字塔的高分辨率的图像中学习更精确的分割，同时通过设计三维对偶注意力机制去学习更加完备的特征表示，来实现对CT肾脏和肾脏肾脏肿瘤的精确分割。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种基于对偶注意力机制的CT肾脏区域级联分割方法，其特征在于，包括如下步骤：
S101、对原始CT图片进行预处理操作，获得训练数据集；
S102、设计三维对偶注意力机制模块，充分提取完备的特征信息；
S103、构建三维对偶注意力模块驱动的CT图像肾脏感兴趣区域级联分割网络；
S104、设计级联分割网络的损失函数，并学习网络参数；
S105、将S101得到的训练数据下采样一倍作为输入，送入S103的级联分割网络的第一级粗分割网络；把第一级粗分割网络的结果上采样一倍，与原始输入的训练数据融合后送入第二级细分割网络学习，并获得最终分割结果。
2.如权利要求1所述的级联分割方法，其特征在于，步骤S101中的预处理操作包括对原始CT图像灰度窗调节、格式转换、图像增强。
3.如权利要求1所述的级联分割方法，其特征在于，步骤S102中三维对偶注意力机制模块包括，将主干通路与三维对偶通路进行耦合处理，通过三维对偶通路获取主路径的互补信息；当主干通路对感兴趣区域特别是小尺度的感兴趣区域存在漏检时，三维对偶通路通过取反操作，提取特征图中的互补信息。
4.如权利要求1所述的级联分割方法，其特征在于，步骤S103中，级联分割网络包括两级，第一级为粗分割网络，第二季为细分割网络。
5.如权利要求4所述的级联分割方法，其特征在于，步骤S103中，三维对偶注意力机制模块驱动的CT图像肾脏感兴趣区域级联分割网络包括，三维对偶注意力驱动的3D编解码网络；该3D编解码网络包括编码器与解码器两个部分，编码器部分通过下采样操作形成多尺度的特征表达，解码器部分通过多次上采样操作将特征分辨率提升到原CT图像的分辨率，进而实现像素级的语义分割。
6.如权利要求5所述的级联分割方法，其特征在于，编码器中每个分辨率尺度特征处理的基本模式为：特征下采样后输入残差模块进行卷积处理，在残差模块中对输入的特征进行三次3×3×3卷积处理，并通过残差连接和残差模块输入相加后作为输出。
7.如权利要求6所述的级联分割方法，其特征在于，在编码器与解码器建立跳层连接，将细节信息传递至同尺度的解码层；将DAM模块输出的特征与解码器特征按通道串接后，通过CDRn操作处理后调整通道数，并与残差连接传递的解码器特征进行求和融合，生成最终的语义分割结果。
8.如权利要求6所述的级联分割方法，其特征在于，在粗分割网络中采用跨尺度特征融合模块，将编码器的最低分辨率的高级语义特征和最顶层的高分辨低级语义特征图进行融合，为第二级网络提供准确的上下文信息。
9.如权利要求1所述的级联分割方法，其特征在于，步骤S104具体包括，选择Dice损失函数作为损失函数，级联分割网络中每一级网络都由Dice损失函数来优化。
CN202011199922.1A 2020-10-30 2020-10-30 一种基于对偶注意力机制的ct肾脏区域级联分割方法 Active CN112258526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199922.1A CN112258526B (zh) 2020-10-30 2020-10-30 一种基于对偶注意力机制的ct肾脏区域级联分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199922.1A CN112258526B (zh) 2020-10-30 2020-10-30 一种基于对偶注意力机制的ct肾脏区域级联分割方法

Publications (2)

Publication Number Publication Date
CN112258526A true CN112258526A (zh) 2021-01-22
CN112258526B CN112258526B (zh) 2023-06-27

Family

ID=74268791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199922.1A Active CN112258526B (zh) 2020-10-30 2020-10-30 一种基于对偶注意力机制的ct肾脏区域级联分割方法

Country Status (1)

Country Link
CN (1) CN112258526B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112950653A (zh) * 2021-02-26 2021-06-11 山东英信计算机技术有限公司 一种注意力图像分割方法、装置及介质
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113326847A (zh) * 2021-06-04 2021-08-31 天津大学 一种基于全卷积神经网络的遥感图像语义分割方法及装置
CN113344773A (zh) * 2021-06-02 2021-09-03 电子科技大学 基于多级对偶反馈的单张图片重构hdr方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116523800A (zh) * 2023-07-03 2023-08-01 南京邮电大学 基于残差密集网络与注意力机制的图像降噪模型及方法
CN116779173A (zh) * 2023-08-24 2023-09-19 北京大学第三医院（北京大学第三临床医学院） 一种基于人工智能的放射治疗剂量预测系统和方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018015080A1 (en) * 2016-07-19 2018-01-25 Siemens Healthcare Gmbh Medical image segmentation with a multi-task neural network system
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110245665A (zh) * 2019-05-13 2019-09-17 天津大学 基于注意力机制的图像语义分割方法
CN110599500A (zh) * 2019-09-03 2019-12-20 南京邮电大学 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
WO2020113355A1 (en) * 2018-12-03 2020-06-11 Intel Corporation A content adaptive attention model for neural network-based image and video encoders
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018015080A1 (en) * 2016-07-19 2018-01-25 Siemens Healthcare Gmbh Medical image segmentation with a multi-task neural network system
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
WO2020113355A1 (en) * 2018-12-03 2020-06-11 Intel Corporation A content adaptive attention model for neural network-based image and video encoders
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110245665A (zh) * 2019-05-13 2019-09-17 天津大学 基于注意力机制的图像语义分割方法
CN110599500A (zh) * 2019-09-03 2019-12-20 南京邮电大学 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
FU 等: "Dual attention network for scene segmentation", IEEE COMPUTER SOCIETY CONF. ON COMPUTER VISION AND PATTERN RECOGNITION, pages 1 - 10 *
RICKMANN ANNE MARIE 等: "\'Project&Excite\' Modules for Segmentation of Volumetric Medical Scans", INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION, pages 39 - 47 *
SHUHAN CHEN等: "Reverse Attention for Salient Object Detection", COMPUTER VISION AND PATTERN RECOGNITION, pages 1 - 17 *
WILLIAM THONG 等: "Convolutional networks for kidney segmentation in contrast-enhanced CT scans", COMPUTER METHODS IN BIOMECHANICS AND BIOMEDICAL ENGINEERING: IMAGING & VISUALIZATION, pages 277 - 282 *
YAO ZHANG等: "Cascaded Volumetric Convolutional Network for Kidney Tumor Segmentation from CT volumes", ELECTRICAL ENGINEERING AND SYSTEMS SCIENCE, pages 1 - 7 *
YU XIN等: "Time-varying system identification by enhanced Empirical Wavelet Transform based on Synchroextracting Transform", ENGINEERING STRUCTURES, pages 1 - 13 *
徐宏伟 等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 计算机应用研究 网络首发, pages 1 - 6 *
邢春上: "基于双重注意力机制的医学图像分割方法研究", 中国优秀硕士学位论文全文数据库 (医药卫生科技辑), no. 2020, pages 080 - 60 *
郝晓宇 等: "融合双注意力机制3D U-Net的肺肿瘤分割", 中国图象图形学报, vol. 25, no. 10, pages 2119 - 2127 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112950653A (zh) * 2021-02-26 2021-06-11 山东英信计算机技术有限公司 一种注意力图像分割方法、装置及介质
CN112950653B (zh) * 2021-02-26 2023-05-23 山东英信计算机技术有限公司 一种注意力图像分割方法、装置及介质
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113344773B (zh) * 2021-06-02 2022-05-06 电子科技大学 基于多级对偶反馈的单张图片重构hdr方法
CN113344773A (zh) * 2021-06-02 2021-09-03 电子科技大学 基于多级对偶反馈的单张图片重构hdr方法
CN113326847A (zh) * 2021-06-04 2021-08-31 天津大学 一种基于全卷积神经网络的遥感图像语义分割方法及装置
CN113326847B (zh) * 2021-06-04 2023-07-14 天津大学 一种基于全卷积神经网络的遥感图像语义分割方法及装置
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116523800A (zh) * 2023-07-03 2023-08-01 南京邮电大学 基于残差密集网络与注意力机制的图像降噪模型及方法
CN116523800B (zh) * 2023-07-03 2023-09-22 南京邮电大学 基于残差密集网络与注意力机制的图像降噪模型及方法
CN116779173A (zh) * 2023-08-24 2023-09-19 北京大学第三医院（北京大学第三临床医学院） 一种基于人工智能的放射治疗剂量预测系统和方法
CN116779173B (zh) * 2023-08-24 2023-11-24 北京大学第三医院（北京大学第三临床医学院） 一种基于人工智能的放射治疗剂量预测系统和方法

Also Published As

Publication number Publication date
CN112258526B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN112258526B (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN113888744A (zh) 一种基于Transformer视觉上采样模块的图像语义分割方法
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN111612008B (zh) 基于卷积网络的图像分割方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN114943963B (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN116051549B (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN111429466A (zh) 一种基于多尺度信息融合网络的空基人群计数与密度估计方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN111445432A (zh) 一种基于信息融合卷积神经网络的图像显著性检测方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN116310339A (zh) 基于矩阵分解增强全局特征的遥感图像分割方法
CN114359293A (zh) 一种基于深度学习的三维mri脑肿瘤分割方法
CN116542988A (zh) 结节分割方法、装置、电子设备及存储介质
CN116030357A (zh) 一种高分辨率遥感图像变化检测深度网络及检测方法
CN111047571B (zh) 一种具有自适应选择训练过程的图像显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant