CN112465827B - 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 - Google Patents

一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 Download PDF

Info

Publication number
CN112465827B
CN112465827B CN202011429249.6A CN202011429249A CN112465827B CN 112465827 B CN112465827 B CN 112465827B CN 202011429249 A CN202011429249 A CN 202011429249A CN 112465827 B CN112465827 B CN 112465827B
Authority
CN
China
Prior art keywords
class
organ
convolution
segmentation
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011429249.6A
Other languages
English (en)
Other versions
CN112465827A (zh
Inventor
白相志
吕梦遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011429249.6A priority Critical patent/CN112465827B/zh
Publication of CN112465827A publication Critical patent/CN112465827A/zh
Application granted granted Critical
Publication of CN112465827B publication Critical patent/CN112465827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明公开一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法：步骤一：腹部多器官的区域粗分割和边缘检测；步骤二：引入语义引导的逐类多尺度注意力机制；步骤三：多分支信息的逐类融合：步骤四：引入多任务损失：本发明利用卷积神经网络和门控循环神经单元的优势，针对多器官分割任务的特点和难点，借助轮廓信息辅助多尺度特征的提取，引入逐类多尺度语义注意力机制、逐类空洞卷积融合机制和多个损失函数缓解器官类间不平衡问题，更高效、准确地对三维CT影像进行多器官分割，并在含有14类器官标注的数据集上验证了本发明的优势，能被广泛应用于计算机辅助诊断和治疗应用中，如内窥镜手术、介入治疗、放射治疗计划制定。

Description

一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
技术领域
本发明涉及一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，尤其是一种基于逐类多尺度语义注意力机制和空洞卷积融合的轮廓感知三维卷积神经网络，用于腹部CT影像的多器官分割，属于数字图像处理、模式识别和医学影像工程技术领域。它主要涉及卷积神经网络(CNN)和门控循环神经单元(GRU)，能广泛应用于计算机辅助诊断和治疗应用中，如内窥镜手术、介入治疗、放射治疗计划制定。
背景技术
在现有的医学诊断过程中，人工方法仍然无法满足患者对精度和时效的要求。人工判断结果会受到多重外部因素的影响：有不同经验和操作习惯的医生可能会对同一组数据给出不同的结论，导致观察者间差异；不同的环境等其他外部因素可能会影响同一位医生的判断，此即为观察者内差异。此外，人眼对三维体数据的分析耗时较长，而医疗资源的匮乏和分布不均又为一些患者的求医带来困难。因此，为提高医学诊断的敏感性和特异性，加强计算机辅助的医学影像分析十分必要，而将图像像素或三维体素标记为有生物学意义的标签，即分割，是很多应用的关键过程，也是非常具有挑战性的一个研究领域。传统的医疗图像分析致力于特定的某个器官或特定的某种疾病，而为了支持手术中的目标定位和导航，往往需要对多个器官进行分割，从而引导内窥镜或介入导管等的移动，因此，近年来，更全面详尽的多器官分割任务引起了重视。
已有的多器官分割方法可以分为基于配准的方法和基于分类的方法。配准方法包括统计形状模型法(SSM)[T.Okada,M.G.Linguraru,Y.Yoshida,et al,Abdominal multi-organ segmentation of CT images based on hierarchical spatial modeling oforgan interrelations,in International MICCAI Workshop on Computational andClinical Challenges in Abdominal Imaging,2011,pp.173-180.(冈田等:基于器官相互关系层次空间模型的腹部多器官分割,国际腹部成像计算和临床挑战MICCAI研讨会,2011,173-180.)]、统计图谱法(PA)[M.Oda,T.Nakaoka,T.Kitasaka,et al,Organ segmentationfrom 3d abdominal CT images based on atlas selection and graph cut,inInternational MICCAI Workshop on Computational and Clinical Challenges inAbdominal Imaging,2011,pp.181-188.(大田等:基于图谱选择和图形切割的三维腹部CT图像器官分割,国际腹部成像计算和临床挑战MICCAI研讨会,2011,180-188.)]和多图谱方法(MA)[Z.Wang,Bhatia.K,Glocker.B,et al,Geodesic Patch-Based Segmentation,inInternational Conference on Medical Image Computing and Computer-AssistedIntervention,2014,pp.666-673.(王等:基于测地区块的分割,医学图像计算和计算机辅助介入国际会议,2014,666-673.)]。所有配准方法都有一个共同的限制条件，即要求样本中每个器官都存在，且在训练和测试集中的位置较稳定，因此对器官外形等变化较丰富的数据分割效果较差。此外，配准方法在训练和测试过程中均耗时较长。
与之相对的，基于分类的多器官分割方法没有这些缺点，它们能从训练集中学习到有用的模型，从而预测一个体素属于某个特定类别的概率，预测耗时也较短。同时，随着计算硬件性能的不断提升，基于三维卷积神经网络(CNN)的方法在医学影像分割中得到了广泛应用。例如，三维U型网络(3D U-Net)[
Figure BDA0002826032850000021
A.Abdulkadir,S.S.Lienkamp,et al,3D U-Net:Learning dense volumetric segmentation from sparse annotation,inInternational Conference on Medical Image Computing and Computer-AssistedIntervention,2016,pp.424-432.(齐切克等:三维U型网络:基于稀疏标注学习体分割,医学图像计算和计算机辅助介入国际会议,2016,424-432.)]基于对称的降采样、升采样结构，并在相同尺度间加入跨层连接；V型网络(V-Net)[F.Milletari,N.Navab,S.A.Ahmadi,V-Net:Fully convolutional neural networks for volumetric medical imagesegmentation,in International Conference on 3D Vision,2016,pp.565-571.(米勒特瑞等:V型网络:全卷积神经网络在医学影像体分割中的应用,三维视觉国际会议,2016,561-571.)]在每个尺度的卷积处理中加入了残差连接以提升训练速度，并引入了一种基于Dice系数的损失函数处理分割中前景背景严重不均衡的问题。
然而，医学影像分析仍然面临数据总量稀少、单例数据体量庞大的问题，而多器官分割更是在任务复杂性、输入数据信息量增加和目标类间不平衡等方面加大了挑战。为应对计算资源的限制，Roth等人[H.R.Roth,C.Shen,H.Oda,et al,A multi-scale pyramidof 3D fully convolutional networks for abdominal multi-organ segmentation,inInternational Conference on Medical Image Computing and Computer-AssistedIntervention,2017,pp.417-425.(罗斯等:三维全卷积网络多尺度金字塔在腹部多器官分割中的应用,2017,417-425.)]将体数据裁剪，降采样后输入网络，以便为网络提供更多上下文信息，同时为了不丢失细节信息，利用一个含有多尺度的空间金子塔将大尺度层全卷积神经网络的预测输出上采样、裁剪，与高分辨率的图像对齐，一起输入到第二个网络中，借助自动上下文策略在较高分辨率情况下进行语义分割，并在七个器官标注的数据集上进行了验证。Eli等人[E.Gibson,F.Giganti,Y.Hu,et al,Automatic Multi-OrganSegmentation on Abdominal CT With Dense V-Networks,IEEE Transactions onMedical Imaging,2018,vol.37,pp.1822-1834.(吉布森等:基于密集连接V型网络的的腹部CT多器官自动分割,美国电子电气工程师学会医学影像学会报,2018,37卷,1822-1834.)]提出密集连接V型网络(Dense V-Networks)，引入按批次的随机失活(Dropout)、特征密集叠加、空洞卷积(Dilated Convolution)和一个显式的空间先验，但作者在八个器官标注的数据集上的验证实验证明后两者对分割准确率的提升收效甚微。
综上可见，已有三维腹部多器官分割研究使用的数据集包含的器官和结构数量仍然较少，而在临床应用中，除了肾、肝脏、胰腺、胆囊等器官以外，对主动脉、下腔静脉、肾上腺等小结构的分割也至关重要、困难重重。此外，已有的分割方法只是二维图像分割方法和三维单器官分割方法的简单模仿和扩展，没有针对三维多器官分割的特点和难点进行结构上的优化：首先，多器官分割任务中，目标器官的数量一般不超过十五个，相比于自然图像分割数据集，复杂程度大大降低；其次，自然图像的分割任务中，一个目标可能出现在图像的任何位置、多个位置，而在每一组三维CT图像中，器官的数量、位置有较高可预测性；此外，医学影像分割与自然图像相比对效果要求更高，尤其是在器官边缘处。
因此，本发明利用卷积神经网络(CNN)和门控循环神经单元(GRU)的优势，针对多器官分割任务的特点和难点，借助轮廓信息辅助多尺度特征的提取，引入逐类多尺度语义注意力机制、逐类空洞卷积融合机制和多个损失函数缓解器官类间不平衡问题，更高效、准确地对三维CT影像进行多器官分割，并在含有14类器官标注的数据集上验证了本发明的优势。
发明内容
针对上述任务的特点和难点，本发明提出一种基于逐类多尺度语义注意力机制和空洞卷积融合的轮廓感知三维卷积神经网络的三维电子计算机断层扫描(CT)影像多器官分割方法。该方法主要涉及卷积神经网络(CNN)和门控循环神经单元(GRU)，借助解剖轮廓信息对特征提取进行优化，有效缓解了器官前景和背景以及各器官间的类间不平衡问题，端到端地显著提高了器官分割的准确率。
本发明的具体方案步骤如下：
步骤一：腹部多器官的区域粗分割和边缘检测
多尺度卷积金字塔结构提取三维特征，基于升采样的区域分支输出多器官粗分割结果，基于门控循环神经网络的边缘分支输出多器官轮廓检测结果，即轮廓检测概率图。具体方法如下:
1.CT扫描是由若干张连续二维断层图构成的，且相邻断层间存在着空间上的密切关联，因此设计三维卷积神经网络，对三维影像输入提取三维特征。同时，考虑到横断面的体素间距与矢状面和冠状面不同，对每例腹部CT影像在输入网络前先进行重采样。
2.多尺度卷积金字塔结构交替进行卷积和带步长卷积，以达到下采样的目的，形成三维特征金字塔，其包含的详细纹理和上下文信息有利于图像的语义分割和器官边缘检测。同时，为了降低深层网络收敛慢、训练难的通病，采用卷积残差连接将当前卷积层的输入与其输出按通道串联后输入下层卷积，帮助梯度流和信息流的高效传递。
3.区域分割分支采用交替的反卷积和带步长反卷积，对高度抽象的特征图进行上采样，逐级恢复至全分辨率，输出粗分割预测图。为了恢复降采样、升采样中损失的局部细节信息，自多尺度卷积金字塔结构中引入同尺度的特征图进行高效结合，也进一步帮助梯度流和信息流的高效传递。
4.考虑到复杂的器官间差异和器官病例间差异，跨层连接和通道注意力机制仍不足以引导高级语义特征在上采样中恢复低级细节，故利用多尺度信息进行边缘检测，强化网络对器官边缘局部低级细节的保留。边缘检测分支基于卷积门限循环神经单元，将尺度不同的特征图视为一个序列，通过重置门和更新门，学习临近尺度间的短相关关联和远距离尺度间的长相关关联，在边缘信号的监督下，保留所有尺度中与器官边缘相关的记忆，并抑制不相关信息的响应。
步骤二：引入语义引导的逐类多尺度注意力机制
底层特征图中不仅携带与目标有关的细节，还有诸多噪声，为减轻边缘检测分支的学习负担，设计有语义信息的注意力机制对多尺度对应类别的底层特征图进行信息过滤。
1.从区域粗分割分支引入对应的多尺度高级特征图，进行与底层特征图同样的通道压缩，以获得与特定类别相关的语义级信息,作为类级注意力信号。
2.多尺度的类级注意力信号分别对同尺度、对应类别的底层特征图实施空间权重重分配。经过注意力门限过滤的多尺度的特征图经升采样和通道压缩后，输入卷积门限循环神经单元，引导其关注与目标类别相关的区域。
步骤三：多分支信息的逐类空洞卷积融合
在医学影像的多器官分割任务中，器官前景和背景体素数量的差异以及各器官的类间不平衡是一大难点。利用语义分割任务中目标数量较少的特点，设计按类别的区域粗分割和边缘检测信息融合模块，针对器官差异学习不同的三维特征。具体方法如下：
1.粗分割输出和边缘检测输出均为K+1层通道，其中K是类别数，将两个分支的输出按通道级联，形成2(K+1)层全分辨率激活层。
2.设计逐类的空洞空间金字塔池化模块，其中包含一个全局平均池化、一个常规卷积和三个空洞卷积，每个操作均被分为(K+1)组，每组只对属于特定类别的两个通道的信息进行特征提取，从而保证特定类别的响应能在信息融合中持续地被保留，避免训练被大器官的学习主导并导致小器官信息的丢失。
3.将空洞空间金字塔池化的输出进一步按通道级联，最终由一个分组的卷积层分别将五个通道的信息按类别融合，形成最终的多器官分割结果，即多器官最终分割概率预测图。
步骤四：构造多任务损失
器官分割任务中常用的Dice损失Lregion是基于分割区域上的积分，对于类间高度不均问题来说，区域损失在不同类别间通常存在着几个数量级的差异，严重影响准确率和训练稳定性。本发明借助器官边缘检测任务，引入带权交叉熵损失Ledge，缓解类间不均衡问题，同时它补充了边界信息，能优化卷积核对局部细节特征的提取。具体实施过程如下：
给定原始腹部CT影像x、标准分割图gr和标准边缘图ge，步骤三输出的多器官最终分割概率预测图pr，步骤一的轮廓检测概率图pe，用Dice损失估计区域分割偏差：
Figure BDA0002826032850000051
Figure BDA0002826032850000052
其中c指器官，K为目标器官总数量，N为总体素数量。pr是基于两个分支的分割预测，因此Lregion监督多尺度卷积金字塔结构、区域分割分支、边缘检测分支和信息融合分支的所有参数。此外，引入交叉熵损失估计边缘检测偏差：
Figure BDA0002826032850000053
Figure BDA0002826032850000054
其中wc表示类别c的权重，定义为
Figure BDA0002826032850000055
与器官c在一例数据中所占体素比例成反比，提高小器官或结构的损失，缓解类间不平衡问题。pe的预测值基于边缘检测分支和多尺度卷积金字塔结构，Ledge不仅优化卷积门控循环神经网络的参数，还能再梯度反向传播中优化金字塔结构的卷积核，使其关注局部边缘信息，抑制器官边缘外部的噪声。
本发明提出的多器官分割网络可以端到端地训练，整体采用Adam优化，初始学习率为10-3，通过梯度反向传播调整网络中的参数值降低对应损失，最终生成准确的多器官自动分割结果。
本发明基于逐类多尺度语义注意力机制和空洞卷积融合的轮廓感知三维卷积神经网络基本框架如图1，通过设计多分支结构，引入语义引导的逐类多尺度注意力机制，加入逐类的空洞卷积融合模块，有效提高网络收敛速度，加强对器官边缘局部信息的捕捉和恢复，实现三维CT影像腹部多器官的高质量自动分割。
本发明的优点及功效是：本发明通过合理的网络结构，包括三维多尺度特征提取结构、器官粗分割分支、边缘检测分支和逐类信息融合模块的设计，以及语义引导的逐类多尺度注意力机制的引入，以实现高效率的三维特征提取、器官边缘检测和多器官自动分割；由基于分割区域上的损失Lregion和基于边缘检测上的带权重损失Ledge互为补充优化网络参数，同时实现高质量的全局器官分类和局部体素定位，降低严重类间不平衡造成的低准确率和高训练难度问题，输出准确的多器官分割结果。本发明算法可以与计算机辅助诊断系统、内窥镜手术、介入手术、放射计划制定等应用密切结合，具有广泛的应用价值和广阔的市场前景。
附图说明
图1为基于逐类多尺度语义注意力机制和空洞卷积融合的轮廓感知三维卷积神经网络基本结构框架。
图2为边缘分支结构中门控循环神经单元的基本结构。
图3为语义引导的逐类多尺度注意力机制示意图。
图4为逐类空洞空间金字塔池化模块的基本结构。
图5a-图5o展示了多例本发明生成的腹部CT影像14类器官分割结果图。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明提出一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，其网络结构与算法框架如图1所示，各部分具体实施细节步骤如下：
步骤一：多尺度卷积金字塔结构提取三维特征，基于升采样的区域分支输出多器官粗分割结果，基于门控循环神经网络的边缘分支输出多器官轮廓检测结果。具体方法如下：
CT扫描是由若干张连续二维断层图构成的，且相邻断层间存在着空间上的密切关联，因此设计三维卷积神经网络，对三维影像输入提取三维特征。同时，考虑到横断面的体素间距与矢状面和冠状面不同，对每例腹部CT影像在输入网络前先进行重采样。
多尺度卷积金字塔结构交替进行3×3×3卷积和2×2×2步长为2的卷积，以达到下采样的目的，形成有五个不同尺度特征图三维特征金字塔，记作XE0，XE1，XE2，XE3，XE4，其包含的详细纹理和上下文信息，有利于图像的语义分割和器官边缘检测。同时，为了降低深层网络收敛慢、训练难的通病，采用卷积残差连接将当前卷积层的输入与其输出按通道串联后输入下层卷积，帮助梯度流和信息流的高效传递。
区域分割分支采用交替的3×3×3反卷积和2×2×2步长为2的反卷积，对高度抽象的特征图进行逐级上采样，得到多尺度图XD4，XD3，XD2，XD1，恢复至全分辨率，输出粗分割预测图XD，其通道数为目标器官数量K与单一背景层之和K+1。为了恢复降采样中损失的局部细节信息，自多尺度卷积金字塔结构中引入同尺度的特征图进行高效结合，也进一步帮助梯度流和信息流的高效传递。
考虑到复杂的器官间差异和器官病例间差异，以及各器官的精细的边缘，跨层连接和通道注意力机制仍不足以引导高级语义特征在上采样中恢复低级细节，故利用多尺度信息进行边缘检测，强化网络对器官边缘局部低级细节的保留。
由于轮廓检测的目的是恢复丢失的底层细节，因此利用卷积金字塔提取的多级特征，将其转换为具有相同通道的特征图，以形成一个“尺度序列”，进行边缘检测：
Figure BDA0002826032850000071
其中
Figure BDA0002826032850000072
表示1×1×1卷积，s∈[1，...，4]。约束F′s的通道数为K+1，与分割目标类别数相同，以提取与特定类别相关的多尺度底层特征。
如图2所示，边缘检测分支基于卷积门限循环神经网络，即将所有全连接层用卷积取代：
Figure BDA0002826032850000073
Figure BDA0002826032850000074
Figure BDA0002826032850000075
Figure BDA0002826032850000076
其中F表示经注意力机制(见步骤二)调整的底层特征图F′s，下标s表示尺度序号，
Figure BDA0002826032850000081
都是3×3×3卷积，σg是输出门控信号的Sigmoid层，δh是tanh非线性层，
Figure BDA0002826032850000082
是哈德曼乘积。hs-1是前一隐藏状态，zs是更新门，它决定从hs-1状态中保留多少信息，rs是更新门，它过滤掉hs-1中次要的信息，从而使更重要的信息和当前输入一起组成新的候选隐藏层h′，它与hs-1做逐元素的加权组合，生成当前隐藏状态hs。通过重置门和更新门边缘检测分支，学习临近尺度间的短相关关联和远距离尺度间的长相关关联，在边缘信号的监督下，保留所有尺度中与器官边缘相关的记忆，并抑制不相关信息的响应。由于目标器官大小不一，不同尺度的特征对不同器官的意义可能不同，因此，隐藏空间的通道数被设为K+1，以便卷积门限循环神经网络以逐类的方式迭代地细化各器官的轮廓。
步骤二：来自区域分支的多尺度高级特征图携带器官语义信息，作为注意力信号调整对应尺度底层特征图的响应。具体方法如下：
步骤一中用于边缘检测的多尺度特征图来自卷积金字塔，以恢复多层上采样中丢失的细节。然而，底层细节同时会携带与目标无关的噪声，而粗分割中自上而下的上采样特征图携带更强的语义信息。因此，为了减轻边缘检测分支的学习负担，加入如图3所示的逐类多尺度注意力机制。注意力信号自区域分支的多尺度特征图中提取，与公式(1)的底层特征图同样均被压缩至K+1通道，以获得与特定类别相关的多尺度语义级信息：
Figure BDA0002826032850000083
每一个类级底层特征图Fs′被同尺度的携带语义信息的高层类级注意力信号gs过滤：
Figure BDA0002826032850000084
门控信号gs与卷积金字塔中对应尺度的特征图进行逐体素相乘，再经上采样
Figure BDA0002826032850000085
得到全分辨率特征图Fs。对于特定类别k，来自尺度s的注意力信号gsk奖励k的底层特征图Fsk中有语义显著性的空间位置，而有效地抑制拥有相似颜色、纹理、边缘等特征其他位置上的响应信号，因为它们可能属于背景或其他类别。
与卷积神经网络中常用的空间注意力机制不同，本发明的语义引导的逐类多尺度注意力机制创新性体现在三个方面。首先，注意力信号是多尺度的：在多器官分割任务中，体积差异显著的目标在不同尺度的特征图上有不同的响应，而多尺度信号能全面捕捉到对各器官有意义的信息。其次，与常用的跨通道响应相加以得到空间注意力信号机制不同，该空间注意力信号是逐类的，即gs中每一个通道gsk分别通过卷积操作对粗分割阶段的特征进行信息聚合，且仅提取与第k类有关的信息，而不是多个目标共享一个注意力信号。第三，注意力信号引自粗分割阶段，同时受到分割目标的逐类约束，因而携带较强的语义信息，有可解释性，以实现对底层特征的过滤。
不同尺度的特征图{F1，...，F4}被视为一个序列输入边缘检测分支，引导其关注与目标类别相关的区域。
步骤三：基于逐类的空洞卷积空间金字塔池化模块的多分支信息融合
在医学影像的多器官分割任务中，器官前景和背景体素数量的差异以及各器官的类间不平衡是一大难点。利用语义分割任务中目标数量较少的特点，设计按类别的区域粗分割和边缘检测信息融合模块，针对器官差异学习不同的三维特征。具体方法如下：
粗分割输出XD和边缘检测输出HS均为K+1层通道，将两个分支的输出按通道级联，形成2(K+1)层全分辨率激活层：
Figure BDA0002826032850000091
其中上标0，1，...，K是通道索引，A是有2(K+1)通道的全分辨率激活层，为提取其中的区域和边缘信息，设计逐类的空洞空间金字塔池化模块。
如图4所示，逐类的空洞空间金字塔池化模块包含一个全局平均池化、一个1×1×1常规卷积和三个扩张率r分别为4、8、12的3×3×3空洞卷积，每个操作均被分为(K+1)组，每组只对属于特定类别的两个通道的信息进行特征提取：
Figure BDA0002826032850000092
Figure BDA0002826032850000093
Figure BDA0002826032850000094
其中，N为特征图总体素数量，r表示空洞卷积
Figure BDA0002826032850000095
的扩张率。
逐类卷积操作保证特定类别的响应能在信息融合中持续地被保留，避免训练被大器官的学习主导并导致小器官信息的丢失。将空洞空间金字塔池化的输出进一步按通道级联：
Figure BDA0002826032850000096
Figure BDA0002826032850000097
最终，一个分组的卷积层将五个通道的信息
Figure BDA0002826032850000098
按类别融合，形成最终的多器官分割结果。
步骤四：构造基于区域的分割损失Lregion和基于边缘的检测损失Ledge
器官分割任务中常用的Dice损失Lregion是基于分割区域上的积分，对于类间高度不均问题来说，区域损失在不同类别间通常存在着几个数量级的差异，严重影响准确率和训练稳定性。本发明借助器官边缘检测任务，引入带权交叉熵损失Ledge，缓解类间不均衡问题，同时它补充了边界信息，能优化卷积核对局部细节特征的提取。具体实施过程如下：
给定原始腹部CT影像x、标准分割图gr和标准边缘图ge，步骤二输出最终分割概率预测图pr，步骤一的边缘检测分支输出边缘预测概率图pe。用Dice损失估计区域分割偏差：
Figure BDA0002826032850000101
其中K为目标器官总数量，N为总体素数量。pr是基于两个分支的分割预测，因此Lregion监督多尺度卷积金字塔结构、区域分割分支、边缘检测分支和信息融合分支的所有参数。此外，引入交叉熵损失估计边缘检测偏差：
Figure BDA0002826032850000102
Figure BDA0002826032850000103
其中wk表示类别k的权重，与其在一例数据中所占体素比例成反比，提高小的器官或结构的损失，缓解类间不平衡问题。pe的预测值基于边缘检测分支和多尺度卷积金字塔结构，Ledge不仅优化卷积门控循环神经网络的参数，还能再梯度反向传播中优化金字塔结构的卷积核，使其关注局部边缘信息，抑制器官边缘外部的噪声。
本发明基于逐类多尺度语义注意力机制和空洞卷积融合的轮廓感知三维CT多器官分割网络可以端到端地训练，整体采用Adam优化，初始学习率为10-3，通过梯度反向传播调整网络中的参数值降低对应损失，最终生成准确的多器官自动分割结果。
为了直观展示本发明的效果，图5a-图5o展示了多例本发明生成的腹部CT影像14类器官分割结果图，其中图5a、图5d、图5g、图5j、图5m为CT影像切片原图，图5b、图5e、图5h、图5k、图5n为标准分割图，图5c、图5f、图5i、图5l、图5o为本发明预测的分割结果。实验证明，本发明对大器官和小器官能同时实现高质量的全局器官分类和局部体素定位，减轻严重类间不平衡造成的低准确率和高训练难度问题，输出准确的多器官分割结果。本发明算法可以与计算机辅助诊断系统、内窥镜手术、介入手术、放射计划制定等应用密切结合，具有广泛的应用价值和广阔的市场前景。

Claims (4)

1.一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，其特征在于：包括以下具体步骤：
步骤一：腹部多器官的区域粗分割和边缘检测：由多尺度卷积金字塔结构提取三维特征，由基于升采样的区域分支输出多器官粗分割结果，门控循环神经网络基于多尺度三维特征输出多器官轮廓检测结果即轮廓检测概率图；
步骤二：引入语义引导的逐类多尺度注意力机制：为减少底层特征图中的噪声，减轻边缘检测分支的学习负担，从区域粗分割分支引入对应的多尺度高级特征图，进行与底层特征图同样的通道压缩，以获得与特定类别相关的语义级信息，作为门限信号分别对同尺度对应类别的底层特征图实施空间权重重分配；经过注意力门限过滤的多尺度的特征图经升采样和通道压缩后，输入卷积门限循环神经单元，引导其关注与目标类别相关的区域；
步骤三：多分支信息的逐类融合：针对医学影像的多器官分割任务中器官前景和背景体素数量的差异以及各器官的类间不平衡的问题，利用语义分割任务中目标数量较少的特点，设计按类别的区域粗分割和边缘检测信息融合模块，针对器官差异学习不同的三维特征；
粗分割输出和边缘检测输出通道数相等，均为分割类别数，将两个分支的输出按通道级联，形成两倍于类别数的全分辨率激活层；设计逐类的空洞空间金字塔池化模块，其中包含一个全局平均池化、一个常规卷积和三个空洞卷积，每个操作均按类别数分组，每组只对属于特定类别的两个通道的信息进行特征提取，从而保证特定类别的响应能在信息融合中持续地被保留，避免训练被大器官的学习主导并导致小器官信息的丢失；将逐类空洞空间金字塔池化的输出进一步按通道级联，最终由一个分组的卷积层分别将五个通道的信息按类别融合，形成最终的多器官分割结果即多器官最终分割概率预测图；
步骤四：引入多任务损失：给定原始腹部CT影像x、标准分割图gr和标准边缘图gr，步骤三输出的多器官最终分割概率预测图pr，步骤一的轮廓检测概率图pe，Dice损失估计区域分割偏差：
Figure FDA0003671335450000011
其中c指器官，K为目标器官总数量，N为总体素数量；pr是基于两个分支的分割预测，因此Lregion监督多尺度卷积金字塔结构、区域分割分支、边缘检测分支和信息融合分支的所有参数；此外，为缓解区域损失造成的类间损失严重不均、训练被大器官主导、准确率和训练稳定性低的问题，引入交叉熵损失估计边缘检测偏差：
Figure FDA0003671335450000021
Figure FDA0003671335450000022
其中wc表示类别c的权重，定义为
Figure FDA0003671335450000023
与器官c在一例数据中所占体素比例成反比，提高小的器官或结构的损失，缓解类间不平衡问题；pe的预测值基于边缘检测分支和多尺度卷积金字塔结构，Ledge不仅优化卷积门控循环神经网络的参数，还能在梯度反向传播中优化金字塔结构的卷积核，使其关注局部边缘信息，抑制器官边缘外部的噪声。
2.根据权利要求1所述一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，其特征在于：步骤一所述的多尺度卷积金字塔结构提取三维特征，是交替进行卷积和带步长卷积，通过逐级下采样形成三维特征金字塔，其包含的详细纹理和上下文信息有利于图像的语义分割和器官边缘检测；为了缓解深层网络收敛慢、训练难的难题，采用卷积残差连接将当前卷积层的输入与其输出按通道串联后输入下层卷积，帮助梯度流和信息流的高效传递。
3.根据权利要求1所述一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，其特征在于：步骤一所述的多器官区域粗分割分支采用交替的反卷积和带步长反卷积，对高度抽象的特征图进行上采样，逐级恢复至全分辨率，输出粗分割预测图；为了恢复降采样、升采样中损失的局部细节信息，自多尺度卷积金字塔结构中引入同尺度的特征图进行结合。
4.根据权利要求1所述一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法，其特征在于：步骤一所述基于门控循环神经网络的边缘分支输出多器官轮廓检测结果，其边缘检测分支对来自卷积金字塔的多尺度特征图进行通道压缩和三线性上采样，将得到的同通道数、全分辨率的特征图视为一个尺度序列，依次输入一个卷积门限循环神经单元，通过重置门和更新门，学习临近尺度间的短相关关联和远距离尺度间的长相关关联，在边缘信号的监督下，保留所有尺度中与器官边缘相关的记忆，并抑制不相关信息的响应。
CN202011429249.6A 2020-12-09 2020-12-09 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 Active CN112465827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011429249.6A CN112465827B (zh) 2020-12-09 2020-12-09 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011429249.6A CN112465827B (zh) 2020-12-09 2020-12-09 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法

Publications (2)

Publication Number Publication Date
CN112465827A CN112465827A (zh) 2021-03-09
CN112465827B true CN112465827B (zh) 2022-07-26

Family

ID=74801691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011429249.6A Active CN112465827B (zh) 2020-12-09 2020-12-09 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法

Country Status (1)

Country Link
CN (1) CN112465827B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111718A (zh) * 2021-03-16 2021-07-13 苏州海宸威视智能科技有限公司 一种基于多模态遥感图像细粒度弱特征目标涌现检测方法
CN113129278B (zh) * 2021-04-06 2022-11-01 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN113436173B (zh) * 2021-06-30 2023-06-27 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113837993B (zh) * 2021-07-29 2024-01-30 天津中科智能识别产业技术研究院有限公司 轻量级虹膜图像分割方法、装置、电子设备及存储介质
CN113870289B (zh) * 2021-09-22 2022-03-15 浙江大学 一种解耦分治的面神经分割方法和装置
CN114387523B (zh) * 2022-03-23 2022-06-03 成都理工大学 基于dcnn边界引导的遥感图像建筑物提取方法
CN114898110B (zh) * 2022-04-25 2023-05-09 四川大学 一种基于全分辨率表示网络的医学图像分割方法
CN114693830B (zh) * 2022-05-27 2022-11-15 阿里巴巴达摩院(杭州)科技有限公司 医学影像的多器官分割、模型训练方法、设备及介质
CN115439470B (zh) * 2022-10-14 2023-05-26 深圳职业技术学院 息肉图像分割方法、计算机可读存储介质及计算机设备
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN116311387B (zh) * 2023-05-25 2023-09-01 浙江工业大学 一种基于特征交集的跨模态行人重识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111415359A (zh) * 2020-03-24 2020-07-14 浙江明峰智能医疗科技有限公司 一种自动化分割医学影像多器官的方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111415359A (zh) * 2020-03-24 2020-07-14 浙江明峰智能医疗科技有限公司 一种自动化分割医学影像多器官的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient Multiple Organ Localization in CT Image Using 3D Region Proposal Network;Xuanang Xu等;《IEEE》;20190124;第38卷(第8期);1885-1898 *
Multiple Organ Localization in CT Image Using Triple-Branch Fully Convolutional Networks;XUANANG XU 等;《IEEE》;20190722;98083-09093 *

Also Published As

Publication number Publication date
CN112465827A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Zhou et al. GAN review: Models and medical image fusion applications
Shen et al. Coronary arteries segmentation based on 3D FCN with attention gate and level set function
Zhang et al. Review of breast cancer pathologigcal image processing
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN109447998A (zh) 基于PCANet深度学习模型下的自动分割方法
CN112258456B (zh) 一种基于卷积神经网络监督的三维图像分割方法
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN106846330A (zh) 人体肝脏特征建模及血管模型空间归一方法
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN101699515A (zh) 基于多精英免疫量子聚类的医学影像分割系统及分割方法
Yuan et al. ResD-Unet research and application for pulmonary artery segmentation
Luo et al. An optimized two-stage cascaded deep neural network for adrenal segmentation on CT images
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法
Shao et al. Application of U-Net and Optimized Clustering in Medical Image Segmentation: A Review.
Kumaraswamy et al. Automatic prostate segmentation of magnetic resonance imaging using Res-Net
Li et al. A deeply supervised convolutional neural network for brain tumor segmentation
CN112330645A (zh) 基于注意力机制的胶质瘤分级方法以及装置
Qian et al. Unet#: a Unet-like redesigning skip connections for medical image segmentation
Tao et al. Tooth CT Image Segmentation Method Based on the U-Net Network and Attention Module.
Shen et al. CT medical image segmentation algorithm based on deep learning technology
Najeeb et al. Brain Tumor Segmentation Utilizing Generative Adversarial, Resnet And Unet Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant