CN110853051B - 基于多注意密集连接生成对抗网络的脑血管影像分割方法 - Google Patents

基于多注意密集连接生成对抗网络的脑血管影像分割方法 Download PDF

Info

Publication number
CN110853051B
CN110853051B CN201911016542.7A CN201911016542A CN110853051B CN 110853051 B CN110853051 B CN 110853051B CN 201911016542 A CN201911016542 A CN 201911016542A CN 110853051 B CN110853051 B CN 110853051B
Authority
CN
China
Prior art keywords
segmentation
network
image
cerebrovascular
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911016542.7A
Other languages
English (en)
Other versions
CN110853051A (zh
Inventor
白相志
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911016542.7A priority Critical patent/CN110853051B/zh
Publication of CN110853051A publication Critical patent/CN110853051A/zh
Application granted granted Critical
Publication of CN110853051B publication Critical patent/CN110853051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，其网络结构主要包括三部分：一，分割生成网络S：基于U型结构，在收缩路径中利用密集连接卷积层最大限度保留影像特征信息以准确分割血管细节轮廓，在扩张路径中利用注意力模块突出判别特征以缓解分割时相似区域的混淆；二，分割判别网络D：引入标准真实分割为条件，输入分割图掩映下前景脑血管区域至密集连接卷积层，专注提取脑血管区域特征以区别生成和真实分割；三，深度增强对抗损失函数：采用深度监督，利用沃瑟斯坦距离对抗损失且生成网络加入错误注意型加权交叉熵损失，着力解决类不平衡问题及减少分割错误。本发明可以广泛应用于脑血管疾病计算机辅助诊断和治疗等中。

Description

基于多注意密集连接生成对抗网络的脑血管影像分割方法
技术领域
本发明涉及一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，尤其涉及一种基于多注意密集连接生成对抗网络(MA-DenseGAN)的脑血管磁共振影像分割方法，属于数字图像处理、模式识别和医学影像工程技术领域。它主要涉及卷积神经网络(CNN)和生成对抗策略(GAN)，能广泛应用于脑血管疾病计算机辅助诊断和治疗系统等中。
背景技术
脑血管影像分割技术作为医学图像分割的一个具体应用研究分支，能够辅助临床脑血管疾病的诊断与分析，便利病情确诊后治疗方案的规划与执行，切实实现对脑血管疾病的早发现、早诊断、早治疗，因此脑血管影像分割具有重要的研究价值。临床上广泛使用的血管造影技术包括磁共振血管成像(MRA)、计算机断层扫描血管成像(CTA)和数字减影血管成像(DSA)等等，其中MRA以其无创性和简便性而成为筛选脑血管疾病的首选方式。
目前，针对于脑血管MRA影像，传统分割方法主要是基于影像灰度信息等浅层特征，根据区域内相似性或区域间不连续性来区分前景脑血管区域与其余背景区域。威尔逊等人提出了一种基于统计模型的局部自适应阈值分割算法(参见文献：威尔逊,诺布尔.一种针对于TOF-MRA的自适应分割算法.美国电子电气工程师学会医学影像会报,1999年18卷10期938-945页.(D.L.Wilson,J.A.Noble,“An Adaptive Segmentation Algorithm forTime-of-Flight MRA Data,”IEEE Transactions on Medical Imaging,vol.18,no.10,pp.938-945,1999))，该算法以脑血管MRA影像灰度服从高斯分布和均匀分布作为依据，构建灰度统计模型后通过最大化期望算法估计模型参数，对应局部区域得到其最佳阈值进行二值分割。类似地，埃勒巴兹等人利用离散高斯函数的线性组合作为统计模型来近似脑血管影像灰度分布，逐断层实现脑血管分割(参见文献：埃勒巴兹,埃尔纳基,哈里发等.三维核共振图像的精确分割.美国电子电气工程师学会生物医学工程会报,2012年59卷7期2019-2029页.(A.El-Baz,A.Elnakib,F.Khalifa,et al,“Precise segmentation of 3dmagnetic resonance,”IEEE Trans.Biomedical Engineering,vol.59,no.7,pp.2019-2029,2012))。埃勒巴兹等人则提出结合正态分布和瑞利分布的双随机模型来模拟影像灰度分布，又进一步引入马尔科夫随机场结合断层间信息进行分割(参见文献：哈苏纳,法拉杰,哈西克,莫里亚蒂.利用随机模型对TOF-MRA进行脑血管分割.医学影像分析,2006年10卷1期2-18页.(M.S.Hassouna,A.A.Farag,S.Hushek,T.Moriarty,“CerebrovascularSegmentation from TOF Using Stochastic Models,”Medical Image Analysis,vol.10,no.1,pp.2-18,2006))。罗瑞格等人提出了基于活动轮廓模型并引入强先验形状约束的分割算法(参见文献：罗瑞格,费卡洛斯,格里姆森等.曲线:血管分割的曲线演变.医学影像分析,2001年18卷3期195-206页.(L.M.Lorigo,O.D.Faugeras,W.E.L.Grimson,et al,“CURVES:Curve Evolution for Vessel Segmentation,”Medical Image Analysis,vol.5,no.3,pp.195-206,2001))，该算法根据影像灰度梯度特征而采用基于流形的边缘模型，通过最小化能量准则函数引导模型模拟脑血管边界，其中能量准则函数基于影像灰度且对分割边界的局部平滑度进行约束，以此模型来提取平滑连续的脑血管边缘。近年来，随着深度学习和深度神经网络的迅速发展，基于深度学习的方法如三维U型网络(3D U-Net)(参见文献：齐切克,阿普杜勒,林坎普等.三维U型网络:基于稀疏标注学习体分割.医学图像计算和计算机辅助介入国际会议,2016年424-432页(
Figure BDA0002245877430000021
Figure BDA0002245877430000022
A.Abdulkadir,S.S.Lienkamp,et al,“3D U-Net:Learning dense volumetric segmentation fromsparse annotation,”in International Conference on Medical Image Computing andComputer-Assisted Intervention,2016,pp.424-432))和V型网络(V-Net)(参见文献：米勒特瑞,纳瓦布,艾哈迈迪.V型网络：全卷积神经网络在医学影像体分割中的应用.三维视觉国际会议,2016年561-571页(F.Milletari,N.Navab,S.A.Ahmadi,“V-Net:Fullyconvolutional neural networks for volumetric medical image segmentation,”inInternational Conference on 3D Vision,2016,pp.565-571))等被广泛用于医学影像分割。3D U-Net基于U型网络结构，通过编码-解码(Encoder-Decoder)结构提取断层序列构成的三维医学影像的多尺度浅层和深层特征，并采用跨越连接综合同尺度浅层深层特征信息进行分割。V-Net网络类似3D U-Net采用同阶间跨越连接，并引入残差模块进一步提升网络特征提取能力和信息流传递能力，加速网络训练与收敛。
在脑血管影像中，一方面脑血管形状、灰度差异性大，具体而言，不同血管分支间尤其是主动脉与血管末梢相比，血管直径与亮度差异明显，难以实现对脑血管区域的完整分割；另一方面，影像中存在部分与脑血管外表近似的区域，再加上影像噪声影响，其易造成混淆而被错分为脑血管区域。综上，基于影像灰度或形状等底层特征的传统算法难以实现准确的脑血管分割。因此，本发明利用深度卷积神经网络的优势，提取影像多尺度多层次特征，并针对以上难点和脑血管训练学习中将存在的严重类不平衡问题采取有效措施，以实现高质量脑血管自动分割。
发明内容
针对上述问题，本发明的目的在于提供一种基于多注意密集连接生成对抗网络的脑血管影像分割方法。该方法基于深度卷积神经网络，对于脑血管分割中存在的各难点问题针对性地对网络结构进行优化设计，提升网络对于复杂背景影像的适用性，减少各种分割错误，有效增加分割结果的准确度。
为了实现这个目的，本发明的具体方案技术如下：
步骤一：利用分割生成网络S预测生成高质量脑血管分割图
分割生成网络S针对脑血管MRA影像特点，设计优化网络结构以增强特征信息提取能力和判别能力，达到提升分割精度的目的。分割生成网络S整体呈U型结构，输入原始脑血管影像进入收缩路径，通过连续多阶密集连接卷积模块和池化处理，提取到影像多尺度浅层和深层特征谱；随后进入扩张路径，各阶利用跨越连接和注意力模块有效综合浅层和深层特征信息再通过连续卷积处理，经逐阶上采样最终输出生成分割图。具体过程如下：
S11、考虑到每例脑血管影像由若干张连续断层图构成且相邻断层间密切关联，设计网络输入为断层图序列构成的三维影像，且网络全程使用三维运算提取三维特征谱，实现层间信息互补，而为了减轻计算复杂度，每例三维影像输入前预先进行切块处理，分为若干同尺寸的影像块；网络以标准分割为监督，自学特征识别脑血管和背景区域，最终输出生成分割图，包括前景脑血管分割图和背景分割图；
S12、由于脑血管结构由众多细小分支构成，设计网络整体结构呈U型，具体为：网络先经收缩路径提取影像多尺度浅层和深层特征，再经扩张路径利用跨越连接引导对应阶浅层细节信息特征与高层语义信息特征相辅，以实现在生成分割图中准确标记出各血管分支区域位置且保留其细节轮廓；
S13、网络输入三维影像块经过卷积预处理层提取到初步浅层特征，进入收缩路径；为了解决深层网络训练困难的问题和优化特征提取，在收缩路径中采用密集连接卷积，即当前卷积层的输入与其输出将合并后一齐输入至下层卷积，充分保证梯度流和信息流的传递以加快网络收敛，且有效结合前层网络特征信息提取更高层特征，密集连接卷积模块的具体结构如图2所示；经过收缩路径中多阶密集连接卷积模块和池化处理，网络提取到影像的多尺度浅层和深层特征谱；
S14、进入扩张路径，因浅层特征判别力各异且有限，部分特征将导致影像中相似区域被混淆识别为脑血管，针对这一问题，在扩张路径各阶跨越连接处加入注意力机制模块，其具体结构如图3所示，该模块将利用深层特征抽象语义信息，根据浅层特征与深层特征间长相关性，突出具强健判别力的浅层特征；各阶经注意力模块后再通过连续卷积和上采样处理，以此逐阶融合浅层特征信息和深层特征信息，输出最终预测的生成分割图；
步骤二：利用分割判别网络D判别生成分割和标准分割
分割判别网络的目标是区分标准分割图与生成分割图，即真与假，与分割生成网络形成对抗，从而推动生成网络提升分割精度。设计判别网络注意型输入为标准分割掩映下的真实脑血管区域图或生成分割掩映下的预测脑血管区域图，通过连续密集连接卷积模块，网络聚焦于提取脑血管区域多尺度特征信息，同时引入标准分割为条件，对比衡量而判别网络输入的真假。具体过程如下：
S21、脑血管影像中前景脑血管与剩余背景存在严重的类不平衡问题，此时区分生成分割和标准分割的关键在于对比前景脑血管分割的不同，因而设计网络注意型输入为生成分割或标准分割中前景脑血管分割图映射下的原图，摒除背景干扰且引入原图信息以提取特征；再输入标准前景分割作为条件，使网络自主对比衡量而区分生成分割与标准分割；
S22、网络输入通过连续密集连接卷积层和池化处理，提取到多尺度多层次特征，综合浅层细节信息和深层抽象信息，分辨生成分割与真实分割。
步骤三：构造深度增强对抗损失函数
生成网络和判别网络互为对峙，以沃瑟斯坦距离(Wasserstein Distance)对抗损失函数相联实现对抗训练；在此基础上，对生成网络和判别网络进行深度监督，深入到分割生成网络收缩路径各阶输出和分割判别网络中间密集连接卷积模块输出，构造深度附加损失，直接引导网络中间层学习；生成网络损失函数再加上错误注意型加权交叉熵损失项，缓解类不平衡问题且强调分割错误的区域，迫使生成网络着力规避分割错误而实现准确分割。
分割生成网络S在训练过程中，对应于原始脑血管影像块x输入，采用标准分割z作为监督学习，预测生成分割
Figure BDA0002245877430000047
取
Figure BDA0002245877430000048
和z计算错误注意型加权交叉熵损失函数lWCE，再加上基于沃瑟斯坦距离的对抗损失函数得到分割生成网络S的损失函数为：
Figure BDA0002245877430000041
其中
Figure BDA0002245877430000042
表示真实数据分布，
Figure BDA0002245877430000043
表示分割生成模型数据分布，⊙表示矩阵元素对应相乘，D(·)表示分割判别网络的输出，mean(·)表示求矩阵元素均值；
Figure BDA0002245877430000044
其中c＝1或0分别表示前景分割图或背景分割图，j表示分割图中像素序数；{j|zc＝1,j＝1}和{j|zc＝0,j＝1}分别表示标准分割中标记的真实前景区域和背景区域，
Figure BDA0002245877430000045
为前景损失权重，
Figure BDA0002245877430000046
为背景损失权重，|·|表示计算区域像素个数；lerror为加权交叉熵损失中附加的错误注意项，其具体表达式为
Figure BDA0002245877430000051
其中
Figure BDA0002245877430000052
表示生成分割结果中相比于标准分割前景识别错误区域，
Figure BDA0002245877430000053
则表示生成分割中背景识别错误区域。
分割判别网络D的损失函数则为：
Figure BDA0002245877430000054
本发明方法的框架如图1，利用标准分割进行监督，整个生成对抗网络进行迭代训练。分割生成网络S和分割判别网络D的学习率分别设为0.05和0.02，训练次数比设为1:4；两者均采用梯度下降算法优化器，通过梯度反向传播自动调整网络参数以降低损失，经过反复对抗，两者优化提升，最终训练好的分割生成网络S实现对脑血管MRA影像的高质量自动分割。
本发明的优点及功效是：本发明以条件生成对抗网络CGAN(ConditionalGenerative Adversarial Network)为总体框架，针对脑血管分割存在的关键难点，优化设计网络结构，通过引入密集连接卷积模块提升网络特征提取能力以及梯度流与信息流的传递能力，利用判别特征注意模块筛选具有强健判别力的特征并增加其对于区域识别的影响，从而构建出可实现高质量分割的生成网络和高精度分类的判别网络。通过错误注意型交叉熵损失训练分割生成网络，缓解严重类不平衡问题，着重强调生成分割中存在的全部错误分割，以此进行校正，同时利用基于沃瑟斯坦距离的生成对抗损失进一步迫使生成分割逼近标准分割，再加上深度监督下对网络的强力引导，从而生成准确的脑血管分割结果。本发明算法可以与脑血管疾病计算机辅助诊断系统、治疗方案规划等应用密切结合，具有广阔的市场前景与应用价值。
附图说明
图1为多注意密集连接生成对抗网络(MA-DenseGAN)的基本结构框架。
图2为密集连接卷积处理模块的基本结构。
图3为分割生成网络中判别特征注意模块的基本结构。
图4为分割生成网络S的基本结构。
图5为分割判别网络D的基本结构。
图6a、b为脑血管MRA影像单张断层图上的分割效果对比一。
图7a、b为脑血管MRA影像单张断层图上的分割效果对比二。
图8a、b为脑血管MRA影像单张断层图上主动脉处的分割效果对比一。
图9a、b为脑血管MRA影像单张断层图上主动脉处的分割效果对比二。
图10a、b为脑血管MRA影像单张断层图上细小血管处的分割效果对比一。
图11a、b为脑血管MRA影像单张断层图上细小血管处的分割效果对比二。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明一种基于多注意密集连接生成对抗网络(MA-DenseGAN)的脑血管MRA影像分割方法，其网络总体结构与算法框架如图1所示，各部分具体实施细节步骤如下：
第一步：利用分割生成网络S预测生成高质量脑血管分割图
分割生成网络S针对脑血管MRA影像特点，设计优化网络结构，增强特征信息提取能力、信息传递能力和特征判别能力以提升分割精度，具体过程如下：
S11、考虑到每例脑血管影像由若干张连续断层图构成且相邻断层间密切关联，设计网络输入为断层图序列构成的三维影像，对应每一像素预测其所属类别为脑血管或背景，最终输出对应输入大小的前景脑血管分割图和背景分割图。网络全程使用三维运算包括三维卷积、三维池化、三维上采样等等得到三维特征谱，实现层间信息互补；由于单例三维脑血管影像尺寸较大为1024×1024×92，即92幅分辨率为1024×1024的断层图，为了减轻计算复杂度，输入前对每例影像进行切块分为若干等大的影像块，其尺寸为64×64×64，对应地用以监督学习的标准分割也进行等大分块；相邻立体影像块间存在16×16×4大小的重叠，使得对于每块边缘区域可以综合周边信息，得到更为准确的分割。
S12、由于脑血管结构由众多细小分支构成，要求网络能有效把握细节特征信息以识别出这些小型脑血管区域，因而设计以U型结构作为网络整体框架；如图4所示，网络首先经左侧收缩路径提取影像多尺度特征，捕捉脑血管低层细节及高层上下文信息；再经右侧扩展路径，采用跨越连接引导浅层细节信息特征与高层语义信息特征相辅，以在生成分割图中准确识别标记出各血管分支区域位置且保留其细节轮廓；
S13、影像输入后经过卷积核大小为3×3×3、步长为1的卷积预处理层提取得到初步特征输入至收缩路径；为了解决深度网络训练困难问题同时提升网络特征提取效率，在收缩路径中每阶采用密集连接卷积模块，在该模块中当前卷积层的输入与其输出将合并之后一齐输入至下层卷积，等同于每层卷积的输入为此前所有卷积输出特征谱的整合，以此充分保证网络梯度流和信息流的传递，有助于结合前层网络特征信息进行有效地特征提取；密集连接卷积模块的具体结构如图2所示，每层卷积的卷积核大小3×3×3且步长为1，输出特征谱将经过线性整流激活函数，并在相邻卷积层间引入实例归一化(BacthNormalization)与概率参数为0.2的随机失活层(Dropout)；每个密集卷积模块中卷积层的卷积核个数相同均为k，在收缩路径中四个密集连接卷积模块的卷积层个数统设为6且k值分别为12、14、16、18；相邻密集卷积模块间存有一过渡模块，其中包含一层卷积核大小为1×1×1、步长为1且卷积核个数等于输入特征谱通道数的卷积层以整合密集卷积模块输出特征信息，以及池化大小为2×2×2且步长为2的最大池化层；最终经收缩路径，网络提取到影像的多尺度浅层和深层特征谱；
S14、在扩张路径中，传统U型网络通常采用跨越连接直接合并浅层特征与高层特征信息以生成分割图，但由于浅层特征判别力有限，部分特征将导致影像中相似区域被混淆识别为脑血管，针对这一问题，基于注意力机制设计判别特征注意模块并将其用于收缩路径各跨越连接处；该模块的作用在于根据浅层特征与深层特征间的长相关性，借由深层特征抽象语义信息引导，突出具强健判别力的浅层特征，注意力机制模块具体结构如图3所示：输入浅层特征和深层特征，其通道数分别为C1和C2且各通道特征尺寸统一为H×W×D，首先将各通道浅层特征和深层特征拉伸为一维向量，再对深层特征进行转置后，通过矩阵乘法得到浅层特征与深层特征的长相关性矩阵，按列求和以压缩该矩阵得到一个一维向量，其中每个元素对应各通道浅层特征与全部通道深层特征的长相关度，将此向量元素与对应通道浅层特征相乘令网络突出注意与深层特征相关度高即具有判别力的浅层特征通道，再引入γ参数使网络自适应决定注意程度，最后将突出注意后的浅层特征与高层特征合并输出。注意力模块输出的特征再通过连续卷积和上采样处理，输出最终预测的生成分割，其中连续卷积包含2层卷积，其卷积核大小均为3×3×3、步长均为1，卷积核个数均等于输入特征谱中浅层特征通道数。
步骤二：利用分割判别网络D判别生成分割和标准分割
分割判别网络用以区分生成分割与真实分割，实质上相当于以标准分割为基准来衡量生成分割的质量，以此推动生成网络提升分割精度。为使判别网络能与生成网络形成有效对抗，以助力生成分割逼近标准分割，设计分割判别网络结构如下：
S21、脑血管影像中前景脑血管与剩余背景存在严重的类不平衡问题，而标准分割和生成分割均包含前景脑血管分割图和背景分割图，此时区分生成分割和标准分割的关键在于对比前景脑血管分割的不同，因而设计网络注意型输入，即只取前景分割图进行判别，令网络专注衡量脑血管分割图的质量；前景分割图再与原始脑血管影像对应像素值相乘，得到前景分割图映射下的真实或预测脑血管区域作为输入，从而可综合原图信息提取特征；此外又进一步输入真实前景分割图作为条件，加强网络辨别力，使网络自主对比衡量而区分生成分割与标准分割；
S22、网络先经过一层卷积核大小为3×3×3、步长为1且卷积核个数为16的卷积层整合输入的脑血管区域图与作为条件的标准脑血管分割图，初步提取特征；再经过两个连续密集连接卷积模块如图5所示，以提取输入的多尺度多层次特征，其中k值统设为1，卷积层数分别为4和6；另两模块间存有一过渡模块，其具体设置同分割生成网络；最后经过两层连续卷积，综合提取到的浅层细节信息和深层抽象信息，分辨生成分割与真实分割。
步骤三：构造深度增强对抗损失函数交替训练分割生成网络与分割判别网络
分割生成网络和分割判别网络采用基于沃瑟斯坦(Wasserstein)距离的对抗损失函数相联实现对抗训练，其中生成网络又进一步引入加权交叉熵损失，加强学习监督，提高训练效率。
两者具体损失函数描述如下：
S31、分割生成网络S在训练过程中，对应于原始脑血管影像块x输入，采用标准分割z进行监督学习，预测生成分割
Figure BDA00022458774300000810
为缓解类不平衡问题，取
Figure BDA00022458774300000811
和z计算错误注意型加权交叉熵损失函数lWCE，其中对于占比小的前景脑血管区域分割损失赋予更高的权重，以突出脑血管区域预测准确的重要性；再加上基于沃瑟斯坦距离的对抗损失函数，根据分割判别网络D的指示，完善分割细节，促进生成分割逼近标准分割。综上得到分割生成网络S的损失函数为：
Figure BDA0002245877430000081
其中
Figure BDA0002245877430000082
表示真实数据分布，
Figure BDA0002245877430000083
表示分割生成模型数据分布；⊙表示矩阵元素对应相乘，D(·)表示分割判别网络输出的矩阵，mean(·)表示求矩阵元素均值。lWCE的具体表达式如下：
Figure BDA0002245877430000084
Figure BDA0002245877430000085
其中c＝1或0分别表示前景分割图或背景分割图，j表示分割图中像素序数；{j|zc＝1,j＝1}和{j|zc＝0,j＝1}分别表示标准分割中前景区域和背景区域，|·|表示计算区域像素集个数。lWCE中附加入一错误注意项，其具体表达式为：
Figure BDA0002245877430000086
其中
Figure BDA0002245877430000087
表示生成分割结果中相比于标准分割前景识别错误区域，
Figure BDA0002245877430000088
则表示生成分割中背景识别错误区域，该项的目的在于强调错误分割造成的损失，迫使生成网络着眼于规避分割错误以实现高精度分割。
S32、相应地，分割判别网络D的损失函数为：
Figure BDA0002245877430000089
S33、以上为基础，对生成网络和判别网络采用深度监督，即深入到分割生成网络收缩路径中间各阶和分割判别网络中间密集连接卷积模块的输出，计算附加损失，再加上两网络输出损失得到各网络深度监督损失；以此损失函数训练网络，可直接引导网络中间层特征的学习，加快收敛，提升训练效率。
训练中，分割生成网络S和分割判别网络D的学习率分别设为0.05和0.02，训练次数比设为1:4；两者均采用梯度下降算法优化器，通过梯度反向传播自动调整网络参数以降低损失，经过反复对抗，两者同时提升各自的性能，最终生成网络得到准确的脑血管分割图。
为了直观展示本发明的效果，图6-11展示了多例脑血管MRA影像单张断层图上的分割效果，其中图6a、7a、8a、9a、10a、11a为标准分割图，图6b、7b、8b、9b、10b、11b为由本发明生成的脑血管分割结果，图8a、b和图9a、b放大展示了主动脉处的分割结果而图10a、b和图11a、b放大展示了细小血管分支处的分割结果，可以看到对于复杂背景下的脑血管区域，主动脉与各细小分支区域均被准确识别出来，实现了高精度高质量分割。由于本发明针对脑血管影像特点，引入了密集连接卷积模块并构造了注意力机制模块，有效挖掘了影像中丰富的低层细节信息和高层抽象信息，加强网络特征提取能力以及特征判别能力，同时设计了错误注意型加权交叉熵损失函数和判别网络注意型输入，有效缓解类不平衡问题，监督网络减少分割错误，因而本发明生成的脑血管分割结果精度高、轮廓清晰。相比于其他脑血管分割方法，本发明能够生成更为细致、准确的分割结果，且可延用于各模态脑血管影像进行分割，因此可以广泛用于脑血管疾病计算机辅助诊断系统、治疗方案规划等实际应用中。

Claims (4)

1.一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，其特征在于：该方法步骤如下：
步骤一：利用分割生成网络S预测生成高质量脑血管分割图
分割生成网络S针对脑血管MRA影像特点，设计优化网络结构以增强特征信息提取能力和判别能力，达到提升分割精度的目的；分割生成网络S整体呈U型结构，输入原始脑血管影像进入收缩路径，通过连续多阶密集连接卷积模块和池化处理，提取到影像多尺度浅层和深层特征谱；随后进入扩张路径，各阶利用跨越连接和注意力模块有效综合浅层和深层特征信息再通过连续卷积处理，经逐阶上采样最终输出生成分割图；
步骤二：利用分割判别网络D判别生成分割和标准分割
分割判别网络的目标是区分标准分割图与生成分割图，即真与假，与分割生成网络形成对抗，从而推动生成网络提升分割精度；设计判别网络注意型输入为标准分割掩映下的真实脑血管区域图或生成分割掩映下的预测脑血管区域图，通过连续密集连接卷积模块，网络聚焦于提取脑血管区域多尺度特征信息，同时引入标准分割为条件，对比衡量而判别网络输入的真假；
步骤三：构造深度增强对抗损失函数
生成网络和判别网络互为对峙，以沃瑟斯坦距离对抗损失函数相联实现对抗训练；在此基础上，对生成网络和判别网络进行深度监督，深入到分割生成网络收缩路径各阶输出和分割判别网络中间密集连接卷积模块输出，构造深度附加损失，直接引导网络中间层学习；生成网络损失函数再加上错误注意型加权交叉熵损失项，缓解类不平衡问题且强调分割错误的区域，迫使生成网络着力规避分割错误而实现准确分割；
其中，分割生成网络S在训练过程中，对应于原始脑血管影像块x输入，采用标准分割z作为监督学习，预测生成分割
Figure FDA0003596846400000011
取
Figure FDA0003596846400000012
和z计算错误注意型加权交叉熵损失函数lWCE，再加上基于沃瑟斯坦距离的对抗损失函数得到分割生成网络S的损失函数为：
Figure FDA0003596846400000013
其中
Figure FDA0003596846400000014
表示真实数据分布，
Figure FDA0003596846400000015
表示分割生成模型数据分布，⊙表示矩阵元素对应相乘，D(·)表示分割判别网络的输出，mean(·)表示求矩阵元素均值；
Figure FDA0003596846400000016
其中c＝1或0分别表示前景分割图或背景分割图，j表示分割图中像素序数；{j|zc＝1,j＝1}和{j|zc＝0,j＝1}分别表示标准分割中标记的真实前景区域和背景区域，
Figure FDA0003596846400000021
为前景损失权重，
Figure FDA0003596846400000022
为背景损失权重，|·|表示计算区域像素个数；lerror为加权交叉熵损失中附加的错误注意项，其具体表达式为
Figure FDA0003596846400000023
其中
Figure FDA0003596846400000024
表示生成分割结果中相比于标准分割前景识别错误区域，
Figure FDA0003596846400000025
则表示生成分割中背景识别错误区域；
分割判别网络D的损失函数则为：
Figure FDA0003596846400000026
2.根据权利要求1所述的一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，其特征在于：所述的步骤一具体过程如下：
S11、考虑到每例脑血管影像由若干张连续断层图构成且相邻断层间密切关联，设计网络输入为断层图序列构成的三维影像，且网络全程使用三维运算提取三维特征谱，实现层间信息互补，为减轻计算复杂度，每例三维影像输入前预先进行切块处理，分为若干同尺寸的影像块；网络以标准分割为监督，自学特征识别脑血管和背景区域，最终输出生成分割图，包括前景脑血管分割图和背景分割图；
S12、设计网络整体结构呈U型，具体为：网络先经收缩路径提取影像多尺度浅层和深层特征，再经扩张路径利用跨越连接引导对应阶浅层细节信息特征与高层语义信息特征相辅，以实现在生成分割图中准确标记出各血管分支区域位置且保留其细节轮廓；
S13、网络输入三维影像块经过卷积预处理层提取到初步浅层特征，进入收缩路径；在收缩路径中采用密集连接卷积，即当前卷积层的输入与其输出将合并后一齐输入至下层卷积；经过收缩路径中多阶密集连接卷积模块和池化处理，网络提取到影像的多尺度浅层和深层特征谱；
S14、进入扩张路径，在扩张路径各阶跨越连接处加入注意力机制模块，该模块将利用深层特征抽象语义信息，根据浅层特征与深层特征间长相关性，突出具强健判别力的浅层特征；各阶经注意力机制模块后再通过连续卷积和上采样处理，以此逐阶融合浅层特征信息和深层特征信息，输出最终预测的生成分割图。
3.根据权利要求1所述的一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，其特征在于：所述的步骤二具体过程如下：
S21、设计网络注意型输入为生成分割或标准分割中前景脑血管分割图映射下的原图，摒除背景干扰且引入原图信息以提取特征；再输入标准前景分割作为条件，使网络自主对比衡量而区分生成分割与标准分割；
S22、网络输入通过连续密集连接卷积层和池化处理，提取到多尺度多层次特征，综合浅层细节信息和深层抽象信息，分辨生成分割与真实分割。
4.根据权利要求1所述的一种基于多注意密集连接生成对抗网络的脑血管影像分割方法，其特征在于：所述分割生成网络S和分割判别网络D的学习率分别设置为0.05和0.02，训练次数比为1:4；两者均采用梯度下降算法优化器，通过梯度反向传播自动调整网络参数以降低损失，经过反复对抗最终S生成准确的脑血管分割图。
CN201911016542.7A 2019-10-24 2019-10-24 基于多注意密集连接生成对抗网络的脑血管影像分割方法 Active CN110853051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911016542.7A CN110853051B (zh) 2019-10-24 2019-10-24 基于多注意密集连接生成对抗网络的脑血管影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911016542.7A CN110853051B (zh) 2019-10-24 2019-10-24 基于多注意密集连接生成对抗网络的脑血管影像分割方法

Publications (2)

Publication Number Publication Date
CN110853051A CN110853051A (zh) 2020-02-28
CN110853051B true CN110853051B (zh) 2022-06-03

Family

ID=69596914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911016542.7A Active CN110853051B (zh) 2019-10-24 2019-10-24 基于多注意密集连接生成对抗网络的脑血管影像分割方法

Country Status (1)

Country Link
CN (1) CN110853051B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524142B (zh) * 2020-03-10 2023-06-30 浙江工业大学 一种脑血管图像自动分割方法
CN111584046B (zh) * 2020-05-15 2023-10-27 周凌霄 一种医学影像数据ai处理方法
CN111784653B (zh) * 2020-06-28 2023-08-01 西安电子科技大学 基于形状约束的多尺度网络mri胰腺轮廓定位方法
CN112017192B (zh) * 2020-08-13 2024-02-02 杭州师范大学 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN112163506B (zh) * 2020-09-25 2024-10-15 伏羲九针智能科技(北京)有限公司 基于超声的静脉血管识别方法、装置及设备
CN112465827B (zh) * 2020-12-09 2022-07-26 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112633404A (zh) * 2020-12-30 2021-04-09 复旦大学 基于DenseNet的COVID-19患者的CT影像分类方法及装置
CN112884773B (zh) * 2021-01-11 2022-03-04 天津大学 基于背景变换下目标注意力一致性的目标分割模型
CN113409243B (zh) * 2021-02-24 2023-04-18 浙江工业大学 一种结合全局和邻域信息的血管分割方法
CN113436139A (zh) * 2021-05-10 2021-09-24 上海大学 一种基于深度学习的小肠核磁共振影像图像识别和生理学信息提取系统及方法
CN114119626B (zh) * 2021-10-18 2024-07-19 北京理工大学 一种基于统计学模型和多尺度滤波的脑血管图像分割方法
CN113744272B (zh) * 2021-11-08 2022-01-28 四川大学 一种基于深度神经网络的脑动脉自动勾画方法
CN114998683B (zh) * 2022-06-01 2024-05-31 北京理工大学 一种基于注意力机制的ToF多径干扰去除方法
CN116129207B (zh) * 2023-04-18 2023-08-04 江西师范大学 一种多尺度通道注意力的图像数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110022422A (zh) * 2019-04-19 2019-07-16 吉林大学 一种基于密集连接网络的视频帧序列生成方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110022422A (zh) * 2019-04-19 2019-07-16 吉林大学 一种基于密集连接网络的视频帧序列生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Infrared Pedestrian Segmentation Through Background Likelihood and Object-Biased Saliency;Lu Li 等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20180930;2826-2843 *
Interactive Medical Image Segmentation Using Deep Learning With Image-Specific Fine Tuning;Guotai Wang 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20180731;1562-1573 *
复杂背景下基于图像处理的桥梁裂缝检测算法;李良福 等;《激光与光电子学进展》;20190331;第56卷(第6期);1-11 *

Also Published As

Publication number Publication date
CN110853051A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110853051B (zh) 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN111192245B (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN109598727B (zh) 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN112529839B (zh) 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN114897914B (zh) 基于对抗训练的半监督ct图像分割方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
Ding et al. FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation
Rajput et al. An accurate and noninvasive skin cancer screening based on imaging technique
CN113554665A (zh) 一种血管分割方法及装置
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
Lin et al. The lighter the better: rethinking transformers in medical image segmentation through adaptive pruning
CN110852330A (zh) 一种基于单阶段的行为识别方法
CN114170244A (zh) 一种基于级联神经网络结构的脑胶质瘤分割方法
Li et al. Study on the detection of pulmonary nodules in CT images based on deep learning
Wu et al. Cascaded fully convolutional DenseNet for automatic kidney segmentation in ultrasound images
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Shao et al. Application of U-Net and Optimized Clustering in Medical Image Segmentation: A Review.
Cao et al. Caggnet: Crossing aggregation network for medical image segmentation
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
Zeeshan Aslam et al. AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things
CN116934777A (zh) 一种不确定性引导的视网膜血管图像分割方法及系统
Xiao et al. Rcga-net: An improved multi-hybrid attention mechanism network in biomedical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant