CN115713626B - 一种基于深度学习的3d冠脉cta斑块识别方法 - Google Patents

Abstract

一种基于深度学习的3D冠脉CTA斑块识别方法，通过残差连接与3D网络相结合构建冠脉分割网络、斑块识别网络，可以确保网络分割冠脉血管和斑块区域的完整。先分割血管区域实现冠脉斑块粗略定位，可以有效排除类似钙化区域的干扰，降低假阳率。基于冠脉分割网络构建斑块识别网络，利用空间注意力、通道注意力显著增强斑块区域的浅层特征和高层特征，可以适应结构多样的斑块，能够丰富边缘信息和语义信息，进一步定位斑块所在区域，完成斑块的准确识别。

Description

一种基于深度学习的3D冠脉CTA斑块识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于深度学习的3D冠脉CTA斑块识别方法。

背景技术

冠脉CT血管造影，简称冠脉CTA。它能清晰显示动脉斑块的位置、大小及形态，因为其无创、费用低以及操作简便而被广泛使用。但每做一次冠脉CTA检查，其产生的图像往往成百上千张，因此对血管斑块的准确识别就具有重要意义。通过冠脉CTA图像识别斑块可分为机器和深度学习方法。传统的机器学习方法识别斑块往往依赖于手工特征，如斑块大小、形状等。这种方法无法适应斑块大小不一、结构多样的特性，标注过程费时费力,并不能对斑块进行准确的描述。深度学习方法将冠脉CTA图像输入到神经网络中，通过学习相关斑块区域的特征，能够对斑块做出自动化判断。基于2D的斑块识别方法仅学习切片内的特征，通过堆叠每张切片识别的斑块区域做为最终识别结果。这种方法没有考虑斑块在切片间的上下文关系，会造成斑块区域缺失。基于2.5D的斑块识别方法利用三个解剖平面视图使用相同结构的2D网络分别识别斑块，通过融合三个网络的预测做为最终结果。这种方法虽然联系了三种视图，但是整张切片直接输入网络中忽略了诸多干扰因素的解剖结构，它们的CT值与斑块十分接近，识别错误率很高，因此，如何设计一种基于深度学习的方法有效地识别冠脉斑块仍是一个挑战性的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种可以有效地定位斑块的区域位置，去除类似钙化的人体组织，同时也能够适应结构多样的斑块，完成识别任务的基于深度学习的3D冠脉CTA斑块识别方法。

本发明克服其技术问题所采用的技术方案是：

一种基于深度学习的3D冠脉CTA斑块识别方法，包括如下步骤：

a)利用残差连接构建冠脉分割网络，分割血管粗略定位冠脉斑块所在的区域，得到只含有血管的冠脉CTA图像Coronary_C；

b)训练冠脉分割网络；

c)构建斑块识别网络，将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络，得到斑块识别网络预测图Plaque_P；

d)训练斑块识别网络。

进一步的，步骤a)包括如下步骤：

a-1)预处理冠脉CTA图像，从水平面视图去除不包含冠脉的冗余切片，得到预处理后的图像P₂；

a-2)建立冠脉分割网络，该网络依次由收缩路径、扩展路径构成；

a-3)收缩路径由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块由第一基础卷积块、第二基础卷积块、第三基础卷积块构成，第一基础卷积块、第二基础卷积块、第三基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，第二残差模块、第三残差模块、第四残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

a-4)将预处理后的图像P₂依次输入到收缩路径第一残差模块中的第一基础卷积块、第二基础卷积块、第三基础卷积块中，分别得到特征图res_{1_}f₁、特征图res_{1_}f₂、特征图res_{1_}f₃，将特征图res_{1_}f₁、特征图res_{1_}f₂、特征图res_{1_}f₃进行累加求和得到特征图Coronary_EF₁；

a-5)将特征图Coronary_EF₁输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₁，将压缩特征图MAX_EF₁依次输入到收缩路径第二残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{2_}f₁、特征图res_{2_}f₂，将特征图res_{2_}f₁、特征图res_{2_}f₂、压缩特征图MAX_EF₁进行累加求和得到特征图Coronary_EF₂；

a-6)将特征图Coronary_EF₂输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₂，将压缩特征图MAX_EF₂依次输入到收缩路径第三残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{3_}f₁、特征图res_{3_}f₂，将特征图res_{3_}f₁、特征图res_{3_}f₂、压缩特征图MAX_EF₂进行累加求和得到特征图Coronary_EF₃；

a-7)将特征图Coronary_EF₃输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₃，将压缩特征图MAX_EF₃依次输入到收缩路径第四残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{4_}f₁、特征图res_{4_}f₂，将特征图res_{4_}f₁、特征图res_{4_}f₂、压缩特征图MAX_EF₃进行累加求和得到特征图Coronary_EF₄；

a-8)扩展路径由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，将特征图Coronary_EF₄通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₃相一致，将特征图Coronary_EF₄与特征图Coronary_EF₃进行特征连接操作，得到融合特征图DF_CON_EF₃，将融合特征图DF_CON_EF₃依次输入到扩展路径的第三残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{3_}f₃、特征图res_{3_}f₄，将特征图res_{3_}f₃、特征图res_{3_}f₄、融合特征图DF_CON_EF₃累加求和得到特征图Coronary_DF₃；

a-9)将特征图Coronary_DF₃通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₂相一致，将特征图Coronary_DF₃与特征图Coronary_EF₂进行特征连接操作，得到融合特征图DF_CON_EF₂，将融合特征图DF_CON_EF₂依次输入到扩展路径的第二残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{2_}f₃、特征图res_{2_}f₄，将特征图res_{2_}f₃、特征图res_{2_}f₄、融合特征图DF_CON_EF₂累加求和得到特征图Coronary_DF₂；

a-10)将特征图Coronary_DF₂通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₁相一致，将特征图Coronary_DF₂与特征图Coronary_EF₁进行特征连接操作，得到融合特征图DF_CON_EF₁，将融合特征图DF_CON_EF₁依次输入到扩展路径的第一残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{1_}f₄、特征图res_{1_}f₅，将特征图res_{1_}f₄、特征图res_{1_}f₅、融合特征图DF_CON_EF₁累加求和得到特征图Coronary_DF₁；

a-11)将特征图Coronary_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Coronary_G，其中三维卷积Conv3d层大小为1×1×1，通过argmax函数计算特征图Coronary_G第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到预测冠脉分割图Coronary_L，该预测冠脉分割图Coronary_L的像素值取值范围为{0.1}，其中0代表预测非冠脉区域，1代表预测冠脉区域，使用预测冠脉分割图Coronary_L分割预处理后的图像P₂，得到只含有血管的冠脉CTA图像Coronary_C。

进一步的，步骤a-1)包括如下步骤：

a-1.1)以水平面为基准，将大小为[512,512,Z]的冠脉CTA图像统一去除前20张和后20张冗余切片，切片后得到图像大小为[512,512,Z-40]的图像P₁，其中Z为冠脉CTA图像实际采集的水平面切片大小；

a-1.2)使用双线性插值方法bilinear将图像P₁重采样到[0.45,0.45，0.45]大小的体素空间，将图像CT值在[0,1000]区间内的区域归一化到[0,1]区间内，得到图像P₂。

进一步的，步骤a-1.2)中通过公式计算得到归一化后的图像P₂，式中a为[0,1000]区间CT值强度原始范围，b为[0,1]区间转换CT值强度目标范围，max为[0,1000]、[0,1]区间范围最大值，min为[0,1000]区间范围最小值。

优选的，步骤a-3)中三维卷积Conv3d层的大小为3×3×3，步长为2；步骤a-8)中三维卷积Conv3d层的大小为3×3×3，步长为2。

进一步的，步骤b)包括如下步骤：

b-1)将预处理后的冠脉CTA图像按6:2:2的比例划分为训练集、验证集和测试集；

b-2)冠脉分割网络使用交叉熵损失函数迭代500轮进行训练，每隔2轮使用验证集对冠脉分割网络进行验证；

b-3)迭代训练完成后，利用测试集对训练后的冠脉分割网络进行测试，以最优测试结果为基准保存网络模型权重。

进一步的，步骤c)包括如下步骤：

c-1)建立斑块识别网络，该网络由编码器、解码器构成；

c-2)编码器由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-3)将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络的编码器的第一残差模块中，得到特征图PE_res₁，将特征图PE_res₁输入到空间注意力块SA中，得到浅层特征图Plaque_SA₁，将浅层特征图Plaque_SA₁与特征图PE_res₁相乘得到增强特征图Plaque_EF₁；

c-4)将增强特征图Plaque_EF₁经过最大池化层输入到斑块识别网络的编码器的第二残差模块中，得到特征图PE_res₂，将特征图PE_res₂输入到空间注意力块SA中，得到浅层特征图Plaque_SA₂，将浅层特征图Plaque_SA₂与特征图PE_res₂相乘得到增强特征图Plaque_EF₂；c-5)将增强特征图Plaque_EF₂经过最大池化层输入到斑块识别网络的编码器的第三残差模块中，得到特征图PE_res₃，将特征图PE_res₃输入到空间注意力块SA中，得到浅层特征图Plaque_SA₃，将浅层特征图Plaque_SA₃与特征图PE_res₃相乘得到增强特征图Plaque_EF₃；

c-6)将增强特征图Plaque_EF₁、增强特征图Plaque_EF₂和增强特征图Plaque_EF₃分别输入到三维卷积Conv3d层进行降维，分别得到降维特征图EF_reducdim₁、降维特征图EF_reducdim₂、降维特征图EF_reducdim₃；

c-7)解码器由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块、第二残差模块、第三残差模块、第四残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-8)将增强特征图Plaque_EF₃输入到最大池化层中，得到特征图Plaque_EF₄，将特征图Plaque_EF₄输入到解码器由第四残差模块中，得到特征图PD_res₄，将特征图PD_res₄输入到通道注意力模块SE中，得到特征图Plaque_SE₄，将特征图Plaque_SE₄与特征图PD_res₄相乘得到特征图Plaque_DF₄；

c-9)将特征图Plaque_DF₄使用双线性插值方法恢复大小与降维特征图EF_reducdim₃相同，将特征图Plaque_DF₄与降维特征图EF_reducdim₃进行特征融合，得到特征图PEF_CON_DF₃，将特征图PEF_CON_DF₃输入到解码器由第三残差模块中，得到特征图PD_res₃，将特征图PD_res₃输入到通道注意力模块SE中，得到特征图Plaque_SE₃，将特征图Plaque_SE₃与特征图PD_res₃相乘得到特征图Plaque_DF₃；

c-10)将特征图Plaque_DF₃使用双线性插值方法恢复大小与降维特征图EF_reducdim₂相同，将特征图Plaque_DF₃与降维特征图EF_reducdim₂进行特征融合，得到特征图PEF_CON_DF₂，将特征图PEF_CON_DF₂输入到解码器由第二残差模块中，得到特征图PD_res₂，将特征图PD_res₂输入到通道注意力模块SE中，得到特征图Plaque_SE₂，将特征图Plaque_SE₂与特征图PD_res₂相乘得到特征图Plaque_DF₂；

c-11)将特征图Plaque_DF₂使用双线性插值方法恢复大小与降维特征图EF_reducdim₁相同，将特征图Plaque_DF₂与降维特征图EF_reducdim₁进行特征融合，得到特征图PEF_CON_DF₁，将特征图PEF_CON_DF₁输入到解码器由第一残差模块中，得到特征图PD_res₁，将特征图PD_res₁输入到通道注意力模块SE中，得到特征图Plaque_SE₁，将特征图Plaque_SE₁与特征图PD_res₁相乘得到特征图Plaque_DF₁；

c-12)将特征图Plaque_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Plaque_Q，通过argmax函数计算特征图Plaque_Q第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到斑块识别网络预测图Plaque_P，该斑块识别网络预测图Plaque_P的像素值取值范围为{0.1}，其中0代表非钙化区域，1代表钙化区域。

优选的，步骤c-2)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-6)中三维卷积Conv3d层的大小为1×1×1；步骤c-8)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-12)中三维卷积Conv3d层的大小为1×1×1。进一步的，步骤d)包括如下步骤：

d-1)使用dice损失函数计算斑块识别网络的模型损失，使用Adam优化器优化斑块识别网络参数。

优选的，步骤d-1)中学习率设置为le-4，使用L2正则化优化网络参数，比例因子设置为le-4，网络使用5折交叉验证。

本发明的有益效果是：通过残差连接与3D网络相结合构建冠脉分割网络、斑块识别网络，可以确保网络分割冠脉血管和斑块区域的完整。先分割血管区域实现冠脉斑块粗略定位，可以有效排除类似钙化区域的干扰，降低假阳率。基于冠脉分割网络构建斑块识别网络，利用空间注意力、通道注意力显著增强斑块区域的浅层特征和高层特征，可以适应结构多样的斑块，能够丰富边缘信息和语义信息，进一步定位斑块所在区域，完成斑块的准确识别。

附图说明

图1为本发明的网络运行流程图；

图2为本发明构建冠脉分割网络结构图；

图3为本发明构建斑块识别网络结构图。

具体实施方式

下面结合附图1、附图2、附图3对本发明做进一步说明。

一种基于深度学习的3D冠脉CTA斑块识别方法，包括如下步骤：

a)利用残差连接构建冠脉分割网络，分割血管粗略定位冠脉斑块所在的区域，得到只含有血管的冠脉CTA图像Coronary_C。

b)训练冠脉分割网络，粗略定位冠脉斑块存在区域。通过网络预测冠脉血管，冠脉血管所在的区域都作为潜在的钙化区域。

c)构建斑块识别网络，将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络，得到斑块识别网络预测图Plaque_P。通过注意力模块增强斑块特征，进一步定位斑块区域，完成斑块识别任务。

d)训练斑块识别网络。

通过残差连接与3D网络相结合构建冠脉分割网络、斑块识别网络，可以确保网络分割冠脉血管和斑块区域的完整。先分割血管区域实现冠脉斑块粗略定位，可以有效排除类似钙化区域的干扰，降低假阳率。基于冠脉分割网络构建斑块识别网络，利用空间注意力、通道注意力显著增强斑块区域的浅层特征和高层特征，可以适应结构多样的斑块，能够丰富边缘信息和语义信息，进一步定位斑块所在区域，完成斑块的准确识别。

实施例1：

进一步的，步骤a)包括如下步骤：

a-1)预处理冠脉CTA图像，从水平面视图去除不包含冠脉的冗余切片，得到预处理后的图像P₂。

a-2)建立冠脉分割网络，利用残差连接构建冠脉分割网络，受益于残差网络的启发，在3DUnet网络的基础上引入残差连接设计，缓解神经网络过深难以优化带来的梯度消失问题，弥补网络下采样的信息丢失。冠脉分割网络呈U型对称结构，该网络依次由收缩路径、扩展路径构成，收缩路径包含四层，扩展路径包含三层，除收缩路径第一层包含三个基础卷积块外，其余各层均包含两个基础卷积块，基础卷积块由三维卷积Conv3d、批量归一化BN和激活函数Relu组成。两个卷积块之间引入残差连接并与每一层的最后一个基础卷积块提取的特征图进行累加，构建残差模块。收缩路径中，累加的特征图经过最大池化下采样输入到下一层，通过跳跃连接送入到扩展路径同一层。扩展路径每层通过转置卷积插值方法恢复特征图与累加特征图相同的尺度，融合多尺度冠脉特征，之后送入残差模块，继续提炼特征。经过三层扩展路径，融合的多尺度冠脉特征最终通过argmax函数并转换为one-hot向量输出预测冠脉分割图。具体处理流程如下：a-3)收缩路径由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块由第一基础卷积块、第二基础卷积块、第三基础卷积块构成，第一基础卷积块、第二基础卷积块、第三基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，第二残差模块、第三残差模块、第四残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

a-4)将预处理后的图像P₂依次输入到收缩路径第一残差模块中的第一基础卷积块、第二基础卷积块、第三基础卷积块中，分别得到特征图res_{1_}f₁、特征图res_{1_}f₂、特征图res_{1_}f₃，将特征图res_{1_}f₁、特征图res_{1_}f₂、特征图res_{1_}f₃进行累加求和得到特征图Coronary_EF₁。

a-5)将特征图Coronary_EF₁输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₁，将压缩特征图MAX_EF₁依次输入到收缩路径第二残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{2_}f₁、特征图res_{2_}f₂，将特征图res_{2_}f₁、特征图res_{2_}f₂、压缩特征图MAX_EF₁进行累加求和得到特征图Coronary_EF₂。

a-6)将特征图Coronary_EF₂输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₂，将压缩特征图MAX_EF₂依次输入到收缩路径第三残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{3_}f₁、特征图res_{3_}f₂，将特征图res_{3_}f₁、特征图res_{3_}f₂、压缩特征图MAX_EF₂进行累加求和得到特征图Coronary_EF₃。

a-7)将特征图Coronary_EF₃输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₃，将压缩特征图MAX_EF₃依次输入到收缩路径第四残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{4_}f₁、特征图res_{4_}f₂，将特征图res_{4_}f₁、特征图res_{4_}f₂、压缩特征图MAX_EF₃进行累加求和得到特征图Coronary_EF₄。

a-8)扩展路径由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，将特征图Coronary_EF₄通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₃相一致，将特征图Coronary_EF₄与特征图Coronary_EF₃进行特征连接操作，得到融合特征图DF_CON_EF₃，将融合特征图DF_CON_EF₃依次输入到扩展路径的第三残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{3_}f₃、特征图res_{3_}f₄，将特征图res_{3_}f₃、特征图res_{3_}f₄、融合特征图DF_CON_EF₃累加求和得到特征图Coronary_DF₃。

a-9)将特征图Coronary_DF₃通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₂相一致，将特征图Coronary_DF₃与特征图Coronary_EF₂进行特征连接操作，得到融合特征图DF_CON_EF₂，将融合特征图DF_CON_EF₂依次输入到扩展路径的第二残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{2_}f₃、特征图res_{2_}f₄，将特征图res_{2_}f₃、特征图res_{2_}f₄、融合特征图DF_CON_EF₂累加求和得到特征图Coronary_DF₂。

a-10)将特征图Coronary_DF₂通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₁相一致，将特征图Coronary_DF₂与特征图Coronary_EF₁进行特征连接操作，得到融合特征图DF_CON_EF₁，将融合特征图DF_CON_EF₁依次输入到扩展路径的第一残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res_{1_}f₄、特征图res_{1_}f₅，将特征图res_{1_}f₄、特征图res_{1_}f₅、融合特征图DF_CON_EF₁累加求和得到特征图Coronary_DF₁。

a-11)将特征图Coronary_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Coronary_G，其中三维卷积Conv3d层大小为1×1×1，通过argmax函数计算特征图Coronary_G第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到预测冠脉分割图Coronary_L，该预测冠脉分割图Coronary_L的像素值取值范围为{0.1}，其中0代表预测非冠脉区域，1代表预测冠脉区域，使用预测冠脉分割图Coronary_L分割预处理后的图像P₂，得到只含有血管的冠脉CTA图像Coronary_C。图像Coronary_C去除了大量与斑块区域无关的背景信息，使得斑块识别网络专注于血管区域内。

实施例2：

步骤a-1)包括如下步骤：

a-1.1)以水平面为基准，将大小为[512,512,Z]的冠脉CTA图像统一去除前20张和后20张冗余切片，切片后得到图像大小为[512,512,Z-40]的图像P₁，其中Z为冠脉CTA图像实际采集的水平面切片大小，具体以实际为准。

a-1.2)使用双线性插值方法bilinear将图像P₁重采样到[0.45,0.45，0.45]大小的体素空间，统一体素大小，方便网络学习冠脉特征。将图像CT值在[0,1000]区间内的区域归一化到[0,1]区间内，得到图像P₂。这样保留心脏和冠脉之间的组织，同时抑制范围外的干扰因素，如空气、低密度组织等。

实施例3：

步骤a-1.2)中通过公式计算得到归一化后的图像P₂，式中a为[0,1000]区间CT值强度原始范围，b为[0,1]区间转换CT值强度目标范围，max为[0,1000]、[0,1]区间范围最大值，min为[0,1000]区间范围最小值。

实施例4：

步骤a-3)中三维卷积Conv3d层的大小为3×3×3，步长为2；步骤a-8)中三维卷积Conv3d层的大小为3×3×3，步长为2。

实施例5：

步骤b)包括如下步骤：

b-1)将预处理后的冠脉CTA图像按6:2:2的比例划分为训练集、验证集和测试集。为了增加网络学习的健壮性，数图像数据一半是健康人员、一半是包含冠脉斑块。采用滑动窗口策略训练冠脉分割网络，补丁大小设置为[96,96,96],这足以包含完整的冠脉血管前景和背景。训练和验证时，以前景为中心，随机裁剪4个固定大小的补丁，前景与背景的比例设置为1：1。测试时，采用滑动窗口推理策略，感兴趣区域补丁大小设置为[160,160,160]，batch设置为4。在本发明中，冠脉分割网络使用MONAI医学图像框架实现。MONAI是NVIDIA与伦敦国王学院合作推出的开源AI框架，它能完美适应和处理医学图像。冠脉分割网络是基于3DUnet网络改进的三维网络，它能较好地捕捉图像中冠脉的上下文信息，同时能对冠脉的位置进行准确定位。

b-2)冠脉分割网络使用交叉熵损失函数迭代500轮进行训练，每隔2轮使用验证集对冠脉分割网络进行验证；

b-3)迭代训练完成后，利用测试集对训练后的冠脉分割网络进行测试，以最优测试结果为基准保存网络模型权重。

实施例6：

步骤c)包括如下步骤：

c-1)建立斑块识别网络。网络基于冠脉分割进行改进，保留了多尺度特征融合的设计，同时结合了空间和通道注意力。注意力机制可以有效地消除血管区域地干扰，能够进一步定位斑块区域，完成斑块的识别任务。在本发明中，斑块识别网络使用MONAI医学图像开源AI框架构建。斑块识别网络由编码器、解码器构成，其中，编码器使用空间注意力块，解码器使用通道注意力块。空间注意力块使用CBAM网络中的SA模块，它能够增强斑块区域浅层特征，同时细化纹理和丰富边缘信息。通道注意力块使用Squeeze and Excitation网络中的SE模块，它能够有效地建模通道之间的相互依赖关系，增强斑块区域高层特征，丰富语义信息。编码器中，每层间使用最大池化进行下采样，压缩特征维度。解码器中，使用双线性插值方法进行上采样，恢复与编码器对应层的特征维度。同时，使用跳跃连接进行多尺度特征融合，能够弥补下采样带来地细节信息丢失，捕获斑块区域的上下文信息，具体处理流程如下：

c-2)编码器由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

c-3)将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络的编码器的第一残差模块中，得到特征图PE_res₁，将特征图PE_res₁输入到空间注意力块SA中，得到浅层特征图Plaque_SA₁，将浅层特征图Plaque_SA₁与特征图PE_res₁相乘得到增强特征图Plaque_EF₁。

c-4)将增强特征图Plaque_EF₁经过最大池化层输入到斑块识别网络的编码器的第二残差模块中，得到特征图PE_res₂，将特征图PE_res₂输入到空间注意力块SA中，得到浅层特征图Plaque_SA₂，将浅层特征图Plaque_SA₂与特征图PE_res₂相乘得到增强特征图Plaque_EF₂。

c-5)将增强特征图Plaque_EF₂经过最大池化层输入到斑块识别网络的编码器的第三残差模块中，得到特征图PE_res₃，将特征图PE_res₃输入到空间注意力块SA中，得到浅层特征图Plaque_SA₃，将浅层特征图Plaque_SA₃与特征图PE_res₃相乘得到增强特征图Plaque_EF₃。

c-6)将增强特征图Plaque_EF₁、增强特征图Plaque_EF₂和增强特征图Plaque_EF₃分别输入到三维卷积Conv3d层进行降维，分别得到降维特征图EF_reducdim₁、降维特征图EF_reducdim₂、降维特征图EF_reducdim₃。

c-7)解码器由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块、第二残差模块、第三残差模块、第四残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

c-8)将增强特征图Plaque_EF₃输入到最大池化层中，得到特征图Plaque_EF₄，将特征图Plaque_EF₄输入到解码器由第四残差模块中，得到特征图PD_res₄，将特征图PD_res₄输入到通道注意力模块SE中，得到特征图Plaque_SE₄，将特征图Plaque_SE₄与特征图PD_res₄相乘得到特征图Plaque_DF₄。

c-9)将特征图Plaque_DF₄使用双线性插值方法恢复大小与降维特征图EF_reducdim₃相同，将特征图Plaque_DF₄与降维特征图EF_reducdim₃进行特征融合，得到特征图PEF_CON_DF₃，将特征图PEF_CON_DF₃输入到解码器由第三残差模块中，得到特征图PD_res₃，将特征图PD_res₃输入到通道注意力模块SE中，得到特征图Plaque_SE₃，将特征图Plaque_SE₃与特征图PD_res₃相乘得到特征图Plaque_DF₃。

c-10)将特征图Plaque_DF₃使用双线性插值方法恢复大小与降维特征图EF_reducdim₂相同，将特征图Plaque_DF₃与降维特征图EF_reducdim₂进行特征融合，得到特征图PEF_CON_DF₂，将特征图PEF_CON_DF₂输入到解码器由第二残差模块中，得到特征图PD_res₂，将特征图PD_res₂输入到通道注意力模块SE中，得到特征图Plaque_SE₂，将特征图Plaque_SE₂与特征图PD_res₂相乘得到特征图Plaque_DF₂。

c-11)将特征图Plaque_DF₂使用双线性插值方法恢复大小与降维特征图EF_reducdim₁相同，将特征图Plaque_DF₂与降维特征图EF_reducdim₁进行特征融合，得到特征图PEF_CON_DF₁，将特征图PEF_CON_DF₁输入到解码器由第一残差模块中，得到特征图PD_res₁，将特征图PD_res₁输入到通道注意力模块SE中，得到特征图Plaque_SE₁，将特征图Plaque_SE₁与特征图PD_res₁相乘得到特征图Plaque_DF₁。

c-12)将特征图Plaque_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Plaque_Q，通过argmax函数计算特征图Plaque_Q第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到斑块识别网络预测图Plaque_P，该斑块识别网络预测图Plaque_P的像素值取值范围为{0.1}，其中0代表非钙化区域，1代表钙化区域。

实施例7：

步骤c-2)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-6)中三维卷积Conv3d层的大小为1×1×1；步骤c-8)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-12)中三维卷积Conv3d层的大小为1×1×1。

实施例8：

步骤d)包括如下步骤：

d-1)使用dice损失函数计算斑块识别网络的模型损失，使用Adam优化器优化斑块识别网络参数。

实施例9：

步骤d-1)中学习率设置为le-4，为了防止网络过拟合，则使用L2正则化优化网络参数，比例因子设置为le-4，网络使用5折交叉验证。将数据集平均分成5份，轮流将4份数据做为训练集，一份做为测试集。取5次测试结果的平均值评估斑块识别网络，直接在测试集上保存最优模型权重。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的3D冠脉CTA斑块识别方法，其特征在于，包括如下步骤：

a)利用残差连接构建冠脉分割网络，分割血管粗略定位冠脉斑块所在的区域，得到只含有血管的冠脉CTA图像Coronary_C；

b)训练冠脉分割网络；

c)构建斑块识别网络，将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络，得到斑块识别网络预测图Plaque_P；

d)训练斑块识别网络；

步骤a)包括如下步骤：

a-1)预处理冠脉CTA图像，从水平面视图去除不包含冠脉的冗余切片，得到预处理后的图像P₂；

a-2)建立冠脉分割网络，该网络依次由收缩路径、扩展路径构成；

a-3)收缩路径由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块由第一基础卷积块、第二基础卷积块、第三基础卷积块构成，第一基础卷积块、第二基础卷积块、第三基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，第二残差模块、第三残差模块、第四残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

a-4)将预处理后的图像P₂依次输入到收缩路径第一残差模块中的第一基础卷积块、第二基础卷积块、第三基础卷积块中，分别得到特征图res₁_f₁、特征图res₁_f₂、特征图res₁_f₃，将特征图res₁_f₁、特征图res₁_f₂、特征图res₁_f₃进行累加求和得到特征图Coronary_EF₁；

a-5)将特征图Coronary_EF₁输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₁，将压缩特征图MAX_EF₁依次输入到收缩路径第二残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res₂_f₁、特征图res₂_f₂，将特征图res₂_f₁、特征图res₂_f₂、压缩特征图MAX_EF₁进行累加求和得到特征图Coronary_EF₂；

a-6)将特征图Coronary_EF₂输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₂，将压缩特征图MAX_EF₂依次输入到收缩路径第三残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res₃_f₁、特征图res₃_f₂，将特征图res₃_f₁、特征图res₃_f₂、压缩特征图MAX_EF₂进行累加求和得到特征图Coronary_EF₃；

a-7)将特征图Coronary_EF₃输入到最大池化层中进行下采样，得到压缩特征图MAX_EF₃，将压缩特征图MAX_EF₃依次输入到收缩路径第四残差模块中的第一基础卷积块、第二基础卷积块中，分别得到特征图res₄_f₁、特征图res₄_f₂，将特征图res₄_f₁、特征图res₄_f₂、压缩特征图MAX_EF₃进行累加求和得到特征图Coronary_EF₄；

a-8)扩展路径由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，将特征图Coronary_EF₄通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₃相一致，将特征图Coronary_EF₄与特征图Coronary_EF₃进行特征连接操作，得到融合特征图DF_CON_EF₃，将融合特征图DF_CON_EF₃依次输入到扩展路径的第三残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res₃_f₃、特征图res₃_f₄，将特征图res₃_f₃、特征图res₃_f₄、融合特征图DF_CON_EF₃累加求和得到特征图Coronary_DF₃；

a-9)将特征图Coronary_DF₃通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₂相一致，将特征图Coronary_DF₃与特征图Coronary_EF₂进行特征连接操作，得到融合特征图DF_CON_EF₂，将融合特征图DF_CON_EF₂依次输入到扩展路径的第二残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res₂_f₃、特征图res₂_f₄，将特征图res₂_f₃、特征图res₂_f₄、融合特征图DF_CON_EF₂累加求和得到特征图Coronary_DF₂；

a-10)将特征图Coronary_DF₂通过转置卷积插值方法进行恢复特征图操作，将其大小恢复至与特征图Coronary_EF₁相一致，将特征图Coronary_DF₂与特征图Coronary_EF₁进行特征连接操作，得到融合特征图DF_CON_EF₁，将融合特征图DF_CON_EF₁依次输入到扩展路径的第一残差模块的第一基础卷积块、第二基础卷积块中，分别得到特征图res₁_f₄、特征图res₁_f₅，将特征图res₁_f₄、特征图res₁_f₅、融合特征图DF_CON_EF₁累加求和得到特征图Coronary_DF₁；

a-11)将特征图Coronary_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Coronary_G，其中三维卷积Conv3d层大小为1×1×1，通过argmax函数计算特征图Coronary_G第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到预测冠脉分割图Coronary_L，该预测冠脉分割图Coronary_L的像素值取值范围为{0.1}，其中0代表预测非冠脉区域，1代表预测冠脉区域，使用预测冠脉分割图Coronary_L分割预处理后的图像P₂，得到只含有血管的冠脉CTA图像Coronary_C。

2.根据权利要求1所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于，步骤a-1)包括如下步骤：

a-1.1)以水平面为基准，将大小为[512,512,Z]的冠脉CTA图像统一去除前20张和后20张冗余切片，切片后得到图像大小为[512,512,Z-40]的图像P₁，其中Z为冠脉CTA图像实际采集的水平面切片大小；

a-1.2)使用双线性插值方法bilinear将图像P₁重采样到[0.45,0.45，0.45]大小的体素空间，将图像CT值在[0,1000]区间内的区域归一化到[0,1]区间内，得到图像P₂。

3.根据权利要求2所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于：步骤a-1.2)中通过公式计算得到归一化后的图像P₂，式中a为[0,1000]、[0,1]区间CT值强度原始范围，b为[0,1]区间转换CT值强度目标范围，max为[0,1000]、[0,1]区间范围最大值，min为[0,1000]区间范围最小值。

4.根据权利要求1所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于：步骤a-3)中三维卷积Conv3d层的大小为3×3×3，步长为2；步骤a-8)中三维卷积Conv3d层的大小为3×3×3，步长为2。

5.根据权利要求1所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于，步骤b)包括如下步骤：

b-1)将预处理后的冠脉CTA图像按6:2:2的比例划分为训练集、验证集和测试集；

b-2)冠脉分割网络使用交叉熵损失函数迭代500轮进行训练，每隔2轮使用验证集对冠脉分割网络进行验证；

b-3)迭代训练完成后，利用测试集对训练后的冠脉分割网络进行测试，以最优测试结果为基准保存网络模型权重。

6.根据权利要求1所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于，步骤c)包括如下步骤：

c-1)建立斑块识别网络，该网络由编码器、解码器构成；

c-2)编码器由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-3)将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络的编码器的第一残差模块中，得到特征图PE_res₁，将特征图PE_res₁输入到空间注意力块SA中，得到浅层特征图Plaque_SA₁，将浅层特征图Plaque_SA₁与特征图PE_res₁相乘得到增强特征图Plaque_EF₁；

c-4)将增强特征图Plaque_EF₁经过最大池化层输入到斑块识别网络的编码器的第二残差模块中，得到特征图PE_res₂，将特征图PE_res₂输入到空间注意力块SA中，得到浅层特征图Plaque_SA₂，将浅层特征图Plaque_SA₂与特征图PE_res₂相乘得到增强特征图Plaque_EF₂；c-5)将增强特征图Plaque_EF₂经过最大池化层输入到斑块识别网络的编码器的第三残差模块中，得到特征图PE_res₃，将特征图PE_res₃输入到空间注意力块SA中，得到浅层特征图Plaque_SA₃，将浅层特征图Plaque_SA₃与特征图PE_res₃相乘得到增强特征图Plaque_EF₃；c-6)将增强特征图Plaque_EF₁、增强特征图Plaque_EF₂和增强特征图Plaque_EF₃分别输入到三维卷积Conv3d层进行降维，分别得到降维特征图EF_reducdim₁、降维特征图EF_reducdim₂、降维特征图EF_reducdim₃；

c-7)解码器由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块、第二残差模块、第三残差模块、第四残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-8)将增强特征图Plaque_EF₃输入到最大池化层中，得到特征图Plaque_EF₄，将特征图Plaque_EF₄输入到解码器由第四残差模块中，得到特征图PD_res₄，将特征图PD_res₄输入到通道注意力模块SE中，得到特征图Plaque_SE₄，将特征图Plaque_SE₄与特征图PD_res₄相乘得到特征图Plaque_DF₄；

c-9)将特征图Plaque_DF₄使用双线性插值方法恢复大小与降维特征图EF_reducdim₃相同，将特征图Plaque_DF₄与降维特征图EF_reducdim₃进行特征融合，得到特征图PEF_CON_DF₃，将特征图PEF_CON_DF₃输入到解码器由第三残差模块中，得到特征图PD_res₃，将特征图PD_res₃输入到通道注意力模块SE中，得到特征图Plaque_SE₃，将特征图Plaque_SE₃与特征图PD_res₃相乘得到特征图Plaque_DF₃；

c-10)将特征图Plaque_DF₃使用双线性插值方法恢复大小与降维特征图EF_reducdim₂相同，将特征图Plaque_DF₃与降维特征图EF_reducdim₂进行特征融合，得到特征图PEF_CON_DF₂，将特征图PEF_CON_DF₂输入到解码器由第二残差模块中，得到特征图PD_res₂，将特征图PD_res₂输入到通道注意力模块SE中，得到特征图Plaque_SE₂，将特征图Plaque_SE₂与特征图PD_res₂相乘得到特征图Plaque_DF₂；

c-11)将特征图Plaque_DF₂使用双线性插值方法恢复大小与降维特征图EF_reducdim₁相同，将特征图Plaque_DF₂与降维特征图EF_reducdim₁进行特征融合，得到特征图PEF_CON_DF₁，将特征图PEF_CON_DF₁输入到解码器由第一残差模块中，得到特征图PD_res₁，将特征图PD_res₁输入到通道注意力模块SE中，得到特征图Plaque_SE₁，将特征图Plaque_SE₁与特征图PD_res₁相乘得到特征图Plaque_DF₁；

c-12)将特征图Plaque_DF₁输入到依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成的基础卷积块中降低通道维度为2，得到特征图Plaque_Q，通过argmax函数计算特征图Plaque_Q第一维度最大值索引向量，将第一维度最大值索引转换为one-hot向量，得到斑块识别网络预测图Plaque_P，该斑块识别网络预测图Plaque_P的像素值取值范围为{0.1}，其中0代表非钙化区域，1代表钙化区域。

7.根据权利要求6所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于：步骤c-2)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-6)中三维卷积Conv3d层的大小为1×1×1；步骤c-8)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-12)中三维卷积Conv3d层的大小为1×1×1。

8.根据权利要求5所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于，步骤d)包括如下步骤：

d-1)使用dice损失函数计算斑块识别网络的模型损失，使用Adam优化器优化斑块识别网络参数。

9.根据权利要求8所述的基于深度学习的3D冠脉CTA斑块识别方法，其特征在于：步骤d-1)中学习率设置为le-4，使用L2正则化优化网络参数，比例因子设置为le-4，网络使用5折交叉验证。