CN116030326B - 一种多视角融合的冠脉斑块识别方法 - Google Patents

Abstract

一种多视角融合的冠脉斑块识别方法，将冠脉CTA图像转换至三个人体解剖平面图像，利用残差网络分别判断三个视角下包含冠脉血管的图像，随后进行分割。可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围。然后，通过构建多视角斑块识别网络，以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角融合识别特征可以有效利用切片间的上下文信息，解决2D图像信息单一的问题。多视角斑块识别网络采用特征编码器和特征解码器，提取基础特征的同时保留了融合多尺度特征的设计，相较于3D网络，方便部署，实现容易。

Description

一种多视角融合的冠脉斑块识别方法

技术领域

本发明涉及深度学习、医学图像识别领域，具体涉及一种多视角融合的冠脉斑块识别方法。

背景技术

通常，采集的冠脉CTA图像往往包含几十到几百张切片，但并不是每张切片都能提供有效的斑块识别信息，并且这些冗余的图片观察起来也费时费力，容易给斑块的识别造成阻碍。深度学习技术的发展促进了医学图像识别领域的进步，它可以提高识别斑块的效率和准确率。现有智能冠脉斑块识别方法通常使用2D和3D深度学习模型。2D模型方法仅仅学习水平面切片的有效信息，它虽然可以捕获切片内斑块的空间特征，但是忽略了切片间的联系，丢失了其他视角的斑块信息，因此可能导致斑块识别的准确率降低。3D模型方法弥补了2D模型的缺陷，它使用三维卷积学习斑块的上下文信息，能够利用切片间的关系去定位斑块区域，但是冠脉CTA图像存在的大量无关冗余切片往往会干扰3D模型的学习，同时3D模型对计算机硬件资源要求较高，存在部署困难的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围的方法。

本发明克服其技术问题所采用的技术方案是：

一种多视角融合的冠脉斑块识别方法，包括如下步骤：

a)将冠脉CTA图像Original转换为冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，完成预处理；

b)利用残差网络Resnet34分别判断冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis是否包含冠脉血管；

c)分割冠脉CTA图像并进行预处理，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2；

d)构建多视角斑块识别网络，将冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2及冠状面视角图像Coronal2输入到多视角斑块识别网络中，得到冠脉斑块识别结果。

进一步的，步骤a)包括如下步骤：

a-1)将冠脉CTA图像Original的窗宽winwidth和窗位wincenter进行调整，得到调整后的冠脉CTA图像Original′，将调整后的冠脉CTA图像Original′映射至[0.255]区间范围内，Original∈R^X×Y×Z，其中R为实数空间，X为冠脉CTA图像Original在冠状面图像的数量，Y为冠脉CTA图像Original在矢状面图像的数量，Z为冠脉CTA图像Original在水平视角图像的数量；

a-2)循环遍历映射至[0.255]区间范围内的冠脉CTA图像Original′，得到冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis均为2D图像，Coronal∈R^Y×Z，Sagittal∈R^X×Z，Axis∈R^X×Y，Coronal＝{coronal₁,coronal₂,...,coronal_i,...,coronal_X}，其中coronal_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,X-1},Sagittal＝{sagittal₁,sagittal₂,...,sagittal_j,...,sagittal_Y}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,Y-1}，Axis＝{axis₁,axis₂,...,axis_k,...,axis_Z}，axis_k为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,Z-1}。

进一步的，步骤a-1)中通过公式计算得到调整后的冠脉CTA图像Original′，式中max＝(2*wincenter+winwidth)/2，min＝(2*wincenter-winwidth)/2。

优选的，窗宽winwidth设置为750，窗位wincenter设置为90。

进一步的，步骤b)包括如下步骤：

b-1)将冠状面视角图像Coronal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到冠状面视角图像Coronal包含冠脉血管的编号，第一张包含冠脉血管的图像为coronal_a，最后一张包含冠脉血管的图像为coronal_b，编号a至编号b范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号a至编号b范围外的冠状面视角图像删除；

b-2)将矢状面视角图像Sagittal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到矢状面视角图像Sagittal包含冠脉血管的编号，第一张包含冠脉血管的图像为Sagittal_c，最后一张包含冠脉血管的图像为Sagittal_d，编号c至编号d范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号c至编号d范围外的冠状面视角图像删除；

b-3)将水平面视角图像Axis输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到水平面视角图像Axis包含冠脉血管的编号，第一张包含冠脉血管的图像为Axis_e，最后一张包含冠脉血管的图像为Axis_f，编号e至编号f范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号e至编号f范围外的冠状面视角图像删除；

b-4)将冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis的图像大小均调整为256x256，残差网络Resnet34使用多步学习率，初始化学习率为0.01，没10个epoch下降0.1，使用交叉熵损失函数计算残差网络Resnet34的模型损失，利用模型损失通过随机梯度下降法优化残差网络Resnet34。

进一步的，步骤c)包括如下步骤：

c-1)利用编号a至编号b范围内的冠状面视角图像、编号c至编号d范围内的冠状面视角图像以及编号e至编号f范围内的冠状面视角图像通过python列表切片操作对预处理冠脉CTA图像Original进行分割，得到图像Original2， 为预处理冠脉CTA图像Original在冠状面图像的数量，/> 为预处理冠脉CTA图像Original在矢状面图像的数量，/> 为预处理冠脉CTA图像Original在水平视角图像的数量，/>

c-2)将图像Original2大小调整到256×256×256，使用B-spline插值方法重采样调整后的图像Original2到[0.5mm,0.5mm,0.5mm]各向同性体素空间；

c-3)将重采样调整后的图像Original2像素值调整为冠脉CTA图像Original的均值和标准差；

c-4)循环遍历调整后的图像Original2，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2，冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2均为2D图像，Coronal2＝{coronal2₁,coronal2₂,...,coronal2_i,...,coronal2₂₅₆}，其中coronal2_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,256},Sagittal2＝{sagittal2₁,sagittal2₂,...,sagittal2_j,...,sagittal2₂₅₆}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,256}，Axis2＝{axis2₁,axis2₂,...,axis2_k,...,axis2₂₅₆}，axis₂₅₆为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,256}，Coronal2∈R^256×256，Sagittal∈R^{256 ×256}，Axis∈R^256×256。

进一步的，步骤d)包括如下步骤：

d-1)构建由特征编码器、多视角融合层、特征解码器构成的多视角斑块识别网络；

d-2)特征编码器依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块及第四最大池化层构成，第一卷积块、第二卷积块、第三卷积块及第四卷积块均依次由卷积核大小为3×3的卷积层及relu激活函数层构成，将冠状面视角图像Coronal2输入到多视角斑块识别网络的特征编码器的第一卷积块中，输出得到特征FC₁，将特征FC₁输入到第一最大池化层中，输出得到特征FC₂，将特征FC₂输入到第二卷积块中，输出得到特征FC₃，将特征FC₃输入到第二最大池化层中，输出得到第特征FC₄，将特征FC₄输入到第三卷积块中，输出得到特征FC₅，将特征FC₅输入到第三最大池化层中，输出得到第特征FC₆，将特征FC₆输入到第四卷积块中，输出得到特征FC₇，将特征FC₇输入到第四最大池化层中，输出得到基础特征FC₈；将矢状面视角图像Sagittal2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FS₁，将特征FS₁输入到第一最大池化层中，输出得到特征FS₂，将特征FS₂输入到第二卷积块中，输出得到特征FS₃，将特征FS₃输入到第二最大池化层中，输出得到第特征FS₄，将特征FS₄输入到第三卷积块中，输出得到特征FS₅，将特征FS₅输入到第三最大池化层中，输出得到第特征FS₆，将特征FS₆输入到第四卷积块中，输出得到特征FS₇，将特征FS₇输入到第四最大池化层中，输出得到基础特征FS₈；将水平面视角图像Axis2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FA₁，将特征FA₁输入到第一最大池化层中，输出得到特征FA₂，将特征FA₂输入到第二卷积块中，输出得到特征FA₃，将特征FA₃输入到第二最大池化层中，输出得到第特征FA₄，将特征FA₄输入到第三卷积块中，输出得到特征FA₅，将特征FA₅输入到第三最大池化层中，输出得到第特征FA₆，将特征FA₆输入到第四卷积块中，输出得到特征FA₇，将特征FA₇输入到第四最大池化层中，输出得到基础特征FA₈；

d-3)多视角融合层包括降采样层和特征过滤层，所述降采样层依次由第一常规卷积块、最大池化层、平均池化层及第二常规卷积块构成，第一常规卷积块、第二常规卷积块均依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FC₂、特征FC₄、特征FC₆、基础特征FC₈分别输入到降采样层中，分别输出得到聚合特征FCE₁、聚合特征FCE₂、聚合特征FCE₃、聚合特征FCE₄，将特征FS₂、特征FS₄、特征FS₆、基础特征FS₈分别输入到降采样层中，分别输出得到聚合特征FSE₁、聚合特征FSE₂、聚合特征FSE₃、聚合特征FSE₄，通过公式FCMS₁＝FCE₁*FSE₁计算得到交集特征FCMS₁，通过公式FCMS₂＝FCE₂*FSE₂计算得到交集特征FCMS₂，通过公式FCMS₃＝FCE₃*FSE₃计算得到交集特征FCMS₃，通过公式FCMS₄＝FCE₄*FSE₄计算得到交集特征FCMS₄，所处特征过滤层由第三常规卷积块构成，第三常规卷积块依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FA₂、特征FA₄、特征FA₆、基础特征FA₈分别依次输入到特征过滤层的第三常规卷积块中，分别输出得到特征FAE₁、特征FAE₂、特征FAE₃、特征FAE₄，通过公式FADD₁＝FAE₁*FCMS₁计算得到多视角融合斑块融合特征FADD₁，通过公式FADD₂＝FAE₂*FCMS₂计算得到多视角融合斑块融合特征FADD₂，通过公式FADD₃＝FAE₃*FCMS₃计算得到多视角融合斑块融合特征FADD₃，通过公式FADD₄＝FAE₄*FCMS₄计算得到多视角融合斑块融合特征FADD₄；

d-4)特征解码器依次由第五卷积块、第一上采样层、第六卷积块、第二上采样层、第七卷积块、第三上采样层及第八卷积块构成，第五卷积块、第六卷积块、第七卷积块及第八卷积块均依次由卷积核大小为3×3的二维卷积层及relu激活函数层构成，将多视角融合斑块融合特征FADD₄输入到特征解码器的第五卷积块中，输出得到提炼特征FADDS₄，将FADDS₄输入到第一上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₃一致的特征FADDS₄′，将特征FADDS₄′与多视角融合斑块融合特征FADD₃进行特征融合后输入到第六卷积块中，输出得到增强特征FCAT₄₃，将增强特征FCAT₄₃输入到第二上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₂一致的特征FCAT₄₃′，将特征FCAT₄₃′与多视角融合斑块融合特征FADD₂进行特征融合后输入到第七卷积块中，输出得到增强特征FCAT₃₂，将增强特征FCAT₃₂输入到第三上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₁一致的特征FCAT₃₂′，将特征FCAT₃₂′与多视角融合斑块融合特征FADD₁进行特征融合后输入到第八卷积块中，输出得到增强特征FCAT₂₁；

d-5)将增强特征FCAT₂₁转化为one-hot向量得到识别结果resultPlaque，resultPlaque＝{resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆}，其中resultPlaque_i为第i张图像的转化为one-hot向量的识别结果，i∈{1,...,256}，resultPlaque_i的像素取值范围为{0,1}；

d-6)将通过公式FianPlaque＝append(resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆)计算得到最终识别结果FianPlaque，FianPlaque_i为第i张图像的最终识别结果，i∈{1,...,256}，式中append(·)为append函数，最终识别结果FianPlaque_i的像素取值范围为{0,1}，当最终识别结果FianPlaque_i取值为0时表示为背景区域，当最终识别结果FianPlaque_i取值为1时表示为斑块区域。

进一步的，将水平面视角图像Axis大小调整为256×256，将冠状面视角图像Coronal及矢状面视角图像Sagittal大小调整为384×384，将网络学习率设置为le-5，使用交叉熵函数计算模型损失，使用RMSprop优化器利用模型损失优化多视角斑块识别网络的参数，RMSprop优化器的动量设置为0.9，权重衰减设置为le-8。

本发明的有益效果是：从多个视角有效去除冗余切片的干扰，使模型专注于含有冠脉血管和斑块的图像区域。然后构建斑块识别网络，从多个视角出发学习斑块的空间和时间特征。以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角依次融合识别结果，能够合理利用切片间的上下文信息，完成斑块识别。首先冠脉CTA图像转换至三个人体解剖平面图像，利用残差网络分别判断三个视角下包含冠脉血管的图像，随后进行分割。可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围。然后，通过构建多视角斑块识别网络，以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角融合识别特征可以有效利用切片间的上下文信息，解决2D图像信息单一的问题。多视角斑块识别网络采用特征编码器和特征解码器，提取基础特征的同时保留了融合多尺度特征的设计，相较于3D网络，方便部署，实现容易。

附图说明

图1为本发明的残差网络处理流程图；

图2为本发明的多视角融合斑块识别网络处理流程图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种多视角融合的冠脉斑块识别方法，包括如下步骤：

a)将冠脉CTA图像Original转换为冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，完成预处理。冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis为三个人体解剖平面2D图像。

b)利用残差网络Resnet34分别判断冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis是否包含冠脉血管。

c)分割冠脉CTA图像并进行预处理，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2。

d)构建多视角斑块识别网络，将冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2及冠状面视角图像Coronal2输入到多视角斑块识别网络中，得到冠脉斑块识别结果。

首先冠脉CTA图像转换至三个人体解剖平面图像，利用残差网络分别判断三个视角下包含冠脉血管的图像，随后进行分割。可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围。然后，通过构建多视角斑块识别网络，以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角融合识别特征可以有效利用切片间的上下文信息，解决2D图像信息单一的问题。多视角斑块识别网络采用特征编码器和特征解码器，提取基础特征的同时保留了融合多尺度特征的设计，相较于3D网络，方便部署，实现容易。

实施例1：

步骤a)包括如下步骤：

a-1)为了方便观察和促进网络学习，将冠脉CTA图像Original的窗宽winwidth和窗位wincenter进行调整，得到调整后的冠脉CTA图像Original′，将调整后的冠脉CTA图像Original′映射至[0.255]区间范围内，Original∈R^X×Y×Z，其中R为实数空间，X为冠脉CTA图像Original在冠状面图像的数量，Y为冠脉CTA图像Original在矢状面图像的数量，Z为冠脉CTA图像Original在水平视角图像的数量。

a-2)循环遍历映射至[0.255]区间范围内的冠脉CTA图像Original′，得到冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis均为2D图像，Coronal∈R^Y×Z，Sagittal∈R^X×Z，Axis∈R^X×Y，Coronal＝{coronal₁,coronal₂,...,coronal_i,...,coronal_X}，其中coronal_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,X-1},Sagittal＝{sagittal₁,sagittal₂,...,sagittal_j,...,sagittal_Y}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,Y-1}，Axis＝{axis₁,axis₂,...,axis_k,...,axis_Z}，axis_k为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,Z-1}。

进一步的，步骤a-1)中通过公式计算得到调整后的冠脉CTA图像Original′，式中max＝(2*wincenter+winwidth)/2，min＝(2*wincenter-winwidth)/2。max代表窗宽、窗位范围内最大像素值，min代表窗宽、窗位范围内最小像素值。

优选的，窗宽winwidth设置为750，窗位wincenter设置为90。

实施例2：

如附图1所示，步骤b)包括如下步骤：

b-1)将冠状面视角图像Coronal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到冠状面视角图像Coronal包含冠脉血管的编号，第一张包含冠脉血管的图像为coronal_a，最后一张包含冠脉血管的图像为coronal_b，编号a至编号b范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号a至编号b范围外的冠状面视角图像删除。

b-2)将矢状面视角图像Sagittal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到矢状面视角图像Sagittal包含冠脉血管的编号，第一张包含冠脉血管的图像为Sagittal_c，最后一张包含冠脉血管的图像为Sagittal_d，编号c至编号d范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号c至编号d范围外的冠状面视角图像删除。

b-3)将水平面视角图像Axis输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到水平面视角图像Axis包含冠脉血管的编号，第一张包含冠脉血管的图像为Axis_e，最后一张包含冠脉血管的图像为Axis_f，编号e至编号f范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号e至编号f范围外的冠状面视角图像删除。

b-4)将冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis的图像大小均调整为256x256，残差网络Resnet34使用多步学习率，初始化学习率为0.01，没10个epoch下降0.1，使用交叉熵损失函数计算残差网络Resnet34的模型损失，利用模型损失通过随机梯度下降法优化残差网络Resnet34。需要说明的是，残差网络Resnet34对于三个视角图像皆使用相同的参数配置训练和测试。

实施例3：

步骤c)包括如下步骤：

c-1)利用编号a至编号b范围内的冠状面视角图像、编号c至编号d范围内的冠状面视角图像以及编号e至编号f范围内的冠状面视角图像通过python列表切片操作对预处理冠脉CTA图像Original进行分割，得到图像Original2，从冠状面、矢状面和水平面三个视角分别去除不包含冠脉血管的图像，将斑块区域聚焦在包含冠脉血管的图像区域范围内。/>为预处理冠脉CTA图像Original在冠状面图像的数量， 为预处理冠脉CTA图像Original在矢状面图像的数量，/> 为预处理冠脉CTA图像Original在水平视角图像的数量，/>

c-2)将图像Original2大小调整到256×256×256，使用B-spline插值方法重采样调整后的图像Original2到[0.5mm,0.5mm,0.5mm]各向同性体素空间。

c-3)将重采样调整后的图像Original2像素值调整为冠脉CTA图像Original的均值和标准差。

c-4)循环遍历调整后的图像Original2，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2，冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2均为2D图像，Coronal2＝{coronal2₁,coronal2₂,...,coronal2_i,...,coronal2₂₅₆}，其中coronal2_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,256},Sagittal2＝{sagittal2₁,sagittal2₂,...,sagittal2_j,...,sagittal2₂₅₆}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,256}，Axis2＝{axis2₁,axis2₂,...,axis2_k,...,axis2₂₅₆}，axis₂₅₆为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,256}，Coronal2∈R^256×256，Sagittal∈R^{256 ×256}，Axis∈R^256×256。

实施例4：

步骤d)包括如下步骤：

d-1)如附图2所示，构建由特征编码器、多视角融合层、特征解码器构成的多视角斑块识别网络。以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角构建多视角融合斑块识别网络。其中，特征编码器用于提取冠状面、矢状面和水平面图像基础特征，共包含四层卷积块。多视角融合层用于整合不同尺度的冠状面、矢状面和水平面图像基础特征，包含常规卷积层和降采样层。它以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角，融合多视角的斑块上下文信息。通过整合冠状面和矢状面基础特征融入到水平面基础特征，有效增强模型从多个视角识别斑块的能力，进一步准确定位斑块位置。特征解码器与特征编码器对应，包含四层卷积层。采用多尺度特征融合的设计，增强多尺度斑块特征。最终，通过层层聚合获取多视角融合斑块识别结果。可以将冠状面视角图像Coronal2、矢状面视角图像Sagittal2图像调整为水平面视角图像Axis2的1.5倍，大小为384×384，使用使用高分辨率图像可以从冠状面和矢状面提取更多的斑块信息，加入到主视角水平面中，帮助斑块识别。随后，冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2经过特征编码器提取斑块基础特征。

d-2)特征编码器依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块及第四最大池化层构成，第一卷积块、第二卷积块、第三卷积块及第四卷积块均依次由卷积核大小为3×3的卷积层及relu激活函数层构成，将冠状面视角图像Coronal2输入到多视角斑块识别网络的特征编码器的第一卷积块中，输出得到特征FC₁，将特征FC₁输入到第一最大池化层中，输出得到特征FC₂，将特征FC₂输入到第二卷积块中，输出得到特征FC₃，将特征FC₃输入到第二最大池化层中，输出得到第特征FC₄，将特征FC₄输入到第三卷积块中，输出得到特征FC₅，将特征FC₅输入到第三最大池化层中，输出得到第特征FC₆，将特征FC₆输入到第四卷积块中，输出得到特征FC₇，将特征FC₇输入到第四最大池化层中，输出得到基础特征FC₈；将矢状面视角图像Sagittal2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FS₁，将特征FS₁输入到第一最大池化层中，输出得到特征FS₂，将特征FS₂输入到第二卷积块中，输出得到特征FS₃，将特征FS₃输入到第二最大池化层中，输出得到第特征FS₄，将特征FS₄输入到第三卷积块中，输出得到特征FS₅，将特征FS₅输入到第三最大池化层中，输出得到第特征FS₆，将特征FS₆输入到第四卷积块中，输出得到特征FS₇，将特征FS₇输入到第四最大池化层中，输出得到基础特征FS₈；将水平面视角图像Axis2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FA₁，将特征FA₁输入到第一最大池化层中，输出得到特征FA₂，将特征FA₂输入到第二卷积块中，输出得到特征FA₃，将特征FA₃输入到第二最大池化层中，输出得到第特征FA₄，将特征FA₄输入到第三卷积块中，输出得到特征FA₅，将特征FA₅输入到第三最大池化层中，输出得到第特征FA₆，将特征FA₆输入到第四卷积块中，输出得到特征FA₇，将特征FA₇输入到第四最大池化层中，输出得到基础特征FA₈。

d-3)将特征解码器提取的冠状面和矢状面斑块基础特征送入降采样层调整特征大小与水平面特征一致，之后进行体素级别的乘法计算两者之间的交集。具体的：多视角融合层包括降采样层和特征过滤层，所述降采样层依次由第一常规卷积块、最大池化层、平均池化层及第二常规卷积块构成，第一常规卷积块、第二常规卷积块均依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FC₂、特征FC₄、特征FC₆、基础特征FC₈分别输入到降采样层中，分别输出得到聚合特征FCE₁、聚合特征FCE₂、聚合特征FCE₃、聚合特征FCE₄，将特征FS₂、特征FS₄、特征FS₆、基础特征FS₈分别输入到降采样层中，分别输出得到聚合特征FSE₁、聚合特征FSE₂、聚合特征FSE₃、聚合特征FSE₄，通过公式FCMS₁＝FCE₁*FSE₁计算得到交集特征FCMS₁，通过公式FCMS₂＝FCE₂*FSE₂计算得到交集特征FCMS₂，通过公式FCMS₃＝FCE₃*FSE₃计算得到交集特征FCMS₃，通过公式FCMS₄＝FCE₄*FSE₄计算得到交集特征FCMS₄，所处特征过滤层由第三常规卷积块构成，第三常规卷积块依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FA₂、特征FA₄、特征FA₆、基础特征FA₈分别依次输入到特征过滤层的第三常规卷积块中，分别输出得到特征FAE₁、特征FAE₂、特征FAE₃、特征FAE₄，通过公式FADD₁＝FAE₁*FCMS₁计算得到多视角融合斑块融合特征FADD₁，通过公式FADD₂＝FAE₂*FCMS₂计算得到多视角融合斑块融合特征FADD₂，通过公式FADD₃＝FAE₃*FCMS₃计算得到多视角融合斑块融合特征FADD₃，通过公式FADD₄＝FAE₄*FCMS₄计算得到多视角融合斑块融合特征FADD₄。

d-4)特征解码器依次由第五卷积块、第一上采样层、第六卷积块、第二上采样层、第七卷积块、第三上采样层及第八卷积块构成，第五卷积块、第六卷积块、第七卷积块及第八卷积块均依次由卷积核大小为3×3的二维卷积层及relu激活函数层构成，将多视角融合斑块融合特征FADD₄输入到特征解码器的第五卷积块中，输出得到提炼特征FADDS₄，将FADDS₄输入到第一上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₃一致的特征FADDS₄′，将特征FADDS₄′与多视角融合斑块融合特征FADD₃进行特征融合后输入到第六卷积块中，输出得到增强特征FCAT₄₃，将增强特征FCAT₄₃输入到第二上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₂一致的特征FCAT₄₃′，将特征FCAT₄₃′与多视角融合斑块融合特征FADD₂进行特征融合后输入到第七卷积块中，输出得到增强特征FCAT₃₂，将增强特征FCAT₃₂输入到第三上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₁一致的特征FCAT₃₂′，将特征FCAT₃₂′与多视角融合斑块融合特征FADD₁进行特征融合后输入到第八卷积块中，输出得到增强特征FCAT₂₁。

d-5)将增强特征FCAT₂₁转化为one-hot向量得到识别结果resultPlaque，resultPlaque＝{resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆}，其中resultPlaque_i为第i张图像的转化为one-hot向量的识别结果，i∈{1,...,256}，resultPlaque_i的像素取值范围为{0,1}。

d-6)将通过公式FianPlaque＝append(resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆)计算得到最终识别结果FianPlaque，FianPlaque_i为第i张图像的最终识别结果，i∈{1,...,256}，式中append(·)为append函数，append函数用于添加图像至相同列表中，实现堆叠2D图像变为3D图像。最终识别结果FianPlaque_i的像素取值范围为{0,1}，当最终识别结果FianPlaque_i取值为0时表示为背景区域，当最终识别结果FianPlaque_i取值为1时表示为斑块区域。

实施例5：

为了对多视角斑块识别网络进行训练，将水平面视角图像Axis大小调整为256×256，将冠状面视角图像Coronal及矢状面视角图像Sagittal大小调整为384×384。调整目的是充分利用冠状面和矢状面视角提供的辅助信息，同时方便网络学习。将网络学习率设置为le-5，使用交叉熵函数计算模型损失，使用RMSprop优化器利用模型损失优化多视角斑块识别网络的参数，RMSprop优化器的动量设置为0.9，为了防止网络过拟合，权重衰减设置为le-8。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多视角融合的冠脉斑块识别方法，其特征在于，包括如下步骤：

a)将冠脉CTA图像Original转换为冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，完成预处理；

b)利用残差网络Resnet34分别判断冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis是否包含冠脉血管；

c)分割冠脉CTA图像并进行预处理，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2；

d)构建多视角斑块识别网络，将冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2及冠状面视角图像Coronal2输入到多视角斑块识别网络中，得到冠脉斑块识别结果；

步骤c)包括如下步骤：

c-1)利用编号a至编号b范围内的冠状面视角图像、编号c至编号d范围内的冠状面视角图像以及编号e至编号f范围内的冠状面视角图像通过python列表切片操作对预处理冠脉CTA图像Original进行分割，得到图像Original2， 为预处理冠脉CTA图像Original在冠状面图像的数量，/> 为预处理冠脉CTA图像Original在矢状面图像的数量，/> 为预处理冠脉CTA图像Original在水平视角图像的数量，/>

c-2)将图像Original2大小调整到256×256×256，使用B-spline插值方法重采样调整后的图像Original2到[0.5mm,0.5mm,0.5mm]各向同性体素空间；

c-3)将重采样调整后的图像Original2像素值调整为冠脉CTA图像Original的均值和标准差；

c-4)循环遍历调整后的图像Original2，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2，冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2均为2D图像，Coronal2＝{coronal2₁,coronal2₂,...,coronal2_i,...,coronal2₂₅₆}，其中coronal2_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,256},Sagittal2＝{sagittal2₁,sagittal2₂,...,sagittal2_j,...,sagittal2₂₅₆}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,256}，Axis2＝{axis2₁,axis2₂,...,axis2_k,...,axis2₂₅₆}，axis₂₅₆为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,256}，Coronal2∈R^256×256，Sagittal∈R^{256 ×256}，Axis∈R^256×256；

步骤d)包括如下步骤：

d-1)构建由特征编码器、多视角融合层、特征解码器构成的多视角斑块识别网络；

d-2)特征编码器依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块及第四最大池化层构成，第一卷积块、第二卷积块、第三卷积块及第四卷积块均依次由卷积核大小为3×3的卷积层及relu激活函数层构成，将冠状面视角图像Coronal2输入到多视角斑块识别网络的特征编码器的第一卷积块中，输出得到特征FC₁，将特征FC₁输入到第一最大池化层中，输出得到特征FC₂，将特征FC₂输入到第二卷积块中，输出得到特征FC₃，将特征FC₃输入到第二最大池化层中，输出得到第特征FC₄，将特征FC₄输入到第三卷积块中，输出得到特征FC₅，将特征FC₅输入到第三最大池化层中，输出得到第特征FC₆，将特征FC₆输入到第四卷积块中，输出得到特征FC₇，将特征FC₇输入到第四最大池化层中，输出得到基础特征FC₈；将矢状面视角图像Sagittal2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FS₁，将特征FS₁输入到第一最大池化层中，输出得到特征FS₂，将特征FS₂输入到第二卷积块中，输出得到特征FS₃，将特征FS₃输入到第二最大池化层中，输出得到第特征FS₄，将特征FS₄输入到第三卷积块中，输出得到特征FS₅，将特征FS₅输入到第三最大池化层中，输出得到第特征FS₆，将特征FS₆输入到第四卷积块中，输出得到特征FS₇，将特征FS₇输入到第四最大池化层中，输出得到基础特征FS₈；将水平面视角图像Axis2输入到多视角斑块识别网络的特征编码器中的第一卷积块中，输出得到特征FA₁，将特征FA₁输入到第一最大池化层中，输出得到特征FA₂，将特征FA₂输入到第二卷积块中，输出得到特征FA₃，将特征FA₃输入到第二最大池化层中，输出得到第特征FA₄，将特征FA₄输入到第三卷积块中，输出得到特征FA₅，将特征FA₅输入到第三最大池化层中，输出得到第特征FA₆，将特征FA₆输入到第四卷积块中，输出得到特征FA₇，将特征FA₇输入到第四最大池化层中，输出得到基础特征FA₈；

d-3)多视角融合层包括降采样层和特征过滤层，所述降采样层依次由第一常规卷积块、最大池化层、平均池化层及第二常规卷积块构成，第一常规卷积块、第二常规卷积块均依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FC₂、特征FC₄、特征FC₆、基础特征FC₈分别输入到降采样层中，分别输出得到聚合特征FCE₁、聚合特征FCE₂、聚合特征FCE₃、聚合特征FCE₄，将特征FS₂、特征FS₄、特征FS₆、基础特征FS₈分别输入到降采样层中，分别输出得到聚合特征FSE₁、聚合特征FSE₂、聚合特征FSE₃、聚合特征FSE₄，通过公式FCMS₁＝FCE₁*FSE₁计算得到交集特征FCMS₁，通过公式FCMS₂＝FCE₂*FSE₂计算得到交集特征FCMS₂，通过公式FCMS₃＝FCE₃*FSE₃计算得到交集特征FCMS₃，通过公式FCMS₄＝FCE₄*FSE₄计算得到交集特征FCMS₄，所处特征过滤层由第三常规卷积块构成，第三常规卷积块依次由卷积核大小为3×3的二维卷积层、BN归一化层、relu激活函数层构成，将特征FA₂、特征FA₄、特征FA₆、基础特征FA₈分别依次输入到特征过滤层的第三常规卷积块中，分别输出得到特征FAE₁、特征FAE₂、特征FAE₃、特征FAE₄，通过公式FADD₁＝FAE₁*FCMS₁计算得到多视角融合斑块融合特征FADD₁，通过公式FADD₂＝FAE₂*FCMS₂计算得到多视角融合斑块融合特征FADD₂，通过公式FADD₃＝FAE₃*FCMS₃计算得到多视角融合斑块融合特征FADD₃，通过公式FADD₄＝FAE₄*FCMS₄计算得到多视角融合斑块融合特征FADD₄；

d-4)特征解码器依次由第五卷积块、第一上采样层、第六卷积块、第二上采样层、第七卷积块、第三上采样层及第八卷积块构成，第五卷积块、第六卷积块、第七卷积块及第八卷积块均依次由卷积核大小为3×3的二维卷积层及relu激活函数层构成，将多视角融合斑块融合特征FADD₄输入到特征解码器的第五卷积块中，

输出得到提炼特征FADDS₄，将FADDS₄输入到第一上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₃一致的特征FADDS₄′，将特征FADDS₄′与多视角融合斑块融合特征FADD₃进行特征融合后输入到第六卷积块中，输出得到增强特征FCAT₄₃，将增强特征FCAT₄₃输入到第二上采样层中，输出得到特征图大小与多视角融合斑块融合特征FADD₂一致的特征FCAT₄₃′，将特征FCAT₄₃′与多视角融合斑块融合特征FADD₂进行特征融合后输入到第七卷积块中，输出得到增强特征FCAT₃₂，将增强特征FCAT₃₂输入到第三上采样层中，

输出得到特征图大小与多视角融合斑块融合特征FADD₁一致的特征FCAT₃₂′，将特征FCAT₃₂′与多视角融合斑块融合特征FADD₁进行特征融合后输入到第八卷积块中，输出得到增强特征FCAT₂₁；

d-5)将增强特征FCAT₂₁转化为one-hot向量得到识别结果resultPlaque，resultPlaque＝{resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆}，其中resultPlaque_i为第i张图像的转化为one-hot向量的识别结果，i∈{1,...,256}，resultPlaque_i的像素取值范围为{0,1}；

d-6)将通过公式FianPlaque＝append(resultPlaque₁,...,resultPlaque_i,...,resultPlaque₂₅₆)计算得到最终识别结果FianPlaque，FianPlaque_i为第i张图像的最终识别结果，i∈{1,...,256}，式中append(·)为append函数，最终识别结果FianPlaque_i的像素取值范围为{0,1}，当最终识别结果FianPlaque_i取值为0时表示为背景区域，当最终识别结果FianPlaque_i取值为1时表示为斑块区域。

2.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于，步骤

a)包括如下步骤：

a-1)将冠脉CTA图像Original的窗宽winwidth和窗位wincenter进行调整，得到调整后的冠脉CTA图像Original′，将调整后的冠脉CTA图像Original′映射至[0.255]区间范围内，Original∈R^X×Y×Z，其中R为实数空间，X为冠脉CTA图像Original在冠状面图像的数量，Y为冠脉CTA图像Original在矢状面图像的数量，Z为冠脉CTA图像Original在水平视角图像的数量；

a-2)循环遍历映射至[0.255]区间范围内的冠脉CTA图像Original′，得到冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis均为2D图像，Coronal∈R^Y×Z，Sagittal∈R^X×Z，Axis∈R^X×Y，Coronal＝{coronal₁,coronal₂,...,coronal_i,...,coronal_X}，其中coronal_i为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,X-1},Sagittal＝{sagittal₁,sagittal₂,...,sagittal_j,…,sagittal_Y}，其中sagittal_j为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,Y-1}，Axis＝{axis₁,axis₂,...,axis_k,...,axis_Z}，axis_k为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,Z-1}。

3.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于：步骤a-1)中通过公式计算得到调整后的冠脉CTA图像Original′，式中max＝(2*wincenter+winwidth)/2，min＝(2*wincenter-winwidth)/2。

4.根据权利要求3所述的多视角融合的冠脉斑块识别方法，其特征在于：窗宽winwidth设置为750，窗位wincenter设置为90。

5.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于，步骤b)包括如下步骤：

b-1)将冠状面视角图像Coronal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到冠状面视角图像Coronal包含冠脉血管的编号，第一张包含冠脉血管的图像为coronal_a，最后一张包含冠脉血管的图像为coronal_b，编号a至编号b范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号a至编号b范围外的冠状面视角图像删除；

b-2)将矢状面视角图像Sagittal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到矢状面视角图像Sagittal包含冠脉血管的编号，第一张包含冠脉血管的图像为Sagittal_c，最后一张包含冠脉血管的图像为Sagittal_d，编号c至编号d范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号c至编号d范围外的冠状面视角图像删除；

b-3)将水平面视角图像Axis输入到残差网络Resnet34中，判断图像是否包含冠脉血管并并得到水平面视角图像Axis包含冠脉血管的编号，第一张包含冠脉血管的图像为Axis_e，最后一张包含冠脉血管的图像为Axis_f，编号e至编号f范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号e至编号f范围外的冠状面视角图像删除；

b-4)将冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis的图像大小均调整为256x256，残差网络Resnet34使用多步学习率，初始化学习率为0.01，没10个epoch下降0.1，使用交叉熵损失函数计算残差网络Resnet34的模型损失，利用模型损失通过随机梯度下降法优化残差网络Resnet34。

6.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于：将水平面视角图像Axis大小调整为256×256，将冠状面视角图像Coronal及矢状面视角图像Sagittal大小调整为384×384，将网络学习率设置为le-5，使用交叉熵函数计算模型损失，使用RMSprop优化器利用模型损失优化多视角斑块识别网络的参数，RMSprop优化器的动量设置为0.9，权重衰减设置为le-8。