CN113592766A - 一种基于深度序列信息融合的冠脉造影图像分割方法 - Google Patents

Abstract

本发明涉及一种基于深度序列信息融合的冠脉造影图像分割方法，该方法的主要创新点是以一个X型的网络结构(XNet)融合了待分割图像输入与其对应的序列数据输入，从序列数据输入中抽取有效信息来减少噪声、造影剂分布不均等造影图像常常包含的问题带来的影响，以尽量提高分割图像效果。该网络结构模型主要包含两个U型网络，其中一个U型网络包含3D编码模块和2D解码模块，用于抽取序列数据中的有效特征信息，另一个U型网络包含2D编码模块和2D解码模块，用于针对性地进行分割图像的特征提取。这两个网络通过一个特征混合模块相连，用于将序列网络抽取得到的特征强化分割网络的前向特征传递。

Description

一种基于深度序列信息融合的冠脉造影图像分割方法

技术领域

本发明涉及一种分割方法，具体涉及一种基于深度序列信息融合的冠脉造影图像分割方法，属于图像分割技术领域。

背景技术

人工智能在近几年内已经成为计算机科学领域中的重要研究方向，其成为了智能时代发展的一项核心技术。深度学习作为人工智能领域的一个重要研究成果，使得机器视觉研究领域得到了重大的突破。在2012年ImageNet竞赛中，有队伍使用神经网络将分类的最优结果提升了11％，并一举夺得当年ImageNet竞赛的冠军，深度神经网络从此走进了领域学者们的视野内。

在深度学习技术出现之前，机器视觉的算法中一个难以避免的问题便是如何将图像中的可用特征提取出来，而人工提出特征往往会导致算法的局限性，主要体现为两方面：人工特征的提取往往依赖于专业经验，从而导致特征提取不全或者提取的特征有效性较差；人工的特征融合的方式有限，使得提取到的特征信息无法得到有效地利用。而深度学习的算法可以在大量的训练过程中自主学习如何提取特征、提取何种特征，并将多个特征进行融合得到最后的预测结果，这就是深度学习能够在机器视觉领域大放异彩的一个原因。

在传统的机器视觉算法中图像分割是最具有挑战的任务，由于图像分割算法往往根据针对数据的不同而呈现不同的特征表现，在这种情况下，人工设计特征尤其困难，并且由于人工特征设计不够全面则导致欠分割或者过分割的情况。目前在深度学习技术的支持下，像素级的语义分割可以很好的应用到图像分割任务之上，在大数据的支撑下可以使得分割的结果达到一个令人满意的程度。

冠脉造影图像(Digital subtraction angiography，简称DSA)是用于临床分析血管疾病的金标准。其基本原理是将注入造影剂前后拍摄的两帧X线图像经数字化输入图像计算机，通过减影、增强和再成像过程把血管造影影像上的骨与软组织影像消除来获得清晰的纯血管影像。冠脉造影图像可以在心血管诊断及手术中为医生提供有效的信息，对于冠脉造影图像的分割的目标即是将造影剂充盈状态下的血管与背景区分开来，得到较为清晰的血管二值图像，有利于后续诊断或手术能够能加顺利地进行。结合深度学习方法的发展与冠脉造影图像的应用，可以通过设计深度学习模型结合手工标注数据训练训练模型以实现冠脉造影图像的分割。

发明内容

本发明正是针对现有技术中存在的问题，提供一种基于深度序列信息融合的冠脉造影图像分割方法，该技术方案使用深度学习方法以及提出的X型网络模型对冠脉造影图像进行血管分割，提高了分割的精准度。

为了实现上述目的，本发明的技术方案如下，一种基于深度序列信息融合的冠脉造影图像分割方法，所述方法包括以下步骤：

步骤1：获得冠脉血管造影图像序列；

步骤2：选取序列中某一帧为分割帧，即分割模型的目标是获得该帧对应的血管二值图像；

步骤3：对于序列中的所有图像进行灰度归一化；

步骤4：以分割帧为固定图像，对序列中的其他图像进行配准；

步骤5：对于标签进行处理，将前景血管像素标记为1，将背景像素标记为0；

步骤6：在图像序列中挑选与分割帧绝对平方误差最小的32张图像，并以原始序列中的顺序将这多张图像数据以通道合并的方式组成一个多通道张量；

步骤7：编写X型网络X-Net模型，该网络包括两个输入端与两个输出端，其中两个输入端的输入分别是分割帧和序列数据，两个输出端都是分割帧对应的二值分割标签，该网络主要包括了卷积层、池化层、激活函数、损失函数等等组件；

步骤8：根据步骤6中编写完成的卷积神经网络，对于分割帧端的输出采用交叉熵与dice损失进行优化，对于序列端的输出采用交叉熵损失函数进行优化；

步骤9：根据步骤7对于网络进行训练，至收敛则得到了冠脉造影图像分割网络模型。该发明将序列信息通过深度学习的方法融合到单帧冠脉造影图像的分割中去，提高了分割的精准度。

作为本发明的一种改进，所述步骤7中：X-Net模型架构，具体如下：

该模型分为两个U型网络；

其中一个U型网络以序列数据张量为输入，分割帧对应标签为输出监督，称为序列网络；

另一个U型网络以分割帧数据为输入，分割帧对应标签为输出监督，称为分割网络；

两个U型网络通过瓶颈层特征融合模块相连，将序列网络的特征添加到分割网络中去，为单帧图像分割添加序列上下文信息。

作为本发明的一种改进，X-Net模型架构细节如下：

序列网络中包含一个3D编码模块和一个2D解码模块；

分割网络中包含一个2D编码模块和一个2D解码模块，以及从编码模块到解码模块的跳跃连接；

特征融合模块定义如下，其包含张量乘操作、softmax函数、张量加法操作：

其中F_seg，F_seq，

分别表示分割网络和序列网络对应的特征张量及其转置，Softmax(·)代表softmax函数，×代表矩阵相乘。

作为本发明的一种改进，所述的编码、解码模块细节：

3D编码模块包含5个3D卷积模块和4个最大池化层，每个3D卷积模块由3D卷积层、归一化函数、激活函数组成；

2D解码模块包含5个2D卷积模块和4个上采样层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成；

2D解码模块包含5个2D卷积模块和4个最大池化层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成。

步骤3：对于序列中的所有图像进行灰度归一化，具体如下：

对于所有图像数据进行灰度归一化，灰度归一化公式为：

其中I(i，j)，N(i，j)表示原图像和归一化后图像像素(i,j)的灰度值，min，max分别表示原图像中最小灰度值和最大灰度值。

作为本发明的一种改进，步骤7中，对于标签数据进行二值化；

随机挑选一组数据包括分割帧、配准后的序列数据、标签，输入到网络模型中；

得到模型的输出，针对分割网络和序列网络两个输出，都计算损失函数进行反向传播，判断模型是否收敛，如收敛，则保存模型，如未收敛，则继续重复随机挑选一组数据的步骤。

相对于现有技术，本发明具有如下优点，该技术方案利用双输入的X型网络，在提取分割帧特征信息特征的同时以另一路编码路径从序列输入端在序列维度提取符合该分割帧的特征信息，然后在两个编码路径之后进行特征融合。(1).相较于一般的序列方法，本方法不需要序列中每一帧图像的分割标签即可将序列上下文信息融入到分割模型中，则可以减轻人工标注的工作量。(2).该方法以序列信息作为补偿以实现更加准确的血管分割，冠脉造影图像本就是在某个时间区间内对于造影血管的记录，这种方式可以在单帧中造影剂分布不均的情况下引入前后帧数据信息实现对于血管较为完整的分割。

附图说明

图1为本发明冠脉造影图像分割方法的神经网络模型示意图；

图2为本发明冠脉造影图像分割方法的训练流程示意图；

图3为本发明冠脉造影图像分割方法的测试流程示意图；

图4为本发明冠脉造影图像分割方法的冠脉造影图像示意图；

图5为本发明冠脉造影图像分割方法的血管分割结果示意图。

具体实施方式：

为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。

实施例1：参见图1，一种基于深度序列信息融合的冠脉造影图像分割方法，所述方法包括以下步骤：

步骤1：获得冠脉血管造影图像序列；

步骤2：选取序列中某一帧为分割帧，即分割模型的目标是获得该帧对应的血管二值图像；

步骤3：对于序列中的所有图像进行灰度归一化；

步骤4：以分割帧为固定图像，对序列中的其他图像进行配准；

步骤5：对于标签进行处理，将前景血管像素标记为1，将背景像素标记为0；

步骤6：在图像序列中挑选与分割帧绝对平方误差最小的32张图像，并以原始序列中的顺序将这多张图像数据以通道合并的方式组成一个多通道张量；

步骤7：编写X型网络X-Net模型，该网络包括两个输入端与两个输出端，其中两个输入端的输入分别是分割帧和序列数据，两个输出端都是分割帧对应的二值分割标签，该网络主要包括了卷积层、池化层、激活函数、损失函数等等组件；

步骤8：根据步骤6中编写完成的卷积神经网络，对于分割帧端的输出采用交叉熵与dice损失进行优化，对于序列端的输出采用交叉熵损失函数进行优化；

步骤9：根据步骤7对于网络进行训练，至收敛则得到了冠脉造影图像分割网络模型。

所述步骤7中：X-Net模型架构，具体如下：

该模型分为两个U型网络；

其中一个U型网络以序列数据张量为输入，分割帧对应标签为输出监督，称为序列网络；另一个U型网络以分割帧数据为输入，分割帧对应标签为输出监督，称为分割网络；

两个U型网络通过瓶颈层特征融合模块相连，将序列网络的特征添加到分割网络中去，为单帧图像分割添加序列上下文信息。

X-Net模型架构细节如下：

序列网络中包含一个3D编码模块和一个2D解码模块；

分割网络中包含一个2D编码模块和一个2D解码模块，以及从编码模块到解码模块的跳跃连接；

特征融合模块定义如下，其包含张量乘操作、softmax函数、张量加法操作：

其中F_seg，F_seq，

分别表示分割网络和序列网络对应的特征张量及其转置，Softmax(·)代表softmax函数，×代表矩阵相乘。

所述的编码、解码模块细节：3D编码模块包含5个3D卷积模块和4个最大池化层，每个3D卷积模块由3D卷积层、归一化函数、激活函数组成；2D解码模块包含5个2D卷积模块和4个上采样层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成；2D解码模块包含5个2D卷积模块和4个最大池化层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成。

步骤3：对于序列中的所有图像进行灰度归一化，具体如下：

对于所有图像数据进行灰度归一化，灰度归一化公式为：

其中I(i，j)，N(i，j)表示原图像和归一化后图像像素(i,j)的灰度值，min，max分别表示原图像中最小灰度值和最大灰度值。

步骤7中，对于标签数据进行二值化；

随机挑选一组数据包括分割帧、配准后的序列数据、标签，输入到网络模型中；

得到模型的输出，针对分割网络和序列网络两个输出，都计算损失函数进行反向传播，判断模型是否收敛，如收敛，则保存模型，如未收敛，则继续重复随机挑选一组数据的步骤。

具体实施例：本发明所述的基于深度序列信息融合的冠脉造影图像分割方法，包括神经网络模型，训练流程以及测试流程。

参照图1，是本发明方法中的神经网络模型XNet的架构：

该网络呈现X型，下文简称为XNet。XNet主要包含了两个U型网络，在图1中以虚线框和实线框区分。虚线框内的U型网络包含编码路径和解码路径两个模块，其中编码路径为3D卷积模块，解码路径为2D卷积模块，其输入是经过配准后的序列图像数据，监督目标是分割帧对应标签，称为序列网络。实线框内的U型网络包括编码路径，解码路径，跳跃连接结构和特征混合模块，其中编码路径和解码路径为2D卷积模块，跳跃连接结构为特征拼接，称为分割网络。在图1的右端，详细展示了卷积模块与特征混合模块的结构，其中每个卷积模块包括两个卷积变换，每个卷积变换由卷积层、归一化层和激活函数层组成。特征混合模块的输入为两个U型网络瓶颈层的特征，模块可以通过数学定义：

其中F_seg，F_seq，

分别表示分割网络和序列网络对应的特征张量及其转置，Softmax(·)代表softmax函数，×代表矩阵相乘。

参照图2，是本发明方法中训练XNet的流程：

步骤1，获取冠脉血管造影图像序列；

步骤2，选取序列中某一帧为分割帧图像；

步骤3，对于所有图像数据进行灰度归一化，灰度归一化公式为：

其中I(i，j)，N(i，j)表示原图像和归一化后图像像素(i,j)的灰度值，min，max分别表示原图像中最小灰度值和最大灰度值；

步骤4，以分割帧图像作为固定图像，对于其对应的原始序列图像数据中的每一帧进行刚性配准；

步骤5，对于标签数据进行二值化；

步骤6，从配准后的图像中根据与固定图像的像素均方误差选取32张误差较小的图像，以通道的形式拼接为一个数据；

步骤7，随机挑选一组数据包括分割帧、配准后的序列数据、标签，输入到网络模型中；

步骤8，对于分割网络的输出采用交叉熵和dice损失进行优化，对序列网络的输出采用交叉熵进行优化；

步骤9，判断模型是否收敛，如收敛，则保存模型，如未收敛，则返回步骤7。

参照图3，是本发明方法中测试XNet的流程：

步骤1，获取测试数据，获得待分割的图像及其对应的原始序列数据；

步骤2，对于所有图像数据进行灰度归一化，灰度归一化公式为；

步骤3，以分割帧图像作为固定图像，对于其对应的原始序列图像数据中的每一帧进行刚性配准；

步骤4，从配准后的图像中根据与固定图像的像素均方误差选取32张误差较小的图像，以通道的形式拼接为一个数据；

步骤5，挑选一组数据包括分割帧、配准后的序列数据、标签，输入到已训练完成的网络模型中；

步骤6，得到分割模型的输出概率热图；

步骤7，针对步骤6中获得的概率热图，对热图进行二值化，则可得到分割帧对应的分割结果。

需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (6)

1.一种基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，所述方法包括以下步骤：

步骤1：获得冠脉血管造影图像序列；

步骤2：选取序列中某一帧为分割帧，即分割模型的目标是获得该帧对应的血管二值图像；

步骤3：对于序列中的所有图像进行灰度归一化；

步骤4：以分割帧为固定图像，对序列中的其他图像进行配准；

步骤5：对于标签进行处理，将前景血管像素标记为1，将背景像素标记为0；

步骤6：在图像序列中挑选与分割帧绝对平方误差最小的32张图像，并以原始序列中的顺序将这多张图像数据以通道合并的方式组成一个多通道张量；

步骤7：编写X型网络X-Net模型，该网络包括两个输入端与两个输出端，其中两个输入端的输入分别是分割帧和序列数据，两个输出端都是分割帧对应的二值分割标签；

步骤8：根据步骤7中编写完成的卷积神经网络，对于分割帧端的输出采用交叉熵与dice损失进行优化，对于序列端的输出采用交叉熵损失函数进行优化；

步骤9：根据步骤7对于网络进行训练至收敛则得到了冠脉造影图像分割网络模型。

2.根据权利要求1所述的基于深度序列信息融合的冠脉造影图像分割方法，

其特征在于，所述步骤7中：X-Net模型架构，具体如下：

该模型分为两个U型网络；

其中一个U型网络以序列数据张量为输入，分割帧对应标签为输出监督，称为序列网络；

另一个U型网络以分割帧数据为输入，分割帧对应标签为输出监督，称为分割网络；

两个U型网络通过瓶颈层特征融合模块相连，将序列网络的特征添加到分割网络中去，为单帧图像分割添加序列上下文信息。

3.根据权利要求2所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，

X-Net模型架构细节如下：

序列网络中包含一个3D编码模块和一个2D解码模块；

分割网络中包含一个2D编码模块和一个2D解码模块，以及从编码模块到解码模块的跳跃连接；

特征融合模块定义如下，其包含张量乘操作、softmax函数、张量加法操作：

其中F_seg，F_seq，

分别表示分割网络和序列网络对应的特征张量及其转置，Softmax(·)代表softmax函数，×代表矩阵相乘。

4.根据权利要求3所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，所述的编码、解码模块细节：

3D编码模块包含5个3D卷积模块和4个最大池化层，每个3D卷积模块由3D卷积层、归一化函数、激活函数组成；

2D解码模块包含5个2D卷积模块和4个上采样层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成；

2D解码模块包含5个2D卷积模块和4个最大池化层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成。

5.根据权利要求3所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，步骤3：对于序列中的所有图像进行灰度归一化，具体如下：

对于所有图像数据进行灰度归一化，灰度归一化公式为：

其中I(i，j)，N(i，j)表示原图像和归一化后图像像素(i,j)的灰度值，min，max分别表示原图像中最小灰度值和最大灰度值。

6.根据权利要求3所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，步骤7中，对于标签数据进行二值化；

随机挑选一组数据包括分割帧、配准后的序列数据、标签，输入到网络模型中；

得到模型的输出，针对分割网络和序列网络两个输出，都计算损失函数进行反向传播，判断模型是否收敛，如收敛，则保存模型，如未收敛，则继续重复随机挑选一组数据的步骤。

Images