CN115861132B - 一种血管图像校正方法、装置、介质及设备 - Google Patents

Abstract

本发明提供了一种血管图像校正方法、装置、介质及设备，该方法包括：获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心；基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量；基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期；基于心动周期和血管横截面的刚性运动模型，从运动偏移量中提取周期性变化的高频运动分量；利用高频运动分量对目标血管内超声图像序列进行运动伪影矫正。通过计算心动周期，以提取运动偏移量中周期性变化的高频运动分量进行运动伪影校正，使运动校正效果更具有鲁棒性，提升了校正效果。

Description

一种血管图像校正方法、装置、介质及设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种血管图像校正方法、装置、介质及设备。

背景技术

血管内超声是诊断心血管疾病最有效的成像方式之一，能对血管内部结构进行探测和成像，从而对血管内部的病变进行显示，对血管内超声所获得血管内超声(intravenous ultrasound，IVUS)图像的内膜和中膜进行分割可以辅助医生进行后续更精确和具体的诊断。

在IVUS图像采集过程中，超声探头首先被送到病变远端，之后由步进电机或者人工操作进行回撤，在回撤过程中可以获得一个由IVUS横截面图堆叠而成的序列，该序列沿着轴向进行剖开即可得到血管的纵剖面图。一个理想的血管纵剖面图应当能够反应血管在回撤方向上的基本结构和走向，但是在进行临床采集时，心脏收缩舒张、血流冲击、导管震颤等等复杂原因会造成导管与血管壁之间发生相对位移，因此在纵剖面图中会产生运动伪像，而这种运动伪像会对后续的血管三维重建或者管腔体积分析产生较大的干扰，所以需要尽可能对其进行矫正。

临床上常用的运动伪像矫正的方法大概分为基于ECG门控的方法、基于块匹配的方法、基于特征点配准的方法，基于ECG门控的方法丢弃了部分有效信息导致分辨率较低；基于块匹配的方法将图像拆分成小块，基于特征最强的块进行相似性搜寻，但是由于图像散斑噪声比较严重，且散斑噪声的相似性较高容易对结构特征进行干扰，鲁棒性低；基于特征点配准的方法用于序列时误差累积比较严重。因此，如何对IVUS图像进行精确校正成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种血管图像校正方法、装置、介质及设备，以克服现有技术中IVUS图像的运动校正方法鲁棒性差、准确度低的问题。

根据第一方面，本发明实施例还提供了一种血管图像校正方法，包括：

获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心；

基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量；

基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期；

基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量；

利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正。

可选地，所述运动偏移量包括：平移偏移量和旋转偏移量，所述基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量，包括：

基于相邻帧图像间对应管腔质心的位置，计算所述平移偏移量；

对相邻帧图像间对应管腔质心的位置坐标进行极坐标变换，得到相邻帧图像各自对应的极角；

计算相邻帧图像各自对应的极角的差值，得到所述旋转偏移量。

可选地，所述基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期，包括：

基于预设采样频率确定所述目标血管内超声图像序列中的初始比较区间；

提取所述初始比较区间内相邻帧图像的不相似度的起始峰值点；

从所述起始峰值点对应的帧图像开始，以最小峰间间隔进行周期性峰值检测，得到对应的峰值点序列；

基于所述峰值点序列中相邻峰值点的差值及预设正常心率范围计算心动周期。

可选地，所述基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量，包括：

基于所述心动周期分别计算低通滤波截止频率和高通滤波截止频率；

将所述运动偏移量变换到频域，并基于所述低通滤波截止频率进行低通滤波；

基于所述高通滤波截止频率从低通滤波后的频域信号中提取所述刚性运动模型中定义的运动分量；

将提取的运动分量变换到时域，得到周期性变化的高频运动分量。

可选地，所述高频运动分量包括：平移高频分量和旋转高频分量，所述利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正，包括：

基于所述平移高频分量对当前帧图像进行方向平移，得到第一帧图像，所述当前帧图像为所述目标血管内超声图像序列中除首帧图像之外的任意一帧图像；

基于所述旋转高频分量对所述第一帧图像进行方向旋转，得到运动伪影矫正后的当前帧图像。

可选地，所述获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，包括：

获取血管内超声图像样本集，并对所述血管内超声图像样本集中各血管内超声图像样本进行血管内膜和血管中膜的标记，生成对应的二维掩膜图像；

基于血管内超声图像采集过程中超声波的发射原理，将所述二维掩膜图像转换为一维距离向量，所述一维距离向量用于表征以图像中心为原点发射的射线上，图像中心到血管内膜距离和血管内膜到血管中膜的距离；

构建密集距离回归网络学习血管内超声图像与一维距离向量的映射关系，并基于一维距离向量中属于同一对象的元素间的相关性建立管腔区域、斑块区域及血管区域的联合损失函数；

利用所述血管内超声图像样本集及其对应的一维距离向量，以所述联合损失函数为目标，采用知识蒸馏的方式对所述密集距离回归网络进行训练，得到知识蒸馏之后的学生模型；

依次将目标血管内超声图像序列中的每个血管内超声图像输入知识蒸馏之后的学生模型，得到各血管内超声图像的目标一维距离向量；

基于各所述目标一维距离向量重建各血管内超声图像的血管内膜。

可选地，所述基于各所述目标一维距离向量重建各血管内超声图像的血管内膜，包括：

对当前目标一维距离向量的各个端点进行曲线拟合连接，得到当前血管内超声图像的血管内膜。

根据第二方面，本发明实施例还提供了一种血管图像校正装置，包括：

获取模块，用于获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心；

第一处理模块，用于基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量；

第二处理模块，用于基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期；

第三处理模块，用于基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量；

第四处理模块，用于利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正。

根据第三方面，本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者其任意一种可选实施方式中所述的方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者其任意一种可选实施方式中所述的方法。

本发明技术方案，具有如下优点：

本发明实施例提供的血管图像校正方法，通过利用相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量，并利用相邻帧图像的不相似度的峰值点，计算心动周期，以提取运动偏移量中周期性变化的高频运动分量对血管内超声图像序列进行运动伪影校正，使得运动校正效果更具有鲁棒性，提升了运行伪影的校正效果，有利于后续进行相关参数的测量以及医生的诊断。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种血管图像校正方法的流程图；

图2为本发明实施例的一种血管横截面刚性运动模型示意图；

图3为本发明实施例的血管轮廓识别与血管图像校正的工作过程示例图；

图4为本发明实施例的血管轮廓识别与血管图像校正系统的结构示意图；

图5为本发明实施例的一种血管图像校正装置的结构示意图；

图6为本发明实施例的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

临床上常用的IVUS图像分析方式大概分为人工标注方法、虚拟组织学成像技术以及基于数字图像处理的自动分割方法。人工勾画的方法对观察者经验依赖性高，耗时久，大大降低了诊断效率；虚拟组织学技术自动化程度高，但是严重依赖硬件采集设备，不具有通用性；基于数字图像处理的自动分割方法在不受硬件采集设备限制的情况下，能够实现半自动或者全自动的内膜和中膜提取，但是也存在着分割结果不够精确的问题，其中，基于数字图像处理的自动分割方法又包括传统分割方法与基于深度学习的方法，部分传统算法仍需要人工的参与并且易受到噪声、伪影与斑块等干扰导致鲁棒性较差，而基于深度学习的图像分割算法通过神经网络的训练进行学习，速度较快，且对于噪声有较强的鲁棒性。然而，目前大多数分割算法无法有效保持血管解剖结构的拓扑结构，具体情况包括但是不限于管腔与斑块的连通区域数量不唯一、斑块连通域未呈现闭合环状、管腔连通域内存在孔洞等等。这些错误的拓扑结构不符合医学上的先验知识，且不利于后续临床参数的准确测量也不利于医生的后续诊断过程。

在IVUS图像采集过程中，超声探头首先被送到病变远端，之后由步进电机或者人工操作进行回撤，在回撤过程中可以获得一个由IVUS横截面图堆叠而成的序列，该序列沿着轴向进行剖开即可得到血管的纵剖面图。一个理想的血管纵剖面图应当能够反应血管在回撤方向上的基本结构和走向，但是在进行临床采集时，心脏收缩舒张、血流冲击、导管震颤等等复杂原因会造成导管与血管壁之间发生相对位移，因此在纵剖面图中会产生运动伪像，而这种运动伪像会对后续的血管三维重建或者管腔体积分析产生较大的干扰，所以需要尽可能对其进行矫正。

临床上常用的运动伪像矫正的方法大概分为基于ECG门控的方法、基于块匹配的方法、基于特征点配准的方法，基于ECG门控的方法丢弃了部分有效信息导致分辨率较低；基于块匹配的方法将图像拆分成小块，基于特征最强的块进行相似性搜寻，但是由于图像散斑噪声比较严重，且散斑噪声的相似性较高容易对结构特征进行干扰，鲁棒性低；基于特征点配准的方法用于序列时误差累积比较严重。因此，如何对IVUS图像进行精确校正成为亟待解决的问题。

图1示出了本发明实施例提供的血管图像校正方法的流程图，如图1所示，该血管图像校正方法具体包括如下步骤：

步骤S201：获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心。

其中，血管内膜可通过血管轮廓识别的方式得到，具体包括如下步骤：

步骤S101：获取血管内超声图像样本集，并对血管内超声图像样本集中各血管内超声图像样本进行血管内膜和血管中膜的标记，生成对应的二维掩膜图像。

示例性地，本发明实施例以60MHz超声频率下采集的血管内超声图像为例，并通过手动标注生成二维掩膜图像，如由经验丰富的医生人工勾画血管内膜和中膜轮廓，并且对内膜区域填充白色，中膜区域填充灰色，背景区域填充黑色，得到二维掩膜图像。

步骤S102：基于血管内超声图像采集过程中超声波的发射原理，将二维掩膜图像转换为一维距离向量。

其中，一维距离向量用于表征以图像中心为原点发射的射线上，图像中心到血管内膜距离和血管内膜到血管中膜的距离。

具体地，通过对超声图像进行极坐标建模，将IVUS图像的二维掩膜表示为一维向量形式模拟IVUS图像采集过程中超声波的发射原理，以图像中心为原点，发射角度间隔均匀的n条射线，射线分别与内膜轮廓和中-外膜轮廓相交，得到2n个交点。在各条射线上，以图像中心到内膜轮廓交点的距离表示管腔区域，以内膜轮廓交点到中-外膜轮廓交点之间的距离表示斑块区域。

示例性地，可以将IVUS图像的二维掩膜图像转换为一维距离向量：

其中，表示一维距离向量，表示第条射线起点到内膜轮廓交点的欧式距离；表示第条射线与内膜轮廓交点到射线与中-外膜轮廓交点的欧式距离。

步骤S103：构建密集距离回归网络学习血管内超声图像与一维距离向量的映射关系，并基于一维距离向量中属于同一对象的元素间的相关性建立管腔区域、斑块区域及血管区域的联合损失函数。

具体地，可以通过将浅层注意力机制与ResNet网络相结合，如选择经过预训练的ResNet50骨架作为骨架网络结构，并通过添加回归模型引入浅层的注意力机制。

具体地，在一实施例中，上述步骤S103中基于一维距离向量中属于同一对象的元素间的相关性建立管腔区域、斑块区域及血管区域的联合损失函数，具体包括：基于一维距离向量中属于同一对象的元素间的相关性分别建立管腔区域的第一损失函数、斑块区域的第二损失函数以及血管区域的第三损失函数；对第一损失函数、第二损失函数及第三损失函数进行求和，得到联合损失函数。

具体地，考虑到一维距离向量中属于同一对象的元素之间的相关性，管腔区域的损失函数可以表示为：

其中，表示管腔区域的损失函数，表示建模时预设的射线数量，表示一维距离向量管腔区域的真值；表示一维距离向量管腔区域的预测值。

对于一维距离向量中的斑块区域来说，可能会出现同一射线下真值和预测值内表示斑块区域的元素值接近，但其对应的二维掩膜在该射线方向上实际并未相交的情况。针对这一情况，本发明实施例提供设置代表血管区域真值和预测值的一维距离向量辅助判断：

其中，表示第条射线对应血管区域真值；表示第条射线对应血管区域的预测值。

对于斑块区域真值与预测值的实际相交情况，制定如下判定原则：第条射线上，血管区域预测值距离与真值距离中的较小值，小于管腔区域预测值距离与真值距离中的较大值时，认为斑块区域在该射线方向上不相交，反之相交。据此，斑块区域损失函数设计如下：

并且，加入血管区域损失函数，以加快收敛速度：

最终，上述联合损失函数可表示为：

其中，表示联合损失函数，表示管腔区域的损失函数，表示斑块区域损失函数，表示血管区域损失函数。

步骤S104：利用血管内超声图像样本集及其对应的一维距离向量，以联合损失函数为目标，采用知识蒸馏的方式对密集距离回归网络进行训练，得到知识蒸馏之后的学生模型。

具体地，通过以密集距离回归网络为教师模型，以轻量化的残差网络作为学生模型，以最小化联合损失函数为知识蒸馏的蒸馏损失目标，利用血管内超声图像样本集及其对应的一维距离向量进行训练，将血管内超声图像与一维距离向量的映射关系的中间表示从教师模型迁移到学生模型，得到知识蒸馏之后的学生模型。

在实际应用中，在训练过程采用知识蒸馏的方式进行，为了尽可能保证知识蒸馏的效果，在选择教师模型和学生模型时，应采用结构相似的网络模型，如采用上述密集距离回归网络作为教师模型，采用轻量化的残差网络模型作为学生模型，以最小化知识蒸馏的蒸馏损失（即最小化联合损失函数）为目标，实现将医学图像分割模型中间表示从教师模型迁移到学生模型，从而在保证分割性能的前提下，大大减少模型的体量，从而提升实时分割的速度。

步骤S105：依次将目标血管内超声图像序列中的每个血管内超声图像输入知识蒸馏之后的学生模型，得到各血管内超声图像的目标一维距离向量。

具体地，使用知识蒸馏之后的学生模型对输入图像进行分割，使用随机翻转、随机旋转和离散小波分解进行数据扩增。将原图放大到512*512大小，再通过离散小波分解的手段对其进行处理，将其处理为一个尺寸为256*256，通道数为4的输入图像，每个通道分别对应离散小波处理结果的低频信息、垂直高频信息、水平高频信息和对角高频信息。

随机翻转和随即旋转的数据扩增方式仅在训练时进行，而离散小波分解的处理在训练和测试时均需进行，这一处理的根本目的是进行图像缩小的同时保留原始图像的所有信息，尤其是对网络学习具有积极影响的高频部分，保证IVUS图像中的信息得到充分利用。得到输出结果为回归预测所得的欧氏距离的向量（即目标一维距离向量），该欧式距离的向量用于后续的内膜和中膜重建。

步骤S106：基于各所述目标一维距离向量重建各血管内超声图像的血管内膜。

具体地，通过对目标一维距离向量的各个端点进行曲线拟合连接，得到待识别血管内超声图像中的血管内膜和血管中膜。示例性地，可根据建模中心（即图像中心）和射线数量，利用样条曲线对网络预测得到的一维距离向量进行连接，恢复得出内膜和中膜区域。

具体地，如图2所示，首先对血管横截面建立刚性运动模型。管腔质心能够较好地反应血管的整体运动情况，故使用管腔质心变化代表血管的刚性运动变化。管腔截面沿检查回撤方向的分布同时受到两部分因素影响：一是外部因素，即由心脏收缩和舒张导致的血管周期性运动；二是内部因素，即血管横截面本身存在的沿回撤方向的几何形状变化。相比于血管固有几何形状的变化，心脏周期性运动造成的血管与导管之间的运动具有更高的运动频率，故管腔轮廓的相对运动量可表示为：

其中，和表示相邻帧管腔轮廓质心平移偏移量，表示相邻帧管腔轮廓旋转角。下标表示由心脏周期性运动产生的高频运动分量，下标表示管腔形状变化的低频几何分量。锯齿状运动伪影的矫正本质上是矫正周期性运动分量造成的周期性变化的过程。通过建立刚性运动模型对平移分量和旋转分量进行表达，同时区分高频运动信息与低频运动信息。

进一步地，通过利用由学生模型回归并重建所得的内膜区域进行管腔质心的计算。示例性地，质心的计算借助几何矩的方式实现。假设尺寸为的第帧IVUS图像管腔分割二值图像在坐标点处的灰度值可表示为，则该图像的阶矩可以表示为以下形式：

第帧IVUS图像管腔质心坐标可使用0阶和1阶几何矩来计算：

步骤S202：基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量。

步骤S203：基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期。

具体地，可以依据心电信号脉冲特征在长度为L的序列的不相似度信号中利用峰值检测的方法寻找一定长度间隔不相似度的峰值，对峰值间隔去平均，再除以采样频率就可以得到心动周期。

步骤S204：基于心动周期和血管横截面的刚性运动模型，从运动偏移量中提取周期性变化的高频运动分量。

步骤S205：利用高频运动分量对目标血管内超声图像序列进行运动伪影矫正。

通过执行上述各个步骤，本发明实施例提供的血管图像校正方法，通过利用相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量，并利用相邻帧图像的不相似度的峰值点，计算心动周期，以提取运动偏移量中周期性变化的高频运动分量对血管内超声图像序列进行运动伪影校正，使得运动校正效果更具有鲁棒性，提升了运行伪影的校正效果，有利于后续进行相关参数的测量以及医生的诊断。

具体地，在一实施例中，运动偏移量包括：平移偏移量和旋转偏移量，上述步骤S202具体包括如下步骤：基于相邻帧图像间对应管腔质心的位置，计算平移偏移量；对相邻帧图像间对应管腔质心的位置坐标进行极坐标变换，得到相邻帧图像各自对应的极角；计算相邻帧图像各自对应的极角的差值，得到旋转偏移量。

进一步地，如图2所示，设IVUS图像序列第帧和第帧的管腔质心分别为和，相邻帧管腔轮廓的平移偏移量可表示为以下形式：

其中，和表示相邻帧管腔轮廓质心平移偏移量。

相邻帧管腔轮廓之间的相对旋转运动借助极坐标变换计算，极坐标变换公式：

其中，表示极坐标下的极径，表示极坐标下的极角。

则相邻帧管腔轮廓之间的旋转偏移量可表示为：

具体地，在一实施例中，上述的步骤S203具体包括如下步骤：

步骤S31：基于预设采样频率确定目标血管内超声图像序列中的初始比较区间。

步骤S32：提取初始比较区间内相邻帧图像的不相似度的起始峰值点；

步骤S33：从起始峰值点对应的帧图像开始，以最小峰间间隔进行周期性峰值检测，得到对应的峰值点序列；

步骤S34：基于峰值点序列中相邻峰值点的差值及预设正常心率范围计算心动周期。

在实际应用中，为了提高心动周期计算结果的准确性，通过设定阈值，当目标血管内超声图像序列的图像帧数超过所设定的阈值时，再开设进行心动周期的计算，该阈值可根据实际心动周期精度要求进行灵活的设置，本发明并不以此为限。

一个典型的心动周期包括收缩期和舒张期两部分。收缩期所占时间短，形似一个尖峰的脉冲，在这期间内，血管的运动变化最为剧烈。舒张期所占时间较长，血管运动相对平缓。根据这一特点，可通过相邻帧图像的不相似度获得心动周期的变化。在收缩期内，相邻帧图像的不相似度较高，舒张期内，相邻帧图像具有较低的不相似度。第帧图像和第帧图像之间的不相似度计算公式如下：

其中，表示第帧IVUS图像管腔分割二值图像在坐标点处的灰度值，表示第帧IVUS图像管腔分割二值图像在坐标点处的灰度值，表示第帧图像的灰度均值，表示第帧图像的灰度均值。

由于不相似度沿序列的分布具有稳定的类周期性特征，根据这一特征，采用峰值检测法获取实际周期间隔。峰值检测法以硬件采样帧率（常见为30帧/秒）作为初始比较区间，选取该区间最大值作为首个峰值。然后以该峰值为起点，以F帧为最小峰间间隔进行周期性峰值检测，获取不相似度序列的峰值点序列：

其中，表示第个峰值点，表示序列内的峰值点的数量。F帧的设定以成人的正常心率范围60-100次/分钟为参考，根据100次/分钟的心率上限设置为。心动周期计算公式如下：

其中，表示硬件采样帧率，表示第个峰值点，表示序列内的峰值点的数量，表示第-1个峰值点。

具体地，在一实施例中，上述的步骤S204具体包括如下步骤：基于心动周期分别计算低通滤波截止频率和高通滤波截止频率；将运动偏移量变换到频域，并基于低通滤波截止频率进行低通滤波；基于高通滤波截止频率从低通滤波后的频域信号中提取刚性运动模型中定义的运动分量；将提取的运动分量变换到时域，得到周期性变化的高频运动分量。

由于IVUS图像序列血管的几何形态相对于心脏周期性运动相对而言变化缓慢，因此可以通过滤波的方式将周期性运动分量和几何分量分离。运动分量主要由心脏的周期性运动产生，将以病人的心动周期作为滤波的参考截止频率。通过提取周期性变化的高频运动分量来指导运动补偿，具体包括平移运动分量和旋转运动分量的提取。

在本发明实施例中通过采用先去噪后提取的方式进行运动分量的提取。去噪通过低通滤波实现，可以一定程度上实现高频非周期性运动误差的影响。示例性地，滤波器均选择巴特沃斯滤波器，这种滤波器能使通带内额幅度响应最大限度的平坦。具体来说，运动平移运动分量的提取包括：首先使用快速傅里叶变换将质心偏移量变换到频域，再分别进行低通滤波去噪和高通滤波提取运动分量，最后通过快速傅里叶变换变换回时域。去噪和提取的截止频率借助系数和进行调整：

其中，表示去噪低通滤波截止频率，表示高通滤波截止频率。

具体地，在一实施例中，上述的步骤S205具体包括如下步骤：基于平移高频分量对当前帧图像进行方向平移，得到第一帧图像，当前帧图像为目标血管内超声图像序列中除首帧图像之外的任意一帧图像；基于旋转高频分量对第一帧图像进行方向旋转，得到运动伪影矫正后的当前帧图像。

具体地，通过利用上述步骤得到的平移高频分量和旋转高频分量指导每一帧的运动补偿。可通过对每一帧图像进行平移和旋转的逆变换来实现心脏周期性运动分量的运动矫正。在实际应用中，除IVUS序列首张图像无需矫正外，对后续每张图像均采用先反向平移，再反向旋转的矫正策略：

其中，表示矫正后的像素坐标，表示矫正前的像素坐标，表示第张图像的旋转高频分量，表示第张图像的平移高频分量。

示例性地，本发明实施例提供的血管轮廓识别及血管图像校正的具体工作过程如图3所示。通过在在血管内膜和中膜分割的部分，本发明使用极坐标建模和密集距离回归网络保证了分割结果拓扑结构符合先验知识，从而有利于后续进行相关参数的测量以及医生的诊断；在运动矫正部分，本发明使用提取高频信息的方式对于高频运动分量进行提取，使得运动矫正效果更具有鲁棒性；同时，为了兼顾分割结果的准确性与运动矫正的实时性，引入知识蒸馏的方式利用密集距离回归网络作为教师模型，将知识传递给轻量级的学生模型，使得性能优良但是较为庞大的网络被压缩，使得在保证分割效果准确性的前提下，减少计算成本，提升算法整体运行速度。

基于上述方法实施例，可以构建血管轮廓识别及血管图像校正系统，如图4所示，该系统包括以下功能模块：

图像加载模块：用于读取待分析的IVUS图像序列，并将读入的IVUS图像进行统一分辨率与统一灰度值的预处理操作，获得预处理结果。

具体的，本实施例中的分辨率大小和灰度值范围与上述方法实施例中的对应参数设定相同，分辨率大小为512*512，灰度值范围为[0,1]。

自动分割模块，用于通过一种训练好的IVUS分割网络模型同时获得预处理结果的内膜和中-外膜区域分割结果。

对应的，自动分割模块中，训练好的IVUS分割网络模型为上述方法实施例中由密集距离回归网络通过知识蒸馏所得的学生网络。

后处理模块：用于对管腔与血管分割结果进行后处理与轮廓提取。

参数测量模块：用于管腔面积、血管面积等关键临床参数测量。

运动矫正模块，用于实现实时运动伪像矫正算法，并生成矫正后的纵剖面图。

对应的，运动矫正包括管腔分割、管腔质心提取、运动偏移量计算、心动周期计算、运动分量提取、运动伪影矫正等规程。

更新与显示模块：用于实时显示加载进来的横截面图以及经过实时矫正的血管纵剖面图。在关键临床参数获取阶段，还负责当前分割结果的显示以及关键临床参数的显示。

显示控制模块：包括纵剖面角度选择与横截面选择控制，用于操作者控制选择特定位置的横截面与特定角度的纵剖面图像进行观察。

通过对血管内超声图像进行极坐标下的建模，并运用密集距离回归的网络模型进行欧氏距离和管腔质心位置的预测。在网络的训练过程中使用知识蒸馏的方式，以密集距离回归网络作为教师模型，轻量级的压缩网络作为学生模型，实现二者之间的知识转移。之后利用学生模型对质心提取的结果进行运动矫正，使得在保证分割效果准确性的前提下，减少计算成本，提升算法整体运行速度。

图5示出了本发明提供的血管图像校正装置的结构示意图，如图5所示，该血管图像校正装置具体包括：

获取模块201，用于获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心。详细内容参见上述方法实施例中步骤S201的相关描述。

第一处理模块202，用于基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量。详细内容参见上述方法实施例中步骤S202的相关描述。

第二处理模块203，用于基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期。详细内容参见上述方法实施例中步骤S203的相关描述。

第三处理模块204，用于基于心动周期和血管横截面的刚性运动模型，从运动偏移量中提取周期性变化的高频运动分量。详细内容参见上述方法实施例中步骤S204的相关描述。

第四处理模块205，用于利用高频运动分量对目标血管内超声图像序列进行运动伪影矫正。详细内容参见上述方法实施例中步骤S205的相关描述。

本发明实施例提供的血管图像校正装置，用于执行上述实施例提供的血管图像校正方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。

通过上述各个组成部分的协同合作，本发明实施例提供的血管图像校正装置，通过利用相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量，并利用相邻帧图像的不相似度的峰值点，计算心动周期，以提取运动偏移量中周期性变化的高频运动分量对血管内超声图像序列进行运动伪影校正，使得运动校正效果更具有鲁棒性，提升了运行伪影的校正效果，有利于后续进行相关参数的测量以及医生的诊断。

图6示出了本发明实施例提供的电子设备的结构图，如图6所示，该电子设备包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器901可以为中央处理器（Central Processing Unit，CPU）。处理器901还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种血管图像校正方法，其特征在于，包括：

获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心；

基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量；

基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期；

基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量；

利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正；

所述获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，包括：

获取血管内超声图像样本集，并对所述血管内超声图像样本集中各血管内超声图像样本进行血管内膜和血管中膜的标记，生成对应的二维掩膜图像；

基于血管内超声图像采集过程中超声波的发射原理，将所述二维掩膜图像转换为一维距离向量，所述一维距离向量用于表征以图像中心为原点发射的射线上，图像中心到血管内膜距离和血管内膜到血管中膜的距离；

构建密集距离回归网络学习血管内超声图像与一维距离向量的映射关系，并基于一维距离向量中属于同一对象的元素间的相关性建立管腔区域、斑块区域及血管区域的联合损失函数；

利用所述血管内超声图像样本集及其对应的一维距离向量，以所述联合损失函数为目标，采用知识蒸馏的方式对所述密集距离回归网络进行训练，得到知识蒸馏之后的学生模型；

依次将目标血管内超声图像序列中的每个血管内超声图像输入知识蒸馏之后的学生模型，得到各血管内超声图像的目标一维距离向量；

基于各所述目标一维距离向量重建各血管内超声图像的血管内膜。

2.根据权利要求1所述的方法，其特征在于，所述运动偏移量包括：平移偏移量和旋转偏移量，所述基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量，包括：

基于相邻帧图像间对应管腔质心的位置，计算所述平移偏移量；

对相邻帧图像间对应管腔质心的位置坐标进行极坐标变换，得到相邻帧图像各自对应的极角；

计算相邻帧图像各自对应的极角的差值，得到所述旋转偏移量。

3.根据权利要求1所述的方法，其特征在于，所述基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期，包括：

基于预设采样频率确定所述目标血管内超声图像序列中的初始比较区间；

提取所述初始比较区间内相邻帧图像的不相似度的起始峰值点；

从所述起始峰值点对应的帧图像开始，以最小峰间间隔进行周期性峰值检测，得到对应的峰值点序列；

基于所述峰值点序列中相邻峰值点的差值及预设正常心率范围计算心动周期。

4.根据权利要求1所述的方法，其特征在于，所述基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量，包括：

基于所述心动周期分别计算低通滤波截止频率和高通滤波截止频率；

将所述运动偏移量变换到频域，并基于所述低通滤波截止频率进行低通滤波；

基于所述高通滤波截止频率从低通滤波后的频域信号中提取所述刚性运动模型中定义的运动分量；

将提取的运动分量变换到时域，得到周期性变化的高频运动分量。

5.根据权利要求1所述的方法，其特征在于，所述高频运动分量包括：平移高频分量和旋转高频分量，所述利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正，包括：

基于所述平移高频分量对当前帧图像进行方向平移，得到第一帧图像，所述当前帧图像为所述目标血管内超声图像序列中除首帧图像之外的任意一帧图像；

基于所述旋转高频分量对所述第一帧图像进行方向旋转，得到运动伪影矫正后的当前帧图像。

6.根据权利要求1所述的方法，其特征在于，所述基于各所述目标一维距离向量重建各血管内超声图像的血管内膜，包括：

对当前目标一维距离向量的各个端点进行曲线拟合连接，得到当前血管内超声图像的血管内膜。

7.一种血管图像校正装置，其特征在于，包括：

获取模块，用于获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，并提取各个血管内膜对应的管腔质心；所述获取目标血管内超声图像序列中的每个血管内超声图像对应的血管内膜，包括：获取血管内超声图像样本集，并对所述血管内超声图像样本集中各血管内超声图像样本进行血管内膜和血管中膜的标记，生成对应的二维掩膜图像；基于血管内超声图像采集过程中超声波的发射原理，将所述二维掩膜图像转换为一维距离向量，所述一维距离向量用于表征以图像中心为原点发射的射线上，图像中心到血管内膜距离和血管内膜到血管中膜的距离；构建密集距离回归网络学习血管内超声图像与一维距离向量的映射关系，并基于一维距离向量中属于同一对象的元素间的相关性建立管腔区域、斑块区域及血管区域的联合损失函数；利用所述血管内超声图像样本集及其对应的一维距离向量，以所述联合损失函数为目标，采用知识蒸馏的方式对所述密集距离回归网络进行训练，得到知识蒸馏之后的学生模型；依次将目标血管内超声图像序列中的每个血管内超声图像输入知识蒸馏之后的学生模型，得到各血管内超声图像的目标一维距离向量；基于各所述目标一维距离向量重建各血管内超声图像的血管内膜；

第一处理模块，用于基于目标血管内超声图像序列中相邻帧图像间对应管腔质心的位置，计算相邻帧图像的管腔轮廓之间的运动偏移量；

第二处理模块，用于基于目标血管内超声图像序列中相邻帧图像的不相似度的峰值点，计算心动周期；

第三处理模块，用于基于所述心动周期和血管横截面的刚性运动模型，从所述运动偏移量中提取周期性变化的高频运动分量；

第四处理模块，用于利用所述高频运动分量对所述目标血管内超声图像序列进行运动伪影矫正。

8.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6任一项所述的方法。

Images