CN110287956A - 血管中心线自动匹配方法及装置 - Google Patents

Abstract

本发明实施例提供一种血管中心线自动匹配方法及装置，利用卷积神经网络提取相邻两帧原始造影图像中的血管图像，再利用非极大值抑制算法和断裂修复算法获取每个血管图像中的血管中心线，并基于半径和距离约束利用多层次特征匹配算法获得两条血管中心线上的所有关键点之间的匹配关系，根据所有关键点之间的匹配关系获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得两条血管中心线的匹配结果。该方法及装置能够准确获得两条血管中心线的匹配结果，进而能够有效获取增长的血管片段，有利于对造影剂流速进行评估，对于辅助冠心病的影像导航诊断和介入治疗具有重要意义。

Description

血管中心线自动匹配方法及装置

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种血管中心线自动匹配方法及装置。

背景技术

冠心病严重地威胁着人类的身体健康。X射线血管造影技术因其较高的成像分辨率和较快的成像速度一直被作为冠心病诊断和介入治疗的金标准。而造影剂灌注阶段存在血管增长现象，提取增长的血管片段有助于对造影剂流速进行估计，而增长片段提取过程需建立在相邻帧血管匹配的基础之上，而相邻帧血管匹配的关键在于相邻帧血管中心线的匹配。

有鉴于此，亟需提供一种血管中心线自动匹配方法及装置。

发明内容

本发明实施例为了提取造影剂灌注阶段增长的血管片段，提供一种血管中心线自动匹配方法及装置。

第一方面，本发明实施例提供一种血管中心线自动匹配方法，包括：

利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数；

利用非极大值抑制算法和断裂修复算法获取所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；

利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据所述第一匹配关系获得所述第一血管中心线和所述第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

根据所述第二匹配关系在所述第一血管中心线和所述第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得所述第一血管中心线和所述第二血管中心线的匹配结果。

第二方面，本发明实施例提供一种血管中心线自动匹配装置，包括：

血管图像提取模块，用于利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数；

血管中心线获取模块，用于利用非极大值抑制算法和断裂修复算法获取所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；

关键点匹配模块，用于利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据所述第一匹配关系获得所述第一血管中心线和所述第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

血管中心线匹配模块，用于根据所述第二匹配关系在所述第一血管中心线和所述第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得所述第一血管中心线和所述第二血管中心线的匹配结果。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的血管中心线自动匹配方法及装置，利用卷积神经网络提取相邻两帧原始造影图像中的血管图像，再利用非极大值抑制算法和断裂修复算法获取每个血管图像中的血管中心线，并基于半径和距离约束利用多层次特征匹配算法获得两条血管中心线上的所有关键点之间的匹配关系，根据所有关键点之间的匹配关系获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得两条血管中心线的匹配结果。该方法及装置能够准确获得两条血管中心线的匹配结果，进而能够有效获取增长的血管片段，有利于对造影剂流速进行评估，对于辅助冠心病的影像导航诊断和介入治疗具有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的血管中心线自动匹配方法的流程示意图；

图2为本发明实施例提供的血管中心线自动匹配装置的结构示意图；

图3为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的血管中心线自动匹配方法的流程示意图，如图1所示，本发明实施例提供一种血管中心线自动匹配方法，包括：

S1，利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数；

具体地，获取相邻两帧原始造影图像，分别记为第t帧原始造影图像和第t+1帧原始造影图像，其中，t为不小于1的整数。利用卷积神经网络提取第t帧原始造影图像中的血管图像，记为第一血管图像；并利用卷积神经网络获取第t+1帧原始造影图像中的血管图像，记为第二血管图像。可以理解的是，本发明实施例中的卷积神经网络是预先训练好的，具体地，首先获取多个原始造影图像样本，将每个原始造影图像样本中的血管图像和背景图像分别作为正样本和负样本，由此可获得多个正负样本，再利用多个正负样本对卷积神经网络进行训练，训练好的卷积神经网络即可识别出第t帧原始造影图像和第t+1帧原始造影图像中的血管图像，进而可获得第一血管图像和第二血管图像。其中，卷积神经网络的网络结构可以根据实际需求进行设置，此处不做具体限定。

S2，利用非极大值抑制算法和断裂修复算法获取第一血管图像中的血管中心线和第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；

具体地，在获得第一血管图像和第二血管图像的基础上，利用非极大值抑制算法获取第一血管图像中的初始血管中心线，再利用断裂修复算法对第一血管图像中的初始血管中心线进行修复，获得第一血管图像中的血管中心线，记为第一血管中心线。与此同时，利用非极大值抑制算法获取第二血管图像中的初始血管中心线，再利用断裂修复算法对第二血管图像中的初始血管中心线进行修复，获得第二血管图像中的血管中心线，记为第二血管中心线。

需要说明的是，非极大值抑制算法，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。在利用非极大值抑制算法获取某个血管图像中的初始血管中心线的过程中，可以先将该血管图像切割成多个的圆形血管圈，利用非极大值抑制算法获取每个圆形血管圈的中心点，将所有圆形血管圈的中心点进行连接，即可形成初始血管中心线。由于初始血管中心线上可能存在断裂的现象，故而需再利用断裂修复算法对初始血管中心线进行修复，获得完整的血管中心线。其中，断裂修复算法的具体类型可以根据实际需求进行设置，此处不做具体限定。

S3，利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

具体地，将第t帧原始造影图像进行网格划分，获取第t帧原始造影图像中的所有网格点；同时将第t+1帧原始造影图像进行网格划分，获取第t+1帧原始造影图像中的所有网格点。在基础上，对于第t帧原始造影图像中的每个网格点，利用多层次特征匹配算法(DeepMatching)在第t+1帧原始造影图像中获取与其匹配的网格点，由此即可获得第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系。

进一步地，获取第一血管中心线上的所有关键点。需要说明的是，血管中心线上的关键点包括位于血管中心线两端的首尾点和位于首尾点之间的所有分叉点。在此基础上，对于任意一个关键点，在该关键点的八邻域内获取与该关键点临近的多个网格点，再根据多个网格点的匹配关系获得该关键点的局部透射投影关系，根据局部透射投影关系在第二血管图像中获取与该关键点匹配的像素点，若该像素点不处于第二血管中心线上，则基于半径和距离约束对该像素点进行校正，在第二血管中心线上获得与该关键点匹配的像素点。因此，对于第一血管中心线上的每个关键点，均可在第二血管中心线上获得与其匹配的关键点，由此可获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，将该匹配关系作为第二匹配关系。

S4，根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

具体地，在上述技术方案的基础上，获取第一血管中心线和第二血管中心线上的所有血管段，再根据第二匹配关系从第一血管中心线和第二血管中心线上的所有血管段中获取所有待匹配的血管段对。可以理解的是，每个待匹配的血管段对包括两个血管段，其中一个血管段是属于第一血管中心线上的血管段，另一个血管段是属于第二血管中心线上的血管段。在此基础上，采用动态时间规整算法(DTW)计算每个待匹配的血管段对的匹配结果，具体地，对于每个待匹配血管段对中的每个血管段，提取每个血管段上的每个像素点的深度特征，获得每个血管段对应的特征向量，再采用动态时间规整算法计算每个待匹配血管段对中两个血管段对应的特征向量之间的相似度，即可获得每个待匹配血管段对的匹配结果。最终，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

需要说明的是，在获得第一血管中心线和第二血管中心线的匹配结果之后，即可根据第一血管中心线和第二血管中心线的匹配结果获得第二血管中心线相较于第一血管中心线增长的中心线，将增长的中心线还原形成血管，即可获得增长的血管片段。所获得的增长的血管片段有利于对造影剂流速进行评估，对于辅助冠心病的影像导航诊断和介入治疗具有重要意义。

本发明实施例提供的血管中心线自动匹配方法，利用卷积神经网络提取相邻两帧原始造影图像中的血管图像，再利用非极大值抑制算法和断裂修复算法获取每个血管图像中的血管中心线，并基于半径和距离约束利用多层次特征匹配算法获得两条血管中心线上的所有关键点之间的匹配关系，根据所有关键点之间的匹配关系获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得两条血管中心线的匹配结果。该方法能够准确获得两条血管中心线的匹配结果，进而能够有效获取增长的血管片段，有利于对造影剂流速进行评估，对于辅助冠心病的影像导航诊断和介入治疗具有重要意义。

基于上述任一实施例，提供一种血管中心线自动匹配方法，利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，之前还包括：利用IFC-RPCA算法分别对第t帧原始造影图像和第t+1帧原始造影图像进行减影处理，获得第t帧原始造影图像对应的减影图像和第t+1帧原始造影图像对应的减影图像；将第t帧原始造影图像和第t帧原始造影图像对应的减影图像进行线性叠加获得第t帧原始造影图像对应的增强图像，作为第一增强图像，将第t+1帧原始造影图像和第t+1帧原始造影图像对应的减影图像进行线性叠加获得第t+1帧原始造影图像对应的增强图像，作为第二增强图像；相应地，利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，具体为：利用卷积神经网络提取第一增强图像中的血管图像和第二增强图像中的血管图像。

需要说明的是，IFC-RPCA算法是一种现有的减影算法，通过IFC-RPCA算法对原始造影图像进行减影处理之后，可消除原始造影图像中除了血管图像之外的背景图像。也就是说，减影处理所获得的减影图像中不存在血管图像之外的背景图像。此外，将减影图像和原始造影图像进行线性叠加之后，所获得的增强图像中血管图像相较于背景图像得到了有效增强，有利于利用卷积神经网络从增强图像中准确提取出血管图像。

基于上述任一实施例，提供一种血管中心线自动匹配方法，利用非极大值抑制算法和断裂修复算法获取第一血管图像中的血管中心线和第二血管图像中的血管中心线，具体为：利用非极大值抑制算法获取第一血管图像中的初始血管中心线和第二血管图像中的初始血管中心线；利用断裂修复算法对第一血管图像中的初始血管中心和第二血管图像中的初始血管中心线进行修复，获得第一血管图像中的血管中心线和第二血管图像中的血管中心线。

具体地，利用非极大值抑制算法获取第一血管图像中的初始血管中心线，再利用断裂修复算法对第一血管图像中的初始血管中心线进行修复，获得第一血管图像中的血管中心线。与此同时，利用非极大值抑制算法获取第二血管图像中的初始血管中心线，再利用断裂修复算法对第二血管图像中的初始血管中心线进行修复，获得第二血管图像中的血管中心线。需要说明的是，非极大值抑制算法，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。在利用非极大值抑制算法获取某个血管图像中的初始血管中心线的过程中，可以先将该血管图像切割成多个的圆形血管圈，利用非极大值抑制算法获取每个圆形血管圈的中心点，将所有圆形血管圈的中心点进行连接，即可形成初始血管中心线。由于初始血管中心线上可能存在断裂的现象，故而需再利用断裂修复算法对初始血管中心线进行修复，获得完整的血管中心线。其中，断裂修复算法的具体类型可以根据实际需求进行设置，此处不做具体限定。

基于上述任一实施例，提供一种血管中心线自动匹配方法，利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，具体为：采用Triplet网络获取第t帧原始造影图像的深度特征和第t+1帧原始造影图像的深度特征，分别记为第一深度特征和第二深度特征；利用多层次特征匹配算法根据第一深度特征和第二深度特征获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系。

具体地，本发明实施例中，利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，具体实现过程如下:

首先，采用Triplet网络获取第t帧原始造影图像的深度特征和第t+1帧原始造影图像的深度特征，分别记为第一深度特征和第二深度特征。其中，Triplet网络是一种深度二值网络，它能够将同类样本的距离缩小，不同样本的距离拉大，从而增强特征的判别性能。然后，将第t帧原始造影图像进行网格划分，获取第t帧原始造影图像中的所有网格点；同时将第t+1帧原始造影图像进行网格划分，获取第t+1帧原始造影图像中的所有网格点。在基础上，对于第t帧原始造影图像中的每个网格点，利用多层次特征匹配算法在第t+1帧原始造影图像中获取与其匹配的网格点。具体地，利用多层次特征匹配算法根据第t帧原始造影图像中的每个网格点的第一深度特征和第t+1帧原始造影图像中每个网格点的第二深度特征，获得第t帧原始造影图像中的每个网格点与第t+1帧原始造影图像中每个网格点之间的匹配关系。由此，即可获得第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系。

基于上述任一实施例，提供一种血管中心线自动匹配方法，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，具体为：获取第一血管中心线上的关键点，作为第一关键点，对于任意一个第一关键点，获取与第一关键点邻近的网格点，作为目标网格点；从第一匹配关系中获取所有目标网格点的匹配关系，根据所有目标网格点的匹配关系获取第一关键点的局部透射投影关系；根据局部透射投影关系在第二血管图像中获取与第一关键点匹配的像素点，作为初始匹配点；若初始匹配点不处于第二血管中心线上，则基于半径和距离约束对初始匹配点进行校正，获得处于第二血管中心线上的校正点，作为目标匹配点。

具体地，本发明实施例中，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，具体实现过程如下：

首先，获取第一血管中心线上的关键点，作为第一关键点。需要说明的是，血管中心线上的关键点包括位于血管中心线两端的首尾点和位于首尾点之间的所有分叉点。对于任意一个第一关键点，获取与第一关键点邻近的网格点，作为目标网格点。其中，与第一关键点临近的网格点指的是出现在第一关键点的八邻域内的网格点，因此，对于每个第一关键点而言，一般存在多个对应的目标网格点。在此基础上，由于第一匹配关系中包含了所有网格点的匹配关系，因此可以从第一匹配关系中获取所有目标网格点的匹配关系，再根据所有目标网格点的匹配关系获取第一关键点的局部透射投影关系，即，结合所有目标网格点的匹配关系推算出第一关键点的局部透射投影关系。可以理解的是，某个第一关键点的局部透射投影关系指的是该第一关键点与其匹配点之间的映射关系。

进一步地，根据局部透射投影关系在第二血管图像中获取与第一关键点匹配的像素点，作为初始匹配点。再判断初始匹配点是否处于第二血管中心线上，若初始匹配点不处于第二血管中心线上，则基于半径和距离约束对初始匹配点进行校正，获得处于第二血管中心线上的校正点，作为目标匹配点。可以理解的是，目标匹配点位于第二血管中心线上，且与第一关键点匹配；同时，目标匹配点所在血管段的半径满足半径约束条件，目标匹配点与初始匹配点之间的距离满足距离约束条件。

通过上述方法步骤，对于第一血管中心线上的每个第一关键点，均可在第二血管中心线上获得与其匹配的关键点，由此可获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系。

基于上述任一实施例，提供一种血管中心线自动匹配方法，根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，具体为：断开第一血管中心线和第二血管中心线上的所有交叉点，获得第一血管中心线和第二血管中心线上的所有血管段，将第一血管中心线和第二血管中心线上的每个血管段分别作为第一血管段和第二血管段；将任意一个第一血管段作为待匹配血管段，获取与待匹配血管段的端点临接的关键点，作为待匹配关键点，根据第二匹配关系在第二血管中心线上获取与待匹配关键点匹配的关键点，作为匹配关键点；对于任意一个第二血管段，若第二血管段的首尾点与匹配关键点临接，则将第二血管段与待匹配血管段的组合作为待匹配的血管段对。

具体地，本发明实施例中，根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，具体实现过程如下：

首先，断开第一血管中心线上的所有交叉点，获得第一血管中心线上的所有血管段，将第一血管中心线上的每个血管段作为第一血管段。与此同时，断开第二血管中心线上的所有交叉点，获得第二血管中心线上的所有血管段，将第二血管中心线上的每个血管段作为第二血管段。

进一步地，将任意一个第一血管段作为待匹配血管段，获取与待匹配血管段的端点临接的关键点，作为待匹配关键点。其中，待匹配血管段的端点指的是待匹配血管段的首尾点，由于每个待匹配血管段存在两个端点，且每个端点对应一个待匹配关键点，因此每个待匹配血管段对应两个待匹配关键点。在此基础上，由于第二匹配关系中包含了所有关键点的匹配关系，因此可以根据第二匹配关系在第二血管中心线上获取与每个待匹配关键点匹配的关键点，作为匹配关键点。由此，即可在第二血管中心线上获得两个匹配关键点。

最后，对于任意一个第二血管段，若第二血管段的首尾点与上述两个匹配关键点临接，则将第二血管段与待匹配血管段的组合作为待匹配的血管段对。可以理解的是，每个待匹配的血管段对包括两个血管段，其中一个血管段是属于第一血管中心线上的血管段，另一个血管段是属于第二血管中心线上的血管段。

基于上述任一实施例，提供一种血管中心线自动匹配方法，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果，之后还包括：根据第一血管中心线和第二血管中心线的匹配结果获得第二血管中心线相较于第一血管中心线增长的部分，作为增长中心线；将增长中心线还原形成血管，获得增长的血管片段。

具体地，在获得第一血管中心线和第二血管中心线的匹配结果之后，根据第一血管中心线和第二血管中心线的匹配结果即可获得第二血管中心线相较于第一血管中心线增长的部分，将该增长的部分作为增长中心线。将增长中心线按照方向和半径还原形成血管，所形成的的血管即为第二血管相较于第一血管增长的血管片段，也即为相邻两帧原始造影图像中增长的血管片段。

图2为本发明实施例提供的血管中心线自动匹配装置的结构示意图，如图2所示，该装置包括：血管图像提取模块21、血管中心线获取模块22、关键点匹配模块23和血管中心线匹配模块24，其中：

血管图像提取模块21用于利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数。

具体地，血管图像提取模块21获取相邻两帧原始造影图像，分别记为第t帧原始造影图像和第t+1帧原始造影图像，其中，t为不小于1的整数。利用卷积神经网络提取第t帧原始造影图像中的血管图像，记为第一血管图像；并利用卷积神经网络获取第t+1帧原始造影图像中的血管图像，记为第二血管图像。可以理解的是，本发明实施例中的卷积神经网络是预先训练好的，具体地，首先获取多个原始造影图像样本，将每个原始造影图像样本中的血管图像和背景图像分别作为正样本和负样本，由此可获得多个正负样本，再利用多个正负样本对卷积神经网络进行训练，训练好的卷积神经网络即可识别出第t帧原始造影图像和第t+1帧原始造影图像中的血管图像，进而可获得第一血管图像和第二血管图像。其中，卷积神经网络的网络结构可以根据实际需求进行设置，此处不做具体限定。

血管中心线获取模块22用于利用非极大值抑制算法和断裂修复算法获取第一血管图像中的血管中心线和第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线。

具体地，在获得第一血管图像和第二血管图像的基础上，血管中心线获取模块22利用非极大值抑制算法获取第一血管图像中的初始血管中心线，再利用断裂修复算法对第一血管图像中的初始血管中心线进行修复，获得第一血管图像中的血管中心线，记为第一血管中心线。与此同时，血管中心线获取模块22利用非极大值抑制算法获取第二血管图像中的初始血管中心线，再利用断裂修复算法对第二血管图像中的初始血管中心线进行修复，获得第二血管图像中的血管中心线，记为第二血管中心线。

需要说明的是，非极大值抑制算法，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。在利用非极大值抑制算法获取某个血管图像中的初始血管中心线的过程中，可以先将该血管图像切割成多个的圆形血管圈，利用非极大值抑制算法获取每个圆形血管圈的中心点，将所有圆形血管圈的中心点进行连接，即可形成初始血管中心线。由于初始血管中心线上可能存在断裂的现象，故而需再利用断裂修复算法对初始血管中心线进行修复，获得完整的血管中心线。其中，断裂修复算法的具体类型可以根据实际需求进行设置，此处不做具体限定。

关键点匹配模块23用于利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

具体地，关键点匹配模块23将第t帧原始造影图像进行网格划分，获取第t帧原始造影图像中的所有网格点；同时将第t+1帧原始造影图像进行网格划分，获取第t+1帧原始造影图像中的所有网格点。在基础上，对于第t帧原始造影图像中的每个网格点，关键点匹配模块23利用多层次特征匹配算法在第t+1帧原始造影图像中获取与其匹配的网格点，由此即可获得第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系。

进一步地，关键点匹配模块23获取第一血管中心线上的所有关键点。需要说明的是，血管中心线上的关键点包括位于血管中心线两端的首尾点和位于首尾点之间的所有分叉点。在此基础上，对于任意一个关键点，在该关键点的八邻域内获取与该关键点临近的多个网格点，再根据多个网格点的匹配关系获得该关键点的局部透射投影关系，根据局部透射投影关系在第二血管图像中获取与该关键点匹配的像素点，若该像素点不处于第二血管中心线上，则基于半径和距离约束对该像素点进行校正，在第二血管中心线上获得与该关键点匹配的像素点。因此，对于第一血管中心线上的每个关键点，均可在第二血管中心线上获得与其匹配的关键点，由此可获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，将该匹配关系作为第二匹配关系。

血管中心线匹配模块24用于根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

具体地，在上述技术方案的基础上，血管中心线匹配模块24获取第一血管中心线和第二血管中心线上的所有血管段，再根据第二匹配关系从第一血管中心线和第二血管中心线上的所有血管段中获取所有待匹配的血管段对。可以理解的是，每个待匹配的血管段对包括两个血管段，其中一个血管段是属于第一血管中心线上的血管段，另一个血管段是属于第二血管中心线上的血管段。在此基础上，血管中心线匹配模块24采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，具体地，对于每个待匹配血管段对中的每个血管段，提取每个血管段上的每个像素点的深度特征，获得每个血管段对应的特征向量，再采用动态时间规整算法计算每个待匹配血管段对中两个血管段对应的特征向量之间的相似度，即可获得每个待匹配血管段对的匹配结果。最终，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

本发明实施例提供的血管中心线自动匹配装置，具体执行上述各方法实施例流程，具体请详见上述各方法实施例的内容，此处不再赘述。

本发明实施例提供的血管中心线自动匹配装置，利用卷积神经网络提取相邻两帧原始造影图像中的血管图像，再利用非极大值抑制算法和断裂修复算法获取每个血管图像中的血管中心线，并基于半径和距离约束利用多层次特征匹配算法获得两条血管中心线上的所有关键点之间的匹配关系，根据所有关键点之间的匹配关系获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得两条血管中心线的匹配结果。该装置能够准确获得两条血管中心线的匹配结果，进而能够有效获取增长的血管片段，有利于对造影剂流速进行评估，对于辅助冠心病的影像导航诊断和介入治疗具有重要意义。

图3为本发明实施例提供的电子设备的实体结构示意图。参照图3，所述电子设备，包括：处理器(processor)31、存储器(memory)32和总线33；其中，所述处理器31和存储器32通过所述总线33完成相互间的通信；所述处理器31用于调用所述存储器32中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像；利用非极大值抑制算法和断裂修复算法获取第一血管图像中的血管中心线和第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

此外，上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像；利用非极大值抑制算法和断裂修复算法获取第一血管图像中的血管中心线和第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据第一匹配关系获得第一血管中心线和第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；根据第二匹配关系在第一血管中心线和第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得第一血管中心线和第二血管中心线的匹配结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种血管中心线自动匹配方法，其特征在于，包括：

利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数；

利用非极大值抑制算法和断裂修复算法获取所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；

利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据所述第一匹配关系获得所述第一血管中心线和所述第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

根据所述第二匹配关系在所述第一血管中心线和所述第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得所述第一血管中心线和所述第二血管中心线的匹配结果。

2.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，之前还包括：

利用IFC-RPCA算法分别对第t帧原始造影图像和第t+1帧原始造影图像进行减影处理，获得第t帧原始造影图像对应的减影图像和第t+1帧原始造影图像对应的减影图像；

将第t帧原始造影图像和第t帧原始造影图像对应的减影图像进行线性叠加获得第t帧原始造影图像对应的增强图像，作为第一增强图像，将第t+1帧原始造影图像和第t+1帧原始造影图像对应的减影图像进行线性叠加获得第t+1帧原始造影图像对应的增强图像，作为第二增强图像；

相应地，利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，具体为：

利用卷积神经网络提取所述第一增强图像中的血管图像和所述第二增强图像中的血管图像。

3.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，利用非极大值抑制算法和断裂修复算法获取所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线，具体为：

利用非极大值抑制算法获取所述第一血管图像中的初始血管中心线和所述第二血管图像中的初始血管中心线；

利用断裂修复算法对所述第一血管图像中的初始血管中心和所述第二血管图像中的初始血管中心线进行修复，获得所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线。

4.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，具体为：

采用Triplet网络获取第t帧原始造影图像的深度特征和第t+1帧原始造影图像的深度特征，分别记为第一深度特征和第二深度特征；

利用多层次特征匹配算法根据所述第一深度特征和所述第二深度特征获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系。

5.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，基于半径和距离约束根据所述第一匹配关系获得所述第一血管中心线和所述第二血管中心线上的所有关键点之间的匹配关系，具体为：

获取所述第一血管中心线上的关键点，作为第一关键点，对于任意一个第一关键点，获取与所述第一关键点邻近的网格点，作为目标网格点；

从所述第一匹配关系中获取所有目标网格点的匹配关系，根据所有目标网格点的匹配关系获取所述第一关键点的局部透射投影关系；

根据所述局部透射投影关系在所述第二血管图像中获取与所述第一关键点匹配的像素点，作为初始匹配点；

若所述初始匹配点不处于所述第二血管中心线上，则基于半径和距离约束对所述初始匹配点进行校正，获得处于所述第二血管中心线上的校正点，作为目标匹配点。

6.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，根据所述第二匹配关系在所述第一血管中心线和所述第二血管中心线上获取所有待匹配的血管段对，具体为：

断开所述第一血管中心线和所述第二血管中心线上的所有交叉点，获得所述第一血管中心线和所述第二血管中心线上的所有血管段，将所述第一血管中心线和所述第二血管中心线上的每个血管段分别作为第一血管段和第二血管段；

将任意一个第一血管段作为待匹配血管段，获取与所述待匹配血管段的端点临接的关键点，作为待匹配关键点，根据所述第二匹配关系在所述第二血管中心线上获取与所述待匹配关键点匹配的关键点，作为匹配关键点；

对于任意一个第二血管段，若所述第二血管段的首尾点与所述匹配关键点临接，则将所述第二血管段与所述待匹配血管段的组合作为待匹配的血管段对。

7.根据权利要求1所述的血管中心线自动匹配方法，其特征在于，根据所有待匹配的血管段对的匹配结果获得所述第一血管中心线和所述第二血管中心线的匹配结果，之后还包括：

根据所述第一血管中心线和所述第二血管中心线的匹配结果获得所述第二血管中心线相较于所述第一血管中心线增长的部分，作为增长中心线；

将所述增长中心线还原形成血管，获得增长的血管片段。

8.一种血管中心线自动匹配装置，其特征在于，包括：

血管图像提取模块，用于利用卷积神经网络提取第t帧原始造影图像中的血管图像和第t+1帧原始造影图像中的血管图像，分别记为第一血管图像和第二血管图像，其中，t为不小于1的整数；

血管中心线获取模块，用于利用非极大值抑制算法和断裂修复算法获取所述第一血管图像中的血管中心线和所述第二血管图像中的血管中心线，分别记为第一血管中心线和第二血管中心线；

关键点匹配模块，用于利用多层次特征匹配算法获取第t帧原始造影图像和第t+1帧原始造影图像中所有网格点的匹配关系，作为第一匹配关系，基于半径和距离约束根据所述第一匹配关系获得所述第一血管中心线和所述第二血管中心线上的所有关键点之间的匹配关系，作为第二匹配关系；

血管中心线匹配模块，用于根据所述第二匹配关系在所述第一血管中心线和所述第二血管中心线上获取所有待匹配的血管段对，采用动态时间规整算法计算每个待匹配的血管段对的匹配结果，根据所有待匹配的血管段对的匹配结果获得所述第一血管中心线和所述第二血管中心线的匹配结果。

9.一种电子设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，所述存储器存储有可被所述处理器执行的程序指令，其特征在于，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。