CN113096056B - 一种基于区域互补的血管内图像融合方法 - Google Patents

Abstract

本发明涉及一种基于区域互补的血管内图像融合方法，所述图像融合方法包括：获取血管内成像区域为

的第一种模态光学相干断层（OCT）图像和成像区域为

的第二种模态血管内超声（IVUS）图像，并通过硬件设计或/和软件算法配准后在旋转和回拉方向对齐；从两种模态图像中选取

区域信息进行图像融合，得到两种模态融合后的表示不同区域彩色和黑白混合的图像。本发明的优点在于：通过对OCT和IVUS图像进行融合，互补所短，最大化二者的对比度和特征互补，得到特征更为丰富，对比度更为明显的彩色和黑白混合图像，使得形成模态反差更为明显的图像特征，更有助于冠脉动脉粥样硬化斑块的精准诊断和辅助评估冠脉介入治疗。

Description

一种基于区域互补的血管内图像融合方法

技术领域

本发明涉及医学影像领域，尤其涉及一种基于区域互补的血管内图像融合方法。

背景技术

血管内超声(intravascular ultrasound,IVUS)是分析血管形态和检测粥样硬化斑块、辅助冠脉介入手术如支架植入的常用血管内影像手段，其优点在于具有较好的探测深度，但是形成图像的空间分辨率较低。血管内光学相干断层成像(intravascularoptical coherence tomography,OCT)是一种新的血管内断层成像方法，其优点在于空间分辨率高，但其组织穿透力较弱，与IVUS形成了典型的互补关系。单独IVUS或单独OCT成像均不能获取动脉粥样化斑块诊断所需的全面信息，理想情况下需要将二者集成。

尽管IVUS-OCT同步成像系统在一定程度上实现了高分辨和深穿透的互补，但对于临床应用探索声-光图像融合机制，将二者融合为一张图像，更有利于医师发现和诊断特定的动脉粥样化斑块，揭示斑块动态演化机制，以及辅助和评估冠脉介入治疗。

申请号为202010507783.8的中国发明专利申请公布了一种“血管内图像融合方法、系统及图像采集装置”，其具体包括加权系数、彩色通道融合、逻辑运算和小波分解等方法；但是，该专利申请融合得到的是纯黑白或者纯彩色图像，不能形成模态反差更为明显的图像特征图，不利于医师对动脉粥样化斑块进行更为精准的识别或评估病变血管的其他特征。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种基于区域互补的血管内图像融合方法，解决了现有图像融合方法存在的不足。

本发明的目的通过以下技术方案来实现：一种基于区域互补的血管内图像融合方法，所述图像融合方法包括：

获取成像区域为R_O的第一种模态图像和成像区域为R_I的第二种模态图像，并通过硬件设计或/和软件算法配准后在旋转和回拉方向对齐；

选取第一种模态图像区域

和第二种模态图像区域

且满足R₂>R₁；选取R₁的子集R₃，满足

基于R₁、R₂、R₃区域信息进行图像融合，得到两种模态融合后表示不同区域彩色和黑白混合的图像。

为了方便描述，用R₄表示两个模态成像区域的并集，即满足R_O∪R_I＝R₄，用R₅表示R₃和R₁的差集，即R₅＝R₁-R₃，结合R₁、R₂、R₃区域信息，则融合得到的不同区域彩色和黑白混合图像通过以下公式生成：

其中，

为融合后图像对应三个彩色通道在像素位置为x时的灰度值，X、Y、Z表示任何一种彩色空间表示方法包括RGB，或YIQ，或CMY，或HSV；I_OCT(x)和I_IVUS(x)表示像素位置为x时原始OCT和IVUS图像像素值；0≤α≤1，表示一个常量或者是一个随像素位置变化的变量。

当α为变量时，一种取值方式是α随着距离成像导管中心的距离增加而减小。

融合得到的不同区域彩色和黑白混合图像还包括alpha透明度通道特征；所述alpha透明度通道特征通过以下公式生成：

其中，0≤β≤1，0≤γ≤1，0≤χ≤1，表示常量或者变量；

和

为像素位置为x时基于原始OCT和IVUS图像对应生成的透明度图像。

两种模态融合后的图像成像区域为R_O∪R_I。

所述第一种模态图像和第二种模态图像包括选取血管内任意角度的剖面图；所述剖面图包括血管纵截面图、血管横截面图和血管斜切面图中的一种或多种。

所述第一种模态图像包括第一模态血管截面图像和/或第一模态血管纵切面图像，所述第一模态血管截面图像和/或第一模态血管纵切面图像的图像形式为光学相干断层图像；所述第二种模态图像包括第二模态血管截面图像和/或第二模态血管纵切面图像，所述第二种模态图像包括第二模态血管截面图像和/或第二模态血管纵切面图像的图像形式为血管内超声图像。

所述获取第一种模态图像和第二种模态图像包括：

通过旋转接头对成像导管在血管内进行360°旋转得到第一模态血管截面图像和第二模态血管截面图像；

提取所有帧图像中某一角度切面图得到第一模态血管纵切面图像和第二模态血管纵切面图像。

本发明具有以下优点：一种基于区域互补的血管内图像融合方法，通过对OCT和IVUS图像进行融合，互补所短，最大化二者的对比度和特征互补，得到特征更为丰富，对比度更为明显的彩色和黑白混合图像，使得形成模态反差更为明显的图像特征图，更有助于冠脉动脉粥样硬化斑块的精准诊断和辅助评估冠脉介入治疗。

附图说明

图1为IVUS和OCT集成系统示意图；

图2为IVUS和OCT同步影像集成导管示意图；

图3为本发明的血管内图像获取扫描方式及对应的不同剖面图；

图4为本发明的流程示意图；

图5为本发明应用于血管截面图的图像融合示意图；

图6为本发明应用于血管纵切面的图像融合示意图；

图中：51-主机，52-成像模块，53-PIU和回拉装置，54-IVUS-OCT同步成像导管，1-OCT血管截面图像，2-IVUS血管截面图像，3-彩色和黑白混合的血管截面融合图像，31-R₁，32-R₂，33-R₃，34-R₄，11-OCT血管纵切面图像，12-IVUS血管纵切面图像，13-纵切面对应于横截面的角度切线位置，14-横截面对应于纵切面的角度切线位置，15-彩色和黑白混合的血管纵切面融合图像。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明提出的血管内图像融合方法基于血管内IVUS-OCT同步影像系统。主要包括仪器主机51，成像模块52，PIU和回拉装置53以及IVUS-OCT同步成像导管54。其中，成像模块是核心模块，包括OCT模块和IVUS模块。OCT模块与成像导管一起实现OCT功能，包括光源，干涉仪，参考臂，光接收器、图像采集、显示等亚模块。优选的，一种OCT实现方法是基于扫频OCT原理，OCT光源采用激光扫频光源。干涉仪将使用由光纤分路器和环形器构成的无源光路。从光源发出的光束通过光纤分路器后分为两路，分别进入样品臂和参考臂，经过参考臂平面镜和从样品臂返回的反射光在分路器发生干涉进入探测臂，由光探测器将光信号转化成电信号。IVUS模块与成像导管一起实现IVUS功能，包括超声激励信号的发生、激励和回传信号的传导、回传信号采集和放大，信号数字化，噪声去除，图像重构和处理等亚模块。主控板控制成像主机，回拉装置，OCT参考臂，IVUS增益，信号采集系统，控制系统等，以及以上系统中各个子系统之间的通讯和同步。

其中，PIU(探头接口单元)和回拉装置53连接成像系统52和IVUS-OCT同步成像导管54，主要功能模块包括：回拉和旋转电机用于实现内窥成像导管螺旋扫描，旋转接头用于在旋转状态下传导光信号和电信号，控制电路用于超声发射和接收，电机控制，与仪器主机通讯等。

系统主机51通过系统软件实现一体机系统病人信息管理，数据库管理，上位机下位机通讯，实时成像功能，图像浏览、分析、测量，支持系统设置，系统调试和测试等。

如图2所示，IVUS-OCT同步成像导管54中IVUS和OCT探头将前后排列，放在成像导管的远端，成像导管是无菌单次使用的耗材，由外鞘管和成像轴组成。外鞘管主要功能是协助导管连接到回拉装置，提供导丝交换头以协助导管在血管内的运动和保护成像轴，主要包括近端外壳，冲洗接头，近端鞘管，远端鞘管和快速交换头。成像轴在外鞘管内，包括近端接头、光纤、电线、光学探头和超声探头。成像轴的主要作用是传送机械扭矩，光学信号和声学信号的传送和获取。IVUS和OCT图像在成像轴上的距离差异通过软件后处理予以补偿和对齐。

如图3所示，通过旋转接头53对IVUS-OCT同步成像导管54在血管内进行旋转和回拉，实现血管内螺旋扫描成像。这样导管旋转一周360度得到的图像即为截面图像。由于OCT和IVUS图像由同一根导管同步获取，其OCT截面图像1和IVUS截面图像2反映了血管同一截面。

进一步的，通过以上方法采集得到的血管内图像包含了数百帧截面图像，即覆盖了血管的三维信息，因此可以通过提取所有帧某一个角度切面图得到OCT血管纵切面图像11和IVUS血管纵切面图像12所示的血管纵切面图像。通过纵切面对应于横截面的角度切线位置13，以及横截面1对应于纵切面的角度切线位置14来表示OCT截面图1和IVUS血管截面图像2与OCT血管纵切面图像11和IVUS血管纵切面图像12之间的对应关系。

如图4-图6所示，假设OCT成像区域为R_O，IVUS成像区域为R_I。根据成像系统和导管的设计，R_O和R_I可以相同也可以不同。取OCT图像区域R₁ 31，且满足

取IVUS图像区域R₂ 32，满足R₂＝R_I，且R₂>R₁；取R₁的子集R₃ 33，满足

此外，为了方便描述，用R₄ 34表示两个模态成像区域的并集，即满足R_O∪R_I＝R₄，用R₅表示R₃和R₁的差集，即R₅＝R₁-R₃。根据这些定义，本发明提出的方法为基于R₁31、R₂32、R₃33区域信息进行图像融合，两种模态融合后的图像成像区域为R_O∪R_I。注意这里R₄和R₅是由已选定区域R_O、R_I、R₁31、R₂32、R₃33通过交、并运算得到的，属于非独立变量。

进一步的，采集得到的OCT和IVUS图像一般为单通道灰度图像。OCT一般按照临床医师读图习惯的颜色查找表将灰度图像显示为三通道彩色图像(我们用X、Y、Z表示其通道数)。通过本发明的方法融合后的图像为彩色和黑白混合的图像，通过以下公式生成：

其中，

为融合后图像对应三个彩色通道在像素位置为x时的灰度值，X、Y、Z可表示任何一种彩色空间表示方法包括RGB，或YIQ，或CMY，或HSV等；I_OCT(x)和I_IVUS(x)表示像素位置为x时原始OCT和IVUS图像像素值；0≤α≤1，既可以是一个常量也可以是一个随像素位置变化的变量。当α为变量时，一种取值方式是α随着距离成像导管中心的距离增加而减小。且对于8位图像，满足

进一步的，融合后的彩色和黑白混合图像既可包括也可不包括透明度通道。优选的，如果包括alpha透明度通道，可通过如下公式生成：

其中，0≤β≤1，0≤γ≤1，0≤χ≤1，既可为常量，也可为变量；

和

为像素位置为x时基于原始OCT和IVUS图像对应生成的透明度图像。对于8位图像：

且满足

进一步的，OCT和IVUS图像包括选取血管内任意角度的剖面图；所述剖面图包括血管纵截面图、血管横截面图和血管斜切面图中的一种或多种。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述描述或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于区域互补的血管内图像融合方法，其特征在于：所述图像融合方法包括：

获取血管内成像区域为R_O的第一种模态图像和成像区域为R_I的第二种模态图像，并通过硬件设计或/和软件算法配准后在旋转和回拉方向对齐；

选取第一种模态图像区域

和第二种模态图像区域

且满足R₂>R₁；选取R₁的子集R₃，满足

基于R₁、R₂、R₃区域信息进行图像融合，得到两种模态融合后表示不同区域彩色和黑白混合的图像；

用R₄表示两个模态成像区域的并集，即满足R_O∪R_I＝R₄，用R₅表示R₃和R₁的差集，即R₅＝R₁-R₃，则融合得到的不同区域彩色和黑白混合图像通过以下公式生成：

其中，

为融合后图像对应三个彩色通道在像素位置为x时的灰度值，X、Y、Z表示任何一种彩色空间表示方法包括RGB，或YIQ，或CMY，或HSV；0≤α≤1，表示一个常量或者是一个随像素位置变化的变量；I_OCT(x)和I_IVUS(x)表示像素位置为x时原始光学相干断层图像和血管内超声图像像素值。

2.根据权利要求1所述的一种基于区域互补的血管内图像融合方法，其特征在于：当α为变量时，一种取值方式是α随着距离成像导管中心的距离增加而减小。

3.根据权利要求1所述的一种基于区域互补的血管内图像融合方法，其特征在于：融合得到的不同区域彩色和黑白混合图像还可包括alpha透明度通道特征；所述alpha透明度通道特征通过以下公式生成：

其中，0≤β≤1，0≤γ≤1，0≤χ≤1，表示常量或者变量；

和

为像素位置为x时基于原始OCT和IVUS图像对应生成的透明度图像。

4.根据权利要求1或3所述的一种基于区域互补的血管内图像融合方法，其特征在于，两种模态融合后的图像成像区域为R_O∪R_I。

5.根据权利要求1所述的一种基于区域互补的血管内图像融合方法，其特征在于：所述第一种模态图像和第二种模态图像包括选取血管内任意角度的剖面图；所述剖面图包括血管纵截面图、血管横截面图和血管斜切面图中的一种或多种。

6.根据权利要求5所述的一种基于区域互补的血管内图像融合方法，其特征在于：所述第一种模态图像包括第一模态血管截面图像和/或第一模态血管纵切面图像，所述第一模态血管截面图像和/或第一模态血管纵切面图像的图像形式为光学相干断层图像；所述第二种模态图像包括第二模态血管截面图像和/或第二模态血管纵切面图像，所述第二种模态图像包括第二模态血管截面图像和/或第二模态血管纵切面图像的图像形式为血管内超声图像。

7.根据权利要求6所述的一种基于区域互补的血管内图像融合方法，其特征在于：所述获取第一种模态图像和第二种模态图像包括：

通过旋转接头对成像导管在血管内进行360°旋转得到第一模态血管截面图像和第二模态血管截面图像；

提取所有帧图像中某一角度切面图得到第一模态血管纵切面图像和第二模态血管纵切面图像。

Images