CN111667447A - 血管内图像融合方法、系统及图像采集装置 - Google Patents

血管内图像融合方法、系统及图像采集装置 Download PDF

Info

Publication number
CN111667447A
CN111667447A CN202010507783.8A CN202010507783A CN111667447A CN 111667447 A CN111667447 A CN 111667447A CN 202010507783 A CN202010507783 A CN 202010507783A CN 111667447 A CN111667447 A CN 111667447A
Authority
CN
China
Prior art keywords
image
fusion
probe
modality
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010507783.8A
Other languages
English (en)
Inventor
于波
王钊
曾强
侯静波
贾海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panoramic Hengsheng Beijing Science And Technology Co ltd
Original Assignee
Panoramic Hengsheng Beijing Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panoramic Hengsheng Beijing Science And Technology Co ltd filed Critical Panoramic Hengsheng Beijing Science And Technology Co ltd
Priority to CN202010507783.8A priority Critical patent/CN111667447A/zh
Publication of CN111667447A publication Critical patent/CN111667447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明涉及一种血管内图像融合方法、系统及图像采集装置，同时采集血管内的第一种模态图像和第二种模态图像，其中第一种模态图像和第二种模态图像属不同种类的模态图像；采用图像融合算法对第一种模态图像和第二种模态图像进行融合，得到对应的融合图像，本发明利用OCT与IVUS图像融合，充分发挥各自的优势，同时二者互补不足之处，即充分发挥IVUS的强组织穿透力和OCT高分辨率的优势，最终获得高质量融合图像。

Description

血管内图像融合方法、系统及图像采集装置
技术领域
本发明涉及医学影像领域，具体涉及一种血管内图像融合方法、系统及图像采集装置。
背景技术
血管内超声(intravascular ultrasound,IVUS)是分析血管形态和检测粥样硬化斑块的常用介入影像手段，其优点在于具有较好的探测深度，但是形成图像的空间分辨率较低。血管内光学相干断层成像(intravascular optical coherence tomography,OCT)是一种新的血管内断层成像方法，其优点在于空间分辨率高，但其组织穿透力较弱，与IVUS形成了典型的互补关系。
医学图像融合是将来自单一或多种成像方式获取的图像进行配准和融合，其目的是减少信息的随机性和冗余性，提高医学图像在诊断和临床应用的适用性。OCT与IVUS都是血管内成像技术，并且成像原理类似，都是通过在血管腔内进行360度旋转扫描，根据从组织反射或散射回来的不同超声或光学特征进行组织分析成像，获得管腔横断面图像。
OCT与IVUS作为冠状动脉临床诊断和治疗的新兴技术，在医学研究等相关领域获得了很大的关注，但是对于OCT与IVUS图像融合的方法目前的研究还不成熟，没有形成一种经典的用于OCT与IVUS图像融合的方法。图像融合由低到高可以归纳为三个层次，分别是：基于像素级融合、基于特征级融合、基于决策级融合。最低层次的基于像素级融合算法是指，在几何配准完成的条件下，对多模或单模图像每一个像素进行综合分析和融合。这一层次的图像融合准确性最高，并且能够最大程度上保留图像的细节信息，因此基于像素级的图像融合算法应用也是最广泛的，但是由于是对每一个像素进行处理，所以计算量相对较大。基于特征级融合算法属于中间层次的图像融合，具体是指对预处理过的图像提取其特征，如边缘、形状、纹理、区域等。对特征信息进行筛选，减少冗余信息保留重要信息，大大减小了计算量，但筛选过程容易丢失重要细节信息，最终影响融合效果。基于决策级的融合算法属于最高层次的融合，是指对预处理后的图像进行特征提取、识别、判决，建立同一特征的融合决策，联合所有的决策形成最终的融合系统。此类算法具有一定的开放性和容错能力，但是对于信息损失量较大。不同的融合算法有不同的优势和劣势，在实际应用中一般会根据实际需求，选择相应最适合的图像融合算法达到预期的目的，与此同时也会存在某些方面的技术缺陷。
例如：公开号为CN103985109A的中国专利，公开了一种基于3D剪切波变换的特征级图像融合方法。然而该方法仅仅采用时域和频域之间的变换对图像进行分析，融合规则单一，不能满足临床需求。
公开号为CN102682439A的中国专利，公开了一种基于多向经验模式分解的医学图像融合方法，利用图像多尺度分解实现了多模态图像融合。然而该方法仅仅按照区域能量规则进行融合处理，针对分解子集没有做有效预处理，融合结果往往噪声较多。
公开号为CN106204511A的中国专利公开了一种二维图像与CT、MR图像的三维融合方法，结合多角度二维图像进行人体三维目标图像重构，进而实现目标图像与MR图像的三维多模态融合。然而该方法仅对图像多角度进行分析，将多模图像从二维空间转换到三维空间，未对图像进行较好的像素级融合处理，融合结果噪声干扰较大，不利于临床诊断。
就以上医学图像融合算法而言，绝大多数仅仅基于单个空间频带对多模态医学图像进行分析、处理，从而导致得到的融合结果质量较低，细节保留不完整。
公开号为CN109091167A的中国专利公开了一种冠状动脉粥样硬化斑块增长的预测方法，将至少两个时刻的IVUS图像和OCT图像分别分割后，再将分割后的IVUS图像和分割后的OCT图像融合，并根据融合后的轮廓建立三维的带有循环弯曲的多模态流固耦合模型，计算模型的力学结果，结合形态学结果，提取力学与形态学的风险因子，并给出斑块增长的指标，利用该机器学习的方法对斑块增长做出预测。该专利虽然提出了将IVUS图像和OCT图像进行融合，然而仅仅是将IVUS图像和OCT图像根据轮廓进行融合，同样存在图像融合结果质量较低，细节保留不完整等缺点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种血管内图像融合方法、系统及图像采集装置，本发明利用OCT与IVUS图像融合，充分发挥各自的优势，同时二者互补不足之处，即充分发挥IVUS的强组织穿透力和OCT高分辨率的优势，最终获得高质量融合图像。
本发明的目的是通过以下技术方案来实现的：
一种血管内图像融合方法，该方法包括：
同时采集血管内的第一种模态图像和第二种模态图像，其中第一种模态图像和第二种模态图像属不同种类的模态图像；
采用图像融合算法对第一种模态图像和第二种模态图像进行融合，得到对应的融合图像。
进一步的，所述第一种模态图像和第二种模态图像在旋转方向自动对齐。
进一步的，所述第一种模态图像和第二种模态图像通过图像配准方法对齐。
进一步的，所述第一种模态图像和第二种模态图像在旋转方向差一个固定的角度差。
进一步的，所述图像融合算法包括：
利用第一种模态图像和第二种模态图像的图像特征，利用像素距离导管距离实时计算权重系数，根据权重系数进行加权融合；
或，取第一种模态图像和第二种模态图像对应像素最大值，得到最终的融合图像；
或，计算第一种模态图像和第二种模态图像的图像对应像素关系，最后根据逻辑运算符结果按照不同规则进行图像融合；
或，将第一种模态图像和第二种模态图像赋值到不同颜色通道中，不损失细节进行融合；
或，对第一种模态图像进行主分量变换，对特征值与特征向量进行分析、排序后，与第二种模态图像进行融合，最后利用主分量逆变换获得最终结果；
或，利用神经网络算法，标注一部分第一种模态图像与第二种模态图像的融合图像，循环前向传播和反向传播不断更新权重系数，获取从多个数据到一个数据的非线性变换过程；
或，利用多尺度分析方法，将固定尺度的第一种模态图像与第二种模态图像利用金字塔分解，在不同空间频带上对两种模态图像进行分析、融合；
或，利用小波变换，将第一种模态图像与第二种模态图像从时域变换到频域，分为高频信息和低频信息，并按照不同规则进行图像融合，融合后的结果进行小波逆变换获得最终结果。
进一步的，所述第一种模态图像和第二种模态图像为血管内光学相干断层成像、血管内超声成像、VH-IVUS成像、X射线血管造影以及磁共振成像中的任意两种模态图像。
进一步的，所述第一种模态图像是血管内光学相干断层成像图像，第二种模态图像为血管内超声图像。
一种血管内图像融合系统，该系统包括：
成像管，以及集成在成像管内的第一探头和第二探头；
与所述第一探头配合用于完成第一种模态图像采集的第一种模块，以及与第二探头配合用于完成第二种模态图像采集的连接的第二种模块；
与第一种模块和第二种模块连接的主控板，以及与主控板连接的数据接收终端；
以及用于完成第一种模态图像和第二种模态图像进行融合的图像融合系统，所述图像融合系统嵌入在所述数据接收终端中。
进一步的，所述图像融合系统包括加权融合模块、绝对值取大算法融合模块、逻辑滤波融合模块、颜色空间融合模块、PCA分析图像融合模块、人工神经网络图像融合模块、BP神经网络传播方式融合模块、金字塔分解图像融合模块、小波变换分解图像融合模块。
进一步的，所述第一探头为光学探头，所述第一种模块与之对应为OCT模块；
所述第二探头为超声探头，所述第二种模块与之对应为IVUS模块。
一种用于血管内图像融合的图像采集装置，该装置包括：
由外鞘管和成像轴组成的成像管，以及集成在成像管内的第一探头和第二探头，所述第一探头和第二探头并列同轴设置在所述成像轴上。
进一步的，第一探头和第二探头在旋转方向上对齐，其中，第一探头为光学探头，第二探头为超声探头。
本发明的有益效果是：本发明可以根据具体需求，采用相应算法对OCT与IVUS图像进行融合，其中融合算法包括了像素空间、颜色空间、尺度空间、频域空间等多种分析，使得最终融合结果突出不同空间特征，保留大量细节信息的同时剔除噪声，使融合图像的质量更高。
考虑到信息损失问题，本发明选择对细节信息保留最完整的像素级图像融合算法进行实验。像素级融合算法可以简单的分为基于非多尺度分析融合算法和基于多尺度分析融合算法。两者的区别主要在于后者对图像融合的过程类似于人类视觉系统对图像不同尺度、空间分辨率和分解层的细节信息处理，从而获得更好的融合效果。
本发明在不同空间频带中对多模态图像进行分析，并在不同空间频带中采用最适合的融合规则进行图像融合，得到的融合结果往往质量较高，保留的细节较完整。
附图说明
图1为基于血管内图像IVUS与OCT的智能图像融合系统示意图；
图2为加权求和算法IVUS与OCT图像融合实现方式；
图3为绝对值取大算法IVUS与OCT图像融合实现方式；
图4为逻辑滤波算法IVUS与OCT图像融合实现方式；
图5为颜色空间融合IVUS与OCT图像融合实现方式；
图6为PCA分析图像融合算法IVUS与OCT图像融合实现方式；
图7为人工神经网络图像融合算法IVUS与OCT图像融合实现方式；
图8为BP神经网络传播方式；
图9为金字塔分解图像融合算法IVUS与OCT图像融合实现方式；
图10为小波变换分解图像融合算法IVUS与OCT图像融合实现方式；
图11为本发明系统示意图；
图12为本发明装置结构示意图。
具体实施方式
下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种血管内图像融合方法，该方法包括：
同时采集血管内的第一种模态图像和第二种模态图像，其中第一种模态图像和第二种模态图像属不同种类的模态图像；
采用图像融合算法对第一种模态图像和第二种模态图像进行融合，得到对应的融合图像。
在一方面，本发明是针对血管内的同一部位同时采集两种不同模态的图像，得到第一种模态图像和第二种模态图像，然后根据不同的应用场景选择相应的融合方式完成第一种模态图像和第二种模态图像的融合，从而得出具有针对性的融合图像，作为医学影像进行分析。
在另一方面，除本方案提出的将两种不同模态的图像进行融合的模式以为，本领域的相关技术人员有动机能够想到，在进行图像融合时不仅仅局限于两种不同模态的图像进行融合，换言之，作为本方案的进一步扩大，本实施例中还隐含包括一种将多种不同模态图像进行融合的技术方案，例如在一个具体实施中，可以同时采集三种不同模态的图像进行融合，或者是更多不同模态的图像进行融合，在进行图像融合时，其原理也都基本一致。
更为具体的，在一个方面上，本发明还包括一个将第一种模态图像和第二种模态图像通过图像配准方法对齐步骤，在获取第一种模态图像和第二种模态图像后，还包括对第一种模态图像和第二种模态图像进行配准，从而获得配准后的第一种模态图像和第二种模态图像，在进行图像融合时，使用的是配准后的第一种模态图像和第二种模态图像。
在一方面，第一种模态图像和第二种模态图像在旋转方向自动对齐，从而获得旋转方向一致的模态图像，但是在实际操作中，由于获取第一种模态图像和第二种模态图像探头无法重合，因此第一种模态图像和第二种模态图像在旋转方向差一个固定的角度差，这个角度差可以通过后期图像旋转校正处理或者忽略不计。
作为第一种模态图像和第二种模态图像的具体实施例化，第一种模态图像和第二种模态图像为血管内光学相干断层成像(OCT)、血管内超声成像(IVUS)、VH-IVUS成像、X射线血管造影以及磁共振成像中的任意两种模态图像，在实际应用中可以根据检测目的的不同，自行选择组合方式，在本实施例中以及后续的描述中，第一种模态图像是血管内光学相干断层成像图像(OCT)以下简称OCT，第二种模态图像为血管内超声图像(IVUS)以下简称IVUS。
如图2所示，显示了利用实时更新权重的方法对多模态图像进行加权融合。利用OCT图像和IVUS图像的图像特征，利用像素距离导管距离实时计算权重系数，根据权重系数进行加权融合。
利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，遍历所有像素根据像素点距离导管距离更新权重系数，最终获得融合图像。加权求和图像融合算法是指将各图像对应像素的灰度值进行加权求和，生成新的图像的过程，属于最直接的图像融合算法。其中加权平均算法属于加权求和算法中的一个特例，其算法如公式(1)所示，使用加权平均算法提高了融合图像的信噪比，但是同时也削弱了图像的对比度，尤其对于只出现在某一图像中的有用信号被一定程度抑制。
Ifusion＝Io·wo+Ii·wi (1)
其中，Ifusion表示融合后的图像，Io和Ii分别表示完成配准的OCT图像和IVUS图像，wo和wi分别表示OCT图像和IVUS图像的权重系数。OCT与IVUS图像各自的成像特点不同，OCT图像组织穿透力较差，而IVUS图像具有较好的探测深度。根据这一基础理论，按照像素距离导管距离更新各自权重系数，如公式(2)所示。
Figure BDA0002527163860000061
wi＝1-wo
其中，d表示当前像素点距离导管的距离，col表示图像的列数。
如图3所示，显示了利用绝对值取大的方法对OCT与IVUS图像进行融合。需要突出OCT与IVUS图像显著特征时，取OCT图像和IVUS图像对应像素最大值，得到最终的融合图像。
利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，遍历所有像素比较对应OCT与IVUS图像像素灰度值大小，取较大的值作为融合图像对应位置的灰度值，最终获得融合图像。这种融合方法只是简单的选择某一图像中的值作为结果值，对融合后的像素进行灰度增强，一般来说应用场景比较有限，其算法实现如公式(3)所示。
Ifusion＝max{Io,Ii} (3)
如图4所示，显示了利用逻辑滤波运算方法对OCT与IVUS图像进行融合。计算OCT图像和IVUS图像的图像对应像素关系，最后根据逻辑运算符结果按照不同规则进行图像融合。
利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，遍历所有像素根据设定的逻辑运算规则建立逻辑滤波Mask，根据逻辑运算法输出的值设计不同的融合规则，达到成分分析，特征显著的目的。
如图5所示，显示了利用颜色空间融合的方法对OCT与IVUS图像进行融合。将OCT图像和IVUS图像赋值到不同颜色通道中，不损失细节进行融合。
利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，新建尺度与OCT(IVUS)图像一致的多通道图像，将OCT与IVUS图像的像素灰度分别赋值到不同的颜色通道中，合并这些颜色通道得到一幅彩色融合图。
如图6所示，显示了利用PCA分析算法按事先OCT与IVUS图像融合。对OCT图像进行主分量变换，对特征值与特征向量进行分析、排序后，与IVUS图像进行融合，最后利用主分量逆变换获得最终结果。
利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，对IVUS图像进行PCA分析，计算其协方差矩阵的特征分量，然后将OCT图像直方图匹配IVUS图像的第一主分量，接着用OCT图像替换协方差矩阵的第一主分量，最后利用PCA逆变换得到最终的融合结果。PCA(Principal ComponentAnalysis)是一种常用的数据分析方法，其原理是通过线性变换将原始数据变换为一组各维度线性无关的表示，一般可用于提取数据的主要特征分量，达到数据降维的效果。以m条n维数据为例，PCA算法原理步骤如下：
1)将原始数据排列成n行m列的矩阵N；
2)矩阵N的每一行数据进行零均值化，即每个元素减去这一行的均值；
3)求协方差矩阵；
4)求协方差矩阵的特征值及其对应的特征向量；
5)将特征向量按对应特征值的大小从上到下按行排列成新的矩阵M，取前k行组成矩阵P，即为降维到k维后的数据。
PCA算法运用到图像融合步骤如下：
1)高分辨率图像与低分辨率图像进行配准、矫正；
2)计算低分辨率图像的主成分变换矩阵的特征值及其对应的特征向量；
3)特征向量按照其对应的特征值按照从大到小的顺序排列；
4)高分辨率图像与计算得到的第一主分量图像进行直方图匹配，并用匹配结果代替第一主分量；
5)逆主分量变换。
如图7所示，显示了利用人工神经网络算法实现OCT与IVUS图像融合。利用神经网络算法，标注一部分OCT图像与IVUS图像的融合图像，循环前向传播和反向传播不断更新权重系数，获取从多个数据到一个数据的非线性变换过程。
人工神经网络算法被应用于图像融合领域，主要受生物界多传感器融合的启发。神经网络算法的主要思想是输入向量经过中间层复杂的非线性变换后，得出最终的输出向量。这种变换过程得到了一个从输入数据到输出数据的映射模型，原理等同于图像融合中将多个传感器图像数据融合为一个数据的过程，如图8所示，显示了BP神经网络的传播过程。本发明利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，标注一部分标准融合图像，设定迭代次数t，前向传播计算实际输出，然后反向传播根据损失函数更新中间层的权重系数w，直到迭代结束或算法收敛，道道一个从输入数据到输出数据的非线性变换映射模型，完成OCT与IVUS图像的融合。
如图9所示，显示了利用金字塔分解图像融合算法实现OCT与IVUS图像融合。利用多尺度分析方法，将固定尺度的OCT图像与IVUS图像利用金字塔分解，在不同空间频带上对两种模态图像进行分析、融合。
金字塔分解中最常用到的是拉普拉斯金字塔变换，使用拉普拉金字塔图像融合方法可以简单的模拟人眼双目观察事物的过程，拉普拉斯金字塔融合步骤如下：
1)将参与融合的各幅图像进行下采样，构建高斯图像金字塔，低分辨率在上层，高分辨率在下层；
2)根据高斯图像金字塔，构建拉普拉斯残差金字塔；
3)残差金字塔对应层按照不同融合规则进行融合；
4)对融合后的最顶层进行上采样，并与3)中合并后的残差金字塔相加；
重复4)，直至重建处金字塔最底层，获得融合图像。
拉普拉斯图像金字塔分解融合的目的是将原始图像分别分解到不同的空间频带中，而不同的空间频带上含有不同的特征与细节。对不同频带上的分解层采用不同的融合规则，可以达到突出特定频带上特征与细节的目的，最后将各融合后的分解层进行金字塔分解逆变换，获得最终的融合图像。本发明利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，分别将配准后的OCT与IVUS图像分解到不同的空间频带中，分别保存为OCT图像分解子集和IVUS图像分解子集，针对对应层的子集分别按照对应的高频信息融合规则和低频信息融合规则进行图像融合，获得融合图像子集，最后对融合图像子集进行金字塔逆分解，得到最终的融合结果。本发明将拉普拉斯图像金字塔分解层分为两类：顶层、其它层。针对拉普拉斯金字塔顶层图像，本发明首先计算各像素区域为M×N的平均梯度，其计算如公式(4)。
Figure BDA0002527163860000081
ΔIx＝f(x,y)-f(x-1,y)
ΔIy＝f(x,y)-f(x,y-1)
其中ΔIx和ΔIy分别是像素f(x,y)在x和y方向的一阶差分。获得各像素的区域平均梯度后，根据两融合图像对应分解层像素区域平均梯度值大小进行融合，其融合方法如公式(5)所示。
Figure BDA0002527163860000091
其中F(i,j)表示融合后像素灰度值，Io(i,j)和Ii(i,j)分别表示OCT图像和IVUS图像的像素灰度值，Go(i,j)和Gi(i,j)分别表示像素位置(i,j)处OCT图像与IVUS图像的区域平均梯度值。
对于其它层的融合规则，首先分别计算各对应分解层像素的区域能量，其计算方法如公式(6)所示。
Figure BDA0002527163860000092
Figure BDA0002527163860000093
其中Ro(i,j)和Ri(i,j)分别表示OCT图像和IVUS图像在像素位置(i,j)处的区域能量值，p,q,λ为中间变量，本发明中，p＝q＝1，
Figure BDA0002527163860000094
根据像素区域能量值融合其它层像素，其计算如公式(7)所示。
Figure BDA0002527163860000095
类似的，金字塔分解方法还有很多，大概原理和拉普拉斯图像融合算法一致，不同之处在于构建金字塔过程，常用的金字塔分解算法还有梯度金字塔、对比度金字塔、比率金字塔。
如图10所示，显示了利用小波变换实现OCT与IVUS图像融合。利用小波变换，将OCT图像与IVUS图像从时域变换到频域，分为高频信息和低频信息，并按照不同规则进行图像融合，融合后的结果进行小波逆变换获得最终结果。
小波变换属于一种时域和频域上的变换，目的是有效的从信号中提取出信息，通过伸缩、平移等变换对信号进行多尺度分析。小波变换用于医学图像融合有如下几方面的优势：
1)提供了多分辨率下的信息；
2)小波变换后能量大部分集中在低频部分，便于进行信息融合；
3)可并行处理，可达到实时性要求。
基于OCT与IVUS图像的融合中，由于成像设备原因，引入了大量的噪声信息，使用小波变换分析，可以方便的从信号层面去除噪声。本发明利用利用血管内图像采集系统获得对应的OCT与IVUS图像，并对其进行配准，对OCT与IVUS图像分别进行小波分解，获取分解层的高频图像子集和低频图像子集，然后分别对分解层的高频图像子集和低频图像子集采用不同的滤波处理，消除噪声，并采用相应的融合规则进行融合，得到融合后的各分解层高频图像子集和低频图像子集，最后对融合后的图像子集进行小波逆变换，得到最终的融合图像。根据对以为离散小波变换进行推导，得到二维图像小波分解算法及重构算法分别如公式(8)和公式(9)所示。
Figure BDA0002527163860000101
Figure BDA0002527163860000102
其中，Cj表示第j层分解图像的低频小波系数，
Figure BDA0002527163860000103
分别表示第j+1层分解图像垂直、水平、对角方向的高频小波系数，h(k-2m)和h(l-2n)分别表示沿y和x方向对图像进行低通滤波并下采样，g(k-2m)和g(l-2n)分别表示沿y和x方向对图像进行高通滤波并下采样，h(m-2k)和h(n-2l)分别表示沿y和x方向对图像进行上采样并低通滤波，g(m-2k)和g(n-2l)分别表示沿y和x方向对图像进行上采样并高通滤波。小波变换后，低频分量反映出了图像的近似和平均特性，图像中大部分的信息都包含在其中，代表了图像中的整体轮廓信息。而高频分量则反映出了图像的突变信息，如边缘等，其中大部分噪声也包含在了高频分量中。小波变换后得到的高频分量按照公式(5)和公式(6)计算区域平均梯度进行融合，低频部分则取区域平均能量最大原则进行融合，如公式(7)所示。
参考图11和图12所示，一种血管内图像融合系统，该系统包括：
成像管，以及集成在成像管内的第一探头2和第二探头3；与第一探头2配合用于完成第一种模态图像采集的第一种模块，以及与第二探头3配合用于完成第二种模态图像采集的连接的第二种模块；与第一种模块和第二种模块连接的主控板，以及与主控板连接的数据接收终端；在一些具体实施例中，数据接收终端是至上位机或者计算机。以及用于完成第一种模态图像和第二种模态图像进行融合的图像融合系统，图像融合系统嵌入在数据接收终端中。
在一个具体实施例中，第一探头2为光学探头，第一种模块与之对应为OCT模块；第二探头3为超声探头，第二种模块与之对应为IVUS模块。除该举例以为，第一探头2和第二探头3可以分别为用于采集血管内光学相干断层成像OCT、血管内超声成像IVUS、VH-IVUS成像、X射线血管造影以及磁共振成像中的任意两种探头或装置。
其中，在本实施例中OCT模块包括光源，干涉仪，参考臂，光接收器、图像采集、显示等亚模块。OCT光源采用1310nm激光扫频光源。干涉仪将使用由光纤分路器和环形器构成的无源光路。从光源发出的光束通过光纤分路器后分为两路，分别进入样品臂和参考臂，经过参考臂平面镜和从样品臂返回的反射光在分路器发生干涉进入探测臂，由光探测器将光信号转化成电信号。参考臂将由电机调节参考臂光程。在软件监控下，参考臂的光程调节到和样品臂的导管长度相匹配，并使干涉信号的信噪比最大。
IVUS模块包括超声激励信号的发生、激励和回传信号的传导、回传信号采集和放大，信号数字化，噪声去除，图像重构和处理等亚模块。IVUS模块采用单晶元设计，使用数字控制以增强信噪比。将研发光电混合转动接头，并实时反馈实现IVUS和OCT成像的同步。
主控板：控制成像主机，回拉装置，OCT参考臂，IVUS增益，信号采集系统，控制系统等，以及以上系统中各个子系统之间的通讯和同步。
系统软件：包括实现一体机系统病人信息管理，数据库管理，上位机下位机通讯，实时成像功能实现介入导管插入自动识别，导管旋转、自动回拉，各模态图像同步采集、显示等，软件界面设计和开发，图像浏览、分析、测量，支持系统设置，系统调试和测试等。
最后还包括一个PIU和回拉装置：连接成像主机和成像导管，主要功能模块包括：回拉和旋转电机用于实现内窥成像导管螺旋扫描，转动接头用于在旋转状态下传导光信号和电信号，控制电路用于超声发射和接收，电机控制，与仪器主机通讯等
在另一方面，图像融合系统包括加权融合模块、绝对值取大算法融合模块、逻辑滤波融合模块、颜色空间融合模块、PCA分析图像融合模块、人工神经网络图像融合模块、BP神经网络传播方式融合模块、金字塔分解图像融合模块、小波变换分解图像融合模块。
参考图12所示，一种用于血管内图像融合的图像采集装置，该装置包括：
由外鞘管1和成像轴6组成的成像管，以及集成在成像管内的第一探头2和第二探头3，第一探头2和第二探头3并列同轴设置在成像轴6上。第一探头2和第二探头3在旋转方向上对齐，其中，第一探头2为光学探头，第二探头3为超声探头，其中光学探头的光纤4以及超声探头的导线5由成像管端面引出。
其中，超声探头和光学探头前后排列，放在成像导管的远端，成像导管是无菌单次使用的耗材，外鞘管1主要功能是协助导管连接到回拉装置，提供导丝交换头以协助导管在血管内的运动和保护成像轴6，主要包括近端外壳，冲洗接头，近端鞘管，远端鞘管和快速交换头。成像轴6在外鞘管1内，包括近端接头、光纤4、导线5、光学探头和超声探头。成像轴6的主要作用是传送机械扭矩，光学信号和声学信号的传送和获取。IVUS和OCT图像在成像轴上的距离差异通过软件后处理予以补偿和对齐。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种血管内图像融合方法，其特征在于，该方法包括：
同时采集血管内的第一种模态图像和第二种模态图像，其中第一种模态图像和第二种模态图像属不同种类的模态图像；
采用图像融合算法对第一种模态图像和第二种模态图像进行融合，得到对应的融合图像。
2.根据权利要求1所述的血管内图像融合方法，其特征在于，所述第一种模态图像和第二种模态图像在旋转方向自动对齐，对齐状态下第一种模态图像和第二种模态图像在旋转方向差一个固定的角度差。
3.根据权利要求2所述的血管内图像融合方法，其特征在于，所述第一种模态图像和第二种模态图像通过图像配准方法对齐。
4.根据权利要求3所述的血管内图像融合方法，其特征在于，所述图像融合算法包括：
利用第一种模态图像和第二种模态图像的图像特征，利用像素距离导管距离实时计算权重系数，根据权重系数进行加权融合；
或，取第一种模态图像和第二种模态图像对应像素最大值，得到最终的融合图像；
或，计算第一种模态图像和第二种模态图像的图像对应像素关系，最后根据逻辑运算符结果按照不同规则进行图像融合；
或，将第一种模态图像和第二种模态图像赋值到不同颜色通道中，不损失细节进行融合；
或，对第一种模态图像进行主分量变换，对特征值与特征向量进行分析、排序后，与第二种模态图像进行融合，最后利用主分量逆变换获得最终结果；
或，利用神经网络算法，标注一部分第一种模态图像与第二种模态图像的融合图像，循环前向传播和反向传播不断更新权重系数，获取从多个数据到一个数据的非线性变换过程；
或，利用多尺度分析方法，将固定尺度的第一种模态图像与第二种模态图像利用金字塔分解，在不同空间频带上对两种模态图像进行分析、融合；
或，利用小波变换，将第一种模态图像与第二种模态图像从时域变换到频域，分为高频信息和低频信息，并按照不同规则进行图像融合，融合后的结果进行小波逆变换获得最终结果。
5.根据权利要求1-4中任一项所述的血管内图像融合方法，其特征在于，所述第一种模态图像和第二种模态图像为血管内光学相干断层成像、血管内超声成像、VH-IVUS成像、X射线血管造影以及磁共振成像中的任意两种模态图像。
6.根据权利要求5所述的血管内图像融合方法，其特征在于，所述第一种模态图像是血管内光学相干断层成像图像，第二种模态图像为血管内超声图像。
7.一种血管内图像融合系统，其特征在于，该系统包括：
成像管，以及集成在成像管内的第一探头（2）和第二探头（3）；
与所述第一探头（2）配合用于完成第一种模态图像采集的第一种模块，以及与第二探头（3）配合用于完成第二种模态图像采集的连接的第二种模块；
与第一种模块和第二种模块连接的主控板，以及与主控板连接的数据接收终端；
以及用于完成第一种模态图像和第二种模态图像进行融合的图像融合系统，所述图像融合系统嵌入在所述数据接收终端中。
8.根据权利要求7所述的血管内图像融合方法，其特征在于，所述第一探头（2）为光学探头，所述第一种模块与之对应为OCT模块；
所述第二探头（3）为超声探头，所述第二种模块与之对应为IVUS模块。
9.一种用于血管内图像融合的图像采集装置，其特征在于，该装置包括：
由外鞘管（1）和成像轴（6）组成的成像管，以及集成在成像管内的第一探头（2）和第二探头（3），所述第一探头（2）和第二探头（3）并列同轴设置在所述成像轴（6）上。
10.根据权利要求9所述的用于血管内图像融合的图像采集装置，其特征在于，所述第一探头（2）和第二探头（3）在旋转方向上对齐，其中，第一探头（2）为光学探头，第二探头（3）为超声探头。
CN202010507783.8A 2020-06-05 2020-06-05 血管内图像融合方法、系统及图像采集装置 Pending CN111667447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010507783.8A CN111667447A (zh) 2020-06-05 2020-06-05 血管内图像融合方法、系统及图像采集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010507783.8A CN111667447A (zh) 2020-06-05 2020-06-05 血管内图像融合方法、系统及图像采集装置

Publications (1)

Publication Number Publication Date
CN111667447A true CN111667447A (zh) 2020-09-15

Family

ID=72386987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010507783.8A Pending CN111667447A (zh) 2020-06-05 2020-06-05 血管内图像融合方法、系统及图像采集装置

Country Status (1)

Country Link
CN (1) CN111667447A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN113096056A (zh) * 2021-04-06 2021-07-09 全景恒升（北京）科学技术有限公司 一种基于区域互补的血管内图像融合方法
CN113509142A (zh) * 2021-06-07 2021-10-19 天津市索维电子技术有限公司 一种大视野视网膜检查装置
CN114145719A (zh) * 2022-02-08 2022-03-08 天津恒宇医疗科技有限公司 双模冠脉血管图像三维融合的方法和融合系统
CN114387464A (zh) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品
CN114464326A (zh) * 2022-01-12 2022-05-10 山东大学 基于多模态颈动脉数据的冠心病预测系统
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法
CN116452484A (zh) * 2023-06-20 2023-07-18 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN117649350A (zh) * 2024-01-29 2024-03-05 天津恒宇医疗科技有限公司 一种血管内图像和造影图像的融合方法、装置和设备
CN117649350B (zh) * 2024-01-29 2024-05-03 天津恒宇医疗科技有限公司 一种血管内图像和造影图像的融合方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216114A1 (en) * 2010-11-08 2013-08-22 Colibri Technologies Inc. Systems and methods for improved visualization during minimally invasive procedures
CN104376549A (zh) * 2014-11-20 2015-02-25 华北电力大学（保定） 血管内超声与血管内oct图像的融合方法
CN106361294A (zh) * 2016-11-15 2017-02-01 华南师范大学 一种血管内光学相干断层成像‑光声‑超声多模成像装置与方法
CN107713986A (zh) * 2017-09-11 2018-02-23 天津大学 一种血管内镜超声‑oct探头系统
CN108852417A (zh) * 2018-07-25 2018-11-23 北京博纵科技有限公司 一种内窥成像的光学超声双导管系统及其工作方法
CN109584195A (zh) * 2018-11-20 2019-04-05 深圳英美达医疗技术有限公司 一种双模图像自动融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216114A1 (en) * 2010-11-08 2013-08-22 Colibri Technologies Inc. Systems and methods for improved visualization during minimally invasive procedures
CN104376549A (zh) * 2014-11-20 2015-02-25 华北电力大学（保定） 血管内超声与血管内oct图像的融合方法
CN106361294A (zh) * 2016-11-15 2017-02-01 华南师范大学 一种血管内光学相干断层成像‑光声‑超声多模成像装置与方法
CN107713986A (zh) * 2017-09-11 2018-02-23 天津大学 一种血管内镜超声‑oct探头系统
CN108852417A (zh) * 2018-07-25 2018-11-23 北京博纵科技有限公司 一种内窥成像的光学超声双导管系统及其工作方法
CN109584195A (zh) * 2018-11-20 2019-04-05 深圳英美达医疗技术有限公司 一种双模图像自动融合方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN113096056A (zh) * 2021-04-06 2021-07-09 全景恒升（北京）科学技术有限公司 一种基于区域互补的血管内图像融合方法
CN113509142A (zh) * 2021-06-07 2021-10-19 天津市索维电子技术有限公司 一种大视野视网膜检查装置
CN114387464A (zh) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品
CN114464326A (zh) * 2022-01-12 2022-05-10 山东大学 基于多模态颈动脉数据的冠心病预测系统
WO2023151280A1 (zh) * 2022-02-08 2023-08-17 天津恒宇医疗科技有限公司 双模冠脉血管图像三维融合的方法和融合系统
CN114145719A (zh) * 2022-02-08 2022-03-08 天津恒宇医疗科技有限公司 双模冠脉血管图像三维融合的方法和融合系统
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN114693622B (zh) * 2022-03-22 2023-04-07 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法
CN116452484A (zh) * 2023-06-20 2023-07-18 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN116452484B (zh) * 2023-06-20 2023-09-26 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN117649350A (zh) * 2024-01-29 2024-03-05 天津恒宇医疗科技有限公司 一种血管内图像和造影图像的融合方法、装置和设备
CN117649350B (zh) * 2024-01-29 2024-05-03 天津恒宇医疗科技有限公司 一种血管内图像和造影图像的融合方法、装置和设备

Similar Documents

Publication Publication Date Title
CN111667447A (zh) 血管内图像融合方法、系统及图像采集装置
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
Huang et al. A review of multimodal medical image fusion techniques
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
US8526691B2 (en) System and method for passive medical device navigation under real-time MRI guidance
JP5944917B2 (ja) 身体内腔分岐を検出及び表示するためのコンピュータ可読媒体及び同コンピュータ可読媒体を含むシステム
WO2011015952A1 (en) Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
CN111178369B (zh) 一种医学影像的识别方法及系统、电子设备、存储介质
Fei et al. Medical image fusion based on feature extraction and sparse representation
CN108806776A (zh) 一种基于深度学习的多模态医学影像的方法
Raza et al. Brain image representation and rendering: A survey
US10939800B2 (en) Examination support device, examination support method, and examination support program
Rajalingam et al. Review of multimodality medical image fusion using combined transform techniques for clinical application
Wang et al. ViT-P: Classification of genitourinary syndrome of menopause from OCT images based on vision transformer models
US20170100087A1 (en) Sensor coordinate calibration in an ultrasound system
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断系统
CN112150564A (zh) 基于深度卷积神经网络医学图像融合算法
JP2000126178A (ja) 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法
Zheng et al. A deep learning method for motion artifact correction in intravascular photoacoustic image sequence
Kutbay et al. A computer-aided diagnosis system for measuring carotid artery intima-media thickness (IMT) using quaternion vectors
WO2008024359A2 (en) Method for detection and visional enhancement of blood vessels and pulmonary emboli
Muthiah et al. Fusion of MRI and PET images using deep learning neural networks
Rani et al. Recent medical image fusion techniques: a review
CN114155243B (zh) 基于特征信息的ivus和oct图像融合方法及系统
Bhavana et al. Multi-modal image fusion using contourlet and wavelet transforms: a multi-resolution approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915

RJ01 Rejection of invention patent application after publication