CN114155243A - 基于特征信息的ivus和oct图像融合方法及系统 - Google Patents

基于特征信息的ivus和oct图像融合方法及系统 Download PDF

Info

Publication number
CN114155243A
CN114155243A CN202210120319.2A CN202210120319A CN114155243A CN 114155243 A CN114155243 A CN 114155243A CN 202210120319 A CN202210120319 A CN 202210120319A CN 114155243 A CN114155243 A CN 114155243A
Authority
CN
China
Prior art keywords
image
ivus
reference image
oct
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210120319.2A
Other languages
English (en)
Other versions
CN114155243B (zh
Inventor
武西宁
赵士勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Hengyu Medical Technology Co ltd
Original Assignee
Tianjin Hengyu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Hengyu Medical Technology Co ltd filed Critical Tianjin Hengyu Medical Technology Co ltd
Priority to CN202210120319.2A priority Critical patent/CN114155243B/zh
Publication of CN114155243A publication Critical patent/CN114155243A/zh
Application granted granted Critical
Publication of CN114155243B publication Critical patent/CN114155243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Abstract

本发明公开了一种基于特征信息的IVUS和OCT图像融合方法及系统。通过获取同一血管段的多帧IVUS图像和OCT图像；提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；分别对所述参考图像和搜索出的最接近的待匹配图像，利用所述管腔轮廓特征进行粗匹配；利用斑块信息或血管分支信息，进行精配准，通过进行主成分分解，并求解加权系数，根据得出的加权系数进行融合；实现了IVUS和OCT两种图像采集模式的精确融合，能够获得血管壁和冠状动脉粥样硬化斑块更加全面的信息。

Description

基于特征信息的IVUS和OCT图像融合方法及系统
技术领域
本发明涉及医疗器械技术领域，尤其涉及基于特征信息的IVUS和OCT图像融合方法及系统。
背景技术
全球范围内，心脑血管疾病已经成为了威胁人类健康的主要疾病之一，冠状动脉粥样硬化是心脑血管疾病的主要病因。血管内超声(intravascular ultrasound，IVUS)和光学相干断层成像(optical coherence tomography，OCT) 是当前诊断心脑血管疾病的主要影像学技术。
IVUS是临床常用的诊断血管病变的一种介入成像技术，它将一微型高频超声探头置于心导管顶端，利用心导管将超声探头导入血管腔内进行探测，再经电子成像系统来显示血管组织结构和几何形态的微细解剖信息。OCT是一种采用近红外光通过测量物体后向散射光的强度对物体进行断层成像的技术，可探查生物组织微米级结构，是一种高分辨率的影像学技术。
IVUS 和OCT的成像原理相似，都是采用能量束在血管腔中进行360°扫描，获得管腔横截面图像，且两者具有优势互补的特点。IVUS由于利用的是超声波的反射现象，因此有利于显示深部结构，即探测深度较深，但对微细结构图像的分辨率却受限。OCT的分辨率较高，轴向分辨率大概是IVUS的10~20倍，但其穿透组织的能力明显不如IVUS。如果可以将两种图像融合在一起，充分发挥IVUS的强组织穿透力和OCT高分辨率的优势，便能够获得血管壁和冠状动脉粥样硬化斑块更加全面的信息，从而为冠心病的计算机辅助诊治和对介入治疗效果的评价等提供更为有效的依据。然而到目前为止，对于IVUS和OCT图像融合的研究较少，还未找到一种有效的融合方法。
发明内容
因此，本发明的目的在于提供一种基于特征信息的IVUS和OCT图像融合方法及系统，实现了IVUS和OCT两种图像采集模式的精确融合，能够获得血管壁和冠状动脉粥样硬化斑块更加全面的信息。
为了实现上述目的，本发明的一种基于特征信息的IVUS和OCT图像融合方法，包括如下步骤：
S1、获取同一血管段的多帧IVUS图像和OCT图像；
S2、在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像；
S3、分别对所述参考图像和搜索出的最接近的待匹配图像，利用所述管腔轮廓特征进行粗匹配；
S4、对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
进一步优选的，在S2中，所述对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像，采用以下方法：
采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；
计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
进一步优选的，在S3中，在所述利用管腔轮廓特征进行粗匹配时，包括以下步骤：
根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；
根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；
参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；
将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
进一步优选的，在S4中，所述利用斑块信息，进行精配准，包括如下方法：
利用机器学习法筛选含有斑块的待测样本，并提取待测样本中各图像的斑块轮廓，并识别斑块类型；所述待测样本包括参考图像和待配准图像；
根据所述斑块轮廓计算斑块质心，并相同斑块类别的质心标记为一个匹配对；
根据匹配对的位置信息利用相似变换矩阵求出精配准平移参数、精配准尺度参数和精配准旋转参数；
利用得出的精配准平移参数、精配准尺度参数和精配准旋转参数，对带有斑块的待配准图像进行变换，完成与参考图像的配准。
进一步优选的，还包括，所述机器学习法在对待测样本进行筛选之前，按照如下方法，进行训练：
对训练样本采用灰度-梯度共生矩阵进行特征提取；
对提取出的特征进行归一化处理；
利用归一化处理后的特征，对支持向量机进行训练；得到支持向量机的最佳配置参数；
利用设置最佳配置参数的支持向量机，对待测样本进行检测。
进一步优选的，在S4中，当血管中不存在斑块时，则利用血管分支信息进行精配准，所述利用血管分支信息，进行精配准之前，还包括按照如下方法筛选包含血管分支的图像；
利用机器学习的方法识别待测图像中是否包含血管分支，若包含血管分支，则将血管分支处的管腔轮廓置零，得到一个存在开口的血管轮廓曲线；若不包含血管分支，则得到封闭的血管轮廓曲线。
进一步优选的，所述对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合，包括如下步骤：
获取精配准后的图像的协方差矩阵，并计算协方差矩阵的特征值和特征向量；
计算个特征值的加权系数wi
Figure 743583DEST_PATH_IMAGE001
按照如下公式得出融合后的图像满足的向量矩阵
Figure 97204DEST_PATH_IMAGE002
其中F为融合后的图像满足的向量矩阵，
Figure 895396DEST_PATH_IMAGE003
为特征值，
Figure 622525DEST_PATH_IMAGE004
为特征向量。
本发明一种基于特征信息的IVUS和OCT图像融合系统，包括图像获取模块和图像处理模块；所述图像获取模块，用于获取同一血管段的多帧IVUS图像和OCT图像；
图像处理模块，用于在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出与所述参考图像最接近的图像；分别对所述参考图像和所述搜索出的最接近的待匹配图像，提取所述管腔轮廓特征，利用所述管腔轮廓特征进行粗匹配；对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
进一步，所述图像处理模块包括距离计算单元和图像匹配单元，所述距离计算单元用于采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
所述图像匹配单元，用于选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
进一步，所述图像处理模块还包括坐标计算单元，所述坐标计算单元用于根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
本申请公开的基于特征信息的IVUS和OCT图像融合方法和系统，相比于现有技术，至少具有以下优点：
首先，通过提取血管图像的管腔轮廓，依据管腔轮廓形状的质心以及长短轴对图像进行粗配准。其次，为了得到更加精确的配准结果，利用图像中含有的斑块特征和血管分支特征对图像进行二次配准，从而提高含有病变血管图像配准的准确率。最后，利用主成分分解确定加权系数的方法进行图像融合，该方法克服了现有技术的不足，简单有效，能够得到更加准确的图像融合结果。
附图说明
图1为本发明的基于特征信息的IVUS和OCT图像融合方法流程示意图；
图2为基于斑块特征信息进行精匹配的方法流程示意图；
图3为原始的OCT血管图像；
图4为原始的IVUS血管图像；
图5为配准后的IVUS血管图像，该血管图像具有分支特征；
图6为带有血管分支的OCT和IVUS最终的融合结果图；
图7分别为原始的OCT血管图像；
图8为原始的IVUS血管图像；
图9为配准后的IVUS血管图像；
图10为血管内狭窄的OCT和IVUS最终的融合结果图；
图11为带有斑块的OCT和IVUS最终的融合结果图。
具体实施方式
以下通过附图和具体实施方式对本发明作进一步的详细说明。
如图1所示，本发明一方面实施例提供的一种基于特征信息的IVUS和OCT图像融合方法，包括如下步骤：
S1、获取同一血管段的多帧IVUS图像和OCT图像；
S2、在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像；
S3、分别对所述参考图像和搜索出的最接近的待匹配图像，利用所述管腔轮廓特征进行粗匹配；
S4、对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
在S1中，OCT和IVUS血管图像的获取是从OCT-US成像系统中实时采集的数据或者读取事先采集并保存好的数据；在图像数据采集的过程中，OCT和IVUS数据可以是分开采集的，即回撤两次从而得到不同模式下的血管图像。在本发明提出OCT-US双模系统中，OCT的帧率为180帧/s，回撤速度为20mm/s，图像大小为1024*1024；IVUS的帧率为30帧/s，回撤速度为0.5mm/s，图像大小为1024*1024。因此，在相同1mm的血管段中，OCT将会产生9帧图像，而IVUS将会产生60帧图像。也可以是一次回撤同时采集OCT和IVUS数据，根据需要对感兴趣局部血管段，调整回撤速度，进行1mm/s速度回撤，回撤时间3s。因此，在相同1mm的血管段中，OCT将会产生180帧图像，而IVUS将会产生30帧图像。
为了得到高保真的图像，尽可能的还原组织信息的真实结构，保证后期轮廓提取算法的稳定性，必须对获取的血管图像作去噪处理。通过对各种滤波算法的研究和验证，考虑到噪声的去除和边缘的保留，在本实施案例中，滤波器优选3*3大小的中值滤波器。为了提高信噪比，尖锐图像边缘，再将图像灰度线性拉伸至0~255。
S2、在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像；
在本实施案例中，利用的是Snake模型提取血管的管腔轮廓。由于Sanke模型的求解对选取的初始轮廓敏感，因此初始轮廓的的选取要尽可能接近目标边缘，对于第一帧图像，采用手动的方式，在管腔轮廓上均匀的选取i个点，并利用B样条插值算法，得到一个封闭的平滑曲线。对其它序列图像则根据其时间上的相关性，取其前一帧图像的管腔轮廓作为自身的初始轮廓进行平滑演变，则最终得到OCT和IVUS各帧血管图像的管腔轮廓曲线。
进一步优选的，在S2中，所述对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像，采用以下方法：
采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；
计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
在一个具体实施例中，由于OCT和IVUS的成像速度不一样，当回撤相同长度的血管 段时，IVUS成像的帧数要多于OCT成像的帧数。在本实施案例中，回撤1mm的血管段，OCT成像 9帧，IVUS成像60帧。图像配准中，OCT作为参考图像，IVUS作为待配准的图像，一帧OCT图像 对应7帧的IVUS图像。因此，对于一帧的OCT图像，需要在7帧的IVUS图像中搜索出与其最匹 配的图像。Hausdorff距离是一种定义两个点集上的最大-最小距离，它主要用于测量两个 点集的匹配程度。给定两个有限点集
Figure 822562DEST_PATH_IMAGE005
和
Figure 347084DEST_PATH_IMAGE006
，则A，B之间的 Hausdorff距离定义为：
Figure 632572DEST_PATH_IMAGE007
(1)
式中
Figure 635163DEST_PATH_IMAGE008
为从点集A到点集B的有向Hausdorff距离，
Figure 689707DEST_PATH_IMAGE009
可作类推。
Figure 650710DEST_PATH_IMAGE010
(2)
Figure 423493DEST_PATH_IMAGE011
(3)
Hausdorff距离取和的最大值，通过计算这二者的最大值就可获得两个点集之间的匹配程度，点集中各点的值是管腔轮廓曲线上该点的曲率，通过计算OCT图像管腔轮廓曲线与IVUS图像管腔轮廓曲线之间的Hausdorff距离来表征它们的相似程度。因此，对于1帧OCT图像从7帧IVUS图像中选出Hausdorff距离最小的一帧作为对应的待配准IVUS图像，其他帧以此类推。
S3、分别对所述参考图像和搜索出的最接近的待匹配图像，利用所述管腔轮廓特征进行粗匹配；
进一步优选的，在S3中，在所述利用管腔轮廓特征进行粗匹配时，包括以下步骤：
根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；
根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；
参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；
将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
具体按照如下过程进行计算；首先，求出OCT和IVUS管腔轮廓的质心，坐标分别为
Figure 229775DEST_PATH_IMAGE012
和
Figure 138826DEST_PATH_IMAGE013
。然后遍历管腔轮廓图上的点通过搜索的方法求出曲线的长短轴，并且长短 轴通过曲线的质心。从而求得OCT管腔轮廓的长短轴坐标分别为
Figure 5150DEST_PATH_IMAGE014
，
Figure 265230DEST_PATH_IMAGE015
，
Figure 609624DEST_PATH_IMAGE016
，
Figure 638760DEST_PATH_IMAGE017
，按照式4求出长短轴的长度分别为
Figure 941565DEST_PATH_IMAGE018
,
Figure 157783DEST_PATH_IMAGE019
。
Figure 571447DEST_PATH_IMAGE020
(4)
同理求得IVUS管腔轮廓的长短轴坐标分别为
Figure 455089DEST_PATH_IMAGE021
，
Figure 931726DEST_PATH_IMAGE022
，
Figure 635239DEST_PATH_IMAGE023
，
Figure 587015DEST_PATH_IMAGE024
，长度分别为
Figure 590743DEST_PATH_IMAGE025
,
Figure 235351DEST_PATH_IMAGE026
。
步骤S6，计算平移、尺度和旋转参数，进行粗配准。在配准的过程中，OCT图像作为 参考图像，IVUS图像作为待配准图像。首先求平移参数，根据步骤S4求出的质心坐标，根据 式5求得到平移参数
Figure 691740DEST_PATH_IMAGE027
。
Figure 447206DEST_PATH_IMAGE028
(5)
其次，根据长短轴的长度求尺度参数S，公式如式6。通过求两者的平均，从而使得尺度参数S更加可靠。
Figure 39862DEST_PATH_IMAGE029
(6)
最后，求旋转参数
Figure 855371DEST_PATH_IMAGE030
。首先根据求出的平移参数和尺度参数对IVUS图像中求出的 质心坐标和长短轴坐标进行变换。然后以质心坐标点为圆心，重新建立坐标系，将长短轴的 四个坐标点按式7转到极坐标下，分别为
Figure 799056DEST_PATH_IMAGE031
，
Figure 358214DEST_PATH_IMAGE032
，
Figure 70955DEST_PATH_IMAGE033
，
Figure 791786DEST_PATH_IMAGE034
。 同理，将OCT图像中长短轴坐标转换到极坐标下，分别为
Figure 222767DEST_PATH_IMAGE035
，
Figure 320036DEST_PATH_IMAGE036
，
Figure 887284DEST_PATH_IMAGE037
，
Figure 779017DEST_PATH_IMAGE038
。
Figure 694364DEST_PATH_IMAGE039
(7)
对于OCT和IVUS的管腔轮廓的长短轴坐标来说，经过初步的配准后，在极坐标系 下，对应点具有相同的
Figure 595324DEST_PATH_IMAGE040
，由于存在角度的旋转，因此
Figure 17078DEST_PATH_IMAGE041
存在差值。据此通过求相同
Figure 345291DEST_PATH_IMAGE042
值对 应的
Figure 219707DEST_PATH_IMAGE043
值之差便可以求出旋转参数
Figure 924357DEST_PATH_IMAGE044
，最终的
Figure 466197DEST_PATH_IMAGE045
为四个点的
Figure 965312DEST_PATH_IMAGE046
值之差的平均值。
求得平移、尺度和旋转参数后，按式8对IVUS图像进行配准。在对待配准的IVUS图像进行相似变换时，可能会映射到非整数的坐标位置，此处的灰度值便需要通过插值技术来确定。考虑到采用最近邻插值得到的图像连续性不好，双三次插值计算量大，在本实施案例中，采用了双线性插值的方法实现对IVUS图像的灰度插值，该插值算法解决了图像灰度不连续问题，且计算量适中。
Figure 592602DEST_PATH_IMAGE047
(8)
S4、对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
进一步优选的，在S4中，所述利用斑块信息，进行精配准，包括如下方法：
利用机器学习法筛选含有斑块的待测样本，并提取待测样本中各图像的斑块轮廓，并识别斑块类型；所述待测样本包括参考图像和待配准图像；
根据所述斑块轮廓计算斑块质心，并相同斑块类别的质心标记为一个匹配对。
根据匹配对的位置信息利用相似变换矩阵求出精配准平移参数、精配准尺度参数和精配准旋转参数；
利用得出的精配准平移参数、精配准尺度参数和精配准旋转参数，对带有斑块的待配准图像进行变换，完成与参考图像的配准。
图7、图8、图9分别为采集的含有斑块的原始的OCT血管图像，原始的IVUS血管图像，图9所示为根据斑块信息进行精配准，配准后的IVUS血管图像，根据图中可以明显看出血管图像具有血管内狭窄的特征。
进一步优选的，还包括所述机器学习法在对待测样本进行筛选之前，按照如下方法，进行训练：
对训练样本采用灰度-梯度共生矩阵进行特征提取；
对提取出的特征进行归一化处理；
利用归一化处理后的特征，对支持向量机进行训练；得到支持向量机的最佳配置参数；
利用设置最佳配置参数的支持向量机，对待测样本进行检测。首先，采用机器学习的方法寻找含有斑块的图像并提取斑块轮廓，该过程的流程图如图2所示。灰度-梯度共生矩阵能够很清晰地表现图像内像素灰度与梯度的分布规律，同时也体现了各像素与其邻域像素的空间关系，对图像的纹理描绘有很好的效果。灰度-梯度共生矩阵能产生多达15个特征值，在本实施案例中，采用不均行性、灰度平均、梯度平均、灰度均方差、梯度均方差和惯性这六个满足分离要求的特征,组成样本的特征向量。特征提取的过程是采用40*40大小的窗口遍历整个图像，提取图像的特征，然后对特征数据进行归一化处理。支持向量机分类器采用的是径向基函数作为核函数，采用交叉验证法对参数进行优化。训练的数据是由专业人员对斑块进行标定和分类，最后将待测样本的特征向量送入训练好的支持向量机分类器进行分类，从而得到图像中斑块的类别和轮廓。 得到斑块的轮廓后，若一幅图像中的斑块数目大于1，则求各个斑块轮廓的质心，相同斑块类别的质心为一个匹配对，根据匹配对的位置信息利用相似变换矩阵求出平移、尺度和旋转参数；若在图像中只提取到一个斑块轮廓，则按照上述基于形状特征的进行粗匹配的方法进行各个参数的求解。最后，利用相似变换再一次对图像进行配准。配准过程中，依然采用双线性插值的方法解决映射到非整数坐标的问题。。
如图3、图4所示进一步优选的，在S4中，当血管中不存在斑块时，则利用血管分支信息进行精配准，图5为利用血管分支信息进行精配准之后的配准图；配准之后在进行融合，得到图6所示的带有分支的OCT和IVUS最终的融合结果图。
所述利用血管分支信息，进行精配准之前，还包括按照如下方法筛选包含血管分支的图像；
利用机器学习的方法识别待测图像中是否包含血管分支，若包含血管分支，则将血管分支处的管腔轮廓置零，得到一个存在开口的血管轮廓曲线；若不包含血管分支，则得到封闭的血管轮廓曲线。
进一步优选的，所述对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合，包括如下步骤：
获取精配准后的图像的协方差矩阵，并计算协方差矩阵的特征值和特征向量；具 体为：将OCT和IVUS图像一维向量，记作
Figure 835365DEST_PATH_IMAGE048
，由图像源数据构造数据矩阵
Figure 966132DEST_PATH_IMAGE049
；
计算数据矩阵X的协方差矩阵C；
计算协方差矩阵C的特征值
Figure 636147DEST_PATH_IMAGE050
和相应的特征向量
Figure 750734DEST_PATH_IMAGE051
；
计算各特征值的加权系数
Figure 531608DEST_PATH_IMAGE052
Figure 48040DEST_PATH_IMAGE053
（9）
按照如下公式得出融合后的图像满足的向量矩阵
Figure 154536DEST_PATH_IMAGE054
(10）
其中F为融合后的图像满足的向量矩阵，
Figure 490840DEST_PATH_IMAGE055
为特征值，
Figure 78335DEST_PATH_IMAGE056
为特征向量。
本发明一种基于特征信息的IVUS和OCT图像融合系统，用于实施上述方法，包括图像获取模块和图像处理模块；所述图像获取模块，用于获取同一血管段的多帧IVUS图像和OCT图像；图像获取模块采用的是单个导管，在同一个导管内，OCT光学探头与IVUS换能器背靠背固定在金属帽内，背靠背的设计即在同一轴向位置的声光出口相距180°。
图像处理模块，用于在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出与所述参考图像最接近的图像；分别对所述参考图像和所述搜索出的最接近的待匹配图像，提取所述管腔轮廓特征，利用所述管腔轮廓特征进行粗匹配；对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。所述图像处理模块包括距离计算单元和图像匹配单元，所述距离计算单元用于采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
所述图像匹配单元，用于选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
所述图像处理模块还包括坐标计算单元，所述坐标计算单元用于根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
图10示意了对于血管内狭窄的OCT和IVUS图像的融合结果。图11示意了具有斑块特征的OCT和IVUS血管图像的融合结果。从融合结果图中可以看到本发明的算法可以使得OCT和IVUS图像得到有效的融合，从而使得OCT和IVUS图像优势互补，不仅具有较深的探测深度还具有微米级的图像分辨率，为冠心病的计算机辅助诊治和对介入治疗效果的评价等提供更为有效的依据。
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于特征信息的IVUS和OCT图像融合方法，其特征在于，包括如下步骤：
S1、获取同一血管段的多帧IVUS图像和OCT图像；
S2、在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像；
S3、分别对所述参考图像和搜索出的最接近的待匹配图像，利用所述管腔轮廓特征进行粗匹配；
S4、对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
2.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，在S2中，所述对于任意一帧参考图像，在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图像，采用以下方法：
采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；
计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
3.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，在所述利用管腔轮廓特征进行粗匹配时，包括以下步骤：
在S3中，根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；
根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；
参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；
将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
4.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，所述利用斑块信息，进行精配准，包括如下方法：
在S4中，利用机器学习法筛选含有斑块的待测样本，并提取待测样本中各图像的斑块轮廓，并识别斑块类型；所述待测样本包括参考图像和待配准图像；
根据所述斑块轮廓计算斑块质心，并将相同斑块类别的质心标记为一个匹配对；
根据匹配对的位置信息，利用相似变换矩阵求出精配准平移参数、精配准尺度参数和精配准旋转参数；
利用得出的精配准平移参数、精配准尺度参数和精配准旋转参数，对带有斑块的待配准图像进行变换，完成与参考图像的配准。
5.根据权利要求4所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，还包括，所述机器学习法在对待测样本进行筛选之前，按照如下方法，进行训练：
对训练样本采用灰度-梯度共生矩阵进行特征提取；
对提取出的特征进行归一化处理；
利用归一化处理后的特征，对支持向量机进行训练；得到支持向量机的最佳配置参数；
利用设置最佳配置参数的支持向量机，对待测样本进行检测。
6.根据权利要求4所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，当血管中不存在斑块时，则利用血管分支信息进行精配准，所述利用血管分支信息，进行精配准之前，还包括按照如下方法筛选包含血管分支的图像；
利用机器学习的方法识别待测图像中是否包含血管分支，若包含血管分支，则将血管分支处的管腔轮廓置零，得到一个存在开口的血管轮廓曲线；若不包含血管分支，则得到封闭的血管轮廓曲线。
7.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法，其特征在于，在S4中，所述对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合，包括如下步骤：
获取精配准后的图像的协方差矩阵，并计算协方差矩阵的特征值和特征向量；
计算各特征值的加权系数wi
Figure 747326DEST_PATH_IMAGE001
；
按照如下公式得出融合后的图像满足的向量矩阵
Figure 195625DEST_PATH_IMAGE002
；
其中F为融合后的图像满足的向量矩阵，
Figure 506521DEST_PATH_IMAGE003
为特征值，
Figure 429959DEST_PATH_IMAGE004
为特征向量。
8.一种基于特征信息的IVUS和OCT图像融合系统，其特征在于，包括
图像获取模块，用于获取同一血管段的多帧IVUS图像和OCT图像；
图像处理模块，用于在所述IVUS图像和OCT图像中，提取管腔轮廓特征；任选IVUS图像或OCT图像中的一种，作为参考图像，另一种作为待匹配图像；对提取的所述管腔轮廓特征，选取有限点集；对于任意一帧参考图像，在多帧待匹配图像中搜索出与所述参考图像最接近的图像；分别对所述参考图像和所述搜索出的最接近的待匹配图像，提取所述管腔轮廓特征，利用所述管腔轮廓特征进行粗匹配；对所述粗匹配后的图像，利用斑块信息或血管分支信息，进行精配准，对精配准后的图像，进行主成分分解，并求解加权系数，根据得出的加权系数进行融合。
9.根据权利要求8所述的基于特征信息的IVUS和OCT图像融合系统，其特征在于，所述图像处理模块包括距离计算单元和图像匹配单元，所述距离计算单元用于采用Hausdorff距离公式，从参考图像的管腔轮廓特征中，选取有限点集，并从对应的多帧待匹配图像中的相同位置，选取对应点集；计算每一帧待匹配图像中对应点集与所述参考图像的有限点集的Hausdorff距离；
所述图像匹配单元，用于选取Hausdorff距离取得最小值时的待匹配图像，作为与所述参考图像最接近的图像。
10.根据权利要求8所述的基于特征信息的IVUS和OCT图像融合系统，，其特征在于，所述图像处理模块还包括坐标计算单元，所述坐标计算单元用于根据参考图像与待配准图像的管腔轮廓特征，分别求取参考图像与待配准图像的管腔轮廓曲线的质心坐标以及长短轴坐标；根据参考图像与待配准图像分别得出的质心坐标，计算平移参数；参考图像与待配准图像分别得出的长短轴坐标，分别计算长短轴的长度平均值，并将长度平均值作为尺度参数；将参考图像与待配准图像的质心坐标以及长短轴坐标，分别转换为极坐标形式，计算极坐标下的旋转参数。
CN202210120319.2A 2022-02-09 2022-02-09 基于特征信息的ivus和oct图像融合方法及系统 Active CN114155243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210120319.2A CN114155243B (zh) 2022-02-09 2022-02-09 基于特征信息的ivus和oct图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210120319.2A CN114155243B (zh) 2022-02-09 2022-02-09 基于特征信息的ivus和oct图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN114155243A true CN114155243A (zh) 2022-03-08
CN114155243B CN114155243B (zh) 2022-07-05

Family

ID=80450056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210120319.2A Active CN114155243B (zh) 2022-02-09 2022-02-09 基于特征信息的ivus和oct图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN114155243B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272447A (zh) * 2022-09-29 2022-11-01 全景恒升（北京）科学技术有限公司 基于多模态影像的血流储备分数计算方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509303A (zh) * 2011-11-22 2012-06-20 鲁东大学 基于改进的结构相似度的二值化图像配准方法
CN104376549A (zh) * 2014-11-20 2015-02-25 华北电力大学（保定） 血管内超声与血管内oct图像的融合方法
CN108038848A (zh) * 2017-12-07 2018-05-15 上海交通大学 基于医学影像序列斑块稳定性指标的快速计算方法及系统
CN108053433A (zh) * 2017-11-28 2018-05-18 浙江工业大学 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法
CN109584195A (zh) * 2018-11-20 2019-04-05 深圳英美达医疗技术有限公司 一种双模图像自动融合方法
CN111784720A (zh) * 2020-06-19 2020-10-16 天津大学 一种dsa和ivoct的血管图像融合方法
CN112509020A (zh) * 2020-12-07 2021-03-16 昆山戎影医疗科技有限公司 血管外部影像与腔内影像的配准方法、装置及计算设备
CN113544737A (zh) * 2019-01-13 2021-10-22 光实验成像公司 用于动脉图像区域及其特征的分类的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509303A (zh) * 2011-11-22 2012-06-20 鲁东大学 基于改进的结构相似度的二值化图像配准方法
CN104376549A (zh) * 2014-11-20 2015-02-25 华北电力大学（保定） 血管内超声与血管内oct图像的融合方法
CN108053433A (zh) * 2017-11-28 2018-05-18 浙江工业大学 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法
CN108038848A (zh) * 2017-12-07 2018-05-15 上海交通大学 基于医学影像序列斑块稳定性指标的快速计算方法及系统
CN109584195A (zh) * 2018-11-20 2019-04-05 深圳英美达医疗技术有限公司 一种双模图像自动融合方法
CN113544737A (zh) * 2019-01-13 2021-10-22 光实验成像公司 用于动脉图像区域及其特征的分类的系统和方法
CN111784720A (zh) * 2020-06-19 2020-10-16 天津大学 一种dsa和ivoct的血管图像融合方法
CN112509020A (zh) * 2020-12-07 2021-03-16 昆山戎影医疗科技有限公司 血管外部影像与腔内影像的配准方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王文武: "应用主成分分解(PCA)法的图像融合技术", 《图像处理》 *
逄业文: "多摄像头监控场景下视频图像拼接技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272447A (zh) * 2022-09-29 2022-11-01 全景恒升（北京）科学技术有限公司 基于多模态影像的血流储备分数计算方法、装置及设备
CN115272447B (zh) * 2022-09-29 2022-12-20 全景恒升（北京）科学技术有限公司 基于多模态影像的血流储备分数计算方法、装置及设备

Also Published As

Publication number Publication date
CN114155243B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US10561403B2 (en) Sensor coordinate calibration in an ultrasound system
US11049246B2 (en) Rapid calculation method and system for plaque stability index based on medical image sequence
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
US6385332B1 (en) Automated segmentation method for 3-dimensional ultrasound
CN110338844B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
EP1904971B1 (en) Method and computer program for spatial compounding of images
CN110448319B (zh) 基于造影影像及冠状动脉的血流速度计算方法
JP2000126182A (ja) 腫瘍診断方法
EP2812882B1 (en) Method for automatically measuring a fetal artery and in particular the abdominal aorta and device for the echographic measurement of a fetal artery
CN111667447A (zh) 血管内图像融合方法、系统及图像采集装置
JP2013543786A (ja) 身体内腔分岐を検出及び表示するためのシステム及び方法
CN114145719B (zh) 双模冠脉血管图像三维融合的方法和融合系统
CN115830016B (zh) 医学图像配准模型训练方法及设备
US20170100087A1 (en) Sensor coordinate calibration in an ultrasound system
CN114155243B (zh) 基于特征信息的ivus和oct图像融合方法及系统
Pociask et al. Fully automated lumen segmentation method for intracoronary optical coherence tomography
CN109674493B (zh) 医用超声自动追踪颈动脉血管的方法、系统及设备
JP2000126178A (ja) 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
Kutbay et al. A computer-aided diagnosis system for measuring carotid artery intima-media thickness (IMT) using quaternion vectors
Zhang et al. Automatic plaque segmentation in coronary optical coherence tomography images
Lazrag et al. Combination of the Level-Set Methods with the Contourlet Transform for the Segmentation of the IVUS Images
Klingensmith et al. Segmentation of three-dimensional intravascular ultrasound images using spectral analysis and a dual active surface model
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
Gangidi et al. Automatic segmentation of intravascular ultrasound images based on temporal texture analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant