CN113724377B - 冠脉血管的三维重建方法、装置、电子设备及存储介质 - Google Patents
冠脉血管的三维重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113724377B CN113724377B CN202111282814.5A CN202111282814A CN113724377B CN 113724377 B CN113724377 B CN 113724377B CN 202111282814 A CN202111282814 A CN 202111282814A CN 113724377 B CN113724377 B CN 113724377B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- ivus
- dimensional
- point
- cag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本申请提供一种冠脉血管的三维重建方法、装置、电子设备及存储介质,该方法包括:基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型。
Description
技术领域
本申请涉及但不限于计算机技术领域,尤其涉及一种冠脉血管的三维重建方法、装置、电子设备及存储介质。
背景技术
冠状动脉造影(Coronary angiography,CAG)是对血管的冠状动脉的结构与血管狭窄进行客观的诊断,并可以通过重建三维血管获得三维血管骨架。血管内超声成像(Intravascular Ultrasound,IVUS)不仅可以对血管腔的直径、面积等参数进行精确测量,而且可以发现早期的冠状动脉粥样硬化斑块,进而对斑块的偏心距,壁厚及成分含量进行检测。
相关技术中,在CAG血管重建后,将IVUS数据与其融合,然而,由于拍摄角度问题,导致CAG图像重建的血管并不是真实血管的长度,得到的冠脉血管的三维重建模型不准确。
发明内容
本申请实施例提供一种冠脉血管的三维重建方法、装置、电子设备及存储介质,以解决相关技术中由于拍摄角度问题,导致CAG图像重建的血管并不是真实血管的长度,得到的冠脉血管的三维重建模型不准确的问题。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种冠脉血管的三维重建方法,所述方法包括:
基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;
基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;
基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型。
本申请实施例提供一种冠脉血管的三维重建装置,所述装置包括:
处理模块,用于基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;
重建模块,用于基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;
融合模块,用于基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型。
本申请实施例提供一种电子设备,所述电子设备包括:处理器、存储器和通信总线;
所述通信总线用于实现处理器和存储器之间的通信连接;
所述处理器用于执行存储器中存储的冠脉血管的三维重建程序,以实现上述所述的冠脉血管的三维重建方法的步骤。
本申请实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述所述的冠脉血管的三维重建方法的步骤。
本申请提供的冠脉血管的三维重建方法、装置、电子设备及存储介质,该方法基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;也就是说,本申请通过在CAG图像给定的关键点位置,通过帧数以及IVUS回撤速率计算出真实的血管几何参数如血管的长度,进而基于准确的血管几何参数进行三维血管重建,从而基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,构建一个较为准确的三维模型。
附图说明
图1本申请实施例提供的一种冠脉血管的三维重建方法的流程示意图;
图2A本申请实施例提供的选取IVUS图像的内轮廓部分点的示意图;
图2B本申请实施例提供的拟合出内轮廓边界的示意图;
图2C本申请实施例提供的IVUS图像对应的二值化图像的示意图;
图3A本申请实施例提供的造第一二维血管中心点的示意图;
图3B本申请实施例提供的第二二维血管中心点的示意图;
图4本申请实施例提供的CAG三维血管重建的示意图;
图5A本申请实施例提供的第一轮廓点的示意图;
图5B本申请实施例提供的第二轮廓点的示意图;
图6本申请实施例提供的CAG三维血管轮廓的示意图;
图7本申请实施例提供的关键点位置对应的IVUS帧数的示意图;
图8本申请实施例提供的CAG血管修复的示意图;
图9本申请实施例提供的CAG血管中心线上IVUS回撤路径的示意图;
图10本申请实施例提供的选取关键点位置的角度的示意图;
图11本申请实施例提供的三维坐标系下IVUS轮廓点云的示意图;
图12本申请实施例提供的IVUS图像数据与CAG血管中心线融合的网络模型的示意图;
图13本申请实施例提供的一种冠脉血管的三维重建装置的结构示意图;
图14本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例提供一种冠脉血管的三维重建方法,该方法应用于电子设备,参见图1所示,该方法包括:
步骤101、基于血管内超声成像IVUS序列,提取IVUS血管内轮廓。
本申请实施例中,IVUS序列即多帧IVUS图像可以通过导丝探头拍摄得到。示例性的,一次性拍摄一根血管,拍摄的帧数在2000帧以上。在一些实施例中,每隔N帧,执行IVUS图像标记,提取一个IVUS血管内轮廓,N取值为正整数,例如N=5;本申请对N的取值不做具体地限定。需要说明的是,在斑块的位置相比在其他位置,N的取值更小,例如,可逐帧进行标记,保证提取的血管内膜能准确的去除斑块。
示例性的,在IVUS图像标记过程中,先通过人工交互式操作选取IVUS图像的内轮廓部分点,如图2A所示;然后进行三次样条插值法,拟合出内轮廓边界,如图2B所示;最后得到一个二值化图像,如图2C所示,最终IVUS图像的二值化数据为(441,512,512),其中,441表征IVUS序列中共有441帧IVUS图像提取IVUS血管内轮廓,最终IVUS图像的分辨率为512×512。
步骤102、基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建。
由于拍摄问题,重建的CAG三维血管的长度并不是真实血管长度,存在一定的差异。为此,本申请实施例在CAG图像中,指定部分关键点并给出关键点位置的IVUS对应的帧数。进而基于帧数和IVUS回撤速率,计算血管几何参数,得到血管的真实几何参数如长度。从而基于几何参数进行三维血管重建,确保三维重建的准确性。
步骤103、基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型。
本申请实施例中,在得到精确的重建的三维血管的中心线的情况下,基于IVUS血管内轮廓,在重建的三维血管的中心线上至少将部分IVUS图像插入到重建的三维血管的中心线上,对IVUS序列的至少部分IVUS图像进行定位和定向,得到融合后的三维冠脉血管模型。
本申请提供的冠脉血管的三维重建方法、装置、电子设备及存储介质,该方法基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;也就是说,本申请通过在CAG图像给定的关键点位置,通过帧数以及IVUS回撤速率计算出真实的血管几何参数如血管的长度,进而基于准确的血管几何参数进行三维血管重建,从而基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,构建一个较为准确的三维模型。
本申请其他实施例中,步骤102中基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,可以通过如下步骤实现:
A11、基于相同时刻不同角度的CAG图像,提取三维血管中心线和CAG血管轮廓。
A12、基于帧数以及IVUS回撤速率,对三维血管中心线上目标血管段的长度进行修复。
本申请其他实施例中,A11中基于相同时刻不同角度的CAG图像,提取三维血管中心线,可以通过如下步骤实现:
A111、基于相同时刻不同角度的CAG图像,分别提取血管中心线上的多个关键点,得到第一匹配点和第二匹配点;
本申请实施例中,相同时刻不同角度的CAG图像可以是两帧CAG图像,当然,相同时刻不同角度的CAG图像可以是两帧以上的CAG图像。
以相同时刻不同角度的CAG图像是两帧CAG图像为例,在一些实施例中,光源到物体折射的投影为造影图像,例如光源的空间坐标系为,光源的空间坐标系为。尽量保证选择同时刻,两个角度的CAG图,此时,两帧CAG图像包括造影图像1与造影图像2,第一匹配点P1包括提取的造影图像1的血管中心线上的多个关键点,第二匹配点P2包括提取的造影图像2的血管中心线上的多个关键点。
A112、对第一匹配点进行三次样条插值函数处理,得到拟合出的第一二维血管中心点。
这里,在造影图像1与造影图像2上选择部分关键点位置,利用B样条插值法,拟合出相应的血管中心线,得到第一二维血管中心点P11。
A113、对第二匹配点进行三次样条插值函数处理,得到拟合出的第二二维血管中心点。
A114、基于空间旋转和平移变换,将第一二维血管中心点和第二二维血管中心点转换到三维空间中,得到第一目标中心点。
这里,通过空间旋转和平移变换,可以将造影图像1与造影图像2中血管中心线转换到真实世界中的位置,获取血管三维坐标。
其中,,分别表示轴顺时针旋转,角度,,分别表示轴顺时针旋转,角度。表示沿轴平移L1的平移矩阵,L1为光源1到被投影物(人体)的距离,表示沿轴平移L2的平移矩阵,L2为光源2到被投影物(人体)的距离。此处所涉及的角度与光源到被投影物的距离相关参数,在CAG图像拍摄时图像头文件信息有所记录。
A115、将第一目标中心点分别反投影至不同角度的CAG图像的二维平面上,得到第三二维血管中心点和第四二维血管中心点。
A116、基于第一二维血管中心点对第三二维血管中心点进行更新,并基于第二二维血管中心点对第四二维血管中心点进行更新。
由于拍摄时机器记录的角度与距离信息可能存在一定偏差,因此本申请提出将重构结果后三维血管分别反投影到造影图像1与造影图像2中二维平面上,采用模拟退火算法最小化距离误差,优化初始化角度参数,,,、光源到被投影的距离参数L与光源到投影平面的距离参数D。使用优化后的参数再次进行血管重建。
A117、基于更新后的第三二维血管中心点和更新后的第四二维血管中心点,提取第三目标中心点作为三维血管中心线。
这里,第一目标中心点初始三维血管真实坐标,本申请将重新构建的初始三维血管真实坐标进行反投影,对重建的三维血管进行优化,直至反投影的结果与投影的结果之间误差在误差范围内,则确定此时构建的三维血管真实坐标符合要求。
进一步地,对上述A111-A117作出进一步的说明,在一个可实现的实施例中,首先,选择冠状动脉造影CAG序列中相同时刻不同角度的CAG图像,例如选择两个不同角度的CAG图像中同时对应的第M帧CAG图像,得到两帧CAG图像如造影图像1与造影图像2,并分别在两个角度上取出血管中心线上的多个关键点,记为第一匹配点P1与第二匹配点P2。其中,M取值为正整数,例如M=27;本申请对M的取值不做具体地限定。其次,对第一匹配点P1与第二匹配点P2分别进行三次样条插值函数处理,拟合出二维中心线,记为第一二维血管中心点P11如图3A所示,第二二维血管中心点P12如图3B所示。接着,通过空间旋转和平移变换,将第一二维血管中心点P11与第二二维血管中心点P12转换到三维空间中即真实世界中的位置,利用对极线方程的约束,使用最小二乘法求解初始血管真实坐标即三维血管真实坐标,记为第一目标中心点。然后,将重构结果后的第一目标中心点反投影回二维平面,记为第三二维血管中心点与第四二维血管中心点。第三二维血管中心点为造影图像1的反投影,第四二维血管中心点为造影图像2的反投影。进一步地,采用模拟退火算法最小化距离误差,为了避免波动较大以及计算量过大,将优化角度参数、光源到被投影的距离参数L与光源到投影平面的距离参数D控制在一定范围内,例如正负5内。通过不断的更新参数值,进行三维重建,记为第二目标中心点。最后,使用优化后的参数再次进行重建,获得最终结果,记为第三目标中心点,如图4所示。
本申请其他实施例中,A11中基于相同时刻不同角度的CAG图像,提取CAG血管轮廓,可以通过如下步骤实现:
首先、对第一二维血管中心点与第二二维血管中心点中的,每个点的预设范围内做局部二值化处理,并对二值化处理后的结果进行填洞;
其次、对填洞后的结果进行三次开运算和一次闭运算,得到第一二值化图像和第二二值化图像;
这里,利用第一二维血管P11与第二二维血管P12的中心线上每个点的预设范围如[20,20]领域内做局部二值化处理,并对二值化处理后的结果进行填洞,再进行三次开运算和一次闭运算,获得最终的二值化图像包括第一二值化图像和第二二值化图像。
再次、提取第一二值化图像的第一轮廓点和第二二值化图像的第二轮廓点;
本申请实施例中,计算血管中心线上每个点的两个法向量,寻找法向量与二值图像血管边缘的交点,作为轮廓点。本申请实施例中,可以通过人工可交互式修改的方式对轮廓点进行调整,获得最终的轮廓点,记为第一轮廓点如图5A所示和第二轮廓点如图5B所示。当然,也可以不调整,得到第一轮廓点和第二轮廓点。
最后、基于第一轮廓点的半径和第二轮廓点的半径,计算三维空间中CAG血管轮廓点的坐标。
本申请其他实施例中,步骤A12基于帧数以及IVUS回撤速率,对三维血管中心线上目标血管段的长度进行修复,可以通过如下步骤实现:
A121、将第一关键点位置IVUS对应的第一帧数、第二关键点位置IVUS对应的第二帧数、IVUS回撤速率代入如下计算公式,计算第一关键点与第二关键点之间的目标血管段的实际血管长度;
A122、实际血管长度=(|第一帧数-第二帧数|)/(IVUS回撤速率);
这里,IVUS回撤速率的单位为m/s。
A123、获取三维血管中心线上目标血管段之间的参考血管长度;
A124、用实际血管长度除以参考血管长度,得到缩放比例;
A125、基于缩放比例,对三维血管中心线上目标血管段的长度进行缩放。
本申请实施例中,以给定4个关键点位置为例,4个关键点包括上述第一关键点和第二关键点。同时,给定4个关键点位置与IVUS对应的帧数,示例性的,如图7所示,前降支左主干开口处为第一关键点KP1,前降支第一分叉处为第二关键点KP2,前降支第二分叉处为第三个关键点KP3,前降支第三分叉处为第四个关键点KP4。上述四个关键点分别对应的IVUS帧数为2115,1415,1215,1015。关键点位置的IVUS对应的帧数与IVUS回撤速率为30mm/s,进而计算关键点之间的真实血管的长度。对于第三目标中心点,将其对应的CAG血管进行分段放缩,若首尾段存在没有给定关键点位置信息,可参考最近关键点的放缩比,将其放缩,记为第四目标中心点,如图8所示。需要说明的是,本申请实施例中可以灵活定义不同关键点的位置。
本申请实施例中,以第一个关键点KP1与第二个关键点KP2计算为例,第一个关键点与第二个关键点之间的真实血管长度actual_blood_vessel_length=(2115-1415)/(30×1000)=0.023333333333333334m,在第三中心线这个血管长度old_blood_vessel_length=0.01719724312155501m,则此段血管的放缩比zoom_ratio=actual_blood_vessel_length/old_blood_vessel_length=1.3568066211779815。则在CAG此段的三维血管数据都将乘以此处放缩比,可将其CAG血管计算出真实血管长度。如此可将第三目标中心点分段的计算出第四目标中心点。
第四目标中心点里所涉及的参数都保存在相关矩阵A中,A的1-3列,表示CAG三维血管中心线的位置;4-6列,表示CAG三维血管中心线的切线方向;7-9列,表示CAG三维血管的二阶导数;24列,代表CAG长轴半径;25列代表CAG短轴半径;12列,代表CAG半径,通过长短轴求其平均值。14列,代表血管出入口点位置,2为入口,1为出口;15列代表父节点索引;16列为给定的关键点IVUS帧数(如KP1,KP2,KP3,KP4)。
本申请其他实施例中,步骤103中基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位,可以通过如下步骤实现:
B11、基于第三目标中心点进行分段缩放处理,得到第四目标中心点;
B12、对第四目标中心点进行三次样条插值处理,得到拟合出的第五目标中心点;
本申请实施例中,先在第四目标中心点上,进行三次B样条插值,加密中心点个数,从而提升IVUS数据在CAG中心线上的插值的准确性。同时更新矩阵A中的相关参数,记为第五目标中心点(矩阵B)。
在第五目标中心点上,通过的关键点位置与对应的IVUS帧数,利用回撤速率,计算出部分回撤IVUS对应的帧数,记在矩阵B的17列。
B13、基于帧数与IVUS回撤速率,计算部分IVUS回撤路径所对应的IVUS帧数索引;
这里,根据部分IVUS帧数,经过三次B样条插值法,确定所有IVUS帧数,再将其中心线上所有点的IVUS的帧数一一对应,记在矩阵B的18列。
B14、通过B样条插值法,获得重建的三维血管的中心线上所有中心点对应的IVUS图像帧数;
B15、在第五目标中心点上,基于IVUS帧数索引和IVUS图像帧数,选择与部分IVUS图像对应的中心点,记为第六目标中心点。
本申请其他实施例中,步骤103中基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定向,可以通过如下步骤实现:
C11、计算第六目标中心点上对应的部分IVUS图像与重建的三维血管的中心线上横截面的夹角。
在IVUS图像数据中,导丝探头作为原点,在IVUS图像的正中间(一般情况是坐标位置为(256,256))。首先,通过椭圆极坐标方程,可计算出每张IVUS图像二值化数据不同角度(angle)对应的半径(一般选择每隔,计算一次半径)。将最长轴记为长轴,最短轴为短轴,所有角度上的对应半径的均值为IVUS图像半径。由于IVUS图像拍摄,并不是垂直于血管的横截面,存在一定的角度偏差。
C12、以第二关键点位置为初始位置,基于豪斯多夫距离和夹角,向上或向下确定向上一张或下一张旋转的旋转角度,直到更新至冠脉入口位置与出口位置结束。
本申请实施例中,在某个关键点位置上,可通过交互式操作,确定其位置对应的IVUS图像的角度。进一步地,可以基于确定的角度,利用豪斯多夫距离Hausdorff,计算出所有IVUS图像平面的旋转角度。
Hausdorff距离定义为:
,,,即h(A,B)和h(B,A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff距离,h(A,B)实际上首先对点集A中的每个点ai到距离此点ai最近的B集合中点bj之间的距离‖ai-bj‖进行排序,然后取该距离中的最大值作为的值,同理可得,其中,i和j的取值为正整数。
C13、将部分IVUS图像插入到重建的三维血管的中心线上。
由上述可知,IVUS在血管中心线上定向的过程中,首先,计算第六目标中心点上对应的IVUS图像数据与CAG血管中心线上横截面的夹角。然后,在第二关键点KP2所对应IVUS的图像的角度为133.74°,如图10所示。其次,以第二关键点位置为初始位置,分别向上或向下,开始利用豪斯多夫距离,确定向上一张或向下一张旋转角度。随后不断地更新旋转角度后初始位置的图像,向两个方向不断的更新位置与角度,直到更新冠脉入口位置与出口位置结束。接着,将其IVUS轮廓数据插入到相关CAG中心线上,数据大小为(441,360,3),其中,441表征共有441帧IVUS图像提取轮廓,360表征每隔计算一次,共计算360次,3表征空间坐标。将分别对应不同角度下的坐标位置,进行曲线光滑,保证整体冠脉点云轮廓平滑,如图11所示。最后通过点云数据,利用表面网格的算法(python语言skimage库marching_cubes_lewiner函数),计算出模型,如图12所示。
本申请的实施例提供一种冠脉血管的三维重建装置,该冠脉血管的三维重建装置可以应用于图1对应的实施例提供的一种冠脉血管的三维重建方法中,参照图13示,该冠脉血管的三维重建装置13包括:
处理模块131,用于基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;
重建模块132,用于基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;
融合模块133,用于基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型。
本申请其他实施例中,重建模块,用于基于相同时刻不同角度的CAG图像,提取三维血管中心线和CAG血管轮廓;基于帧数以及IVUS回撤速率,对三维血管中心线上目标血管段的长度进行修复。
本申请其他实施例中,重建模块,用于将第一关键点位置IVUS对应的第一帧数、第二关键点位置IVUS对应的第二帧数、IVUS回撤速率代入如下计算公式,计算第一关键点与第二关键点之间的目标血管段的实际血管长度;实际血管长度=(|第一帧数-第二帧数|)/(IVUS回撤速率);获取三维血管中心线上目标血管段之间的参考血管长度;用实际血管长度除以参考血管长度,得到缩放比例;基于缩放比例,对三维血管中心线上目标血管段的长度进行缩放。
本申请其他实施例中,重建模块,用于基于相同时刻不同角度的CAG图像,分别提取血管中心线上的多个关键点,得到第一匹配点和第二匹配点;对第一匹配点进行三次样条插值函数处理,得到拟合出的第一二维血管中心点;对第二匹配点进行三次样条插值函数处理,得到拟合出的第二二维血管中心点;基于空间旋转和平移变换,将第一二维血管中心点和第二二维血管中心点转换到三维空间中,得到第一目标中心点;将第一目标中心点分别反投影至不同角度的CAG图像的二维平面上,得到第三二维血管中心点和第四二维血管中心点;基于第一二维血管中心点对第三二维血管中心点进行更新,并基于第二二维血管中心点对第四二维血管中心点进行更新;基于更新后的第三二维血管中心点和更新后的第四二维血管中心点,提取第三目标中心点作为三维血管中心线。
本申请其他实施例中,重建模块,用于对第一二维血管中心点与第二二维血管中心点中的,每个点的预设范围内做局部二值化处理,并对二值化处理后的结果进行填洞;对填洞后的结果进行三次开运算和一次闭运算,得到第一二值化图像和第二二值化图像;提取第一二值化图像的第一轮廓点和第二二值化图像的第二轮廓点;基于第一轮廓点的半径和第二轮廓点的半径,计算三维空间中CAG血管轮廓点的坐标。
本申请其他实施例中,融合模块,用于基于第三目标中心点进行分段缩放处理,得到第四目标中心点;对第四目标中心点进行三次样条插值处理,得到拟合出的第五目标中心点;基于帧数与IVUS回撤速率,计算部分IVUS回撤路径所对应的IVUS帧数索引;通过B样条插值法,获得重建的三维血管的中心线上所有中心点对应的IVUS图像帧数;在第五目标中心点上,基于IVUS帧数索引和IVUS图像帧数,选择与部分IVUS图像对应的中心点,记为第六目标中心点。
本申请其他实施例中,融合模块,用于计算第六目标中心点上对应的部分IVUS图像与重建的三维血管的中心线上横截面的夹角;以第二关键点位置为初始位置,基于豪斯多夫距离和夹角,向上或向下确定向上一张或下一张旋转的旋转角度,直到更新至冠脉入口位置与出口位置结束;将部分IVUS图像插入到重建的三维血管的中心线上。
本申请的实施例提供一种电子设备,该电子设备可以应用于图1对应的实施例提供的一种冠脉血管的三维重建方法中,参照图14示,该电子设备14(图14中的电子设备14与图13中的冠脉血管的三维重建装置13对应)包括:处理器141、存储器142和通信总线143,其中:
通信总线143用于实现处理器141和存储器142之间的通信连接。
处理器141用于执行存储器142中存储的冠脉血管的三维重建程序,以实现图1对应的实施例提供的冠脉血管的三维重建方法的步骤。
处理器可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
本申请提供的电子设备,基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;也就是说,本申请通过在CAG图像给定的关键点位置,通过帧数以及IVUS回撤速率计算出真实的血管几何参数如血管的长度,进而基于准确的血管几何参数进行三维血管重建,从而基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,构建一个较为准确的三维模型。
需要说明的是,本实施例中处理器所执行的步骤的具体实现过程,可以参照图1对应的实施例提供的冠脉血管的三维重建方法中的实现过程,此处不再赘述。
本申请实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
本申请提供的存储介质,基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像、关键点位置的IVUS对应的帧数以及IVUS回撤速率确定血管几何参数,并基于血管几何参数进行三维血管重建;基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;也就是说,本申请通过在CAG图像给定的关键点位置,通过帧数以及IVUS回撤速率计算出真实的血管几何参数如血管的长度,进而基于准确的血管几何参数进行三维血管重建,从而基于IVUS血管内轮廓,在重建的三维血管的中心线上对IVUS序列进行定位和定向,构建一个较为准确的三维模型。
本申请实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图1示出的方法。
在一些实施例中,存储介质可以是计算机可读存储介质,例如,铁电存储器(FRAM,Ferromagnetic Random Access Memory)、只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM,Compact Disk-Read Only Memory)等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(超文本标记语言,Hyper Text Markup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (9)
1.一种冠脉血管的三维重建方法,其特征在于,所述方法包括:
基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;
基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像,提取三维血管中心线和CAG血管轮廓;
基于关键点位置的IVUS对应的帧数以及IVUS回撤速率,对所述三维血管中心线上目标血管段的长度进行修复,并基于修复后的三维血管中心线进行三维血管重建;
基于所述IVUS血管内轮廓,在重建的三维血管的中心线上对所述IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;
其中,所述基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像,提取三维血管中心线,包括:
基于所述相同时刻不同角度的CAG图像,分别提取血管中心线上的多个关键点,得到第一匹配点和第二匹配点;
对所述第一匹配点进行三次样条插值函数处理,得到拟合出的第一二维血管中心点;
对所述第二匹配点进行三次样条插值函数处理,得到拟合出的第二二维血管中心点;
基于空间旋转的初始化旋转角度、平移变换的初始化光源到被投影物的距离参数与初始化光源到投影平面的距离参数,将所述第一二维血管中心点和所述第二二维血管中心点转换到三维空间中,得到第一目标中心点;
将所述第一目标中心点分别反投影至所述不同角度的CAG图像的二维平面上,得到第三二维血管中心点和第四二维血管中心点;
优化所述初始化 旋转角度、所述初始化光源到被投影物的距离参数与初始化光源到投影平面的距离参数;
基于优化后的初始化旋转角度、优化后的光源到被投影物的距离参数与优化后的光源到投影平面的距离参数,将所述第一二维血管中心点和所述第二二维血管中心点转换到三维空间中,得到重建的目标中心点,直至所述重建的目标中心点反投影的结果与投影的结果之间的误差在误差范围内,将所述重建的目标中心点作为所述三维血管中心线。
2.根据权利要求1所述的方法,其特征在于,所述基于所述帧数以及所述IVUS回撤速率,对所述三维血管中心线上目标血管段的长度进行修复,包括:
将第一关键点位置IVUS对应的第一帧数、第二关键点位置IVUS对应的第二帧数、所述IVUS回撤速率代入如下计算公式,计算所述第一关键点与第二关键点之间的所述目标血管段的实际血管长度;
所述实际血管长度=(|所述第一帧数-所述第二帧数|)/(所述IVUS回撤速率);
获取所述三维血管中心线上所述目标血管段之间的参考血管长度;
用所述实际血管长度除以所述参考血管长度,得到缩放比例;
基于所述缩放比例,对所述三维血管中心线上所述目标血管段的长度进行缩放。
3.根据权利要求1所述的方法,其特征在于,所述基于所述相同时刻不同角度的CAG图像,提取CAG血管轮廓,包括:
对所述第一二维血管中心点与第二二维血管中心点中的每个点的预设范围内做局部二值化处理,并对二值化处理后的结果进行填洞;
对填洞后的结果进行三次开运算和一次闭运算,得到第一二值化图像和第二二值化图像;
提取所述第一二值化图像的第一轮廓点和所述第二二值化图像的第二轮廓点;
基于所述第一轮廓点的半径和所述第二轮廓点的半径,计算三维空间中CAG血管轮廓点的坐标。
4.根据权利要求1所述的方法,其特征在于,所述基于所述IVUS血管内轮廓,在重建的三维血管的中心线上对所述IVUS序列进行定位,包括:
基于所述重建的目标中心点进行分段缩放处理,得到第四目标中心点;
对所述第四目标中心点进行三次样条插值处理,得到拟合出的第五目标中心点;
基于所述帧数与所述IVUS回撤速率,计算部分IVUS回撤路径所对应的IVUS帧数索引;
通过B样条插值法,获得重建的三维血管的中心线上所有中心点对应的IVUS图像帧数;
在第五目标中心点上,基于所述IVUS帧数索引和所述IVUS图像帧数,选择与部分IVUS图像对应的中心点,记为第六目标中心点。
5.根据权利要求4所述的方法,其特征在于,所述基于所述IVUS血管内轮廓,在重建的三维血管的中心线上对所述IVUS序列进行定向,包括:
计算第六目标中心点上对应的所述部分IVUS图像与重建的三维血管的中心线上横截面的夹角;
以第二关键点位置为初始位置,基于豪斯多夫距离和所述夹角,向上或向下确定向上一张或下一张旋转的旋转角度,直到更新至冠脉入口位置与出口位置结束;
将所述部分IVUS图像插入到重建的三维血管的中心线上。
7.一种冠脉血管的三维重建装置,其特征在于,所述装置包括:
处理模块,用于基于血管内超声成像IVUS序列,提取IVUS血管内轮廓;
重建模块,用于基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像,提取三维血管中心线和CAG血管轮廓;
基于关键点位置的IVUS对应的帧数以及IVUS回撤速率,对所述三维血管中心线上目标血管段的长度进行修复,并基于修复后的三维血管中心线进行三维血管重建;
融合模块,用于基于所述IVUS血管内轮廓,在重建的三维血管的中心线上对所述IVUS序列进行定位和定向,得到融合后的三维冠脉血管模型;
其中,所述基于冠状动脉造影CAG序列中相同时刻不同角度的CAG图像,提取三维血管中心线,包括:
基于所述相同时刻不同角度的CAG图像,分别提取血管中心线上的多个关键点,得到第一匹配点和第二匹配点;
对所述第一匹配点进行三次样条插值函数处理,得到拟合出的第一二维血管中心点;
对所述第二匹配点进行三次样条插值函数处理,得到拟合出的第二二维血管中心点;
基于空间旋转的初始化旋转角度、平移变换的初始化光源到被投影物的距离参数与初始化光源到投影平面的距离参数,将所述第一二维血管中心点和所述第二二维血管中心点转换到三维空间中,得到第一目标中心点;
将所述第一目标中心点分别反投影至所述不同角度的CAG图像的二维平面上,得到第三二维血管中心点和第四二维血管中心点;
优化所述初始旋转角度、所述初始化光源到被投影物的距离参数与初始化光源到投影平面的距离参数;
基于优化后的初始化旋转角度、优化后的光源到被投影物的距离参数与优化后的光源到投影平面的距离参数,将所述第一二维血管中心点和所述第二二维血管中心点转换到三维空间中,得到重建的目标中心点,直至所述重建的目标中心点反投影的结果与投影的结果之间的误差在误差范围内,将所述重建的目标中心点作为所述三维血管中心线。
8.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令,实现如权利要求1至6中任一项所述的冠脉血管的三维重建方法。
9.一种存储介质,其特征在于,存储有可执行指令,当所述可执行指令被执行时,用于引起处理器执行权利要求1至6中任一项所述的冠脉血管的三维重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111282814.5A CN113724377B (zh) | 2021-11-01 | 2021-11-01 | 冠脉血管的三维重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111282814.5A CN113724377B (zh) | 2021-11-01 | 2021-11-01 | 冠脉血管的三维重建方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113724377A CN113724377A (zh) | 2021-11-30 |
CN113724377B true CN113724377B (zh) | 2022-03-11 |
Family
ID=78686334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111282814.5A Active CN113724377B (zh) | 2021-11-01 | 2021-11-01 | 冠脉血管的三维重建方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113724377B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049282B (zh) * | 2022-01-07 | 2022-05-24 | 浙江大学 | 一种冠状动脉的构建方法、装置、终端及存储介质 |
CN114145719B (zh) * | 2022-02-08 | 2022-04-26 | 天津恒宇医疗科技有限公司 | 双模冠脉血管图像三维融合的方法和融合系统 |
CN115564817B (zh) * | 2022-11-14 | 2023-04-14 | 杭州晟视科技有限公司 | 三维血管图像的确定方法、装置、设备及存储介质 |
CN115908405B (zh) * | 2023-01-05 | 2023-05-02 | 依未科技(北京)有限公司 | 确定眼底特征的方法、装置和电子设备 |
CN115965750B (zh) * | 2023-03-16 | 2023-06-16 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669449A (zh) * | 2020-12-31 | 2021-04-16 | 浙江理工大学 | 基于3d重建技术的cag和ivus精准联动分析方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923713B (zh) * | 2010-08-04 | 2012-09-05 | 中国科学院自动化研究所 | 一种提取冠状动脉血管中心线的方法 |
CN107392994B (zh) * | 2017-06-30 | 2018-11-06 | 深圳大学 | 冠脉血管的三维重建方法、装置、设备及存储介质 |
CN112652052B (zh) * | 2020-12-15 | 2022-07-22 | 山东大学 | 一种基于血管分支配准的冠状动脉三维重建方法及系统 |
-
2021
- 2021-11-01 CN CN202111282814.5A patent/CN113724377B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669449A (zh) * | 2020-12-31 | 2021-04-16 | 浙江理工大学 | 基于3d重建技术的cag和ivus精准联动分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113724377A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113724377B (zh) | 冠脉血管的三维重建方法、装置、电子设备及存储介质 | |
EP3398170B1 (en) | Three dimensional model of a body part | |
Damas et al. | Forensic identification by computer-aided craniofacial superimposition: a survey | |
Matl et al. | Vascular image registration techniques: A living review | |
Guo et al. | Realistic procedural plant modeling from multiple view images | |
CN108369643A (zh) | 用于3d手部骨架跟踪的方法和系统 | |
CN111599432B (zh) | 一种三维颅面影像特征点标记分析系统及方法 | |
KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
Sinko et al. | 3D registration of the point cloud data using ICP algorithm in medical image analysis | |
WO2005116924A1 (en) | An image processing apparatus, an imaging system, a computer program and a method for scaling an object in an image | |
US11631177B2 (en) | Machine learning device, estimation device, non-transitory computer readable medium, and learned model | |
Gsaxner et al. | PET-train: Automatic ground truth generation from PET acquisitions for urinary bladder segmentation in CT images using deep learning | |
CN112734917B (zh) | 医疗数据的三维曲面重建和优化方法、系统及存储介质 | |
Blondel et al. | Automatic trinocular 3D reconstruction of coronary artery centerlines from rotational X-ray angiography | |
CN117671138A (zh) | 一种基于SAM大模型与NeRF的数字孪生建模方法及系统 | |
JP2017174105A (ja) | 幾何検証装置及びプログラム | |
Delmas et al. | Three-dimensional curvilinear device reconstruction from two fluoroscopic views | |
CN112562070A (zh) | 基于模板匹配的颅缝早闭手术切割坐标生成系统 | |
CN109919913B (zh) | 一种冠状动脉的半径计算方法、终端及存储介质 | |
CN115546185A (zh) | 血管图像的轮廓提取方法、装置、设备及存储介质 | |
Zifan et al. | Patient-specific computational models of coronary arteries using monoplane X-ray angiograms | |
CN113935889A (zh) | 2d/3d冠状动脉自动配准方法、系统及介质 | |
Jin et al. | Curve skeletonization using minimum-cost path | |
Barth et al. | Fast automatic recognition and 3D reconstruction of the coronary tree from DSA-projection pairs | |
Barth et al. | Automated biplane vessel recognition in digital coronary angiograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |