CN102622775B - 一种基于模型插值补偿的心脏实时动态重建技术 - Google Patents
一种基于模型插值补偿的心脏实时动态重建技术 Download PDFInfo
- Publication number
- CN102622775B CN102622775B CN201210009190.4A CN201210009190A CN102622775B CN 102622775 B CN102622775 B CN 102622775B CN 201210009190 A CN201210009190 A CN 201210009190A CN 102622775 B CN102622775 B CN 102622775B
- Authority
- CN
- China
- Prior art keywords
- point
- heart
- model
- dimensional
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本专利描述了一种基于模型插值补偿的心脏实时动态重建技术,提出基于X射线透视投影的接触式心脏四维标测重建方案,旨在弥补心室标测设备在成像方面的不足。专利中设计了一套具有唯一特征、容易识别的标志点的识别匹配技术,同时将一种基于真实心脏模型先验值的插值补偿算法应用于心脏四维重建技术,使得心脏四维重建结果更准确、操作更简单。在该技术的引导下,能够实时对心脏进行四维解剖重建,从而弥补当前心脏三维重建技术设备的不足并填补四维心脏重建技术设备的空白,提高手术效率。对提高我国心血管三维可视化水平、推动相关疾病的诊治和科研的发展具有重要意义。
Description
技术领域
本发明涉及标志点识别与空间定位技术,具体涉及一套具有唯一特征、容易识别的标志点和一种基于真实心脏模型先验值的插值补偿算法,适合于医学心脏重建领域。
背景技术
利用放置于心脏附近和心脏相对位置固定不透X线的标志点作为定位参考点,将导管紧贴心内膜,分别对导管顶端和定位参考点进行不同角度的X线投照获得两个包含定位参考点和该心内膜点投影的平面。该重建问题转化为二视几何模型,该模型如图1所示,这两个投影视图之间的位置关系可以通过一个旋转矩阵R和一个平移矢量t来表示。于是空间点Xi到两个视图间的投影关系可以表示为:
u1,i=P1Xi=K1[I|O]Xi,u2,i=P2Xi=K2[R|t]Xi(1)
其中u1,i、P1和K1分别为第一幅视图的图像坐标、投影矩阵和内参矩阵;与之对应,u2,i、P2和K2为第二幅视图的图像坐标、投影矩阵和内参矩阵。[R|t]为确定这两个视图位置关系的外参矩阵。在实际操作中,由于我们是采用单C型臂两个时间段,在两个空间位置的成像结果,所以两次成像的内参矩阵K1,K2为相同的K。
用放置于心脏附近和心脏相对位置固定的不透X线的标志点作为定位参考点,利用这些参考点的三维坐标信息及其在不同视角的投影图像中的图像坐标信息,基于投影方程PX=K[R|t]X,实现对X射线透视投影成像系统的标定,从而完成心脏内膜点的空间点重建。在投影方程PX=K[R|t]X中,K是成像设备中的内部参数,为系统已知,可从投影图像的DICOM数据流中的头文件中得到这些设备常规参数;R为3×3的旋转矩阵,t为3×1的平移向量,这些参数需要通过成像系统标定来计算,共有6个独立变量需要标定计算,为此我们只需设计6个外部标志点,即可完成X射线透视投影成像系统的外部参数标定。
为了进行三维重建,需要设计一套具有唯一特征,容易识别的标志点。但是,设计简单,不具有唯一特征的人工标志点能够被较容易的方法自动识别,但自动匹配往往相对困难。目前,标志点的识别和匹配通常由手工完成,这不仅费时费力,而且容易产生标记错误或者匹配错误。对于本研究而言,心内膜探测点多,需重复进行实验,手工方式无法满足心脏四维重建的实时需求。
要获得具有真实感的心脏四维模型,需研究视点变换、投影变换、浓淡阴影处理、纹理生成等技术。心脏的四维模型不同于刚性物体,我们还要充分注意其活体的特殊性,在计算机三维场景中,通过数学计算生成模拟的面型。人体软组织模型以曲面为主,几何形状复杂。
另外,医生在对心内膜进行标测时获取标测特征点的数目是有限的,通常为200至300个之间,从重建空间点云构建心内膜三维表面的过程通常使用散乱点三角化的方法。通过有限标测特征点重建的心内膜表面结构往往比较粗糙,密度不足难以形成连续平滑的心室表面图像。
综上,目前心脏四维重建存在的主要问题是:
1.不具有唯一特征的人工标志点自动匹配难以实现。
2.人工完成的标志点的识别和匹配技术不满足心脏实时重建的基本要求。
3.重建获得的心脏四维模型误差较大,很少具有真实感。
发明内容
本发明提供一种基于模型插值补偿的心脏实时动态重建技术,由四个关键技术构成,其中包括:
(1)标志点设计和识别技术,设计独特标志板,采用细铅丝铺成具有高区分度的图案依附在有机玻璃上,有效提取XRA图像上标志点精确位置;
(2)心脏模型重建,将不透X线的电生理导管送入心内紧贴心内膜,对导管顶端空间点进行三维重建获取该点三维坐标,重复该过程移动导管到达心内膜各点,分别进行定位,得到心内膜上的空间点三维坐标集合,经过B样条插值等处理,重建完整的心脏内部模型。
(3)重建过程中将加入时间考量,使心脏的三维图像的各个点的空间位置与心动周期的各个时间点一一对应,从而能够实现了心脏三维模型的动态变化即心脏四维重建。
(4)基于真实心脏模型先验值的插值补偿算法,便于在现有重建点云中实时动态地填充虚拟点,引导操作者完成心内膜探测点的选取,从而获得更高精度的心内膜模型。
标志点设计规格,正面标记采用“L”型标记板,背面采用圆形标记板,具有唯一特征、一定编码形状、容易识别;X射线成像系统不同视角成像后,能自动检测图像中标志点,提取每个图像中标志点坐标精确值,利用这些参考点的三维坐标信息完成X射线透视投影成像系统的外部参数标定。
基于模型的插值补偿实时动态重建大大增强重建模型的采样效率以及轮廓的真实感与平滑度,医生可以实时根据虚拟点位置信息调整样点采集的分布,避免了盲目的重复样点采集而最终分布不均匀的情况,提高样点采集效率及准确性;动态地显示每一时刻的心室表面三维图像,区分显示真实探测点以及模型补偿虚拟点,医生可参考虚拟补偿点的位置进行下一个探测点的选取,直至医生对重建效果满意时停止系统运算。
本发明设计的标志点特征唯一、容易识别,基于真实心脏模型先验值的插值补偿算法效果明显。这些方法可方便应用于三维重建其他领域。
附图说明
图1是本发明所提出的背面标记图
图2是本发明所提出的正面标记图
图3是本发明所使用的三维重建原理图
图4是本发明所提出的系统流程图
具体实施方式
关于本发明的优点可以通过以下的发明详述及附图得到进一步的了解。
附图1为设计的背面标记规格图,采用细铅丝铺成的图案依附在有机玻璃(聚甲基丙烯酸甲酯)上。
主要参数如下:
基板厚(有机玻璃板厚度):0.5cm左右,不宜过厚,否则不利于固定及标定,行列分割线采用细铅丝嵌入有机玻璃载体制作。
此圆形标记板共制作3种:
①线宽1mm,d1=4cm,d2=1cm,d3=3mm
②线宽1mm,d1=3cm,d2=0.75cm,d3=3mm
③线宽1mm,d1=2cm,d2=0.5cm,d3=3mm
这样的设计具备几点优势,首先环形图案设计易于识别,在存在少量交叉遮挡情况下同样能够被识别出,同时圆环上配备非对称圆点设计,可以根据不同圆点的位置及小圆环的相对位置提取编码标志点坐标,确定标志点的一一对应关系。
附图2为设计的正面标记规格图,其中主要参数:线宽1mm,d3=3mm,L1=1cm。
该设计中,直角拐角点易于被精确识别,因此将其作为基准点。在其两个方向分别存在一个和两个等间距圆点,用以区分两侧方向的区别,基于此,该标志点上的四个圆形标志点可以在识别出的同时进行区分编号,实现标志点的有区分识别匹配。同时,由于此标记图形设计为直角,在三维重建中所需要的世界坐标系可以由该图案的直角对应的两轴及垂直于该平面的轴确定三轴方向。
本专利中标志点设计中主要采用了线或者圆的图案,在二维图像检测领域,对直线和圆心位置的检测和识别方法已经较为成熟,并且根据设计图案的拓扑结构很容易分辨各个位置点之间的对应关系。因此,这种标志点设计的方式能有效识别以及区分标志点,实现三维重建过程中参考点定位功能。
得到能够有效识别以及区分的标志点后,对心脏内膜导管顶端进行三维定位是心脏四维重建的基础。三维定位的原理基于计算机视觉中的二视图几何相关知识,其原理图如附图3所示。定位过程如下:将本专利中设计的不透X线的标志点固定在心脏附近且与心脏相对位置固定不变的位置;随后将不透X线的电生理导管送入心内紧贴心内膜,导管顶端G点作为感兴趣点,顶端G点与心内膜某点接触,使用X射线从不同角度S1方向和S2方向进行照射,使用二视图几何的方法对导管顶端的空间位置进行定位,即相当于对心内膜G点进行定位。从而实现对心脏内膜导管顶端进行三维定位。
移动导管均匀地到达心内膜各点,并按上述方法分别对心内膜其它各点进行定位,将诸点的空间位置进行曲面连接,则形成心脏四维图像重建。
基于模型的插值补偿算法实时动态重建可用系统流程图(附图4)说明。在算法中,核心操作就是将检测过程中探针已探测过的心内膜特征点云与基准心脏模型的抽样点集合进行配准,获得一一对应的映射关系。此时,以真实探测点为主,模型中未被匹配的其余虚拟补偿点为辅共同进行心脏三维可视化,使重建模型更加平滑逼真。同时直观的反应目前探测的心脏内膜探测点的分布,便于操作者选取探测较少的区域进行下一步探测。
配准过程如下,在完成X射线成像系统的标定之后,即获取了摄像机参数与旋转参数,由于P=K(R,t),也就可以经过投影变化将心内膜特征点坐标转换到基准心脏模型的坐标系下,形成模型坐标系下的特征点云。对于事先确定的真实心脏三维模型,我们对其进行平均抽样,获取一定数量均匀分布的抽样点云。在此抽样点云与特征点云之间建立一一对应的映射关系,则有:
其中di为匹配两点之间的距离,xiyizi分别为第i个特征点的空间坐标,xi′yi′zi′则分别为模型抽样点的空间坐标。算法的目的则是寻求一种最优匹配,使得:取得最小值。那么这个问题可以使用Kuhn-Munkras最优匹配算法求取。匹配后即可获得目前已采集的心内膜点与基准心脏模型上抽样点的匹配关系,至此,配准过程完成。基于此能够对混合真实探测点和基准模型的虚拟点协同进行实时三维可视化,得到更加平滑真实的心脏三维模型。动态地显示每一时刻的心室表面三维图像,区分显示真实探测点以及模型补偿虚拟点,操作者可参考虚拟补偿点的位置进行下一个探测点的选取,直至操作者对重建效果满意时停止系统运算。
虽然参考优选实施例对本发明进行描述,但以上所述实例并不构成本发明保护范围的限定,任何在本发明的精神及原则内的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围内。
Claims (5)
1.一种基于模型插值补偿的心脏实时动态重建方法,其特征在于,实现步骤如下:
步骤一:标志点设计和识别,设计独特标志板,采用细铅丝铺成具有高区分度的图案,所述图案正面标记采用“L”型标记板,背面采用圆形标记板,所述图案依附在有机玻璃上,有效提取XRA图像上标记点精确位置;
步骤二:心脏模型重建,将不透X线的电生理导管送入心内紧贴心内膜,对导管顶端空间点进行三维重建获取该点三维坐标,重复该过程移动导管到达心内膜各点,分别进行定位,得到心内膜上的空间点三维坐标集合,经过B样条插值处理,重建完整的心脏内部模型;
步骤三:重建过程中将加入时间考量,即使心脏的三维图像的各个点的空间位置与心动周期的各个时间点一一对应,从而能够实现了心脏三维模型的动态变化即心脏四维重建;
步骤四:基于真实心室模型先验值的插值补偿算法,所述插值补偿算法是将检测过程中探针已探测过的心内膜特征点云与基准心脏模型的抽样点集合进行配准,获得一一对应的映射关系;此时,以真实探测点为主,模型中未被匹配的其余虚拟补偿点为辅共同进行心脏三维可视化,使重建模型更加平滑逼真;其功能是便于在现有重建点云中实时动态地填充虚拟点,引导操作者完成心内膜探测点的选取,从而获得更高精度的心内膜模型。
2.如权利要求1所述一种基于模型插值补偿的心脏实时动态重建方法,所述标志点设计:所述圆形标记板的圆环上配备非对称圆点设计,可以根据不同圆点的位置及小圆环的相对位置提取编码标志点坐标,确定标志点的一一对应关系;具有唯一特征、一定编码形状、便于有效识别区分。
3.如权利要求1所述一种基于模型插值补偿的心脏实时动态重建方法,其特征在于,所述标志点识别:X射线成像系统不同视角成像后,能自动检测图像中标记点,提取每个图像中标记点二维坐标精确值,利用这些参考点的二维坐标信息及其在两幅图像中的对应关系完成X射线透视投影成像系统的外部参数标定。
4.如权利要求1所述一种基于模型插值补偿的心脏实时动态重建方法,其特征在于,基于真实心室模型先验值的插值补偿算法,医生可以实时根据虚拟点位置信息调整样点采集的分布,避免了盲目的重复样点采集而最终分布不均匀的情况,提高样点采集效率及准确性。
5.如权利要求1所述一种基于模型插值补偿的心脏实时动态重建方法,其特征在于,基于真实心室模型先验值的插值补偿算法,动态地显示每一时刻的心室表面三维图像,区分显示真实探测点以及模型补偿虚拟点,医生可参考虚拟补偿点的位置进行下一个探测点的选取,直至医生对重建效果满意时停止系统运算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210009190.4A CN102622775B (zh) | 2012-01-12 | 2012-01-12 | 一种基于模型插值补偿的心脏实时动态重建技术 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210009190.4A CN102622775B (zh) | 2012-01-12 | 2012-01-12 | 一种基于模型插值补偿的心脏实时动态重建技术 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102622775A CN102622775A (zh) | 2012-08-01 |
CN102622775B true CN102622775B (zh) | 2016-03-09 |
Family
ID=46562676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210009190.4A Active CN102622775B (zh) | 2012-01-12 | 2012-01-12 | 一种基于模型插值补偿的心脏实时动态重建技术 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102622775B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945328B (zh) * | 2012-11-22 | 2015-08-19 | 北京理工大学 | 基于gpu并行运算的x射线造影图像仿真方法 |
US10403053B2 (en) * | 2016-11-15 | 2019-09-03 | Biosense Webster (Israel) Ltd. | Marking sparse areas on maps |
CN107862735B (zh) * | 2017-09-22 | 2021-03-05 | 北京航空航天大学青岛研究院 | 一种基于结构信息的rgbd三维场景重建方法 |
US10950016B2 (en) | 2018-06-11 | 2021-03-16 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for reconstructing cardiac images |
CN108898582B (zh) * | 2018-06-11 | 2021-08-17 | 上海联影医疗科技股份有限公司 | 心脏图像重建方法、装置以及计算机设备 |
CN110025376A (zh) * | 2019-03-22 | 2019-07-19 | 江苏霆升科技有限公司 | 一种心脏介入手术模拟方法、终端设备及系统 |
CN112215750A (zh) * | 2020-09-14 | 2021-01-12 | 湖北工业大学 | 基于rgb-d数据的三维重建方法 |
CN112603535A (zh) * | 2020-12-29 | 2021-04-06 | 吉林大学第一医院 | 颅脑介入手术实时立体显示系统 |
CN118212357A (zh) * | 2021-07-21 | 2024-06-18 | 无锡艾米特智能医疗科技有限公司 | 一种器官三维图像重建补偿系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3442346B2 (ja) * | 2000-06-01 | 2003-09-02 | カナガワ アンド カンパニー株式会社 | 画像形成装置及びこれを用いた画像の構成方法 |
CN101219061A (zh) * | 2006-12-08 | 2008-07-16 | 韦伯斯特生物官能公司 | 对电解剖图着色以指示超声数据采集 |
CN101283910A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种获取冠状动脉血管运动信息的方法 |
CN101474075A (zh) * | 2009-01-15 | 2009-07-08 | 复旦大学附属中山医院 | 微创手术导航系统 |
US8027526B2 (en) * | 2006-10-31 | 2011-09-27 | Siemens Aktiengesellschaft | Method for providing a 3D X-ray image dataset of a patient's heart |
-
2012
- 2012-01-12 CN CN201210009190.4A patent/CN102622775B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3442346B2 (ja) * | 2000-06-01 | 2003-09-02 | カナガワ アンド カンパニー株式会社 | 画像形成装置及びこれを用いた画像の構成方法 |
US8027526B2 (en) * | 2006-10-31 | 2011-09-27 | Siemens Aktiengesellschaft | Method for providing a 3D X-ray image dataset of a patient's heart |
CN101219061A (zh) * | 2006-12-08 | 2008-07-16 | 韦伯斯特生物官能公司 | 对电解剖图着色以指示超声数据采集 |
CN101283910A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种获取冠状动脉血管运动信息的方法 |
CN101474075A (zh) * | 2009-01-15 | 2009-07-08 | 复旦大学附属中山医院 | 微创手术导航系统 |
Non-Patent Citations (4)
Title |
---|
Methodology for three-dimensional reconstruction of intravascular ultrasound images;Eric Maurincomme 等;《Image Capture, Formatting, and Display》;19921231;第26-34页 * |
冠脉造影图像的二维信息处理及三维重建研究;周奕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090515;全文 * |
心脏三维及四维数学建模;李昭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090615;全文 * |
模拟定位机图像的数字化及图像畸变校正;宋启斌 等;《中华放射肿瘤学杂志》;20090331;第18卷(第2期);第146-148页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102622775A (zh) | 2012-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102622775B (zh) | 一种基于模型插值补偿的心脏实时动态重建技术 | |
CN102949240B (zh) | 一种影像导航肺部介入手术系统 | |
CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
CN111627521B (zh) | 增强现实在放疗中的应用 | |
US11842456B2 (en) | Flattened view for intra-lumenal navigation | |
CN107714082A (zh) | 一种基于光学定位的超声探头标定装置及方法 | |
CN104272348B (zh) | 用于对对象进行成像的成像装置和方法 | |
CN109830289A (zh) | 肋骨图像显示装置 | |
CN107111891A (zh) | 用于生成几何结构的贴片表面模型的方法和系统 | |
CN103908346B (zh) | 一种高精度自动神经导航空间配准方法 | |
CN105167788B (zh) | 双影像c臂系统 | |
CN103229210A (zh) | 图像配准装置 | |
CN106137395B (zh) | 应用于无标记点光学手术导航系统的全自动病人注册方法 | |
CN112168357B (zh) | C臂机空间定位模型构建系统及方法 | |
CN114145846A (zh) | 基于增强现实辅助的手术导航方法及系统 | |
CN101000689A (zh) | 放射治疗计划系统中肿瘤三维解剖结构的投影轮廓线方法 | |
CN103345774B (zh) | 一种三维多尺度矢量化的建模方法 | |
Schaller et al. | Time-of-flight sensor for patient positioning | |
Clarkson et al. | Calculating body segment inertia parameters from a single rapid scan using the microsoft kinect | |
CN101996415B (zh) | 眼球的三维建模方法 | |
Wang et al. | Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery | |
US9633433B1 (en) | Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images | |
Li et al. | A fully automatic surgical registration method for percutaneous abdominal puncture surgical navigation | |
CN108510506A (zh) | 一种管状结构图像分割方法 | |
CN107320118A (zh) | 一种计算碳纳米c形臂三维图像空间信息的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |