CN103313661A - 三维超声中导管的可视化 - Google Patents
三维超声中导管的可视化 Download PDFInfo
- Publication number
- CN103313661A CN103313661A CN2012800052804A CN201280005280A CN103313661A CN 103313661 A CN103313661 A CN 103313661A CN 2012800052804 A CN2012800052804 A CN 2012800052804A CN 201280005280 A CN201280005280 A CN 201280005280A CN 103313661 A CN103313661 A CN 103313661A
- Authority
- CN
- China
- Prior art keywords
- instrument
- ultrasonoscopy
- image
- cut apart
- weighted energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 12
- 238000012800 visualization Methods 0.000 title description 2
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 56
- 230000004044 response Effects 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 abstract description 2
- 210000003484 anatomy Anatomy 0.000 abstract 3
- 238000012285 ultrasound imaging Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 38
- 230000014509 gene expression Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 239000000523 sample Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Cardiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种图像引导的系统,采用X射线成像设备(20)以及超声成像设备(30),所述X射线成像设备(20)用于生成图示解剖区域(40)中的工具(41)的一个或多个X射线图像(25、26),所述超声成像设备(30)用于生成图示所述解剖区域(40)中的所述工具(41)的超声图像(33)。所述图像引导的系统还采用用于视觉地跟踪所述解剖区域(41)中的所述工具(41)的工具跟踪设备(50)。在运行中,所述工具跟踪设备(50)响应于对位于所述X射线图像(25、26)中的所述工具(41)的部分的识别,确定位于所述超声图像(33)中的所述工具(41)的所述部分的位置,并且关于位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定,对位于所述超声图像(33)中的所述工具(41)的整体执行图像分割。
Description
技术领域
本发明总体上涉及针对介入程序的,尤其是针对心脏介入程序的,准确图像引导。本发明特别涉及介入工具(例如,导管)在超声图像(“3D US”)中的可视化。
背景技术
对于介入程序,尤其是心脏介入程序中的准确引导而言,知晓介入工具(例如,导管)关于程序前规划扫描(例如,磁共振成像(“MRI”)扫描或计算机断层摄影(“CT”)扫描)的相对位置是重要的。由于X射线荧光图像提供程序期间介入工具的非常高解析的图像,因此本领域已知的用于在引导介入工具中提供视觉辅助的图像引导的系统聚焦于在荧光图像中跟踪工具的末端,并叠加在程序前扫描中。同样广为人知的是,为了所述介入工具的3D形状的实时可视化,将多个位置传感器和/或形状感测传感器安装在介入工具上,以跟踪所述介入工具的3D形状。
将超声图像(“2D US”)或3D US与X射线成像配准已越来越多地将X射线荧光检查扩充为用于引导介入程序的辅助。所述2D US或所述3D US的关键作用是为程序前扫描增加实时运动信息,同时(一个或多个)X射线荧光图像实时地提供所述介入工具的高分辨可视化。此外,随着3D US的实时引入,在超声中更清楚地将所述介入工具可视化正变为可能,由此实现仅由超声引导的介入。
在心脏介入程序中,将导管的末端以及所述导管末端的取向可视化是重要的。导管末端的识别在3D US中是困难的,尤其是在心脏介入设定中。因此,用于在X射线图像中识别所述导管末端,以及将这些点标定到3D US中,用于在程序前扫描中的提取和融合的方法对于介入程序是有益的。
发明内容
本发明的一种形式是采用X射线成像设备(例如,单平面或双平面)和超声成像设备的图像引导的系统,所述X射线成像设备用于生成图示解剖区域中的工具(例如,心脏区域中的导管)的一个或多个X射线图像,所述超声成像设备用于生成图示所述解剖区域中的所述工具的超声图像。
所述图像引导的系统还采用工具跟踪设备,用于视觉地跟踪所述解剖区域中的所述工具。在运行中,所述工具跟踪设备响应于对位于所述(一个或多个)X射线图像中的所述工具的部分(例如,所述导管的末端)的识别,确定位于所述超声图像中的所述工具的所述部分的位置,并且关于位于所述超声图像中的所述工具的所述部分的位置确定,对位于所述超声图像内的所述工具的整体执行图像分割(例如,切图分割)。
本发明的第二种形式是用于视觉地跟踪解剖区域中的工具的图像引导方法。所述方法涉及生成图示解剖区域中的工具(例如,心脏区域中的导管)的一个或多个X射线图像,以及生成图示所述解剖区域中的所述工具的超声图像。
所述方法还涉及响应于对位于所述(一个或多个)X射线图像中的所述工具的部分(例如,所述导管的末端)的识别,确定位于所述超声图像中的所述工具的所述部分的位置,以及关于位于所述超声图像中的所述工具的所述部分的位置确定,对位于所述超声图像中的所述工具的整体执行图像分割(例如,切图分割)。
结合附图,根据以下对本发明各个示范性实施例的详细描述,本发明的前述形式和其他形式,以及本发明的各种特征和优点将变得更加明显。所述详细描述及附图仅是对本发明的举例说明,而非限制,本发明的范围由所附权利要求书及其等价方案限定。
附图说明
图1图示了根据本发明的图像引导的系统的示范性实施例。
图2图示了表示根据本发明的图像引导的方法的流程图。
图3图示了通过图1的图像引导的系统对图2的图像引导的方法的示范性实现方式。
图4至图6图示了根据本发明的工具跟踪设备的各个实施例。
图7图示了根据本发明的、X射线图像与超声图像之间的示范性几何关系。
图8图示了根据本发明的、超声图像中示范性的工具末端移动。
图9图示了表示心脏介入程序的一个实施例的流程图,所述心脏介入程序将根据本发明的工具跟踪方法的一个实施例并入。
图10图示了表示根据本发明的工具跟踪方法的第二实施例的流程图。
图11图示了表示根据本发明的工具位置确定方法的一个实施例的流程图。
图12图示了表示根据本发明的加权图构造方法的一个实施例的流程图。
图13图示了根据本发明的对应于能量函数的示范性加权图。
图14图示了表示根据本发明的图像分割方法的一个实施例的流程图。
具体实施方式
如前文所陈述,本发明提供用于在三维程序前规划扫描内部将介入工具的三维形状实时可视化的各种方法。如本领域普通技术人员从以下对图1至图13的描述将认识到地,这些方法通过本发明的利用X射线图像和超声图像的工具跟踪设备得以实现。为了方便对本发明的理解,本文将针对在心脏介入程序期间跟踪导管来描述所述工具跟踪设备。
具体而言,图1图示了一种图像引导的系统,其采用X射线成像系统、3D US成像系统和导管跟踪设备50形式的工具跟踪设备。
出于本发明的各目的,在本文中将所述X射线成像系统广泛地定义为包括X射线成像设备20,所述X射线成像设备20用于控制X射线源21和X射线探测器22的运行,在结构上被配置为生成解剖区域(例如,心脏区域)的X射线图像(“XRI”)25,所述解剖区域由体积40表示;所述X射线成像设备20并且/或者用于控制X射线源23和X射线探测器24的运行,在结构上被配置为生成解剖区域40的X射线图像(“XRI”)。在实践中,部件20-22(排除了部件23和24)表示任意类型的单平面X射线系统,并且部件21-24共同表示任意类型的双平面X射线系统。所述X射线成像系统的范例包括但不限于,用于执行心脏介入程序的任意类型的X射线系统。在一个实施例中,来自由“飞利浦医疗系统”市售的Allure Xper系列的X射线系统可以充当所述X射线成像系统。
出于本发明的各目的,在本文中将所述3D US成像系统广泛地定义为包括3D US成像设备30,所述3D US成像设备30用于控制3D US探头31的运行,在结构上被配置为生成解剖区域40的超声图像(“USI”)32。所述3D US成像系统的范例包括但不限于,任意类型的超声成像系统,尤其是采用3D TEE探头的超声成像系统。在一个实施例中,由“飞利浦医疗系统”市售的iEEE智能回波系统可以充当3D US成像系统。
出于本发明的各目的,在本文中将导管跟踪设备50广泛地定义为在结构上被这样配置的任意设备:所述设备被配置为出于在解剖区域40中识别导管41的末端的目的,将(一个或多个)X射线图像25/26与超声图像31配准,并且被配置为在包括解剖区域40的3D程序前规划扫描中,实时地可视化导管41的3D形状。为此,导管跟踪设备50执行由如图2所示的流程图60表示的图像引导方法。
参考图2,流程图60的阶段S61包括涉及对患者的解剖区域的3D扫描(例如,MRI扫描或CT扫描)的介入程序的术前规划。例如,如图3中所示,阶段S61可以包括对患者70的心脏区域71的3D程序前扫描,以及3D程序前扫描72在数据库73中的存储。
流程图60的阶段S62包括通过导管跟踪设备50将所述患者的所述解剖区域的(一个或多个)X射线图像与超声图像配准。例如,如图3中所示,心脏区域71的X射线图像25和/或X射线图像26以及心脏区域71的超声图像31分别由X射线成像系统和3D US成像系统生成,由此,导管跟踪设备50将X射线图像25和/或X射线图像26配准到超声图像31。在实践中,所述配准可以包括使用本领域已知的系统校准与实时跟踪的组合,将X射线坐标转换到3D US实时坐标。例如,所述配准可以包括手动对准或电磁跟踪技术。
流程图60的阶段S63包括在所述超声图像中识别所述导管的部分(例如,所述导管的末端)。在与图3相关的一个实施例中,阶段S63涉及如本领域已知地,由在X射线图像25和/或X射线图像26中对导管41的末端的自动或手动识别和在超声图像33中对导管41的末端的定位,导出X射线/3D US配准。
流程图60的阶段S64包括以所述导管末端充当图像分割过程的初始点,对超声图像33中的导管41进行图像分割。
流程图60的阶段S65包括跟踪所述解剖区域的程序前扫描中的所述导管,所述导管通过在所述超声图像中对所述导管的3D形状的图像分割导出。例如,如图3中所示,阶段S65包括导管跟踪设备50在显示器80上显示3D程序前扫描72和投影到扫描72中的导管的跟踪叠加75,所述导管通过在所述超声图像31中对导管41的3D形状的前述图像分割导出。
本文中现在将提供对图4至图13的描述,以提供对本发明的导管跟踪设备的各个实施例的详细解释,所述导管跟踪设备包括在结构上用硬件、软件和/或固件配置的、用于实现流程图60(图2)和阶段S63和S64的模块。
具体而言,图4图示了用于根据在本文中被称作“末端探测模式”的过程实现阶段S63和S64的导管图像跟踪模块51a,所述过程鉴于这样的事实,即探测所述末端的方式可以充当针对随后的图像分割的边界约束。
一般而言,所述“末端探测模式”利用X射线和超声体积的几何关系,其中所述X射线图像中的工具末端对应于在使用X射线/3D US配准的变换之后通过所述超声图像的线或线集。例如,如图7中所示,导管41经由X射线源21到X射线探测器22上的X射线投影90,对应于在使用X射线/3DUS配准的变换之后通过超声体积32的三(3)条线的线集91。通过使用所图示的几何约束,将六(6)个自由度(“DOF”)的导管跟踪问题[x、y、z、a、b、c](其中xyz是平移,并且a、b和c是旋转)降低为具有[r、a、b、c]的四(4)DOF的问题,其中,r为沿与图7中所示的所述导管末端相关联的追踪线92的平移。在实践中,该导管跟踪问题可以通过使用基于Kalman滤波器或粒子滤波器的视觉跟踪器有效地解决,所述视觉跟踪器己在计算机视觉中得到广泛研究。搜索空间降低到四(4)DOF显著地改善了如下文所述的视觉跟踪算法的步骤。
例如,使用粒子滤波器来图示如何建立所述导管跟踪模块51。具体而言,令X=[r,a,b,c]指示表示导管41的位置和姿态的状态向量。所述导管跟踪问题可以由描述,即,使用超声体积历史来估计状态向量X。通过使用贝叶斯规则,导出以下等式[1]用于跟踪目的:
通过假设从Xt-1到Xt——如图8中所示在3D US体积32中从点93到点94——的动态改变遵循某种分布p(Xt|Xt-1),从前一3D US体积取样的粒子可以被传播到下一帧,在所述下一帧,通过测量所评估的工具末端对当前3D US帧的匹配度。通过应用来自如图8中所示的单个X射线图像25的几何约束,状态向量X中变量的数目从六(6)减少到(4),这继而减少了粒子滤波器中所使用的样本的数目,并且相比于3D US中未经约束的跟踪,针对相当的跟踪准确度,使跟踪时间缩短了三分之一(1/3)。换言之,以相同的计算时间,所提出的方案可以使用更多的样本来使3D US体积32中的导管可视化更准确并且更加鲁棒。
图9图示了表示心脏介入程序的流程图100,所述心脏介入程序经由跟踪循环并入本发明的“末端探测模式”,所述跟踪循环包括流程图100的阶段S104-S106。
具体而言,阶段S104包括在心腔的3D US探测期间,生成所述心腔的单个X射线图像。在阶段S105期间,所述单个X射线图像被工具识别模块52a用于在一个时间相位或ECG相位中,在所述心脏的超声图像中识别所述导管的所述末端。
在阶段S105的一个实施例中,通过所述3D US成像系统的用户输入,在超声图像中手动地识别所述导管的所述末端,并且确定被投影到所述X射线探测器上的、从所述X射线源延伸通过3D US体积的所述导管末端的线。
在阶段S105的第二个实施例中,通过所述X射线图像系统的用户输入,在所述X射线图像中手动地识别所述导管的所述末端,并且然后基于所述X射线/3D US配准,将所述导管的所述末端标定到所述超声图像。额外地,确定被投影在所述X射线探测器上的、从所述X射线源延伸通过3D US体积到所述导管末端的线。
在阶段S105的第三个实施例中,通过已知的模版匹配算法在所述X射线图像中自动识别所述导管的所述末端,并且然后基于所述X射线/3D US配准,将所述导管的所述末端标定到所述超声图像。再次,确定被投影在所述X射线探测器上的、从所述X射线源延伸通过3D US体积到所述导管末端的线。
在阶段S105的第四个实施例中,可以使用基于学习的技术在所述超声图像中自动探测所述导管末端,其中外观模型可以来自在样品3D US图像中对导管末端的手动识别,或者来自双平面X射线图像。在该外观建模过程中,首先从所识别的导管末端周围的训练3D US体积提取3D图像块。每个块被重整为向量,并且可以被视为矩阵M的列。可以将奇异值分解(“SVD”)应用到所构造的矩阵,以提取所述训练块的主分量U。即M=UΣVT。
在探测过程期间,沿从在X射线图像中所识别的导管末端后向投影到所述3D US的线进行搜索。针对每个搜索位置,提取具有相同尺寸的块Ip作为训练块。然后可以将所述块分解成b=UTIp,并且通过‖b‖2测量从所述块到习得模型的距离。可以将所述导管末端位置探测为具有最小距离的点。
阶段S106包括图像分割模块53a在所述超声图像中将所述导管的3D形状可视化。在实践中,本发明不对用于可视化目的的所述导管的分割施加任何制约或限制。然而,在阶段S106期间,后向投影的线或线集可以充当所述超声图像中的导管分割的边界约束,即所述导管末端必须被定位在沿该线或线集的某处。所述导管分割可以进一步受所述超声图像的维度的约束。额外地,给定前文提及的边界条件,对导管形状的先验知识可以被进一步用于确定统计上可能的姿态。
所述跟踪循环阶段S104-S106的执行的一个优点是单平面X射线成像系统的使用。
参考流程图100的整体执行,流程图100的阶段S101包括向心腔中插入导管。在所述插入之后,利用3D US探头(例如,图3中所示的探头31)根据需要选择性地触发所述跟踪循环。具体而言,如果所述3D US探头图示所述导管处于心脏壁并且在靶处,那么流程图100从阶段S101通过阶段S102和S103到结束。否则,如果所述3D US探头图示在阶段S102期间所述导管不在心脏壁处,则执行跟踪循环阶段S104-S106。可选地,如果所述3D US探头图示阶段S103期间所述导管不在所述心脏壁的靶处,则在跟踪循环阶段S104-S106的执行之前,在阶段S107期间缩回所述导管。
图5图示了用于根据在本文中被称做“切图分割模式”的过程来实现阶段S63和S64(图2)的导管图像跟踪模块51b,所述过程鉴于以下事实,即导管被分割的方式是基于切图方法。
一般而言,所述“切图分割模式”实现图10中所示的流程110,涉及在阶段S111期间在3D US体积空间中定位导管末端以及在阶段S112期间在3D US体积空间中对导管进行分割。
在阶段S111的一个实施例中,可以在所述3D US体积空间中手动地识别所述导管末端。
在阶段S111的更可靠的第二实施例中,执行表示如图11中所示本发明的导管末端定位方法的流程图120。
参考图11,当导管被插入解剖区域中时,流程图120的阶段S121包括使用已知的心脏和呼吸门控技术,在特定心脏时相(例如,舒张期结束)和指定呼吸阶段(例如,呼吸末阶段)期间,在第一机架角度对所述导管的X射线进行图像采集,并且流程图120的阶段S122包括在阶段S121期间采集的X射线图像中对所述导管末端进行手动或自动分割。
对于单平面X射线成像系统,流程图120的阶段S123包括使用已知的心脏和呼吸门控技术,在相同的指定心脏时相和相同的指定呼吸阶段期间,以第二机架角度对所述导管的X射线进行图像采集,并且流程图120的阶段S124包括在阶段S123期间采集的所述X射线图像中对所述导管末端进行手动或自动分割。
对于双平面X射线成像系统,可以同时执行阶段S121/S122和阶段S123/S124。
对于任一X射线成像系统,在流程图120的阶段S125期间,重建所述导管末端在所述2D X射线坐标系中相应的3D位置。在阶段S125的一个实施例中,利用已知的外极线约束来在所述2D X射线坐标系中重建所述导管末端的3D位置。
其后,在流程图120的阶段S126期间,使用系统校准和实时跟踪,将所重建的所述导管末端的2D X射线坐标位置转换成3D US实时坐标位置。在阶段S126的一个实施例中,将手动对准用作转换的基础。在阶段S126的第二实施例中,将已知的电磁跟踪技术用作所述转换的基础。
返回参考图10,在阶段112期间,流程图120便于流程图150(图14)的执行。
流程图150的前提是以下能量函数[2]的最小化:
其中xp是像素p的标签,并且p~q指示像素p和q相邻。所述能量函数Dp(xp)的首项描述基于像素的标签将像素分配到前景或分配到背景的代价。将像素分配到所述前景的代价被选为该像素的滤波器响应fp与所述图像的最小滤波器响应ε之间的绝对差。该代价在所述导管内的像素处达到其最小值,因为突出所述导管的滤波器在那些像素处给出其最低响应。以类似的方式,将像素分配到后景的代价被选为该像素的滤波器响应fp与所述图像的平均滤波器响应μ之间的绝对差。
另一方面,第二成对部分作为调整项。当两个相邻像素p和q具有不同的标签xp和xq’时,判断项[xp≠xq]取值为1,并且wpq累积到所述能量,否则,其取值为0,并且wpq对所述能量无贡献。作为有助于将相同的标签分配到具有相似滤波器响应的邻近像素的wpq的自然选择,可以利用相似度度量
为了寻找等式[2]的全局最小值,执行图12中所示的流程图130,用于构造加权图,例如图13中所示的加权图140。参考图12和图13,流程图130的阶段S131包括针对每个像素将节点构造到所述图。由于这是个二进制优化问题,流程图130的阶段S132包括添加分别表示后景和前景的两(2)个终端节点s和t。接下来,流程图130的阶段S133包括将终端节点s连接到表示像素的每个节点以及分配权重,以及将终端节点t连接到每个节点以及将权重|fp-μ|分配到那些边。最终,流程图130的阶段S134包括添加连接表示相邻像素的节点的边,以及将权重wpq分配到所述边。
现在参考图14,执行流程图150,用于在所述3D US体积空间中分割所述导管。具体而言,利用由流程图120(图11)确定的在3D US体积空间中确定位置的工具末端作为初始种子点,并且流程图150的阶段S151包括在所识别的工具末端周围生成小的邻域,以计算导管强度的概率分布函数(PDF)。接下来,流程图150的阶段S152包括出于构造加权图的目的,计算等式[2]的项Dp(xp),以将权重分配到每个终端链路,并且流程图150的阶段S153包括向所构造的图应用切图,以获得初始分割。
所述初始分割可能不是理想的,因为不仅导管自身还有其周围具有相似外观的一些其他结构都可以被包括到所述分割中。因此,流程图150的阶段S154包括应用导管形状滤波器,以细化所述初始分割。所述导管形状滤波器被设计为利用所述导管的管状结构,并且在设计上可以是具有3D取向的2D高斯核的二阶导数。在一个实施例中,通过计算所述初始分割的主方向来设置所述滤波器的取向。
在完成阶段S154后,流程图150的阶段S155包括以与阶段S152相同的方式构造新的3D图。在流程图150的阶段S156期间,通过在该新图上再次应用切图来完成最终导管分割。
根据图7至图14的描述,本领域普通技术人员将认识到导管跟踪设备51a(图4)和导管跟踪设备51b(图5)分别的“末端探测模式”和“切图分割模式”。图6图示了根据如由工具探测模块52c执行的“末端探测模式”与由图像分割模块53c执行的“切图分割模式”的组合,用于实现阶段S63和S64的导管图像跟踪模块51c。
根据图1至图14的描述,本领域技术人员将进一步理解根据本发明如何实现针对的任何应用的工具跟踪方法。
在实践中,可以将任意数目的X射线成像设备20、3D US成像设备30和工具跟踪设备集成为单个设备。
尽管已经图示并描述了本发明的各个示范性实施例,但是本领域技术人员将理解,本文中所描述的本发明的示范性实施例仅为举例说明,并且可以在不偏离本发明的真正范围的情况下进行各种修改和变形,以及可以对其要素进行等价替换。此外,可以进行许多变型,以适应本发明的教导,而不偏离其中心范围。因此,目的是,本发明不限于所公开的、预期为执行本发明的最佳方式的具体实施例,而是本发明包括落入所附权利要求范围内的所有实施例。
Claims (20)
1.一种图像引导的系统,包括:
X射线成像设备(20),其用于生成图示解剖区域(40)中的工具(41)的至少一个X射线图像(25、26);
超声成像设备(30),其用于生成图示所述解剖区域(40)中的所述工具(41)的超声图像(33);以及
工具跟踪设备(50),其用于跟踪所述解剖区域(40)中的所述工具(41),
其中,所述工具跟踪设备(50)能够操作为响应于对位于所述至少一个X射线图像(25、26)中的所述工具(41)的部分的识别,确定位于所述超声图像(33)中的所述工具(41)的所述部分的位置,并且
其中,所述工具跟踪设备(50)还能够操作为关于位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定,对位于所述超声图像(33)中的所述工具(41)的整体执行图像分割。
2.如权利要求1所述的图像引导的系统,其中,所述工具(41)是导管。
3.如权利要求1所述的图像引导的系统,其中,所述工具(41)的部分是所述工具(41)的末端。
4.如权利要求1所述的图像引导的系统,其中,所述X射线成像设备(20)是包括单平面X射线成像设备和双平面X射线成像设备的组中的一种。
5.如权利要求1所述的图像引导的系统,其中,响应于对位于所述至少一个X射线图像(25、26)中的所述工具(41)的部分的识别,对位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定包括:
沿从X射线源(21)通过超声体积(32)延伸到X射线探测器(22)的至少一条线确定所述工具(41)的所述部分的位置。
6.如权利要求5所述的图像引导的系统,其中,所述至少一条线充当针对位于所述超声图像(33)中的所述工具(41)的所述整体的所述图像分割的执行的至少一个边界约束。
7.如权利要求1所述的图像引导的系统,其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,执行对位于所述超声图像(33)中的所述工具(41)的所述整体的所述图像分割包括:
构造初始加权能量图(140);以及
对所述初始加权能量图(140)执行切图分割。
8.如权利要求7所述的图像引导的系统,其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,执行对位于所述超声图像(33)中的所述工具(41)的所述整体的所述图像分割还包括:
将形状过滤器应用到对所述初始加权能量图(140)的所述切图分割;
根据所述形状过滤器到所述初始加权能量图(140)的所述切图分割的所述应用,构造最终加权能量图(140);以及
对所述最终加权能量图(140)执行切图分割。
9.一种工具跟踪设备(50),其用于跟踪解剖区域(40)中的工具(41),所述工具跟踪设备(50)包括:
工具(41)识别模块,其能够操作为响应于对位于图示所述解剖区域(40)中的所述工具(41)的至少一个X射线图像(25、26)中的所述工具(41)的部分的识别,确定位于图示所述解剖区域(40)中的所述工具(41)的超声图像(33)中的所述工具(41)的所述部分的位置;以及
图像分割模块,其能够操作为关于位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定,对位于所述超声图像(33)中的所述工具(41)的整体执行图像分割。
10.如权利要求9所述的工具跟踪设备(50),其中,所述工具(41)是导管。
11.如权利要求9所述的工具跟踪设备(50),其中,所述工具(41)的部分是所述工具(41)的末端。
12.如权利要求9所述的工具跟踪设备(50),其中,响应于对位于所述至少一个X射线图像(25、26)中的所述工具(41)的所述部分的所述识别,对位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定包括:
沿从X射线源(21)通过超声体积(32)延伸到X射线探测器(22)的至少一条线确定所述工具(41)的所述部分的位置。
13.如权利要求12所述的工具跟踪设备(50),其中,所述至少一条线充当针对位于所述超声图像(33)中的所述工具(41)的所述整体的所述图像分割的执行的至少一个边界约束。
14.如权利要求9所述的工具跟踪设备(50),其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,对位于所述超声图像(33)中的所述工具(41)的所述整体执行所述图像分割包括:
构造初始加权能量图(140);以及
对所述初始加权能量图(140)执行切图分割。
15.如权利要求14所述的工具跟踪设备(50),其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,对位于所述超声图像(33)中的所述工具(41)的所述整体执行所述图像分割还包括:
将形状过滤器应用到对所述初始加权能量图(140)的所述切图分割;
根据所述形状过滤器到所述初始加权能量图(140)的所述切图分割的所述应用,构造最终加权能量图(140);以及
对所述最终加权能量图(140)执行切图分割。
16.一种用于跟踪解剖区域(40)中的工具(41)的图像引导方法,包括:
生成图示解剖区域(40)中的所述工具(41)的至少一个X射线图像(25、26);
生成图示所述解剖区域(40)中的所述工具(41)的超声图像(33);
响应于对位于所述至少一个X射线图像(25、26)中的所述工具(41)的部分的识别,确定位于所述超声图像(33)中的所述工具(41)的所述部分的位置;以及
关于对位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定,对位于所述超声图像(33)中的所述工具(41)的整体执行图像分割。
17.如权利要求16所述的图像引导方法,其中,响应于对位于所述至少一个X射线图像(25、26)中的所述工具(41)的所述部分的识别,对位于所述超声图像(33)中的所述工具(41)的所述部分的位置确定包括:
沿从X射线源(21)通过超声体积(32)延伸到X射线探测器(22)的至少一条线确定所述工具(41)的所述部分的位置。
18.如权利要求17所述的图像引导方法,其中,所述至少一条线充当针对位于所述超声图像(33)中的所述工具(41)的所述整体的所述图像分割的执行的至少一个边界约束。
19.如权利要求16所述的图像引导方法,其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,对位于所述超声图像(33)中的所述工具(41)的所述整体执行所述图像分割还包括:
构造初始加权能量图(140);以及
对所述初始加权能量图(140)执行切图分割。
20.如权利要求19所述的图像引导方法,其中,关于对位于所述超声图像(33)中的所述工具(41)的所述部分的所述位置确定,对位于所述超声图像(33)中的所述工具(41)的所述整体的执行所述图像分割还包括:
将形状过滤器应用到所述初始加权能量图(140)的所述切图分割;
根据所述形状过滤器到所述初始加权能量图(140)的所述切图分割的所述应用,构造最终加权能量图(140);以及
对所述最终加权能量图(140)执行切图分割。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161432327P | 2011-01-13 | 2011-01-13 | |
US61/432,327 | 2011-01-13 | ||
PCT/IB2012/050109 WO2012095784A1 (en) | 2011-01-13 | 2012-01-10 | Visualization of catheter in three-dimensional ultrasound |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103313661A true CN103313661A (zh) | 2013-09-18 |
CN103313661B CN103313661B (zh) | 2016-05-18 |
Family
ID=45529160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280005280.4A Active CN103313661B (zh) | 2011-01-13 | 2012-01-10 | 三维超声中导管的可视化 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9993304B2 (zh) |
EP (1) | EP2663237B1 (zh) |
CN (1) | CN103313661B (zh) |
WO (1) | WO2012095784A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104758004A (zh) * | 2015-04-21 | 2015-07-08 | 深圳开立生物医疗科技股份有限公司 | 病灶追踪方法、装置和超声系统 |
CN107003984A (zh) * | 2014-09-17 | 2017-08-01 | 卡纳里医疗公司 | 用于使用和监测医疗设备的设备、系统和方法 |
CN106999146A (zh) * | 2014-11-18 | 2017-08-01 | C·R·巴德公司 | 具有自动图像呈现的超声成像系统 |
CN113950294A (zh) * | 2019-05-31 | 2022-01-18 | 皇家飞利浦有限公司 | 用于基于图像的设备分割的基于被动超声传感器的初始化 |
US11779273B2 (en) | 2016-03-23 | 2023-10-10 | Canary Medical Inc. | Implantable reporting processor for an alert implant |
US11911141B2 (en) | 2014-06-25 | 2024-02-27 | Canary Medical Switzerland Ag | Devices, systems and methods for using and monitoring tubes in body passageways |
US11998349B2 (en) | 2013-03-15 | 2024-06-04 | Canary Medical Inc. | Devices, systems and methods for monitoring hip replacements |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9149647B2 (en) | 2008-12-14 | 2015-10-06 | C Laser, Inc. | Method for deep tissue laser treatments using low intensity laser therapy causing selective destruction of Nociceptive nerves |
US9693825B2 (en) | 2008-12-14 | 2017-07-04 | C Laser, Inc. | Fiber embedded hollow needle for percutaneous delivery of laser energy |
WO2016037137A1 (en) * | 2014-09-05 | 2016-03-10 | Procept Biorobotics Corporation | Physician controlled tissue resection integrated with treatment mapping of target organ images |
US10206742B2 (en) | 2010-02-21 | 2019-02-19 | C Laser, Inc. | Fiber embedded hollow spikes for percutaneous delivery of laser energy |
US9265576B2 (en) | 2010-02-21 | 2016-02-23 | C Laser, Inc. | Laser generator for medical treatment |
JP6306024B2 (ja) | 2012-10-01 | 2018-04-04 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム |
US20150095397A1 (en) * | 2013-09-30 | 2015-04-02 | General Electric Company | Integrated systems for use in interventional procedures |
WO2015160886A1 (en) * | 2014-04-16 | 2015-10-22 | C Laser, Inc. | Fiber embedded hollow spikes for percutaneous delivery of laser energy |
EP3160395A4 (en) | 2014-06-25 | 2018-08-08 | Canary Medical Inc. | Devices, systems and methods for using and monitoring heart valves |
US11120622B2 (en) | 2018-06-08 | 2021-09-14 | Data Integrity Advisors, Llc | System and method for biophysical lung modeling |
US11806094B2 (en) | 2019-04-03 | 2023-11-07 | Biosense Webster (Israel) Ltd. | Catheter motion trace visualization |
EP3771435A1 (en) * | 2019-07-31 | 2021-02-03 | Koninklijke Philips N.V. | Passive-ultrasound-sensor-based initialization for image-based device segmentation |
EP4221615A1 (en) * | 2020-09-30 | 2023-08-09 | Koninklijke Philips N.V. | Interventional medical device tracking |
WO2023223103A2 (en) * | 2022-05-19 | 2023-11-23 | Molli Surgical Inc. | Ultrasound-based 3d localization of fiducial markers or soft tissue lesions |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030220561A1 (en) * | 2002-03-11 | 2003-11-27 | Estelle Camus | Method and apparatus for acquiring and displaying a medical instrument introduced into a cavity organ of a patient to be examined or treated |
US20060064006A1 (en) * | 1999-05-18 | 2006-03-23 | Mediguide Ltd. | Method and system for determining a three dimensional representation of a tubular organ |
CN1897878A (zh) * | 2003-12-22 | 2007-01-17 | 皇家飞利浦电子股份有限公司 | 用于把医疗仪器导入到病人体内的系统 |
CN1925793A (zh) * | 2004-03-05 | 2007-03-07 | 皇家飞利浦电子股份有限公司 | 用于在患者体内引导医疗器械的系统 |
CN1973297A (zh) * | 2004-05-14 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 信息增强图像引导介入 |
US20090136103A1 (en) * | 2005-06-24 | 2009-05-28 | Milan Sonka | System and methods for image segmentation in N-dimensional space |
US20100063400A1 (en) * | 2008-09-05 | 2010-03-11 | Anne Lindsay Hall | Method and apparatus for catheter guidance using a combination of ultrasound and x-ray imaging |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4930519A (en) | 1984-04-02 | 1990-06-05 | Medical Graphics Corporation | Method of graphing cardiopulmonary data |
US7212201B1 (en) * | 1999-09-23 | 2007-05-01 | New York University | Method and apparatus for segmenting an image in order to locate a part thereof |
DE19963440C2 (de) | 1999-12-28 | 2003-02-20 | Siemens Ag | Verfahren und System zur Visualisierung eines Gegenstandes |
US6389104B1 (en) * | 2000-06-30 | 2002-05-14 | Siemens Corporate Research, Inc. | Fluoroscopy based 3-D neural navigation based on 3-D angiography reconstruction data |
DE10210650B4 (de) * | 2002-03-11 | 2005-04-28 | Siemens Ag | Verfahren zur dreidimensionalen Darstellung eines Untersuchungsbereichs eines Patienten in Form eines 3D-Rekonstruktionsbilds und medizinische Untersuchungs- und/oder Behandlungseinrichtung |
DE602004024580D1 (de) | 2003-12-22 | 2010-01-21 | Koninkl Philips Electronics Nv | System zum führen eines medizinischen instruments im körper eines patienten |
DE102005022345A1 (de) | 2005-05-13 | 2006-11-16 | Siemens Ag | Verfahren zur Erzeugung und Darstellung von Untersuchungsbildern und zugehöriger Ultraschallkatheter |
US7400767B2 (en) * | 2005-07-15 | 2008-07-15 | Siemens Medical Solutions Usa, Inc. | System and method for graph cuts image segmentation using a shape prior |
US8379957B2 (en) * | 2006-01-12 | 2013-02-19 | Siemens Corporation | System and method for segmentation of anatomical structures in MRI volumes using graph cuts |
DE102007021061A1 (de) | 2007-05-04 | 2008-11-13 | Siemens Ag | Verfahren zur gekoppelten Darstellung von Röntgen-Durchleuchtungs-sowie intraoperativer Ultraschallbilder in der medizinischen Bildgebung |
DE102008030244A1 (de) | 2008-06-25 | 2009-12-31 | Siemens Aktiengesellschaft | Verfahren zur Unterstützung von perkutanen Interventionen |
-
2012
- 2012-01-10 WO PCT/IB2012/050109 patent/WO2012095784A1/en active Application Filing
- 2012-01-10 CN CN201280005280.4A patent/CN103313661B/zh active Active
- 2012-01-10 EP EP12701029.6A patent/EP2663237B1/en active Active
- 2012-01-10 US US13/997,800 patent/US9993304B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060064006A1 (en) * | 1999-05-18 | 2006-03-23 | Mediguide Ltd. | Method and system for determining a three dimensional representation of a tubular organ |
US20030220561A1 (en) * | 2002-03-11 | 2003-11-27 | Estelle Camus | Method and apparatus for acquiring and displaying a medical instrument introduced into a cavity organ of a patient to be examined or treated |
CN1897878A (zh) * | 2003-12-22 | 2007-01-17 | 皇家飞利浦电子股份有限公司 | 用于把医疗仪器导入到病人体内的系统 |
CN1925793A (zh) * | 2004-03-05 | 2007-03-07 | 皇家飞利浦电子股份有限公司 | 用于在患者体内引导医疗器械的系统 |
CN1973297A (zh) * | 2004-05-14 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 信息增强图像引导介入 |
US20090136103A1 (en) * | 2005-06-24 | 2009-05-28 | Milan Sonka | System and methods for image segmentation in N-dimensional space |
US20100063400A1 (en) * | 2008-09-05 | 2010-03-11 | Anne Lindsay Hall | Method and apparatus for catheter guidance using a combination of ultrasound and x-ray imaging |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11998349B2 (en) | 2013-03-15 | 2024-06-04 | Canary Medical Inc. | Devices, systems and methods for monitoring hip replacements |
US11911141B2 (en) | 2014-06-25 | 2024-02-27 | Canary Medical Switzerland Ag | Devices, systems and methods for using and monitoring tubes in body passageways |
CN107003984A (zh) * | 2014-09-17 | 2017-08-01 | 卡纳里医疗公司 | 用于使用和监测医疗设备的设备、系统和方法 |
US11786126B2 (en) | 2014-09-17 | 2023-10-17 | Canary Medical Inc. | Devices, systems and methods for using and monitoring medical devices |
CN106999146A (zh) * | 2014-11-18 | 2017-08-01 | C·R·巴德公司 | 具有自动图像呈现的超声成像系统 |
CN104758004A (zh) * | 2015-04-21 | 2015-07-08 | 深圳开立生物医疗科技股份有限公司 | 病灶追踪方法、装置和超声系统 |
CN104758004B (zh) * | 2015-04-21 | 2018-05-04 | 深圳开立生物医疗科技股份有限公司 | 超声影像中感兴趣区域的追踪方法、装置和超声系统 |
US11779273B2 (en) | 2016-03-23 | 2023-10-10 | Canary Medical Inc. | Implantable reporting processor for an alert implant |
US11896391B2 (en) | 2016-03-23 | 2024-02-13 | Canary Medical Inc. | Implantable reporting processor for an alert implant |
CN113950294A (zh) * | 2019-05-31 | 2022-01-18 | 皇家飞利浦有限公司 | 用于基于图像的设备分割的基于被动超声传感器的初始化 |
Also Published As
Publication number | Publication date |
---|---|
CN103313661B (zh) | 2016-05-18 |
EP2663237B1 (en) | 2014-12-31 |
US9993304B2 (en) | 2018-06-12 |
US20130281839A1 (en) | 2013-10-24 |
WO2012095784A1 (en) | 2012-07-19 |
EP2663237A1 (en) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103313661A (zh) | 三维超声中导管的可视化 | |
US10507002B2 (en) | X-ray system and method for standing subject | |
CN101076282B (zh) | 移动目标的动态追踪 | |
US8165372B2 (en) | Information processing apparatus for registrating medical images, information processing method and program | |
CN103402453B (zh) | 用于导航系统的自动初始化和配准的系统和方法 | |
CN105027163B (zh) | 扫描区域确定装置 | |
US9179890B2 (en) | Model-based positioning for intracardiac echocardiography volume stitching | |
US10426414B2 (en) | System for tracking an ultrasonic probe in a body part | |
EP3492008B1 (en) | Apparatus and method for image guided accuracy verification | |
CA3064678A1 (en) | Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization | |
Lobaton et al. | Continuous shape estimation of continuum robots using X-ray images | |
Pellikaan et al. | Evaluation of a morphing based method to estimate muscle attachment sites of the lower extremity | |
CN105025803A (zh) | 从多个三维视图对大对象的分割 | |
CN105408939A (zh) | 用于配准成像设备与跟踪设备的配准系统 | |
CN101103377A (zh) | 进行局部可变形运动分析的系统和方法 | |
CN101901335A (zh) | 用于自动识别3d数据集中图像视图的方法和设备 | |
EP2976737B1 (en) | View classification-based model initialization | |
JP2004202132A (ja) | 超音波診断装置 | |
US11419583B2 (en) | Reconstruction-free automatic multi-modality ultrasound registration | |
CN103229210A (zh) | 图像配准装置 | |
CN102317971A (zh) | 基于运动模型的组间图像配准 | |
CN106133789A (zh) | 用于分割感兴趣区域的图像处理装置和方法 | |
Zhong et al. | “virtual touch”: An efficient registration method for catheter navigation in left atrium | |
US11642175B2 (en) | Systems and methods for registration using an anatomical measurement wire | |
CN111166373A (zh) | 一种定位注册方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |