CN101190149B - 将3维图像结合到介入过程中的方法和系统 - Google Patents

将3维图像结合到介入过程中的方法和系统 Download PDF

Info

Publication number
CN101190149B
CN101190149B CN2007103051448A CN200710305144A CN101190149B CN 101190149 B CN101190149 B CN 101190149B CN 2007103051448 A CN2007103051448 A CN 2007103051448A CN 200710305144 A CN200710305144 A CN 200710305144A CN 101190149 B CN101190149 B CN 101190149B
Authority
CN
China
Prior art keywords
dimensional image
data set
image data
imaging devices
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007103051448A
Other languages
English (en)
Other versions
CN101190149A (zh
Inventor
简·博斯
迈克尔·马希克
马库斯·菲斯特
诺伯特·拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN101190149A publication Critical patent/CN101190149A/zh
Application granted granted Critical
Publication of CN101190149B publication Critical patent/CN101190149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations

Abstract

三维图像数据集用于协助介入过程的显现。该三维图像数据集被配准到由医学成像设备所获取的二维图像。显示设备可显示该三维图像数据集和二维图像的融合显现。监视设备可以监视在介入过程中使用的医学器械的行进。处理器可以将医学器械的位置结合在由显示设备显示的融合显现中。

Description

将3维图像结合到介入过程中的方法和系统
技术领域
本发明涉及将三维图像结合到介入过程(interventional procedure)中的方法和系统。具体地，处理所获取的二维或三维图像数据集，并将其显示为介入过程期间的融合显现(fusion visualization)。
背景技术
涉及对病人最低限度侵入的介入过程日益流行。最低限度侵入的介入过程的例子包括心脏瓣置换或修复、干细胞治疗、球囊标称设备的放置、肿瘤治疗、脊椎麻醉过程和侵入关节治疗。介入过程的其他例子包括椎体成形术、脊柱后凸成形术、脊髓造影术、骨活组织检查、椎间盘造影术、椎间盘内电热治疗和脊神经根(perpiradicular)治疗。在这些介入过程中使用的医学器械通常包括导管、针和导丝(guidewire)，它们经常被导入接受介入过程的病人的器官腔或部分。通常使用能够获取二维图像的医学成像设备来监视这些介入过程，并且医生或技术人员可以使用获取的二维图像来监视正在使用的医学器械。所获取的二维图像的例子包括荧光镜图像、所计算的x射线断层图像、磁共振图像、超声波和正电子发射跟踪图像。
尽管可以使用所获取的二维图像来监视医学器械，但是在这些二维图像中经常不能适当显示接受介入过程的病人的解剖体。因此，医生或技术人员不能监视医学器械以及它们相对病人解剖体的位置。
发明内容
通过介绍，下面所述的实施例包括用于将三维图像结合到介入过程中的系统和方法。该系统可操作以获取并显示介入过程期间的图像。该系统包括医学成像设备、监视设备、处理器和显示设备。该医学成像设备可以获取接受介入过程的病人的器官腔或部分的二维图像。监视设备可以监视病人，并可检测病人位置或排列的变化。监视设备还可监视病人的器官腔。可以进一步配置监视设备来监视介入过程中所使用的医学器械。处理器与监视设备和医学成像设备相耦接。处理器可以基于所获取的二维图像和三维图像数据集生成病人的器官腔或部分的3维/2维融合显现。然后，显示设备可以显示3维/2维融合显现。
该方法涉及使用三维图像数据集显示介入过程。该方法包括获取三维图像数据集和二维图像。然后，将三维图像数据集配准到二维图像。然后，将三维图像数据集和二维图像显示为3维/2维融合显现。可以将三维图像数据集显示为与二维图像的显示相分离的单独三维图像。
本发明由下面的权利要求所限定，并且不应将本部分的任何内容当作对这些权利要求的限制。下面结合优选实施例论述实施例中的另外的方面和优点，并且稍后可以单独或组合地提出实施例中的另外的方面和优点的权利要求。
附图说明
参考下面附图和描述，可以更好地理解该系统。不必按比例确定图中的部件，而是将重点放在图示本发明的原理上。此外，图中，同样参考标记在不同视图中代表相应部件。
图1是用于获取图像和显示介入过程的系统的一个实施例的方框图。
图2是图示三维图像和二维图像的融合显现的方框图。
图3是用于显示介入过程的方法的一个实施例的流程图。
图4是用于配准三维图像数据集的方法的一个实施例的流程图。
图5是用于进行介入过程的方法的一个实施例的流程图。
具体实施方式
图1示出系统102的一个实施例，该系统102用于在介入过程期间使用被配准到二维图像的三维图像数据集的获取和显示。该系统102包括可以获取二维图像106的医学成像设备104。该系统102还包括与处理器112耦接的监视设备110。在一个实施例中，处理器112接收二维图像106和三维图像数据集108作为输入。处理器112可操作以产生二维图像106和三维图像数据集108的融合显现114。然后，可以使用显示设备116显示3维/2维融合显现图像114。显示设备116还可接收三维图像数据集108和二维图像106作为输入，用于单独显示。
医学成像设备104是可操作以生成二维图像的医学成像设备，该二维图像例如荧光镜图像、血管造影图像、超声波图像、X-射线图像、任何其他的现在已知或以后开发的二维图像获取技术或其组合。例如，在一个实施例中，医学成像设备104是X射线成像设备，例如可以从宾夕法尼亚州马尔文(Malvem，Pennsylvania)西门子AG总部的西门子医疗公司得到的ARCADISOrbic C臂成像设备。在另一实施例中，医学成像设备104是手术显微镜，例如可以从新泽西洲帕拉母斯Topcon美国公司总部得到的OMS-610手术显微镜。在另一实施例中，医学成像设备104是能够产生荧光镜图像的成像设备，例如也可以从西门子AG的西门子医疗公司得到的AXIOM IconosR200。医学成像设备104还可以是能够产生血管造影图像的成像设备，例如也可以从西门子AG的西门子医疗公司得到的AXIOM Artis dTA。
通过医学成像设备104获取的二维图像106可以是荧光镜图像、血管造影图像、X-射线图像、超声波图像、任何其他二维医学图像或者其组合。例如，可以使用计算的X射线断层造影术(CT)、磁共振成像(MRI)、正电子发射X射线层析照相术(PET)、单光子发射计算的X射线层析照相术(SPECT)、任何其他现在已知或以后开发的二维图像技术或者其组合获取二维图像106。二维图像可以是经受介入过程的病人的器官腔或部分的扫描的二维图像。例如，二维图像106可以是病人胸腔的X射线图像。在另一实施例中，二维图像106可以是病人胃肠道的荧光镜图像。
三维图像数据集108是表示被配准到由医学成像设备104所产生的二维图像106的病人的器官腔或部分的数据集。使用包括术前技术、术间技术、融合3维体积(volume)成像技术、任何其他现在已知或以后开发的技术者其组合的三维技术，可以获取三维图像数据集108。术前技术的例子包括但不限于计算的X射线断层造影术(CT)、磁共振成像(MRI)、正电子发射X射线层析照相术(PET)、单光子发射计算的X射线层析照相术(SPECT)、超声波或者其组合。术间技术的例子包括但不限于3维数字减影血管造影、3维数字血管造影、旋转血管造影，例如由西门子AG的西门子医疗公司开发的DynaCT技术、3维超声波或其组合。融合3维空间成像技术的例子包括但不限于均由西门子AG的西门子医疗公司开发的PET/CT成像技术和SPECT+CT成像技术。现在已知或以后开发的其他类型三维成像技术也是预期的。
三维图像数据集108被配准到二维图像106。配准一般指为了达到两个图像的理想匹配的空间改变(例如，变换、旋转、按比例缩放、变形)或一个图像相对于另一图像的已知空间关系。配准技术包括但不限于基于医学成像设备的校准信息的配准、基于特征的配准、基于斑点的配准、运动跟踪、基于强度的配准、隐含配准及其组合。由Amulf Oppelt在Imaging Systems forMedical Diagnostics(2005)的第4章中阐述了另外的配准技术。
监视设备110监视系统102的介入过程。在一个实施例中，监视设备110是定位在医学成像设备104上的照相机，该照相机将病人器官腔或部分的实时图像提供给处理器112，用于在显示设备116上显示。在另一实施例中，监视设备110为用于在病人器官腔或部分中定位医学器械的器械定位设备。例如，器械定位设备可以使用磁跟踪来跟踪医学器械在病人器官腔或部分中的位置。该器械定位设备可以将医学器械在病人器官腔或部分内的坐标提供给处理器112，用于稍后在显示设备116上显示。在这个例子中，三维图像数据集108还可以被配准给器械定位设备。在另一实施例中，监视设备110是磁导航设备，该磁导航设备可操作以操纵正在病人器官腔或部分内使用的医学器械。磁导航设备可将医学器械在病人器官腔或部分中的坐标提供给处理器112，用于稍后在显示设备116上显示。在这个实施例中，三维图像数据集108还可被配准给器械导航设备。
处理器112是用于生成二维图像106和三维图像数据集108的融合显现的通用处理器、数字信号处理器、图形卡、图形芯片、个人计算机、母板、存储器、缓冲器、扫描转换器、滤波器、插入器、场可编程门阵列、专用集成电路、模拟电路、数字电路、其组合或者任何其他现在已知或以后开发的设备。处理器112包括用于呈现三维图像数据集108的三维表示的软件或硬件，例如通过Alpha混合、最小强度投影、最大强度乘积、表面呈现或其他现在已知或以后开发的呈现技术。处理器112还具有用于形成二维图像106与三维图像数据集108融合的软件。然后，由处理器112所产生的得到的3维/2维融合显现114被传递给显示设备116。术语融合显现一般指二维图像106和三维图像数据集108以与它们当前配准相关的方式的显示。融合显现技术包括但不限于基于强度的显现、空间呈现技术、数字重构放射图像、重叠图形初始、反投影、减影显现或其组合。基于由监视设备110提供的医学器械的坐标，还可以配置处理器112以将由监视设备110监测的医学测量值结合在3维/2维融合显现114中。基于由监视设备110提供的输出，还可以配置处理器112以更新医学器械相对于三维图像数据集108和二维图像106的位置和方位。
显示设备116是监视器、CRT、LCD、等离子体屏幕、平板、投影仪、其他现在已知或以后开发的显示设备。显示设备116可操作以生成由处理器112产生的3维/2维融合显现114的图像。显示设备116还可操作以显示三维图像数据集108的分离三维图像和显示由医学成像设备104提供的二维图像106。还可以配置显示设备116，以显示由监视设备110监视的医学器械。
系统102可进一步包括用户输入端，该用户输入端用于操纵医学成像设备104、监视设备110、处理器112、显示设备116或其组合。用户输入端可以是键盘、触摸屏、鼠标、踪迹球、触摸板、拨号盘、旋钮、滑动条、按钮或其组合、或其他现在已知或以后开发的用户输入设备。
图2是图示二维图像106和三维图像数据集108的3维/2维融合显现114的方框图。将三维图像数据集108配准到二维图像106。处理器112接收三维图像数据集108和二维图像106，以产生二维图像106和三维图像数据集108的3维/2维融合显现114。监视设备110还可将坐标提供给由三维图像数据集108和二维图像106表示的器官腔中使用的医学器械的处理器112。处理器112使用来自监视设备110的坐标，将医学器械的位置结合在3维/2维融合显现114中。可以进一步配置监视设备110，以在介入过程期间将坐标实时提供给处理器112。可将进一步的二维图像和三维图像数据集提供给处理器112，用于更新由处理器112所产生的3维/2维融合显现114。
图3是用于使用被配准到二维图像106的三维图像数据集108显示介入过程的方法的一个实施例的流程图。如图3所示，在进行介入过程(块304)之前，发生三维图像数据集108到二维图像106(块302)的初始配准。
图4是用于配准三维图像数据集的方法的一个实施例的流程图。如图4所示，在介入过程的准备中(块402)，医生或技术人员可以首先获取病人的器官腔中或部分的三维图像数据集108。在图4所示的实施例中，使用术前技术，获取三维图像数据集108。例如，可以使用计算机X射线断层造影术、磁共振成像、正电子发射X射线层析照相术、单光子发射计算的X射线层析照相术或任何其他现在已知或以后开发的三维图像数据集获取技术，获取三维图像数据集108。在另一实施例中，医生或技术人员可以在介入过程期间使用诸如3维数字减影血管造影、3维数字血管造影、DynaCT技术或任意其他现在已知或用户开发的术间技术或其组合的术间技术，获取三维图像数据集108。
一旦已经获取了三维图像数据集108(块402)，然后，医生或其他技术人员可以确定医学成像设备是否支持不同模式(modality)(块404)。例如，医学成像设备104可以支持多个医学模式，例如CT、MRI、PET、SPECT、任意其他现在已知或以后开发的成像模式或者其组合。如果医生或技术人员确定医学成像设备104仅有一种模式，比如CT，则医生或技术人员将三维图像数据集108配准到医学成像设备104的这一种模式(块410)。扫描设备的空间关系确定扫描区域的空间关系。由于二维和三维图像集对应于扫描区域，因而从扫描设备的空间关系确定图像集的空间关系。如果医生或技术人员确定医学成像设备104支持多种模式，则医生或技术人员基于由医学成像设备104所支持的多种模式中的一种或多种，继续将三维图像数据集108配准到二维图像106(块406)。在每个配准后，医生或技术人员确定是否还有用于医学成像设备104的剩余模式(块408)。如果还有剩余模式，则医生或技术人员可以继续将三维图像数据集108配准到剩余的一个或多个模式(块406)。可替换地，或者除了将三维图像数据集108配准到医学成像设备104中的一个或多个成像模式之外，可以将三维图像数据集108配准到医学成像设备104的几何形状。
尽管图4示出了基于医学成像设备104中成像模式的三维图像数据集108的配准，但其他类型配准也是可行的。例如，使用基于图像的配准技术，比如刚性和仿射配准、基于几何形状的配准、显现排列配准、基于特征的配准、基于界标的配准、非刚性配置、任何现在已知或以后开发的配准技术或其组合，可以将三维图像数据集108配准到二维图像106。
医生或技术人员确定监视设备110是否支持在介入过程期间使用的磁跟踪或磁导航(块412)。如果监视设备110不支持磁跟踪和/或磁导航，则医生或技术人员继续完成三维图像数据集108到医学成像设备104的配准(块416)。如果监视设备110支持磁跟踪和/或磁导航，则医生或技术人员基于磁跟踪和/或磁导航将三维图像数据集108配准到监视设备110(块414)。基于磁跟踪和/或磁导航将三维图像数据集108配准到监视设备110(块414)还可以包括将三维图像数据集108配准到在介入过程中使用的医学器械。可替换地，将监视设备110配准到二维图像。
医生或技术人员继续完成配准处理(块416)。完成配准处理可以包括修改三维图像数据集108的配准、修改三维图像数据集108或将三维图像数据集108保存在系统102的存储器中。修改三维图像数据集108的配准或修改三维图像数据集108可以包括对三维图像数据集108进行添加、从三维图像数据集108中去除信息、对三维图像数据集108进行编辑或其组合。
如图3所示，在配准操作完成之后(块302)，医生或技术人员进行介入过程(块304)。图5是使用被配准到二维图像的三维图像数据集进行介入过程的方法的一个实施例的流程图。在进行介入过程中，医生或技术人员可以首先在显示设备116上显示三维图像数据集108的显现(块502)。然后，医生或技术人员可决定修改三维图像数据集108的显现(块504)。如果医生或技术人员决定不修改三维图像数据集108的显现，则医生或技术人员继续在接收介入过程的病人上方或附近定位医学成像设备104(块508)。如果医生或技术人员决定修改三维图像数据集108的显现，则医生或技术人员修改三维图像数据集108的显现(块506)。
在一个实施例中，医生或技术人员通过在图像处理工作站上编辑显现来修改三维图像数据集108的显现。在另一个实施例中，医生或技术人员通过改变用于显示三维图像数据集108中的显现的传输函数来修改三维图像数据集108的显现。在另一个实施例中，医生或技术人员通过修剪所显示的显现来修改三维图像数据集108的显现。修改三维图像数据集118的显现还可以包括改变用于显示三维图像数据集108的显现的体积呈现模式(mode)。在另一实施例中，医生或技术人员通过在显现中标记目标来修改三维图像数据集108的显现，例如通过标记用于活组织检查的胆管或特定肿瘤。使用上述任意一种技术或其组合，医生或技术人员可以修改三维图像数据集108的显现。
在医生或技术人员已经完成修改三维图像数据集108的显现(块506)或者决定不修改三维图像数据集108的显现(框504)之后，医生或技术人员将医学成像设备104定位在接受介入过程的病人上方或附近，以获得工作投影(例如，二维图像106)(块508)。在定位医学成像设备104中，医生或技术人员可以变更医学成像设备104的旋转排列、医学成像设备104的定向排列、用于获取二维图像106的缩放因子、任何其他类似或等效的定位变更或其组合。在一个实施例中，根据对医学成像设备104做出的定位变更，基于医学成像设备104的几何尺寸，处理器112将三维图像数据集108配准到二维图像106。在另一实施例中，在定位医学成像设备104之后，基于医学成像设备104的几何尺寸，处理器112没有将三维图像数据集108配准到二维图像106，而是稍后使用基于图像的配准。
在医生或技术人员已经将医学成像设备104定位在接受介入过程的病人上方或附近之后，然后医生或技术人员使用医学成像设备104获取病人器官腔或部分的二维图像106(块510)。在已经获取二维图像106之后(块510)，处理器112产生二维图像106和三维图像数据集108的3维/2维融合显现114，然后在显示设备116上显示该3维/2维融合显现114(块512)。
在显示设备116上显示3维/2维融合显现114的同时，医生或技术人员可以调整二维图像106和从三维图像数据集108中生成的三维图像的混合。例如，医生或技术人员可能仅仅希望看到3维/2维融合显现114的二维图像106。在这种情况下，医生或技术人员可以调整混合，以便在显示设备116上仅显示二维图像106。在另一例子中，医生可能希望在3维/2维融合显现114中仅看到三维图像数据集108中的三维图像。在这种情况下，医生或技术人员可以调整3维/2维融合显现114的混合，以便仅仅显示三维图像数据集108中的三维图像。在可替换实施例中，显示设备116显示二维图像106、三维图像数据集108中的三维图像表示和由处理器112输出的3维/2维融合显现114。
3维/2维融合显现114可以是使用α混合、弹性α混合、覆盖了多平面重构的体积呈现技术、覆盖了最大强度投影的体积呈现技术、任何其他现在已知或以后开发的融合显现技术或其组合所生成的融合显现。在一个实施例中，通过显示三维图像数据集108的显现，可以产生3维/2维融合显现114，该三维图像数据集108的显现是使用覆盖了预先配准的二维图像106的体积呈现技术而呈现的。例如，可以使用体积呈现技术显示三维图像数据集108，并且可以将二维图像106显示为覆盖在所呈现的体积上的最大强度投影，该所呈现的体积作为三维图像数据集108中的平面。在这个例子中，处理器112可操作以旋转由显示设备116显示的3维/2维融合显现，以便提供三维图像数据集108和二维图像106的三维旋转视图。在另一实施例中，结合医学器械，显示该3维/2维融合显现114。例如，可以获取二维图像106作为最大强度投影，使得医学器械出现在二维图像106中。在这个例子中，可以将该3维/2维融合显现114显示为使用体积呈现技术所呈现的三维图像数据集108的显现，并且可以显示二维图像106覆盖在作为三维图像数据集108的平面的所呈现的体积上，以便医学器械出现在3维/2维融合显现114的显示中。
在显示3维/2维融合显现114之后或同时(块512)，医生或技术人朝向介入过程的目标推进医学器械(块514)。医生或技术人员使用的医学器械可以取决于介入过程的类型。例如，如果介入过程涉及肿瘤活组织检查、支气管镜或其他类似过程，则在介入过程中使用的医学器械可以是针。在另一实施例中，如果介入过程涉及慢性完全性梗塞、支架放置或其他类似介入过程，则医学器械可以是导管或导丝。
在医生或技术人员将医学器械移向介入过程的目标的同时，在显示设备116上显示医学器械相对于3维/2维融合显现114的位置(块516)。在一个实施例中，监视设备110使用磁跟踪。在这个实施例中，监视设备110将病人器官腔或部分内的医学器械的位置坐标传送给处理器112。该处理器112计算医学器械相对于三维图像数据集108、融合显现114和/或二维图像106的位置。由此，处理器112可以将医学器械的位置结合在3维/2维融合显现114中。在另一实施例中，监视设备110使用磁导航，这样允许医生或技术人员在病人器官腔或部分内导航该医学器械。在医生或技术人员已经将三维图像数据集108配准到监视设备110的磁导航系统的情况下，监视设备110将医学器械在病人器官腔或部分内的位置坐标传送给处理器112。处理器112计算医学器械相对于三维图像数据集108、融合显现114和/或二维图像106的位置。在这个实施例中，医生或技术人员可以通过观看结合在由显示设备116所显示的3维/2维融合显现114中的医学器械，来控制医学器械。
在医学器械相对于3维/2维融合显现114的位置的显示(块516)中，医生或技术人员还可调整医学成像设备104的显示模式，以更好地显现医学器械。例如，医学成像设备104可以支持减影模式，其允许处理器112从3维/2维融合显现114中滤去不想要的噪声。通过使用医学成像设备104的减影模式，在与3维/2维融合显现114中的二维图像106和三维图像数据集108的三维图像表示对照时，医生或技术人员可更好地观察医学器械。医学成像设备104还可以支持其他浏览模式。
在将3维/2维融合显现显示在显示设备116上(块516)之后，医生或技术人员可以决定更新三维图像数据集108到二维图像106的配准(块518)。如果病人在介入过程期间已经移动了，或者如果医学成像设备104自最后获取二维图像106时已经改变了扫描区域的位置或方位，则可发生更新三维图像数据集108到二维图像106的配准。如果医生或技术人员决定更新三维图像数据集108到二维图像106的配准，则医生或技术人员对处理器112发出指令以更新三维图像数据集108到二维图像106的配准。基于由监视设备110或医学成像设备104所提供的输出，处理器112自动更新三维图像数据集108到二维图像106的配准也是可能的。在一个实施例中，配准的更新是基于运动修正的。基于运动修正的更新配准的例子包括但不限于特征跟踪、心电图(ECG)触发、呼吸跟踪和/或控制、在线配准、任何其他现在已知或以后开发的运动修正技术或其组合。在一个实施例中，监视设备110使用特征跟踪，比如在接受介入过程的病人上的界标，来监视病人的移动。在这个实施例中，处理器112使用由监视设备110提供的特征跟踪来更新三维图像数据集108到二维图像106的配准。在另一实施例中，监视设备110使用ECG触发来监视接受介入过程的病人，并将ECG触发作为输入提供给处理器112，以更新三维图像数据集108到二维图像106的配准。在另一实施例中，配准的更新基于医学成像设备104的位置或方位的改变。例如，在医学成像设备104在获取第一个二维图像和第二个二维图像之间移动的情况下，可以基于医学成像设备104在获取期之间的位置或方位的改变更新三维图像数据集108的配准。
在更新了三维图像数据集108到二维图像106的配准之后，医生或技术人员检验医学器械相对于3维/2维融合显现114的位置(块522)。在一个实施例中，医生或技术人员使用监视设备110确定医学器械在接受介入过程的病人的器官腔或部分内的位置，然后将通过监视设备110所报告的医学器械的位置与在3维/2维融合显现114中所显示的位置相比较。例如，在监视设备110使用磁跟踪的情况下，医生或技术人员可以使用监视设备110的磁跟踪特征来确定医学器械的位置。在另一例子中，在监视设备110使用磁导航的情况下，医生或技术人员可以使用监视设备110的磁导航特征来确定医学器械的位置。在另一实施例中，医生或技术人员使用医学成像设备104检验医学器械相对于3维/2维融合显现114的位置。例如，医学成像设备104从不同角度获取多个二维图像，然后将该多个二维图像相互比较，以确认医学器械的位置。处理器112通过图像处理来确定对准，或者医生或技术人员输入指示正确对准的数据。在使用医学成像设备104确认医学器械的位置之后，医生或技术人员然后比较所确定的医学器械的确定位置和由显示设备116在3维/2维融合显现114中所显示的其位置。在另一实施例中，医生或技术人员可以操纵由医学成像设备106支持的浏览模式，以更好地显现在接受介入过程的病人的器官腔或部分中的医学器械，比如在医学成像设备106支持减影浏览模式的情况下，检验医学器械的位置。
在检验医学器械相对于3维/2维融合显现114的位置之后，根据用于改变医学器械的位置的设备，医生或技术人员或处理器112更新三维图像数据集108到用于监视设备110的医学成像设备104的配准(块524)。例如，在医生或技术人员使用医学成像设备104检验医学器械的位置的情况下，基于医学成像设备104的几何尺寸更新三维图像数据集108到二维图像106的配准。在另一例子中，医生或技术人员触发三维图像数据集108到监视设备110的配准的更新。处理器112基于医学成像设备104上的传感器和/或来自监视设备110的输入来确定空间关系。
然后，医生或技术人员确定介入过程是否完成(块526)。如果介入过程没有完成，则显示设备16继续显示三维数据集108的显现，或更新三维数据集108(块502)。此后，医生或技术人员继续先前所述的动作，直至医生或技术人员确信完成了介入过程。如果医生或技术人员确定完成了介入过程，则医生或技术人员检验介入过程的成功(块528)。例如，医生或技术人员可以使用诸如3维数字减影血管造影术、3维数字血管造影术、旋转血管造影术、任何现在已知或后面开发的三维成像技术或其组合等额三维成像技术检验完成了介入过程。可替换地，在介入过程时，将实时或连续更新2维图像用于确认完成。
尽管已经参考三维图像数据集描述了图4-5，但是使用四维数据集也是可能的，比如在三维图像数据集具有时间或空间分量的情况下。具有时间分量的三维图像数据集的一个例子是心脏的三维图像数据集，其中心脏在介入过程期间在体积大小上发生改变。在这个例子中，具有时间分量的心脏的三维图像数据集变为四维图像数据集。随时间改变的三维图像数据集的另一例子是肺的三维图像数据集，肺也在介入过程期间在体积上发生改变。在这个例子中，具有时间分量的肺的三维图像数据集变为四维图像数据集。在这两个例子中，可以将四维图像数据集的心脏活动或呼吸活动配准到二维图像106或监视设备110中的磁跟踪和/或磁导航系统。
尽管已经描述了本发明的多个实施例，但是本领域技术人员应当清楚的是，在本发明的范围内更多的实施例和实现是可能的。因此，除根据所附的权利要求及其等价物之外，本发明不受限制。

Claims (8)

1.一种获取并显示介入过程的图像的系统，该系统包括：
医学成像设备，可操作以获取器官腔的二维图像；
监视设备，被配置为监视在介入过程期间正对器官腔使用的医学器械；
处理器，可操作以：获取表示器官腔的三维图像数据集；将所述三维图像数据集动态地配准到所述医学成像设备的坐标系统和所述监视设备的坐标系统；并且生成从所述三维图像数据集中计算出的三维图像、所述二维图像和基于所述监视设备的输出的医学器械的表示的融合显现；以及
显示设备，可操作以显示所产生的融合显现。
2.如权利要求1所述的系统，其中，在介入过程之前获取表示器官腔的三维图像数据集。
3.如权利要求1所述的系统，其中，在介入过程期间获取表示器官腔的三维图像数据集。
4.如权利要求1所述的系统，其中，所述医学成像设备是X射线成像设备或手术显微镜。
5.如权利要求1所述的系统，其中，所述监视设备进一步被配置用于使用器械定位设备来确定医学器械的定位，所述器械定位设备使用磁跟踪，以及其中，所述处理器还可操作以确定所述定位相对于三维图像数据集和二维图像的位置。
6.如权利要求1所述的系统，其中，所述监视设备包括磁导航设备，所述磁导航设备可操作以基于医学器械的定位和该定位相对于三维图像数据集和二维图像的位置来控制医学器械，其中
所述监视设备被进一步配置以确定医学器械的定位；以及
其中，所述处理器还可操作以确定所述定位相对于三维图像数据集和二维图像的位置。
7.如权利要求1所述的系统，其中，所述二维图像是荧光镜图像。
8.如权利要求1所述的系统，其中，所述处理器还可操作以基于心电图的输出动态更新三维图像数据集到医学成像设备的坐标系统的配准。
CN2007103051448A 2006-10-05 2007-10-08 将3维图像结合到介入过程中的方法和系统 Active CN101190149B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/544,846 2006-10-05
US11/544,846 US20080147086A1 (en) 2006-10-05 2006-10-05 Integrating 3D images into interventional procedures

Publications (2)

Publication Number Publication Date
CN101190149A CN101190149A (zh) 2008-06-04
CN101190149B true CN101190149B (zh) 2012-11-14

Family

ID=39387425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007103051448A Active CN101190149B (zh) 2006-10-05 2007-10-08 将3维图像结合到介入过程中的方法和系统

Country Status (3)

Country Link
US (1) US20080147086A1 (zh)
JP (1) JP5348868B2 (zh)
CN (1) CN101190149B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006029718A1 (de) * 2006-06-28 2008-01-10 Siemens Ag Verfahren zur Auswertung zweier Abbilder sowie medizinisches Abbildungssystem
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga
FR2914176B1 (fr) * 2007-03-27 2009-05-22 Gen Electric Procede de detection et de compensation du mouvement respiratoire dans des images cardiaques fluoroscopiques synchronisees a un signal electrocardiogramme.
WO2008141293A2 (en) * 2007-05-11 2008-11-20 The Board Of Regents Of The University Of Oklahoma One Partner's Place Image segmentation system and method
EP2017785A1 (en) * 2007-07-17 2009-01-21 BrainLAB AG Imaging method for motion analysis
EP2193499B1 (en) * 2007-10-01 2016-07-20 Koninklijke Philips N.V. Detection and tracking of interventional tools
US8270691B2 (en) * 2007-10-09 2012-09-18 Siemens Aktiengesellschaft Method for fusing images acquired from a plurality of different image acquiring modalities
RU2520369C2 (ru) * 2008-06-25 2014-06-27 Конинклейке Филипс Электроникс Н.В. Устройство и способ локализации представляющего интерес объекта у субъекта
DE102008052685A1 (de) 2008-10-22 2010-05-06 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Visualisierung eines interessierenden Bereichs im menschlichen Körper
US9111223B2 (en) * 2009-01-22 2015-08-18 Koninklijke Philips N.V. Predicting user interactions during image processing
US20100292565A1 (en) * 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
US8828053B2 (en) 2009-07-24 2014-09-09 Depuy Mitek, Llc Methods and devices for repairing and anchoring damaged tissue
US8814903B2 (en) 2009-07-24 2014-08-26 Depuy Mitek, Llc Methods and devices for repairing meniscal tissue
DE102009038239A1 (de) * 2009-08-20 2011-03-03 Siemens Aktiengesellschaft Verfahren und Vorrichtungen zur Untersuchung eines bestimmten Gewebevolumens in einem Körper sowie ein Verfahren und eine Vorrichtung zur Segmentierung des bestimmten Gewebevolumens
JP5661264B2 (ja) * 2009-09-03 2015-01-28 株式会社日立メディコ Ｘ線ナビゲーション装置
CN102651999B (zh) * 2009-12-09 2015-07-22 皇家飞利浦电子股份有限公司 超声和x射线系统的组合
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US9104902B2 (en) * 2010-04-15 2015-08-11 Koninklijke Philips N.V. Instrument-based image registration for fusing images with tubular structures
US9743919B2 (en) 2010-04-27 2017-08-29 DePuy Synthes Products, Inc. Stitch lock for attaching two or more structures
JP5763173B2 (ja) 2010-04-27 2015-08-12 ジンテス ゲゼルシャフト ミット ベシュレンクテル ハフツング 拡張可能なアンカを有するアンカアセンブリ
US9724080B2 (en) 2010-04-27 2017-08-08 DePuy Synthes Products, Inc. Insertion instrument for anchor assembly
US9451938B2 (en) 2010-04-27 2016-09-27 DePuy Synthes Products, Inc. Insertion instrument for anchor assembly
FR2960332B1 (fr) * 2010-05-21 2013-07-05 Gen Electric Procede de traitement d'images radiologiques pour determiner une position 3d d'une aiguille.
CN102346803A (zh) * 2010-07-28 2012-02-08 北京集翔多维信息技术有限公司 心血管造影图像分析系统
US8768029B2 (en) * 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US9307978B2 (en) 2010-11-04 2016-04-12 Linvatec Corporation Method and apparatus for securing an object to bone, including the provision and use of a novel suture assembly for securing an object to bone
US9307977B2 (en) 2010-11-04 2016-04-12 Conmed Corporation Method and apparatus for securing an object to bone, including the provision and use of a novel suture assembly for securing suture to bone
US9119893B2 (en) 2010-11-04 2015-09-01 Linvatec Corporation Method and apparatus for securing an object to bone, including the provision and use of a novel suture assembly for securing an object to bone
US11406278B2 (en) 2011-02-24 2022-08-09 Koninklijke Philips N.V. Non-rigid-body morphing of vessel image using intravascular device shape
DE102011079380A1 (de) * 2011-07-19 2013-01-24 Siemens Aktiengesellschaft Verfahren, Computerprogramm und System zur computergestützten Auswertung von Bilddatensätzen
US8948487B2 (en) * 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
US9510771B1 (en) 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
FR2985899B1 (fr) 2012-01-24 2015-04-17 Gen Electric Traitement d'images de radiologie interventionnelles par analyse de l'ecg
CN102809808A (zh) * 2012-08-15 2012-12-05 深圳市麟静科技有限公司 医用3d影像手术显微镜系统
JP2014097220A (ja) * 2012-11-15 2014-05-29 Toshiba Corp 手術支援装置
US9875544B2 (en) * 2013-08-09 2018-01-23 Broncus Medical Inc. Registration of fluoroscopic images of the chest and corresponding 3D image data based on the ribs and spine
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
DE102013226975A1 (de) * 2013-12-20 2015-06-25 Siemens Aktiengesellschaft Verfahren zur Bildüberwachung bei einem interventionellen Eingriff, Röntgeneinrichtung, Computerprogramm und Datenträger
GB2524498A (en) * 2014-03-24 2015-09-30 Scopis Gmbh Electromagnetic navigation system for microscopic surgery
US20170086759A1 (en) * 2014-05-26 2017-03-30 St. Jude Medical International Holding S.À R.L. Control of the movement and image acquisition of an x-ray system for a 3D/4D co-registered rendering of a target anatomy
US20160354049A1 (en) * 2015-06-04 2016-12-08 Biosense Webster (Israel) Ltd. Registration of coronary sinus catheter image
US10674982B2 (en) * 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN105213032B (zh) * 2015-09-06 2017-12-15 北京医千创科技有限公司 手术定位系统
WO2017072916A1 (ja) * 2015-10-29 2017-05-04 パイオニア株式会社 画像処理装置及び画像処理方法、並びにコンピュータプログラム
CN105547182B (zh) * 2015-12-09 2017-12-26 中国科学院声学研究所东海研究站 喷丝板检测设备及方法
EP3203440A1 (en) * 2016-02-08 2017-08-09 Nokia Technologies Oy A method, apparatus and computer program for obtaining images
EP3429475B1 (en) * 2016-03-13 2021-12-15 Vuze Medical Ltd. Apparatus for use with skeletal procedures
CN108697402B (zh) * 2017-01-24 2022-05-31 博医来股份公司 在三维图像中确定深度脑刺激电极的旋转方位
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
WO2019075074A1 (en) 2017-10-10 2019-04-18 Covidien Lp SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
KR20210096622A (ko) * 2018-11-18 2021-08-05 트리그 메디컬 리미티드 이미징 장치를 위한 공간 등록 방법
CN113538572A (zh) * 2020-04-17 2021-10-22 杭州三坛医疗科技有限公司 一种目标对象的坐标确定方法、装置和设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08196535A (ja) * 1995-01-31 1996-08-06 Hitachi Medical Corp カテーテルおよびｘ線画像診断システム
US6212419B1 (en) * 1997-11-12 2001-04-03 Walter M. Blume Method and apparatus using shaped field of repositionable magnet to guide implant
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
DE10119228A1 (de) * 2001-04-19 2002-12-05 Siemens Ag Verfahren zur dreidimensionalen Bildgebung eines sich bewegenden Untersuchungsobjekts, insbesondere zur Herzbildgebung
DE10201644A1 (de) * 2002-01-17 2003-08-07 Siemens Ag Registrierungsprozedur bei projektiver intraoperativer 3D-Bildgebung
DE10206190A1 (de) * 2002-02-14 2003-09-04 Siemens Ag Verfahren und Vorrichtung zur Erzeugung eines Volumendatensatzes
DE10210648A1 (de) * 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
DE10210645B4 (de) * 2002-03-11 2006-04-13 Siemens Ag Verfahren zur Erfassung und Darstellung eines in einen Untersuchungsbereich eines Patienten eingeführten medizinischen Katheters
DE10210646A1 (de) * 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
DE10215808B4 (de) * 2002-04-10 2005-02-24 Siemens Ag Verfahren zur Registrierung für navigationsgeführte Eingriffe
AU2003278465A1 (en) * 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
WO2005070318A1 (en) * 2004-01-20 2005-08-04 Philips Intellectual Property & Standards Gmbh Device and method for navigating a catheter
DE102004011154B3 (de) * 2004-03-08 2005-11-24 Siemens Ag Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans
US7811294B2 (en) * 2004-03-08 2010-10-12 Mediguide Ltd. Automatic guidewire maneuvering system and method
EP1835855B1 (en) * 2005-01-11 2017-04-05 Volcano Corporation Vascular image co-registration

Also Published As

Publication number Publication date
CN101190149A (zh) 2008-06-04
US20080147086A1 (en) 2008-06-19
JP2008093443A (ja) 2008-04-24
JP5348868B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
CN101190149B (zh) 将3维图像结合到介入过程中的方法和系统
JP6768878B2 (ja) 画像表示の生成方法
US20220291741A1 (en) Using Optical Codes with Augmented Reality Displays
Navab et al. First deployments of augmented reality in operating rooms
CN1864634B (zh) 扩大对象区域的二维图像的显示范围的方法
US7467007B2 (en) Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
US11944272B2 (en) System and method for assisting visualization during a procedure
Baumhauer et al. Navigation in endoscopic soft tissue surgery: perspectives and limitations
US8705829B2 (en) Method and apparatus for performing 2D to 3D registration
US20190000564A1 (en) System and method for medical imaging
US8694075B2 (en) Intra-operative registration for navigated surgical procedures
US20050027187A1 (en) Process for the coupled display of intra-operative and interactively and iteratively re-registered pre-operative images in medical imaging
US20130034280A1 (en) Medical technology system and operating a method therefor with reduced time required for acquisition of projection images
IL293233A (en) Image registration with a tracking system
Vogt Real-Time Augmented Reality for Image-Guided Interventions
EP3628263A1 (en) Guidance in lung intervention procedures
US8379793B2 (en) System for positioning and X-ray imaging a heart
EP4287120A1 (en) Guidance during medical procedures
WO2023232492A1 (en) Guidance during medical procedures
JP2018126251A (ja) 医用画像診断システム及び複合現実画像生成装置
Traub New Concepts for Design and Workflow Driven Evaluation of Computer Assisted Surgery Solutions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220114

Address after: Erlangen

Patentee after: Siemens Healthineers AG

Address before: Munich, Germany

Patentee before: SIEMENS AG

TR01 Transfer of patent right