CN105408939B - 用于配准成像设备与跟踪设备的配准系统 - Google Patents

用于配准成像设备与跟踪设备的配准系统 Download PDF

Info

Publication number
CN105408939B
CN105408939B CN201480041547.4A CN201480041547A CN105408939B CN 105408939 B CN105408939 B CN 105408939B CN 201480041547 A CN201480041547 A CN 201480041547A CN 105408939 B CN105408939 B CN 105408939B
Authority
CN
China
Prior art keywords
image
registration
imaging
imaging device
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480041547.4A
Other languages
English (en)
Other versions
CN105408939A (zh
Inventor
A·伊金
L·韦拉尔迪
F·范贝尔泽恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN105408939A publication Critical patent/CN105408939A/zh
Application granted granted Critical
Publication of CN105408939B publication Critical patent/CN105408939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于配准如X射线C型臂设备的成像设备(2)和如光学形状感测跟踪设备的跟踪设备(4)的配准系统(13)。对象检测单元(5)适于：a)允许用户向对象的图像添加标记以指示所述对象上的任意位置；并且b)基于所添加的标记来提供所述对象的表示，其中，配准单元(6)基于由跟踪设备所跟踪的所述对象的位置并且基于表示的位置来确定配准参数。这种类型的配准能够利用在图像中对用户而言可见的任何对象来执行，从而准许使用各种对象来进行配准。

Description

用于配准成像设备与跟踪设备的配准系统
技术领域
本发明涉及一种用于配准成像设备与跟踪设备的配准系统、配准方法和配准计算机程序。本发明还涉及用于对对象进行成像的成像系统、成像方法和成像计算机程序。本发明还涉及包括该成像系统的介入系统。
背景技术
WO 2013/001388 A1公开一种用于提供身体腔的实况三维图像的系统。所述系统包括用于生成身体腔的X射线图像的X射线系统，以及用于确定柔性外科手术工具在身体腔内的三维形状的光学形状感测(OSS)设备。柔性外科手术工具的所确定的三维形状与身体腔的X射线图像基于外科手术工具在X射线图像中的分段(以及其他事物)而彼此被配准。
US 2010/0056904 A1公开了一种介入系统，其包括从插入部位被导航到患者内的处置部位的介入仪器，如导管。在导航流程期间，通过使用OSS来跟踪被装备有光纤构件的介入仪器，其中，所跟踪的位置被示出在患者的磁共振图像上。为了在患者的磁共振图像上示出由OSS跟踪的介入仪器的位置，用于跟踪介入仪器的OSS跟踪系统和用于生成磁共振图像的磁共振成像系统需要彼此被配准。通过在磁共振图像内标记介入仪器的光纤构件上的多个已知点来执行配准，其中，所述已知点承载在磁共振图像中可见的标记。
介入流程仅能够用特定介入仪器来执行，所述特定介入仪器被装备有具有在磁共振图像中的已知点处可见的标记的光纤构件。因此，介入流程被限制到仅某些介入仪器。
发明内容
本发明的目的是提供一种配准用于生成对象的图像的成像设备与用于跟踪对象的位置的跟踪设备的配准系统、配准方法和配准计算机程序，其中，对特定对象的限制被减少。此外，本发明的目的是提供用于对对象进行成像的成像系统、成像方法和成像计算机程序，其使用从配准系统获得的配准结果。本发明的另外的目的是提供一种包括所述成像系统的介入系统。
在本发明的第一方面，提供了一种配准系统，其中，所述配准系统适于通过确定对象的位置和形状，来配准用于生成所述对象的图像的成像设备与用于跟踪所述对象在所述成像设备的视场内的位置的跟踪设备，其中，所述配准系统包括：
-对象检测单元，其用于检测所述图像中的所述对象，其中，所述对象检测单元适于a)允许用户将标记添加到所述图像以便指示所述对象被定位于其处的所述图像中的任意位置，并且b)基于所添加的标记来确定所述对象在所述图像中的表示，
-配准单元，其用于确定定义所述跟踪设备与所述成像设备的配准的配准参数，其中，所述配准单元适于基于所述对象在所述成像设备的所述视场中的所跟踪的位置，并且基于所述对象在所述图像中的所述表示的位置来确定所述配准参数。
由于对象检测单元适于允许用户将标记添加到图像以便指示对象被定位于其处的图像中的任意位置，其中，然后任意位置处的这些标记被用于确定对象在配准基于其的图像中的表示，对象不需要具有在需要被标记的多个已知位置处承载标记的光纤构件。用户仅需要在任意位置处将标记添加到图像，其中，这些任意位置不需要关于例如对象已知，并且对应地，对象不需要具有在已知位置处的标记。配准能够通过在图像中对于用户而言可见的任何对象来执行，从而减少对能够用于配准的特定对象的限制。
对象优选地是设备，例如介入仪器，如导管、针、导丝等。
在一个实施例中，成像设备适于生成视场的二维投影图像，其中，所述对象检测单元适于a)允许所述用户将所述标记添加到所述二维投影图像以便在所述二维投影图像中指示所述对象并且b)基于所添加的标记在所述二维投影图像中确定所述对象的表示，并且其中，所述配准单元适于基于所述对象在所述成像设备的所述视场中的所跟踪的位置并且基于所述对象在所述二维投影图像中的所述表示的所述位置来确定所述配准参数。尤其是，所述成像设备适于生成对应于不同投影方向的至少两幅二维投影图像，其中，所述对象检测单元适于a)允许所述用户将标记添加到所述二维投影图像中的每幅以便指示在所述不同二维投影图像中的所述对象，并且b)基于所添加的标记来确定所述对象在所述二维投影图像中的表示，并且其中，所述配准单元适于基于所述对象在成像区域中的所跟踪的位置并且基于所述对象在所述二维投影图像中的所述表示的所述位置来确定所述配准参数。成像设备优选地适于生成一幅或若干二维X射线投影图像。在配准参数已经被确定之后，能够在各自的二维投影图像上示出对象的实际位置，即使各自的二维投影图像并不是实际图像，而是更旧的一个。因此，例如，在介入流程期间，对象(在该范例中为介入仪器)的位置可以在对象被移动的同时被示出在不同的二维投影图像中，而不需要提供实际二维投影图像。
跟踪设备优选地适于跟踪对象的三维位置，其中，配准单元适于通过在考虑由用于生成所述二维投影图像的所述成像设备使用的投影几何学的情况下计算所述对象的所跟踪的三维位置的二维投影，并且通过计算由所述跟踪设备定义的坐标系与由所述成像设备定义的坐标系之间的空间变换，来确定所述配准参数，这使所述对象的所跟踪的三维位置的所计算的二维投影与所述对象在所述二维投影图像中的所述表示的所述位置之间的偏差最小化。这允许相对准确地确定配准参数，尽管所跟踪的位置是三维的而图像是二维的。
优选地，跟踪设备适于通过OSS来跟踪对象的位置，其中，配准单元适于基于由OSS跟踪的对象在成像设备的视场中的位置并基于对象在图像中的表示的位置来确定配准参数。OSS允许以能够由用户容易地处理的方式并且非常准确地跟踪对象的位置。例如，不必提供用于跟踪对象的位置的额外场，如电磁场。
对象检测单元适于基于所添加的标记来确定，特别是计算，所述表示。例如，如果对象是略长的对象，则对象检测单元能够适于通过以线连接所添加的标记来确定对象在图像中的表示。因此，对象能够由连接所添加的标记的多个线段来表示。然而，对象检测单元也可以适于通过将曲线拟合到所添加的标记来确定对象在图像中的表示。此外，对象检测单元可以适于基于所添加的标记并且基于图像的图像值来确定对象在图像中的表示。此外，在确定对象在图像中的表示的同时，考虑图像值能够实现更好地拟合到图像中的对象的位置和形状的表示，从而改进配准的准确度。
例如，对象检测单元能够适于基于图像的图像值来确定指示对象在图像中的位置的位置信息，并且基于所添加的标记并基于所述位置信息来确定对象在图像中的表示。尤其是，对象检测单元能够适于将对象检测算法应用于图像以便生成位置信息，所述位置信息指示对象在图像中的位置的，即例如指示略长的对象在图像内的空间延伸。例如，分割算法能够被应用于图像以便对图像中的对象进行分割，其中，在该范例中，所分段的对象是位置信息。由于指示对象被定位于其处的图像中的任意位置的人工添加的标记被认为是比自动确定的位置信息更可靠，对象检测单元优选地被调整，使得在确定对象在图像中的表示期间，所添加的标记比位置信息加权更多。例如，为了确定表示，可以使用代价函数，其随着表示与所添加的标记之间的距离减小并随着如由从图像值确定的位置信息指示的对象在图像中的位置与表示之间的距离减小而减小，其中，表示与所添加的标记之间的距离可以比由从图像值确定的位置信息指示的位置与表示之间的距离对代价函数贡献更大。对象检测单元能够适于通过将代价函数最小化来确定所述表示。
对象检测单元可以适于通过依赖于位置信息校正所添加的标记的位置并且通过基于标记的经校正的位置确定对象在图像中的表示来确定对象在图像中的表示，所述位置信息指示对象在图像中的位置并且已经基于图像的图像值而被确定。例如，表明可以由一个或若干图像元素形成的成像区域对应于所述对象的可能性的量度可以被应用于由位置信息定义的图像区域和由用户添加的标记定义的图像区域，其中，如果应用于由位置信息定义的图像区域的量度与应用于由用户添加的标记定义的图像区域的量度之间的差异大于预先定义的阈值，则可以确定被定位于用户添加的标记的邻域中的被移位的标记是否导致较小的差异。如果确实如此，则被移位的标记可以被使用替代用户添加的标记，并且可以被视为是经校正的标记。以这种方式，至少一个标记可以被校正，其中，然后可以基于至少一个经校正的标记以及任选地另外的用户添加的标记来确定对象在图像中的表示，所述另外的用户添加的标记未被校正，因为它们初始时已经以足够的准确度指示对象在图像中的位置，即例如因为被移位的标记未导致应用于由各自的标记定义的图像区域的量度与应用于由位置信息定义的图像区域的量度之间的较小差异。所述量度能够是例如血管特征(vesselness)响应。依赖于位置信息校正所添加的标记的位置，其中，然后基于经校正的标记的位置确定对象在图像中的表示，能够进一步改进配准的准确度，尤其是如果用户已经仅粗略地将标记添加到图像。
成像设备能够适于提供对应于不同投影方向的至少两幅二维投影图像，其中，对象检测单元可以适于a)允许用户将标记添加到二维投影图像的第一图像以便在第一图像中指示所述对象，并且b)基于所添加的标记确定对象在第一图像中的第一表示并基于第二图像的图像值确定对象在二维投影图像的第二图像中的第二表示，并且其中，配准单元可以适于基于对象在成像区域中的所跟踪的位置并且基于对象在第一和第二图像中的第一和第二表示的位置来确定配准参数。例如，对象检测单元能够将对象检测算法应用于第二图像的图像值，以便确定指示对象在第二图像中的位置的位置信息。该对象检测算法是例如用于分割在第二图像中的对象的分割算法，其中，所分割的对象能够被视为是定义第二图像中的第二表示的位置信息。在确定配准参数期间，已经基于所添加的标记确定的第一图像中的第一表示优选地比对象在第二图像中的第二表示被考虑更多，因为基于用户输入的第一表示被认为比第二表示更可靠。这允许在配准过程期间考虑不同投影图像中的表示，而不需要用户在每个投影图像中添加指示对象在各自的投影图像中的位置的标记。
在本发明的另一方面，提供了一种用于对对象进行成像的成像系统，其中，所述成像系统包括：
-成像设备，其用于通过确定对象的位置和形状来生成感兴趣区域的图像，
-跟踪设备，其用于跟踪所述对象在所述感兴趣区域中的位置，
-如权利要求1所述的配准系统，其用于确定配准参数，
-位置确定单元，其用于基于所述对象的所跟踪的位置和所确定的配准参数来确定所述对象在所述感兴趣区域内的所述位置。
由于对象在感兴趣区域的图像内的位置是基于对象的所跟踪的位置和所确定的配准参数确定的，因此感兴趣区域的图像不必是示出对象在感兴趣区域中的实际位置的实际图像。事实上，感兴趣区域的图像可以是较旧的一幅，其中，在该图像中对象在感兴趣区域内的实际位置能够基于配准参数和对象的实际跟踪的位置来示出。
在本发明的另外的方面中，提供了一种介入系统，其中，所述介入系统包括：
-用于执行介入流程的介入仪器，以及
–如权利要求10所述的用于对介入仪器进行成像的成像系统。
在本发明的另一方面中，提供了一种配准方法，其中，所述配准方法用于通过确定对象的位置和形状，来配准用于生成所述对象的图像的成像设备与用于跟踪所述对象在所述成像设备的视场中的位置的跟踪设备，其中，所述配准方法包括：
-由对象检测单元检测所述图像中的所述对象，其中，所述对象检测单元：a)允许用户将标记添加到所述图像以便指示所述对象被定位于其处的所述图像中的任意位置，并且b)基于所添加的标记来确定所述对象在所述图像中的表示，
-由配准单元确定定义所述跟踪设备与所述成像设备的配准的配准参数，其中，所述配准单元基于所述对象在所述成像设备的所述视场中的所跟踪的位置，并且基于所述对象在所述图像中的所述表示的位置，来确定所述配准参数。
在本发明的另外的方面中，提供了一种对对象进行成像的成像方法，其中，所述成像方法包括：
-由成像设备来生成感兴趣区域的图像，
-由跟踪设备通过确定所述对象的位置和形状来跟踪所述对象(3)在所述感兴趣区域中的位置，
-由如权利要求12所述的配准方法来确定配准参数，
-由位置图像生成单元基于所述对象的所跟踪的位置、所述感兴趣区域的所述图像和所确定的配准参数，来生成指示所述对象在所述感兴趣区域的所述图像内的所述位置的位置图像。
在本发明的另一方面中，呈现了一种配准计算机程序，用于通过确定对象的位置和形状，来配准用于生成所述对象的图像的成像设备与用于跟踪所述对象在所述成像设备的视场中的位置的跟踪设备，所述配准计算机程序包括程序代码模块，所述程序代码模块用于，当所述配准计算机程序运行在控制配准系统的计算机上时，令如权利要求1所述的配准系统执行如权利要求12所述的配准方法的步骤
在本发明的另外的方面中，一种用于对对象进行成像的成像计算机程序，所述成像计算机程序包括程序代码模块，所述程序代码模块用于，当所述成像计算机程序运行在控制成像系统的计算机上时，令如权利要求10所述的成像系统执行如权利要求13所述的成像方法的步骤。
在本发明的另一方面中，提供了一种方法和用户接口，其中，成像系统，通过例如能够接纳用于使用备选的配准的用户信息来将所提供的配准的使用扩展到许多工作流程情形和用户偏好，所述备选诸如将感兴趣区域放置在图像上并且与感兴趣区域相互作用，放置两个或多个感兴趣区域或者与两个或多个感兴趣区域相互作用，在点图像中的所选择的“候选”位置之间或中间进行选择，所述位置诸如仪器的端部的位置。
应当理解，如权利要求1所述的配准系统、如权利要求10所述的成像系统、如权利要求11所述的介入系统、如权利要求12所述的配准方法、如权利要求13所述的成像方法、如权利要求14所述的配准计算机程序以及如权利要求15所述的成像计算机程序具有相似的和/或相同的优选实施例，尤其是如从属权利要求所定义的。
应当理解的是，本发明的优选实施例也能够是从属权利要求或上述实施例与各自的独立权利要求的任何组合。
本发明的这些和其他方面将根据下文描述的实施例变得显而易见并且参考下文描述的实施例得到阐述。
附图说明
在以下附图中：
图1示意性并且示范性地示出了介入系统的实施例，
图2示意性并且示范性地示出了由介入系统的成像设备所采集的两幅投影图像，
图3示意性并且示范性地示出了由用户添加到投影图像的标记，
图4示意性并且示范性地示出了在投影图像中的导丝的表示，
图5示意性并且示范性地图示了配准结果，
图6示出了示范性地图示说明用于对导丝进行成像的成像方法的实施例的流程图，
图7示意性并且示范性地示出了由介入系统的成像设备所采集的投影图像中的导丝的另外的表示，
图8示出了由介入系统的成像设备生成的另外的投影图像，其中，用于指示导丝的位置的标记已经粗略地被添加到投影图像，
图9和图10示意性并且示范性地图示了用于在各自的投影图像中逼近导丝的路径，
图11示意性并且示范性地图示了另外的配准结果，
图12示意性并且示范性地图示了配准流程，
图13示意性并且示范性地图示了通过移动矩形的设备定位，
图14示意性并且示范性地图示了通过在感兴趣区域中移动设备的设备定位，
图15示意性并且示范性地图示了从自动检测的端部候选进行选择，
图16示意性并且示范性地图示了通过移动在定义的解剖位置中的设备的设备定位，
图17示意性并且示范性地图示了从多个感兴趣区域进行选择，并且
图18示意性并且示范性地图示了使用滑块来定义导丝的进入位置。
具体实施方式
图1示意性并且示范性地示出了介入系统的实施例。介入系统1包括用于执行介入流程的介入仪器33。在该实施例中，介入仪器33是导管，其由导管控制单元15控制。导管控制单元15和导管33可以适于执行例如在躺在如患者台26的支撑装置上的人25的心脏24内的消融程序。但是，导管33和导管控制单元15也能够适于执行另一介入流程。此外，介入系统也能够包括另一介入仪器，例如针。在该实施例中，导管33适于应用射频(RF)消融流程，其中，导管控制单元50适于将RF能量提供到被布置在导管33的端部23处的消融电极。
为了将导管33插入到心脏24中，导丝被使用，所述导丝是另外的介入仪器并且被装备有OSS光纤，所述OSS光纤被连接到跟踪控制单元4，所述跟踪控制单元用于确定导丝在人25内的位置，即用于通过OSS来确定导丝在人25内的位置和形状。为了确定导丝在人25内的位置，能够使用已知的OSS技术，如在US 7772541 B2中公开的技术，通过引用将其并入本文。被装备有OSS光纤和跟踪控制单元4的导丝，尤其是OSS光纤和跟踪控制单元4，能够被视为是用于跟踪导丝在人25内的位置的跟踪设备。
介入系统1还包括成像设备2，在该实施例中，所述成像设备是X射线C型臂系统。成像设备2包括用于生成穿过人25的X射线19的X射线源18和用于探测已经穿过人25之后的X射线的X射线探测器21。X射线源18和X射线探测器21被附接到C型臂20，所述C型臂可围绕人25旋转以便采集在不同投影方向中的X射线投影图像。成像设备由成像设备控制单元22控制，所述成像设备控制单元从X射线探测器21接收探测值，并且基于所接收的探测值来生成二维投影图像。二维投影图像被提供到对象检测单元5以便在二维投影图像中检测导丝，其中，对象检测单元5适于a)允许用户将标记添加到二维投影图像以便指示导丝被定位于其中的二维投影图像中的任意方向，并且b)基于所添加的标记来提供二维投影图像中的导丝的表示。对象检测单元5优选地提供图形用户界面，所述图形用户界面允许用户通过使用输入单元16和显示器17来将标记添加到二维投影图像，所述输入单元例如是键盘、计算机鼠标、触摸屏等。
此外，在配准步骤中，可以减少或者消除鼠标使用。在一个实施例中，用户使用触摸屏设备完成全部步骤。在另一实施例中，用户将标记放置在图像上的突出显示的区域，而不敲击或者触摸任何东西。在另一实施例中，用户将标记带到预先定义的解剖区域，所述预先定义的解剖区域已经由系统请求或者已经在规划步骤中被输入。
图2示意性并且示范性地示出了已经在不同投影方向中被采集的两幅二维投影图像7、8，其中，每幅二维投影图像7、8示出导丝3。图3示意性并且示范性地示出了标记9，其已经由用户添加到二维投影图像7、8。图4示意性并且示范性地示出由对象检测单元5基于所添加的标记9所确定的导丝3的表示10。在该实施例中，对象检测单元5已经通过仅由多条线段连接所添加的标记确定了表示10。在另一个实施例中，对象检测单元5能够适于以另一种方式(例如，通过将曲线拟合到所添加的标记9)来基于所添加的标记确定表示。
介入系统1还包括配准单元6，所述配准单元用于确定定义跟踪设备3、4与成像设备2的配准的配准参数，其中，配准单元6适于基于导丝3在成像设备2的视场中的所跟踪的位置并且基于导丝3的表示10在二维投影图像7、8中的位置来确定配准参数。尤其是，配准单元6适于通过在考虑用于生成二维投影图像7、8的成像设备所使用的投影几何学的情况下计算导丝3的所跟踪三维位置的二维投影，并且通过计算由跟踪设备3、4定义的坐标系与由成像设备2定义的坐标系之间的空间变换来确定配准参数，这使导丝3的所跟踪三维位置的所计算的二维投影与导丝3的表示10在二维投影图像7、8中的位置之间的偏差最小化。
图5图示了配准结果。尤其是，在图5中，如由跟踪设备提供的导丝3的位置由粗线11来指示，所述粗线非常好地对应于在各自的二维投影图像7、8中示出的导丝3的位置。应注意，在图5所示的二维投影图像7、8中，导丝3的端部与粗线11的端部并不交叠，仅因为在该范例中，OSS光纤物理地并不到达导丝3的端部。然而，如果在另一个实施例中OSS光纤到达导丝3的端部，则导丝3的端部的所跟踪的位置也将非常好地对应于各自的投影图像中所示的导丝3的位置，使得在图5中，粗线11将完全覆盖二维投影图像7、8中的导丝3。在图5中的二维投影图像7、8中示出的人32仅被用于图示两幅二维投影图像7、8之间的空间关系。人32是任选的并且可以不被示出在二维投影图像7、8上。
在已经完成配准之后，导丝3能够在人25内移动，其中，在移动期间，跟踪设备3、4能够跟踪导丝3在人25内的位置并且导丝3的所跟踪的位置能够被示出在二维投影图像7、8上，而不必再次采集这些投影图像，因为位置确定单元14能够基于导丝3的所跟踪的实际位置和所确定的配准参数来确定导丝3在感兴趣区域的先前采集的二维投影图像中的位置，其中，导丝3实际移动。因此，不必连续地采集二维投影图像来确定导丝3相对于人25的内部解剖结构在人25内的位置。
对象检测单元5和配准单元6能够被视为形成用于配准成像设备2与跟踪设备3、4的配准系统13。此外，成像设备2、跟踪设备3、4、配准系统13和位置确定单元14能够被视为形成用于对人25内的导丝3进行成像的成像系统。
在下文中，将参考图6所示的流程图示范性地描述用于监测介入流程的成像方法的实施例。
在步骤101中，导丝3被布置在成像设备2的视场中并且成像设备2生成导丝3的二维投影图像。此外，由跟踪设备3、4确定导丝3在成像设备2的视场内的位置。在步骤102中，通过使用显示器17向用户示出二维投影图像，其中，用户通过使用对象检测单元5将标记添加到二维投影图像，以便指示导丝3被定位于其中的二维投影图像中的任意位置。此外，对象检测单元5基于所添加的标记来提供导丝3在二维投影图像中的表示。在步骤103中，配准单元6基于导丝3在成像设备2的视场中的所跟踪的位置并且基于导丝3的表示在二维投影图像中的位置来确定定义跟踪设备3、4与成像设备2的配准的配准参数。步骤101至103能够被视为形成配准方法，所述配准方法可以在导丝3被插入人25内之前的校准流程期间被执行，其中，介入系统被校准。
在已经确定配准参数之后，在步骤104中，人25能够被布置在成像设备2的视场内的支撑装置26上，使得成像设备2可以生成人25内的感兴趣区域的二维投影图像。感兴趣区域优选地是导丝3应该通过其移动的在人25内的区域。然后，在步骤105中，导丝3能够被引入到人25中，并且在导丝3的引入以及导丝3在人25内的移动期间，导丝3的位置由跟踪设备3、4来跟踪。在步骤106中，基于导丝3的所跟踪的位置和所确定的配准参数来确定导丝3在已经在步骤104中采集的二维投影图像内的位置，并且显示器17示出导丝3在二维投影图像内的所确定的位置。在步骤107中，检查是否应该停止对导丝3在二维投影图像内的位置的成像。例如，检查用户是否已经经由输入单元16向介入系统输入应该停止对导丝3在二维投影图像内的位置的成像。如果是这样的情况，方法在步骤108中结束。否则，方法继续进行步骤105。尤其是，步骤105和106继续循环被执行，直到对导丝3在二维投影图像内的位置的成像应该停止。通过在导丝3在人25内移动期间循环执行步骤105和106，用户能够实时监测导丝3在人25内的移动，而不必采集实时X射线图像。在另外的实施例中，还能够在步骤107中检查是否已经修改了成像设备的视场，其中，在这种情况下，所述方法可以继续进行步骤104。
配准系统优选地提供用于二维X射线图像配准的针对三维OSS的半自动解决方案。配准系统优选地适于允许用户在X射线图像上标记设备，例如导丝3，其中，用户可以依赖于所述设备的弯曲来选择可变数量的点。然后设备可以由直线或曲线来表示，其中，所述设备是否应该由直线或曲线来表示的决定可以依赖于计算约束和/或所需要的准确度。使用设备表示和三维OSS数据的投影，配准参数被计算。以这种方式，能够基本独立于设备特性，即基本独立于OSS跟踪的设备的特性来实现配准。此外，该配准流程并不限于特定成像模态。因此，尽管在上述实施例中成像设备是X射线C型臂设备，但是在其他实施例中，其他成像设备也能够与跟踪设备配准，其他成像设备例如为放射影像成像设备、超声成像设备、磁共振成像设备等。
配准系统的对象检测单元能够适于提供图形用户界面，所述图形用户界面允许用户在由成像设备提供的图像中示出的设备(例如导丝3)上敲击若干点，以便将标记添加到图像。这些点优选地也包括所述设备的端部上的点。
尽管在上述实施例中，通过以直线连接由用户添加的标记来提供所述设备的表示，尤其是导丝3的表示，但在其他实施例中，所述表示能够通过曲线拟合流程来确定，其中，能够使用设备的较高阶逼近。所述曲线能够被拟合到所添加的标记，使得所得到的曲线实现距与曲线上的图像元素相邻的图像元素(优选地是像素)的最高强度差异。其他量度也能够用于拟合所述曲线，其中，所述曲线被确定，使得各自的量度被优化，即被最小化或最大化。例如，针对各自的曲线上的所有图像元素的血管特征响应的总和与所有近邻图像元素的血管特征响应的总和之间的差异能够被用作用于拟合曲线的量度。另外的备选量度是例如第一导数、边缘响应等。血管特征响应可以被定义为Hessian矩阵的函数，例如在K.Krissian等人的文章“Model-Based Detection of Tubular Structures in 3Dimages”，Computer Vision and Image Understanding，第80卷、第2号、第130至171页(2000)中或者在A.F.Frangi等人的文章“Multiscale vessel enhancement filtering”，Medical Image Computing and Computer-Assisted Intervention–MICCAI’98，LectureNotes in Computer Science，第1496卷、第130-137页(1998)中所公开的，通过引用将上述文章并入本文。边缘响应可以被确定，如在J.Canny的文章“A Computational Approach ToEdge Detection”，IEEE Transactions on Pattern Analysis and MachineIntelligence，第8页、第6号、第679至698页(1986)中所公开的，也通过引用将所述文章并入本文。
因此，所述表示可以不仅基于被添加到各自的图像的标记，而且额外地也基于各自的图像的图像元素的图像值而被确定。图7中示意性并且示范性地示出了导丝3的表示12，与图4中所示的表示10相比，表示12通过使用血管特征响应量度来实现较高的评分。
在实施例中，对象检测单元能够适于使用各自的图像的图像元素的图像值来确定指示导丝3在各自的图像中的位置的位置信息，并且基于所添加的标记并基于位置信息来确定导丝在各自的图像中的表示。尤其是，对象检测单元能够适于将如分割算法的对象检测算法应用于各自的图像，以便生成指示对象在各自的图像中的位置的位置信息。所述位置信息是例如分割的对象。由于指示对象被定位于其中的各自的图像中的任意位置的标记被认为比自动确定的位置信息更可靠，因此对象检测单元优选被适配为使得在确定对象在各自的图像中的表示期间，所添加的标记的位置比位置信息加权更多。例如，为了确定所述表示，能够使用代价函数，其随着所述表示与所添加的标记之间的减小的距离并且随着所述表示与如由从图像值确定的位置信息指示的各自的图像中的对象的位置之间的距离减小而减小，其中，所述表示与所添加的标记之间的距离比所述表示与如由从图像值确定的位置信息指示的位置之间的距离对代价函数贡献更多。对象检测函数能够适于通过使代价函数最小化来确定所述表示。
配准系统的对象检测单元还能够适于自动校正用户输入中的不准确性。该自动校正将在下文中参考图8至图11示范性地被描述。
图8示意性并且示范性地示出了两幅二维X射线投影图像40、41，其对应于两个不同的采集方向，即投影方向。在这些图像40、41中，导丝3是用户可见的，所述用户粗略地添加标记42，以便指示导丝3在X射线图像40、41内的位置。图像40、41还示出了由跟踪设备在配准之前所提供的导丝3的位置43。此外，图像40、41示出了人32，以便指示各自的投影方向。在其他范例中，在该阶段可以不示出由跟踪设备提供的导丝3的位置43和/或人32。
对象检测单元可以适于通过基于用户指示的点42检测在各自的图像内的具有最小代价的路径，来确定指示导丝3在各自的图像40、41中的位置的位置信息，其中，所述代价能够是血管特征响应的函数。例如，所述路径能够被检测，使得代价函数被最小化，这依赖于路径上的图像元素的血管特征响应并且依赖于路径与用户指示的点42之间的距离。图9示意性并且示范性地示出了针对图8所示的左侧图像40的这样的检测的路径50，并且图10示意性并且示范性地示出了针对图8所示的右侧图像41的这样的检测的路径51。对象检测单元还能够适于依赖于位置信息，即依赖于所检测的路径50、51来校正所添加的标记的位置。尤其是，在这些路径50、51已经被检测之后，各自的路径50、51上的图像元素的血管特征响应的平均评分能够被计算，并且该量度(其能够被视为是平均代价)能够与各自的添加的标记42的对应地量度进行比较，即在该实施例中，与各自的标记42的血管特征响应进行比较。如果针对各自的路径50、51的平均量度与针对各自的添加的标记42的量度之间的差异大于预先定义的阈值，则在各自的添加的标记42的邻域中搜索图像元素或一组邻近的图像元素，针对所述图像元素可以计算具有与针对相应路径50、51计算的量度的较小差异的量度。以这种方式，可以通过相应地对各自的标记42进行移位来自动校正其位置。然后能够基于标记来确定导丝3的表示，所述标记可以或者可以没有已经被移位，以便自动地校正它们。
图11示范性地图示了配准的结果，所述配准初始基于粗略添加的标记42来执行。如在图11中能够看到的，在配准已经被执行之后，由跟踪设备提供的导丝3的位置43非常好地匹配在各自的图像40、41中示出的导丝3的位置，尽管初始添加的标记42仅非常粗略地指示导丝3在各自的图像40、41内的位置。
尽管在上述实施例中跟踪设备适于通过使用OSS来跟踪设备，但是在其他实施例中也能够使用其他跟踪技术，例如电磁跟踪技术。此外，尽管在上述实施例中配准被用在介入应用中，但是在另一个实施例中配准也能够被用在需要在用于跟踪对象的跟踪设备与用于对对象进行成像的成像设备之间的配准的另一应用中。
如果标记被添加到不同视图，即到对应于不同投影方向的不同图像，则这些标记并不需要指代导丝上的相同物理点。这实现改进的用户友好性，因为用户仅需要识别导丝上的任何点，而不受不同视图中的点的对应性干扰。此外，该配准是非常鲁棒的，因为不需要关于所识别的点的对应性的假设，即不存在从对应性失配得到的不准确性。此外，由于不必将物理标记元件物理地附接到导丝并且对应地由于不需要在图像中识别这些物理标记元件，当使用上面参考图1至图11所描述的配准系统和方法时透视缩短并不是一个问题，所述透视缩短当物理技术标记在特定视图中不可见时，会是问题。所述配准也不需要关于各自的图像中的可见解剖结构的假设。此外，配准能够在介入流程开始之前的校准步骤期间被执行。然而，配准当然也能够在介入流程期间被执行。此外，配准流程能够基于低质量图像，例如基于低剂量荧光成像图像，其中，图像质量仅需要足以允许用户将标记添加到图像。
尽管在上述实施例中对象检测单元适于通过基于所添加的标记确定多个线段或曲线来确定导丝在各自的图像中的表示，但是在其他实施例中，对象检测单元也能够适于提供所添加的标记作为对象在各自的图像中的表示，而不确定例如多个线段或曲线。在这种情况下，配准单元适于基于导丝在成像设备的视场中的所跟踪的位置并且基于所添加的标记在各自的图像中的位置来确定配准参数。图12示意性并且示范性地图示了用于确定配准参数的配准流程，其基于导丝在成像设备的视场中的所跟踪的位置并且基于所添加的标记在各自的图像中的位置。
图12示出了两幅二维投影图像7、8，其具有由用户添加的标记9，以便指示在相应投影图像7、8中的导丝3被定位于其中的任意位置。虚线11指示由跟踪设备跟踪的导丝3的投影的位置，并且箭头19指示所添加的标记9与投影位置11上的对应的最近点之间的距离。配准单元能够适于通过确定跟踪设备的坐标系与成像设备的坐标系之间的空间变换来确定配准参数，这使距离19最小化，尤其是使平方距离19的总和或指示所添加的标记9与投影位置11之间的偏差的另一量度最小化。
尽管在上述实施例中用户已经将标记添加到两幅不同的投影图像，但是在其他实施例中，用户可以不将标记添加到全部投影图像，而仅到例如第一投影图像，其中，针对该投影图像，能够基于所添加的标记来提供对象的第一表示。在另一投影图像即第二投影图像中，能够基于第二投影图像的图像值来确定对象的第二表示。例如，能够基于第二图像的图像值来确定指示导丝在第二投影图像中的位置的位置信息。尤其是，分割算法能够被应用于第二投影图像以便对第二图像中的导丝进行分割，其中，分割的导丝可以被视为是位置信息并且在这种情况下也可以被视为是第二表示。然后配准单元能够适于基于导丝在成像区域中的所跟踪的位置并且基于导丝在第一和第二投影图像中的第一和第二表示的位置来确定配准参数。在配准流程期间，第一表示优选地接收比第二表示更大的权重，因为假设第一表示比第二表示更可靠。
可以为用户提供任意数量的用户友好方式以在设备定位中辅助形状到图像的配准。这些方式包括：(1)通过定义小于整体图像的ROI的用户辅助，(2)通过从算法的结果中选择设备区段的用户辅助或者(3)通过将设备定位在算法要求的位置中的用户辅助。
在一个实施例中，用户通过在显示投影图像的屏幕上移动ROI来指示设备点的位置。ROI能够在各个方向中移动并且其尺寸能够通过放大或者缩小来调节。所述算法在该限制的用户定义的区域中搜索一个或多个设备点。
ROI的放置和定位可以从当前的触摸屏监测器(TSM)设备(通过使用箭头按钮)以及更加新的TSM设备来实现，其中，能够同时看到图像并触摸它们以提供输入。
在图13(a)-(c)中，通过在投影图像67、68、69上移动矩形来进行设备定位。向用户提供矩形52以指示ROI。如图13(a)-(c)所示，用户经由TSM按钮来移动矩形52并调整(缩放)矩形52至设备的端部。ROI被提供在图13(a)中。此处，ROI采取矩形52的形式，但是能够采取将定义一区域的任何封闭形式。用户朝向投影图像68中的端部53移动图13(b)中的ROI矩形52并且固定位置。在图13(c)所示的阶段处，算法在所提供的ROI矩形52中自动检测端部并且在投影图像69上示出结果。在该阶段处，该算法在所提供的ROI矩形52中自动检测端部53并显示结果。
此外，该系统可以在监测器上示出感兴趣区域，诸如绑定框，并且请求用户在使用图像进行配准之前将设备端部定位在框内。
在图14(a)-(c)中，通过在ROI中移动设备来进行设备定位。系统展呈现了在显示投影图像的屏幕55上指示ROI的矩形54。用户将设备56定位在该矩形内并且接纳该图像作为用在形状到X射线的配准中的图像。ROI矩形54被呈现在预期将找到设备之处(图14(b))。用户将设备定位在定义的/突出显示的ROI矩形54中并且采集X射线图像。算法在所提供的ROI矩形54中自动检测端部57并示出结果(图像中的在图像14(c)中的端部57处的点)。
备选地，用户可以从通过应用图像分析算法所获得的一组候选结果中选择设备点。每个TSM按钮触摸会将焦点系连到图像上显示的另一候选结果(系连导航)。当正确的点是焦点对准的时，用户将这设置为设备点。在触摸敏感屏中。用户能够通过仅在所显示的候选结果中的一个或多个上/周围触摸来指示点。
在图15(a)-(c)中，从(一幅或多幅)投影图像70、71、72中的自动检测的端部候选中进行选择。算法检测针对设备端部的多个候选。用户可以改变检测阈值和/或选择对应于实际端部的候选点。图15(a)中的候选端部位置58'、58"、58"'、58""、58""'是自动呈现的。用户能够通过增加检测阈值来减少所检测的端部的数量(减少到58'、58"、58""')，如图14(b)所示。用户按压TSM以系连所检测的端部位置。图14(c)中所示的是用星形标记的所选择的实际端部58'。也被标记有星形的58'""指示下一要被选择的。
在图16(a)、(b)中，通过在投影图像73、74中的定义的解剖位置中移动设备来进行设备定位。系统请求用户将设备定位在特定解剖位置处，诸如图16(a)中的59-R、60、61、62、63处。具有处于请求的位置处的设备的X射线图像由用户接纳作为用于配准的图像。此处，请求位置是60。设备被导航到请求位置60并且此时的X射线图像被用于配准。
此外，系统可以将ROI设置在预先定义的解剖位置处(根据来自规划步骤的X射线/CT配准结果，解剖信息可用于算法)。当设备端部接近于预期位置时，操作者采集X射线图像用于配准。
该系统可以示出具有独特标签的多个ROI(ROI能够被定位为规则的网格或者能够根据图像分析算法被定位)并且用户选择一个或多个ROI来指示设备。用户可以使用声音命令、TSM按钮、触摸屏或鼠标来选择一个或多个ROI。
图17图示了从投影图像75上的多个ROI进行选择。该系统提供多个ROI，例如65'、65"、65"'，以供用户选择。用户通过读出ROI的标识符或者触摸、点击或使用标签来选择ROI中的一个或多个。ROI能够具有规则的栅格结构，能够被自动缩放并且能够是分层级的。例如，一旦ROI被选择，相同的栅格操作就能够被应用于所选择的ROI上以定义更限制的区域。
在一些情况下，除了端部外，能够期望在图像中提供设备的进入点。在图18中，滑块66出于该目的用于定义线的进入位置。为了将线进入的位置定义到图像，能够使用滑块66，如图18所示。用户将滑块移动到进入点77的位置。在该图的下方，切片的分段定义设备的进入区域。红色分段的宽度能够被调节。
如果被示为更加有效，则本发明能够与组合上面方法中的任何。例如，在视场中可以存在多个设备，并且然后能够有用于令用户首先指示ROI并且然后从算法结果选择候选。
此外，如果多个视图用于配准，则一个视图上的任何输入能够被用于改进在其他视图中呈现的结果。例如，当利用用户输入在第一视图中检测端部时，第二视图上的外极线(epipolar line)能够被示出和/或仅外极线周围的点候选能够被呈现为有效选项。可以呈现所呈现的矩形以使得其中心为在所计算的外极线上并且仅沿着该线移动。
尽管在上述实施例中已经描述了用于确定定义跟踪设备与成像设备的配准的配准参数的特定方式，但是在其他实施例中，配准单元能够适于以另一方式确定配准参数。例如，在用户已经将标记添加到对应于不同投影方向的若干二维投影图像之后，配准单元能够基于被添加到不同二维投影图像的标记来确定对象的三维位置，其中，配准参数能够基于已经从被添加到二维投影图像的标记导出的该三维位置并且基于由跟踪设备提供的对象的三维位置来确定。
尽管在上述实施例中成像设备适于提供二维图像，其中，对象检测单元适于允许用户将标记添加到二维图像以便指示对象被定位于其处的二维图像中的任意位置，但是在其他实施例中，成像设备也能够适于生成对象的三维图像，如计算机断层摄影图像、磁共振图像、从由X射线C型臂系统采集的不同二维投影图像重建的三维图像等，并且对象检测单元能够适于允许用户在三维图像中添加标记并且基于所添加的标记来提供三维表示。在这种情况下，配准单元能够适于基于对象在成像设备的视场中的所跟踪的三维位置并基于对象的表示在三维图像中的三维位置来确定配准参数。
在跟踪设备已经与成像设备配准之后，如果已经配准到跟踪设备的成像设备与另外的成像设备彼此配准，则对象的所跟踪的位置也能够被示出在尚未由所述成像设备采集但是由另外的成像设备采集的另外的图像中。这些另外的图像能够是例如计算机断层摄影图像、磁共振图像等，其在介入流程之前或介入流程期间可能已经被采集。
尽管在上面参考图1所描述的介入系统适于执行消融流程，但是在其他实施例中，介入系统能够适于执行另一介入流程。此外，配准系统和配准方法也能够被用在需要成像设备与跟踪设备的配准的其他非介入流程中。
通过研究附图、公开内容以及权利要求书，本领域技术人员在实践所要求保护的本发明时能够理解和实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。
单个单元或设备可以履行权利要求书中所记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
由一个或若干单元或设备执行的如对图形用户界面的提供，基于所添加的标记对对象在图像中的表示的确定等能够由任何其他数量的单元或设备来执行。根据配准方法对配准系统的控制和/或根据成像方法对成像系统的控制能够被实施为计算机程序的程序代码单元和/或专用硬件。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
权利要求书中的任何附图标记不应被解读为对范围的限制。
本发明涉及用于配准成像设备(如X射线C型臂设备)与跟踪设备(如光学形状感测跟踪设备)的配准系统。对象检测单元适于a)允许用户将标记添加到对象的图像以便指示对象上的任意位置以及b)基于所添加的标记提供对象的表示，其中，配准单元基于由跟踪设备跟踪的对象的位置并且基于所述表示的位置来确定配准参数。该种类的配准能够利用在图像中对用户而言可见的任何对象来执行，从而准许使用各种的对象来进行该配准。

Claims (14)

1.一种配准系统，用于通过确定对象的位置和形状，来配准用于生成所述对象(3)的图像的成像设备(2)与用于跟踪所述对象(3)在所述成像设备的视场内的位置的跟踪设备(3、4)，其中，所述成像设备(2)适于提供对应于不同投影方向的至少两幅二维投影图像(7、8)，所述配准系统(13)包括：
对象检测单元(5)，其用于检测所述图像中的所述对象(3)，其中，所述对象检测单元(5)适于：a)允许用户向所述二维投影图像(7、8)中的第一图像添加多个标记(9)以指示所述对象(3)在所述第一图像中所处的任意位置；并且b)基于所添加的多个标记(9)来确定所述对象(3)在所述第一图像中的第一表示，并基于所述二维投影图像中的第二图像的图像值来确定所述对象在所述第二图像中的第二表示，
配准单元(6)，其用于确定定义所述跟踪设备(3、4)与所述成像设备(2)的配准的配准参数，其中，所述配准单元(6)适于基于所述对象(3)在所述成像设备(2)的所述视场中的被跟踪的位置，并且基于所述对象(3)在所述第一和第二图像中的所述第一和第二表示的位置，来确定所述配准参数。
2.如权利要求1所述的配准系统，其中，所述成像设备(2)适于生成所述视场的二维投影图像(7、8)，其中，所述对象检测单元(5)适于：a)允许所述用户向所述二维投影图像(7、8)添加所述多个标记(9)以指示所述二维投影图像(7、8)中的所述对象(3)；并且b)基于所添加的多个标记(9)来确定所述对象(3)在所述二维投影图像(7、8)中的表示(10、12)，并且其中，所述配准单元(6)适于基于所述对象(3)在所述成像设备(2)的所述视场中的被跟踪的位置，并且基于所述对象(3)在所述二维投影图像(7、8)中的所述表示(10、12)的位置，来确定所述配准参数。
3.如权利要求2所述的配准系统，其中，所述成像设备(2)适于生成对应于不同投影方向的至少两幅二维投影图像(7、8)，其中，所述对象检测单元(5)适于：a)允许所述用户向所述二维投影图像(7、8)中的每幅添加多个标记(9)以指示不同二维投影图像(7、8)中的所述对象(3)；并且b)基于所添加的多个标记(9)来确定所述对象(3)在所述二维投影图像(7、8)中的表示(10)，并且其中，所述配准单元(6)适于基于所述对象(3)在所述视场中的被跟踪的位置，并且基于所述对象(3)在所述二维投影图像(7、8)中的所述表示(10)的位置，来确定所述配准参数。
4.如权利要求2所述的配准系统，其中，所述跟踪设备(3、4)适于跟踪所述对象(3)的三维位置，其中，所述配准单元(6)适于通过在考虑由用于生成所述二维投影图像(7、8)的所述成像设备(2)使用的投影几何条件的情况下计算所述对象(3)的被跟踪的三维位置的二维投影，并且通过计算由所述跟踪设备(3、4)定义的坐标系与由所述成像设备(2)定义的坐标系之间的空间变换，来确定所述配准参数，这使所述对象(3)的被跟踪的三维位置的所计算的二维投影与所述对象(3)在所述二维投影图像(7、8)中的所述表示(10、12)的位置之间的偏差最小化。
5.如权利要求1所述的配准系统，其中，所述跟踪设备(3、4)适于通过光学形状感测来跟踪所述对象(3)的位置，其中，所述配准单元(6)适于基于通过光学形状感测跟踪的所述对象(3)在所述成像设备(2)的所述视场中的位置，并且基于所述对象(3)在所述图像(7、8)中的所述表示(10、12)的位置，来确定所述配准参数。
6.如权利要求1所述的配准系统，其中，所述配准系统被配置为向所述用户提供帮助，所述帮助包括以下中的至少一个：(1)定义小于整幅图像的ROI，(2)根据算法的结果来选择所述对象的分段，或者(3)将所述对象定位在算法要求的位置中。
7.如权利要求6所述的配准系统，其中，所述对象检测单元(5)适于基于所述图像的图像值来确定指示所述对象在所述图像中的位置的位置信息，并且适于基于所添加的多个标记(9)并基于所述位置信息来确定所述对象在所述图像中的所述表示。
8.如权利要求7所述的配准系统，其中，所述对象检测单元(5)适于通过依赖于所述位置信息校正所添加的多个标记(9)的位置，并且通过基于所述多个标记的经校正的位置确定所述对象在所述图像中的所述表示，来确定所述对象在所述图像中的所述表示。
9.一种用于对对象(3)进行成像的成像系统，所述成像系统包括：
成像设备(2)，其用于生成感兴趣区域的图像，
跟踪设备(3、4)，其用于通过确定所述对象的位置和形状来跟踪所述对象(3)在所述感兴趣区域中的位置，
如权利要求1所述的配准系统(13)，其用于确定配准参数，
位置确定单元(14)，其用于基于所述对象(3)的被跟踪的位置和所确定的配准参数来确定所述对象(3)在所述感兴趣区域的所述图像内的位置。
10.一种介入系统，包括：
介入仪器，其用于执行介入流程，以及
如权利要求9所述的成像系统，其用于对所述介入仪器进行成像。
11.一种配准方法，用于通过确定对象的位置和形状，来配准用于生成所述对象(3)的图像的成像设备(2)与用于跟踪所述对象(3)在所述成像设备的视场中的位置的跟踪设备(3、4)，其中，所述成像设备(2)适于提供对应于不同投影方向的至少两幅二维投影图像(7、8)，所述配准方法包括：
由对象检测单元(5)检测所述图像中的所述对象(3)，其中，所述对象检测单元(5)：a)允许用户向所述二维投影图像(7、8)中的第一图像添加多个标记(9)以指示所述对象(3)在所述第一图像中所处的任意位置；并且b)基于所添加的多个标记(9)来确定所述对象(3)在所述第一图像中的第一表示，并基于所述二维投影图像中的第二图像的图像值来确定所述对象在所述第二图像中的第二表示，
由配准单元(6)确定定义所述跟踪设备(3、4)与所述成像设备(2)的配准的配准参数，其中，所述配准单元(6)基于所述对象(3)在所述成像设备(2)的所述视场中的被跟踪的位置，并且基于所述对象(3)在所述第一和第二图像中的所述第一和第二表示的位置，来确定所述配准参数。
12.一种用于对对象(3)进行成像的成像方法，所述成像方法包括：
由成像设备(2)来生成感兴趣区域的图像，
由跟踪设备(3、4)通过确定所述对象的位置和形状来跟踪所述对象(3)在所述感兴趣区域中的位置，
由如权利要求11所述的配准方法来确定配准参数，
由位置图像生成单元基于所述对象(3)的被跟踪的位置、所述感兴趣区域的所述图像和所确定的配准参数，来生成指示所述对象在所述感兴趣区域的所述图像内的位置的位置图像。
13.一种存储有配准计算机程序的计算机可读存储介质，所述配准计算机程序用于通过确定对象的位置和形状，来配准用于生成所述对象(3)的图像(7、8)的成像设备(2)与用于跟踪所述对象(3)在所述成像设备(2)的视场中的位置的跟踪设备(3、4)，所述配准计算机程序包括程序代码模块，所述程序代码模块用于，当所述配准计算机程序运行在控制配准系统的计算机上时，令如权利要求1所述的配准系统执行如权利要求11所述的配准方法的步骤。
14.一种存储有成像计算机程序的计算机可读存储介质，所述成像计算机程序用于对对象(3)进行成像，所述成像计算机程序包括程序代码模块，所述程序代码模块用于，当所述成像计算机程序运行在控制成像系统的计算机上时，令如权利要求9所述的成像系统执行如权利要求12所述的成像方法的步骤。
CN201480041547.4A 2013-07-23 2014-07-01 用于配准成像设备与跟踪设备的配准系统 Active CN105408939B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13177524 2013-07-23
EP13177524.9 2013-07-23
PCT/EP2014/063904 WO2015010859A1 (en) 2013-07-23 2014-07-01 Registration system for registering an imaging device with a tracking device

Publications (2)

Publication Number Publication Date
CN105408939A CN105408939A (zh) 2016-03-16
CN105408939B true CN105408939B (zh) 2021-08-24

Family

ID=48856518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480041547.4A Active CN105408939B (zh) 2013-07-23 2014-07-01 用于配准成像设备与跟踪设备的配准系统

Country Status (5)

Country Link
US (1) US10762380B2 (zh)
EP (1) EP3025304B1 (zh)
JP (1) JP6511050B2 (zh)
CN (1) CN105408939B (zh)
WO (1) WO2015010859A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10105117B2 (en) * 2015-02-13 2018-10-23 Biosense Webster (Israel) Ltd. Compensation for heart movement using coronary sinus catheter images
US10943362B2 (en) 2015-12-18 2021-03-09 Koninklijke Philips N.V. Image processing for improved marker positioning on a line-shaped image feature
EP3413829B1 (en) * 2016-02-12 2024-05-22 Intuitive Surgical Operations, Inc. Systems of pose estimation and calibration of perspective imaging system in image guided surgery
EP3478207B1 (en) 2016-06-30 2023-08-09 Koninklijke Philips N.V. Medical navigation system employing optical position sensing
DE102016117889B3 (de) * 2016-09-22 2018-03-15 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Korrektur von durch Tracking-Verfahren ermittelten dynamischen Modellen
MX2019007116A (es) * 2016-12-15 2019-09-16 Novartis Ag Registro adaptativo de imágenes para cirugia oftalmica.
CN108245244B (zh) * 2016-12-28 2019-12-13 中国科学院深圳先进技术研究院 一种射频消融的方法及装置
US11779396B2 (en) * 2017-01-09 2023-10-10 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
WO2018137759A1 (en) * 2017-01-24 2018-08-02 Brainlab Ag Determining rotational orientation of a deep brain stimulation electrode in a three-dimensional image
US10430641B2 (en) * 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
EP3385747B1 (en) * 2017-04-05 2021-03-31 Axis AB Method, device and system for mapping position detections to a graphical representation
US20170209225A1 (en) * 2017-04-10 2017-07-27 Danling Wu Stereotactic medical procedure using sequential references and system thereof
CN107123110A (zh) * 2017-04-13 2017-09-01 青岛海信医疗设备股份有限公司 胸壁线检测方法及装置
CN107392843B (zh) * 2017-07-21 2021-05-07 上海联影医疗科技股份有限公司 一种图像处理的方法、装置及系统
EP3542747A1 (en) 2018-03-22 2019-09-25 Koninklijke Philips N.V. Visualization system for visualizing an alignment accuracy
JP7078487B2 (ja) * 2018-08-02 2022-05-31 富士フイルムヘルスケア株式会社 超音波診断装置及び超音波画像処理方法
EP3682836A1 (en) * 2019-01-21 2020-07-22 Koninklijke Philips N.V. Assisting in moving an insertion element within an object
US11972583B2 (en) * 2019-01-31 2024-04-30 Bgi Shenzhen Fluorescence image registration method, gene sequencing instrument, and storage medium
JP7440534B2 (ja) * 2019-04-04 2024-02-28 センターライン バイオメディカル，インコーポレイテッド ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション
CN111784751B (zh) * 2020-06-16 2022-12-02 北京理工大学 基于3d/2d配准的导丝3d模拟跟踪方法及装置
EP3944809A1 (en) * 2020-07-28 2022-02-02 Koninklijke Philips N.V. Arrangement and method for determining the position of an invasive device
DE102020213035A1 (de) * 2020-10-15 2022-04-21 Siemens Healthcare Gmbh Verfahren zur Ansteuerung eines Röntgengerätes und medizinisches System
CN117974653B (zh) * 2024-03-29 2024-06-11 杭州脉流科技有限公司 基于医学影像的血管导丝跟踪方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449292A (zh) * 2006-05-24 2009-06-03 皇家飞利浦电子股份有限公司 坐标系配准
WO2013057620A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Shape sensing assisted medical procedure
CN103648394A (zh) * 2011-06-27 2014-03-19 皇家飞利浦有限公司 使用外科工具曲线与x-射线图像的配准的实时3d血管造影

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747312B2 (en) * 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
US6950532B1 (en) * 2000-04-24 2005-09-27 Cinea Inc. Visual copyright protection
US7043019B2 (en) * 2001-02-28 2006-05-09 Eastman Kodak Company Copy protection for digital motion picture image data
US7221759B2 (en) * 2003-03-27 2007-05-22 Eastman Kodak Company Projector with enhanced security camcorder defeat
US7006630B2 (en) * 2003-06-03 2006-02-28 Matsushita Electric Industrial Co., Ltd. Methods and apparatus for digital content protection
DE10325003A1 (de) * 2003-06-03 2004-12-30 Siemens Ag Visualisierung von 2D/ 3D-fusionierten Bilddaten für die Katheterangiografie
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7781724B2 (en) * 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
EP1838378B1 (en) * 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
US7713205B2 (en) * 2005-06-29 2010-05-11 Accuray Incorporated Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers
US8050482B2 (en) * 2006-09-28 2011-11-01 Siemens Medical Solutions Usa, Inc. System and method for online optimization of guidewire visibility in fluoroscopic systems
US8098914B2 (en) * 2007-03-05 2012-01-17 Siemens Aktiengesellschaft Registration of CT volumes with fluoroscopic images
US8150494B2 (en) * 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
JP5275340B2 (ja) * 2007-05-08 2013-08-28 シー・アール・バード・インコーポレーテッド 多電極位置データを用いた迅速な３ｄマッピング
IL184151A0 (en) * 2007-06-21 2007-10-31 Diagnostica Imaging Software Ltd X-ray measurement method
EP2626027B1 (en) * 2007-08-14 2020-04-29 Koninklijke Philips N.V. Robotic instrument systems utilizing optical fiber sensors
US8423121B2 (en) * 2008-08-11 2013-04-16 Siemens Aktiengesellschaft Method and system for guidewire tracking in fluoroscopic image sequences
US20100056904A1 (en) 2008-09-02 2010-03-04 Saunders John K Image guided intervention
JP2010115429A (ja) * 2008-11-14 2010-05-27 Toshiba Corp Ｘ線診断装置および画像処理装置
JP5641707B2 (ja) 2009-04-08 2014-12-17 株式会社東芝 Ｘ線診断装置
US8737708B2 (en) * 2009-05-13 2014-05-27 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
US8731642B2 (en) * 2009-11-08 2014-05-20 Paieon Inc. Apparatus and method for locating a device tip within a volume
US8526691B2 (en) * 2010-06-09 2013-09-03 Siemens Aktiengesellschaft System and method for passive medical device navigation under real-time MRI guidance
US20120150025A1 (en) 2010-09-21 2012-06-14 Siemens Corporation Image Registration Using Interventional Devices
JP5194138B2 (ja) * 2011-03-02 2013-05-08 富士フイルム株式会社 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
US8666477B2 (en) * 2011-03-07 2014-03-04 Siemens Aktiengesellschaft Method and system for tracking of a virtual electrode on a coronary sinus catheter in fluoroscopic images
EP2699166B1 (en) 2011-04-21 2019-09-04 Koninklijke Philips N.V. Mpr slice selection for visualization of catheter in three-dimensional ultrasound
JP6114748B2 (ja) * 2011-08-16 2017-04-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学ファイバー形状データを用いる湾曲マルチプラナ再構成
US9220467B2 (en) * 2011-09-19 2015-12-29 Siemens Aktiengesellschaft Method and system for tracking catheters in 2D X-ray fluoroscopy using a graphics processing unit
CA2854829C (en) * 2011-11-15 2019-07-02 Manickam UMASUTHAN Method of real-time tracking of moving/flexible surfaces
WO2013155203A2 (en) * 2012-04-13 2013-10-17 Lightcraft Technology Llc Hybrid precision tracking
BR112014026073A2 (pt) * 2012-04-23 2017-06-27 Koninklijke Philips Nv sistema médico para obtenção de imagem e método para processamento de imagem
BR112014027886A2 (pt) * 2012-05-08 2017-06-27 Angiometrix Corp método para gerar um mapa linear de múltiplas imagens bidimensionais de um lúmen corporal, e método para determinação da translação de um instrumento alongado a partir de múltiplas imagens bidimensionais de uma movimentação do lúmen corporal
US9014564B2 (en) * 2012-09-24 2015-04-21 Intel Corporation Light receiver position determination
CN104703558B (zh) * 2012-10-01 2017-10-24 皇家飞利浦有限公司 用于将针对形状感测系统的坐标系配准到针对过程前成像数据或过程中成像数据的坐标系的系统、方法进而装置
JP5590431B1 (ja) * 2012-12-27 2014-09-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
US9608727B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9460510B2 (en) * 2013-03-29 2016-10-04 Siemens Medical Solutions Usa, Inc. Synchronized navigation of medical images
US10307079B2 (en) * 2014-01-27 2019-06-04 Edda Technology, Inc. Method and system for surgical instrument guidance and tracking with position and orientation correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449292A (zh) * 2006-05-24 2009-06-03 皇家飞利浦电子股份有限公司 坐标系配准
CN103648394A (zh) * 2011-06-27 2014-03-19 皇家飞利浦有限公司 使用外科工具曲线与x-射线图像的配准的实时3d血管造影
WO2013057620A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Shape sensing assisted medical procedure

Also Published As

Publication number Publication date
EP3025304B1 (en) 2021-09-08
US20160171714A1 (en) 2016-06-16
JP6511050B2 (ja) 2019-05-08
CN105408939A (zh) 2016-03-16
EP3025304A1 (en) 2016-06-01
WO2015010859A1 (en) 2015-01-29
JP2016525000A (ja) 2016-08-22
US10762380B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN105408939B (zh) 用于配准成像设备与跟踪设备的配准系统
US20220133412A1 (en) Apparatus and methods for use with image-guided skeletal procedures
CN107106241B (zh) 用于对外科器械进行导航的系统
EP3224804B1 (en) Apparatus for determining positions of an interventional instrument in a projection image
US8867801B2 (en) Method for determining properties of a vessel in a medical image
EP3079622B1 (en) Radiation-free registration of an optical shape sensing system to an imaging system
EP3750134A1 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN102598088A (zh) 规划和执行穿刺程序的系统及方法
CN112618015A (zh) 用于经皮插入的设备的图像引导导航的系统和方法
EP3855396A2 (en) Orientation detection in fluoroscopic images
US12064280B2 (en) System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US20160253804A1 (en) Assisting apparatus for assisting in registering an imaging device with a position and shape determination device
AU2015213326A1 (en) Marking of fluoroscope field-of-view
US20240307122A1 (en) Apparatus and methods for use with image-guided skeletal procedures
EP3525174B1 (en) System and method for displaying an alignment ct
WO2023217719A1 (en) System and method for assistance in a surgical procedure

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant