CN113573641A - 使用二维图像投影的跟踪系统与图像的空间配准 - Google Patents

使用二维图像投影的跟踪系统与图像的空间配准 Download PDF

Info

Publication number
CN113573641A
CN113573641A CN202080022003.9A CN202080022003A CN113573641A CN 113573641 A CN113573641 A CN 113573641A CN 202080022003 A CN202080022003 A CN 202080022003A CN 113573641 A CN113573641 A CN 113573641A
Authority
CN
China
Prior art keywords
image
dimensional
dimensional image
coordinate system
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022003.9A
Other languages
English (en)
Inventor
M·霍勒迪
V·戈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centreline Biomedical Co ltd
Centerline Biomedical Inc
Original Assignee
Centreline Biomedical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centreline Biomedical Co ltd filed Critical Centreline Biomedical Co ltd
Publication of CN113573641A publication Critical patent/CN113573641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/007—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests for contrast media
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/147—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3995—Multi-modality markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

一种示例方法包括使用医学成像模态获取第一图像，该第一图像包括二维视场以包括患者和多模式标记。使用医学图像模态获取第二图像。第二图像包括患者和多模式标记并且相对于第一图像沿着非重合角。多模式标记的预定部分在第一图像和第二图像中可见并且相对于可由跟踪系统检测的至少一个传感器具有已知的位置和朝向。该方法还包括估计多模式标记的预定部分的三维位置。该方法还包括确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。

Description

使用二维图像投影的跟踪系统与图像的空间配准
对相关应用的交叉引用
本申请要求于2019年4月4日提交的标题为“SPATIAL REGISTRATION OF TRACKINGSYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS”的美国临时申请No.62/829,394的优先权，该申请通过引用整体并入本文。
技术领域
本公开一般而言涉及用于使用二维图像投影将跟踪系统与图像空间配准的系统和方法。
背景技术
图像配准是确定用于使两个或更多个图像坐标系彼此对准的空间变换的处理。一个示例是计算机断层扫描(CT)和锥形束计算机断层扫描(CBCT)图像的配准。例如，CT图像可以在规程之前获得，诸如在规程(例如，研究或治疗)之前的几天或几周。CBCT图像可以恰在规程之前或在规程时获得。对CBCT图像集进行数学处理以将其与先前的CT图像空间配准。这种CT和CBCT配准用于多种目的，诸如计划、诊断和治疗(例如，介入放射学、图像引导疗法等)。但是，获取CBCT图像的装备可能不可用。此外，CBCT成像通常涉及对于患者和医疗人员的大量辐射能量。
发明内容
本公开一般而言涉及使用一个或多个二维图像投影将跟踪系统与图像空间配准的系统和方法。
作为示例，一种方法包括使用医学成像模态获取第一二维投影图像。第一图像包括二维视场，该二维视场包括患者和多模式标记。该方法还包括使用医学图像模态获取第二二维投影图像。第二图像包括患者和多模式标记并且相对于第一投影图像沿着非重合角。多模式标记的预定部分在第一投影图像和第二投影图像中可见并且相对于可由跟踪系统检测的至少一个传感器具有已知的位置和朝向。该方法还包括根据预定部分在相应的第一和第二二维投影图像中的每一个中的位置来估计多模式标记的预定部分相对于医学成像模态的坐标系的三维位置。该方法还包括基于多模式标记的相应预定部分的估计位置和至少一个传感器与多模式标记的预定部分之间的已知关系确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。
作为另一个示例，一种系统包括一个或多个非暂态计算机可读介质以存储可由处理器执行的数据和指令。数据包括针对患者获取的先前的三维图像数据。数据还包括二维图像数据，该二维图像数据包括通过医学成像模态获取的至少一个二维图像以包括患者和多模式标记。多模式标记的预定部分在至少一个二维图像中是可见的并且相对于可由跟踪系统检测的至少一个跟踪传感器具有已知的位置和朝向。指令被编程为执行一种方法，包括：
根据至少一个二维图像中的每一个二维图像中的预定部分的相应位置，估计多模式标记的预定部分相对于医学成像模态的坐标系的三维位置；以及
基于多模式标记的相应预定部分的估计位置和至少一个跟踪传感器与多模式标记的预定部分之间的已知关系，确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。
作为进一步的示例，一种方法包括使用医学成像模态获取第一二维投影图像，该第一图像包括二维视场，该二维视场包括患者和多模式标记。该方法还包括使用医学图像模态获取第二二维投影图像，第二图像包括患者和多模式标记并且相对于第一投影图像沿着非重合角。多模式标记的预定部分在第一投影图像和第二投影图像中可见并且相对于可由跟踪系统检测的至少一个传感器具有已知位置和朝向。该方法还包括从与第一二维投影图像和第二二维投影图像中的每一个对应的先前三维图像导出相应的前向投影。该方法还包括基于将第一和第二投影图像与相应的前向投影配准来确定从医学成像模态的坐标系到先前三维图像的坐标系的仿射变换。
作为又一个示例，系统可以包括一个或多个非暂态计算机可读介质以存储可由处理器执行的数据和指令。数据包括：针对患者获取的先前三维图像数据。数据还包括二维图像数据，该二维图像数据包括通过医学成像模态获取的至少一个二维图像以包括患者和多模式标记。多模式标记的预定部分在至少一个二维图像中可见并且相对于可由跟踪系统检测的至少一个跟踪传感器具有已知的位置和朝向。指令被编程为执行一种方法，包括：
从与每个二维图像对应的先前三维图像导出相应的前向投影；以及
基于将每个二维图像与相应的前向投影配准，确定医学成像模态的坐标系与先前三维图像的坐标系之间的仿射变换。
附图说明
图1是描绘将跟踪系统的传感器配准到医学成像模态的空间坐标系中的方法的示例的流程图。
图2是用于从医学成像模态的空间坐标系到先前三维图像的空间坐标系的配准的流程图。
图3描绘了标记的示例。
图4A和图4B描绘了多模式标记的示例。
图5描绘了另一个多模式标记的示例。
图6展示了标记垫设备的示例。
图7A和图7B描绘了医学成像模态的示意性示例。
图8描绘了用于生成仿射变换的系统的示例。
图9描绘了注册管理器的示例，以控制对一个或多个仿射变换的使用或校正。
图10A和图10B描绘了根据仿射变换在给定域中配准的信息的图形表示。
具体实施方式
本公开一般而言涉及用于将跟踪系统与介入图像空间配准的方法和系统。与许多现有方法相比，本文公开的方法可以使用减少的电离辐射来实现。
该方法利用包括可通过多于一种模态检测的基准标记的标记设备(例如，多模式标记)。例如，标记设备可以包括第一基准标记以提供在由医学成像模态生成的图像中可见的图案。医学成像模态可以是荧光检查、X射线或其它模态(诸如超声)，其被配置为提供作为二维投影的图像，其包括患者的一部分和第一基准标记。在一些示例中，标记设备可以被配置为选择第一图案在由医学成像模态获取的后续图像中是否可见。标记设备还包括可由三维空间跟踪系统检测的一个或多个第二基准标记(例如，一个或多个传感器)。第二基准标记被布置在相对于第一基准标记的空间位置已知的预定空间位置和朝向，第一基准标记可从由医学成像模态获取的图像中辨别出来。
作为进一步的示例，成像模态可以被用于获取二维图像投影并将图像存储在存储器中(例如，作为DICOM图像文件)。每个图像包括视场，该视场包括患者和与标记设备的第一基准标记对应的标记图案。因此，在获取期间，标记被配置为(例如，不透射线的)使得标记图案能够在获取的图像中可见。处理每个图像以定位和识别每个相应图像中的图案的预定部分。标记图案的识别出的部分(例如，点或区域)被转换成医学成像模态的三维空间坐标系中的对应三维位置。基于标记设备的第一和第二基准标记中的每一个之间的空间关系，计算将传感器位置映射到医学成像模态的坐标系(或将成像模态坐标系中的标记图案位置映射到跟踪系统的坐标系)的仿射变换。如所提到的，基于在跟踪设备上实现的第一基准标记的图案的几何形状和第二基准标记的传感器，空间关系已经是已知的(并且存储在存储器中)。因此，该变换使系统和方法能够基于少量(例如，两个或三个)投影图像将由跟踪系统提供的位置和朝向信息配准到医学成像模态(或其逆)的坐标系中，与许多现有方法(例如，锥形束计算机断层扫描)相比，这大大减少了电离辐射。
在确定这种变换之后，可以确定用于从医学成像模态的空间坐标系映射到另一个(诸如与术前三维图像扫描对应的)三维空间坐标系的第二仿射变换。例如，术前三维图像扫描可以是高分辨率成像技术，诸如计算机断层扫描或磁共振成像，其可以在规程前数小时、数天或甚至数周执行。第二仿射变换可以通过将使用上述医学成像模态获取的第一和第二(或更多)投影图像与从术前三维图像扫描导出的对应投影(例如，沿着相同的角度)配准来确定。
图1是描绘用于将跟踪系统的坐标系配准到医学成像模态(例如，荧光检查或X射线系统)的坐标系中的方法100的示例的流程图。一个或多个传感器被集成到多模式标记设备中，该设备包括相对于彼此具有已知空间关系的基准标记的布置。基准标记包括可由跟踪系统检测的标记(例如，传感器)的集合和在由成像模态获取的图像中可见的标记(例如，不透射线标记)的另一集合。因此将关于跟踪系统和医学成像模态来描述该方法。
作为示例，医学成像模态被配置为提供表示二维图像投影的图像数据(例如，DICOM图像文件)。例如，医学成像模态可以是X射线系统，诸如平板X射线系统、双平面X射线系统、C臂透视系统、超声成像系统等。
作为进一步的示例，标记设备包括一个或多个传感器，这些传感器被配置为指示跟踪系统的坐标系中的三维位置。例如，跟踪系统是生成电磁场的电磁跟踪系统。每个传感器提供基于电磁场的传感器信号，该传感器信号被转换成每个相应传感器的位置和朝向信息。示例电磁场跟踪系统可从加拿大安大略省的Northern Digital公司商购。跟踪系统可以为每个传感器以足以实现基本上实时确定传感器位置(例如，提供描述传感器位置和朝向的向量)的输出采样率(例如，每秒六十个样本)提供跟踪数据。因此跟踪系统可以处理跟踪数据的每一帧，使得跟踪数据同样可以表示由跟踪系统获取的实时跟踪数据，该跟踪系统可以被配准到成像系统的坐标系中，如本文所公开的。在一些示例中，每个传感器可以由跟踪系统检测以使得能够在五个或六个自由度上跟踪传感器。在其它示例中可以使用其它类型的传感器和跟踪系统。
在102处，方法100包括使用医学成像模态获取第一二维投影图像。因此，第一图像包括对于视场的二维图像投影，该视场包括患者(患者身体的感兴趣区域)和多模式标记。如本文所公开的，多模式标记包括用于确定跟踪系统坐标空间中的三维位置的传感器和可由医学成像模态检测的第二标记(例如，基准图案)。传感器和第二标记可以共同定位或具有相对于彼此先验已知的其它固定的相对位置。
在104处，方法包括使用医学图像模态获取第二二维投影图像。第二图像也包括患者和多模式标记，是沿着与获取第一图像的角度不重合的角度(例如，小于或等于大约90度)拍摄的。可以有多个总图像；虽然数量保持在低水平(诸如少于10个(例如，5个或2个图像))从而与其它方式(诸如CBCT)相比减少对电离辐射的暴露。作为示例，成像模态可以被配置为获取(在102和104处)图像以包括右前斜投影、左前斜投影以及其它投影(例如，前-后投影)。在每个图像中，多模式标记设备的不透射线基准标记的预定部分是可见的。在多模式标记设备上可以有一个或多个不透射线基准标记，每个标记相对于可由跟踪系统检测的一个或多个相应跟踪传感器具有已知位置和朝向。如本文所使用的，不透射线是指电离电磁辐射不能充分穿过以使得由成像模态(例如，二维(2D)医学成像模态456)获得的对应图像中的物体可见。因此，不透射线物体可以是相对于成像模态的射线致密材料。在获取两个图像(例如，前-后投影和侧向投影)的示例中，多模式标记设备可以包括三个间隔开的不透射线标记(例如，球体)，并且标记被布置为不在每个图像中都共线。在另一个示例中，可以使用单个标记；但是，医学成像模式将需要沿着不同的相对投影角度获取至少三个图像。
在106处，基于这些预定部分在相应图像中的每一个图像中的位置来估计多模式标记的相应预定部分相对于医学成像模态的坐标系的三维位置。在106处，多模式标记的每一个预定部分的位置也在跟踪坐标系中确定，诸如从而提供跟踪系统空间中的点的集合。因此，在术中成像坐标系和跟踪系统坐标系两者中识别一个或多个标记的相同部分(例如，相应空间域中的坐标)。点的数量将根据所使用的标记设备的结构和数量而有所不同。
作为一个示例，在从102和104处的成像模态获取的图像中表示的(一个或多个)基准标记可以包括呈矩形标记边界形式的不透射线材料，该矩形标记边界具有相应的拐角，其边缘在拐角处相遇。例如，不透射线材料以表示ArUco标记的形式在标记设备上提供(参见例如开源计算机视觉库：http://opencv.org)。以这种方式，可以实现已建立的图像处理算法(例如，OpenCV库的detectMarkers()函数)以从包括ArUco型基准标记的表示的图像投影(在102和104获取的图像)中检测和识别相应的拐角。其它相关参数也可以由图像处理算法确定。图3、图4A、图7A和图7B中示出了这种ArUco标记的示例。图7A和图7B以及对应的描述展示了如何在术中医学成像模态的三维坐标中定位这种标记的相应拐角以使得能够在医学成像模态的术中空间坐标系与(术前影像空间的)术前空间坐标系之间进行配准的示例。
作为第二个示例，它可以是ArUco型标记的替代或补充，不透射线材料可以是标记设备上或嵌入在标记设备内的三维物体的形式，诸如球体、圆锥体等形式。球体是不管投影2D图像的视角如何都表现出相同给定形状的物体的示例。在这个示例中，每个球体相对于跟踪传感器的坐标和朝向具有已知的空间位置，该坐标和朝向相对于标记设备也是固定的。因此，可以在106处通过乘以针对传感器的变换来计算每个球体(或其它3D物体)系统在跟踪系统坐标中的点，其中该变换限定相对于每个相应球体的固定、已知的偏移量。在具有三个标记设备的示例中，每个标记设备包含三个球体，106处的估计确定跟踪系统坐标系中的三个点的三个集合。类似地，每个球体的坐标位置是针对(在102和104处)获取的每个(至少两个)2D图像确定的。例如，针对每个跟踪传感器定位球体(例如，使用本文公开的最近点方法)，并且球体位置(例如，每个球体的中心)存储在链接到相应传感器的存储器中。这会产生与跟踪坐标系中确定的相同数量的点(对于每个球体)。
在108处，确定用于将跟踪系统的坐标系映射到医学成像模态(本文也称为术中成像模态)的坐标系的仿射变换。例如，通过应用共同配准方法来对准在106处针对跟踪坐标系和术中坐标系中的每一个提供的点的集合来确定变换。如本文所公开的(参见例如图8中的变换计算器)，共同配准方法的一些示例包括误差最小化函数(例如，单值分解)、基变换函数以及可以用于确定108处的变换的其它函数。
在一些示例中，医学成像模态包括具有旋转中心的C臂，因此医学成像模态的坐标系的原点可以被限定为C臂的旋转中心。医学成像系统可以被建模为具有对应空间参数的针孔相机，所述空间参数用于限定医学成像模态(例如，C臂)的空间坐标系。例如，C臂的空间参数(例如，旋转中心、C臂的旋转角度、C臂的半径)可以被手动测量、由制造商提供和/或从DICOM图像文件的字段导出。在108处确定的变换可以基于在106处确定的(一个或多个)标记的预定部分的估计位置，并基于(一个或多个)标记的预定部分与标记设备的(一个或多个)跟踪传感器的已知固定空间关系。作为示例，(一个或多个)标记的预定部分与传感器的固定关系可以在制造期间确定并印刷在标记上。作为另一个示例，该关系可以被测量(例如，手动地)并且被输入到被编程为确定108处的变换的计算机中(例如，经由用户界面)。在其它示例中，可以根据每个标记的像素位置(例如，在质心或中心处)将每个点的坐标自动确定为图像数据中的相对坐标。
图2是用于从医学成像模态的空间坐标系到先前三维图像(诸如存储在存储器中(例如，作为DICOM或其它图像文件))的空间坐标系的配准的方法150的流程图。例如，可以通过三维医学成像模态在术前针对给定患者获取先前三维图像。作为示例，术前图像数据可以与患者的感兴趣区域的术前动脉CT扫描对应，诸如可以在对应手术之前数周或数月获得。其它成像模态可以用于提供三维图像数据(诸如MRI、超声检查、正电子发射断层扫描等)。此类扫描是外科手术工作流程中的术前计划的常见部分，以帮助确定假体尺寸并计划外科手术或其它干预措施。
在一些示例中，可以将术前图像数据中捕获的一个或多个解剖结构转换成术前图像坐标系中的相应三维模型。作为示例，该模型是数学上描述管状解剖结构(例如，患者的血管)的隐式模型，诸如包括管状结构的中心线和表面。隐式模型可以包括参数的小集合，诸如与细长解剖结构的放样b样条(基础样条)函数对应。作为一个示例，解剖模型生成器可以被编程为根据标题为“Automated Centerline Extraction Method and Generation ofCorresponding Analytical Expression and Use Thereof”的美国专利公开No.2011/0026793的公开内容来计算隐式模型数据，该公开通过引用并入本文。为管状解剖结构生成隐式模型的另一个示例在“Analytical centerline extract and surface fit using CTscans for aortic aneurysm repair”，Goel，Vikash R，Master's Thesis，CornellUniversity(2005)中公开，其通过引用并入本文。也可以利用其它类型的几何表示来提供隐式模型。例如，可以生成表示放样椭圆或三角形网格的参数，以提供三维坐标系中的表示患者感兴趣的解剖结构的解剖模型数据。生成的三维网格可以存储在存储器中，作为由术前图像模态获取的三维图像的补充或替代。
在152处，方法包括基于所获取的图像(例如，在102和104处获取的第一和第二图像)从先前的三维图像体积导出相应的前向投影。例如，每个获取的2D图像都与来自类似角度的相应前向3D投影配准。作为示例，通过将来自荧光检查系统的二维LAO和RAO图像(例如，通过平移和旋转)与从CT图像体积导出的对应LAO和RAO投影对准来将此类图像配准。投影角的配准可以通过手动对准和/或自动化来实现。
在已经生成三维网格以对术前三维图像中的解剖结构(例如，血管)建模的示例中，该网格可以被用于相对于术中图像(例如，如在102和104处获得的)对准。3D投影矩阵可以应用于从术前图像生成的网格。例如，如果用于将术中成像系统建模为针孔相机的适当参数已知，那么使用“透视”投影矩阵。在其它示例中，使用“平行”投影矩阵。在标记设备包括不透射线球体的示例中，平行投影矩阵的应用应当足够准确，因为标记设备上的球体相对于术中成像系统的焦距靠近在一起。如果每个术中图像的C臂角度已知，那么执行网格的一个3D投影以匹配每个术中图像的角度。如果C臂的角度未知，那么可以沿着不同角度生成多个3D投影，并且可以手动或自动选择相应3D投影与相应二维图像之间的“最佳拟合”匹配。其最终结果将是成对的图像，其中每个图像对包括2D术中图像和从三维网格导出的2D投影。
在154处，方法包括基于将第一和第二投影图像(例如，在102和104处获取的)与在152处确定的相应前向投影配准来确定从医学成像模态的坐标系到先前三维图像的坐标系的仿射变换。在154处生成的变换可以存储在存储器中。
作为示例，可以实现共同配准方法(例如，作为处理器可执行的指令)以确定154处的变换，用于将空间数据从术中2D图像空间映射到术前3D图像空间。例如，在154处通过应用共同配准方法对准针对2D医学图像和先前3D图像坐标系中的每一个识别出的点的集合来确定变换。在3D投影图像(例如，在152处导出的)和由2D医学成像模态(在102和104处)获取的图像中的每一个中，识别公共点的一个或多个集合。在示例中，这些点可以是解剖界标或其它可识别的基准点，诸如脊柱上的骨界标、两个图像集图像中可见的钙化位，或血管上的点(诸如在术中和术前图像中都使用造影剂时)。因为术前图像在三维空间中，所以用户可以使用3个正交视图(轴位、冠状位和矢状位)来识别点，以直接测量术前3D坐标系中的x、y和z位置。可以在每个图像中手动识别点，或者可以使用特征提取的自动方法。
与108处的确定相似，可以用于在154处确定变换的共同配准方法的示例包括误差最小化函数(例如，单值分解)、基变换函数以及其它函数。在示例中，可以调用相同的函数来生成相应变换中的每一个，以提供更高效的存储和计算。
举例来说，在108和154处生成的每个变换可以作为单独的变换存储或聚合在一起以使得能够实现跟踪系统坐标系中的传感器的配准，该传感器要在图像体积的3D坐标系中表示和可视化。在变换(在108和154处确定的)保持分开的示例中，它提供了改变其中一个变换而不影响另一个变换的能力。例如，如果第二步(例如，荧光检查到术前CT)从手动配准变为自动配准，那么该方法仍然相同，并且不必修改图1的变换生成方法100。此外，如果图1的变换生成方法改变，那么不必修改另一变换生成方法150。在这些变换保持分开的示例中，当基于跟踪传感器数据渲染物体时，可以通过将两个变换乘在一起来生成输出可视化。乘法的细节(例如，次序以及乘以变换还是逆变换)取决于视图是在跟踪系统空间、成像模态空间还是在先前三维(例如，CT)图像空间的坐标空间中渲染。
作为在术前CT空间中渲染输出可视化时的进一步的示例，可以在没有变换的情况下渲染骨骼和脉管系统的模型(例如，在术前CT图像空间中生成)，并且将对在EM空间中跟踪的任何东西(导管、导丝等)应用两个变换。在示例中，当在跟踪系统空间中渲染时，将对骨骼和脉管系统的模型(在术前CT图像空间中)应用两个变换的逆，并且将不对在跟踪系统空间中跟踪的任何东西(例如，具有一个或多个跟踪传感器的物体，诸如导管、导丝等)应用变换。此外，在示例中，当在成像模态空间(例如，荧光检查等)中进行渲染时，将对骨骼和脉管系统的模型应用成像模态到术前CT变换(例如，在154处确定)的逆，并且将对通过跟踪传感器在EM空间中跟踪的任何东西(例如，导管、导丝等)应用跟踪系统到成像模态的变换(例如，在108处确定的变换)。
图3描绘了基准标记200的示例。如这个示例中所示，标记包括黑色和白色(例如，二值化)，并且包括沿着其整个外围边缘(例如，具有厚度t，诸如一个或多个像素厚)的每一侧的厚黑色矩形(例如，正方形)边界202。标记200的内部包括符号204和206，它们可以被用于限定朝向和/或标记的其它识别特征，诸如根据AcUco库。
图4A和图4B描绘了多模式标记设备250的示例。在使用2D成像模态(例如，荧光检查或X射线)获取第一和第二图像期间，多模式标记可以相对于患者固定(例如，附接到患者的身体)。图4A示出了标记设备250的一个侧表面252，其包括位于白色边界256内的基准标记(例如，图3的标记)254以提供基准标记的白色边界和厚黑色边界258(例如，在点线和白色边界256之间延伸)之间的对比。符号260和262在与黑色边界258间隔开的基准标记上。
如图4B中所示，如从示出标记设备250的表面268的另一侧看到的，一个或多个跟踪传感器(例如，电磁传感器)270以相对于基准标记254的拐角264的已知位置和朝向附接到标记设备250。在一个示例中，一个或多个传感器270可以分别在空间中感测多个自由度(DOF)。例如，一个或多个传感器270可以被配置为感测六(6)个DOF，诸如本文公开的。在一个示例中，可以使用电磁跟踪系统来定位传感器270。跟踪系统允许基于响应于电磁场而从传感器提供给跟踪系统的传感器信号来确定每个传感器270的位置和朝向。在其它示例中可以使用被配置为跟踪每个传感器在三维空间中的位置和朝向的其它类型的跟踪系统。
在另一个示例中，多模式标记在其侧表面252和268之间可以包括腔室，该腔室被构造为容纳一定体积的材料(例如，不透射线材料，诸如不透射线造影剂)以渲染在由医学成像模态获取的图像中可见的标记的表示黑色部分。腔室沿着标记的矩形厚边界延伸并限定该矩形厚边界以限定其边缘相遇处的相应拐角，这些拐角可以位于所获取的图像中，如本文所公开的。
例如，标记设备250包括至少一个端口(例如，在表面252、268或设备的边缘之一中)以进入腔室，诸如从而相对于腔室添加和移除不透射线材料。每个腔室因此可以填充有造影剂以在由医学成像模态获取的二维投影图像中创建可识别的图案。因此，当材料在腔室中时，基准标记的黑色部分在医学图像中是可见的，并且当不透射线被移除时，黑色部分显现为与白色部分基本相同。例如，在配准完成之后(例如，至少在102和104处获取图像以进行配准之后)，造影剂材料将被排出，并可能用透明盐水溶液冲洗，使其不会干扰在规程期间的后续成像。在其它示例中，不透射线材料在整个规程期间保持不变。
不包括AruCo型标记的多模式标记设备300的其它示例在图5和图6中展示。在图5的示例中，组合标记设备300包括部署在基板304内的多个不透射线基准物体302。每个不透射线基准物体302具有预定的几何形状并且以预定的几何关系相对于彼此布置。例如，不透射线物体302可以被实现为球体或其它形状，诸如具有预定角度朝向和空间布置(例如，被配置为不等边直角三角形)。因此，每个不透射线物体302可以在对应的2D成像模态中识别(例如，经由荧光检查、双平面X射线等在规程内获得)。
如所提到的，用于相应物体302的材料的类型可以根据所使用的成像模态(例如，用于获取2D图像，诸如102和104处)而变化。标记设备300是多模式标记，并且因此还包括可由跟踪系统检测的一个或多个传感器306。每个传感器306的尺寸和位置可以被设计为相对于相应的不透射线物体302的几何形状具有预定的空间关系(例如，距离和角度)。例如，传感器306可以包括位于可以相对于物体302的几何关系进行计算的一对轴线的原点处的传感器线圈。此外，传感器本身306可以沿着轴线308延伸或平行于由相应的不透射线物体302限定的轴线。
作为进一步的示例，标记设备300限定坐标系，该坐标系包括位于虚拟平面中的X轴和Z轴，该虚拟平面延伸通过布置为(页面的)三角形的每个物体302，对应的Y轴垂直于虚拟平面(例如，展示图形的页面)延伸。在示例中，传感器306的中心轴线308沿着坐标系的Z轴延伸。传感器306的主体的几何中心因此可以限定X、Y和Z轴的原点。如所提到的，传感器306可以被配置为沿着Z轴的长度轴向延伸的细长线圈，并且可被跟踪系统检测。例如，传感器306被实现为标记设备300内的导电材料的线圈，并且传感器线圈的中心位于对应坐标系的原点。传感器306响应于由跟踪系统的场生成器生成的电磁场而提供传送到跟踪系统的传感器信号(例如，感应电流信号)。
图6展示了标记垫设备320的示例，其可以帮助保护患者的皮肤免受组合标记的硬表面的影响。一个或多个多模式标记设备300(图5)可以在垫设备320内实现以实现跟踪系统的域和医学成像模态(诸如本文公开的(例如，荧光检查等))的域之间的共同配准。例如，垫320可以包含凝胶或其它柔软的柔性材料以在每个组合标记周围提供缓冲，并且垫可以附接到患者的皮肤。在其它示例中，垫320与患者相邻放置，诸如放在患者旁边或下方的床上。
在图6的示例中，垫设备320包括三个多模式标记300，它们以相对于彼此间隔开的布置分布。垫设备320可以被配置为以基本固定的空间关系保持每个组合标记，同时允许适应患者移动的灵活性。每个标记设备300还包括可以耦合到跟踪系统的对应连接310。例如，跟踪系统可以被实现为电磁跟踪系统，诸如本文公开的，并且每个连接115因此包括电连接器以向跟踪系统提供电信号，表示响应于由跟踪系统的发送器生成并由相应感测线圈检测的电磁场的感应电流。在其它示例中，连接可以是无线的，并且传感器可以经由RF或其它无线技术进行通信。跟踪系统可以将传感器信号转换成对应的跟踪系统数据，其可以如本文所公开的那样进行分析。例如，跟踪数据可以包括每个标记设备104在跟踪系统的三维坐标空间(本文也称为跟踪系统空间)中的点的位置和朝向。
图7A和7B描绘了可以被用于从不同视角获取二维投影图像的医学成像模态350的示意性示例。例如，医学成像模态350被配置为使用电离辐射(例如，荧光检查系统、便携式X射线系统等)获取图像。在这个示例中，成像模态350包括被配置为提供电离辐射(例如，X射线)的X射线源352和通过可移动C臂356附接并保持在期望间隔开的位置的检测器354。患者可以与一个或多个标记设备360一起定位在源352和检测器354之间。因此，获取的图像可以根据源和检测器的视角(例如，轴线)而变化，如通过调整C臂的位置而调整的。出于配准的目的，视角包括患者感兴趣的区域和标记360。
举例来说，通过将X射线源352建模为理想的针孔相机(即，假设没有失真)来执行配准，其中通过使用诸如以下的透视变换将3D点投影到图像平面中来形成产生的图像中的每个像素：
Figure BDA0003267012860000151
其中：
X、Y和Z是公共坐标系中的3D点的坐标；
u和v是相机图像中投影点的坐标，以像素为单位；
fx和fy是焦距，以像素为单位；
cx和cy是图像中心，以像素为单位；以及
r##和t#分别限定X射线检测器在公共坐标系中的位置和朝向。
为了创建向量v1或v2，ArUco标记360的拐角位于图像中作为u和v。可以基于已知的空间位置填充方程的剩余值，并且在焦距(例如，检测器与相应拐角位置之间的距离)处针对X和Y求解方程。然后通过从这个新位置减去检测器位置(p1或p2)来计算向量。例如，点p1和p2基于两个投影的C臂的旋转角度来限定，其中旋转中心被定义为原点，并且距中心的距离基于C臂半径。相机的焦距是从存储在相关联的DICOM文件中的像素尺寸计算出的。
然后可以通过找到两个向量v1和v2的交集(或最近接近)来计算ArUco标记的拐角的3D位置。ArUco标记在公共坐标系中的位置和朝向是通过对每个相应图像中针对基准标记识别出的所有4个拐角位置重复这个过程来计算的。举例来说，可以根据实现最近点函数的向量交叉函数来计算两个向量的交集(或最近接近)。作为示例，以下伪代码实现最近点函数以确定相应向量之间的最近点：
Figure BDA0003267012860000161
Figure BDA0003267012860000171
在图7A和7B的示例中，标记360被展示为AruCo型不透射线标记(例如，与标记设备200、250对应)。在其它示例中，医学成像模态可以与不同类型的标记设备一起使用，如本文所公开的，即多模式标记设备300和组合标记系统320。因此，基于由医学成像模态350获取的2D图像数据、3D术前图像数据和实时跟踪数据，诸如在108和154处确定的相应的变换(例如，相应的变换矩阵)可以被用于实现渲染一个或多个可视化。
图8描绘了用于生成仿射变换的系统450的示例。在这个示例中，仿射变换被示为变换矩阵452和453，用于配准跟踪数据和图像数据，如本文所公开的。在数据和指令的背景下描述系统450，并且处理器可以访问数据并执行指令以执行本文公开的功能。应该理解的是，实现系统可能不需要所有功能。例如，可以分开生成不同的变换矩阵中的每一个，这在成像模态改变或在另一个实施方式中被替换时提供优势，因为不需要修改整个系统。
在图8的示例中，系统450被配置用于生成第一变换矩阵(T1)452。变换矩阵T1可以被配置为从跟踪系统454的跟踪系统坐标系变换到医学成像模态456(例如，诸如荧光检查或x射线的2D成像系统)的坐标系，和/或从医学成像模态的坐标系变换到跟踪坐标系。跟踪系统454被配置为提供跟踪数据458以表示定位在患者身体460内的一个或多个传感器466的位置和朝向。
组合标记系统462(例如，包括图4A、图4B、图5或图6的一个或多个多模式标记)可以附接到患者的身体460或放置在患者的身体附近。在图8的示例中，组合标记系统462可以包括一个或多个跟踪传感器464，其向跟踪系统454提供代表组合标记在跟踪系统454的坐标系内的位置的相应传感器信号。在示例中，一个或多个物体传感器466可以相对于在患者身体460内可移动的物体固定，用于识别这种传感器在跟踪系统的坐标系中的位置。因此，每个这样的物体传感器466还可以向跟踪系统454提供信号，基于该信号，跟踪系统可以计算代表这种传感器在跟踪系统坐标系中的位置和朝向的对应跟踪数据。如所提到的，因此跟踪数据458表示多模式标记系统462的每个相应物体跟踪传感器466以及标记跟踪传感器464的位置和朝向。
在一些示例中，诸如为了生成变换矩阵452的目的，可以忽略(或省略)(一个或多个)传感器466和对应的跟踪数据458。在其它示例中，传感器466可以被放置在相对于患者身体460的已知位置(例如，患者身体内部或外部的已知解剖界标)，以在跟踪系统空间域(例如，由跟踪数据458提供)和成像模态456的空间域(例如，由已知位置处的2D图像数据472提供)中都提供附加数据点，这可以被用于促进生成变换矩阵T1 452。
举例来说，跟踪系统454可以包括提供非电离场的发送器(例如，电磁场生成器)，如455处所示，该非电离场由每个传感器464和466检测以向跟踪系统提供对应的传感器信号。示例跟踪系统454是可从加拿大安大略省的Northern Digital公司商购的AURORA空间测量系统。跟踪系统454可以为每个传感器以足以实现基本上实时确定传感器位置(例如，提供描述传感器位置和朝向的向量)的输出采样率(例如，每秒六十个样本)提供跟踪数据458。因此跟踪处理子系统可以处理跟踪数据的每一帧，使得跟踪数据同样可以表示由跟踪系统获取的实时跟踪数据以促进在给定域中生成图形表示，其中通过应用生成的变换452和/或453中的一个或多个，该跟踪系统可以被配准到另一个坐标系中，如本文所公开的。
跟踪系统454可以向跟踪数据458提供输出采样率，以实现传感器所附接的对象以及组合标记系统的实时定位和可视化的计算。由于标记系统462附接到患者的身体460，因此跟踪系统454计算跟踪数据458以适应患者身体460在跟踪系统454的坐标系中的移动。
传感器变换470被配置为将跟踪数据458转换成在每个相应标记设备上实现的不透射线对象的位置，诸如本文所公开的。每个位置都是跟踪系统坐标空间中的3D空间坐标，并且如果标记设备不在跟踪空间中移动则可以保持固定，或者如果标记设备在跟踪空间中移动则可以随时间变化。例如，在跟踪坐标系中，给定标记设备的每个不透射线标记与跟踪传感器464的位置处于固定、已知的偏移量(例如，3D向量)处，其中跟踪传感器464是标记系统462的给定标记设备的一部分。如上面所提到的，标记系统可以包括多个多模式标记设备，诸如AruCo类型(例如，设备250)，或如本文公开的其它标记配置(例如，设备300)。
传感器变换470因此被配置为基于跟踪数据458和每个跟踪传感器相对于预定标记位置的已知偏移量来计算跟踪系统空间中的点(例如，标记位置的3D坐标)。对于AruCo类型多模式标记设备，标记位置可以是在标记的拐角处的四个点的集合(例如，emPoint_1，emPoint_2，emPoint_3，emPoint_4)，诸如本文所公开的。例如，可以通过将传感器变换(TS)与相应的偏移量相乘来针对给定的标记设备计算用于AruCo型标记设备的标记位置的集合在跟踪系统空间中的点，其中AruCo型标记设备具有用于提供跟踪数据的传感器，该传感器变换包括跟踪传感器3D坐标，如下所示：
emPoint_1＝mult(Ts,offset_1),
emPoint_2＝mult(Ts,offset_2),
emPoint_3＝mult(Ts,offset_3),以及
emPoint_4＝mult(Ts,offset_4)
对于包括球形不透射线标记的布置的标记设备(例如，对于标记设备300)的示例，存在分布在每个跟踪传感器周围的已知偏移量处的3个球形标记。因而，传感器变换将针对标记系统462中的每个标记设备生成三个点。例如，变换470可以基于将相应变换与跟踪传感器位置(例如，3D点)和相应不透射线对象之间的已知偏移量(例如，3D偏移向量)相乘来确定位于每个球形标记的中心处的点(例如，emPoint_1，emPoint_2，emPoint_3)处的标记位置，诸如以下：
emPoint_1＝mult(Ts,offset_1),
emPoint_2＝mult(Ts,offset_2),以及
emPoint_3＝mult(Ts,offset_3).
在其它示例中可以使用具有与不透射线标记相关联的固定偏移量的其它确定性位置。在一些示例中，可以将点布置在每个标记设备的点的集合中或者布置为包含所有点的单个集合。
医学成像模态456被配置为生成2D图像数据472，其包括表示成像模态456的视场475内的物体的至少两个图像(例如，射线照片)。例如，成像模态可以包括荧光扫描仪(例如，图7A和图7B的系统)，其被配置为针对在相对于患者身体460的不同视角下获取的少量(例如，至少两个、三个或四个)2D投影图像获取2D图像数据。可以获取图像数据472中的每个图像以包括标记系统462的每个标记设备中的不透射线标记的2D投影和视场475内患者身体460的区域。在一些示例中，患者身体的区域可以是物体传感器466将在其中移动的感兴趣区域(诸如外科规程的部分)。
标记识别功能474可以被配置为在图像数据472中提供的每个图像中定位每个不透射线标记(例如，AruCo标记和/或其它对象标记)。由于不透射线标记相对于由成像模式456发射的电离辐射不透明，因此不透射线标记将在图像中可见。对于包括AruCo类型标记的组合标记的示例，可以由标记识别功能474调用AruCo检测功能来定位每个相应标记。对于包括除AruCo类型标记以外的不透射线对象的示例组合标记，每个这样的标记的外围因此可以通过图像阈值化以及应用于图像像素值的其它图像处理技术来定位。标记识别功能474可以是完全自动化的和/或响应于识别标记的用户输入而是用户交互式的。识别出的标记(例如，相应图像中的像素位置)可以存储在存储器中以供进一步处理。
标记点生成器476被编程为生成在由图像数据472提供的(例如，两个或更多个)图像中识别出的每个标记的空间坐标。对于包括不透射线的AruCo类型标记的组合标记的示例，可以针对每个标记的每个拐角生成空间坐标，即，围绕每个跟踪传感器的四个点的集合的坐标。对于球形形状的不透射线标记，对于由视场475相对于标记系统462提供的视角，每个标记的空间坐标被提供为每个2D图像中圆形投影(例如，由标记识别功能474识别出的外围)的中心的2D坐标。在三个球形标记围绕给定标记设备的每个跟踪传感器的示例中，标记点生成器被编程为提供给定标记设备的三个点的集合的坐标。无论不透射线标记的类型和配置如何，标记点生成器例如被编程为执行最近点函数，诸如本文所公开的，以定位标记设备的每个相应跟踪传感器周围的点的集合。以这种方式，点的每个集合可以链接在一起并且与跟踪传感器中的相应一个相关联以促进生成第一变换矩阵452。
第一变换计算器478被编程为基于由标记点生成器476提供的点和传感器变换函数470来计算第一变换矩阵452。例如，应于变换计算器478以对准已经在空间坐标系中测得的点的集合。用于共同配准相应域(例如，跟踪系统坐标系和医学成像坐标系)中的点的这种共同配准算法的示例可以包括误差最小化函数或基变换函数。
作为一个示例，变换计算器478被编程为实现误差最小化功能。给定点的有序集合，变换计算器478将确定最小化投影位置与测得的位置之间的距离的未知变换T1。例如，对于T1，计算器478被编程为找到使点之间的距离最小化的变换，诸如以下：
sum(n＝1..i,distance(mult(T1,imPoint_n),emPoint_n)^2)
其中：
n表示i个点中给定的一个(i是给定多模式标记的点数)；
imPoint_n是点n在图像空间中的空间坐标；以及
emPoint_n是点n在跟踪空间中的空间坐标。
在示例中，误差最小化可以通过单值分解或多种误差最小化算法来解决。
作为另一个示例，变换计算器478被编程为实现基变换函数。如果所使用的点以允许变换计算器478生成基向量(限定坐标空间的x、y和z单位向量)的集合的方式布置，那么与误差最小化相比更简单的解决方案是可能的。例如，代替于最小化误差，将变换计算器478编程为在两个坐标系中找到基向量并将它们应用到公共点。这在计算上比上面提到的误差最小化方法更高效，但是要求特定的点布置。
举例来说，为了明确地限定基向量，所需的点布置成90度角的3个点，具有足够的附加信息以允许变换计算器478识别哪个点是哪一个(例如，由3个点创建的三角形的腿的长度不同)。图3和图4的ArUco型标记器以及图5和图6的标记设备都具有足以使得能够使用这种基变换函数的点布置，但需要注意的是，对于图5和图6的标记设备，每个3个点的集合需要被分开处理。
在每个坐标系中，变换计算器478从3个点构建基向量。例如，给定point_1、point_2和point_3(例如，直角三角形的顶点)，提供两个线段，一个从point_2到point_1，另一个从point_2到point_3，这些线段是直角三角形的腿。这些点和线段提供以下基向量：
basis_z＝normalize(point_1-point_2)
basis_x＝normalize(point_3-point_2)
basis_y＝cross(basis_x,basis_z)
根据基向量，变换计算器478被编程为如下创建限定point_2的位置和朝向的矩阵(例如，4*4矩阵)：
matrix＝
[basis_x.x,basis_y.x,basis_z.x,point_2.x,basis_x.y,basis_y.y,basis_z.y,point_2.y,
basis_x.z,basis_y.z,basis_z.z,point_2.z,
0,0,0,1]
利用在每个坐标系中限定的矩阵，变换计算器478可以计算两个坐标系之间的变换452。例如，对于变换矩阵T1：
im_Matrix是根据医学成像(例如，术中)坐标系中的基向量限定的矩阵；以及
em_Matrix是根据跟踪坐标系中的基向量限定的矩阵。
由上可知，变换计算器478可以通过将基向量跟踪矩阵(em_Matrix)与基向量成像矩阵的逆(inv(im_Matrix))相乘来确定变换矩阵(T1)452，诸如以下：
T1＝mult(em_Matrix,inv(im_Matrix))
变换矩阵可以存储在存储器中并且被用于从跟踪系统空间到医学成像空间的变换。例如，可以通过将变换T1应用于跟踪数据的位置和朝向信息而将对象传感器466在患者身体内的位置(如跟踪数据458所表示的)配准到医学成像空间中。
如所提到的，系统450还被配置为生成第二变换(T2)453以用于医学成像坐标系与先前3D图像数据480的坐标系之间的变换。例如，先前3D图像数据480可以存储在存储器中(例如，作为DICOM图像集合)，并且包括来自在医学成像模态456生成其图像数据472(例如，在术中，诸如与在102和104处获取的图像对应)之前的时间执行的患者身体460的术前扫描(例如，CT扫描)的3D图像。
投影计算器482(例如，与图2的函数152对应)被编程为根据3D图像数据480为2D图像数据472中提供的每个图像(例如，两个图像)生成相应的投影。投影计算器482实现将来自3D图像空间的点映射到二维平面上的功能。例如，投影计算器导出与2D图像数据472中的图像的视角对准的前向投影。每个3D投影的投影角度的配准可以通过手动对准来实现和/或被自动化。在示例中，对准可以是自动化的，诸如基于描述每个2D图像的角度的图像数据472中的图像元数据(论证为包括在从2D图像数据472到投影计算器482的箭头中)。例如，元数据包括指定投影角度的数据，诸如AP、LAO、RAO，诸如可以从C臂的角度获知和/或当成像模态456获取图像数据472时响应于用户输入而提供。
在一些示例中，如本文所公开的，3D图像数据可以包括一个或多个解剖结构的模型，诸如以与血管表面对应的3D网格的形式。3D投影矩阵(例如，透视或平行投影矩阵)可以被应用于根据术前图像480生成的网格，诸如本文所公开的。如果每个术中图像的C臂角度已知，那么执行网格的一个3D投影以匹配每个术中图像的角度。如果C臂的角度未知，那么可以沿着不同角度生成多个3D投影，并且可以手动或自动选择相应3D投影与相应二维图像之间的“最佳拟合”匹配。
点生成器484被编程为在2D图像(由图像数据472提供)和3D图像的对应投影(由投影计算器482提供)中的每一个中生成空间点。代替于用标记的球体或拐角来工作，选择点作为在2D图像数据472和3D图像数据480中都可见的特征。例如，特征包括诸如脊柱上的骨界标、在两种类型的图像中都可见的钙化位或者血管上的点(在两种图像中使用造影剂时的示例中)之类的结构。在其它示例中可以使用其它特征或基准点。在一些示例中，可以在自动化方法(例如，特征提取)中定位公共特征集合。附加地或可替代地，可以响应于通过用户界面486提供的用户输入来选择一个或多个这样的特征，用户界面486诸如与提供给点生成器的相应图像和投影交互的图形用户界面。例如，用户可以看到不同视图之间的公共可见结构，并在每个视图中选择/标记它(例如，通过鼠标、键盘、手势或其它输入)。点生成器484因此为每个预定特征和/或用户选择的特征生成点。点生成器因此与标记点生成器476类似地操作，只是使用不同的界标集合。由于图像数据480是3D的，因此在一些示例中，用户可以使用图像数据480的3D图像的正交视图(例如，轴向视图、冠状视图和矢状视图)的集合来识别选择的点(通过用户界面486)以直接测量图像数据480在3D坐标系中的x、y和z位置。这些位置中的每一个都可以被转换成二维坐标并且在由投影计算器482提供的前向投影中如此提供。点生成器484被编程为诸如通过使用应用于2D图像的向量交叉函数(诸如本文公开的最近点函数)来定位2D图像数据中的相同点。
相应图像中的产生的点被提供给第二变换计算器488以用于生成变换矩阵453。变换计算器488被编程为计算变换矩阵以基于由点生成器484提供的公共点将第二图像数据的图像与3D图像数据480对准。例如，变换计算器488通过实现关于公共点集的误差最小化函数来构造变换矩阵(T2)453，诸如关于第一变换计算器478描述的单值分解。在其它示例中可以使用其它误差最小化函数。
在一些示例中，系统450包括变换校正功能490，该变换校正功能490被编程为基于经由校正用户界面492提供的指令对一个或两个变换矩阵452和453实现手动校正。即使初始地提供对T1或T2变换的估计，也可以应用手动校正。例如，如果图像数据480和/或472没有明确限定的测量点的集合(例如，在脊柱或其它解剖结构上)来就此工作以执行配准，那么系统可以对变换T2(或者在一些示例中，对任意T2变换(例如，“识别”矩阵))限定初始估计，并且允许用户通过校正函数490进行校正以生成最终的T2变换453。
作为进一步的示例，参考图9，配准管理器500被用于控制用户对分别对变换T1和T2，452和453，之一或两者的校正。配准管理器可以被实现为图8的系统450的一部分，或者被实现为分开的功能。因而，为了一致性，图8中引入的功能和数据在图9中使用相同的附图标记进行描述。关于此类功能和数据的进一步信息，可以返回参考图8和对应的描述。
配准管理器500包括变换校正功能490，并且分别包括第一和第二变换矩阵452和453。在这个示例中，假设变换矩阵452和453中的一个或两者可能需要校正。可以通过应用变换以配准两个或更多个域并在显示器510上提供所产生的可视化来向用户表明对校正的需要。例如，输出生成器512被配置为在所选择的域中渲染可视化，诸如可以是跟踪系统的坐标系、医学成像模态456的坐标系或先前3D图像数据480的坐标系。在示例中，管理器500包括域选择器514，该域选择器514被编程为基于经由用户界面520接收的用户输入指令来选择正在渲染输出可视化的域。此外，基于所选择的域，配准管理器相应地应用变换T1或T2之一或两者。作为示例，下表提供对于每个所选择的域的图像数据472、480或跟踪数据458应用了哪一个或多个变换的描述，其中输出生成器512正在对所选择的域渲染输出可视化。配准管理器500还可以被用于控制相应变换的应用以提供所选择的域的可视化，诸如通过应用一个或多个变换或此类变换的逆，如表中所阐述的。
跟踪 医学成像 先前3D
到跟踪： [识别] inv(T1) inv(T1)inv(T2)
到医学成像： T1 [识别] inv(T2)
到先前3D： T2 T1 T2 [识别]
作为进一步的示例，可以通过将相应的变换矩阵T1或T2乘以校正矩阵来提供对变换452或453的手动校正，诸如以下：
correctedT1＝mult(correctionMatrix,T1)或者
correctedT2＝mult(correctionMatrix,T2)
在示例中，所支持的校正类型包括平移、旋转和缩放，诸如可以以矩阵的形式应用，如下：
translationMatrix＝
[1,0,0,translation.x,
0,1,0,translation.y,
0,0,1,translation.z,
0,0,0,1]
scalingMatrix＝
[scale,0,0,0,
0,scale,0,0,
0,0,scale,0,
0,0,0,1]
rotationMatrix＝(取决于旋转轴)
作为进一步的示例，用户在用户界面516上使用鼠标向下/拖动/鼠标向上动作或其它动作来发起校正。可以基于用于在显示器510上显示视口的投影矩阵来设置校正矩阵中使用的值。例如，从AP视图发起的平移将导致X和Y鼠标移动被用于设置translation.x和translation.z值(translation.y将为0)。因此，此类平移允许用户改变单个图像的视图或多个图像的对准。
作为进一步的示例，诸如当实现对变换T2的校正时，域配准管理器500将变换T2应用于图像数据472，并且输出生成器512基于变换T2提供在3D图像中配准的2D图像的可视化。如果界标正确对准，如显示器510上所示，那么可能不需要校正。但是，如果2D图像中界标的位置与其在3D图像中的相应位置未对准，那么可能需要对T2进行校正。因此用户可以通过用户界面516调整2D图像相对于3D图像(或其前向投影)的对准。如上面所提到的，调整可以包括响应于使用输入设备(例如，鼠标或键盘)通过用户界面录入的指令而在二维中进行平移、旋转和/或缩放。输出生成器512可以响应于每次调整(例如，实时地)而更新显示中所示的可视化以示出图像配准。一旦期望的对准被可视化，用户就可以采用用户界面516来应用和存储对变换T2的校正，并且更新后的T2可以存储在存储器中以用于后续应用。可以关于第一变换矩阵452进行类似类型的调整。
图10A-图10B展示了根据手动校正之前和之后的一个或多个变换的应用(例如，由校正功能490实现)可以在显示器(显示器510)中生成和可视化的图像600和630的示例。在图10A和图10B两者中，图像包括解剖特征和标记特征的公共集合。例如，解剖特征包括脊柱602的椎骨。给定标记设备610的标记特征包括不透射线标记604和跟踪传感器606的位置，它们已通过应用从一个图像空间(例如，跟踪系统坐标系)到另一个图像空间(例如，医学成像坐标系)的变换而被映射。标记设备610的标记特征还包括不透射线标记608在其原始域(例如，医学成像坐标系)中的位置。图像还包括另一个标记设备618的标记特征，包括不透射线标记612和跟踪传感器614的位置，它们已通过应用从一个图像空间(例如，跟踪系统坐标系)到另一个图像空间(例如，医学成像坐标系)的变换以及不透射线标记616在其原始域(例如，医学成像坐标系)中的位置而被映射。
如图10A中所示，由于未配准，相应的标记特征和解剖特征没有对准。如本文所公开的，输出显示是交互式的并且包括GUI元素622，GUI元素622可以被用于相对于另一个图像调整(例如，平移、旋转或缩放)一个图像。响应于此类调整，校正函数490生成一个或多个校正矩阵，诸如本文公开的。一旦实现了期望的对准，诸如图10B的可视化630中所示的，用户可以激活“冻结”GUI元素(按钮)624以将校正应用于(一个或多个)适当的变换，并且更新后的变换可以存储在存储器中以供进一步应用。
在一些示例中，在对AP图像执行第一步之后，系统应当具有两个维度中的配准——患者从左到右和从头到脚。可以用侧视图或斜视图重复上述过程，以获得第三维度——患者从前到后。在进一步的示例中，如果用户要在主动脉分叉或其它可识别标志附近推进导管或导丝(例如，包括跟踪传感器)，那么可以在没有第二2D医学图像的情况下执行该第三维度中的粗略配准。
举例来说，二维图像数据可以包括通过医学成像模态(例如，术中)获取的一个二维图像以包括患者和多模式标记，使得多模式标记的预定部分在2D图像中可见并且相对于可由跟踪系统检测的至少一个跟踪传感器具有已知的位置和朝向。可以根据标记的预定部分在一个(或多个)二维图像中的每一个中的相应位置相对于医学成像模态的坐标系来估计多模式标记的预定部分的三维位置。基于多模式标记的相应预定部分的估计位置以及至少一个跟踪传感器(例如，包括在已知界标处的导丝或导管上的跟踪传感器)与多模式标记的预定部分的已知(先验)关系来确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。因此，可以省略第二2D图像并且仍然能够进行配准。
鉴于上述结构和功能描述，本领域技术人员将认识到的是，本文公开的系统和方法的部分可以被实施为方法、数据处理系统或计算机程序产品，诸如非暂态计算机可读介质。因而，本文公开的方法的这些部分可以采用完全硬件实施例、完全软件实施例(例如，在一个或多个非暂态机器可读介质中)或结合软件和硬件的实施例的形式。此外，本文公开的系统和方法的部分可以是在计算机可用存储介质上的计算机程序产品，该介质上具有计算机可读程序代码。可以使用任何合适的计算机可读介质，包括但不限于静态和动态存储设备、硬盘、光存储设备和磁存储设备。
本文还参考方法、系统和计算机程序产品的框图描述了某些实施例。将理解的是，图示的方框以及图示中的方框的组合可以通过计算机可执行指令来实现。这些计算机可执行指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置(或设备和电路的组合)的一个或多个处理器以产生机器，使得经由处理器执行的指令实现一个或多个方框中指定的功能。
这些计算机可执行指令也可以存储在计算机可读存储器中，其可以指导计算机或其它可编程数据处理装置以特定方式运行，使得存储在计算机可读存储器中的指令导致制品包括实现一个或多个流程图方框中指定的功能的指令。计算机程序指令也可以加载到计算机或其它可编程数据处理装置上，以使得在计算机或其它可编程装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现一个或多个流程图方框中指定的功能的步骤。
以上描述的是示例。当然，不可能描述组件或方法的每一种可构想的组合，但是本领域的普通技术人员将认识到许多进一步的组合和置换是可能的。因而，本发明旨在包括落入本申请范围内的所有此类更改、修改和变化，包括所附权利要求。如本文所使用的，术语“包括”意味着包括但不限于，术语“包括有”意味着包括但不限于。术语“基于”意味着至少部分基于。此外，当本公开或权利要求记载“一”、“一个”、“第一”或“另一个”元素或其等效元素时，应当解释为包括一个或多于一个这样的元素，既不要求也不排除两个或更多个此类元素。

Claims (28)

1.一种方法，包括：
使用医学成像模态获取第一二维投影图像，该第一投影图像包括二维视场，该二维视场包括患者和多模式标记；
使用医学图像模态获取第二二维投影图像，该第二投影图像包括患者和多模式标记并且相对于第一投影图像沿着非重合角，多模式标记的预定部分在第一投影图像和第二投影图像中可见，并且相对于能够由跟踪系统检测的至少一个传感器具有已知的位置和朝向；
根据多模式标记的预定部分在相应的第一投影图像和第二投影图像中的每一个中的位置，估计预定部分相对于医学成像模态的坐标系的三维位置；
基于多模式标记的相应预定部分的估计位置和所述至少一个传感器与多模式标记的预定部分之间的已知关系，确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。
2.如权利要求1所述的方法，其中所述仿射变换是第一仿射变换，该方法还包括：
从与第一二维投影图像和第二二维投影图像中的每一个对应的先前三维图像导出相应的前向投影；以及
基于将第一投影图像和第二投影图像与相应的前向投影配准，确定从医学成像模态的坐标系到先前三维图像的坐标系的第二仿射变换。
3.如权利要求2所述的方法，其中从先前三维图像导出三维网格模型以在先前三维图像的坐标系中表示患者的解剖结构，并且
其中基于网格模型确定来自先前三维图像的相应前向投影。
4.如权利要求2或3所述的方法，其中确定第二仿射变换还包括：
在第一投影图像和第二投影图像中的每一个以及先前三维图像中识别公共特征集；
在医学成像模态的坐标系中和先前三维图像的坐标系中确定公共特征集中的至少一些的位置；以及
将第二仿射变换计算为相应的变换矩阵，该变换矩阵被配置为在医学成像模态的坐标系或先前三维图像的坐标系之一中对准针对公共特征集确定的位置。
5.如权利要求2、3或4中的任一项所述的方法，其中第一仿射变换是通过误差最小化函数或基变换函数之一来计算的，并且
其中第二仿射变换是通过误差最小化函数来计算的。
6.如权利要求1或2所述的方法，其中多模式标记包括腔室和进入该腔室的至少一个端口，该腔室相对于每个传感器具有预定的空间位置和朝向，
其中多模式标记在第一投影图像和第二投影图像的获取期间相对于患者是固定的，以及
其中，在第一投影图像和第二投影图像的获取期间，多模式标记包括腔室内的造影剂，使得腔室在第一投影图像和第二投影图像中的每一个中都是可见的，该方法还包括：
在获取第一投影图像和第二投影图像之前经由端口将一定体积的造影剂添加到腔室，以使腔室在通过医学成像模态获取的图像中可见；以及
在获取第一投影图像和第二投影图像之后从腔室移除造影剂，使得腔室在通过医学成像模态获取的后续图像中不可见。
7.如前述权利要求中的任一项所述的方法，其中医学成像模态被配置为使用电离辐射获取图像。
8.如权利要求7所述的方法，其中医学成像模态包括具有旋转中心的C臂，该方法还包括相对于C臂的旋转中心限定医学成像模态的坐标系的原点。
9.如前述权利要求中的任一项所述的方法，其中第一投影图像和第二投影图像选自包括以下各项的组：右前斜投影、左前斜投影和前-后投影。
10.如前述权利要求中的任一项所述的方法，其中非重合角小于或等于90度。
11.如权利要求2、3、4、5、6、7、8、9或10中的任一项所述的方法，其中先前三维图像包括患者的计算机断层摄影图像或磁共振图像之一。
12.一种或多种非暂态计算机可读介质，其被编程为执行任一前述权利要求所述的方法。
13.一种系统，包括：
一个或多个非暂态计算机可读介质，用于存储数据和能够由处理器执行的指令，该数据包括：
针对患者获取的先前三维图像数据；
二维图像数据，其包括通过医学成像模态获取的至少一个二维图像以包括患者和多模式标记，多模式标记的预定部分在所述至少一个二维图像中是可见的，并且相对于能够由跟踪系统检测的至少一个跟踪传感器具有已知的位置和朝向；
指令被编程为执行一种方法，包括：
根据多模式标记的预定部分在所述至少一个二维图像中的每一个二维图像中的相应位置，估计预定部分相对于医学成像模态的坐标系的三维位置；以及
基于多模式标记的相应预定部分的估计位置和所述至少一个跟踪传感器与多模式标记的预定部分之间的已知关系，确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的仿射变换。
14.如权利要求13所述的系统，其中所述至少一个二维图像是第一二维图像，以及
其中二维图像数据还包括通过医学图像模态获取的第二二维图像，该第二二维图像包括患者和多模式标记，并且相对于第一二维图像沿着非重合角。
15.如权利要求13或14所述的系统，其中所述仿射变换是第一仿射变换，并且由指令执行的方法还包括：
从与每个二维图像对应的先前三维图像导出相应的前向投影；以及
基于将每个二维图像与相应的前向投影配准，确定医学成像模态的坐标系与先前三维图像的坐标系之间的第二仿射变换。
16.如权利要求15所述的系统，其中从先前三维图像导出三维网格模型以在先前三维图像的坐标系中表示患者的解剖结构，以及
其中来自先前三维图像的相应前向投影被确定为基于网格模型的投影。
17.如权利要求15或16所述的系统，其中确定第二仿射变换还包括：
在先前三维图像和每个二维图像中识别公共特征集；
在医学成像模态的坐标系和先前三维图像的坐标系中确定公共特征集中的至少一些的位置；以及
将第二仿射变换计算为相应的变换矩阵，该变换矩阵被配置为在医学成像模态的坐标系或先前三维图像的坐标系之一中对准针对公共特征集确定的位置。
18.如权利要求15、16或17中的任一项所述的系统，其中第一仿射变换是通过误差最小化函数或基变换函数之一来计算的，并且
其中第二仿射变换是通过误差最小化函数来计算的。
19.如权利要求13、14或15中的任一项所述的系统，还包括多模式标记，该多模式标记包括腔室和进入该腔室的至少一个端口，该腔室相对于所述至少一个跟踪传感器具有预定的空间位置和朝向，
其中多模式标记在第一图像和第二图像的获取期间相对于患者是固定的，并且
其中，在第一图像和第二图像的获取期间，多模式标记包括腔室内的一定体积的液体造影剂，使得腔室在第一图像和第二图像中的每一个中都是可见的。
20.如权利要求13所述的系统，还包括医学成像模态，其中医学成像模态被配置为使用电离辐射获取所述至少一个二维图像中的每一个二维图像。
21.如权利要求20所述的系统，其中医学成像模态包括具有旋转中心的C臂，其中医学成像模态的坐标系的原点是相对于C臂的旋转中心限定的。
22.如权利要求13、14、15、16、17、18、19、20或21中的任一项所述的系统，其中所述至少一个二维图像包括选自包括以下各项的组的两个图像：右前斜投影、左前斜投影和前-后投影。
23.如权利要求13、14、15、16、17、18、19、20、21或22中的任一项所述的系统，其中非重合角小于或等于90度。
24.一种方法，包括：
使用医学成像模态获取第一二维投影图像，该第一投影图像包括二维视场，该二维视场包括患者和多模式标记；
使用医学图像模态获取第二二维投影图像，该第二投影图像包括患者和多模式标记并且相对于第一投影图像沿着非重合角，多模式标记的预定部分在第一投影图像和第二投影图像中可见并且相对于能够由跟踪系统检测的至少一个传感器具有已知位置和朝向；
从与第一二维投影图像和第二二维投影图像中的每一个对应的先前三维图像导出相应的前向投影；以及
基于将第一投影图像和第二投影图像与相应的前向投影配准来确定从医学成像模态的坐标系到先前三维图像的坐标系的仿射变换。
25.如权利要求24所述的方法，还包括：
根据多模式标记的预定部分在相应的第一二维投影图像和第二二维投影图像中的每一个中的位置，估计预定部分相对于医学成像模态的坐标系的三维位置；以及
基于多模式标记的相应预定部分的估计位置和所述至少一个传感器与多模式标记的预定部分的已知关系，确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的第二仿射变换。
26.一种系统，包括：
一个或多个非暂态计算机可读介质，用于存储数据和能够由处理器执行的指令，该数据包括：
针对患者获取的先前三维图像数据；
二维图像数据，包括通过医学成像模态获取的至少一个二维图像以包括患者和多模式标记，多模式标记的预定部分在所述至少一个二维图像中可见并且相对于能够由跟踪系统检测的至少一个跟踪传感器具有已知的位置和朝向；
指令被编程为执行一种方法，包括：
从与每个二维图像对应的先前三维图像导出相应的前向投影；以及
基于将每个二维图像与相应的前向投影配准，确定医学成像模态的坐标系与先前三维图像的坐标系之间的仿射变换。
27.如权利要求26所述的系统，其中所述仿射变换是第一仿射变换，并且由指令执行的方法还包括：
根据多模式标记的预定部分在所述至少一个二维图像中的每一个二维图像中的相应位置，估计预定部分相对于医学成像模态的坐标系的三维位置；以及
基于多模式标记的相应预定部分的估计位置和所述至少一个跟踪传感器与多模式标记的预定部分的已知关系，确定用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的第二仿射变换。
28.如权利要求26或27所述的系统，其中所述至少一个二维图像是第一二维图像，以及
其中二维图像数据还包括通过医学图像模态获取的第二二维图像，该第二二维图像包括患者和多模式标记，并且相对于第一二维图像沿着非重合角。
CN202080022003.9A 2019-04-04 2020-04-06 使用二维图像投影的跟踪系统与图像的空间配准 Pending CN113573641A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962829394P 2019-04-04 2019-04-04
US62/829,394 2019-04-04
PCT/US2020/026865 WO2020206421A1 (en) 2019-04-04 2020-04-06 Spatial registration of tracking system with an image using two-dimensional image projections

Publications (1)

Publication Number Publication Date
CN113573641A true CN113573641A (zh) 2021-10-29

Family

ID=72662360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022003.9A Pending CN113573641A (zh) 2019-04-04 2020-04-06 使用二维图像投影的跟踪系统与图像的空间配准

Country Status (6)

Country Link
US (1) US11393110B2 (zh)
EP (1) EP3946062A4 (zh)
JP (2) JP7440534B2 (zh)
CN (1) CN113573641A (zh)
CA (1) CA3131071A1 (zh)
WO (1) WO2020206421A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114404041A (zh) * 2022-01-19 2022-04-29 上海精劢医疗科技有限公司 C型臂成像参数校准系统及方法
CN117357250A (zh) * 2022-06-28 2024-01-09 上海微创电生理医疗科技股份有限公司 X射线图像与三维标测图像的融合方法和介入手术系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11918406B2 (en) * 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
CA3210881A1 (en) * 2019-09-26 2021-03-26 Ascension Technology Corporation Reconfigurable transmitter array for electromagnetic tracking systems
US11253216B2 (en) * 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
CN115516513A (zh) * 2020-05-06 2022-12-23 奇跃公司 基于卷积的相机和显示器校准
CN112750520A (zh) * 2020-12-31 2021-05-04 四川桑瑞思环境技术工程有限公司 一种信息处理系统
CN115137481A (zh) * 2021-02-02 2022-10-04 武汉联影智融医疗科技有限公司 手术导航的配准方法、装置、计算机设备和存储介质
CN113384361B (zh) * 2021-05-21 2022-10-28 中山大学 一种视觉定位方法、系统、装置及存储介质
CN113764076B (zh) * 2021-07-26 2024-02-20 北京天智航医疗科技股份有限公司 检测医疗透视图像中标记点的方法、装置及电子设备
CN113823399B (zh) * 2021-09-18 2023-08-22 武汉联影智融医疗科技有限公司 二维医学影像设备的摆位控制方法、装置和计算机设备
CN113842216B (zh) * 2021-12-01 2022-02-22 极限人工智能有限公司 一种上下牙对合模拟方法、装置及电子设备
CN114366300B (zh) * 2021-12-24 2024-02-09 苏州国科康成医疗科技有限公司 一种手术图像空间映射装置、设备以及方法
CN115063290B (zh) * 2022-08-17 2022-11-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、系统及存储介质
CN115205417B (zh) * 2022-09-14 2023-03-14 首都医科大学附属北京安贞医院 一种投影变换的计算方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077543A1 (en) * 2000-06-27 2002-06-20 Robert Grzeszczuk Method and apparatus for tracking a medical instrument based on image registration
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN102428496A (zh) * 2009-05-18 2012-04-25 皇家飞利浦电子股份有限公司 用于em跟踪内窥镜系统的无标记物跟踪的配准和校准
US20130094745A1 (en) * 2011-09-28 2013-04-18 Siemens Corporation Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images
US20140050375A1 (en) * 2012-08-15 2014-02-20 Clemson University Systems and methods for image guided surgery
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
CN105408939A (zh) * 2013-07-23 2016-03-16 皇家飞利浦有限公司 用于配准成像设备与跟踪设备的配准系统
CN105873538A (zh) * 2013-12-10 2016-08-17 皇家飞利浦有限公司 光学形状感测系统到成像系统的无辐射配准
JP2016539757A (ja) * 2013-11-04 2016-12-22 サージヴィジオ 二次元ｘ線画像から三次元画像を再構築する方法
CN106572830A (zh) * 2014-07-23 2017-04-19 通用电气公司 供在绘制在患者的血管成像规程中施加的辐射剂量中使用的系统和方法
CN106683180A (zh) * 2017-01-03 2017-05-17 清华大学 图像处理方法及系统
CN107028626A (zh) * 2017-05-26 2017-08-11 北京龙慧珩医疗科技发展有限公司 一种前列腺术弹性配准方法及装置
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6533455B2 (en) 2000-08-31 2003-03-18 Siemens Aktiengesellschaft Method for determining a coordinate transformation for use in navigating an object
US7840393B1 (en) 2000-10-04 2010-11-23 Trivascular, Inc. Virtual prototyping and testing for medical device development
FR2822273B1 (fr) 2001-03-13 2003-07-11 Ge Med Sys Global Tech Co Llc Procede d'etalonnage pour la reconstruction de modelisations tri-dimensionnelles a partir d'images obtenues par tomographie
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
DE10201644A1 (de) * 2002-01-17 2003-08-07 Siemens Ag Registrierungsprozedur bei projektiver intraoperativer 3D-Bildgebung
DE10202091B4 (de) 2002-01-21 2005-09-08 Siemens Ag Vorrichtung zur Ermittlung einer Koordinatentransformation
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
JP4415762B2 (ja) * 2003-06-10 2010-02-17 株式会社島津製作所 断層撮影装置
EP1774454A2 (en) 2004-06-02 2007-04-18 M2S, Inc. Anatomical visualization and measurement system
WO2006020792A2 (en) 2004-08-10 2006-02-23 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
WO2007025081A2 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
JP4491420B2 (ja) 2006-01-12 2010-06-30 株式会社日立メディコ 手術支援装置及び手術支援撮像装置
JP4836122B2 (ja) 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US7556428B2 (en) 2006-04-14 2009-07-07 Xoran Technologies, Inc. Surgical navigation system including patient tracker with removable registration appendage
JP2008061858A (ja) 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
WO2008035271A2 (en) 2006-09-20 2008-03-27 Koninklijke Philips Electronics N.V. Device for registering a 3d model
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US7671887B2 (en) 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8301226B2 (en) 2007-04-24 2012-10-30 Medtronic, Inc. Method and apparatus for performing a navigated procedure
US8213693B1 (en) 2007-05-16 2012-07-03 General Electric Company System and method to track and navigate a tool through an imaged subject
EP2431943B1 (en) 2007-05-30 2015-04-01 The Cleveland Clinic Foundation Automated centerline extraction method and generation of corresponding analytical expression and use
JP2009072317A (ja) 2007-09-19 2009-04-09 Toshiba Medical System Co Ltd 医療用チューブ操作支援システム
US10398393B2 (en) 2007-10-02 2019-09-03 Stryker European Holdings I, Llc Dynamic reference method and system for interventional procedures
US8472689B2 (en) * 2008-03-04 2013-06-25 Carestream Health, Inc. Method for enhanced voxel resolution in MRI image
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
ES2573945T3 (es) 2008-09-16 2016-06-13 Novartis Ag Cuantificación reproducible de expresión de biomarcadores
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
WO2010086374A1 (en) 2009-01-29 2010-08-05 Imactis Method and device for navigation of a surgical tool
EP2440129A4 (en) 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
US8315355B2 (en) 2009-10-28 2012-11-20 Siemens Aktiengesellschaft Method for operating C-arm systems during repeated angiographic medical procedures
JP5674814B2 (ja) 2010-01-06 2015-02-25 シブコ メディカル インストルメンツ カンパニー インコーポレイテッドＣｉｖｃｏ Ｍｅｄｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｃｏ．，Ｉｎｃ． マーカ装置、取り付け部材、フレームアセンブリ
JP5600272B2 (ja) 2010-07-16 2014-10-01 富士フイルム株式会社 放射線撮影装置および方法並びにプログラム
JP2012147858A (ja) 2011-01-17 2012-08-09 Tokyo Univ Of Agriculture & Technology 画像処理装置、画像処理方法及び画像処理プログラム
WO2012127353A1 (en) 2011-03-18 2012-09-27 Koninklijke Philips Electronics N.V. Multi-leg geometry reference tracker for multi-modality data fusion
DE102011007796B4 (de) 2011-04-20 2019-07-04 Siemens Healthcare Gmbh Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme
US8705832B2 (en) * 2011-08-03 2014-04-22 Siemens Medical Solutions Usa, Inc. Registration of emission tomography and computed tomography
GB201208886D0 (en) 2012-05-18 2012-07-04 King S College London Virtual fiducial markers
CN105228518B (zh) * 2013-03-12 2018-10-09 火山公司 用于诊断冠状微脉管疾病的系统和方法
EP2996607B1 (en) * 2013-03-15 2021-06-16 The Cleveland Clinic Foundation System to facilitate intraoperative positioning and guidance
GB201313810D0 (en) 2013-08-01 2013-09-18 King S College London Method and system for tomosynthesis imaging
GB201502877D0 (en) 2015-02-20 2015-04-08 Cydar Ltd Digital image remapping
ES2588257B1 (es) * 2015-03-31 2017-08-04 Consejo Superior De Investigaciones Científicas (Csic) Dispositivo para extraer información tridimensional de imágenes radiográficas de un objeto; procedimiento de calibración de dicho dispositivo; y procedimiento para generar dichas imágenes radiográficas
US10524756B2 (en) * 2015-08-27 2020-01-07 Varian Medical Systems International Methods and systems for image artifacts reduction
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
JP7270331B2 (ja) * 2017-06-15 2023-05-10 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び画像処理装置
JP7227168B2 (ja) * 2017-06-19 2023-02-21 モハメド・アール・マーフーズ 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション
US10893842B2 (en) * 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
WO2019165430A1 (en) * 2018-02-26 2019-08-29 Cornell University Augmented reality guided system for cardiac interventional surgery
GB201805299D0 (en) 2018-03-29 2018-05-16 Cydar Ltd Deformation correction
JP7165600B2 (ja) * 2019-02-28 2022-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置及び医療情報処理装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077543A1 (en) * 2000-06-27 2002-06-20 Robert Grzeszczuk Method and apparatus for tracking a medical instrument based on image registration
CN102428496A (zh) * 2009-05-18 2012-04-25 皇家飞利浦电子股份有限公司 用于em跟踪内窥镜系统的无标记物跟踪的配准和校准
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
US20130094745A1 (en) * 2011-09-28 2013-04-18 Siemens Corporation Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images
US20140050375A1 (en) * 2012-08-15 2014-02-20 Clemson University Systems and methods for image guided surgery
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
CN105408939A (zh) * 2013-07-23 2016-03-16 皇家飞利浦有限公司 用于配准成像设备与跟踪设备的配准系统
JP2016539757A (ja) * 2013-11-04 2016-12-22 サージヴィジオ 二次元ｘ線画像から三次元画像を再構築する方法
CN105873538A (zh) * 2013-12-10 2016-08-17 皇家飞利浦有限公司 光学形状感测系统到成像系统的无辐射配准
CN106572830A (zh) * 2014-07-23 2017-04-19 通用电气公司 供在绘制在患者的血管成像规程中施加的辐射剂量中使用的系统和方法
CN106683180A (zh) * 2017-01-03 2017-05-17 清华大学 图像处理方法及系统
CN107028626A (zh) * 2017-05-26 2017-08-11 北京龙慧珩医疗科技发展有限公司 一种前列腺术弹性配准方法及装置
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭楚;刘达;吴文波;宋凌;张赛;: "基于电磁定位的超声图像与CT图像的融合方法", 中国生物医学工程学报, no. 05, 20 October 2018 (2018-10-20), pages 20 - 27 *
陈锐锋;方路平;潘清;曹平;高坤;: "多模态医学图像融合超声检查系统的设计与实现", 计算机工程, no. 04, 15 April 2015 (2015-04-15), pages 300 - 305 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114404041A (zh) * 2022-01-19 2022-04-29 上海精劢医疗科技有限公司 C型臂成像参数校准系统及方法
CN114404041B (zh) * 2022-01-19 2023-11-14 上海精劢医疗科技有限公司 C型臂成像参数校准系统及方法
CN117357250A (zh) * 2022-06-28 2024-01-09 上海微创电生理医疗科技股份有限公司 X射线图像与三维标测图像的融合方法和介入手术系统

Also Published As

Publication number Publication date
JP2023175771A (ja) 2023-12-12
EP3946062A4 (en) 2023-06-14
WO2020206421A1 (en) 2020-10-08
CA3131071A1 (en) 2020-10-08
JP7440534B2 (ja) 2024-02-28
EP3946062A1 (en) 2022-02-09
JP2022526989A (ja) 2022-05-27
US11393110B2 (en) 2022-07-19
US20200320721A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US11393110B2 (en) Spatial registration of tracking system with an image using two-dimensional image projections
US11538574B2 (en) Registration of spatial tracking system with augmented reality display
Weese et al. Voxel-based 2-D/3-D registration of fluoroscopy images and CT scans for image-guided surgery
US11819290B2 (en) Direct visualization of a device location
US9811913B2 (en) Method for 2D/3D registration, computational apparatus, and computer program
Penney et al. Validation of a two‐to three‐dimensional registration algorithm for aligning preoperative CT images and intraoperative fluoroscopy images
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
US8031922B2 (en) Registration of imaging data
US20130094742A1 (en) Method and system for determining an imaging direction and calibration of an imaging apparatus
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
AU2015238800A1 (en) Real-time simulation of fluoroscopic images
US20150222876A1 (en) Breast surgery guidance based on breast mr images and radioactive markers
US20210145372A1 (en) Image acquisition based on treatment device position
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
Zhang et al. A spatial registration method based on 2D–3D registration for an augmented reality spinal surgery navigation system
Oentoro et al. High-accuracy registration of intraoperative CT imaging
WO2023179875A1 (en) Method for registration of a virtual image in an augmented reality system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination