CN113785329A - 配准方法和装置 - Google Patents

配准方法和装置 Download PDF

Info

Publication number
CN113785329A
CN113785329A CN202080033285.2A CN202080033285A CN113785329A CN 113785329 A CN113785329 A CN 113785329A CN 202080033285 A CN202080033285 A CN 202080033285A CN 113785329 A CN113785329 A CN 113785329A
Authority
CN
China
Prior art keywords
image sensor
sensor unit
detection system
coordinate system
position detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080033285.2A
Other languages
English (en)
Inventor
D·穆哈
K·德辛格尔
N·诺曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelssex Otolaryngology International Co ltd
Original Assignee
Intelssex Otolaryngology International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelssex Otolaryngology International Co ltd filed Critical Intelssex Otolaryngology International Co ltd
Publication of CN113785329A publication Critical patent/CN113785329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明涉及一种用于确定对象相对于位置检测系统的位置和取向的配准方法，其中所述方法包括以下步骤：‑利用包括至少一个运动传感器和/或至少一个位置传感器的图像传感器单元捕获对象的表面的图像，‑通过处理由所述运动传感器提供的运动传感器信号和/或由所述位置传感器提供的位置信号，确定所述图像传感器单元在所述位置检测系统的坐标系中的捕获位置，‑从所捕获的图像以摄影测量生成所述对象的表面模型，以及‑将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。

Description

配准方法和装置
技术领域
本发明涉及一种用于确定对象相对于位置检测系统的位置和取向的配准方法和配准装置。
背景技术
例如在医学领域中支持器械(例如手术器械)的导航的位置检测系统本身是已知的。此类位置检测系统可以是光学、基于超声或电磁位置检测系统，并且用于检测位置传感器相对于位置检测系统的位置和取向。
例如，电磁位置检测系统是已知的，其中场发生器产生交变电磁场，并且提供给包括线圈的位置传感器。交变电磁场在线圈中感应的电流取决于相应线圈相对于交变电磁场的取向。如果可移动器械配备有例如传感器线圈形式的此类位置传感器，则可以确定器械相对于参考传感器的放置点和位置，所述参考传感器例如可同样包括线圈。此类参考传感器优选地刚性地连接到患者的身体部位(要不然不同的对象)。
为了支持外科医生在患者体内导航手术器械，通常借助于此类位置检测系统检测具有位置传感器的手术器械的位置，并且在通过断层摄影术获得的身体部位的截面图像中显示器械的位置。
为实现此操作，必须将器械的位置传感器提供的位置值传输到患者的断层摄影图像的坐标中。举例而言，从患者的断层摄影图像生成身体部位的表面的局部解剖图像的做法是已知的，以便使局部解剖图像的表面(下文也称为模型表面)上的点与真实身体部位的表面上的分别由指针仪器或感测仪器接触的那些点相互关联。因此，可以在配准方法的范围内产生用于将借助于位置检测系统检测到的位置值变换成模型坐标的变换指示。为此，感测身体部位的真实表面上的多个点，并且使表示真实表面上的点的相关联位置值与模型表面上的点相互关联，同时以产生最小可能误差的方式维持它们相对于彼此的相对位置。指定如何将检测到的位置值变换成局部解剖图像(在本文中也被称为局部解剖模型)的坐标并且因此也变换成断层摄影图像或模型的坐标的变换指示由此产生。
患者配准是指建立变换函数，以使手术期间检测到的位置数据与手术前例如通过断层摄影术获得的图像数据中的位置信息相对应。举例来说，出于患者配准的目的，如上文所描述的，检测患者模型且建立变换函数，该变换函数在配准方法的范围内使检测到的位置数据和由此产生的患者模型与关于手术之前获得的图像数据的位置信息相对应。
为了确定变换函数(即所谓的配准)，在相应的坐标系中建立模型和(例如，通过断层摄影术获得的)图像数据中的相同几何特征。然后，借助于这些特征将这两个坐标系相互关联。借助于指针仪器进行的表面配准通常是普遍的。此处，患者的皮肤表面充当相应的特征。在手术期间借助于指针仪器感测皮肤表面，并且使皮肤表面与来自图像数据的提取的皮肤表面相对应。
还描述了非触觉配准方法。
如在US 9208561 B2中所述的用于配准患者图像数据的非触觉配准方法利用图像传感器单元(单焦相机或3D相机)作为参考传感器。图像传感器单元产生皮肤表面的表面模型，以光学方式检测参考传感器并使其位置与皮肤表面模型相关。由于参考传感器也被位置检测系统跟踪，因此可以确定皮肤表面模型点从表面模型的坐标系到位置检测系统的坐标系的变换，并且由此计算到患者图像数据的配准。
另一种非触觉配准方法利用与光学位置检测系统刚性组合的结构化光或激光发射器/接收器单元。光学位置检测系统通常包括光发射器/接收器单元和被配置成反射由光发射器/接收器单元发射的光的位置传感器。发射器/接收器单元接着检测反射光，位置传感器的位置和取向可以从该反射光获得。这样，由结构化光或激光发射器/接收器单元生成的表面模型在光学位置检测系统的坐标系中是已知的。
发明内容
本发明的目标是提供一种改进的非触觉配准方法和一种改进的配准装置。
关于配准方法，此目标是通过用于确定对象相对于位置检测系统的位置和取向的配准方法来实现的，其中所述方法包括以下步骤
-利用包括至少一个运动传感器和/或至少一个位置传感器的图像传感器单元捕获对象的表面的图像，
-通过处理由所述运动传感器提供的运动传感器信号和/或由所述位置传感器提供的位置信号来确定所述图像传感器单元的捕获位置，
-从所捕获的图像以摄影测量生成所述对象的表面模型，以及
-将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
在本说明书的框架内，术语“捕获位置”是指图像传感器单元在捕获对象的图像时的位置。例如，术语“捕获位置”是指在捕获图像时作为图像传感器单元的一部分的相机的入射光瞳(entrance pupil)的位置。
在这些步骤中，步骤“利用图像传感器单元捕获对象的表面的图像”、“确定图像传感器单元的捕获位置”和“从所捕获的图像以摄影测量生成对象的表面模型”的顺序无关紧要。因此，可以首先拍摄对象的表面的图像，并且仅在之后确定图像传感器单元的捕获位置。甚至可以在以摄影测量生成对象的表面模型之后确定图像传感器单元的捕获位置。然而，需要图像传感器单元的捕获位置，以便将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。下文将更详细地解释这一点。
本发明包括这样的认识：一般来说，非触觉配准方法具有以下优点：可避免在借助于指针仪器的已知配准方法的情况下由于例如患者的柔软皮肤在与指针仪器接触期间可能变形而出现的问题。此外，由于表面模型的光学生成允许同时检测身体部位或对象的表面的较大部分，因此也可以更快速地且同时更准确地执行配准。
当捕获表面的图像时，优选的是将图像传感器单元布置在距对象的表面的足够距离处。这通常意味着电磁位置检测系统的电磁场在图像传感器单元的捕获位置处太弱，而不允许借助于电磁位置检测系统确定图像传感器单元的位置。
确定对象相对于位置检测系统的位置和取向的一般构思可以描述如下：
优选地，由图像传感器单元以摄影测量生成对象的表面模型。表面模型可以由点云表示，其中点云的点的坐标在表面模型的坐标系中定义。表面模型的坐标系是图像传感器单元的固有坐标系，或更准确地是图像传感器单元中包括的相机的固有坐标系。优选地，表面模型的坐标系被定义为使得其原点在图像传感器单元的相机的入射光瞳的位置处。
表示对象的表面的点云的点在表面模型的坐标系和位置检测系统的坐标系两者中均具有坐标。
通过从所捕获的图像以摄影测量生成表面模型，首先在表面模型的坐标系中获得点云的点的坐标。可以通过变换获得表示点云的这些点在位置检测系统的坐标系中的坐标。
为了执行此类变换，变换函数可用于将表面模型的坐标系中定义的点云的点的相应坐标变换成位置检测系统的坐标系中的坐标。变换函数可以包括变换矩阵或者可以由变换矩阵表示。
为了获得用于将图像传感器单元的坐标系的坐标变换成位置检测系统的坐标系的坐标的变换函数，需要图像传感器单元在捕获图像的时刻的位置和取向。这是因为图像传感器单元的坐标系在图像传感器单元上居中，特别是在图像传感器单元的入射光瞳上居中。
就位置检测系统的坐标而言，图像传感器单元的位置(即捕获位置)可通过布置在图像传感器单元上的传感器(例如，运动传感器或位置传感器)获得。通常，此类传感器相对于图像传感器单元的入射光瞳具有偏移。因此，以捕获位置为其原点的图像传感器单元的坐标系与运动传感器和/或位置传感器的坐标系具有偏移，其中捕获位置的坐标由非平凡矢量(non-trivial vector)限定。这种偏移(即矢量)可以通过校准来确定，并且可以通过图像传感器单元的坐标系的坐标或通过布置在图像传感器单元上的传感器的传感器的坐标系的坐标来表示。因此，借助于校准，可以确定捕获位置在运动传感器和/或位置传感器的坐标系中的坐标。然后，图像传感器单元的坐标系可以以其原点(即表面模型的坐标系中的捕获位置)“附着”到捕获位置在运动传感器和/或位置传感器的坐标系中的坐标。
因此，在表面模型的坐标系中表示表面模型的点云的点的坐标可以经由运动传感器或位置传感器的坐标系变换到位置检测系统的坐标系中。
在下文中描述了根据本发明的配准方法的优选变体。
如果图像传感器单元包括位置传感器，则可以通过检测位置传感器的位置和取向来确定图像传感器单元的平移和旋转。因此，可以在位置检测系统的坐标系中直接确定捕获位置在位置传感器的坐标系中的坐标及其取向。可以根据位置传感器的坐标系的取向确定图像传感器单元的旋转。
如果图像传感器单元仅包括运动传感器(且不包括位置传感器)，则可以间接地确定图像传感器单元相对于位置检测系统的平移和旋转。使得能够间接确定图像传感器单元的位置和取向的一种方式是使图像传感器单元沿着路径从在位置检测系统的坐标系中已知坐标的位置移动或移动到所述位置。运动传感器的路径上的点可以与位置检测系统的坐标系中的该已知位置相互关联。因此，可以通过检测运动传感器的坐标系相对于位置检测系统的坐标系的位置和取向来确定图像传感器单元的平移和旋转。因此，可以确定运动传感器的坐标系相对于位置检测系统的坐标系的位置和取向。通过将运动传感器校准到入射光瞳的位置，可以确定捕获位置在运动传感器坐标系中的坐标。由此可以确定捕获位置在检测系统的坐标系中的坐标。
运动传感器和/或位置传感器的坐标系与表面模型的坐标系具有固定关系，因为图像传感器单元的相机与布置在图像传感器单元上的运动传感器和/或位置传感器之间的相对距离和取向保持恒定。因此，可以确定校准矢量，该校准矢量表示表面模型的坐标系与运动传感器和/或位置传感器的坐标系之间的偏移。这可以通过将相机(例如，相机的入射光瞳的位置)校准到运动传感器和/或位置传感器来完成。校准可包括确定表面模型的坐标系与运动传感器或位置传感器的坐标系之间的变换函数。由此可以确定捕获位置在运动传感器和/或位置传感器的坐标系中的相应坐标。
特别地，如果图像传感器单元相对靠近位置检测系统定位，则可以通过使用附接到图像传感器单元的位置传感器来确定捕获位置，其可以与位置检测系统一起定位以定位图像传感器单元的位置和取向。在将位置传感器校准到图像传感器单元的入射光瞳的位置之后，可以将位置传感器的坐标系中确定的捕获位置的坐标变换到位置检测系统的坐标系中。在这些实施例中，可以使用电磁或光学位置检测系统直接跟踪图像传感器单元的位置和取向。然而，仅使用位置传感器来确定图像传感器单元的捕获位置不允许确定电磁位置检测系统的电磁场太弱(即，在位置检测系统的工作空间外部)的捕获位置。
因此，在图像传感器单元包括位置传感器的这些实施例的一些实施例中，图像传感器单元还包括运动传感器是有益的。如果图像传感器单元包括位置传感器和运动传感器两者，则位置传感器可用于例如确定用户所选路径的起始位置，图像传感器单元沿着所述用户所选路径移动。然后，可以使用位置传感器或运动传感器或这两个传感器跟踪图像传感器单元移动所沿的路径。
替代地或另外，还可以通过使用位置传感器检测与图像传感器单元分开定位的位置检测系统的坐标系中的位置和取向来确定捕获位置。此类参考位置传感器可附接到对象本身或放置在与对象的相对距离处，使得当捕获对象的图像时，参考位置传感器在该图像中与对象一起可见。参考位置传感器接着在该图像中提供对位置检测系统的坐标系中的坐标的参考，从而允许将表面模型上的点与位置检测系统的坐标系中的坐标相互关联。由此，表面模型的任何点的坐标可变换成位置检测系统的坐标系中的相应坐标。此方法还可以与配准方法的实施例组合，其中图像传感器单元包括位置传感器和/或运动传感器。
替代地或另外，还可以通过将图像传感器单元固定到例如由在位置检测系统的坐标系中已知的图像传感器单元保持器的位置限定的预定义位置来确定捕获位置。预定义位置也可以通过将图像传感器单元直接安装到电磁位置检测系统的场发生器来定义。在将图像传感器单元固定到在位置检测系统的坐标系中已知坐标的预定义位置的情况下，可以捕获图像。捕获位置接着可校准到预定义位置，例如，包括在保持器中的位置传感器的位置。然后可以确定捕获位置在位置检测系统的坐标系中的坐标。固定到预定义位置的图像传感器单元还可以包括位置传感器和/或运动传感器本身。还可以捕获图像，使得附接到对象或相对于对象放置的参考位置传感器在所捕获的图像上与对象一起可见。
在根据本发明的配准方法的各种实施例中，并且特别还在图像传感器单元包括位置传感器的配准的此类实施例中，所述配准方法可包括以下步骤
-提供至少一个图像传感器单元，所述至少一个图像传感器单元包括用于独立于所述位置检测系统检测随时间推移的线性加速度和/或转速的至少一个运动传感器。
在图像传感器单元包括运动传感器的这些各种实施例中的一些实施例中，“确定图像传感器单元的捕获位置”的步骤包括以下子步骤
-相对于位置检测系统沿着空间路径移动图像传感器单元，
-通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元的所述路径，
-将所述确定的路径的至少一个点与所述位置检测系统的坐标系中的坐标相关，以及
-基于所述确定的路径以及所述确定的路径上的至少一个点与所述坐标的已知空间关系确定图像传感器单元的捕获位置。
这些子步骤指的是在相对于位置检测系统移动所述图像传感器单元时确定图像传感器单元的位置。可以在捕获图像之前或在已捕获图像之后执行这些子步骤。
可以由用户选择图像传感器单元移动所沿的路径，即，不需要沿着某一预定路径。
将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关，以及基于所述确定的路径以及所述确定的路径上的至少一个点与所述坐标的已知空间关系来确定图像传感器单元捕获对象的图像的捕获位置的子步骤用于确定所记录的路径在位置检测系统的坐标系中的位置和取向。具体地说，将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关的子步骤独立于是否已捕获图像而起作用。因此，可以在不捕获图像或在已捕获图像之前记录图像传感器单元的路径。然而，为了确定捕获位置，特别是在位置检测系统的坐标系中的捕获位置，需要确定图像传感器单元已移动到捕获位置或远离捕获位置移动所沿的路径，并且所确定的路径上的至少一个点与位置检测系统的坐标系中的坐标的空间关系是已知的。
将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关可以以各种方式实现。例如，可以通过沿着路径从位置检测系统的坐标系中的已知位置移动图像传感器单元或将使图像传感器单元移动到所述已知位置来建立所述路径的一个点与坐标系的坐标之间的空间关系。一旦图像传感器单元到达位置检测系统的坐标系中的具有已知坐标的位置，建立位置检测系统的坐标系中的坐标与所述确定的路径的至少一个点之间的已知空间关系。当处于已知位置时，运动传感器可以被复位。
从至少一个所捕获的图像以摄影测量生成对象的表面模型的步骤仅需要已捕获图像，且可在图像已被捕获之后的任何时间执行。
在图像传感器单元包括运动传感器的各种实施例中，也在图像传感器单元包括附加位置传感器的配准方法的其它变体中，“将以摄影测量生成的表面模型变换到位置检测系统的坐标系”的步骤包括以下子步骤
-通过校准，将所生成的表面模型的至少一个点与所述运动传感器和/或位置传感器的坐标系中的坐标相关。
对于摄影测量来说，相机的入射光瞳(也称为前节点)通常被选择为表面模型的摄影测量生成的参考。图像传感器单元的入射光瞳与图像传感器单元中包括的运动传感器和/或位置传感器具有固定的相对距离和取向。这导致图像传感器单元的坐标系与传感器的坐标系之间的偏移。此偏移可通过校准来确定。
捕获位置，例如入射光瞳的位置，优选地设置为图像传感器单元的坐标系的原点。通过确定图像传感器单元与位置或运动传感器之间的偏移，可以确定运动传感器和/或位置传感器的坐标系中的捕获位置。
由此，最初由图像传感器单元的坐标系中的坐标定义的所生成的表面模型的点可以与传感器的坐标系中的相应坐标相关，并且继而与位置检测系统的坐标系中的相应坐标相关。
该子步骤要求已生成表面模型且因此已捕获图像。可以在已生成表面模型之后的任何时间执行该子步骤。
优选地，将所生成的表面模型的至少一个点与运动传感器和/或位置传感器的坐标系中的坐标相关的此子步骤包括
-通过校准确定变换函数，所述变换函数用于所述运动传感器的坐标系和/或位置传感器的坐标系与所述图像传感器单元的坐标系之间的坐标的变换，并且
-分别在所述运动传感器和/或所述位置传感器的坐标系中确定所述图像传感器单元的捕获位置的坐标。
因此，获得捕获位置在运动传感器和/或位置传感器的坐标系中的坐标。当运动传感器和/或位置传感器并且因此传感器的坐标系相对于位置检测系统的坐标系的位置和取向已知(或可以被确定)时，也可以确定捕获位置在位置检测系统的坐标系中的坐标。通过使用变换函数，在表面模型的(图像传感器单元的)坐标系中以摄影测量生成的表面模型的坐标可以变换到位置检测系统的坐标系中。
特别地，利用根据图像传感器单元包括运动传感器的各种实施例的配准方法，可以克服当前非触觉配准方法的限制。例如，如在US 9208561 B2中所述的非触觉配准方法需要用于检测位置检测系统的坐标系中的位置和取向的位置传感器联接到图像传感器单元或组成图像传感器单元。借助于位置传感器，可以直接在位置检测系统的坐标系中确定图像传感器单元的位置和取向。
本发明包括另一认识：图像传感器单元联接到位置传感器或包括位置传感器的这种当前非触觉配准方法仅在位置传感器实际上能够由位置检测系统可靠地检测时才起作用。因此，此类非触觉配准方法的应用通常限于位置检测系统的工作空间。位置检测系统的工作空间是例如位置检测系统的光或电磁场具有某一场强且足够均匀以可靠地确定位置传感器的位置和取向的空间。然而，如果联接到位置传感器或包括位置传感器的图像传感器单元与位置检测系统有一定距离(在此，位置检测系统的光或电磁场的工作空间相当弱或工作空间相当不均匀)，则当前非触觉配准方法预期将丧失准确性，并且可能不再以可靠方式应用。
使用根据图像传感器单元包括至少一个运动传感器的各种实施例的配准方法，不需要图像传感器单元本身包括位置传感器或联接到位置传感器。利用运动传感器或优选地包括若干运动传感器的运动传感器布置(例如由加速度计或陀螺仪或还有磁力计组成的惯性传感器)，可以检测移动体的线性加速度和转速。运动传感器提供运动传感器信号，该运动传感器信号表示随时间推移检测到的线性加速度和转速。运动传感器信号可以例如由跟踪单元处理，例如整合，从而确定图像传感器单元移动所沿的路径。图像传感器单元相对于位置检测系统移动所沿的路径包括随时间推移的位置序列。特别地，此路径是相对于位置检测系统自由选择的路径。借助于运动传感器对图像传感器单元的移动的跟踪独立于位置检测系统工作。
尽管运动传感器独立于位置检测系统工作，但是特别地，使用根据图像传感器单元包括至少一个运动传感器的各种实施例的非触觉配准方法，仍可以确定对象相对于位置检测系统的位置和取向。这是因为通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元移动所沿的路径，并且因为所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标有关。因此，对于所确定的路径的至少一个点，可以确定位置检测系统的坐标系中的坐标。为了确定对象相对于位置检测系统的位置和取向，具体而言，需要在位置检测系统的坐标系内确定图像传感器单元捕获对象的图像的捕获位置。当在位置检测系统的坐标系中确定包括运动传感器的图像传感器单元的捕获位置时，至少图像传感器单元的所确定的路径和所确定的路径上的至少一个点与所述坐标的已知空间关系必须是已知的。
此外，运动传感器的位置或在传感器布置的情况下运动传感器必须校准到图像传感器单元的相机的入射光瞳。如果图像传感器单元包括多于一个相机或者如果一个相机包括多于一个入射光瞳，若干入射光瞳必须彼此校准且校准到一个或多个运动传感器。如果图像传感器单元中还包括如同一个或多个位置传感器的另外传感器，则入射光瞳也必须校准到这些位置传感器。校准是指确定用于两个元件(例如入射光瞳和/或传感器)的坐标系之间的变换的变换函数。这些变换函数通常必须确定一次，因为相应入射光瞳和/或传感器之间的相对距离和取向在它们已经安装在例如图像传感器单元中之后不会改变。
在这方面已经强调，图像传感器单元优选地包括3-D相机，例如光学立体相机或光学多相机或飞行时间相机。
从捕获位置处捕获的图像，以摄影测量生成表面模型。然后，通过校准将此表面模型的点与运动传感器和/或位置传感器的坐标系中的坐标相关。这可包括确定变换函数，所述变换函数用于将运动传感器和/或位置传感器的坐标系中的坐标变换成表面模型的坐标系中的对应坐标。
在校准之后，可以将表面模型的坐标系中限定的表面模型上的点分配给位置检测系统的坐标系中的坐标。特别地，可以将表面模型的坐标系中定义的表面模型上的点分配给位置检测系统的坐标系中的与所述路径上的至少一个点具有已知空间关系的坐标。可以通过从位置检测系统的坐标系中已知的位置移动图像传感器单元或将图像传感器单元移动到所述位置来建立这种空间关系。在校准之后，可以将所生成的表面模型变换到位置检测系统的坐标系，并且因此配准到该坐标系。
使用根据本发明的非触觉配准方法，并且具体地，使用根据图像传感器单元包括运动传感器的各种实施例的配准方法，可以以高精度确定对象相对于位置检测系统的位置和取向。此外，可以相对容易且快速地，并且(特别是关于图像传感器单元包括运动传感器的各种实施例)在不受位置检测系统的工作空间的空间限制的情况下执行配准方法。因此，配准方法的特定优点是，图像传感器单元可以相对自由地且独立于位置检测系统的工作空间移动，同时仍可以可靠方式确定对象相对于位置检测系统的位置和取向。因此，这允许在最合适的捕获位置处捕获对象的图像。通常，最合适的捕获位置可以位于位置检测系统的工作空间之外，并且现在可以可靠地接近。
优选地，将相机的入射光瞳的位置校准到包含在图像传感器单元中的传感器的位置。由于可以确定传感器相对于位置检测系统的位置和取向，因此可以将捕获位置在图像传感器单元的坐标系中的坐标变换到位置检测系统的坐标系中。
传感器在捕获图像时的位置可以是路径的起点或终点，但也可以对应于位于轨迹的起点与终点之间的路径上的任何其它点。
所述确定的路径上的至少一个点与位置检测系统的坐标系中的所述坐标的已知空间关系可以是从所述确定的路径上的至少一个点到位置检测系统的坐标系中的所述坐标的相对距离。优选地，位置检测系统的坐标系中的所述坐标是先前已知的或在移动图像传感器单元之前定义的。例如，如果图像传感器单元从位置检测系统的坐标系中已知的位置移动或移动到所述位置，则位置检测系统的坐标系中的坐标与所述确定的路径的至少一个点之间的已知空间关系建立。根据这种已知空间关系和路径相对于位置检测系统的已知取向，所记录的路径上的任何其它点可以变换到位置检测系统的坐标系中。
优选地，通过将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关，获得从所述路径的至少一个点到位置检测系统的坐标系中的坐标的相对距离以及所述路径在位置检测系统的坐标系中的取向。在一些实施例中，这需要将所述确定的路径的至少两个点分别与位置检测系统的坐标系中的不同坐标相关。根据所确定的路径的至少一个点到位置检测系统的坐标系中的坐标的相对距离以及路径在位置检测系统的坐标系中的取向，可以在位置检测系统的坐标系中确定路径上的任何点的相对距离，特别是传感器在捕获图像时的位置。
可以用不同的位置检测系统，例如光学、电磁或基于超声的位置检测系统执行根据本发明的配准方法。然而，优选地，根据本发明的配准方法用电磁位置检测系统执行。
与路径上的至少一个点具有已知空间关系的坐标可以由例如位置检测系统本身的场发生器或光源的位置限定。例如，场发生器的位置可以被认为是由电磁位置检测系统跨越的坐标系的原点。与路径上的至少一个点具有已知空间关系的坐标也可以由位于相对于场发生器或光源一定距离，例如位于固定位置处的位置传感器的位置限定。此类位置传感器可附接到对象。位置传感器也可包括在用于图像传感器单元的图像传感器单元保持器中。与路径上的至少一个点具有已知空间关系的坐标，位置传感器包括在触摸点中。图像传感器单元可以移动到触摸点并与其接触。当沿着路径移动图像传感器单元远离触摸点时，路径上的每个点可优选地与触摸点相互关联，且具体地与触摸点的位置传感器相互关联。如果图像传感器单元本身包括位置传感器，则与路径上的至少一个点具有已知空间关系的坐标也可以由在位置检测系统的坐标系内检测到的位置传感器以及因此图像传感器单元的特定位置或记录的路径限定。例如，如果图像传感器单元本身另外包括用于检测位置检测系统的坐标系中的位置和取向的位置传感器，则位置传感器的任意位置可以被限定为与路径上的至少一个点具有已知空间关系的坐标。从该坐标开始，图像传感器单元可以沿着路径移动，通过处理由运动传感器提供的运动传感器信号来记录所述路径。
可以由图像传感器单元或者替代地由作为相应配准装置的一部分的位置确定单元计算从至少一个所捕获的图像以摄影测量生成的对象的表面模型。
对象(从其捕获图像)可以是患者的身体部位，例如患者的面部。
在图像传感器单元包括运动传感器的各种实施例中的一些实施例中，图像传感器单元沿着一路径移动，该路径在位置检测系统的坐标系中已知的位置的所述坐标处开始，并在传感器捕获图像的位置处结束。优选地，接着基于所记录的路径和至少路径的起点与所述坐标的已知空间关系，在位置检测系统的坐标系中确定传感器捕获图像的位置。
位置检测系统的坐标系中的图像传感器单元开始移动的坐标位于位置检测系统的工作空间内。可以移动图像传感器单元远离该已知位置甚至到工作空间外部的位置。因为图像传感器单元移动所沿的路径在已知起始位置处开始，所以如果已知位置检测系统的坐标系中的路径的取向，则可以计算从所述路径上的任何点到已知起始位置的相对距离。这意味着可以在位置检测系统的坐标系中确定路径上的任何点，特别是相对于位置检测系统的捕获图像的任何传感器位置，该位置位于此路径上。路径的一部分可以位于工作空间之外，并且仍然因为通过处理由运动传感器提供的运动传感器信号来记录路径，所以也可以在位置检测系统的坐标系中确定位于工作空间之外的路径上的任何点。特别地，仍然可以在位置检测系统的坐标系中确定也位于位置检测系统的工作空间之外的捕获位置。
在图像传感器单元包括运动传感器的各种实施例的一些替代实施例中，图像传感器单元移动所沿的路径在捕获位置处开始，并且在位置检测系统的坐标系中的所述已知坐标处结束，并且在图像已被捕获之后，沿着此路径移动图像传感器单元。优选地，接着基于所记录的路径和至少所述路径的终点与所述坐标的已知空间关系在位置检测系统的坐标系中确定捕获位置。
在这些替代实施例中，与先前描述的实施例相比，移动图像传感器单元和捕获图像的步骤是反向时序，其中图像传感器单元沿着一路径移动，所述路径在位置检测系统的坐标系的所述坐标处开始且在捕获位置处结束。先前描述的实施例和这些替代实施例均可产生相同结果。
在图像传感器单元也包括运动传感器的各种实施例的这些替代实施例中，捕获位置可以位于位置检测系统的工作空间之外。但是，当通过处理由运动传感器提供的运动传感器信号来记录从捕获位置到位置检测系统的坐标系中描绘此路径的终点的所述坐标的路径时，如果位置检测系统的坐标系中的路径的取向是已知的，则可以在已捕获图像之后基于运动传感器信号计算从任何点并且具体地从捕获位置到终点的相对距离。
通过将图像传感器单元移动到位置检测系统的坐标系中的已知位置或从所述已知位置移动图像传感器单元，位置检测系统的坐标系与运动传感器的移动路径之间的空间关系建立。一般来说，在图像传感器单元包括运动传感器的实施例中，捕获图像的捕获位置可以仅基于位置检测系统的坐标系中的坐标与通过处理由运动传感器提供的运动传感器信号记录的路径上的点之间的已知空间关系来确定。在这种情况下，不需要位置传感器来确定捕获位置。特别地，可以通过沿着路径将图像传感器单元从捕获位置移动到位置检测系统的坐标系中位置已知的终点，或通过沿着路径将图像传感器单元从位置检测系统的坐标系中位置已知的起点移动到捕获位置来实现所需的空间关系。
根据本发明的配准方法还可以包括以下步骤：在捕获图像时检测对象的移动，并且借助于位置传感器提供表示所检测的移动以及时间戳的移动信号，以检测布置在对象上的位置检测系统的坐标系中的位置和取向。如果在捕获图像期间检测到对象的移动，则可以触发警报信号以向用户发出在捕获图像时对象已移动的信号。
用于实现此步骤的合适位置传感器可以被配置成提供表示所检测的移动以及时间戳的传感器信号。传感器信号可例如传递到配准装置的位置确定单元。位置确定单元可以被配置成通过将所检测的移动作为校正值应用于与相应传感器信号具有相同时间戳的图像传感器单元的位置，使用传感器信号来补偿在图像捕获期间检测到的对象的移动。由此，可使用校正的捕获位置将所生成的表面模型的至少一个点与运动传感器和/或位置传感器的坐标系中的坐标相关。
特别地，在图像传感器单元不包括用于检测位置检测单元的坐标系中的位置和取向的位置传感器的这些实施例中，或者在图像传感器单元位于位置检测系统的工作空间外部的实施例中，优选地仅通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元移动所沿的路径。
然而，如果图像传感器单元还包括可选的位置传感器，则所述配准方法可包括检测组成图像传感器单元的位置传感器在位置检测系统的坐标系中的位置和取向的步骤。可以从位置传感器的所确定的位置和取向，计算图像传感器单元在所述位置检测系统的坐标系中的位置和取向。
如果图像传感器单元包括运动传感器和位置传感器，优选地，通过检测位置传感器的位置和取向，将路径(图像传感器单元移动所沿的并且通过处理运动传感器信号来记录的路径)的起点或终点确定为位置检测系统的坐标系中的坐标。由此，路径上的任何点以及具体地传感器捕获图像的位置在空间上可以与位置检测系统的坐标系中的坐标已知的位置相互关联。
如果图像传感器单元还包括位置传感器，则可以在位置检测系统的坐标系中直接用位置传感器跟踪图像传感器单元的位置和取向。因此，只要包括位置传感器的图像传感器单元在位置检测系统的工作空间内移动，就可以在位置检测系统的坐标系内直接确定图像传感器单元的位置和取向。此外，可以通过确定位置传感器的位置和取向，在位置检测系统的坐标系中直接确定由运动传感器跟踪的轨迹的起点。可以在位置检测系统的坐标系内确定轨迹的起点的事实可以例如在显示器上或以声学方式向用户发信号。另外，可以通过处理由运动传感器提供的运动传感器信号和表示由位置传感器提供的位置值的位置信号两者来记录或跟踪图像传感器单元移动所沿的路径。例如，为了记录图像传感器的路径，如果运动传感器在某些情况下接管位置传感器或支持位置传感器，或可用于校正位置传感器提供的位置值，则是有益的。
只要图像传感器单元在位置检测系统的工作空间内移动，就可以基于由运动传感器提供的运动传感器信号和表示由位置传感器提供的位置值的位置信号两者来确定对象相对于位置检测系统的位置和取向。
如果处理运动传感器信号和位置信号两者包括比较两个信号以提高记录图像传感器单元移动所沿的路径的准确性，则是有益的。
如果图像传感器单元在工作空间之外移动，则位置传感器停止提供可靠的位置值。然而，还在离开工作空间时，仍可以通过处理由运动传感器提供的运动传感器信号以可靠方式记录图像传感器单元的路径。例如，运动传感器可以从位置传感器接管路径的跟踪。由此，图像传感器单元可在其中移动以便确定对象相对于位置检测系统的位置和取向的空间相对于位置检测系统的工作空间增大。这允许捕获在最合适位置处的对象的图像，所述最合适位置通常可能位于位置检测系统的工作空间之外。
根据本发明的配准方法还可以包括以下步骤：捕获对象以及相对于对象定位的参考位置传感器的图像；以及从所捕获的图像以摄影测量生成表面模型与参考位置传感器，使得可确定参考位置传感器在以摄影测量生成的表面模型的坐标系中的位置，同时根据位置检测系统的坐标系的坐标提供位置信息。参考位置传感器因此可提供校准的基准点。此类参考位置传感器可另外用于附接到对象的位置传感器。同样，参考位置传感器可用于定义与路径上的点具有已知空间关系的坐标。特别地，如果位置传感器不附接到对象上并且图像传感器单元中也不包括位置传感器，则捕获图像使得该图像显示参考位置传感器以及对象可以是有利的，使得参考位置传感器可在以摄影测量生成的表面模型的坐标系中识别。然后，参考位置传感器在对象的表面模型的坐标系中以摄影测量生成，并且提供在位置检测系统的坐标系内先前已知的另一参考位置。因此，可以改进配准准确性。
此外，如果
-参考位置传感器相对于对象定位，并且
-在表面模型的坐标系中以摄影测量生成参考位置传感器的位置，
则根据位置检测系统的坐标系的坐标提供的位置信息可用于在已将表面模型变换到位置检测系统的坐标系之后，通过计算基于经处理的运动传感器信号和/或位置信号的所述确定的位置与所述参考位置传感器在位置检测系统的坐标系中的位置的偏差，验证基于经处理的运动传感器信号和/或位置信号的所生成的表面模型在位置检测系统的坐标系中的确定的位置。
优选地，图像传感器单元的成像特性是事先已知的。
尽管图像传感器单元优选地包括3-D相机，但在一些实施例中，如果图像传感器单元包括单焦图像传感器则是有益的。如果图像传感器单元包括单焦图像传感器，优选地，在配准方法中，在移动单焦图像传感器的同时，分别在位于轨迹上的不同捕获位置处捕获对象的多个图像。因此，特别地，如果图像传感器单元包括单焦图像传感器，则图像传感器单元优选地在不同捕获位置处捕获对象的表面的多个图像时移动。例如，可以在配准过程期间在待检测的对象的表面上连续地引导图像传感器单元。此处，记录图像传感器单元相对于对象(更准确地：相对于位置检测系统)的相对位置-即图像传感器单元的位置-以及以摄影测量检测到的信息(即，大体上，光学检测到的图像数据表示所捕获的图像)。
有利地，可以以这样的方式执行连续配准，即不再需要相对于对象静止的参考位置传感器。相反，运动传感器或(如果另外存在)组成图像传感器单元的位置传感器将在相应时间承担所述功能。
优选地，将由例如运动传感器信号和/或位置值表示的位置信息以及光学检测到的图像数据馈送到迭代算法。此算法检测光学检测到的图像数据中(例如，单个图像中)的对象(边缘、线、圆等)，并且还能够在各种单个图像上使所述对象彼此相互关联。因此，产生由包括单焦图像传感的图像传感器单元从不同观察方向和观察位置记录的对象的列表。
优选地，随后使用能够从这些数据确定对象的空间位置的另一算法。在包括单焦图像传感器的图像传感器单元的情况下，一定已经从至少两个不同的观察方向和观察位置记录对象。然后，可以通过三角测量来确定对象位置。
如果确定了足够数量的对象及其位置，则可以执行常规表面配准。
虽然在一些情况下，使用单焦图像传感器单元是有益的，但在许多其它情况下，可以通过使用优选的3-D相机作为图像传感器单元来改进配准方法。利用3-D相机，可以从一开始就三维地记录待检测的表面。如在图像传感器单元包括如上所述的单焦图像传感器的情况下所需的，从二维图像数据重建表面形式则变得多余。已知的3-D相机借助于正测量的红外光脉冲的传播时间来记录三维表面形式。由于对象的表面上的各个点与图像传感器单元的红外光源并且还与其红外图像传感器具有不同距离，这导致光源与图像传感器之间的不同长度的脉冲传播时间。这些脉冲传播时间(或相移)包含与图像传感器单元和对象的表面上的相应点之间的距离有关的信息。这种类型的记录也称为TOF(飞行时间)过程。
图像传感器单元也可以实现为以三维方式记录待检测的对象的表面的光学立体相机或光学多相机。光学立体相机可以由安装在固定已知基部上的两个或更多个相机的相机组件实现。如果图像传感器单元包括多于一个入射光瞳，则入射光瞳优选地彼此校准。
优选地使用天然照明，即原位存在的照明来执行表面的摄影测量检测。
然而，在一些情况下，将图案投射到对象的表面上，同时捕获图像以产生对象的表面的增强图像记录可能是有益的。
在此类情况下，配准方法优选地包括以下步骤：在捕获图像时，将图像传感器单元可检测的图案投射到对象的表面上。
为了将图案投射到对象上，图像传感器单元可以(优选地以刚性方式)连接到配准装置的图案投影仪。图像传感器单元与图案投影仪之间的相对位置以及图案投影仪的成像特性优选地是事先已知的。替代地，图案投影仪还可以以这样的方式连接(优选地以刚性方式连接)到运动传感器和/或位置传感器，使得图像传感器单元与图案投影仪之间的相对位置可以始终根据分别由图案投影仪的运动传感器和/或位置传感器提供的运动传感器信号和/或位置值以及由图像传感器单元的运动传感器提供的运动传感器信号来确定。然后，图案投影仪可以有利地独立于图像传感器单元移动，使得图像传感器单元能够在每种情况下以良好可评估的图案畸变记录特别有意义的单个图像。
图案投影仪可用于将尺寸已知的人工结构(图案，例如条带图案)投射到图像传感器单元的捕获区域中的目标表面上。投射到表面上的图案可由图像传感器单元光学检测，使得显示投射到表面上的图案的单个图像出现，其中，由表面的形状引起图案的畸变。可以基于图案的畸变在每个单个图像中建立三维表面。也就是说，可以通过使用重叠区域组合单个图像的三维部分表面来确定总表面。然后可以将该总表面与常规表面配准一起使用。
图案投影仪可以被配置成使用红外光或紫外光投射图案。在这种情况下，图像传感器单元优选地配备有红外敏感或紫外敏感图像传感器。该实施例变体是有利的，因为所投射的图案对于外科医生是不可见的，并且因此不会干扰。
代替图案投影仪或除了图案投影仪之外，还可以提供给自粘图案膜。该膜紧固在目标区域中。由于膜上的已知图案，可以检测膜的形式，并且因此还可以检测表面结构。
配准方法还可以包括在对象的表面上布置多个红外标记的步骤。
红外标记可以由配备有红外敏感图像传感器的图像传感器单元检测。通过定位布置在对象的表面上的红外标记，可以基于红外标记从所捕获的图像以摄影测量生成表面局部解剖。这允许检测表面并以摄影测量生成对象的表面模型，即使可见光不足以检测表面。
所述配准方法还可以包括为每个所捕获的图像分配时间戳的步骤。例如，图像传感器单元可以被配置成将所捕获的图像和时间戳一起传输到配准装置的位置确定单元。
所述配准方法还可以包括传递位置值以及时间戳的步骤。此步骤可利用位置检测系统实施，所述位置检测系统被配置成将位置值和时间戳一起传递到配准装置的位置确定单元。也可能是，配准装置的位置确定单元被配置成从位置检测系统请求位置值和/或从运动传感器请求运动传感器信号，以及将时间戳附加到位置值和/或运动传感器信号中的相应一者。
运动传感器可以被配置成将运动传感器信号和时间戳一起传递到配准装置的跟踪单元。例如，如果位置传感器布置在对象上，并且被配置成在捕获图像时检测对象是否移动，优选地，由位置传感器提供的位置值和用图像传感器单元捕获的图像以及时间戳一起传递到位置确定单元。位置确定单元可以被配置成将位置值分配给携带相同时间戳的图像。然后，可以通过由位置值作为校正值表示为捕获位置的检测到的移动来校正已捕获图像的捕获位置，即入射光瞳相对于对象的位置的校正值。
另外或替代地，所述配准方法还可以包括流式传输表示所捕获的图像的图像数据的步骤。此步骤可以用图像传感器单元来实施，所述图像传感器单元被配置成将表示所捕获的图像的图像数据流式传输到配准装置的位置确定单元。图像流可以在配准装置的监视器上显现。
在根据本发明的配准方法中，也可以在自动化触发器上捕获图像。自动化触发器可以基于对来自图像传感器单元的流式传输图像数据的分析。例如，图像传感器单元可以分析流式传输图像数据，并且如果相对于图像传感器单元在某一位置识别对象，则给出自动化触发器。例如，图像传感器单元可以捕获自动化触发器上的图像，该图像基于对所确定的图像传感器单元相对于附接到对象的参考位置传感器的位置的分析。例如，如果图像传感器单元相对于参考位置传感器处于某一位置，则可以给出自动化触发器并且捕获图像。
所述配准方法还可以包括通过以摄影测量检测位于不同位置的多个位置传感器或可移动位置传感器来确定交变电磁场的畸变，所述可移动位置传感器在用所述图像传感器单元捕获图像时移动，其中所述多个位置传感器或所述可移动位置传感器在位置检测系统的坐标系中的位置和取向可经由位置检测系统直接确定。
为了能够在配准方法的所有先前描述的实施例中确定位置检测系统的交变电磁场的可能畸变，使用在不同位置的多个位置传感器或可移动位置传感器，所述可移动位置传感器在对象或身体部位的表面的摄影测量检测期间移动，并且同样以摄影测量检测所述可移动位置传感器或多个位置传感器的位置。然后，可以从可移动位置传感器或多个位置传感器的相应的摄影测量检测到的位置以及从由相应的位置传感器本身借助于位置检测系统确定的位置确立交变电磁场的畸变。然后，可以这样说以摄影测量测量交变电磁场本身。
关于配准装置，本发明的目标通过用于确定对象相对于位置检测系统的位置和取向的配准装置来实现。所述装置包括位置检测系统、至少一个图像传感器单元、跟踪单元、位置确定单元和坐标变换单元。
位置检测系统被配置成确定位置传感器的位置和取向，并且至少一个图像传感器单元包括至少一个运动传感器。图像传感器单元被配置成捕获对象的图像并且用于从至少一个所捕获的图像以摄影测量生成对象的表面模型。运动传感器被配置成提供运动传感器信号，所述运动传感器信号表示随时间推移的移动的图像传感器单元相对于位置检测系统的位置序列。
跟踪单元被配置成通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元的所述路径。
位置确定单元被配置成将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关，基于所述确定的路径和所述确定的路径上的至少一个点与所述坐标的已知空间关系确定图像传感器单元的捕获位置，并且通过校准将所生成的表面模型的至少一个点与运动传感器和/或位置传感器的坐标系中的坐标相关。
坐标变换单元被配置成将所生成的表面模型变换到位置检测系统的坐标系中。
所述装置还可以包括图案投影仪，所述图案投影仪连接到至少一个图像传感器单元或包括至少一个图像传感器单元，并且其中图案投影仪被配置成将图案投射到身体上。
优选地，图像传感器单元包括立体相机或多相机布置或飞行时间相机。然而，在某些实施例中，图像传感器单元还可以包括单个相机。
优选地，图像传感器单元连接到位置确定单元。优选地，运动传感器连接到跟踪单元。位置确定单元还连接到位置检测系统。位置确定单元连接到坐标变换单元。部件之间的至少一些连接可以实施为通用串行总线(USB)连接。然而，部件之间的至少一些连接也可以实施为无线连接，例如蓝牙连接。
运动传感器可以是传感器装置或陀螺仪和加速度计阵列，其传递表示六个自由度的运动参数(例如，三个线性加速度和三个角速度)的运动传感器信号。
配准装置的部件优选地是计算机或其它数据处理系统的元件。
任选地，所述装置还可以包括图像传感器单元保持器，该图像传感器单元保持器包括被配置成在预定义和固定位置中可重复地接受图像传感器单元的形状拟合适配器。图像传感器单元保持器相对于位置检测系统的位置和取向优选地是先验已知的或可借助于位置检测系统确定。
例如，可以附接到图像传感器单元保持器使得该位置检测器的位置和取向的位置传感器可以由位置检测系统检测。从检测到的位置传感器的位置和取向，可以计算图像传感器单元保持器的位置和取向。如果图像传感器单元由保持器保持，也可以计算图像传感器单元相对于位置检测系统的位置和取向。有利地，配备有位置传感器的图像传感器单元保持器可以自由地定位在位置检测系统的工作空间内，并且用于提供位置检测系统的坐标系中的已知位置，图像传感器单元可以沿着路径从所述已知位置移动或移动到所述已知位置，所述路径可以通过处理例如运动传感器信号来记录。由此，可以确定捕获图像的捕获位置，并且该捕获位置用于确定对象相对于位置检测系统的位置和取向。
如果图像传感器单元保持器不包括位置传感器，则图像传感器单元保持器相对于位置检测系统的位置和取向优选地通过相对于位置检测系统固定图像传感器单元保持器而先验已知。图像传感器单元保持器接着固定于与位置检测系统或甚至直接与位置检测系统的恒定相对距离和取向处。然后，可以足以将图像传感器单元保持器一次校准到位置检测系统，使得图像传感器单元保持器相对于位置检测系统的位置和取向是已知的。
根据可独立于本文所述的其它方面实现且因此自身构成本发明的另一方面，本发明的目标通过用于确定对象相对于电磁位置检测系统的位置和取向的替代配准方法来实现。根据该方面的方法包括以下步骤
-提供刚性地固定到电磁位置检测系统的场发生器的图像传感器单元，
-通过校准确定变换函数，所述变换函数用于表面模型的坐标系与所述电磁位置检测系统的坐标系之间的变换，
-利用所述图像传感器单元捕获对象的表面的图像，
-从所捕获的图像以摄影测量生成所述对象的表面模型，
-将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
此替代配准方法不需要使用一个或多个运动传感器和/或位置传感器来确定捕获位置在位置检测系统的坐标系中的坐标。由于图像传感器单元与场发生器组合在固定装置中，因此仅需要将图像传感器单元校准到场发生器，以便确定对象相对于位置检测系统的位置和取向，并且因此确定将图像传感器单元的坐标系的坐标变换成位置检测系统的坐标系的坐标所需的变换函数。然而，任选地，图像传感器单元可包括运动传感器和/或位置传感器。优选地，图像传感器单元包括光学立体相机或光学多相机或飞行时间相机。
根据该另一方面的替代配准方法可包括以下步骤：在捕获图像时，将图像传感器单元可检测到的图案投射到对象的表面上。
根据该另一方面的替代配准方法还可以包括为每个所捕获的图像分配时间戳。
替代地或另外，根据该另一方面的替代配准方法可包括将表示所捕获的图像的图像数据从图像传感器单元流式传输到跟踪单元。
任选地，根据该另一方面的替代配准方法可包括以下步骤
-捕获对象以及相对于对象定位的参考位置传感器的图像，所述参考位置传感器用于检测布置在对象上的位置检测系统的坐标系中的位置和取向，以及
-从所捕获的图像以摄影测量生成表面模型以及参考位置传感器，使得确定参考位置传感器在以摄影测量生成的表面模型的坐标系中的位置，同时根据位置检测系统的坐标系的坐标提供位置信息。
关于配准装置，本发明的目标还通过用于确定对象相对于位置检测系统的位置和取向的替代配准装置来解决，所述位置检测系统可独立于前面描述的其它方面来实现，并且因此自身构成本发明，所述替代配准装置包括
-电磁位置检测系统，该电磁位置检测系统包括用于生成交变电磁场的场发生器，
-刚性地固定到所述场发生器的图像传感器单元，其中所述图像传感器单元被配置成捕获所述对象的图像并且从至少一个所捕获的图像以摄影测量生成所述对象的表面模型，以及
-校准单元，所述校准单元被配置成通过校准确定变换函数，所述变换函数用于表面模型的坐标系与所述电磁位置检测系统的坐标系之间的变换，以及
-坐标变换单元，所述坐标变换单元被配置成采用变换函数将所述表面模型的坐标系中的表示所述表面模型的坐标变换到所述位置检测系统的坐标系中。
通常，位置检测系统的坐标系由相应位置检测系统的场发生器或光源跨越或与所述场发生器或光源相关联。
此替代配准装置还可以包括图案投影仪，该图案投影仪连接到图像传感器单元或包括图像传感器单元，并且其中图案投影仪被配置成将图案投射到身体上。此替代配准装置的图像传感器单元可包括运动传感器和/或位置传感器。
附图说明
在下文中，将参考附图描述本发明的优选实施例。在附图中：
图1：示出了表示用于确定对象相对于位置检测系统的位置和取向的配准方法的流程图；
图2：示出了配准装置的示意框图；
图3：示出了用于捕获患者头部的图像的图像传感器单元，其中图像传感器单元包括运动传感器；
图4：示出了用于捕获患者头部的图像的图像传感器单元，其中图像传感器单元包括运动传感器和用于检测在位置检测系统的坐标系中的位置和取向的位置传感器；
图5：示出了安装到图像传感器单元保持器的图像传感器单元，该图像传感器单元保持器刚性地或可移动地固定到位置检测系统；
图6：示出了刚性地安装到位置检测系统的图像传感器单元，其中图像传感器单元和位置检测系统的布置安装到图像传感器单元保持器，
图7：示出了表示根据替代实施例的配准方法的流程图，
图8：示意性地显现当图像传感器单元包括位置传感器时，如何能够确定对象相对于位置检测系统的位置和取向，
图9：示意性地显现当图像传感器单元仅包括运动传感器时，如何能够确定对象相对于位置检测系统的位置和取向。
具体实施方式
在图1中，示出了表示根据本发明的构思的配准方法的流程图。
配准方法包括步骤
I1：利用包括至少一个运动传感器和/或至少一个位置传感器的图像传感器单元捕获对象的表面的图像，
I2：通过处理由所述运动传感器提供的运动传感器信号和/或由所述位置传感器提供的位置信号来确定图像传感器的捕获位置，
I3：从所捕获的图像以摄影测量生成对象的表面模型，以及
I4：将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
步骤I1、I2和I3可以不同顺序进行。例如，在一些变体中，可以在捕获图像之前确定捕获位置，或者可以在确定捕获位置之前以摄影测量生成表面模型。然而，必须在将表面模型变换到位置检测系统的坐标系之前以摄影测量生成表面模型。
优选地，图像传感器单元包括以三维方式记录对象的表面的飞行时间相机、光学立体相机或光学多相机，将确定所述对象相对于位置检测系统的位置和取向。
在优选实施例中，利用图像传感器单元捕获对象的表面的图像的步骤I1包括以下子步骤：提供至少一个图像传感器单元，该至少一个图像传感器单元包括用于独立于位置检测系统检测随时间推移的线性加速度和/或转速的至少一个运动传感器(S1)。
运动传感器可以是包括加速度计或陀螺仪或磁力计的惯性传感器。而且这些传感器中的若干传感器可包括在图像传感器单元中以形成运动传感器布置。在移动图像传感器单元时，每个运动传感器提供运动传感器信号，该运动传感器信号表示随时间推移检测到的线性加速度或转速。
附加地或代替运动传感器，图像传感器单元可包括位置传感器，其用于确定图像传感器单元相对于位置检测系统的位置和取向。
确定图像传感器单元的捕获位置的步骤I2可包括若干子步骤。在一个优选实施例中，确定图像传感器单元的捕获位置可通过以下子步骤实现
S2：相对于位置检测系统沿着空间路径移动图像传感器单元，
S3：通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元的所述路径，
S4：将所述确定的路径的至少一个点与位置检测系统的坐标系中的坐标相关，以及
S5：基于所述确定的路径以及所述确定的路径上的至少一个点与所述坐标的已知空间关系确定图像传感器单元的捕获位置。
子步骤S2、S3、S4和S5用于根据位置检测系统坐标系的坐标来确定图像传感器单元的位置。
例如，可以通过从位置检测系统的坐标系中已知坐标的位置移动图像传感器单元或将图像传感器单元移动到所述位置来建立所述路径上的点与位置检测系统的坐标系中的坐标之间的已知空间关系。
在步骤I2的一些变体中，附加地或代替使用运动传感器来确定图像传感器单元相对于位置检测系统的位置和取向，可以使用位置传感器。在此类实施例中，可以通过检测位置传感器的位置和取向来确定捕获位置。位置传感器组成图像传感器单元。
在步骤I2的另一替代方案中，还可以通过捕获对象以及附接到对象或相对于对象放置的参考位置传感器的图像来确定捕获位置。
然而，在用于确定捕获位置(步骤I2)的另一替代方案中，图像传感器单元可以固定到位置检测系统的坐标系中已知的预定义位置。此预定义位置可以是图像传感器单元保持器的位置，该图像传感器单元保持器被校准到位置检测系统或包括用于检测相对于位置检测系统的位置和取向的位置传感器。如果位置传感器，例如布置在对象上的位置传感器，已与对象一起记录，则在对象的表面模型的坐标系中以摄影测量生成位置传感器。因此，与位置传感器的位置相关联的位置检测系统中的坐标可以在空间上与所生成的表面模型的坐标系中的坐标直接相互关联。
将以摄影测量生成的表面模型变换到位置检测系统的坐标系的步骤I4可包括通过校准将所生成的表面模型的至少一个点与运动传感器和/或位置传感器的坐标系中的坐标相关的子步骤(S6)。
例如，可通过校准来确定用于运动传感器的和/或位置传感器的坐标系与图像传感器单元的坐标系之间的坐标的变换的变换函数。这可包括分别在运动和/或位置传感器的坐标系中确定图像传感器单元的捕获位置的坐标。由此确定的变换函数可用于将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
子步骤S6用于将表面模型的点分配给传感器的坐标系中的坐标。
将所生成的表面模型变换到位置检测系统的坐标系中的步骤可以在比先前子步骤中的至少一些晚得多的时间(例如在另一天)进行。
在配准方法的不同实施例中，利用图像传感器单元捕获对象的表面的图像I1、确定图像传感器单元的捕获位置I2，以及将以摄影测量生成的表面模型变换到位置检测系统的坐标系中I4的步骤中的仅一些步骤包括如上文详述的子步骤。例如，在一个实施例中，仅确定图像传感器单元I2的捕获位置的步骤包括如上所述的子步骤。在其它实施例中，不利用运动传感器，例如使用位置传感器确定捕获位置在位置检测系统的坐标系中的坐标。在这些实施例中，将以摄影测量生成的表面模型变换到位置检测系统I4的坐标系中的步骤仍可包括如前指定的子步骤S6。
在图2中，示出了配准装置200的优选实施例的示意性框图。
配准装置包括位置检测系统202、包括至少一个运动传感器206的图像传感器单元204、跟踪单元208、位置确定单元210和坐标变换单元212。
位置检测系统202被配置成确定位置传感器(未示出)的位置和取向。位置检测系统202可以是光学、电磁或基于超声的位置检测系统。优选地，位置检测系统202是电磁位置检测系统，其包括用于生成交变电磁场的场发生器。如果位置检测系统202是电磁位置检测系统，则用于检测位置检测系统的坐标系中的位置和取向的位置传感器包括至少一个线圈。位置检测系统202连接到位置确定单元210以向位置确定单元传输表示由位置传感器提供的位置值的位置信号以进一步处理。
图像传感器单元204被配置成捕获对象(未示出)的图像并且从至少一个所捕获的图像以摄影测量生成对象的表面模型。图像传感器单元204可包括单焦图像传感器。为了确定对象相对于位置检测系统的位置和取向，优选地在配准过程期间在待检测的对象的表面上连续引导包括单焦图像传感器的图像传感器单元。当移动包括单焦图像传感器的图像传感器单元时，从不同的观察方向和观察位置捕获至少两个图像。然后，可以借助于三角测量来确定对象位置。然而，优选地，图像传感器单元包括立体相机或多相机布置或飞行时间相机，其以三维方式记录待检测的对象的表面。光学立体相机可以例如由安装在固定已知基部上的两个或更多个相机的相机组件实施。图像传感器单元204连接到可选的图案投影仪214。图像传感器单元204还连接到位置确定单元210以提供以摄影测量生成的表面模型以供进一步处理。
运动传感器206被配置成提供运动传感器信号，该运动传感器信号表示随时间推移的移动的图像传感器单元204相对于位置检测系统202的位置序列。通过处理由运动传感器206提供的此类运动传感器信号，可以记录路径，图像传感器单元204在配准期间沿着所述路径移动。图像传感器单元204可仅包括一个运动传感器206或若干运动传感器的布置，该一个运动传感器或若干运动传感器的布置被配置成在图像传感器单元202相对于位置检测系统202移动时检测线性加速度和转速。运动传感器206连接到跟踪单元208以向跟踪单元208传输运动传感器信号，以用于记录图像传感器单元204移动所沿的路径。
跟踪单元208连接到图像传感器单元202和位置确定单元210，并且被配置成通过处理由运动传感器提供的运动传感器信号来记录图像传感器单元204相对于位置检测系统202移动所沿的路径。跟踪单元208连接到组成图像传感器单元204的运动传感器206。
位置确定单元210被配置成将所确定的路径的至少一个点与位置检测系统202的坐标系中的坐标相关。此外，位置确定单元210被配置成基于所确定的路径以及所确定的路径上的至少一个点与位置检测系统202的坐标系中的所述坐标的已知空间关系来确定图像传感器单元204捕获对象的图像的捕获位置。位置确定单元210还被配置成借助于校准将所生成的表面模型的至少一个点与运动传感器的坐标系中的坐标相关。位置确定单元210连接到位置检测系统202以接收位置信号，并且能够访问跟踪单元208以进一步处理由跟踪单元208记录的图像传感器单元204移动所沿的路径。位置确定单元210还连接到坐标变换单元212，以提供关于所生成的表面模型的位置与图像传感器单元204相对于位置检测系统的位置之间的空间关系的信息，所述图像传感器单元相对于位置检测系统的位置对应于所确定的运动传感器206的相对位置。此外，位置确定单元210连接到图像传感器单元204以访问由图像传感器单元204以摄影测量生成的表面模型。
坐标变换单元212连接到位置确定单元210，并且被配置成将生成的表面模型变换到位置检测系统202的坐标系中。
装置200还包括连接到图像传感器单元202的可选的图案投影仪214。图案投影仪214被配置成将图案投射到身体上。
配准装置200的部件之间的至少一些连接可以实施为通用串行总线(USB)连接。配准装置200的部件之间的至少一些连接也可以实施为无线连接，例如蓝牙连接。
在图3中，示出了包括运动传感器16’的图像传感器单元16’。该图像传感器单元被配置成捕获患者头部12的图像。头部12和图像传感器单元16’相对于位置检测系统10定位，该位置检测系统被配置成确定刚性地固定到位置检测系统10的参考位置传感器18的位置和取向。参考位置传感器18相对于头部12定位，使得如果头部的图像经由图像传感器单元16’捕获，则位置传感器18也将在该图像中可见。如果对象的表面模型是例如由图像传感器单元16’以摄影测量生成的，则参考位置传感器也将与表面模型一起以摄影测量生成。参考位置传感器18可在以摄影测量生成的表面模型的坐标系中识别，并且因此提供对位置检测系统的坐标系中的坐标的参考。由此，表面模型的点云的点可以直接链接到位置检测系统的坐标系中的坐标，并分配给位置检测系统的坐标系中的对应坐标。
然而，提供此参考传感器18不是必需的，而是可选的。实际上，在不提供参考位置传感器18的情况下，也可以实现确定头部相对于位置检测系统10的位置和取向。这通过通过处理由运动传感器14’提供的运动传感器信号记录图像传感器单元16’移动所沿的路径来实现。所记录的路径由随时间推移的运动传感器14’检测到的移动的图像传感器单元16’的位置序列组成。因为所记录的路径上的至少一个点与位置检测系统的坐标系中的坐标具有已知空间关系，所以可以在该坐标系中确定所记录的路径。由此，可以在位置检测系统10的坐标系中确定图像传感器单元16’已捕获图像的捕获位置。在将图像传感器单元的入射光瞳的位置校准到运动传感器206的位置之后，由图像传感器单元16’在表面模型的坐标系中以摄影测量生成的表面模型的坐标可变换到位置检测系统10的坐标系中。
在图4中，示出了图像传感器单元16，其包括运动传感器14’和额外位置传感器14”，以用于检测位置检测系统10的坐标系中的位置和取向。另一可选的位置传感器14附接到头部12，将确定头部相对于位置检测系统10的位置和取向。如果捕获了头部12的图像，则该图像将显示另一位置传感器14和头部。当以摄影测量生成头部12的表面模型时，位置传感器14可以在表面模型的坐标系中被识别，并且可用于将表面模型的点链接到位置检测系统10的坐标系。
只要图像传感器单元16在位置检测系统10的工作空间内移动，就可以通过检测附接到图像传感器单元16的位置传感器14”的位置和取向直接确定位置检测系统10的坐标系内的位置和取向。然而，如果图像传感器单元16在位置检测系统10的工作空间之外移动，则不可以再通过检测位置传感器14”来确定图像传感器10相对于位置检测系统10的位置和取向。
然而，在离开位置检测系统10的工作空间时，仍可通过处理由运动传感器14’提供的运动传感器信号来确定捕获头部12的图像的捕获位置。由此，可记录图像传感器单元16移动所沿的路径。至少一个点必须与位置检测系统10的坐标系中的坐标有关，以便能够确定捕获位置在位置检测系统10的坐标系中的坐标。然后，可以在位置检测系统10的坐标系中确定捕获位置，即在捕获图像时入射光瞳相对于对象的位置。通过校准，从头部12的图像以摄影测量生成的表面模型上的点可以与运动传感器和/或位置传感器的坐标系中的坐标有关。在确定例如位置传感器的坐标系相对于位置检测系统10的坐标系的位置和取向之后，表面模型的坐标系可以与位置检测系统10的坐标系对准。这独立于图像传感器单元是否在位置检测系统10的工作空间内移动而工作。
在图5中，示出了安装到图像传感器单元保持器11的图像传感器单元16”，该图像传感器单元保持器固定到位置检测系统10。与关于图1到图4描述的实施例相反，图像传感器单元16”未配备运动传感器或位置传感器。然而，运动传感器或位置传感器中的至少一者可任选地组成图像传感器单元16”。如果图像传感器单元保持器11可以相对于位置检测系统移动，例如类似于枢转臂，使得捕获位置相对于位置检测系统不是固定的，则这可以是有利的。
如果图像传感器单元保持器11刚性地固定到位置检测系统10，例如电磁位置检测系统的场发生器，则可能足以将图像传感器单元10的捕获位置一次校准到位置检测系统10，使得捕获位置10在位置检测系统10的坐标系中是已知的。
图像传感器单元16”可以是单相机、飞行时间传感器(TOF传感器)或基于固定已知基部的2个或更多个相机的相机组件，即立体相机。
图像传感器单元16”包括用于在患者头部上投射图案22的图案投影仪(未示出)。将图案22投射到头部12的表面上可产生增强的表面图像记录。
此外，位置传感器14附接到患者头部12。当捕获头部的图像时，该位置传感器也将在该图像中可见。位置传感器14将和头部12一起从图像以摄影测量生成，并且因此也可以用于将表面模型上的点与位置检测系统10的坐标系链接。
在图6中，示出了刚性地固定到电磁位置检测系统的场发生器10的图像传感器单元16”’。图像传感器单元16”’和场发生器10的固定装置安装到图像传感器单元保持器11’。在不同的实施例(未示出)中，图像传感器单元和场发生器的固定装置不安装到图像传感器单元保持器，但可以例如由用户手动自由地移动。
在所示实施例中，图像传感器单元保持器11’相对于头部12定位，将确定头部相对于位置检测系统10的位置和取向。图像传感器单元保持器11’可以安装在固定位置处，或者可以相对于头部12可移动。例如，图像传感器单元保持器11’可以实施为枢转臂。
有利地，如果场发生器10和图像传感器单元16”’组合在固定装置中，则可以在不使用运动传感器和/或位置传感器的情况下，确定图像传感器单元16”’在由场发生器10跨越的位置检测系统的坐标系中的位置和取向。当图像传感器单元刚性地固定到场发生器时，不需要使用运动传感器和/或位置传感器来确定对象相对于位置检测系统的位置和取向。
特别地，也不需要相对于在所捕获的图像中可见的对象布置位置传感器，以便使得能够将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
实际上，在固定装置中，场发生器10本身可被视为图像传感器单元16”’可被校准到的某种位置传感器。在校准到场发生器10之后，图像传感器单元相对于位置检测系统的位置和取向(例如，入射光瞳的位置)是已知的。基于图像传感器单元与场发生器之间的已知空间关系，可以直接将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
例如，可以通过校准来确定用于图像传感器单元16”’(更确切地说，图像传感器单元16”’的相机的入射光瞳)与场发生器之间的变换的变换函数。使用这些变换函数，可以将图像传感器单元16”’的相机的坐标系中限定的以摄影测量生成的表面模型的坐标变换成位置检测系统的坐标系中的表示表面模型的坐标。
图像传感器单元16”’优选地包括3-D相机，并且可任选地配备有运动传感器和/或位置传感器。
可选的位置传感器14附接到头部12，所述可选的位置传感器优选地在已由图像传感器单元16”’捕获的头部12的图像中可见。通过确定该位置传感器在场发生器10所跨越的位置检测系统的坐标系中的位置和取向，可以将从也显示位置传感器14的所捕获的图像以摄影测量生成的头部12的表面模型的坐标系中的点分配给位置检测系统的坐标系中的坐标。
在图7中，示出了表示根据替代实施例的配准方法的流程图。
用于确定对象相对于电磁位置检测系统的位置和取向的替代配准方法，其中所述方法包括以下步骤
A1：提供刚性地固定到电磁位置检测系统的场发生器的图像传感器单元，
A2：通过校准，确定用于表面模型的坐标系与电磁位置检测系统的坐标系之间的变换的变换函数，
A3：从所捕获的图像中以摄影测量生成对象的表面模型，
A4：用所述图像传感器单元捕获对象的表面的图像，
A5：将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
图8示意性地显现了在图像传感器单元802包括位置传感器804的情况下可以如何确定对象相对于位置检测系统800的位置和取向。
在捕获位置(即，当捕获图像时入射光瞳的位置)处，捕获对象的图像，并且从所捕获的图像以摄影测量生成对象的表面模型806。
位置传感器804的位置和取向在位置检测系统800的坐标系中是已知的。
然而，位置传感器804的坐标系和图像传感器单元802的坐标系具有偏移。图像传感器单元802的坐标系优选地被限定为使得坐标系的原点在图像传感器单元802的入射光瞳808的位置处。可以通过校准来确定偏移。这可包括确定用于位置传感器804的坐标系与图像传感器单元802的坐标系之间的变换的变换函数。考虑到偏移，图像传感器单元802的坐标系中的坐标可变换到位置检测系统800的坐标系中，使得可确定对象806相对于位置检测系统800的位置和取向。
图9示意性地显现了在图像传感器单元902仅包括运动传感器904且不包括位置传感器的情况下如何可以确定对象相对于位置检测系统900的位置和取向。
运动传感器904的位置和取向不能由位置检测系统900确定。然而，运动传感器904可以提供运动传感器信号，该运动传感器信号可以被处理以用于记录图像传感器单元902已从捕获位置移动或移动到捕获位置所沿的路径。为了确定位置检测系统的坐标系中的路径的位置和取向(并且因此确定已捕获对象906的图像的捕获位置)，需要建立路径上的至少一个点与在位置检测系统900的坐标系中已知坐标的位置908之间的已知空间关系。
这可以通过将图像传感器单元902从捕获位置移动到该已知位置908或反之亦然，使得已知位置908是路径的起点或终点来完成。因此，路径的起点或终点在位置检测系统的坐标系中具有已知坐标。因此，可以通过使用路径的起点或终点的坐标在运动传感器的坐标系和位置检测系统的坐标系两者中是已知的，来将最初地在运动传感器的坐标系中限定的此路径的坐标变换成位置检测系统900的坐标。因此，捕获位置在图像传感器单元902的坐标系中的坐标可以变换成位置检测系统的坐标系中的坐标。
运动传感器904的坐标系与图像传感器单元902的坐标系具有偏移，所述图像传感器单元的坐标系的原点优选地在图像传感器单元902的入射光瞳910的位置处。为了确定图像传感器单元的坐标系的原点在位置检测系统900的坐标系中的坐标，必须例如通过校准来确定此偏移。通过校准，可以确定变换函数，该变换函数用于将图像传感器单元902的坐标系中的坐标变换到运动传感器904的坐标系中。如果确定了此变换函数，则考虑到如此确定的变换函数，图像传感器单元902的坐标系中的坐标可变换到位置检测系统900的坐标系中。

Claims (33)

1.一种用于确定对象相对于位置检测系统的位置和取向的配准方法，其中所述方法包括以下步骤
-利用包括至少一个运动传感器和/或至少一个位置传感器的图像传感器单元捕获对象的表面的图像，
-通过处理由所述运动传感器提供的运动传感器信号和/或由所述位置传感器提供的位置信号来确定所述图像传感器单元的捕获位置，
-从所捕获的图像以摄影测量生成所述对象的表面模型，以及
-将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
2.根据权利要求1所述的方法，包括以下步骤
-提供至少一个图像传感器单元，所述至少一个图像传感器单元包括用于独立于所述位置检测系统检测随时间推移的线性加速度和/或转速的至少一个运动传感器。
3.根据权利要求2所述的方法，其中确定所述图像传感器单元的捕获位置的步骤包括以下子步骤
-相对于所述位置检测系统沿着空间路径移动所述图像传感器单元，
-通过处理由运动传感器提供的运动传感器信号来记录所述图像传感器单元的所述路径，
-将所述确定的路径的至少一个点与所述位置检测系统的坐标系中的坐标相关.以及
-基于所述确定的路径以及所述确定的路径上的至少一个点与所述坐标的已知空间关系确定所述图像传感器单元的捕获位置。
4.根据权利要求3所述的方法，其中所述图像传感器单元沿着所述路径从所述位置检测系统的坐标系中的已知位置移动或移动到所述位置检测系统的坐标系中的已知位置，以在所述位置检测系统的坐标系中的已知位置与所述确定的路径的至少一个点之间建立空间关系。
5.根据权利要求1至4中至少一项所述的方法，其中将所述以摄像测量生成的表面模型变换到位置检测系统的坐标系中的步骤包括以下子步骤
-通过校准，将所生成的表面模型的至少一个点与所述运动传感器和/或位置传感器的坐标系中的坐标相关。
6.根据权利要求5所述的方法，包括
-通过校准确定变换函数，所述变换函数用于所述运动传感器的坐标系和/或位置传感器的坐标系与所述图像传感器单元的坐标系之间的坐标的变换，并且
-分别在所述运动传感器和/或所述位置传感器的坐标系中确定所述图像传感器单元的捕获位置的坐标。
7.根据权利要求6所述的方法，其中所述确定的变换函数用于将所述表面模型的坐标系中的表示所述以摄影测量生成的表面模型的坐标变换成所述位置检测系统的坐标系中的表示所述表面模型的坐标。
8.根据权利要求3或4所述的方法，其中
-所述图像传感器单元移动所沿的路径开始于所述位置检测系统的坐标系中的所述坐标处，并且结束于所述捕获位置处，并且所述图像传感器单元在所述图像被捕获之前沿着此路径移动，并且
-基于所记录的路径以及至少所述路径的起点和所述坐标的已知空间关系在所述位置检测系统的坐标系中确定所述捕获位置。
9.根据权利要求3或4所述的方法，其中
-所述图像传感器单元移动所沿的路径开始于所述捕获位置处，并且结束于所述位置检测系统的坐标系中的所述坐标处，并且所述图像传感器单元在所述图像已被捕获之后沿着此路径移动，并且
-基于所记录的路径以及至少所述路径的终点和所述坐标的已知空间关系在所述位置检测系统的坐标系中确定所述捕获位置。
10.根据权利要求1至9中至少一项所述的方法，包括在捕获图像时检测所述对象的移动，以及借助于位置传感器提供表示检测到的移动以及时间戳的移动信号，所述位置传感器用于检测布置在所述对象上的位置检测系统的坐标系中的位置和取向。
11.根据权利要求1至10中至少一项所述的方法，包括检测组成所述图像传感器单元的位置传感器在所述位置检测系统的坐标系中的位置和取向，并且从所确定的所述位置传感器的位置和取向，计算所述图像传感器单元在所述位置检测系统的坐标系中的位置和取向。
12.根据权利要求1至11中至少一项所述的方法，包括：捕获所述对象以及相对于所述对象定位的参考位置传感器的图像，所述参考位置传感器用于检测布置在所述对象上的位置检测系统的坐标系中的位置和取向；以及从所捕获的图像以摄影测量生成所述表面模型以及所述参考位置传感器，使得确定所述参考位置传感器在所述以摄影测量生成的表面模型的坐标系中的位置，同时根据所述位置检测系统的坐标系的坐标提供位置信息。
13.根据权利要求12所述的方法，包括在已将所述表面模型变换到所述位置检测系统的坐标系中之后，通过计算基于经处理的运动传感器信号和/或位置信号的所述确定的位置与所述参考位置传感器在所述位置检测系统的坐标系中的位置的偏差，使用所述位置信息来验证基于经处理的运动传感器信号和/或位置信号的所生成的表面模型在所述位置检测系统的坐标系中的确定的位置。
14.根据权利要求1至13中至少一项所述的方法，其中所述图像传感器单元包括单焦图像传感器，并且其中在移动所述单焦图像传感器时，分别在位于所述路径上的不同捕获位置处捕获所述对象的多个图像。
15.根据权利要求1至14中至少一项所述的方法，其中所述图像传感器单元包括光学立体相机或光学多相机或飞行时间相机。
16.根据权利要求1至15中至少一项所述的方法，包括在捕获所述图像时将所述图像传感器单元可检测的图案投射到所述对象的表面上。
17.根据权利要求16所述的方法，其中使用红外光投射所述图案，并且其中所述图像传感器单元包括用于检测所述图案的红外敏感图像传感器。
18.根据权利要求1至17中至少一项所述的方法，包括为每个所捕获的图像分配时间戳。
19.根据权利要求1至18中至少一项所述的方法，包括将表示所捕获的图像的图像数据从所述图像传感器单元流式传输到跟踪单元。
20.根据权利要求1至19中至少一项所述的方法，其中通过以摄影测量检测位于不同位置的多个位置传感器或可移动位置传感器来确定交变电磁场的畸变，所述可移动位置传感器在利用所述图像传感器单元捕获图像时移动，其中可通过所述位置检测系统直接确定所述位置传感器在所述位置检测系统的坐标系中的位置和取向。
21.一种用于确定对象相对于位置检测系统的位置和取向的配准装置，包括
-位置检测系统，所述位置检测系统被配置成确定位置传感器的位置和取向，
-至少一个图像传感器单元，所述至少一个图像传感器单元包括至少一个运动传感器，其中
-所述图像传感器单元被配置成捕获所述对象的图像并且从至少一个所捕获的图像以摄影测量生成所述对象的表面模型，并且
-所述运动传感器被配置成提供运动传感器信号，所述运动传感器信号表示随时间推移的移动的图像传感器单元相对于所述位置检测系统的位置序列，
-跟踪单元，所述跟踪单元被配置成
-通过处理由运动传感器提供的运动传感器信号来记录所述图像传感器单元的所述路径，
-位置确定单元，所述位置确定单元被配置成
-基于确定的路径以及所述确定的路径上的至少一个点与所述坐标的已知空间关系，确定所述图像传感器单元捕获所述对象的图像的捕获位置，
-将所述确定的路径的至少一个点与所述位置检测系统的坐标系中的坐标相关.以及
-通过校准将所生成的表面模型的位置与所述图像传感器单元的捕获位置相关.以及
-坐标变换单元，所述坐标变换单元被配置成
-将所生成的表面模型变换到所述位置检测系统的坐标系中。
22.根据权利要求21所述的装置，包括图案投影仪，所述图案投影仪连接到所述至少一个图像传感器单元或包括所述至少一个图像传感器单元，并且其中所述图案投影仪被配置成将图案投射到身体上。
23.根据权利要求21或22所述的装置，包括图像传感器单元保持器，所述图像传感器单元保持器包括被配置成在预定义和固定位置中可重复地接受所述图像传感器单元的形状拟合适配器，其中所述图像传感器保持器相对于所述位置检测系统的位置和取向可通过以下操作确定
-检测附接到所述图像传感器单元保持器的位置传感器的位置和取向，或者
-相对于所述位置检测系统固定所述图像传感器单元保持器。
24.一种用于确定对象相对于电磁位置检测系统的位置和取向的配准方法，其中所述方法包括以下步骤
-提供刚性地固定到电磁位置检测系统的场发生器的图像传感器单元，
-通过校准确定变换函数，所述变换函数用于表面模型的坐标系与所述电磁位置检测系统的坐标系之间的变换，
-利用所述图像传感器单元捕获对象的表面的图像，
-从所捕获的图像以摄影测量生成所述对象的表面模型，
-将以摄影测量生成的表面模型变换到位置检测系统的坐标系中。
25.根据权利要求24所述的配准方法，其中所述图像传感器单元包括运动传感器和/或位置传感器。
26.根据权利要求24或25所述的方法，其中所述图像传感器单元包括光学立体相机或光学多相机或飞行时间相机。
27.根据权利要求24至26中至少一项所述的方法，包括在捕获所述图像时将所述图像传感器单元可检测的图案投射到所述对象的表面上。
28.根据权利要求24至27中至少一项所述的方法，包括为每个所捕获的图像分配时间戳。
29.根据权利要求24至28中至少一项所述的方法，包括将表示所捕获的图像的图像数据从所述图像传感器单元流式传输到跟踪单元。
30.根据权利要求24至29中至少一项所述的方法，包括：捕获所述对象以及相对于所述对象定位的参考位置传感器的图像，所述参考位置传感器用于检测布置在所述对象上的位置检测系统的坐标系中的位置和取向；以及从所捕获的图像以摄影测量生成所述表面模型以及所述参考位置传感器，使得确定所述参考位置传感器在所述以摄影测量生成的表面模型的坐标系中的位置，同时根据所述位置检测系统的坐标系的坐标提供位置信息。
31.一种用于确定对象相对于位置检测系统的位置和取向的配准装置，包括
-电磁位置检测系统，所述电磁位置检测系统包括用于发射交变电磁场的场发生器，
-刚性地固定到所述场发生器的图像传感器单元，其中所述图像传感器单元被配置成捕获所述对象的图像并且从至少一个所捕获的图像以摄影测量生成所述对象的表面模型，以及
-校准单元，所述校准单元被配置成通过校准确定变换函数，所述变换函数用于表面模型的坐标系与所述电磁位置检测系统的坐标系之间的变换，以及
-坐标变换单元，所述坐标变换单元被配置成采用变换函数将所述表面模型的坐标系中的表示所述表面模型的坐标变换到所述位置检测系统的坐标系中。
32.根据权利要求31所述的装置，包括图案投影仪，所述图案投影仪连接到所述图像传感器单元或包括所述图像传感器单元，并且其中所述图案投影仪被配置成将图案投射到身体上。
33.根据权利要求31或32所述的配准方法，其中所述图像传感器单元包括运动传感器和/或位置传感器。
CN202080033285.2A 2019-04-03 2020-04-03 配准方法和装置 Pending CN113785329A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962828638P 2019-04-03 2019-04-03
US62/828,638 2019-04-03
PCT/EP2020/059643 WO2020201544A1 (en) 2019-04-03 2020-04-03 Registration method and setup

Publications (1)

Publication Number Publication Date
CN113785329A true CN113785329A (zh) 2021-12-10

Family

ID=66439843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033285.2A Pending CN113785329A (zh) 2019-04-03 2020-04-03 配准方法和装置

Country Status (11)

Country Link
US (2) US11430139B2 (zh)
EP (2) EP3719749A1 (zh)
JP (1) JP2022528202A (zh)
KR (1) KR20210148289A (zh)
CN (1) CN113785329A (zh)
AU (1) AU2020255292A1 (zh)
CA (1) CA3135928A1 (zh)
EA (1) EA202192705A1 (zh)
IL (1) IL286895A (zh)
SG (1) SG11202110673VA (zh)
WO (1) WO2020201544A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114652389A (zh) * 2022-03-15 2022-06-24 郁昌昇 一种带有自动校准功能的股动脉压迫止血器

Family Cites Families (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905698A (en) 1988-09-13 1990-03-06 Pharmacia Deltec Inc. Method and apparatus for catheter location determination
US5964759A (en) 1992-10-27 1999-10-12 Ortho Development Corporation Electroconvergent cautery system
US5840024A (en) 1993-10-18 1998-11-24 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
US5554155A (en) 1994-06-03 1996-09-10 Johns Hopkins University Fiber optic pick manipulator
DE4423876C1 (de) 1994-07-07 1995-07-06 Kernforschungsz Karlsruhe Verfahren zur Herstellung einer Mikrospule unter Vermeidung der Drahtwicklungstechnik
ATE253864T1 (de) 1994-08-19 2003-11-15 Biosense Inc Medizinisches diagnose-, behandlungs- und darstellungssystem
ATE252349T1 (de) 1994-09-15 2003-11-15 Visualization Technology Inc System zur positionserfassung mittels einer an einem patientenkopf angebrachten referenzeinheit zur anwendung im medizinischen gebiet
WO1996008209A2 (en) 1994-09-15 1996-03-21 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications using a reference unit secured to a patient's head
US5586989A (en) 1995-01-27 1996-12-24 Bray, Jr.; Robert Microsurgical curette
US5971997A (en) 1995-02-03 1999-10-26 Radionics, Inc. Intraoperative recalibration apparatus for stereotactic navigators
GB9515311D0 (en) 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
US5944023A (en) 1995-12-07 1999-08-31 Sims Deltec, Inc. Systems and methods for determining the location of an implanted device including a magnet
ES2236791T3 (es) 1996-02-15 2005-07-16 Biosense Webster, Inc. Procedimiento de calibracion de una sonda.
WO1997029685A1 (en) 1996-02-15 1997-08-21 Biosense, Inc. Independently positionable transducers for location system
DE19641720C2 (de) 1996-10-10 2002-01-24 Mahr Gmbh Tastkopf mit elektronischer Führung
US8083745B2 (en) 2001-05-25 2011-12-27 Conformis, Inc. Surgical tools for arthroplasty
US6248074B1 (en) 1997-09-30 2001-06-19 Olympus Optical Co., Ltd. Ultrasonic diagnosis system in which periphery of magnetic sensor included in distal part of ultrasonic endoscope is made of non-conductive material
US6011987A (en) 1997-12-08 2000-01-04 The Cleveland Clinic Foundation Fiducial positioning cup
US6073043A (en) 1997-12-22 2000-06-06 Cormedica Corporation Measuring position and orientation using magnetic fields
US6052610A (en) 1998-01-09 2000-04-18 International Business Machines Corporation Magnetic catheter tracker and method therefor
IL138369A (en) 1998-03-30 2005-09-25 Bioesence Inc Three-axis coil sensor
US6432041B1 (en) 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
US6370420B1 (en) 1998-11-17 2002-04-09 Mark Kraft System and method for objectively verifying an internal disc disruption
US6611141B1 (en) 1998-12-23 2003-08-26 Howmedica Leibinger Inc Hybrid 3-D probe tracked by multiple sensors
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6301495B1 (en) 1999-04-27 2001-10-09 International Business Machines Corporation System and method for intra-operative, image-based, interactive verification of a pre-operative surgical plan
US6415171B1 (en) 1999-07-16 2002-07-02 International Business Machines Corporation System and method for fusing three-dimensional shape data on distorted images without correcting for distortion
JP3608448B2 (ja) 1999-08-31 2005-01-12 株式会社日立製作所 治療装置
DE19944981B4 (de) 1999-09-20 2005-09-29 Siemens Ag Bildgebende Diagnostikeinrichtung mit einer Vorrichtung zur geometrischen Korrektur von Bildern
US6661571B1 (en) 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
US6499488B1 (en) 1999-10-28 2002-12-31 Winchester Development Associates Surgical sensor
US6381485B1 (en) 1999-10-28 2002-04-30 Surgical Navigation Technologies, Inc. Registration of human anatomy integrated for electromagnetic localization
US7366562B2 (en) 2003-10-17 2008-04-29 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US6235038B1 (en) 1999-10-28 2001-05-22 Medtronic Surgical Navigation Technologies System for translation of electromagnetic and optical localization systems
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US20010034530A1 (en) 2000-01-27 2001-10-25 Malackowski Donald W. Surgery system
US6484049B1 (en) 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
WO2002035454A1 (en) 2000-09-25 2002-05-02 Z-Kat, Inc. Fluoroscopic registration artifact with optical and/or magnetic markers
US8253779B2 (en) 2000-10-11 2012-08-28 University of Pittsbugh—Of The Commonwealth System of Higher Education System for remote guidance by expert for imaging device
AU2001210146A1 (en) 2000-11-03 2002-05-15 Synthes Ag, Chur Determination of deformation of surgical tools
FR2816200A1 (fr) 2000-11-06 2002-05-10 Praxim Determination de la position d'une prothese du genou
US6690960B2 (en) 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7043961B2 (en) 2001-01-30 2006-05-16 Z-Kat, Inc. Tool calibrator and tracker system
DE50214535D1 (de) 2001-03-26 2010-08-26 All Of Innovation Ges Mit Besc Verfahren und gerätesystem zum materialabtrag oder zur materialbearbeitung
US20030040670A1 (en) 2001-06-15 2003-02-27 Assaf Govari Method for measuring temperature and of adjusting for temperature sensitivity with a medical device having a position sensor
US6584339B2 (en) 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
EP1302172B1 (de) 2001-10-10 2008-03-05 BrainLAB AG Medizinisches Instrument mit berührungsempfindlicher Spitze
US7474327B2 (en) 2002-02-12 2009-01-06 Given Imaging Ltd. System and method for displaying an image stream
DE10306793A1 (de) 2002-05-21 2003-12-04 Plus Endoprothetik Ag Rotkreuz Anordnung und Verfahren zur intraoperativen Festlegung der Lage eines Gelenkersatzimplantats
DE10225518B4 (de) 2002-06-10 2004-07-08 Rayonex Schwingungstechnik Gmbh Verfahren und Vorrichtung zur Steuerung und Positionsbestimmung eines Instruments oder Gerätes
DE20220584U1 (de) 2002-06-15 2004-04-01 Joimax Gmbh Vorrichtung zur Visualisierung und Datenarchivierung
US20040044295A1 (en) 2002-08-19 2004-03-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
US7166114B2 (en) 2002-09-18 2007-01-23 Stryker Leibinger Gmbh & Co Kg Method and system for calibrating a surgical tool and adapter thereof
ATE424776T1 (de) 2002-10-04 2009-03-15 Orthosoft Inc Computergestützte hüftersatz chirurgie
JP2004215992A (ja) 2003-01-16 2004-08-05 Uchihashi Estec Co Ltd 体腔内への医療用挿入具の位置及び姿勢検出装置並びにその検出方法
US20040199072A1 (en) 2003-04-01 2004-10-07 Stacy Sprouse Integrated electromagnetic navigation and patient positioning device
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
CA2523727A1 (en) 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
US20050020909A1 (en) 2003-07-10 2005-01-27 Moctezuma De La Barrera Jose Luis Display device for surgery and method for using the same
WO2005009220A2 (en) 2003-07-21 2005-02-03 Johns Hopkins University Registration of ultrasound to fluoroscopy for real time optimization of radiation implant procedures
US7321228B2 (en) 2003-07-31 2008-01-22 Biosense Webster, Inc. Detection of metal disturbance in a magnetic tracking system
US20050054895A1 (en) 2003-09-09 2005-03-10 Hoeg Hans David Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US7764985B2 (en) 2003-10-20 2010-07-27 Smith & Nephew, Inc. Surgical navigation system component fault interfaces and related processes
JP2007531553A (ja) 2003-10-21 2007-11-08 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ 術中ターゲティングのシステムおよび方法
US20050085717A1 (en) 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
US20050107687A1 (en) 2003-11-14 2005-05-19 Anderson Peter T. System and method for distortion reduction in an electromagnetic tracker
EP1690497B1 (en) 2003-12-02 2017-02-22 Olympus Corporation Ultrasonographic device
DE102004058272A1 (de) 2003-12-08 2005-06-30 Rayonex Schwingungstechnik Gmbh Instrument und Verfahren zum Lokalisieren eines Instruments
US20050187562A1 (en) 2004-02-03 2005-08-25 Grimm James E. Orthopaedic component inserter for use with a surgical navigation system
EP1718202B1 (en) 2004-02-18 2012-08-01 Philips Intellectual Property & Standards GmbH Device and method for the determination of the position of a catheter in a vascular system
JP4698966B2 (ja) 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US20050228270A1 (en) 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
DE102004017834B4 (de) 2004-04-13 2011-01-27 Siemens Ag Kathetereinrichtung
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
JP4460973B2 (ja) 2004-08-05 2010-05-12 株式会社東芝 画像処理装置
US7702379B2 (en) 2004-08-25 2010-04-20 General Electric Company System and method for hybrid tracking in surgical navigation
US7373271B1 (en) 2004-09-20 2008-05-13 Ascension Technology Corporation System and method for measuring position and orientation using distortion-compensated magnetic fields
JP2006122086A (ja) 2004-10-26 2006-05-18 Hitachi Ltd 生体光計測装置
US7805269B2 (en) 2004-11-12 2010-09-28 Philips Electronics Ltd Device and method for ensuring the accuracy of a tracking device in a volume
US20060264749A1 (en) 2004-11-24 2006-11-23 Weiner Allison L Adaptable user interface for diagnostic imaging
US20060161059A1 (en) 2005-01-20 2006-07-20 Zimmer Technology, Inc. Variable geometry reference array
US20060241397A1 (en) 2005-02-22 2006-10-26 Assaf Govari Reference pad for position sensing
US7775215B2 (en) 2005-02-24 2010-08-17 Ethicon Endo-Surgery, Inc. System and method for determining implanted device positioning and obtaining pressure data
EP1861035A1 (en) 2005-03-11 2007-12-05 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
WO2007011306A2 (en) 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
GB0505782D0 (en) 2005-03-22 2005-04-27 Depuy Int Ltd Surgical guide
WO2006106335A1 (en) 2005-04-06 2006-10-12 Depuy International Ltd Registration system and method
EP2474268B1 (en) 2005-05-06 2013-07-10 Vasonova, Inc. Apparatus for endovascular device guiding and positioning
US20060271056A1 (en) 2005-05-10 2006-11-30 Smith & Nephew, Inc. System and method for modular navigated osteotome
EP1919389A2 (de) 2005-06-09 2008-05-14 IFE Industrielle Forschung und Entwicklung GmbH Vorrichtung zum berührungslosen ermitteln und vermessen einer raumposition und/oder einer raumorientierung von körpern
WO2007014470A2 (en) 2005-08-01 2007-02-08 Resonant Medical Inc. System and method for detecting drifts in calibrated tracking systems
EP1919390B1 (en) 2005-08-05 2012-12-19 DePuy Orthopädie GmbH Computer assisted surgery system
EP1931237A2 (en) 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US7835784B2 (en) 2005-09-21 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for positioning a reference frame
JP4781764B2 (ja) 2005-09-29 2011-09-28 富士フイルム株式会社 電子内視鏡システム
US20090234329A1 (en) 2005-10-17 2009-09-17 Kaneka Corporation Medical Catheter Tubes and Process for Production Thereof
US20070106114A1 (en) 2005-11-09 2007-05-10 Pentax Corporation Endoscope-shape monitoring system
US20070111726A1 (en) 2005-11-15 2007-05-17 Sony Ericsson Mobile Communications Ab User profiles for mobile terminals
US20090216113A1 (en) 2005-11-17 2009-08-27 Eric Meier Apparatus and Methods for Using an Electromagnetic Transponder in Orthopedic Procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102006003610B4 (de) 2006-01-25 2012-06-06 Siemens Ag Vorrichtung für die interventionelle Therapie
US8251998B2 (en) 2006-08-16 2012-08-28 Biomet Sports Medicine, Llc Chondral defect repair
WO2007115825A1 (en) 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
WO2007129309A1 (en) 2006-05-02 2007-11-15 Galil Medical Ltd. Probe insertion guide with user-directing features
DE102006026752B4 (de) 2006-06-08 2009-04-16 Siemens Ag Verfahren und Vorrichtung zur Durchführung des Verfahrens zur Registrierung von funktionellen MR-Bilddaten mit Röntgendurchleuchtung
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US20080021317A1 (en) 2006-07-24 2008-01-24 Siemens Medical Solutions Usa, Inc. Ultrasound medical imaging with robotic assistance for volume imaging
US8442619B2 (en) 2006-08-30 2013-05-14 General Electric Company System and method for detecting errors in position tracking systems used for medical applications
EP2063802B1 (en) 2006-09-08 2019-03-13 Medtronic, Inc. System for navigating a planned procedure within a body
DE502006007177D1 (de) 2006-09-15 2010-07-22 Brainlab Ag Vorrichtung und Verfahren zum Messen geometrischer Eigenschaften medizintechnischer Behandlungsvorrichtungen, insbesondere zur automatischen Verifikation, Kalibrierung und Vermessung von Instrumenten für computerassistierte Chirurgie
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
EP1915962B1 (de) 2006-10-26 2008-12-03 BrainLAB AG Integriertes medizinisches Trackingsystem
DE502006005876D1 (de) 2006-11-06 2010-02-25 Brainlab Ag Längenbestimmung eines flexiblen, langen Instruments
US8214016B2 (en) 2006-12-12 2012-07-03 Perception Raisonnement Action En Medecine System and method for determining an optimal type and position of an implant
WO2008076079A1 (en) 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8067726B2 (en) 2007-02-26 2011-11-29 General Electric Company Universal instrument calibration system and method of use
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
DE102007012361B4 (de) 2007-03-14 2016-09-22 Siemens Healthcare Gmbh Verfahren zur Positionsbestimmung eines medizinischen Instruments und Positionsbestimmungsvorrichtung
US8821511B2 (en) 2007-03-15 2014-09-02 General Electric Company Instrument guide for use with a surgical navigation system
DE202007004507U1 (de) 2007-03-21 2007-06-14 Aesculap Ag & Co. Kg Chirurgische Referenzierungseinheit, Haltevorrichtung für eine chirurgische Referenzierungseinheit und chirurgisches Navigationssystem
US9289270B2 (en) 2007-04-24 2016-03-22 Medtronic, Inc. Method and apparatus for performing a navigated procedure
DE102007019827A1 (de) 2007-04-26 2008-11-06 Siemens Ag System und Verfahren zur Ermittlung der Position eines Instruments
US7909767B2 (en) 2007-05-16 2011-03-22 General Electric Company Method for minimizing tracking system interference
JP2009045428A (ja) 2007-07-25 2009-03-05 Terumo Corp 操作機構、医療用マニピュレータ及び手術用ロボットシステム
US20090069671A1 (en) 2007-09-10 2009-03-12 General Electric Company Electric Motor Tracking System and Method
US8485038B2 (en) 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
JP5154961B2 (ja) 2008-01-29 2013-02-27 テルモ株式会社 手術システム
US7937163B2 (en) 2008-03-04 2011-05-03 Olympus Medical Systems Corp. Medical control device and its system
US20110178389A1 (en) 2008-05-02 2011-07-21 Eigen, Inc. Fused image moldalities guidance
CN101347331B (zh) 2008-06-06 2011-09-07 微创医疗器械(上海)有限公司 一种模拟导管弯曲形态的方法及磁感应导管
US20090306499A1 (en) 2008-06-09 2009-12-10 Mako Surgical Corp. Self-detecting kinematic clamp assembly
WO2009150564A2 (en) 2008-06-13 2009-12-17 Koninklijke Philips Electronics, N.V. Multimodal imaging fiducial marker
US8926528B2 (en) 2008-08-06 2015-01-06 Biosense Webster, Inc. Single-axis sensors on flexible backbone
EP2455038B1 (de) 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
JPWO2010050555A1 (ja) 2008-10-31 2012-03-29 オリンパスメディカルシステムズ株式会社 超音波観測装置
US8478379B2 (en) 2008-11-12 2013-07-02 Biosense Webster, Inc. Probe visualization based on mechanical properties
DE102008058132A1 (de) 2008-11-14 2010-05-20 opTricon GmbH Entwicklungsesellschaft für optische Technologien Gerät und Verfahren zur Auswertung und Bewertung eines Teststreifens
DE102008057744A1 (de) 2008-11-17 2010-05-20 Charité-Universitätsmedizin Berlin Verfahren zum Erzeugen von Bilddaten für eine Darstellung eines Instrumentes
DE102008062754B4 (de) 2008-12-17 2011-02-24 Rayonex Schwingungstechnik Gmbh Verfahren und System zur Übertragung von Daten von einem Gerät zu einer Empfangseinheit
US20110270083A1 (en) 2008-12-30 2011-11-03 Koninklijke Philips Electronics N.V. System and method for dynamic metal distortion compensation for electromagnetic tracking systems
JP5667988B2 (ja) 2009-01-05 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ 電磁追跡システムの動的金属歪補償のためのシステム及び方法
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US9700210B2 (en) 2009-03-02 2017-07-11 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
DE102009011643A1 (de) 2009-03-04 2010-09-16 Siemens Aktiengesellschaft Verfahren und Programmprodukt für ein Erstellen von medizinischen Befunden anhand von medizinischen Bilddaten
US9737235B2 (en) 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
US8504139B2 (en) 2009-03-10 2013-08-06 Medtronic Xomed, Inc. Navigating a surgical instrument
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
JP2012523944A (ja) 2009-04-20 2012-10-11 エンビジョニア メディカル テクノロジーズ インコーポレイテッド 撮像システム
US9031637B2 (en) 2009-04-27 2015-05-12 Smith & Nephew, Inc. Targeting an orthopaedic implant landmark
DE102009021705A1 (de) 2009-05-18 2010-11-25 Dirk Mucha Verfahren zum Erzeugen von Positionsdaten eines Instrumentes
EP2258264B1 (de) 2009-06-03 2011-12-21 BrainLAB AG Expressregistrierung von Körperregionen
EP2258283B1 (de) 2009-06-05 2013-08-28 BrainLAB AG Werkzeugaufsatz für medizintechnische Anwendungen
DE102009030731A1 (de) 2009-06-26 2010-12-30 Fiagon Gmbh Verfahren zum Erzeugen von Positionsdaten eines Instrumentes
JP5377153B2 (ja) 2009-08-18 2013-12-25 株式会社東芝 画像処理装置、画像処理プログラムおよび医用診断システム
TW201106917A (en) 2009-08-26 2011-03-01 Accumis Inc Surgical tool calibrating device having electronic sensing moudle
EP2470102B1 (en) 2009-08-27 2016-07-20 Brainlab AG Disposable and radiolucent reference array for optical tracking
DE102009040430B4 (de) 2009-09-07 2013-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
US20110066029A1 (en) 2009-09-11 2011-03-17 Medtronic, Inc. Electromagnetic Medical Device
US20110118557A1 (en) 2009-11-18 2011-05-19 Nellcor Purifan Bennett LLC Intelligent User Interface For Medical Monitors
US8600480B2 (en) 2009-12-31 2013-12-03 Mediguide Ltd. System and method for assessing interference to a signal caused by a magnetic field
JP5380348B2 (ja) 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US9098899B2 (en) 2010-05-27 2015-08-04 Koninklijke Philips N.V. Determining the specific orientation of an object
DE102010027535A1 (de) 2010-07-16 2012-01-19 Fiagon Gmbh Verfahren zur Überprüfung von Positionsdaten eines Instrumentes
US9641808B2 (en) 2010-10-28 2017-05-02 Fiagon Gmbh Navigating attachment for optical devices in medicine, and method
CN103402450A (zh) 2010-12-17 2013-11-20 阿韦尼尔医药公司 用于在外科手术中对准假体的方法及系统
DE102010064389B4 (de) 2010-12-30 2017-02-02 Siemens Healthcare Gmbh Halter zur Aufnahme eines länglichen medizinischen Instruments
AU2012214166A1 (en) 2011-02-10 2013-09-12 Actuated Medical, Inc. Medical tool with electromechanical control and feedback
WO2012109760A1 (en) 2011-02-18 2012-08-23 Traumis Surgical Systems Inc. Tool with integrated navigation and guidance system and related apparatus and methods
ITTO20110394A1 (it) 2011-05-05 2012-11-06 Univ Pisa Catetere munito di sensori elettromagnetici di posizione, e sistema di localizzazione per cateteri e fili guida
JP2014520637A (ja) 2011-07-14 2014-08-25 プレシジョン スルー イメージング インコーポレイテッド 磁気センサを使用する歯科用の移植システム及び方法
US9918797B2 (en) 2011-07-28 2018-03-20 Brainlab Ag Patient positioning system with an electromagnetic field generator of an electromagnetic tracking system
EP3656317A1 (en) 2011-09-02 2020-05-27 Stryker Corporation Surgical system including an instrument and method for using the instrument
DE102011119073A1 (de) 2011-11-15 2013-05-16 Fiagon Gmbh Registrierverfahren, Positionserfassungssystem und Abtastinstrument
US8920368B2 (en) 2011-12-22 2014-12-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Multi-user touch-based control of a remote catheter guidance system (RCGS)
US20150031989A1 (en) 2012-01-20 2015-01-29 Civco Medican Instruments Co., Inc. Indicator guide for improved instrument navigation in image-guided medical procedures
DE102012205165A1 (de) 2012-03-29 2013-10-02 Fiagon Gmbh Medizinisches System mit einer Lageerfassungseinrichtung zum Erfassen der Position und Orientierung eines Instruments
DE102012208389A1 (de) 2012-05-18 2013-11-21 Fiagon Gmbh Registrierverfahren und -vorrichtung für ein Positionserfassungssystem
US20190038366A1 (en) 2012-06-21 2019-02-07 Globus Medical, Inc. Surgical robotic automation with tracking markers
US9629523B2 (en) 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
EP4309613A3 (en) 2013-01-16 2024-03-06 Stryker Corporation Navigation systems for indicating line-of-sight errors
US9854991B2 (en) 2013-03-15 2018-01-02 Medtronic Navigation, Inc. Integrated navigation array
DE102013209158A1 (de) 2013-05-16 2014-11-20 Fiagon Gmbh Verfahren zum Einbinden mittels eines bildgebenden Verfahrens gewonnener Daten
JP6117922B2 (ja) 2013-06-13 2017-04-19 テルモ株式会社 医療用マニピュレータおよびその作動方法
DE102013214067A1 (de) 2013-07-17 2015-01-22 Fiagon Gmbh Vorrichtung und Verfahren zur Anbindung eines medizinischen Instruments an ein Lageerfassungssystem
DE102013217328A1 (de) 2013-08-30 2015-03-05 Fiagon Gmbh Verfahren und Vorrichtung zum Navigieren von aktiven chirurgischen Instrumenten
DE102013221026A1 (de) 2013-10-16 2015-04-16 Fiagon Gmbh Feldgenerator und Lageerfassungssystem
DE102013222230A1 (de) 2013-10-31 2015-04-30 Fiagon Gmbh Chirurgisches Instrument
BR112016012548B1 (pt) 2013-12-04 2022-04-05 Obalon Therapeutics, Inc Sistema eletromagnético para localizar dispositivo intragástrico inflável dentro do corpo
US20180021092A2 (en) 2014-02-05 2018-01-25 Brainlab Ag Identification and calibration method
DE102014207274A1 (de) 2014-04-15 2015-10-15 Fiagon Gmbh Navigationsunterstützungssystem für medizinische Instrumente
EP3160369A4 (en) 2014-06-25 2018-04-18 Canary Medical Inc. Devices, systems and methods for using and monitoring spinal implants
US20160310041A1 (en) 2015-04-22 2016-10-27 Acclarent, Inc. Guidewire with navigation sensor
WO2017100180A1 (en) 2015-12-10 2017-06-15 Stryker Corporation Tracking devices for use in navigation systems and methods for manufacturing the same
EP3399900A4 (en) 2016-01-07 2019-10-16 Baylis Medical Company Inc. HYBRID TRANSSEPTAL DILATOR AND METHODS OF USE
EP4327769A2 (en) * 2016-03-12 2024-02-28 Philipp K. Lang Devices and methods for surgery
JP6493885B2 (ja) * 2016-03-15 2019-04-03 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
US11344268B2 (en) * 2017-09-29 2022-05-31 Medtronic Navigation, Inc. System and method for mobile imaging
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US20200237459A1 (en) 2019-01-25 2020-07-30 Biosense Webster (Israel) Ltd. Flexible multi-coil tracking sensor
EP4027931A1 (en) 2019-09-13 2022-07-20 Intersect ENT International GmbH Navigation unit and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114652389A (zh) * 2022-03-15 2022-06-24 郁昌昇 一种带有自动校准功能的股动脉压迫止血器

Also Published As

Publication number Publication date
WO2020201544A1 (en) 2020-10-08
AU2020255292A1 (en) 2021-10-28
US20220020161A1 (en) 2022-01-20
CA3135928A1 (en) 2020-10-08
US11430139B2 (en) 2022-08-30
EP3948783A1 (en) 2022-02-09
JP2022528202A (ja) 2022-06-08
KR20210148289A (ko) 2021-12-07
IL286895A (en) 2021-10-31
EP3719749A1 (en) 2020-10-07
US20220215562A1 (en) 2022-07-07
EA202192705A1 (ru) 2022-02-07
SG11202110673VA (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US10932689B2 (en) Model registration system and method
US10290154B1 (en) Stereo-based calibration apparatus
US9208561B2 (en) Registration method and registration device for a position detection system
CN104837436B (zh) 三维扫描中的运动补偿
JP2016516196A (ja) ６自由度において追跡される構造化光スキャナの補正
JP2014211404A (ja) モーションキャプチャー方法
US20210223397A1 (en) Three-dimensional surface scanning
JP2016527998A (ja) 光学追跡
CN104010587A (zh) 对追踪系统的术中质量监测
US8165839B2 (en) Calibration of an instrument location facility with an imaging apparatus
US20220215562A1 (en) Registration method and setup
US10846883B2 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
EP2700361A1 (en) Method for quickly and precisely calibrating medical imaging component after changing position
Cho et al. A Comparative Evaluation of a Single and Stereo Lighthouse Systems for 3-D Estimation
US20230149096A1 (en) Surface detection device with integrated reference feature and methods of use thereof
US20170339393A1 (en) Method for registering a patient coordinate system using an image data coordinate system
EP4212123A1 (en) Technique for determining a need for a re-registration of a patient tracker tracked by a camera system
US20220304634A1 (en) Method and Positioning System for Determining a Region to be Examined in a Subject
US20240024033A1 (en) Systems and methods for facilitating visual assessment of registration accuracy
US6853936B1 (en) Method and system for calibrating multiple cameras with potentially non-overlapping fields of view
KR20210096622A (ko) 이미징 장치를 위한 공간 등록 방법
JP2022049256A (ja) 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination