CN105659107B - 用于确定物体的姿态的方法和超声波设备 - Google Patents

Abstract

本发明涉及用于确定物体的姿态的方法以及用于超声波成像的超声波设备。该方法包括：提供包括至少一个视觉识别元件和取向传感器的物体，取向传感器用于确定物体的绝对取向和/或角速度；提供适于视觉追踪至少一个视觉识别元件的至少两个照相机，每个照相机具有视场并且在该方法期间保持静止，照相机限定照相机坐标系；在移动物体时获得至少两个照相机的视场的图像数据；在移动物体时获得由取向传感器提供的取向数据；关于照相机坐标系校准取向传感器；以及分析图像数据和取向数据，以确定物体在其移动期间的姿态。

Description

用于确定物体的姿态的方法和超声波设备

技术领域

本发明涉及一种用于确定物体的姿态的方法，优选地用于确定诸如超声探头的手持医疗装置的姿态的方法。

背景技术

在各种技术领域，在物体移动时准确地确定物体的姿态，即，三维取向和位置是非常重要的。例如，如果在获取数据的过程期间可以精确地确定超声探头的姿态，则可以改进超声成像期间获取的数据。已经提出借助于光学追踪来确定这样的超声探头的姿态。例如，US 2004/0100557 A1公开了用于使用例如三维视频追踪系统追踪从超声探头发射的超声束的位置和取向的方法。根据该已知的方法，待追踪的物体设置有由视频系统成像的特定标记元件。分析由视频系统拍摄的图像允许确定超声探头的三维位置和取向，只要这些标记是对系统可见。

然而，在借助于超声成像患者的过程期间，超声装置的用户常常必须执行复杂的移动，以正确地成像患者。在这些移动期间，超声探头上的一个或甚至大多数的标记元件可能被覆盖，例如，被用户的手，或者用户以另一种方式阻挡了两个照相机的视场。当标记对视频追踪系统不完全可见时，不能确定完整的姿态信息。在这样一段时间内拍摄的超声图像数据可能是差质量的或甚至是无用的。

发明内容

因此，本发明的目的是提供确定物体的姿态，尤其是超声探头的姿态的改进的方法，该方法解决上面讨论的问题。此目的用根据权利要求1的方法实现。从属权利要求中描述了优选实施方式。

因此，本发明涉及用于确定物体的姿态的方法，优选地确定诸如超声波探头的医疗设备的姿态的方法。根据所述方法，提供物体，优选地诸如超声波探头的医疗设备。物体包括至少一个视觉识别元件和用于确定物体的绝对取向和/或角速度的取向传感器。此外，提供至少两个照相机，所述至少两个照相机适合于视觉地追踪视觉识别元件，每个照相机具有视场并且在该方法期间保持静止。照相机限定照相机坐标系。

当移动物体时，获得至少两个照相机的视场的图像数据。同样，当移动物体时，获得由取向传感器提供的取向数据。由此，该方法提供了一个或多个给定的时间间隔或在若干个时间点处的图象数据和取向数据。当然，物体有时还可能静止。但是，本发明的方法特别地在物体的移动期间处理追踪物体。

该方法进一步包括相对于照相机坐标系校准取向传感器，这允许在一个相同的坐标系中，例如照相机坐标系中，将图像数据与取向数据进行比较。然后分析图像数据和取向数据，以确定物体在移动期间(包括可能的静止阶段)的姿态。物体的姿态由三维位置数据和三维取向数据组成。根据本发明，取决于可见的状态，物体的位置单独在图像数据或在图像数据和取向数据的结合的基础上确定。类似地，取决于识别元件的可见性，物体的取向单独在取向数据的基础上或在取向数据和/或图像数据的基础上确定。

特别地，当视觉识别元件的至少一部分对两个照相机都充分可见以允许确定物体的取向时，物体的取向在取向数据和/或图像数据的基础上确定。然而，即使没有视觉识别元件的一部分对两个照相机都充分可见以允许确定物体的取向，即当视觉识别元件不足以对两个照相机都可见以允许确定物体的取向时，物体的取向单独地在取向数据的基础上确定。由此，丢失的视觉信息由通过取向传感器收集的信息补充或替代。

类似地，当视觉识别元件的至少一部分对两个照相机都充分可见以允许确定物体的位置时，物体的位置单独在图像数据的基础上确定。然而，如果视觉识别元件的至少一部分对两个照相机都充分可见以允许识别所述部分和确定所述部分的位置，则该物体的位置在图像数据和取向数据的组合的基础上确定。

优选地，该方法进一步包括步骤：估计单独在取向数据的基础上确定物体的取向的准确性以及单独在图像数据的基础上确定物体的取向的准确性，并且使用提供较高准确性的过程。

优选地，在第一时间间隔期间，物体的位置在内插的基础上确定，即使没有视觉识别元件的一部分对两个照相机都充分可见，以允许识别所述部分和确定所述部分的位置。内插优选地基于立即地在第一时间间隔前确定的物体的位置和/或直接在第一时间间隔之后确定的物体的位置。此外，内插可以基于立即地在第一时间间隔之前确定的物体的速度和/ 或加速度和/或直接在第一时间间隔之后确定的物体的速度和/或加速度。

优选地，该方法进一步包括确定视觉识别元件相对于物体的位置和/或取向和/或确定取向传感器相对于物体的取向。这些校准数据可以通过“训练”系统来测量或这些数据可以从制造过程中知晓。优选地，视觉识别元件包括多个子元件和/或部分，其可以彼此区分并由照相机识别。在这种情况下，确定视觉识别元件相对于物体的位置和/或取向优选地包括识别每个子元件和/或部分并且确定每个子元件和/或部分相对于物体的位置。

视觉识别元件可以包括以下中的一个或组合：三个或更多个离散的标记元件、两个或更多个条形码、一个或更多个二维条形码、规则图案、不规则图案、任意的图案、几何形状、物体的一部分或整个物体的二维或三维表面，有源和/或无源标记、回归反射标记、适于随着时间以预定周期方式或非周期方式改变其外观的有源标记。例如，如果视觉识别元件由三个离散的球形标记组成，则确定视觉识别元件相对于物体的位置和/或取向(用于校准的目的)优选地包括识别每个球形标记并确定每个球形标记相对于物体的位置。然而，如果视觉识别元件由二维图案组成，则确定视觉识别元件相对于物体的位置和/或取向优选地包括识别图案的可以彼此区分并且由照相机识别的部分和确定每一个这样的部分相对于物体的位置。

优选地，所述取向传感器包括速率陀螺仪和/或罗盘。

优选地，相对于照相机坐标系校准取向传感器包括i)在第一时间处获取至少两个照相机的视场的图像数据，并在所述图像数据的基础上确定在所述第一时间处的物体的取向，ⅱ)获取由取向传感器在所述第一时间处提供的取向数据并且在所述取向数据的基础上确定在所述第一时间处的物体的取向，以及iii)通过将根据步骤i)和ii)确定的物体的取向彼此关联而相对于照相机坐标系校准取向传感器。当然，所述校准应当在第一时间期间发生，在所述第一时间处，视觉识别元件的至少一部分对两个照相机都充分可见，以允许确定物体的取向。在随后的时间间隔期间，如果图像数据不允许确定物体的取向，则所述取向可以从由取向传感器提供的取向数据中推导。

优选地，在本发明的方法期间，执行若干次相对于照相机坐标系校准取向传感器，即在若干次物体移动时。然后，优选地，对于给定时间的姿态在在时间上最靠近所述给定时间的物体的校准的基础上确定，因为由取向传感器提供的取向数据的质量随时间而降低。在同步追踪的情况下，通常使用在当前时间之前的上次校准。如果数据被保存，并且事后进行追踪，对于所述特定时间，可以使用在所述特定时间之后发生的校准。

优选地，反馈被提供给用户，所述反馈包括以下中的一个或组合：根据步骤e)成功执行校准的指示，从图像数据确定取向的当前准确性，从取向数据确定取向的当前准确性，当必须执行下一个校准以实现预定水平的准确性时指示。

优选地，物体是手持医疗设备，更优选的是超声波探头。

可选地，当物体移动时至少两个照相机的视场的图像数据被记录。此外，可选地，当移动物体时，取向数据也被记录。最后，分析记录的或实时的图像数据和记录的或实时的的取向数据，以确定在其运动期间物体的姿态。

如前面提到的，该方法包括校准用于确定物体的绝对取向和/或角速度的装置(取向传感器)的步骤。优选地，就其本身而言，用于确定物体的绝对取向和/或角速度的装置仅适于测量物体相对于物体的某个已知的或预定的取向的相对取向。为了确定一段时间的绝对取向(在世界坐标中)，优选地，例如，通过使用图像数据至少一次确定绝对图像，并且随后测量对于所述一次确定的绝对取向的相对取向。优选地，如果物体处于静止状态时执行此校准。如果物体的取向是一次精确已知的，如果例如，角速度被确定，则在任何随后的移动期间可以计算物体的取向。可选地，物体被放置成预定静止或校准状态，在所述预定静止或校准状态中，物体的取向是已知的。然后，在此静止或校准状态校准用于确定物体的绝对取向和/或角速度的装置。此外，或者可替换地，校准可以通过在一个或多个时间间隔期间使用图像数据确定物体的取向而进行，在所述一个或多个时间间隔期间，视觉识别元件对两个照相机都充分可见，以允许确定物体的取向。这种附加的校准还可以在物体移动期间进行，这在移动物体的较长间隔期间允许若干重新校准。

优选地，本发明的方法进一步包括确定视觉识别元件相对于物体的位置和/或取向的步骤。换句话说，优选地，应当知道识别元件是如何布置在物体上或接附至物体，以能够在从视觉识别元件获取的图像数据的基础上确定，例如，物体的位置。视觉识别元件相对于物体的位置和/或取向可以被测量或从例如制造规格获取。

本发明的主旨将在下面参照包括至少一个视觉识别元件的物体解释，所述视觉识别元件由三个独立的标记元件组成。然而，本发明并不限定于这样的识别元件。

借助于至少两个立体布置的照相机观看三个这样的不同标记允许识别在空间中这些标记中的每个的三维位置。知晓标记相对于物体的位置，在空间中这些标记位置允许计算物体的位置和物体的取向二者，即，整个姿势信息。然而，如果标记中的一个对两个照相机不可见，所述“丢失”的标记的位置不能确定。但是，仅知晓两个标记的位置不允许确定物体的位置或取向，因为物体可以绕由两个标记限定的轴线旋转，而不会影响这两个标记的位置，并且物体的中心和/或原点不需要位于所述轴线上。然而，如果通过确定在移动期间物体的绝对取向和/或角速度而知晓物体的取向，则所述取向数据与两个唯一识别的标记的图像数据的结合允许确定物体的位置。实际上，如果只有单个的唯一识别标记对两个照相机可见，这甚至也是可能的，只要物体的取向分离地确定。因为在图像数据和取向数据的结合的基础上确定物体的位置需要在三维空间中的三个标记中的至少一个的位置和所述标记相对于物体的位置二者，所以有必要识别标记并且确定所述标记的位置。

在三个不同的标记的情况下，足以允许用于识别所述部分和用于确定所述部分的位置的“视觉识别元件的部分”将是，例如，这些标记中的一个。只要这些标记中的一个对两个照相机充分可见，以允许用于识别标记，并用于确定所述标记的位置，物体的位置可以在所述标记的位置(经由图像数据)结合由例如速率陀螺仪提供的取向数据的基础上确定。

然而，如果三个标记，即，整个视觉识别元件，对两个照相机都充分可见，以允许确定物体的位置(使用这些标记中的每个的位置)，则物体的位置可以单独在图象数据的基础上确定。

物体的取向可以在由例如速率陀螺仪提供的取向数据或图像数据的基础上确定。如果视觉识别元件，即，在本实施例中三个标记，对两个照相机不是充分可见，以允许确定物体的取向，物体的取向在由用于确定物体的绝对取向和/或角速度的装置提供的取向数据的基础上确定。在另一方面，如果视觉识别元件对两个照相机都充分可见，以允许确定物体的取向，物体的取向可以仅在取向数据的基础上、仅在图像数据的基础上或在取向数据和图像数据的组合的基础上确定。

优选地，后者是在确定物体的取向的不同方式的估计准确性的基础上决定的。优选地，估计在取向数据的基础上确定物体的取向的准确性和在图像数据的基础上确定物体的取向的准确性，并且提供较高准确性的数据用于确定物体的取向。图像数据的准确性可以，例如，取决于对两个照相机都可见的视觉识别元件的特征长度或取决于物体和两个照相机之间的距离。在另一方面，取向数据的准确性可以取决于从例如速率陀螺仪的上次校准已经经过的时间量。

由此，通过使用由用于确定物体的绝对取向和/或物体的角速度的装置提供的补充信息，本发明允许确定物体的完整的姿态信息，即使视觉识别元件仅部分可见，即，在以上实施例中，仅一个标记可见。因此，通过本发明的方法可以提供完整得多和准确得多的数据设置。

在第一时间间隔期间，即使没有视觉识别元件的一部分对两个照相机充分可见，以允许用于识别所述部分和确定所述部分的位置，优选地，物体的位置在内插的基础上确定。优选地，内插基于立即地在第一时间间隔之前确定的物体的位置和/或直接在第一时间间隔之后确定的物体的位置。例如，物体的位置可以是在第一时间间隔期间这两个位置之间的线性内插。此外，优选地，内插基于立即地在第一时间间隔之前确定的物体的速度和/或直接在第一时间间隔之后确定的物体的速度。可替换地或附加地，可以使用加速度计来基于加速度内插到此时间间隔内。

如上所述，视觉识别元件不必由三个不同的标记元件组成。而是，视觉识别元件可以包括以下中的任何一个或组合：三个或更多个离散的标记元件、两个或更多个条形码、一个或更多个二维条形码、规则图案、不规则图案、任意的图案、几何形状等，或甚至物体的一部分或整个物体的二维或三维表面。视觉识别元件可以包括无源标记，诸如物体的表面上的盘形标记(其可以，例如，是回归反射)和/或有源标记，诸如，例如，发光二极管，其优选地能够以预定周期方式或以非周期方式在一段时间改变它们的外观。如果使用三个或更多个离散的标记元件，这三个或更多个离散的标记元件优选地以不对称方式分布并且优选地彼此区分，以允许单独地唯一地识别这些标记元件的每个。例如，离散的标记元件可以具有不同的形状、尺寸、颜色或在标记元件上的附加标记。

在一些陀螺仪传感器的情况中，优选地还执行复位，其必须在静止状态完成。优选地，静止状态通过分析图像数据确定。可替换地，使用者可以提供物体处于静止状态的输入。

尽管本发明已经参照超声波探头描述，但要强调的是，本发明可用于确定任何物体的姿态。优选地，本发明可以用于确定医疗设备，优选的手持医疗设备的姿态。本发明特别适合用于确定超声波探头的姿态。

本发明还涉及用于超声波成像的超声波装置，包括超声探头、至少两个照相机和处理器。超声波探头包括至少一个视觉识别元件和用于确定超声波探头的绝对取向和/或超声波探头的角速度的取向传感器。处理器适于执行参照本发明的方法的上面讨论的方法步骤。

附图说明

本发明的优选实施方式将参照以下附图进一步说明：

图1用于解释以下附图中符号的图例；

图2示意性地用于确定绝对取向和/或角速度的装置(陀螺仪)到物体的校准；

图3示意性地视觉识别元件到物体的校准；

图4示意性地在时间间隔期间陀螺仪的相对转动；

图5示意性地检测充分的视觉识别元件信息，以用光学追踪确定物体的姿态；

图6示意性地用光学追踪检测部分视觉识别元件信息；

图7示意性地计算物体的姿态；

图8a和8b超声波探头；

图9超声波装置的框图；以及

图10a和10b具有不同的视觉识别元件的超声波探头；

图11示意性地确定角度准确性，作为位置准确性的函数；

图12示意性地设置四个共面但不共线标记；以及

图13a-c充分的视觉识别元件信息与部分视觉识别元件信息之间的概念性的差异。

具体实施方式

下面的详细说明的部分具体地涉及用于确定超声探头的姿态的方法。然而，如前面提到的，整个本发明，包括所有优选特征，通常可以在用于确定任何物体的姿态的方法中使用。

通常，光学追踪提供高的姿态准确性，但是受视线问题影响(全有或全无：完整的姿势信息或根本没有信息)。速率陀螺仪传感器提供高度准确的相对取向信息，但仅用于短时间段(通常为约一分钟)。三维光学追踪的工作原理是通过具有立体照相机装置而工作，该立体照相机装置识别或显像已知形状和/或尺寸和/或几何形状和/或结构的视觉识别元件。视觉识别元件的已知几何形状与照相机数据的图像分析用于确定视觉识别元件相对于照相机装置的姿态。因为在任何给定的追踪会话期间，照相机装置将保持静止，所以照相机的坐标系和世界坐标系实际上是相同的，从现在起，它们之间并没有形成区别。目前已知的光学追踪系统在视觉识别元件的信息对于两个照相机完全可见时，即，如果视觉识别元件对两个照相机完全可见时递送姿态信息，以允许确定物体的位置。如果照相机中的任一个仅可获得部分视觉识别元件信息，则不会递送姿态信息。本发明的目的在于使用此忽视信息，结合从例如速率陀螺仪和/或罗盘递送的相对和/或绝对取向信息，以扩展光学追踪系统的有效可用性。

关于由照相机采集的视觉识别元件的视觉信息可以分成三类：充分的、部分的和不充分的。当前最先进的光学追踪系统仅在视觉识别元件的可视化充分，即用于姿态确定的视觉识别元件的足够信息对于两个照相机均清楚地可见时递送姿态信息。本发明通过并入速率陀螺仪传感器的使用扩展光学追踪系统的能力，以处理当视觉识别元件对于任一照相机或对于两个照相机仅部分可见的情况。例如，当视觉识别元素太远而不能被识别或通常当两个照相机的视场中没有部件时，会发生视觉信息不充分的情况。

当视觉识别元件的可视化充分时，该光学追踪系统提供被追踪的物体的完整的姿态。然而，当视觉识别元件的可视化只是部分时，它仍然可能确定视觉识别元件的部分观测部分的位置，但不是被追踪物体的位置。因为在一般情况下，物体的起点在位置上与检测位置不同，所以被追踪物体的位置不再能够唯一确定的。然而，如果人们将该信息(视觉识别元件的部分可观测部分的位置)与整个被追踪物体的取向结合，则可以恢复被追踪物体的完整的姿态。优选地，在没有足够的视觉信息的情况下，使用来自速率陀螺仪的信息来确定被追踪物体的完整的姿态。

因此，优选地，在扫描会话期间视觉识别元件在一个单个点处在时间上的取向和速率陀螺仪和视觉识别元件之间的转化被确定。扫描会话一般涉及视觉识别元件被追踪的持续时间。扫描会话由视觉识别元件的可视化是足够的的时间段以及可视化是部分的的时间段组成。对于时间段，当可视化是部分的时，可以计算完整的物体姿态信息。优选地，应当限制VTE的可视化是部分的时间段持续少于或等于最大允许时间的段，取决于速率陀螺仪传感器。视觉识别元件的可视化完成的所需要的最小时间段是典型的光学追踪的一个单一的视频帧，这可以在扫描会话期间的任何时候发生。

图2至图7中示意性地示出了本发明方法的几个优选步骤。图1中提供的图例示出按照坐标系的平移(A)，坐标系之间的旋转(B)，坐标系之间按照完整的姿态信息之间的转换(C)，通过所检测的充分的视觉识别元件信息计算的姿态(D)以及根据本发明当可得到部分视觉识别元件时计算的姿态(E)。通常，坐标系之间的转换(C)由平移(A)和旋转 (B)组成。

图2示意性地示出了陀螺仪(G)到被追踪的物体(O)的校准。图2仅示出了坐标系(图1中B)之间的旋转，因为对于陀螺仪-物体校准只有相对取向是相关的。在所述校准期间，确定速率陀螺仪参考帧和物体参考帧之间的恒定变换。它在整个扫描会话过程中保持恒定。此外，它仅需要确定一次，例如，当速率陀螺仪被安装在物体(例如，超声波探头)上。

图3示意性地示出了视觉识别元件(V)和被追踪的物体(O)的校准。所述校准包括平移和旋转二者，并且相应地，图3示出表明完整的姿态转换的箭头(图1中的C)。取决于视觉识别元件的类型，此过程由对于每个标记的位置矢量的校准或通过扫描得到在三维空间的视觉表面图案的说明组成。视觉识别元件-物体校准还需要仅执行一次，例如，当物体设置有视觉识别元件时。

本发明的方法优选地还包括陀螺仪照相机校准，在陀螺仪照相机校准期间，确定速率陀螺仪传感器在世界(照相机)坐标中的取向。这应该优选地在每个扫描会话期间发生至少一次。然后可以使用速率陀螺仪(图4)测量陀螺仪在时间间隔[t_i，t_i+1]期间的相对旋转。

进一步优选地是重新初始化或重置速率陀螺仪设置，以补偿导致恒定角速度偏移的不准确性。这需要在静止状态下完成。优选地，为获得最佳准确性，对于每个扫描会话进行至少一次这样的校准或重新初始化。

图5示意性地示出了用光学追踪检测充分的视觉识别元件信息。在示出的实施例中，视觉识别元件(V)由描绘为点的十个单独的标记元件组成。在此实施例中，充分的视觉识别元件信息不要求这十个单独标记元件中的每个对两个照相机均可见。而是，如果这些标记元件中的三个对两个照相机均可见，则可以充分允许确定视觉识别元件的姿态，因此，确定物体的位置。

图6示意性地示出用追踪检测部分视觉识别元件信息。在图6a中，视觉识别元件(Ⅴ) 的十个单独标记元件中的一个对两个照相机都充分可见，以允许用于确定该单个的标记元件的位置，即，视觉识别元件(V)的该部分的位置。然而，物体(O)与世界坐标系(W)之间的变换仍然不明确，因为物体(0)的任何取向，通常，单个的标记元件围绕物体(O) 的任何取向将是可能的。然而，如果除了物体(O)的取向从速率陀螺仪已知，则完整的姿态可以如图6b中所示地唯一地确定。

图7示意性地示出根据本发明的用于确定物体的姿态的方法的优选实施方式。时间t₀处，可以获得充分的视觉识别元件信息，允许在由至少两个照相机提供的图像数据的基础上在世界坐标中确定物体的完整的姿态。速率陀螺仪提供t₀与t₁之间以及t₁与t₂之间的相对旋转。在t₀处结合世界坐标中的物体的已知的姿态(以及物体至陀螺仪的校准)，可以计算在t₁与t₂处与世界坐标有关的物体的完整取向信息。在时间t₂处，仅部分视觉识别元件信息是可用的。换句话说，视觉识别元件对两个照相机不充分可见，以允许确定物体的位置，而视觉识别元件的至少一部分(此处为：单个标记)对两个照相机都充分可见，以允许识别所述部分以及允许确定所述部分的位置。如上面参考图6讨论的，与来自速率陀螺仪的世界坐标中的取向信息结合的所述信息允许实现在时间t₂处的完整的姿态信息。此外，物体的完整的姿态在时间t₁处通过使用速率陀螺仪信息可以确定，以确定物体的取向，并且在时间t0和t2处通过使用已经确定的位置确定，以内插物体的位置。

如先前讨论的，根据本发明的方法可以用于确定如图8a和8b中所示的超声波探头1 的姿态。超声波探头1包括换能器阵列2，并且可以经由缆线3连接到超声波装置。超声波探头1进一步包括视觉识别元件4，在所示实施方式中，所述视觉识别元件4由三个离散的标记元件4a、4b和4c组成。即使在图8a中，这些分离的标记元件4a、4b和4c示意性地示出为相同，但是优选的是，这些标记元件通过形状、大小、颜色或类似物彼此区分，以使得两个照相机7a和7b能识别每个标记元件4a、4b和4c。超声波探头1还包括速率陀螺仪传感器5，用于确定超声波探头1的角速度。

在图8a中示出的情况下，整个视觉识别元件4，(即，所有三个单个标记元件4a、4b和4c)对两个照相机7a和7b充分可见，以允许借助于由两个照相机提供的图像数据确定物体的位置。然而，如果标记元件4a和4b是，例如，如图8b中所示地由使用者的手6所覆盖，则只有单一的标记元件4c(即，视觉识别元件4的一部分)可能对两个照相机充分可见，以允许用于识别所述单个的标记元件4c以及用于确定所述标记元件4c的位置。然后，完整的姿态信息则可以如上所讨论地在速率陀螺仪传感器5的输出以及两个照相机7a和 7b提供的图像数据的组合的基础上确定。

图9示出了根据本发明的超声波装置的框图。用于超声波成像的超声波装置包括超声波探头、至少两个照相机和CPU或处理器。超声波探头包括至少一个视觉识别元件和用于确定超声波探头的绝对取向和/或角速度的装置，诸如陀螺仪。处理器或中央处理单元适于如上所述地执行根据本发明的方法。

图10a和10b均示出了超声波探头1，其具有可替换的视觉识别元件4。在图10a中示出的实施方式中，视觉识别元件包括多个单独的、离散的标记元件，而在图10b中示出的实施方式的视觉识别元件由二维条形码组成。确定超声波探头1的取向的角度准确性取决于对于两个相机可见的视觉识别元件的部分的特征距离。如果离散标记物如图10a中所示地正在使用，在给定的方向上的特征距离由任何两个可视标记之间的最大投影距离确定。例如，在图10a中示出的情况下，沿第一轴线的特征距离d₁由两个标记4a和4b之间的距离限定，而沿第二垂直轴线的特征距离d2由两个标记4c和4d之间的距离限定。如果如图 10b中所示正在使用连续的平面图案，则对于图案的可识别部分的每个角度而言，特征距离为最长投影距离。例如，在图10b中示出的图案的放大部分对照相机可见的情况下，d1 沿着第一轴线，d2沿着第二垂直轴线。

在任何情况下，角度准确性随着特征距离的增加而增加。图11图示了特征距离、位置误差以及角度误差之间的关系。如果d表示特征距离，并且δx<<d表示位置误差，则最大角度误差δθ由tan(δθ)＝2δχ/d给出。对于特征距离显著大于位置误差，tan(δθ) ＝δθ使用小角度近似，由此，角度误差随着d的增加而减少，或换句话说，旋转准确性随着d增加而增加。由特征距离d所确定的旋转准确性适用于其轴线位于垂直于d的平面的旋转。在图11中，平面由P表示，并且旋转轴线由表示。d₁和d₂分别限定在垂直于d₁轴线和d₂轴线的二维空间中的旋转准确性。因此，如图10a和10b中示出的在单个平面上的在此平面上具有两个大的垂直特征距离d₁和d₂的视觉识别元件足以准确确定三维空间中的取向。图12示出了具有特征距离d₁和d₂的四个共面但不共线的标记。三维空间中的总角度准确性可由在任何一个维度(包括与d₁轴线和d₂轴线区分的维度)中可实现的最小角度准确性给出。所描绘的旋转轴线是这样的轴线：绕该轴线角度准确性最小。通常根据准确性限定，在三维空间中，绕旋转的任意轴线的角度准确性大约正比于轴线和例如离散的光学标记中的一个之间的最大可实现距离。如果表示绕轴线的角度准确性，则如果A°表示在三维空间中的总的角度准确性，则

对于连续图案，随着特征距离的减小或增加，连续损失准确性或得到准确性。如果使用球形标记物，准确性还取决于距离，但它不随覆盖连续(他们时断时续)，但是当然随着角度连续。对于连续图案，充分的视觉识别元件信息与部分视觉识别元件信息之间的差异可以通过最小可接受的旋转准确性的阈值来限定。这个概念在图13中图示。图13a描绘了对于离散标记的情况，视觉识别元件信息(VI)的量分类成三类：充分的(S)、部分地(P) 以及不足的(I)。对照相机(#M)可见的离散标记的数量确定信息的量。三个或更多个非共线的标记对应确定完整的姿态的充分信息的状态。一个或两个标记对应于部分信息的状态，其中可以确定可见部分的位置，但是不是完整的取向。零标记可见对应于确定任何姿态数据的信息不足的状态。图13b描绘了两个特征方向d1和d2与在所有三个空间方向上的总角度准确性A°之间的关系。阈值准确性a_th被确定并且与最小特征距离阈值d_th直接相关。如图13c中所描绘地，在2D图案的情况下，此阈值准确性确定状态从部分视觉识别元件信息转换到充分视觉识别元件信息。当图案不再对两个照相机都可见或不再对两个照相机都可区分以及准确性为零时，发生在2D图案的情况下部分视觉识别元件信息和不充分的视觉识别元件信息之间的中断。

根据优选实施方式，使用由例如速率陀螺仪传感器提供的旋转数据和图像数据(光学追踪)的分量可以取决于准确性连续改变。可替换地，可以提供准确性的中断点。这些优选实施方式中的任一个可以依赖其漂移速率和期望的取向和准确性与确定速率陀螺仪传感器的准确性结合。此外，优选的是具有各自不同的准确性(见上文)的旋转的尺寸独立地处理。

如先前所讨论地，充分的视觉识别元件信息不是必须要求整个视觉识别元件对两个照相机都可见。而是，视觉识别元件的可见部分需要足以用于以可接受的准确性确定完整的姿态。如果使用球形或盘状标记，需要至少三个独特的识别标记，用于充分的视觉识别元件信息。如果使用了QR码或一个随机的或结构化的图案，对于充分的视觉识别元件信息，用于旋转准确性的最小尺寸的图案或码的一部分是必需的。另一方面，部分视觉识别元件信息可以指一个或更多个独特的识别球形或盘状标记或码或图案的可识别部分。不足的视觉识别元件信息对应于无标记物是可见的或对应于标记如此遥远以使得所有的标记激发例如CCD阵列的相同的元件，使得不可能将它们区分开。

本发明的视觉识别元件可以是有源的(例如，红外线二极管)或无源的(例如，回归反射)。它们可以是单独的标记或图案化。它们可以具有特定形状(盘状、球形等)，或者可以是被追踪的物体本身的外观。

在只有视觉识别元件的一部分对提供部分追踪信息(即提供可见部分的位置但是不提供视觉识别元件本身的位置和取向)的照相机可见的情况下，被追踪物体的位置和取向可以例如如下确定。

令p₁表示在世界或照相机坐标(W)中对照相机可见的视觉识别元件的部分的位置矢量， p₂表示在视觉识别元件坐标(V)中对照相机可见的视觉识别元件的部分的位置矢量。注意，p₁随着物体的移动而改变，但是p₂为恒定，因为视觉识别元件本身是刚性的，它的任何部分相对于自身的坐标系(即，由视觉识别元件确定的坐标系)保持在恒定的位置和取向。图3中描绘的视觉识别元件坐标系与物体坐标系(O)之间的刚性变换由视觉识别元件至物体的校准过程确定，并优选地在视觉识别元件牢固地附接至物体的时间点处执行。此刚性转换表示物体坐标系相对于视觉识别元件坐标系的姿态，

₀T^V＝(₀R^V，P_OV)

其中P_OV是从物体坐标系至视觉识别坐标系的变换，₀R^V是将视觉识别元件坐标转换成物体坐标的旋转矩阵。此姿态信息可以用于确定p₃，对物体坐标中的照相机可见的视觉识别元件的部分的位置：

p₃＝P_OV+_OR^V·p₂。

在图6a中，p₁由从世界坐标(W)的原点至表示对照相机可见的视觉识别元件的部分的黑点的箭头表示，p₃由从物体坐标系(O)的原点至表示对照相机可见的视觉识别元件的部分的黑点的箭头表示。

为了确定在世界坐标中物体的位置Pwo，我们需要旋转矩阵wR^O，这将在物体坐标中的位置矢量转换成在世界坐标中的位置矢量。然后，我们将有

Pwo＝p₁+wR^O·p₃。

但是旋转矩阵wR^O恰好是在世界坐标中的物体的取向，我们从在世界坐标中的陀螺仪传感器(G)的取向wR^G以及陀螺仪传感器和物体_GR^O之间的预定相对取向获得这些，在图2中描绘。即，

wR^O＝wR^G·_GR^O。

由此，我们获得在世界坐标中的物体的完整姿态

wT^O＝(wR^O，Pwo)。

Claims (24)

1.用于确定物体的姿态的方法，所述方法包括以下步骤：

a)提供物体，所述物体包括至少一个视觉识别元件和取向传感器，所述取向传感器用于确定所述物体的绝对取向和/或角速度；

b)提供适于视觉追踪所述至少一个视觉识别元件的至少两个照相机，每个照相机具有视场并且在所述方法期间保持静止，所述照相机限定照相机坐标系；

c)在移动所述物体时获得所述至少两个照相机的视场的图像数据；

d)在移动所述物体时获得由所述取向传感器提供的取向数据；

e)关于所述照相机坐标系校准所述取向传感器；以及

f)分析所述图像数据和所述取向数据，以确定所述物体在其移动期间的姿态；

其中：

f1)当所述视觉识别元件中的至少一部分对两个照相机都充分可见以允许确定所述物体的取向时，所述物体的取向在所述取向数据和/或所述图像数据的基础上确定；

f2)当所述视觉识别元件对两个照相机不都充分可见以允许确定所述物体的取向时，所述物体的取向单独地在所述取向数据的基础上确定；

f3)当所述视觉识别元件中的至少一部分对两个照相机都充分可见以允许确定所述物体的位置时，所述物体的位置单独地在所述图像数据的基础上确定；以及

f4)当所述视觉识别元件中的至少一部分对两个照相机都充分可见以允许识别所述部分并允许确定所述部分的位置时，所述物体的位置在根据步骤f1)或f2)确定的取向数据与图像数据的结合的基础上确定。

2.根据权利要求1所述的方法，其中步骤f1)进一步包括步骤：评估单独地在所述取向数据的基础上确定所述物体的取向的准确性以及单独地在所述图像数据的基础上确定所述物体的取向的准确性，并且在步骤f1)中使用提供单独地在所述取向数据的基础上确定所述物体的取向的准确性以及单独地在所述图像数据的基础上确定所述物体的取向的准确性中较高准确性的过程。

3.根据权利要求1所述的方法，其中在第一时间间隔期间，即使所述视觉识别元件的一部分对两个照相机都不充分可见以允许识别所述部分并允许确定所述部分的位置，所述物体的位置在内插的基础上也被确定。

4.根据权利要求3所述的方法，其中所述内插基于立即地在所述第一时间间隔前确定的所述物体的位置和/或直接在所述第一时间间隔之后确定的所述物体的位置。

5.根据权利要求3所述的方法，其中所述内插基于立即地在所述第一时间间隔之前确定的物体的速度和/或加速度和/或直接在所述第一时间间隔之后确定的物体的速度和/或加速度。

6.根据权利要求1所述的方法，进一步包括确定所述视觉识别元件相对于所述物体的位置和/或取向和/或确定所述取向传感器相对于所述物体的取向。

7.根据权利要求6所述的方法，其中所述视觉识别元件包括多个子元件和/或部分，所述多个子元件和/或部分能够由照相机识别并彼此区分，并且其中确定所述视觉识别元件相对于所述物体的位置和/或取向包括识别所述子元件和/或部分中的每个以及确定每个子元件和/或部分相对于所述物体的位置。

8.根据权利要求1所述的方法，其中所述视觉识别元件包括以下中的一个或组合：三个或更多个离散标记元件、规则图案、不规则图案、整个物体或物体的一部分的二维或三维表面、有源和/或无源标记。

9.根据权利要求8所述的方法，其中所述规则图案包括两个或更多个条形码。

10.根据权利要求8所述的方法，其中所述规则图案包括一个或更多个二维条形码。

11.根据权利要求8所述的方法，其中所述无源标记包括回归反射标记。

12.根据权利要求8所述的方法，其中所述有源标记包括适于在一段时间以预定的周期或非周期方式改变它们的外貌的有源标记。

13.根据权利要求1所述的方法，其中所述取向传感器包括速率陀螺仪和/或罗盘。

14.根据权利要求1所述的方法，其中相对于所述照相机坐标系校准所述取向传感器包括：

i)获得所述至少两个照相机的视场在第一时间处的图像数据并且在所述图像数据的基础上确定所述物体在所述第一时间处的取向，

ii)获得由所述取向传感器在所述第一时间处提供的取向数据并且在所述取向数据的基础上确定所述物体在所述第一时间处的取向，以及

iii)通过将根据步骤i)和ii)确定的所述物体的取向彼此关联而相对于所述照相机坐标系校准所述取向传感器。

15.根据权利要求1所述的方法，其中在移动所述物体时执行多次相对于所述照相机坐标系校准所述取向传感器，并且其中对于给定时间的姿态在所述物体的在时间上最接近所述给定时间的校准的基础上确定。

16.根据权利要求1所述的方法，其中给使用者提供反馈，所述反馈包括以下中的一个或组合：成功地执行根据步骤e)的校准的指示，从所述图像数据确定取向的当前准确性，从所述取向数据确定取向的当前准确性，在需要执行下一个校准以实现预定水平的准确性时的指示。

17.根据权利要求1所述的方法，其中所述物体为手持医疗设备。

18.根据权利要求17所述的方法，其中所述物体为超声波探头。

19.用于超声波成像的超声波设备，包括超声波探头、至少两个照相机以及处理器，其中所述超声波探头包括至少一个视觉识别元件和用于确定所述超声波探头的绝对取向和/或角速度的取向传感器，并且其中所述处理器适于执行权利要求1的方法步骤c)至f)以及可选地适于执行根据权利要求2-7和13-15的方法步骤。

20.根据权利要求19所述的超声波设备，其中所述视觉识别元件包括以下的一个或组合：三个或更多个离散标记元件、规则图案、不规则图案、整个物体或物体的一部分的二维或三维表面、有源和/或无源标记。

21.根据权利要求20所述的超声波设备，其中所述规则图案包括两个或更多个条形码。

22.根据权利要求20所述的超声波设备，其中所述规则图案包括一个或更多个二维条形码。

23.根据权利要求20所述的超声波设备，其中所述无源标记包括回归反射标记。

24.根据权利要求20所述的超声波设备，其中所述有源标记包括适于在一段时间以预定的周期或非周期方式改变它们的外貌的有源标记。