CN110959099A - 确定可移动物体在空间中的位置的系统、方法和标记物 - Google Patents

Abstract

本发明涉及一种确定可移动物体(12)在空间中的位置的系统，该系统包括要附接到物体(12)上的标记物(16)，所述标记物具有被细分成多个单独场(32)的表面(30)，其中场(32)各自包括统计噪声图案(34)。该系统还包括：图像捕获单元(18)，该图像捕获单元远离物体(12)并被设置为捕获标记物(16)的图像(28)；以及图像评估单元(26)，该图像评估单元中存储噪声图案(34)的参考图像。图像评估单元设计为通过与参考图像进行比较在当前检测的标记物(16)的图像(28)中定位该场(32)中的至少一个，以便确定标记物(16)在空间中的当前位置。本发明还涉及用于确定位置的对应方法以及标记物(16)。

Description

确定可移动物体在空间中的位置的系统、方法和标记物

本申请要求于2017年6月20日提交的德国专利申请No.10 2017 113 615.0的优先权，通过引用将其全部内容并入本申请的公开中。

本发明涉及确定可移动物体在空间中的位置的系统。

本发明还涉及确定可移动物体在空间中的位置的方法。

本发明还涉及确定可移动物体在空间中的位置的标记物。

存在各种各样的工业应用，其中需要准确的位置确定来控制物体的移动。这样的物体例如可以是例如在反射镜制造中的机器人臂，必须准确地掌握和控制该机器人臂的六维(6D)位置。其他应用示例涉及例如在投射曝光设备中的可移动反射镜的6D位置控制，以便在要曝光的半导体基板上生成掩模母版结构的精确图像。这样的位置控制系统通常基于常规传感器，诸如光学编码器、电容传感器，涡流传感器。

在本发明的范围内，物体在空间中的位置应理解为意味着根据N个移动自由度的位置，其中N可以是2、3、4、5或6。作为示例，6D位置是根据3个平移自由度和3个旋转自由度物体在空间中的位置。因此，术语位置还包括物体在空间中的取向。

由于近年来图像传感器的性能改进，还可以通过使用一个或多个相机捕获物体的图像来确定位置。DE 10 2009 009 372 A1提出了监控至少一个反射镜的取向的设备和方法(例如在微光刻投射曝光设备中)，其中具有相机的捕获装置捕获以下图案：使用空间和/或时间上可变的光源(由反射镜将该光源反射到捕获装置上)由图案源提供的图案。可以根据由捕获装置捕获的反射镜图像来确定反射镜的取向。根据所述文献，由图案源提供的图案可以是噪声图案，即由随机过程生成的图案，例如要监控的反射镜附近的部件的表面区域，例如投射曝光设备的壳体的涂覆的表面或结构化表面等。不同的图像或图案识别方法或可比较的方法(特别是相关方法)可以用于图案的比较，也就是说，将在捕获装置中成像的图案与原始图案进行比较。

尽管本发明还可以用于需要将位置非常准确地确定在亚微米范围或甚至在亚纳米范围内的应用中，但是本发明特别适合于在例如尺寸为1m³的大工作体积中且在测量系统与物体之间的工作距离大的情况下，确定可移动物体的位置。

本发明的目的是提供确定可移动物体在空间中的位置的系统和方法，其使得特别是在测量系统和物体之间的距离大的情况下在大工作体积中，可以尽可能准确且可靠地确定位置。

本发明提供了确定可移动物体在空间中的位置的系统，该系统具有要施加到该物体并且具有被细分成多个单独场的表面的标记物，其中场各自具有统计噪声图案，该系统还具有图像捕获单元和图像评估单元，该图像捕获单元远离物体且布置为捕获标记物的图像；并且该图像评估单元存储噪声图案的参考图像，并设计为通过与参考图像比较在标记物的当前所捕获的图像中定位该场中的至少一个，以便确定标记物在空间中的当前位置。

本发明还提供确定可移动物体在空间中的位置的方法，该方法具有以下步骤：提供标记物，该标记物的表面被细分成多个单独场，其中，场各自具有统计噪声图案；存储噪声图案的参考图像；将标记物施加到物体；捕获物体上的标记物的当前图像；以及评估标记物的当前捕获的图像，其中通过与参考图像进行比较，将标记物的场中的至少一个定位在当前所捕获的图像中，以便确定标记物在空间中的当前位置。

根据本发明的系统和方法特别是可以用基于相机的方式来实现。该系统和方法使用被施加到物体的标记物，以便通过捕获标记物的图像来确定物体的位置。标记物是二维的且被细分成多个单独场，场各自具有统计噪声图案。噪声图案可以彼此不同，或者相同。如果它们不同，则可以例如通过相关方法由图像评估单元来检测它们。不言而喻地，该系统和方法不仅可以使用一个标记物，而且可以使用多个标记物，该多个标记物各自在不同位置处被施加到物体，且各自被细分成具有不同噪声图案的多个单独场。同样不言而喻地，特别是如果物体具有多个移动自由度，例如可以围绕轴线旋转360°，如例如在机器的机器人臂中可以是这样的情况，则图像捕获系统可以具有例如多个相机。

取决于可移动物体的位置并因此取决于标记物的位置，以优选地固定在空间中的图像捕获单元的不同视角来捕获标记物的图像，这导致图案的几何形状不同的图像。换言之，例如，如果将标记物成像到图像传感器上，则该标记物经受随时间改变的投射变换。将噪声图案的参考图像存储在图像评估单元中，其中参考图像表示例如标记物的‘未畸变的”俯视图。现在将图像评估单元设计成将标记物的当前图像与参考图像进行比较，以便从比较中确定标记物的当前位置，并且因此确定物体的当前位置。

由于以下事实，优选地为平坦的、即非弯曲的标记物具有多个单独场，该场各自具有统计噪声图案，因此可以降低图像评估期间的计算复杂度并且在确定标记物的位置以及因此确定物体的位置的精度方面，可以很大程度上改进图像评估。

根据本发明的系统和根据本发明的方法基本上使得确定标记物的N维位置成为可能，由此可以确定物体的N维位置。在这种情况下，N可以在2到6的范围内。

噪声图案优选地使得噪声在频域中具有高带宽。

这使得可以以特别精确的方式在标记物的图像中定位标记物的单独场。噪声的频率带宽越高，可以更准确地定位标记物的单独场。

单独场的噪声图案优选地在场之间是不同的，特别是至少近似不相关。

非常窄的自相关函数(其理想地是δ或狄拉克函数)还进一步提高了确定标记物的位置以及因此物体的位置的准确度。因此，该方法和系统特别适合于基于相关性的图像评估方法，以便在标记物的当前捕获的图像中精确定位单独场中的至少一个或多个。

噪声图案优选地是灰度图案，特别是具有作为高斯分布的灰度值的概率密度。灰度图案可以例如在随机过程中生成为黑白像素图案。

高斯概率密度函数或灰度值的分布具有最大熵的优点，因此具有给定标准差的最大信息含量。给定的标准差与图像捕获单元的灰度范围(强度范围)有关。例如，可以选择噪声的功率密度，使得高斯分布的3σ值拟合成图像捕获单元的灰度范围。

噪声图案优选地包含白噪声，该白噪声同样具有非常窄的自相关函数。自相关函数越窄，基于相关性的算法可以更好地定位噪声图案。白噪声具有δ或Dirac函数作为自相关函数。

在尽可能准确地进行位置确定的意义上，标记物的表面被噪声图案填充或占据的程度应该尽可能高。

在另一个优选的配置中，标记物的场是多边形的，特别是矩形的，特别是正方形的。

在该配置中，标记物的单独场以直线为界。标记物本身的表面还优选地以多边形的方式，特别是以矩形的方式，特别是以正方形的方式界定。标记物的场和/或标记物本身的直线边界具有以下优点：当评估标记物的当前图像时，可以粗略地确定投射参数，并且可以首先用很低的计算法复杂度粗略地定位标记物的场，因此可以通过评估一个或多个成像的噪声图案，在随后的搜索准确投射参数期间或在场的精细定位期间降低计算复杂度。

标记物的场可以以矩阵的形式布置成行和列，并且在这种情况下可以具有关于彼此相同的取向。

然而，还可能以相对于彼此旋转和/或偏移的方式布置标记物的场，以便当在标记物的当前图像中粗略地确定标记物的取向和/或场的取向时消除分歧。例如，在矩形或正方形场的情况下，单独场可以各自相对于彼此旋转一旋转角，结果是没有一个场具有与其他场中的任一个相同的取向。

同样地，可以用多于四边形的场(通常是多角的场)或具有不同数量的拐角的场来避免这样的分歧。

然而，标记物的单独场还可以是圆形或椭圆形的。

为了在圆形场的情况下用噪声图案实现标记物的表面的最大可能填充程度，可以规定圆形场相对于彼此偏移，使得标记物的表面尽可能密集地被圆形场占据。

如上所提及，有利的是，基于标记物的捕获图像预先粗略地确定标记物的位置。在该背景下，图像评估单元优选地被设计为通过检测标记物的拐角和/或边缘，和/或标记物的场的拐角和/或边缘来粗略地确定由图像捕获单元当前捕获的标记物的位置。

附加地或替代地，还可以计算Radon/Hough变换，该变换是用于检测灰度图像中的直线、圆或任何期望的其他可参数化几何图形的稳健方法。如已经提及的，粗略地确定标记物的位置具有以下优点：降低了随后的准确位置确定的计算复杂度。

结合上文所描述的措施，图像评估单元优选地被设计为与存储的噪声图案的参考图像相比通过检测噪声图案来精细地确定由图像捕获单元当前捕获的标记物的位置。

精细确定可以例如通过计算一个或多个噪声图案的多个参数集来进行。然后，可以通过将参考图像(其通过采用的参数进行修改/扭曲和/或移位)与标记物的对应的当前捕获的图像进行比较，而对于所采用的参数集中的每一个计算相似度度量，例如优值函数。实现最高相似度(或最低非相似度)的那个参数集是最终精确地定位标记物的(多个)场的参数集。

然而，(归一化)相关系数还可以用作相似度度量。归一化的相关系数同样可以评定当前的对应质量，也就是说，已经如何良好/可靠地定位当前评估的场。

为了降低计算复杂度，同样可以选择一种方法，其中首先基于(多个)噪声图案的较低分辨率图像实行明确定位标记物的相关场的参数集的搜索，并且然后基于较高分辨率图像精细地搜索。因此，可以在较高分辨率图像中限制搜索区域且降低计算复杂度。

在另一优选配置中，图像捕获单元具有低通滤波器或散焦装置。

尽管有利的且优选的是提供标记物的场的噪声图案，使得噪声的带宽非常高，以便可以尽可能精确地定位单独场，但是为了避免所谓的“混叠”效应，在图像捕获期间通过使用低通滤波器来降低噪声图案中噪声的带宽可以是有利且可取的。如果由图像捕获单元当前捕获的图像具有严重的投射畸变，例如，如果相机在掠入射的情况下看着标记物的表面，则可能发生“混叠”。在该情况下，可能是捕获的图像的部分以非常低的空间采样率进行采样的情况。这可能导致标记物的场被错误地定位，继而可能很大程度上使标记物的位置和/或取向以及因此物体的位置和/或取向的确定扭曲。

代替在图像采集单元的束路径中的低通滤波器，还可以规定以有目标的方式使图像采集单元的光学件散焦。

如果在标记物的制造期间或通过对白噪声进行低通滤波来产生噪声图案期间生成噪声图案，则是特别有利的。这样的优点是，与通过图像捕获单元的束路径中的光学件实行滤波相比，可以更好地控制在生成标记物时的滤波。这是因为，当在标记物的制造期间生成噪声图案时，可以在噪声图案的最大可能带宽与白噪声的低通滤波期间的足够的低通滤波之间找到良好的折衷，以便一方面保持噪声图案的自相关函数尽可能地窄，另一方面，尽可能地避免或至少降低混叠效应。

当确定具有大移动范围的物体的位置，且其中具有严重投射畸变的标记物的图像还因此由图像捕获单元捕获时，有利的是在系统和方法中将多个相机和/或多个标记物至少用于一些移动自由度下，结果是至少一个相机始终观测到具有仍然可接受的投射畸变的至少一个标记物。

根据本发明的系统和根据本发明的方法二者可以用于确定任何期望的可移动物体的位置和/或取向。该物体特别可以是可移动的机器部件，特别是机器的机器人臂，如在制造反射镜或其他光学部件时所使用的那些。

然而，可移动物体还可以是光学系统本身的可移动部件，特别是微光刻投射曝光设备的部件。例如，可移动部件可以是可移动反射镜。

然而，本发明还可以用于其他领域，例如医疗技术，机器人辅助手术等。

本发明还提供确定可移动物体在空间中的位置的标记物，已经在上面关于根据本发明的方法和根据本发明的系统描述了该标记物的特征和优选配置。

其他优点和特征从以下描述和附图中获悉。

不言而喻地，前述特征和以下将要说明的特征不仅可以以相应指定的组合，而且可以以其他组合或以其本身被使用，而不会脱离本发明的范围。

在附图中图示且下面参考附图更详细地描述了本发明的示例性实施例。

附图中：

图1示出了确定可移动物体在空间中的位置的系统的示例性实施例，其中该物体作为示例是机器的机器人臂，以及确定位置的标记物的第一示例性实施例；

图2示出了施加到图1中的机器人臂上的标记物的示例性图像，该图像由图1中的系统的图像捕获单元捕获；

图3示出了框图，该框图图示了通过图1中的系统确定可移动物体在空间中的位置的方法的示例性实施例；

图4示出了图1中标记物的单独噪声图案的实际示例；

图5示出了确定可移动物体的位置的标记物的另一示例性实施例；

图6示出了确定可移动物体的位置的标记物的又一示例性实施例；

图7示出了确定可移动物体的位置的标记物的又一示例性实施例，其中，与图6相比，对标记物进行了修改；

图8示出在图像捕获单元相对于标记物的掠视图方向的情况下由图1的系统的图像捕获单元捕获的标记物的图像；以及

图9示出了标记物的两个噪声图案，其中，左侧噪声图案未被滤波，并且已经对右侧噪声图案进行了低通滤波。

图1示意性地示出了确定可移动物体12在空间中的位置的系统，该系统配备有通用附图标记10。在所示的示例性实施例中，物体12是机器15的机器人臂14。机器人臂14是可移动的，例如可平移地移动和可旋转地移动。机器人臂14的当前位置可以例如以笛卡尔坐标x、y、z表示，并且当前取向可以表示为围绕x、y、z轴线中的一个或多个轴线的旋转角度。系统10基本上能够根据6个移动自由度，也就是说以6维方式来确定物体12在空间中的位置。机器人臂的工作量可以很大，例如1m³或更大。图1作为示例示出了具有x、y和z轴线的坐标系，其中箭头15x、15y和15z图示了物体12围绕x、y和z轴线的旋转自由度。

系统10具有施加到物体12的标记物16。标记物16相对于物体12是静止的，也就是说，当物体12移动时，标记物16附随物体一起移动。

系统10还具有远离物体12的图像捕获单元18。图像捕获单元18包括相机20，该相机20是例如摄像机且配备有图像传感器22。图像传感器22可以是商用图像传感器的形式。

相机20被布置成捕获标记物16的图像，其中相机按时间顺序有规律地或连续地捕获标记物16的图像，结果是可以永久地追踪物体12的变化位置。相机20还具有将标记物16成像到图像传感器22上的镜头24。

相机20可以至少在系统10的操作期间以固定在空间中的方式布置。但是，相机20还可以是可移动的。

系统10还具有图像评估单元26，该图像评估单元26连接到图像捕获单元18，并且出于确定标记物16的当前位置以及物体12的当前位置的目的，用于评估由相机20捕获的标记物16的图像。

尽管为简单起见在图1中示出的系统10仅具有一个相机20和一个标记物16，但是应该理解，系统10可以包括多个相机20和多个标记物16。在这种情况下，可以将多个标记物16在不同的位置处施加到物体12，并且相机20可以分布在空间中，使得相机20以不同的视角观测(多个)标记物16。

系统10可以是跟踪物体12的移动的纯测量系统的形式，但是也可以用于控制或调节物体12的移动。

取决于物体12在空间中的位置，在相机20的图像传感器22上产生具有较大或较小投射畸变的标记物16的图像。图2作为示例示出了图1中的标记物16的这样的图像28具有投射畸变。现在的目的是通过确定标记物16在相机20的坐标系中的位置，从标记物16的图像28确定物体12的精确位置。在系统10的实际实施例中，考虑了诸如相机20的相机校准和像差等方面，但这对于理解本发明不是必需的。为了理解本发明，将相机20考虑为针孔相机就足够了。

如图1中的箭头27所指示，图像评估单元26将由图像评估单元26所确定的位置的结果输出到例如未示出的显示器或者用于控制/调节物体12的移动的控制或调节系统。

图1中，标记物16本身被以放大的形式附加地图示。“T”用于表示标记物16的上端、“L”用于表示标记物16的左端，“R”用于表示标记物16的右端，“B”用于表示标记物16的下端。

标记物16是二维的。标记物16优选是平坦的。在图1所示的示例性实施例中，标记物16的表面30是正方形的。同样可以考虑其他表面形状，例如总通常的矩形，通常的多边形，特别是多角形。表面30被细分成多个场32，其中在图1的示例性实施例中总共出现九个这种类型的场32。然而，场32的数目不是关键。它可以小于或大于9。在图1所示的示例性实施例中，场32同样是正方形。然而，场32还可以是通常的矩形或通常的多边形。

在图1所示的示例性实施例中，场32的布置为行和列的矩阵形式，在这种情况下，单独场32相对于彼此各自具有相同的取向或旋转位置。

场32中的每一个填充有统计噪声图案34。在图1、2、5至9中，噪声图案34被示出为规则图案，该图案出于简化说明的原因而彼此相同。然而，不言而喻，噪声图案34是由随机过程生成的，并且因此不具有任何占主导地位的周期性并且也是不规则的。另外，噪声图案可以彼此相同。然而，噪声图案34在场32之间还可以有利地彼此完全不同。换言之，噪声图案34可以相对于彼此是唯一的。图4示出了单独噪声图案34的实际实现方式。

噪声图案34以尽可能高的填充程度填充标记物16的表面30。

噪声图案34优选地呈灰度图案的形式，如图4中作为示例所示。噪声图案34优选地具有在(空间)频域中尽可能高的带宽。噪声图案34在产生标记物16时生成，并且作为参考图像存储在图像评估单元26中。

标记物16的所有噪声图案34的互相关函数优选地尽可能小，也就是说，噪声图案34优选地在场32之间至少近似不相关。

噪声图案34优选地包含具有最大可能信号值的宽带白噪声。在此最大信号值意味着相机20的图像传感器22没有碰到黑色或白色极限，而是充分利用了图像传感器22的灰度范围(强度范围)。如已经提及的，标记物16的表面30应该最大程度地用白噪声充满。

白噪声具有窄的自相关函数。自相关函数越窄，基于相关性的算法就可以更好地定位噪声图案34。白噪声具有δ峰作为自相关函数。这是可能的最窄的自相关函数。因此，对于基于相关性的定位算法，应该优先给定白噪声。

此外，噪声图案的灰度值具有高斯分布。高斯概率密度函数(灰度值的分布)具有最大的熵，因此具有给定标准差的最大信息量。给定的标准差与相机20的灰度范围(强度范围)有关。例如，可以选择噪声的功率，使得高斯分布的3σ值拟合成相机的灰度值(强度值)范围。

良好地适合于基于相关性的定位算法的噪声图案不一定总是，但通常也适用于其他定位算法。

参照图3描述了图像评估单元26的示例性实施例以及图像评估单元26如何评估相机20当前捕获的标记物16的图像的方法，以便由此确定标记物16在空间中的位置，并且因此物体12在空间中的位置。

在图像评估单元26中发生的过程优选地细分成两个上位过程步骤36和38，其中首先发生过程步骤36。

第一过程步骤36是粗略确定，其用于粗略地定位标记物16和标记物16的场32。该粗略确定是基于相机20中标记物的当前捕获的图像来实行的。这可以例如通过检测标记物16的边缘和/或标记物16的场32的边缘40，通过检测标记物16的拐角和/或标记物16的场32的拐角42，并且/或者通过计算44Radon/Hough变换来实行。步骤40、42和44可以例如在FPGA(现场可编程门阵列，也就是说可以在其中装载逻辑电路的集成数字技术电路)上有效地实现。来自步骤40、42和44的信息项在信息融合步骤46中彼此链接，以便仍然在标记物16的位置的粗略确定的范围内从中获得改进的定位信息。信息融合步骤46或后者的一部分可以在软件中的微处理器上实行。这是因为对边缘检测40、拐角检测42和Radon/Hough变换的分析得到适度数目的点坐标和/或包含参数化的线的列表，而不是大量图像数据。

从粗略的确定中得出粗略的投射参数和标记物16的场32的粗略位置。

在粗略确定36之后，实行特别是用于精细地定位场32的精细确定38。在精细确定之前进行粗略确定的优点是，可以限制用于精确定位场32的搜索区域。这有利地减少了计算时间。

精细确定38包括：基于标记物16的当前捕获的图像和存储在图像评估单元26中的噪声图案34的参考图像，对标记物16的噪声图案34进行精细调整48。精细确定38得到精确的投射参数和标记物16的场32的精确位置。

最后，在步骤50中，计算出标记物16在空间中的位置，并因此计算物体12在空间中的位置。然后根据箭头52输出结果。

在整个图像评估的范围内或在图像评估的一部分内，还可以使用标记物16的先前图像的移动信息，特别是在步骤46、48和50中，如用附图标记54指示的。来自标记物16的先前捕获的图像的移动信息可用于通过进一步限制搜索区域来减少计算时间或用于改进通过系统10对物体12的移动的跟踪。

如果例如仅基于标记物16的拐角和/或边缘检测、和/或场32的拐角和/或边缘检测，粗略地确定标记物16的位置而不评估噪声图案34，则在标记物16的示例性实施例中，在标记物16各自旋转90°方面存在歧义。其原因是场32具有相同大小且为具有相同取向的正方形的严格对称且规则的布置。

图5示出了标记物16a的示例性实施例，其中避免了这种歧义。在标记物16a中，所有场32a关于彼此取向不同。在示出的九个场32a的示例中，例如，在场之间，场32a可以关于彼此旋转9°。这消除了关于标记物16a的0°旋转或关于标记物16a的旋转90°的整数倍的歧义。这使得可以在不评估噪声图案34的情况下已经在根据图3的粗略确定阶段明确地标识标记物16a的取向。例如，因为仅关于左上侧场32a而言，场32a的边缘平行于标记物16a的外边缘，所以可以始终标识标记物16a的左上角。

在通过边缘和拐角检测的粗略确定期间避免歧义的其他可能方式(未示出)是使标记物16的场32具有多角多边形结构。

下文描述了以下示例：基于对由图像捕获单元16捕获的标记物16的图像中的噪声图案34的评估，可以如何实行精细确定38且因此精确地确定标记物16在空间中的位置。

精细确定用于定位场32，并且通过评估相机图像中的噪声图案34来实行。场32的精细定位例如可以通过一方法来实现，该方法中，在全搜索的范围内，也就是说完全地搜索参数空间(位置参数)。然而，由于根据过程步骤36存在从粗略确定中获得的先验知识，因此可以限制参数空间中的搜索区域的大小，这也限制计算时间。

全搜索意味着原则上用多个采用的参数集处理噪声图案34，并因此分别生成具有相应采用的参数的人工相机图像。然后，通过将存储在图像评估单元中的噪声图案(主图案)的参考图像与标记物16的对应的当前捕获的图像进行比较，为每个采用的(搜索到的)参数集计算相似度度量(优值函数)，其中用采用的参数来修改、扭曲和/或偏移主图案。在修改/扭曲/偏移的主图案和当前捕获的(多个)噪声图案34之间实现最大相似度(或最小非相似度)的参数集就是最终精细定位(多个)场32的参数集。

由于全搜索意味着需要在级联循环中尝试多个参数集，因此例如可以借助在FPGA上运行的多个并行单元来加速计算。初见时，所有计算单元都需要直接访问与标记物16相关的捕获图像数据。如果在此出现瓶颈，则可以在计算单元使用数据之前复制/重复图像数据(例如在FPGA内的多个块RAM单元中)。因此，实行相似度计算的计算单元不需要全部访问一个存储器。

(归一化的)相关系数可以用作相似度度量，用于确定最终定位一个或多个或所有场32的参数集。归一化的相关系数还可以评定匹配的当前质量，也就是说，已经如何良好/可靠地定位当前评估场。

在全搜索期间，表示相似度度量的最大值，以便找到表示场32的位置的适当参数集。最大值的值本身可以用作特定场所在的位置处质量的度量。该值还可以例如转换成加权因子，该加权因子可以在确定标记物16在空间中的位置时用在估计步骤中。用这种方法，比不可靠的场更多地对更可靠定位的场32进行考虑。

由于对于全搜索存在多个自由度，因此计算仍然非常复杂。

必须对于噪声图案34中的每个像素计算畸变坐标，例如，使用与以下计算类似的计算，其在R.Hartley和A.Zisserman的1999年6月的文章“Multiple View Geometry，Tutorial，CVPR”中公开：

在上述投射变换等式中，存在归一化的自由度。在该情况下，可以研究在搜索期间是否必须修改投射变换的所有参数。这样的研究可以示出，固定一些参数(考虑到粗略确定的结果)的实践实现足够好的结果，而这很大程度上降低所需的计算复杂度。

另一个选项是研究投射等式的线性化，这可以导致更有效的解决方案。这意味着可以在从粗略确定获得的粗略确定的参数周围的较小搜索区域中更有效地计算投射点的坐标。

降低计算复杂度的另一种可能的方式是选择一方法，该方法中，首先在具有较低分辨率的相机中对标记物16的图像实行搜索，在这种情况下，然后细化对具有较高分辨率的相同图像的搜索。来自较低分辨率的图像的结果的先验知识可以用于在在较高分辨率的图像中定位(多个)场32的步骤中限制搜索区域。

根据另一示例性实施例，代替使用基于图像数据而被计算为相似度度量的相关系数，可以选择基于普查变换的方法以便加速对(多个)场32的定位。例如，该普查变换被描述在2004年的“第26届DAGM研讨会论文集”的第79-86页的Fridtj of Stein的文章“使用普查变换对光流进行有效计算(Efficient Computation of Optical Flow Using the CensusTransform)”中。

如果如已经提及的，噪声图案在频域中具有高带宽，则基于噪声图案34精确定位标记物16的场32的精细确定(过程步骤38)是特别精确的。噪声图案的带宽大小直接确定系统10的准确度。具有白噪声的噪声图案具有较窄的自相关函数，理想情况下为二维delta(δ)脉冲，并且因此最适合于基于相关性的块匹配方法，以便定位场32。

具有全频率，也就是说非常宽带的成分的噪声图案使得很好地估计由移动引起的图像模糊以进行速度估计成为可能。也就是说，图像的频率成分仅由相机的成像行为和与移动有关的模糊来确定。

如果场32具有直线作为边缘，如图1所示，则使得对投射参数和标记物位置候选进行有效的粗略初步估计成为可能。在此不需要如圆形场所需的椭圆拟合。替代地，可以使用Radon/Hough变换类型分析以便找到线和场位置候选。附加地或替代地，可以分析拐角以便找到(多个)场的框或边缘。从数学上来讲且从准确度的角度来看，椭圆拟合可能会更好，但是Radon/Hough变换类型的分析和/或拐角检测可以在硬件/FPGA中有效地实现。通过考虑所谓的中心切片定理”或投射切片定理”，可以有效地实行Radon变换计算。

根据图6所示的标记物16b的另一示例性实施例，标记物16b可具有圆形场32b，将标记物16b的表面30b细分成该圆形场32b。如同在标记物16和标记物16a中，场32b各自都填充有统计噪声图案34b，在这种情况下，可以参考关于噪声图案34b的配置对标记物16的噪声图案34的描述。

在标记物16b的情况下，由于具有高带宽的噪声图案34b，可以实现确定标记物16b的位置的高准确度。使用圆形或者椭圆形场32b可以是有利的，因为即使发生投射畸变，圆形形状也会得到圆形/椭圆形形状，然而由场32b内的统计噪声图案实现高测量准确度。

可以通过标准的圆形或椭圆形检测方法粗略地确定标记物16b的位置和/或取向。除了来自噪声图案34b的精细定位的结果外，检测到的椭圆参数或对应的坐标列表还可以用于计算位置。

在标记物16c具有圆形(或椭圆形)场32b的情况下，根据图7中的标记物16c的示例性实施例，可以通过不是将场32c严格地布置成行和列，而是以使它们关于彼此偏移的方式，来提高标记物16c的表面30c的表面占据率或填充程度，使得实现标记物16c的表面30c的最大可能的表面占据率。在根据图6的布置中，在场32c和32b具有相同尺寸的情况下，例如十二个场32c，而不是只有九个场32b，在表面30c上找到空间。

表面30c的填充程度的增加以及因此用统计噪声图案填充的场的数目的增加意味着存在更多的观测像素。场中观测像素的数目的增加减小了当定位场32c时的标准差。

下面参考图8和图9描述了另一方面。

图8示出了物体12上的标记物16的图像28’(与图2中的图像28类似)，但是相机20现在用观看方向的强掠入射来捕获标记物16。结果是标记物16的图像28’在相机20的图像传感器22上具有严重的投射畸变。这意味着图像28’的至少部分被以较低的空间采样率采样。

由于标记物16的严重投射畸变而引起的该降低的采样率导致了所谓的“混叠”，特别是当在噪声图案中噪声的频率的带宽最大化时，如在本发明的范围内优选的那样。混叠是一效应，并且在信号分析领域中，混叠表示当要采样的信号中出现高于采样频率一半的频率分量时发生的错误。混叠导致对图像28’中的场32的不良定位或甚至完全不正确的定位或位置确定，并且因此导致标记物16的不可使用的位置确定。

由于混叠已经在图像形成期间发生，因此在图像评估单元26中不能消除混叠。然而，可以在系统10的结构中解决该问题。必须限制噪声图案的带宽，结果对于不太严重的投射畸变不会发生混叠。

对于非常严重的投射畸变，位置测量结果是非常不确定的——至少对于某些自由度而言。在系统开发期间，必须对于什么是“过度严重”的投射畸变确定阈值。混叠的问题例如可以借助于以下来解决：具有多个相机20的图像捕获单元18，该多个相机20在不同的观看方向上观测标记物16，和/或可以用分布式方式将多个标记物16施加到物体12上。如果存在多个相机，则它们应该布置为使得至少一个相机总是以足够高的采样率观测噪声图案34，结果是混叠被避免或是足够小。如果使用多个标记物16，则它们可以布置为使得由相机20观测至少一个标记物16而不会产生过分大的投射畸变。

避免混叠的另一可能方式是限制频带(原则上是抗混叠滤波器)。例如，这可以借助于故意使相机20(镜头24)的光学件散焦来实现。另一可能性是通过对白噪声进行低通滤波来生成噪声图案34。

通过在噪声图案的生成期间对噪声图案进行低通滤波来进行频带限制是有利的(用于降低混叠效应)。这是因为，与在使用相机20记录标记物16时通过光学调节进行滤波相比较，在该过程中存在对施加到噪声图案34的滤波器的更好控制。因为施加到噪声图案的滤波器确定了得到的噪声图案的自相关函数，因此对在该噪声图案的生成期间被施加到噪声图案的滤波器进行控制是有利的。从而在足够的低通滤波与维持窄的自相关函数之间可以实现良好的折衷。

图9的左侧示出了在生成期间没有低通滤波的统计噪声图案34的示例，而图9的右侧示出了具有低通滤波的噪声图案34。在该情况下，例如，可以使用2D二项式滤波器来平滑噪声图案34。

替代滤波器可以是导致旋转对称自相关函数e∧(-λ*sqrt(x2+y2))的滤波器。λ确定与频域中的带宽相关的自相关函数的“窄度”。坐标x和y是像平面中的空间坐标。

抗混叠不仅可以针对噪声图案34，而且还可以针对场32的边缘和/或标记物16本身的边缘，因为混叠效果也可能在那里出现。

Claims (33)

1.一种系统，用于确定可移动物体(12)在空间中的位置，所述系统具有标记物(16)，所述标记物(16)要被施加到所述物体(12)且具有被细分成多个单独场(32)的表面(30)，其中，所述场(32)各自具有统计噪声图案(34)，所述系统还具有图像捕获单元(18)和图像评估单元(26)，所述图像捕获单元远离所述物体(12)且布置为捕获所述标记物(16)的图像(28)，并且所述图像评估单元存储噪声图案(34)的参考图像且设计为通过与所述参考图像比较在所述标记物(16)的当前捕获的图像(28)中定位所述场(32)中的至少一个，以便确定所述标记物(16)在空间中的当前位置。

2.根据权利要求1所述的系统，其中，所述标记物(16、16a)的场(32、32a)是多边形的，特别是矩形的，特别是正方形的。

3.根据权利要求1或2所述的系统，其中，所述标记物(16、16b)的场(32、32b)以矩阵的形式布置在行和列中。

4.根据权利要求1所述的系统，其中，所述标记物(16b，16c)的场(32b，32c)是圆形或椭圆形的。

5.根据权利要求2至4中任一项所述的系统，其中，所述标记物(16a、16c)的场(32a、32c)相对于彼此旋转和/或移位。

6.根据权利要求1至5中的任一项所述的系统，其中，所述单独场(32)的噪声图案(34)彼此不同，特别是至少近似不相关。

7.根据权利要求1至6中的任一项所述的系统，其中，所述噪声图案(34)在频域中具有宽带噪声。

8.根据权利要求1至7中的任一项所述的系统，其中，所述噪声图案(34)是灰度图案。

9.根据权利要求1至8中的任一项所述的系统，其中，所述噪声图案(34)包含白噪声。

10.根据权利要求8或9所述的系统，其中，所述噪声图案(34)内的灰度值的概率密度是高斯分布。

11.根据权利要求1至10中的任一项所述的系统，其中，所述图像评估单元(26)被设计为通过检测所述标记物(16)的拐角和/或边缘、和/或所述标记物(16)的场(32)的拐角和/或边缘来粗略地确定由所述图像捕获单元(18)当前捕获的所述标记物(16)的位置。

12.根据权利要求11所述的系统，其中，所述图像评估单元(26)被设计为通过检测所述噪声图案(34)来精细地确定由所述图像捕获单元(18)当前捕获的所述标记物(16)的位置。

13.根据权利要求1至12中的任一项所述的系统，其中，所述图像捕获单元(18)具有低通滤波器和/或散焦装置。

14.根据权利要求1至13中的任一项所述的系统，其中，通过对白噪声进行低通滤波来生成所述标记物(34)的噪声图案(34)。

15.一种方法，用于确定可移动物体(12)在空间中的位置，所述方法具有以下步骤：

提供标记物(16)，所述标记物具有被细分成多个单独场(32)的表面，其中，所述场(32)各自具有统计噪声图案，

存储所述噪声图案(34)的参考图像，

将所述标记物(16)施加到所述物体(12)，

捕获所述物体(12)上的标记物(16)的当前图像，以及

评估所述标记物(16)的当前捕获的图像，其中，通过与所述参考图像进行比较，将所述标记物的场(32)中的至少一个定位在当前捕获的图像中，以便确定所述标记物(16)在空间中的当前位置。

16.根据权利要求15所述的方法，其中，所述评估包括：通过检测所述标记物(16)的拐角和/或边缘、和/或所述标记物(16)的场(32)的拐角和/或边缘来粗略地确定由所述图像捕获单元(18)当前捕获的所述标记物(16)的位置。

17.根据权利要求15或16所述的方法，其中，所述评估包括：通过检测所述噪声图案(34)来精细地确定由所述图像捕获单元(18)当前捕获的所述标记物(16)的位置。

18.根据权利要求15至17中的任一项所述的方法，其中，用低通滤波或散焦来捕获所述标记物(16)的噪声图案(34)的图像。

19.根据权利要求15至18中的任一项所述的方法，其中，通过对白噪声进行低通滤波来生成所述标记物(16)的噪声图案(34)。

20.根据权利要求15至19中的任一项所述的方法，其中，从不同的观看方向捕获所述标记物(16)的图像。

21.根据权利要求15至20中的任一项所述的方法，其中，将多个标记物(16)施加到所述物体(12)，该标记物的图像被捕获。

22.根据权利要求15至21中的任一项所述的方法，其中，所述物体(12)是可移动的机器部件，特别是机器人臂(14)。

23.根据权利要求15至21中的任一项所述的方法，其中，所述物体是光学系统的可移动部件，特别是微光刻投射曝光设备的可移动部件。

24.一种标记物，用于确定可移动物体(12)在空间中的位置，其中，所述标记物(16)可以被施加到所述物体(12)上并且具有被细分成多个单独场(32)的表面(30)，其中，所述场(32)各自具有统计噪声图案(34)。

25.根据权利要求24所述的标记物，其中，所述标记物(16、16a)的场(32、32a)是多边形的，特别是矩形的，特别是正方形的。

26.根据权利要求24或25所述的标记物，其中，所述标记物(16、16b)的场(32、32b)以矩阵的形式布置在行和列中。

27.根据权利要求24所述的标记物，其中，所述标记物(16b、16c)的场(32b、32c)是圆形或椭圆形的。

28.根据权利要求25至27中的任一项所述的标记物，其中，所述标记物(16a、16c)的场(32a、32c)相对于彼此旋转和/或移位。

29.根据权利要求24至28中的任一项所述的标记物，其中，所述单独场(32)的噪声图案(34)彼此不同，特别是至少近似不相关。

30.根据权利要求24至29中的任一项所述的标记物，其中，所述噪声图案(34)在频域中具有宽带噪声。

31.根据权利要求24至30中的任一项所述的标记物，其中，所述噪声图案(34)是灰度图案。

32.根据权利要求24至31中的任一项所述的标记物，其中，所述噪声图案(34)包含白噪声。

33.根据权利要求31或32所述的标记物，其中，所述噪声图案(34)内的灰度值的概率密度是高斯分布。

Images