CN116745812A - 提供校准数据以校准相机的方法、校准相机的方法、制造至少一个预定义点对称区域的方法和设备 - Google Patents

Abstract

本发明涉及一种用于提供校准数据(135)以校准相机(102)的方法。该方法包括从相机(102)读入借助于所述相机(102)提供的图像数据(105)的步骤。所述图像数据(105)代表至少一个预定义点对称区域(110)的相机图像。该方法还包括使用所述图像数据(105)和确定规则(128)来确定所述至少一个点对称区域(110)的至少一个对称中心(112)的步骤，将所述对称中心(112)在所述相机图像中的位置与参考对称中心在参考图像(115)中的预定义位置进行比较以确定所述对称中心(112)与所述参考对称中心之间的位置偏差(131)的步骤，以及使用所述位置偏差(131)来求取所述相机图像的至少一个像素子集相对于所述参考图像(115)的对应像素的位移信息(133)的步骤。使用所述位移信息(133)来提供所述校准数据(135)。

Description

提供校准数据以校准相机的方法、校准相机的方法、制造至少 一个预定义点对称区域的方法和设备

技术领域

本发明基于根据独立权利要求的种类的设备或方法。计算机程序也是本发明的主题。

背景技术

在相机校准领域，例如可以使用具有简单构建的黑白图案的目标，这些图案大多由正方形或圆形构建。特别地，经常可以使用棋盘图案或规则布置的圆形，例如白色背景上以网格状布置的黑色圆形或反过来。

以后公开的DE 10 2020 202 160 A1公开了一种用于确定图像数据中的对称特性的方法以及一种用于控制功能的方法。

发明内容

在此背景下，通过这里提出的方案，提出了根据主权利要求的一种方法，还有一种使用该方法的设备，以及最后一种对应的计算机程序。通过从属权利要求中列出的措施，可以对独立权利要求中说明的设备进行有利的扩展和改进。

根据实施方式，特别是可以利用以下事实：世界上的点或对象借助于点对称区域得到了标记或将得到标记，使得具有成像传感器和这里提出的合适方法的系统可以高精度地检测和定位这些点对称区域，以鲁棒和局部地执行特定的技术功能，可选地人类或生物不会将这样的标记视为干扰。

例如可能会发生对称区域未完全成像到相机图像中，例如因为对称区域可能被对象部分遮挡，或者因为对称区域可能部分从图像中突出，或者因为图案可能已被裁剪。有利地，仍然可以维持点对称中心的定位精度，因为部分遮挡不会使其位置失真：剩余的点对称对应对仍然可以投票支持正确的对称中心。部分遮挡只能降低投票矩阵中聚点的强度等，但对称中心的位置可以保留并且仍然可以精确且简单地确定。这是利用点对称的特殊优点。

在找到基于点对称的区域或图案情况下的进一步优点可以特别是源自如下事实：点对称相对于点对称区域与相机或图像记录之间的旋转是不变的，并且相对于视角而言很大程度上是不变的。例如，点对称平面相对于仿射成像可以是不变的。真实相机对任意定向的平面的成像至少局部地总是可以通过仿射成像来很好地近似。例如，如果以斜视角观察圆形的点对称区域，则圆形会变成椭圆形，其中点对称特性和点对称中心得以保持。因此，至少一个点对称区域不一定必须从正面视角观察--甚至非常倾斜的视角也不会造成困难，并且可以保持可实现的准确性。这种不变性，特别是相对于旋转和相对于视角的不变性，使得可以省去将相机适当地对准对称区域或者反过来的预防措施。相反，可能已经足够的是，相应的点对称区域被至少部分地捕获在相机图像中，使得可以检测到该点对称区域。点对称区域和相机之间的相对位置关系或布置在此情况下可以是不重要的或几乎不重要的。

关于相机校准，有利地特别是可以对可用于至少一个点对称区域的表面的真正二维而非一维的利用。与例如传统的黑白校准目标不同，点对称区域中可以包含更多信息，因为点对称区域的二维表面可以被大部分用于在其中容纳信息。对于传统的黑白校准目标，它们所包含的信息大多仅具有一维性质，因为该信息特别是塞入由于黑色表面和白色表面相遇而产生的线条中。在这种棋盘图案的情况下，由此产生以下直线，这些直线的交叉点表示可用于校准的所谓标记点。在圆形表面作为目标的情况下，在边缘处产生圆形，这些圆形的中心形成所述标记点。因此，只有(一维)线条对所述标记点有贡献。换句话说，仅在减小的程度上利用目标的表面。与此相反，根据实施方式，特别是根据区域或图案的设计，在已经找到一个对称伙伴的前提下，整个表面上的每个点都可以对确定对称中心做出贡献。对称中心在此表示上述意义上的标记点。整个表面都可以对此做出贡献。对形成对称中心做出贡献的点对越多，该对称中心可以例如在投票矩阵中成像得越强并因此越明确，由此可以实现可靠的检测和低的误检测风险，并且对称中心可以被定位得越准确(在亚像素范围内具有高精度)，因为对称中心可以更强地从噪声中脱颖而出。换句话说，所提出的对称区域和/或图案可以真正以二维方式利用可用表面，并且可以将此转换为在准确性和鲁棒性方面的优点。避免相机的极端区域和HDR效应也可能是有利的。与使用黑白图案的传统工作不同，就依赖于相应像素处的亮度的相机特征曲线或相机信号而言可以避免在极值点进行工作，在极值点处的工作将是不利的，因为相机的特性在暗区域和亮区域差别很大。

下面，基于一些简单的考虑对上述事实予以澄清。光由光子组成。从相机的角度来看，黑色意味着没有光子，而在白色的情况下每个表面出现很多光子。一个像素(相机传感器的感光元件的意义上)只能容纳有限数量的光子(饱和容量)。由此可能在亮区域中产生非线性效应，甚至产生饱和效应。现代图像传感器的噪声几乎完全由到达像素的光子数量确定。在暗区域中(光子较少)，绝对噪声可能较低，但相对噪声(与亮度相关)可能较高。在亮区域中(许多光子)，绝对噪声可能较高，但相对噪声可能较低。在这方面，黑图像区域和白图像区域可能表现得不同。光路中的杂散光效应可能会导致亮图像区域溢出到相邻的暗图像区域中，但反之则不然。由于镜头特性不佳或错误聚焦，也可能会出现模糊效应。这里，亮区域也可以涂抹到暗区域中，但反之则不然。亮区域中的模糊(无论出于何种原因)和饱和的组合可能会导致亮饱和区域溢出到暗区域中，由此在传统棋盘图案的情况下无法找到标记点。

许多现代相机特别是使用HDR模式(HDR＝High Dynamic Range，高动态范围)来增加其动态范围。时间HDR特别普遍，其中快速依次记录具有不同曝光时间的多个(例如3个)图像记录，并将部分图像在内部组合成一个图像。于是，不同亮度的图像区域来自不同的部分图像。例如，最暗的区域(例如棋盘的黑色方块)来自暂时的第一方块，最亮的区域(棋盘上的白色方块)来自暂时的最后一个部分图像。如果与此同时相机相对于目标移动，则会在图像中产生目标的亮区域和暗区域之间的局部位移。特别引人注目的是明暗边缘处的效应，在那里所有混合形式都可能出现。这种记录可能不适合于精确校准，因为无法再精确确定标记点。在局部HDR的情况下，大像素或敏感像素和小像素或不敏感像素交替出现传感器上。由此可能在确定标记点时出现系统的不准确性，因为分别负责亮区域和暗区域的像素位于不同的地点。

通过这里提出的点对称区域和/或图案可以避免或至少减轻如上所述的这种不期望的效应。通过构造，这些区域/或图案可以大致具有均匀的亮度分布。最亮灰度值于最暗灰度值之间的所有灰度级(每一个均可配置)可以在区域或图案中大致相同频率地出现。可以完全避免真黑和真白，以便能够从一开始就避免非线性效应，特别是在打印图案时就已经避免，而且在记录图像和相机内预处理图像时也可以避免。当区域或图案填充图像式地位于相机前面时，可以例如以至少与相机的分辨能力一样高的分辨率来产生(例如印刷)所述区域和/或图案。如果该区域或图案距离相机较远，即不再以填充图像的方式，则该区域和/或图案的分辨率绰绰有余。因此，通过光路中存在的成像模糊(通过镜头、图像传感器以及根据相机版本通过图像传感器前面的可选抗锯齿滤波器)可以对点对称区域或图案进行平滑。在这个平滑过程中，灰度值的分布发生了变化：原始给定的均匀分布可以趋向于变成正态分布，其重心位于中间灰度值区域中。这导致相机可以在其中等灵敏度范围内工作，为此对相机进行了优化，并且可以避免在相机的暗极值区域中以及特别是在相机的亮极值区域中出现伪影。

提出了一种用于提供校准数据以校准相机的方法，其中该方法具有以下步骤：

从至所述相机的接口读入借助于所述相机提供的图像数据，其中所述图像数据代表在所述相机的环境中的至少一个预定义偶数和/或奇数点对称区域的相机图像；

使用所述图像数据和确定规则来确定至少一个偶数和/或奇数点对称区域的至少一个对称中心；

将所述至少一个对称中心在所述相机图像中的位置与至少一个参考对称中心在参考图像中相对于参考坐标系的预定义位置进行比较，以确定所述对称中心与所述参考对称中心之间的位置偏差；和

使用所述位置偏差求取所述相机图像的至少一个像素子集相对于所述参考图像的对应像素的位移信息，其中使用所述位移信息来提供所述校准数据。

该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。可以通过执行下述制造方法的变型来制造至少一个预定义点对称区域。确定规则可以类似于或对应于在申请人以后公开的DE 10 2020 202 160中公开的过程。参考图像可以代表至少一个预定义点对称区域。参考图像还可以由至少部分对应于或等同于可以从参考图像获得的信息的参考数据来代替。使用参考数据的工作可能是有利的，特别是在可从参考图像中提取的信息已经以参考数据的类型以更容易使用的形式给出的情况下减少工作量的意义上。参考数据可以以压缩形式或表示来代表参考图像，例如作为描述符图像、签名图像和/或具有现有对称中心的所有坐标和类型的列表。求取步骤可以使用光流、特别是密集光流来执行。位移信息可以代表位移矢量或绝对坐标。

根据一种实施方式，在确定步骤中使用的确定规则可以被构造为使得针对所述相机图像的至少一个区段的多个像素产生签名，以获得多个签名。在此情况下，可以使用具有多个不同过滤器的描述符来产生每个签名。每个过滤器可以具有至少一个对称类型。每个签名可以针对描述符的每个过滤器都具有符号。确定规则还可以被构造为使得针对签名求取用于过滤器的至少一个对称类型的至少一个镜像签名。确定规则还可以被构造为使得检查具有签名的像素是否在该像素周围环境中的搜索区域中存在至少一个另外的像素，该至少一个另外的像素具有对应于至少一个镜像签名的签名，以在存在所述至少一个另外的像素时求取来自该像素和另外的像素的至少一个对称签名对的像素坐标。另外，确定规则可以被构造为使得评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心。描述符可以以紧凑的形式描述像素或参考像素周围的局部环境中的图像内容。签名可以例如以二进制表示描述像素的描述符的值。因此，可以使用多个计算出的签名图像来确定所述至少一个镜像签名，例如一个签名图像具有正常过滤器，一个签名图像具有偶数点镜像过滤器，一个签名图像具有奇数点镜像过滤器。附加地或替代地，可以将至少一个反射器应用于签名之一的符号，以求取至少一个镜像签名。在这种情况下，每个反射器可以具有特定于对称类型且依赖于描述符的过滤器的规则以用于修改符号。在此，搜索区域可以取决于所应用的反射器中的至少一个反射器。这样的实施方式提供了使得可以高效且精确地检测图像数据中的对称特性的优点。在此情况下，可以用最小的工作量实现图像中的对称性检测。

在此，在确定步骤中，对于每个已经确定的对称中心使用有助于正确标识该对称中心的每个对称签名对的像素坐标，确定用于变换该对称中心和/或至少一个预定义偶数和/或奇数点对称区域的像素坐标的变换规则。所述变换规则可以应用于对称中心和/或至少一个预定义偶数和/或奇数点对称区域的像素坐标，以校正相机图像的扭曲视角。这样的实施方式提供的优点是可以实现多个点对称区域的正确网格或正确拓扑的可靠且准确的重建。

还可以在确定步骤中确定所述至少一个对称中心的对称类型。对称类型可以代表偶数点对称并且附加地或替代地代表奇数点对称。附加地或替代地，在此情况下在进行比较的步骤中，可以将至少一个对称中心在所述相机图像中的对称类型与至少一个参考对称中心在参考图像中的预定义对称类型进行比较，以检查至少一个对称中心和至少一个参考对称中心之间的一致性。奇数点对称可以通过灰度值或颜色值反转的点镜像来产生。通过使用和标识两种不同的点对称，可以增加点对称区域和图案的信息内容。

在此情况下，在读入步骤中读入的图像数据可以代表由多个预定义偶数和/或奇数点对称区域构成的至少一个图案的相机图像。在此，在确定步骤中，可以确定所述至少一个图案的对称中心的几何布置，可以确定所述对称中心的对称类型的几何序列，并且附加地或替代地，可以使用所述序列从多个预定义图案中确定所述图案。所述布置和/或所述序列可以代表图案的标识码。这样的实施方式提供的优点是可以增加标识对称中心的可靠性并且可以通过识别特定图案来获得进一步的信息。还可以针对相机与图案之间的不同距离实现对称中心的可靠标识。

在这种情况下，在确定步骤中，使用所述至少一个图案的对称中心的布置以及附加地或替代地使用所述对称中心的对称类型的序列来确定所述至少一个图案的隐式附加信息或用于读出所述相机图像中的显式附加信息的读出规则。所述布置以及附加地或替代地所述序列可以以编码形式代表所述附加信息。附加信息可以与相机的校准有关。这样的实施方式提供了可以通过至少一个图案的拓扑来传达附加信息的优点。

在此，在进行比较的步骤中，也可以根据所确定的布置、所确定的序列以及附加地或替代地所确定的图案从多个存储的参考图像中选择所述参考图像或者使用存储的产生规则来产生所述参考图像。通过这种方式，可以可靠地标识正确的参考图像。可选地，当所标识的图案和产生规则之间存在链接时，也可以最小化对参考图像的存储器要求，因为仅需要存储产生规则。

此外，在此可以独立于对称中心的对称类型对所有对称中心共同执行确定步骤以及附加地或替代地进行比较的步骤，或者根据对称中心的对称类型对同一种对称类型的对称中心单独地执行确定步骤以及附加地或替代地进行比较的步骤。因此，通过共同执行可以实现准确和可靠地标识对称中心的低存储器和时间要求。可选地，特别是可以通过单独执行来最小化与图像中随机出现的图案的混淆。

还提出了一种用于校准相机的方法，其中该方法具有以下步骤：

评估根据上述方法的实施方式提供的校准数据，以产生取决于所述校准数据的控制信号；以及

向至所述相机或所述相机的校准装置的接口输出所述控制信号，以校准所述相机。

该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。在此，可以有利地结合上述用于提供的方法的实施方式来执行用于校准的方法。

此外，提出了一种用于制造供上述方法的实施方式使用的至少一个预定义偶数和/或奇数点对称区域的方法，其中该方法具有以下步骤：

生成设计数据，所述设计数据代表所述至少一个预定义偶数和/或奇数点对称区域的图形表示；以及

使用所述设计数据在显示介质上、显示介质处或显示介质中产生所述至少一个预定义偶数和/或奇数点对称区域，以制造所述至少一个预定义偶数和/或奇数点对称区域。

该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。通过执行该制造方法，可以制造至少一个预定义偶数和/或奇数点对称区域，其可以在上述方法的实施方式的范围内使用。

根据一个实施方式，可以在生成步骤中生成设计数据，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表至少一个预定义偶数和/或奇数点对称区域的图形表示。在这种情况下，至少一个预定义偶数和/或奇数点对称区域可以具有规则的或准随机的内容图案。附加地或替代地，可以任意预给定至少一个预定义偶数和/或奇数点对称区域的第一半面，并且可以通过点镜像和可选附加地灰度值和附加或替代地颜色值的反转来构造第二半面。附加地或替代地，在产生步骤中，可以通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生至少一个预定义偶数和/或奇数点对称区域。附加地或替代地，显示介质可以具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示装置。因此，可以根据具体用途或者根据具体应用和那里普遍的边界条件以恰好合适的方式制造至少一个预定义偶数和/或奇数点对称区域。

还可以在生成步骤中生成设计数据，所述设计数据代表由多个预定义偶数和/或奇数点对称区域构成的至少一个图案的图形表示。在这种情况下，偶数和/或奇数点对称区域的至少一个子集可以在规则或不规则网格上对齐、彼此直接邻接并且附加地或替代地与至少一个相邻的偶数和/或奇数点对称区域通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面可以彼此相同或彼此不同，并且附加地或替代地布置在共同平面中或不同平面中。附加地或替代地，在生成步骤中，可以生成代表具有分层对称的至少一个图案的图形表示的设计数据。以此方式，针对与图案的不同距离，可以产生具有特定信息内容的不同图案以及附加地或替代地具有分层对称的图案。

即使已知存在对应的标记，特别是人类也很难觉察隐藏在图案中的对称性。例如这也使得隐藏这种标记成为可能。由于各种原因，这可能是有意义的或期望的，例如特别是出于美观原因，因为技术标记不应当或不希望被看到，因为例如注意力不应由于对人类不重要的标记而被降低，或因为标记应当保密。美观原因起着重要作用，特别是在设计领域。例如在车辆内部空间中、在车辆外皮上、在美观设计的物体上或在内部架构或建筑架构领域，显眼的技术标记不会或很难被接受。但是，如果要隐藏技术标记，例如在织物图案中或在塑料浮雕或陶瓷浮雕中或在全息图中或在印刷表面上，如根据实施方式可能的那样，则技术标记可以同时美观且有用，以例如为相机提供一个或多个参考点，以例如由此能够确定相对的相机姿势。根据应用，隐藏的方面也可能是不相关的或几乎没有相关性。于是，技术的鲁棒性仍然适用于这样设计的图案的使用。特别地，具有随机字符或伪随机字符的图案可以提供能够找到尽可能明确的对称点对的多种可能性。根据实施方式，这例如可以被利用，特别是有利于对称中心处测量的响应的信噪比，并且因此有利于在无错误地检测和精确定位对称中心的意义下的鲁棒性。图案可以特别是包括具有奇数或偶数点对称性的一个或多个点对称区域。这些区域可以例如设计为圆形、六边形、正方形、椭圆形、多边形或其他形状。点对称区域可以是相同类型的，或是不同形状和大小的。点对称区域可以无间隙地相互连接或间隔开。

这里提出的方案还创建了一种设备，该设备被构造为在对应的装置中执行、操控或实现这里提出的方法的变型的步骤。还可以通过设备形式的本发明的该实施例变型来快速且有效地解决本发明所基于的任务。

为此，该设备可以具有用于处理信号或数据的至少一个计算单元，用于存储信号或数据的至少一个存储单元，至传感器或致动器的至少一个接口，用于从所述传感器读入传感器信号或用于向所述致动器和/或用于读入或输出嵌入在通信协议中的数据的至少一个通信接口输出数据或控制信号。所述计算单元例如可以是信号处理器、微控制器等，其中所述存储单元可以是闪存、EEPROM或磁存储单元。所述通信接口可以被构造为无线地和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口可以例如从对应的数据传输线路电学或光学地读入所述数据或者可以将所述数据电学或光学地输出到对应的数据传输线路中。

在当前情况下，设备可以理解为处理传感器信号并且根据传感器信号输出控制信号和/或数据信号的电装置。所述设备可以具有可以被构造为硬件和/或软件的接口。在构造为硬件的情况下，所述接口可以例如是所谓的系统ASIC的一部分，该部分包含所述设备的各种功能。然而，所述接口也可以是单独的集成电路或者至少部分地由分立元件组成。在构造为软件的情况下，所述接口可以是例如与其他软件模块一起存在于微控制器上的软件模块。

具有程序代码的计算机程序产品或计算机程序也是有利的，所述程序代码可以存储在机器可读载体或存储介质(如半导体存储器、硬盘存储器或光学存储器)上并且用于执行、实现和/或操控根据上述实施方式之一的方法的步骤，特别是当程序产品或程序在计算机或设备上运行时。在此，该方法可以作为SoC或ASIC上的硬件加速器来实现。

附图说明

这里提出的方案的实施例在附图中示出并且在下面的描述中得到更详细的解释。

图1示出了用于提供的设备的实施例、用于校准的设备的实施例以及相机的示意图；

图2示出了用于制造的设备的实施例的示意图；

图3示出了用于提供的方法的实施例的流程图；

图4示出了用于校准的方法的实施例的流程图。

图5示出了用于制造的方法的实施例的流程图；

图6示出了根据实施例的具有由预定义点对称区域构成的图案的显示介质的示意图；

图7示出了根据实施例的具有由预定义点对称区域构成的图案的显示介质的示意图；

图8示出了具有来自图7的图案的显示介质的示意图，具有图案或预定义点对称区域的图形突出显示；

图9示出了根据实施例的预定义点对称区域的示意图；

图10示出了根据实施例的由预定义点对称区域构成的图案的示意图；

图11示出了根据实施例的查找表的使用的示意图；

图12示出了根据实施例的投票矩阵的示意图；

图13示出了关于网格的正确标识的根据实施例的示例性以立方体形式布置的图案的示意图；

图14以斜视角示出了图6的第一部分图示中所示图案的示意图；

图15示出了来自图14的第一部分图示的图案，其中突出显示了预定义点对称区域；

图16示出了根据实施例的图15的图案在视角校正之后的示意图；

图17示出了具有分层对称的图案的实施例的示意图；

图18示出了具有分层对称的图案的实施例的示意图；

图19示出了具有分层对称的图案的实施例的示意图；

图20示出了根据实施例的图案的示意图；

图21示出了传统棋盘图案和由预定义点对称区域构成的图案的实施例的示意性并置图示；

图22示出了在模糊和非线性的组合的影响下图21的棋盘图案和图案的示意图；以及

图23分别示出了图21和图22的棋盘图案和图案的示意图，其中标识出了图案的对称中心。

具体实施方式

在本发明的有利实施例的以下描述中，为不同图中示出的并且具有相似效果的元件使用相同或相似的附图标记，其中省略对这些元件的重复描述。

图1示出了用于提供的设备120的实施例、用于校准的设备140的实施例以及相机102的示意图。在图1的图示中，用于提供的设备120或提供设备120和用于校准的设备140或校准设备140单独地示出或布置在相机102外部地示出。提供设备120以及校准设备140以能够进行数据传输的方式与相机102连接。根据另一实施例，提供设备120和/或校准设备140也可以是相机102的一部分和/或可以彼此组合。

相机102被构造为记录相机102的环境的相机图像。在相机102的环境中，示例性地仅布置了具有对称中心112的预定义偶数和/或奇数点对称区域110。相机102还被构造为提供或产生代表相机图像的图像数据105，其中该相机图像也示出预定义偶数和/或奇数点对称区域110。

提供设备120被构造为提供用于校准相机102的校准数据135。为此，提供设备120包括读入装置124、确定装置126、执行装置130以及求取装置132。读入装置124被构造为从提供设备120至相机102的输入接口122读入图像数据105。此外，读入装置124还被构造为将代表相机图像的图像数据105转发至确定装置126。

提供设备120的确定装置126被构造为使用图像数据105和确定规则128来确定至少一个点对称区域110的对称中心112。下面将更详细地讨论确定规则128。在此需要指出的是，确定规则128与申请人以后公开的DE 10 2020 202 160中公开的过程类似或对应。确定装置126还被构造为将所确定的至少一个对称中心112转发至执行装置130。

执行装置130被构造为将至少一个对称中心112在相机图像中的位置与至少一个参考对称中心在参考图像115中相对于参考坐标系的预定义位置进行比较，以确定对称中心112与参考对称中心之间的位置偏差131。执行装置130还被构造为从存储装置150读入或接收参考图像115或参考数据115。存储装置150可以被实施为提供设备120的一部分或者与提供设备120分离。此外，执行装置130被构造为将位置偏差131转发至求取装置132。

求取装置132被构造为随后使用位置偏差131来求取相机图像的至少一个像素子集相对于参考图像115的对应像素的位移信息133。提供设备120被构造为使用位移信息133来提供校准数据135。更准确地说，提供设备120被构造为经由提供设备120的输出接口138向校准设备140提供校准数据135。

校准设备140被构造为校准相机102或控制相机102的校准。为此，校准设备140包括评估装置144和输出装置146。校准设备140被构造为经由校准设备140的输入接口142从提供设备120接收或读入校准数据135。评估装置144被构造为评估由提供设备120提供的校准数据135，以产生取决于校准数据135的控制信号145。评估装置144还被构造为将控制信号145转发至输出装置146。输出装置146被构造为将控制信号145输出到至相机102和/或相机102的校准装置104的输出接口148，以校准相机102或控制相机102的校准。

特别地，确定规则128被构造为使得针对所述相机图像的至少一个区段的多个像素产生签名，以获得多个签名。在此情况下，使用具有多个不同过滤器的描述符来产生每个签名。每个过滤器具有至少一个对称类型。每个签名针对描述符的每个过滤器都具有符号。确定规则128还可以被构造为使得将至少一个反射器应用于签名之一的符号，以针对该签名确定用于过滤器的至少一个对称类型的至少一个镜像签名。在这种情况下，每个反射器包括特定于对称类型且依赖于描述符的过滤器的规则以用于修改符号。确定规则还被构造为使得检查具有签名的像素是否在该像素周围环境中的取决于所应用的至少一个反射器的搜索区域中存在至少一个另外的像素，该至少一个另外的像素具有对应于至少一个镜像签名的签名，以在存在所述至少一个另外的像素时求取来自该像素和另外的像素的至少一个对称签名对的像素坐标。另外，确定规则被构造为使得评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心。

根据一个实施例，确定装置126被构造为，针对每个已确定的对称中心112，使用有助于正确标识对称中心112的每个对称签名对的像素坐标来产生用于变换对称中心112和/或点对称区域110的像素坐标的变换规则。将所述变换规则应用于对称中心112和/或点对称区域110的像素坐标，以校正相机图像的扭曲视角。此外，基于多个、特别是相邻的点对称区域110来确定变换规则是有利的，因为更鲁棒、更准确并且受到更少的噪声影响，特别是如果这些点对称区域位于共同平面上的话。当考察多个对称中心112的布置时，变换的应用特别有利。

根据一个实施例，确定装置126还被构造为确定至少一个对称中心112的对称类型。该对称类型代表偶数点对称并且附加地或替代地代表奇数点对称。附加地或替代地，在此情况下执行装置130被构造为将至少一个对称中心112在相机图像中的对称类型与至少一个参考对称中心在参考图像115中的预定义对称类型进行比较，以检查至少一个对称中心112与至少一个参考对称中心之间的一致性。

特别地，图像数据105在此情况下代表由多个预定义点对称区域110构成的至少一个图案的相机图像。在此，确定装置126被构造为确定至少一个图案的对称中心112的几何布置，确定对称中心112的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定由图像数据105代表的正确图案。该布置和/或该序列可以代表图案的标识码。根据一个实施例，确定装置126在此情况下被构造为使用至少一个图案的对称中心112的布置和/或对称中心112的对称类型的序列来确定所述至少一个图案的隐式附加信息或用于读出相机图像中的显式附加信息的读出规则。该布置和/或该序列以编码形式代表附加信息。所述附加信息与相机102的校准有关。附加地或替代地，执行装置130在此情况下被构造为根据所确定的布置、所确定的序列和/或所确定的图案从多个存储的参考图像中选择参考图像115或者使用存储的产生规则来产生参考图像115。

图2示出了用于制造的设备200的实施例的示意图。用于制造的设备200被构造为制造至少一个预定义偶数和/或奇数点对称区域110，以供图1中的提供设备或类似设备和/或图1中的校准设备或类似设备使用。为此，用于制造的设备200包括生成装置202和产生装置206。生成装置202被构造为生成设计数据204。设计数据204代表至少一个预定义偶数和/或奇数点对称区域110的图形表示。产生装置206被构造为使用设计数据204在显示介质上、显示介质处或显示介质中产生至少一个预定义偶数和/或奇数点对称区域110，以制造至少一个预定义偶数和/或奇数点对称区域110。

根据一个实施例，生成装置202被构造为生成设计数据204，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表至少一个预定义偶数和/或奇数点对称区域110的图形表示，其中至少一个预定义偶数和/或奇数点对称区域110具有规则的或准随机的内容图案，和/或其中任意预给定至少一个预定义偶数和/或奇数点对称区域110的第一半面，并且通过点镜像和/或灰度值和/或颜色值的反转来构造第二半面。附加地或替代地，产生装置206被构造为通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生至少一个预定义偶数和/或奇数点对称区域110。附加地或替代地，在此情况下显示介质具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示装置。。

根据一个实施例，生成装置202被构造为生成设计数据204，所述设计数据代表由多个预定义偶数和/或奇数点对称区域110构成的至少一个图案的图形表示，其中点对称区域110的至少一个子集在规则或不规则网格上对齐、彼此直接邻接和/或与至少一个相邻的点对称区域110通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面彼此相同或彼此不同，和/或布置在共同平面中或不同平面中。附加地或替代地，生成装置202被构造为生成代表具有分层对称的至少一个图案的图形表示的设计数据204。

图3示出了用于提供校准数据以校准相机的方法300的实施例的流程图。用于提供的方法300在此情况下可以使用图1中的提供设备或类似设备来执行。用于提供的方法300包括读入步骤324、确定步骤326、执行步骤330以及求取步骤332。

在读入步骤324中，从至相机的接口读入借助于相机提供的图像数据。所述图像数据代表相机环境中的至少一个预定义偶数和/或奇数点对称区域的相机图像。然后在确定步骤326中使用图像数据和确定规则来确定至少一个点对称区域的至少一个对称中心。随后，在执行步骤330中将至少一个对称中心在相机图像中的位置与至少一个参考对称中心在参考图像中相对于参考坐标系的预定义位置进行比较，以确定对称中心与参考对称中心之间的位置偏差。随后，在求取步骤332中使用位置偏差来求取相机图像的至少一个像素子集相对于参考图像的对应像素的位移信息。使用所求取的位移信息来提供校准数据。

根据一个实施例，在读入步骤324中读入的图像数据代表由多个预定义点对称区域构成的至少一个图案的相机图像。在此，在确定步骤326中，确定至少一个图案的对称中心的几何布置，确定对称中心的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定所述图案。该布置和/或该序列代表图案的标识码。可选地，在此确定步骤326和/或执行步骤330与对称中心的对称类型无关地针对所有对称中心共同执行，或者根据对称中心的对称类型针对同一对称类型的对称中心单独执行。

图4示出了用于校准相机的方法400的实施例的流程图。用于校准的方法400可以使用图1的校准设备或类似设备来执行。此外，用于校准的方法400可结合图3的用于提供的方法或类似方法来执行。用于校准的方法400包括评估步骤444和输出步骤446。

在评估步骤444中，评估根据图3的用于提供的方法或类似方法提供的校准数据，以产生取决于校准数据的控制信号。随后，在输出步骤446中，将控制信号输出到至相机或该相机的校准装置的接口，以校准该相机。

图5示出了用于制造的方法500的实施例的流程图。可执行用于制造的方法500，以制造至少一个预定义点对称区域供图3的用于提供的方法或类似方法使用和/或供图4的用于校准的方法或类似方法使用。用于制造的方法500还可以结合或使用图2的用于制造的设备或类似设备来执行。用于制造的方法500包括生成步骤502和产生步骤506。

在生成步骤502中，生成代表至少一个预定义点对称区域的图形表示的设计数据。随后，在产生步骤506中，使用所述设计数据在显示介质上、显示介质处或显示介质中产生至少一个预定义点对称区域，以制造至少一个预定义点对称区域。

图6示出了根据实施例的具有由预定义点对称区域110A和110B构成的图案610的显示介质600的示意图。在此情况下，每个预定义点对称区域110A和110B对应于或类似于图1中的预定义点对称区域。在第一部分图示A中，示出了仅由示例性地49个预定义点对称区域110A和110B构成的图案610，并且在第二部分图示B中，示出了仅由示例性地八个预定义点对称区域110A和110B构成的图案610。在这种情况下，第一预定义点对称区域110A具有奇数点对称作为对称类型，而第二预定义点对称区域110B具有偶数点对称作为对称类型。在这种情况下，将具有相应图案610的类噪声图像图案打印在每个显示介质600上。

可以基于图6来说明对称在机器视觉领域中根据实施例进行的使用，其中对称性可以被设计为人类难以觉察或几乎不可觉察，但同时对于实施例具有鲁棒性、局部精确性并且可以用最小的计算工作量检测到。在这种情况下，点对称或多或少隐藏在图案610中，观察者几乎无法识别这些点对称。通过在图6中以图形方式突出显示预定义点对称区域110A和110B，人类观察者可以在显示介质600上的类噪声图像图案中识别这些预定义点对称区域。在第一部分图示A中包含49个示例性圆形对称区域110A和110B，其中仅示例性地25个第一区域110A具有奇数点对称，24个第二区域110B具有偶数点对称。在第二部分图示B中，对称区域110A和110B被选择为比第一部分图示A中的更大，其中仅示例性地五个具有奇数点对称且仅示例性地三个具有偶数点对称，并且因此特别是适合于更大的相机距离或更低的图像分辨率。因此，圆形对称区域110A和110B位于设计为板的显示介质600上，其中在奇数或负点对称的情况下，点镜像将亮成像为暗，反之亦然，而在偶数或正点对称的情况下这种反转不会发生。如果需要多个图案610，则这些图案可以被设计为可区分的。这可以通过区域110A和110B的对称中心的布置来完成，如图6所示，其中第一部分图示A和第二部分图示B是可简单区分的，或者基于相应图案610内的区域110A和110B的负或奇数点对称和正或偶数点对称的序列。

图7示出了根据实施例的具有由预定义点对称区域构成的图案610的显示介质600的示意图。图案610在此情况下对应于或类似于来自图6的图案之一，其中图案610在图7的图示中示出而没有以图形突出显示。图7中仅以示例的方式示出了与图6中的载体介质类似的十个显示介质600。

图8示出了具有来自图7的图案610的显示介质600的示意图，其中图案或预定义点对称区域110A和110B以图形突出显示。仅作为示例，具有预定义点对称区域110A和110B的图案610在此情况下布置或以图形方式突出显示在十个显示介质600上。

因此，图7和图8仅示例性地示出了针对可区分性优化的十个图案610。每个图案610具有奇数点对称区域110A和偶数点对称区域110B的单独布置。因此通过该布置对图案610编码。这里编码被选择为并相互协调和/或通过训练来优化，使得即使十个图案610被旋转或镜像或部分隐藏地由相机捕获，这十个图案仍然是可明确识别和区分的。在图7和图8的图案610中，每个显示介质600的四个角中的点对称区域110A和110B分别被有意地设计得稍微更明显。这与功能本身无关，但在手动组装具有图案610的显示介质600时提供了实际优点。具有图案610的显示介质600可以在已经描述的制造方法的范围内任意布置，例如三维或平面地串行或作为表面。在已经描述的提供方法的范围内和/或借助于已经描述的提供设备可以正确且精确地找到图案610的点对称中心。图案610例如可以印刷在任何尺寸的实心板上，所述实心板可以可选地以相对于彼此部分正交的布置放置。在相机对图案610的成像模糊的情况下，也可以足够良好地检测到对称中心，以由此实现所描述的功能。因此，点对称中心的检测对于模糊成像是鲁棒的。这将应用范围扩大到用浅景深进行工作的状况，例如光线较弱的场景，或者相机的焦点或自动焦点设置不正确或无法实现完美清晰成像的状况，例如在液体或浑浊或移动的介质中或在镜头的边缘区域中或在图案610和相机之间的相对移动期间(移动模糊、定向模糊)。即使点对称自然发生并且特别是在人为设计的环境中发生，基于它们的可能误检测在空间分布上也不同于基于正确图案610的检测，并且因此可以容易地将这两组彼此分离或区分开来。

为了表明上述提供方法也适用于移动中的非平坦和甚至弹性的表面，可以将图7和图8的图案610印刷在例如纸上，并且组合为柔性盒子。即使对于非平坦或弹性的表面(例如由纸构成)，上述提供方法也没有任何问题地适用。这使得能够确定这些表面的移动。与许多物质相反，纸虽然不允许剪切，但点对称对于剪切也是不变的，从而剪切不会造成问题。

特别地，可以精确地求取对称中心在相机图像中的方位。然而，将这种精确测量扩展到图案610的整个面也可能在各种应用中是令人感兴趣的。即为图案610的每个点或像素说明该点或像素位于相机图像中的哪里。这然后允许例如根据构造(Ground Truth，基准真值)求取真实观察到的图案610与理想图案之间的最小偏差。例如感兴趣的是，将图案610以印刷方式施加在非光滑或非刚性的表面上并且由此例如在图案610中产生可变的折叠或凹痕，其准确形状应当被求取。特别是具有随机特性的图案非常适合于寻找从第一图像到第二图像的对应点。在此，第一图像和第二图像可以用同一相机或用两个相机从不同的视角按时间顺序记录。

特别地，现在应当考察当第一图像是来自相机的真实图像并且第二图像是给定图案的人工产生(存储)的图像(也称为参考图像)，该人工产生的图像例如基于找到的对称中心而放置(例如缩放、旋转、仿射映射、投影)到第二图像中，使得它尽可能接近真实的(第一)图像。对于参考图像，必要时跳过或省略对于来自相机的第一图像所需的处理步骤，例如图像预处理步骤。然后可以应用以下已知方法，例如光流或视差估计的方法，以例如为相机图像中的每个像素找到参考图像中的对应——或反过来。因此得出了一个两步骤过程：在第一步骤中，将找到的对称中心以及必要时所包含的编码用于将真实图像与已知图案配准或粗略对齐。这于是代表了初始化，以在第二步骤中例如使用光流方法再次精确地求取在所配准的真实图像和图案之间的局部位移的意义上的最小偏差，而且在需要时对于图像或图案610的每个点或像素都求取。搜索区域越小，第二步骤所需的计算工作量就越小。这里该计算工作量通常非常小—一由于来自第一步骤的良好初始化。由于这两个步骤只需要很少的计算工作量，因此在常用的计算机平台上实现了高像素吞吐量，该像素吞吐量被定义为帧重复速率[图像/秒]和图像尺寸[像素/图像]的乘积。如果局部地未发现一致，则通常可以通过朝向图案610的视线被对象遮挡来解释。由此可以推断出被遮挡对象的形状或轮廓。

应为上述两步骤过程提供参考图像。这可以通过以下方式来解决：针对讨论的所有图案610在一个存储器中保持相关联的参考图像。由此带来的存储器耗费可以通过仅存储在需要时重新计算或生成参考图像所需的相应参数来减少。例如，可以借助于准随机数生成器根据简单规则来产生图案610。这里的“准”一词表示随机数生成器实际上根据确定性规则工作，因此其结果是可再现的，这在这里是有利的。这里例如应将规则理解为，对称区域110A和110B具有什么直径以及应当如何执行镜像以及图案610如何由具有不同细节程度的多个图案以加权方式组成，例如使得在短距离、中距离和远距离时都能很好地检测到该图案。于是仅存储准随机数生成器的初始化数据(种子)以及必要时存储用于构造图案610的规则的选择就足够了。借助于该形成规则，在需要时可以一再地且相同地产生参考图案(并且然后再次删除)。

总之，两步骤过程可以例如如下表示。在第一步骤中，找到对称中心并求取它们的符号。这里，符号表示奇数对称和偶数对称的大小写区别。通过比较符号序列，可以确定涉及多个图案中的哪一个图案。图案610的符号序列也可以称为代码。该代码可以以紧凑的方式描述并且对于具有例如8×8对称中心的图案610需要最多64位。出于比较的目的，应当存储所有现有或考虑的代码。从这个集合中搜索与观察尽可能无矛盾地一致的代码。这个结果通常是明确的。即使相机例如由于遮挡而只能捕获图案610的一部分，这种搜索仍然是可能的，因为在这个具有8×8对称中心的示例中，代码提供了非常大量的多达2⁶⁴种可能性，而已完成的图案610的数量将会少得多，从而给出了高度冗余。对于每个存储的代码，还应当存储产生参考图像所需的信息，如参数和规则选择。该参考图像是为第二步骤产生的，例如根据需要，即在需要时才产生，并且必要时只是暂时的。

基于在第一步骤中找到的以相机图像坐标给出的对称中心位置以及参考图像中与其对应的已知位置，可以计算出将这些坐标尽可能好地相互映射的变换规则，例如使用投影或仿射映射，该映射在最小二乘法的意义上得到优化。通过这种变换和对图像数据的适当过滤，可以将两个图像变换(扭曲)到共同的坐标系中，例如到相机图像的坐标系中或到参考图像的坐标系中或到任何第三坐标系中。然后，对由此已经相互对齐的两个图像进行更准确的比较，例如使用光流方法。例如，为第一图像的每个像素(优选地在考虑其环境的情况下)搜索第二图像的具有环境的最佳对应像素。对应位置的相对位移可以被表达为位移信息，特别是表达为绝对坐标或位移矢量。这样的位移矢量可以用亚像素精度来求取，于是对应性通常不在像素网格上，而是在像素网格之间。该信息允许对相机图像中捕获的图案610的整个面进行高度准确的分析，以例如使用弹性图案分析图案610或其载体/显示介质600的变形或扭曲，或者在刚性图案的情况下分析光路中的成像偏差。

如果在预期区域中找不到所搜索的对应性，则可以推断出图案610的局部遮挡。遮挡的原因可以例如是位于图案610上的对象，或者部分遮挡第一图案的第二图案。还可以从该遮挡分析中获得有价值的信息，例如对象的掩模或轮廓。

图9示出了根据实施例的预定义点对称区域110A和110B的示意图。在此情况下，每个预定义点对称区域110A和110B对应于或类似于来自上述附图之一的预定义点对称区域。在第一部分图示A中示出了包括其对称中心112的第二点对称或偶数点对称区域11OB，在第二部分图示B中示出了包括其对称中心112的第一点对称或奇数点对称区域110A。在此情况下，预定义点对称区域110A和110B代表由灰度级形成的区域。

点对称的使用相对于其他对称形式具有以下优点：当图案和/或至少一个预定义点对称区域绕观察轴旋转时，点对称得以保留；当图案和/或至少一个预定义点对称区域倾斜时，即在倾斜视角下，点对称同样得以保留。图案/或至少一个预定义点对称区域的旋转和倾斜不会对奇数点对称和偶数点对称的检测造成问题，因为奇数点对称和偶数点对称在此过程中得以保留。由此，上面已经提到的用于提供的方法或提供方法也适用于对图案或至少一个预定义点对称区域的倾斜视角。在偶数点对称的情况下，例如在点镜像时保留灰度值或颜色值。

与图9的第一部分图示A中的对称中心112点对称地，对于每个灰度值g分别找到相同的伙伴灰度值g_PG＝g。在图9的第二部分图示B中示出了奇数点对称，其中每个灰度值都被反转：例如，白色变成黑色，反之亦然，浅灰色变成深灰色，反之亦然。在灰度值g在区间0≤g≤1内的示例中，从在图9的图示中上部所示的区域110A的一半中，从原始灰度值g根据g_PU＝1-g以最简单可能的方式形成经过点镜像的灰度值g_PU。非线性也可以集成到该反转中，例如伽马校正，以例如补偿图像显示和图像记录中的其他非线性。合适的奇数或偶数点对称图案的形成对应地很简单。例如，图9的图示中上部所示的相应区域110A或110B的一半是任意设定的或随机生成的。然后由此得出图9的图示中下部所示的一半，而且通过点镜像，其中将奇数点对称的灰度值反转或者不将偶数点对称的灰度值反转。

这种观察或产生还可以扩展到彩色图案和/或预定义点对称区域。在此情况下，在奇数点对称时，经过点镜像的RGB值可以通过将各个原始RGB值反转来形成，这又是最简单的可能性，即r_PU＝1-r(红色)，g_PU＝1-g(g这里代表绿色))，b_PU＝1-b(蓝色)。从而例如深紫色被成像为浅绿色，蓝色被成像为橙色。彩色图案可以比单色图案代表更多信息，这可能是有利的。使用此优点的先决条件是也将颜色信息用于将原始图像(即相机或其他成像传感器的彩色图像)转换为描述符。

下面还应当参考上述附图讨论图案610和/或至少一个预定义点对称区域110或110A和/或110B的具体实施。

关于图案610和/或至少一个预定义点对称区域110或110A和/或110B的布置，例如如图6所示，点对称区域110或110A和/或110B可以是例如圆形的，并且这些区域又可以大多布置在图案610中的规则网格中。例如，圆形区域110或110A和/或110B之间的面可以保持未使用。对此存在替代方案：例如，区域110或110A和/或110B可以是正方形的并且无间隙地彼此连接，从而使用整个面，或者对称区域110或110A和/或110B可以是规则的六边形面，它们也无间隙地彼此连接，从而使用整个面。

在此关联中，图10示出了根据实施例的由预定义点对称区域110A和110B构成的图案610的示意图。预定义点对称区域110A和110B在此情况下对应于或类似于图1、图6和/或图8中的预定义点对称区域。图10中的区域110A和110B均是圆形的并且布置在六边形网格上。在这种情况下，网格点或对称中心之间的距离可以对应于圆直径。从而图案610中的区域110A和110B之间的未使用面1010可以被最小化。

其他布置和形状，例如矩形、多边形等也是可能的，它们也可以在形状和/或尺寸上彼此组合。例如，五边形和六边形的交替，就像普通足球一样。形状也可以按照其他方式布置，例如旋转，必要时之间具有不对称区域。对称中心也可以位于点对称区域本身之外。例如在将圆环作为形状时就是这种情况。也不必所有点对称区域都位于共同平面内。相反，它们可以位于空间中布置的不同面上，这些面也允许是不平坦的。

图案610和/或至少一个预定义点对称区域110或110A和/或110B可以通过多种方式形成。下面仅说明几个示例。随机图案或准随机图案，例如噪声图案。通过引入低空间频率分量，这些图案被形成为使得与相机的距离中等和较大时仍然将它们觉察为足够高对比度的噪声图案。所谓的白噪声，即不相关的灰度值，不适合于此。美观、必要时规则的图案，如花卉图案、卷须图案(叶子、树枝、花朵)、装饰图案、马赛克、数学图案、传统图案、洋葱图案、由标志性符号(心形等)构成的图案、自然界的随机图案的模仿(例如农田、林地、草坪、卵石滩、沙子、散装物料(砾石、盐、大米、种子)、大理石、毛石、混凝土、砖、板岩、沥青面、星空、水表面、毛毡、锤漆、生锈的铁皮、羊皮、散落的颗粒等)、具有任何内容的场景照片。为了从这种图案中产生适合本文提到的目的的点对称区域和/或图案，任意预给定相应面的一半，并且通过点镜像构建第二半，并且必要时将灰度值或颜色值反转。为此也参见图9作为简单示例。

关于图案610和/或至少一个预定义点对称区域110或110A和/或110B的材料、表面和制造，存在无数可能性。以下列表并不完整：在各种材料上进行黑白印刷、灰度印刷或多色印刷，在玻璃或透明薄膜上或后面印刷，在磨砂玻璃或半透明薄膜上或后面印刷，在石头或玻璃或塑料或橡胶中的浮雕，在诸如陶器、赤土陶器或陶瓷的烧制材料中的浮雕，金属或混凝土或石膏中的浮雕铸造，在塑料或纸/纸板上压花，在玻璃表面或金属表面或陶瓷表面中蚀刻，在木材、纸板、金属、石头等中铣削，木材或纸中的烧制表面，纸或其他材料的照相曝光，用于在植物材料、灰、沙子、木材、纸中、在水果、蛋壳、其他食品的皮等上的短期应用的短暂或腐烂或水溶性图案，作为全息图的显示，在监视器或显示器上的显示(必要时也可随时间变化)，在LCD薄膜或其他显示薄膜上的显示(必要时也可随时间变化)等。

关于浮雕制造可能性，如在铣削、压花、冲压等的情况下，应当注意的是，该区域应当被相机觉察为奇数对称和/或偶数对称。因此可能有必要在设计时就已经考虑例如稍后的照明(例如光倾斜入射到浮雕上)以及光学成像中的非线性和其他干扰。3D形状或浮雕本身是否具有偶数和/或奇数点对称类型并不重要，而是由相机记录的图像显示该对称性。在此，光入射或照明方向以及光在表面上的反射也相关，并且应当在设计中一起考虑。关于图像记录和照明，应当注意的是，记录技术应当被设计为适合于捕获图案610和/或至少一个预定义点对称区域110或110A和/或110B。特别地，在图案610和/或(一个或多个)区域110或110A和/或110B与相机之间快速相对移动的情况下，建议使用合适的照明(例如手电筒或频闪灯或明亮的LED灯)，使得曝光时间和由此图像中的移动模糊可以保持得很小。对于各种应用，将图案610和/或(一个或多个)区域110或110A和/或110B施加到透明或半透明表面上是有意义的。这允许图案610和/或(一个或多个)区域110或110A和/或110B从一侧被照亮并且从另一侧被观察。通过该解决方案，可以有效地避免光源在显示介质上的干扰性反射。对于图案610和/或(一个或多个)区域110或110A和/或110B、光源和相机的布置，原则上分别存在选择载体或显示介质的正面或背面的自由。当选择时，图案610和/或(一个或多个)区域110或110A和/或110B或相机受到污染或图案610和/或(一个或多个)区域110或110A和/或110B受到磨损的风险也可以发挥作用：从而例如将图案610和/或(一个或多个)区域110或110A和/或110B以及相机施加在背面是有意义的，因为它们在那里更好地受到保护以免受例如灰尘或水，或者因为图案610和/或(一个或多个)区域110或110A和/或110B在那里被保护免受机械磨损。

在以后公开的DE 10 2020 202 160中公开了一种也在实施例中使用的方法，以可靠地并且以很少的计算工作量找到图像中的对称区域或图案。在这种情况下，将原始图像，即相机或其他成像传感器的彩色图像或灰度值图像，转换为描述符的图像，其中描述符分别基于原始图像的局部环境形成。在此，描述符是局部图像内容的其他代表形式，所述描述符以更简单处理的形式准备所述局部图像内容。在此，这里更简单尤其是理解为：包含关于点的环境的信息而不仅仅关于点本身的信息，相对于亮度或照明及其变化的很大程度的不变性以及相对于传感器噪声的较低灵敏度。描述符图像可以具有与原始图像相同的分辨率，使得对于原始图像的每个像素大约存在一个描述符。替代地或附加地，其他分辨率也是可以的。

签名由相应描述符形成，该描述符在计算机单元中表示为二进制字，或者分别由多个相邻的描述符形成，所述签名尽可能特征性地描述原始图像的像素的局部环境。签名也可以与描述符或其一部分相同。签名用作访问查找表(Lookup表)的地址。因此，如果签名由N位组成，则可以访问大小为2^N(即：2的N次方)的查找表。有利的是，签名的字长N不应选择得太大，因为表的存储需求随N呈指数增长：例如8≤N≤32。签名或描述符被构造为使得使用简单的运算可以确定签名对称性，例如对一部分位的逐位XOR(异或)。示例：S_P＝s^R_P，其中s是长度为N位的签名，RP是点对称(P)的与之协调的反射器(R)。符号^代表逐位异或运算。因此，签名S_P代表签名s的点对称对应物。这种关系也适用于相反的方向。

如果描述符或签名的构造是固定的，则反射器因此也自动被设定(并且恒定)。通过将其应用于任何签名，可以将该签名转换为其对称对应物。存在一种算法可以在可选的有限搜索窗口内为当前像素处的给定签名找到一个或多个对称签名像素。于是对称中心位于这两个像素的位置之间的连接线的中间。在那里或尽可能在附近输出投票权重，并收集在投票矩阵(voting map，投票地图)中。在投票矩阵中，输出的投票权重在搜索的对称中心的位置处累积。因此可以找到这些对称中心，其方式是例如遍历该投票矩阵以寻找累积点。这适用于点对称、水平轴对称、垂直轴对称以及在需要时的其他对称，例如在另外的轴上的镜像对称，以及旋转对称。如果在评估投票矩阵以确定累积点和精确定位对称中心时也分别将局部环境也包括在观察中，则可以实现具有亚像素精度的更精确定位。

DE 10 2020 202 160的图15示出了一种算法，该算法可以找到与当前观察的签名的点对称对应性。然而，在该文献中仅考虑了偶数点对称。

根据实施例，将该算法扩展到奇数点对称。在此特别有利的是，奇数对称和偶数对称可以仅在一次共同的遍历中同时被确定。这节省了时间，因为只需要遍历一次签名图像而不是遍历两次，并且节省了延迟。当仅需要一次(而不是两次)遍历时，流模式下的处理可以以低得多的延迟提供对称搜索的结果。在此，一旦来自相机的第一像素数据到达，处理就开始，并且处理步骤密集地依次执行。这意味着一旦存在来自当前像素的局部环境的必要图像数据，就已经计算出签名。立即对刚刚形成的签名进行对称搜索。一旦投票矩阵的一些部分完成(当这些部分不再是并且也将不再是搜索区域的一部分时就是这种情况)，就可以立即对这些部分进行评估，并且可以立即输出找到的对称(强对称中心)。该过程导致非常低的延迟，所述延迟通常仅对应于少量图像行，这取决于搜索区域的高度。如果应当快速做出反应，例如在调节环内，其中执行器影响对称对象与相机之间的相对姿势，则低的延迟非常重要。也可以节省存储器。投票矩阵(voting map)可以共同用于两种对称形式，即偶数点对称和奇数点对称，其中具有不同符号的两种对称形式或对称类型参与投票，例如在奇数点对称时减去投票权重，在偶数点对称时加上投票权重。下面对此进行更详细的解释。此外，还可以通过节省存储器来节省能量。上述低延迟的实现可能性还导致与整个图像相比仅需要存储少量中间数据。这种使用很少存储器的工作对于成本关键的嵌入式系统(Embedded Systems)尤其重要，并且还导致对能源需求的节省。

图11示出了根据实施例的查找表1150的使用的示意图。查找表1150可由图1的用于提供的设备或类似设备的确定装置使用。换句话说，图11中搜索点对称对应性时的算法过程的实施例是与图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法相关的快照。特别地，图11中的图示也类似于以后公开的DE 10 2020 202 160的图15，其中这里图11还包括扩展以包括偶数点对称和奇数点对称。

查找表1150这里也可以称为条目表。示出了像素网格1100，在该像素网格中针对当前观察或处理的像素产生具有示例性值2412的签名s。换句话说，图11示出了在形成具有相同签名s的像素或像素坐标的链接期间的快照。为了更清楚起见，示出了最多N个可能链中的两个，而且是对于签名S_PG＝364和对于签名S_PU＝3731。在像素网格1100中，对每个像素存储对具有相同签名值的最后一个前签名的位置的引用。从而分别产生具有相同签名的位置的链接。因此，签名值本身不需要存储。对于每个签名值，将像素网格1100中的对应条目位置存储在具有N个表字段的查找表1150或条目表中。在此，N对应于可能的签名值的数量。所存储的值也可以是“无效的”。查找表1150或条目表的内容和引用的图像(链接图像)动态地改变。

在像素网格1100中例如逐行地处理像素例如从图11的左上开始，如通过箭头所示，并且当前已经前进到具有签名s＝2412的像素。仅针对第一图像区域1101存储分别具有相同签名s的像素位置之间的链接。对于下部图像部分中的第二图像区域1102，在所示的时间点还不知道链接和签名，并且对于上部图像部分中的第三图像区域1103，不再需要链接，例如由于搜索区域的限制，其中可以再次释放用于第三图像区域1103中的像素的链接存储器。

对于刚刚形成的签名s，通过应用反射器R_PG形成偶数点镜像签名S_PG＝364。索引PG代表点对称，偶数。下面还使用索引PU，其代表点对称，奇数。该值用作查找表1150中的地址，以在分配了相同签名值S_PG＝364的像素位置的链接中找到该条目。在所示的时间点，查找表1150包括两个元素：相应签名s的条目像素位置以及由弯曲箭头示出的对该位置的引用。为了清楚起见，未示出查找表1150的其他可能存在的内容。签名值S_PG＝364的链接包括这里仅示例性示出的三个像素位置。其中两个位于搜索区域1104中，搜索区域1104也可以具有与这里所示不同的形式，例如矩形或圆形。这里，当沿着该链接单向遍历时，从下部开始，找到位于搜索区域1104内的两个点对称对应候选。作为偶数点对称的链接的第一个元素的第三对应性在这里不令人感兴趣，因为它位于搜索区域1104之外并且因此离当前像素位置太远。如果对称中心候选1112的数量不太大，则可以为每个对称中心候选1112输出相应对称中心的位置的投票权重。对称中心候选1112分别位于签名s的位置与相应偶数点镜像的签名S_PG之间的连接轴的中间。如果存在多于一个的对称中心候选1112，则可以分别减小投票权重，例如可以使用对称中心候选的数量的倒数作为相应的投票权重。由此，不明确的对称中心候选被加权得小于明确的对称中心候选。

现在将考虑和使用奇数点镜像签名。在图11所示的快照中，对于刚刚形成的签名s通过应用另外的反射器R_PU形成奇数点镜像签名S_PU＝3731。与上述针对偶数点镜像签名的流程类似，对于奇数点镜像签名也执行相同的步骤。通过相同的查找表1150找到对应链接的条目。这里，查找表1150指向针对签名3731的为奇数点对称示出的链接。沿着该链接的前两个像素位置再次导致对称中心候选1112的形成，因为它们布置在搜索区域1104中并且因为候选对称中心候选1112的数量不是太大。沿着该链接的最后一个像素位置位于第三图像区域1103中。该区域根本不再需要，因为它不再能够进入这里逐行滑动的搜索区域1104。

如果链接内的下一个引用指向第三图像区域1103，则可以终止沿着该链接的穿行。当然，当到达该链接的末端时，也会终止穿行。在这两种情况下，限制对称中心候选1112的数量是有意义的，即，如果存在太多的竞争性对称中心候选1112，则丢弃所有对称中心候选1112。此外，如果在沿着链接的预给定最大步骤数量之后既不能到达其末端也不能到达第三图像区域1103，则提前终止沿着该链路的穿行是有意义的。在这种情况下也应当丢弃直到那里找到的所有对称中心候选1112。

用于第三图像区域1103中链接的存储器已经可以再次被释放，从而只需为第一图像区域1101的大小预留链接存储器。因此，链接存储器需求总体上较低，并且这里基本上仅取决于搜索区域1104的一个维度(这里是搜索区域高度)以及签名图像的一个维度(这里是签名图像宽度)。

对称中心候选1112或对称中心的候选可能并不总是准确地落在像素位置上，而是存在三种另外的可能性。因此总共存在四种可能性：

1.点或对称中心候选1112落在像素位置上。

2.点或对称中心候选1112落在两个水平直接相邻的像素位置之间的中间。

3.点或对称中心候选1112落在两个垂直直接相邻的像素位置之间的中间。

4.点或对称中心候选1112落在四个直接相邻的像素位置之间的中间。

在不明确的情况2至4中，将待输出的投票权重均匀地分布到参与的像素位置是有利的。将输出的投票权重输入到投票矩阵中并在其中相加或累加。

在此，不仅使用正投票权重，而且还同时使用负投票权重。特别地，偶数对称配备有与奇数对称(这里为负)不同的符号(这里为正)。这导致了明确的结果：在没有对称性的图像区域中，这些图像区域在实践中大多可以代表大多数，正投票权重输出和负投票权重输出大约相互平衡，由此在投票矩阵中大致相互抵消。因此平均而言，在投票矩阵中大约得出零。相反，在奇数对称区域或偶数对称区域中，在投票矩阵中得出强极值，而且在该实施例中在奇数点对称时得出负值最小值，在偶数点对称时得出正值最大值。

根据这里示出的实施例，为奇数点对称和偶数点对称使用相同的资源，即查找表1150或条目表、链接图、投票矩阵，这特别是节省了存储器需求，并且两种对称形式或对称类型在一次共同的遍历中被观察，这节省了时间和中间存储器。

图12示出了根据实施例的投票矩阵的示意图表1200。图表1200涉及投票矩阵，作为借助于图1的用于提供的设备或类似设备处理的相机图像的3D图，在该相机图像中由相机记录了来自图6的第二部分图示的图案。在投票矩阵或图表1200中，可以明显识别出示例性的三个最大值1210B和五个最小值1210A，它们代表来自图6的第二部分图示的图案的三个偶数点对称区域和五个奇数点对称区域。在这些极值之外，投票矩阵中的值接近于零。因此可以非常简单地确定极值，并且可以明确且精确地确定对称中心在相机图像中的位置。

图12示出了这些极值非常明显并且因此可以通过图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法简单且毫无疑义地检测到。在此，关于对称类型(即奇数或偶数)的信息包含在符号中。如果在评估投票矩阵时也考虑相应极值的局部环境，则可以以亚像素精度高精度地确定对称中心的位置。用于此目的的对应方法是本领域技术人员已知的。如果图案的构造适当，则奇数点对称和偶数点对称不会相互竞争。于是图像区域(如果有的话)要么具有奇数点对称形式，要么具有偶数点对称形式。即使奇数点对称区域和偶数点对称区域在相机图像中彼此接近，也可以确保它们的对称中心仍然在空间上彼此分离或可区分。然后，通过共同处理负对称和正对称，在资源和速度方面产生优点。

根据实施例，可以设置奇数点对称和偶数点对称的分开处理。在将条目输入投票矩阵之前分开是有意义的：然后设置两个无符号投票矩阵，来取代共同的有符号投票矩阵，其中将负对称的投票权重输入到第一个投票矩阵中，将正对称的投票权重输入到第二个投票矩阵中。在此情况下产生了潜在的有趣优点：也可以构建以下图案并且由检测算法考虑所述图案，所述图案同时具有奇数点对称和偶数点对称并且它们的对称中心局部重合。虽然这种混合对称形式非常不寻常，但这种不寻常保证极不可能与图像中随机出现的图案发生混淆。然后，搜索两个投票矩阵以找到存在于两个矩阵中相同位置处的最大值。分开处理奇数点对称和偶数点对称的另一个可能的优点是更容易并行化，由此必要时更快地执行。因为通过使用两个投票矩阵，可以避免在录入投票权重时的访问冲突，这节省了等待时间。

图13示出了在网格1311的正确标识方面根据实施例的示例性地以立方体形式布置的图案610的示意图。图13中所示的图案610例如是来自图7或图8的图案，其中三个图案在这里布置成立方体形状。在图案610中，示出了图案610的相应预定义点对称区域的检测到或标识出的对称中心112A和112B，其中投票矩阵中的相关联极值的符号和值可选地也能够已知。在此情况下，将第一对称中心112A分配给具有奇数点对称的预定义点对称区域，并且将第二对称中心112b分配给具有偶数点对称的预定义点对称区域。为图案610之一绘制正确的网格1311，预定义点对称区域以及因此对称中心112A和112B在该网格上对齐。对另外两个图案610将搜索正确的网格，其中在图13中，网格搜索的不正确的解决方案由第一标记1313示出，并且网格搜索的正确的解决方案由第二标记1314示出。

找到相关联的正确网格是具有模糊性的任务。在检测到奇数/偶数编码的对称中心112A和112B之后，下一步骤通常是将它们分组并确定该组分配给哪个图案610，因为事先并不总是知道哪些图案610以及多少个图案610包含在图像中。该任务的一部分可以是找到其上布置有对称中心112A和112B的网格1311。代替正方形网格1311，也考虑将其他拓扑用于对称中心112A和112B的布置，例如环形同心布置，参见例如图6中的第二部分图示。作为代表，下面观察正方形网格1311。

仅根据图13中的对称中心112A和112B的位置来确定所有图案610的正确网格的位置的任务在某些情况下是不明确的问题。如果在图13中观察图案610，对该图案已经绘制了正确的网格1311，则(向观察者)指示正确的网格1311并不困难。然而，对于由相机从明显更加倾斜的视角捕获的其他两个图案610而言，很明显输出可能是不明确的。关于如何能够通过对称中心112A和112B放置网格存在多种可能的解决方案。在此，当局部观察时最初最明显的解决方案，即具有近似垂直轴的解决方案，不是正确的解决方案，如基于第一标记1313可以看出的。相反，第二标记1314正确地位于该网格上。这表明一种幼稚的过程，例如搜索相应对称中心的最近邻居，在倾斜视角的情况下可能会导致错误的解决方案。在实践中排除具有非常倾斜视角的解决方案，因为这样不再能够找到对称中心112A和112B。

图14以倾斜视角示出了图6的第一部分图示中所示的图案610的示意图。在第一部分图示A中，图14中示出了具有由预定义点对称区域110A和110B构成的图案610的显示介质600。图14中的第二部分图示B示出了借助于图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法标识或检测的图案610的对称中心112A和112B。对称中心112A和112B已经被检测到并且至少它们的位置是可用的。

图15示出了来自图14的第一部分图示的图案610，其中突出显示预定义点对称区域110B。在此，预定义偶数点对称区域110B仅示例性地以图形方式突出显示，以说明由于倾斜视角导致的图案610或区域110A和110B的扭曲。这里示例性的圆形预定义点对称区域110A和110B通过倾斜透视被扭曲成椭圆。

下面特别是参考图14和图15并且总体参考上述附图来讨论图案610的正确网格或拓扑的重建。

在倾斜视角下，相应对称中心112A和112B的投票所源自的每个圆形区域110A和110B变成椭圆。通过回溯对相应对称中心112A、112B(例如图15中突出显示的具有偶数点对称的对称中心112B)做出贡献的投票，可以推断出相应椭圆的形状和定向。该椭圆主轴的方向和比率揭示了能够如何拉伸或拉直该椭圆以将其转换回圆。观察图案610的示例性突出显示的预定义偶数点对称区域110B，该区域有助于突出显示的点对称中心112B。根据设计或构造，该区域110B是圆形或近似圆形，例如六角形。在倾斜视角下，这个圆变成了椭圆。当进行投票以标识对称中心112B时，对称点对有助于在位于该椭圆内的投票矩阵中形成极值。

根据一个实施例，追溯相机图像中导致形成足够强的极值的点对来自何处。为此目的执行进一步的处理步骤。首先假设投票已经进行并且已经找到足够强的对称中心。因此起始点是如图14的第二部分图示B中所示的状况。然后以修改后的形式再次遍历投票过程。但是，已经存在的投票矩阵在此不会被再次重新形成。取而代之的是，对于对投票矩阵有贡献的每个对称点对，检查该贡献是否对找到的对称中心112A、112B之一有贡献并且因此已经在第一次遍历中也做出了贡献。如果是这种情况，则存储或立即进一步计算该点对的两个位置。有利地，在此还存储或使用对称点对所贡献的对称中心112A、112B的索引。通过这种方式，对成功的对称中心的所有贡献都可以事后得到确定并(中间)存储或进一步使用。

进一步处理步骤的开始不必等到第一个处理步骤结束，即投票矩阵的形成和对称中心的求取，而是可以提前开始并且可以使用第一处理步骤的已经完成的中间结果，即找到的对称中心112A、112B。然后在以这种方式形成的信息中，可以对找到的每个对称中心112A、112B读出对此有贡献的所有图像位置。这些位置基本上或除去若干异常值之外位于椭圆内，如图15中示例性地针对对称中心112B所示。

本领域技术人员已知用于确定该椭圆的参数的方法。例如，可以在对对称中心112A、112B有贡献的所有点的集合上形成主轴变换，以确定主轴的定向和椭圆的两个直径。这甚至可以在不需要中间存储有贡献的图像位置的情况下实现：取而代之的是，可以在知道后立即进一步处理这些图像位置。替代地，也可以确定点集合周围的椭圆形包络线，利用该椭圆形包络线尽可能紧密地包围点集合的尽可能大的部分(排除可能的异常值)。

替代地，也可以创建相当于索引矩阵的索引图像，而不是存储列表意义上的点集合。索引图像用于相同的目的，即形成所有椭圆的参数，但它以其他形式存储信息。理想地，索引图像具有与签名图像相同的尺寸，并且被设置为存储索引，而且是分配给所找到的对称中心112A、112B的索引。设置特殊的索引值，例如0，以用于指示还不存在条目。如果在遍历进一步处理步骤时找到对第i个索引有贡献的对称点对或签名对，则在相应签名的两个相关联位置处分别录入索引i。因此，在遍历结束时获得以下索引图像，在该索引图像中分配给对称中心112A、112B的所有索引分别多次出现，其中这些索引形成椭圆形区域：于是除了若干异常值之外，每个椭圆形区域仅包含具有统一索引的条目，以及未使用位置处的索引0。然后可以轻松评估索引图像以确定各个椭圆的参数。此外，没有必要完整地存储该索引图像。一旦在索引图像的部分区段中数据不再发生变化，就已经可以对该部分进行评估，然后可以再次释放存储器。这也导致了更低的时间延迟，从而可以更早地提供中间结果。

然后可以利用已知的椭圆参数来校正检测到的对称中心的二维布置(参见图14)，使得这些对称中心随后位于图案610的网格上，该网格在这里仅示例性地至少近似为正方形。

图16示出了根据实施例的在视角校正之后的图15的图案610的示意图。换句话说，为了说明的目的，图16示出了在将图15的图案610正交于或垂直于所找到的椭圆或突出显示的椭圆形扭曲区域110B的方向拉伸了两个主轴长度的比率之后的图案610。因此可以通过简单的方式找到正确的网格1311。因此与图15相比，以恢复区域110B的原始圆形形状的方式校正椭圆。然后，确定对称中心112A和112B所位于的网格1311或者无错误地确定对称中心112A和112B之间的相邻关系都是很简单的事。图16这里仅用于说明目的。在实践中，没有必要扭曲图像。由于关于对称中心112A和112B的位置的信息已经以压缩形式存在，因此仅使用这些数据进一步处理以及变换其坐标是有意义的，其中变换规则是由所确定的椭圆参数形成的，而且使得椭圆变成圆。

在以长焦焦距记录相机图像的情况下，对每个部分区段而言一次全局变换就足以确定网格1311。在使用广角镜头(例如鱼眼镜头)记录相机图像的情况下，至少可以在部分区域中使用局部变换来工作。因此，上述变换规则可以全局和/或局部应用。在全局变型中，所有投影中心都使用相同的共同变换规则加以变换。这在许多情况下都是有意义且足够的。所述共同变换规则可以根据所有椭圆的共同观察来形成。如果对称中心112A和112B在空间上位于多个面上，则可以根据椭圆的参数将椭圆分成组。在此，属于一个面的椭圆具有非常相似的参数——特别是在该面平坦的情况下。然后可以对每个组确定全局变换规则并进行应用。此过程适用于长焦焦距。当通过相机成像将多个圆形区域成像为不同形状或不同定向的椭圆时，局部变换是有意义的。对于广角相机或高扭曲镜头而言尤其如此。

在应用了变换之后，属于同一个面的对称中心位置至少近似地位于共同的网格1311上。下一个任务是将对称中心112A和112B分配给网格位置。这可以例如小步骤迭代地进行。例如，对于对称中心112A、112B，搜索多达四个具有大致相同距离的最近邻居，为此还参见图13中的标记。从这些邻居开始继续穿行到更远的邻居，直到属于图案610的所有捕获到的对称中心112A和112B都分配给共同的网格1311或者可以从共同的网格1311中排除为止。因此，如果在此搜索期间遇到在距离方面与刚刚观察的网格1311不匹配的对称中心，则不记录这些对称中心，因为它们可能是异常值或属于其他面的对称中心。可以针对其他面重复该迭代搜索，使得最终除了异常值之外每个对称中心112A、112B都被分配给面。然后针对这些面，可以优选地基于与对称中心112A和112B相关联的二进制编码来标识图案610，所述二进制编码分别包含在极值的符号中。

图17示出了具有分层对称的图案1710的实施例的示意图。图案1710对应于或类似于上述附图中的图案。更确切地说，仅作为示例，图案1710具有由四个预定义点对称区域110A和110B构成的两级分层结构。根据这里示出的实施例，仅作为示例，图案1710具有两个预定义奇数点对称区域110A和两个预定义偶数点对称区域110B。在此情况下，图案1710整体上具有奇数点对称结构。本身偶数点对称区域110B和本身奇数点对称区域110A位于第一分层级别上。奇数点对称图案610B的整体布置位于第二分层级别上。用四分之一圆表示第二分层级别的对称中心112。

图18示出了具有分层对称的图案1810的实施例的示意图。图18中的图案1810类似于来自图17的图案。更确切地说，图18示出了由预定义点对称区域110B构成的两级分层结构的另一示例。在第一分层级别中，预定义点对称区域110B分别被假定为本身点对称的。在第二分层级别中，在图案1810的层面上存在奇数点对称，其中对称中心112位于出于说明而示出的六部分六边形的中心。该奇数对称在这里表现为预定义点对称区域110B的反转，例如将亮背景上的暗符号镜像为暗背景上的亮符号。

图19示出了具有分层对称的图案610的实施例的示意图。在这种情况下，图案610由来自图17和图18的图案1710和1810或其反转和/或点镜像形式构建。仅作为示例，图案610具有由图17的两个图案1710和图18的两个图案1810构成的三级分层结构。图案1710和1810是奇数的，因此在出于说明而示出的六部分六边形的中心处的图案610的对称中心112处以点镜像方式反转。例如，图19右下角所示的图案1710是左上角图案1710的反转形式。这种分层原则可以随意延续，即还可以构造第四级别、第五级别，以此类推。

下面参考图17、图18和图19进一步讨论具有分级对称的图案。对称图案610、1710、1810可以被构建为多级，使得例如在第一分层级别中存在较小的本身对称区域，对它们的共同观察导致在下一个更高分级级别上的对称。图17和图18均示例性地示出了如何构造两级分层图案1710或1810。基于此，在图19中构建了三级分层图案610。因此，在图19的示例中包含三个分层级别。第三分层级别在图案610的整个面上延伸(由虚线框起的区域)并且包括对称中心112。在第二分层级别中，存在四个图案1710和1810(每个图案由实线框起)，每个图案都具有一个位于中间的对称中心(此处未明确表示)。根据这里所示的实施例，因此在第一分层级别中存在16个预定义点对称区域，每个区域具有对称中心。在此，从更远的距离就可以看到第三分层级别的对称。在接近期间，还可以看见第二分层级别的四个对称。在较短的距离处，或者如果图案610的捕获分辨率足够，则第一分层级别的对称也变得可见。因此，可以在大的距离范围上实现例如视觉控制(visual servoing，视觉伺服)，例如机器人例如在图案610的方向上或在任何其他方向上的视觉控制。如果已经可以捕获更精细或更低的分层级别，则通常没有必要捕获更粗略或更高的分层级别。也没有必要能够同时捕获相应分层级别的所有对称，例如在非常短的距离时根本不再可能在相机图像中捕获整个图案610。显然，偶数对称和奇数对称可以部分自由地选择和组合。在该设定中还可以包含附加信息，特别是分别将一位用于奇数对称和偶数对称之间的选择，其中能够通过这种方式将这样的附加信息传送到捕获系统。“部分自由”在此意味着相应分层级别上的对称形式的剩余部分不可避免地从下个更高分层级别得出。换句话说，例如在图18中，对于顶行，图案“X”和“O”可以自由选择。然后不可避免地得出第二行，而且这里通过反转，因为在下一个分层级别上选择了负点对称。

图20示出了根据实施例的图案610的示意图。在第一部分图示A中，图20示出了图案610，作为示例，该图案610是来自图8的图案之一。图20的第一部分图示A是隐式附加信息的示例，这里仅作为示例是8·8＝64位，其基于图案610的预定义点对称区域110A和110B的对称类型或与此相关联的点对称的符号得出。在第二部分图示B中，图20示出了图案610，其仅示例性地由四个预定义点对称区域110A和110B构建，这里例如由一个预定义奇数点对称区域110A和三个预定义偶数点对称区域110B在一个方形网格上构建。此外，在此情况下在图案610中布置有用于显式附加信息的代码矩阵2010。仅作为示例，来自第一部分图示A的隐式附加信息明确地包含在代码矩阵2010中。具有奇数点对称的预定义区域110A这里表示或标记8×8矩阵的起始行，从而明确地设定读出顺序。

下面参考图20更详细地讨论隐式或显式附加信息的传送。

可能是有用的或必要的是，基于图案610将附加信息传送到接收方，例如传送到计算机、自主机器人等。附加信息可以或多或少是广泛的。附加信息的一些说明性示例包括停车点、充电、位于52°07′01.9″N9°53′57.4″E的面向西南的位置、左转、限速20km/h、割草机充电站等。对于借助于成像传感器或相机进行传送存在各种选择。特别地，可以在隐式包含的附加信息和显式包含的附加信息之间进行区分，为此参见图20中的两个示例，其中一次隐式地和一次显式地提供64位附加信息。隐式附加信息意味着它以某种方式包含在本身对称的图案610自身中，而显式附加信息通常与这些图案610分开设计和捕获。

基于图20的第一部分图示A来图解传送隐式附加信息的一种可能性：作为二进制码的隐式附加信息。由于在构造图案610时为每个对称区域110A和110B做出奇数点对称和偶数点对称之间的选择，因此可以分别传送附加二进制信息(对应于1位)。如果附加地还允许同时具有奇数和偶数点对称的图案，则从二进制附加信息变成三元附加信息，即三种情况而不是两种。

传送附加信息的另一可能性通过使用区域110A和110B的对称中心之间的非均匀距离来得出，即基于该布置的隐式附加信息。然后与图20所示的布置不同——在图20中对称中心位于正方形网格上，这些对称中心将被不规则地布置，其中将附加信息或其一部分编码在该布置中。示例：如果允许相应的对称中心向左/向右和向上/向下移位固定距离，则得出9个可能的位置，由此每个对称中心可以编码log₂(9)＝3.17位的附加信息。成像传感器和图案610之间的倾斜视角在所提到的任何可能性中都不构成问题。例如，一部分对称中心(例如角落中最外面的四个对称中心)可以用于定义坐标系或规则的基础网格。用于编码的偏差或二进制/三进制代码则与该基础网格有关。

用于隐式附加信息的对称区域110A和110B不应太小，使得在投票矩阵中形成足够突出的极值。如果要将更大量的附加信息(特别是静态的、基于位置的附加信息)传送给接收方(例如移动机器人)，则有利的是对这些附加信息进行显式编码。

在图20的第二部分图示B中示出了如何能够将特别是静态的、基于位置的附加信息明确地传送给接收方(例如，移动机器人)：例如可以同意，在由对称中心定义的坐标系中的特定坐标处存在另外的信息，这些信息例如以二进制(黑/白)或另外的渐变(灰度级)或彩色编码。该过程于是由两个步骤组成：在第一步骤中，基于奇数和偶数对称找到字段，例如代码矩阵2010，将另外的信息编码在该字段中。在第二步骤中，读出该字段以及因此读出其中包含的信息。成像传感器和图案610之间的倾斜视角在此不会造成问题，因为为了读出显示附加信息，既不需要所找到的坐标系的基本矢量彼此垂直，也不需要这些基本矢量长度相同。可选地，还可以校正图像，使得随后存在笛卡尔坐标系。可选地，还可以在具有图案610的字段中安装显示器，该显示器除了随时间静态的信息之外还可以传送随时间变化的信息和/或通过时间变化传送信息。

通过隐式错误识别，高分辨率附加信息也可以包含在图案610本身中。因此，存在经由图案610本身传送(特别是静态的、基于位置的)附加信息的另外的可能性：这意味着附加信息包含在黑白或彩色或灰度级图案610本身的序列中。通过上述分类，该附加信息将同时是隐式的和显式的。由于图案610或者其至少一些部分具有对称性，因此自动地冗余地包含附加信息，通常分别双重包含。这既适用于奇数点对称也适用于偶数点对称。该事实可以用于错误校正或错误检测。例如，如果图案610被例如鸟粪污染，则可以高度可靠地检测出由此在附加信息中出现的错误，因为相同的错误很可能不会出现在相关联的对称位置处。

下面特别是再次讨论关于图1的用于校准的设备或类似设备和/或图4的用于校准的方法或类似方法的背景和实施例。

对于相机校准的背景需要注意以下几点。在校准相机时区分固有校准和非固有校准。固有校准是指通过镜头在图像传感器上捕获和描述成像。在此，确定诸如焦距和主像点的参数，不过也确定光学成像与理想模型(例如针孔相机模型)的偏差。在非固有校准时，确定相机的外部定向，即其位置和取向，例如相对于给定的坐标系(例如车辆坐标系或第二个相机)。为了进行校准，用相机多次记录特定的校准目标，其中将校准图案例如施加在移动平板或三维体上。通常，相机和校准目标之间的相对布置在这些记录之间变化。通常会自动评估待校准的相机所捕获的图像。在此，交叉点或角点(例如棋盘图案的)或圆心等的方位是自动确定的。这些点在下文中也称为标记点。然后根据多个这样的记录和从中确定的标记点，例如可以借助于束补偿方法来确定所寻找的校准参数。通常，校准目标被捕获在多于一个图像中。然后期望识别是否是同一个目标。此外有意义的是，也捕获目标的定向以排除歧义。例如，具有8×8方格的简单棋盘图案在围绕表面法线旋转180°时具有歧义。考虑定向尤为重要，因为目标在实践中并不理想，例如没有完美的平面，因此如果结果应当高度准确，则必须一起估计偏差。

为了能够自动且明确地确定目标及其定向，通常为它们设置编码。为此例如可以在一部分正方形或圆形中插入一个更小的互补色圆形(即白色方格中的黑色圆形或黑色方格中的白色圆形)。关于其存在或不存在可以分别提供二进制信息(1位)。圆形之间的间隙也可以例如包含用于编码的小圆形。对于该编码存在另外的变型，例如使用QR码、ArUco码、专有代码等。编码也可以仅包含在边缘内，而不是分布在整个表面上。然后例如用代码边框包围普通的棋盘图案。然而，这种目标的缺点是其表面的一部分需要仅用于代码，因此不再可用于通过标记点进行校准。相应图案的亮表面通常也可以被设计为逆反射的，以利用靠近相机的光源在校准目标上获得高发光效率。例如，也可以将由不同空间频率的噪声图案组成的随机图案用于校准。因此，该随机图案虽然一眼看上去类似于图6中的图案610或类似图案，但是不包含点对称。

图21示出了常规棋盘图案2100和由预定义点对称区域110A和110B构成的图案610的实施例的示意性并置图示。在图21中，在第一部分图示A中示出了棋盘图案2100，在第二部分图示B中示出了来自图6的第一部分图示的图案610或类似图案以及突出显示的预定义点对称区域，在第三部分图示C中示出了具有突出显示的预定义点对称区域110A和110B的图案610。仅作为示例，图案610包括25个具有奇数对称性的第一预定义点对称区域110A和24个具有偶数对称性的第二预定义点对称区域110B。

图22示出了在模糊和非线性的组合的影响下图21的棋盘图案2100和图案610的示意图。更准确地说，在图22中示出了在模糊和非线性的组合的影响下来自图21的第一部分图示A和第二部分图示B。换句话说，图22包括光学系统中出现的效应的说明或模拟：模糊和非线性的组合。它们在这里导致了从摄影中已知的“烧坏”或“灯被吃掉”的效应，其中亮区域延伸到邻域中。由此使得白色棋盘方格比黑色棋盘方格大。

图23分别示出了图21和图22的棋盘图案2100和图案610的示意图，具有所标识的图案610的对称中心112A和112B，类似于图14中的第二部分图示。换句话说，图23说明了受干扰图像中的标记点的可找到性。虽然不能再明确地确定第一部分图示A的棋盘图案2100上的交叉点，但是以简单且准确的方式在第二部分图示B中找到图案610的对称中心112A和112B。

为了说明所描述的效应的至少一部分，在图21、图22、图23中对传统棋盘图案2100和具有嵌入点对称的平面图案610进行了比较。图21中的第三部分图示C揭示了这是7×7的圆形点对称区域110A和110B。因此，标记点的数量对应于棋盘图案2100上的数量，因为8×8个方格产生7×7个交叉点。对于图22模拟了两个与实践相关的效应，即模糊和非线性。如果观察放大的棋盘图案2100，可以看到先前的标记点(交叉点)被涂抹并且因此是不明确的，因为白色方格“跨越照射”到相邻的黑色方格中，如从实践中已知的。局部确定标记点变成了一场猜谜游戏，特别是当添加了诸如噪声的另外的效应时。虽然图案610在图22中看起来也改变了，但是可以毫不费力地找到对称中心112A和112B，如图23所示。可以看出，尽管存在干扰，但是找到标记点是没有问题的，这些标记点也全部精确地位于网格上。这里有利的是，不必局部地决定相应标记点的方位，而是每个完整的表面段都有助于对称中心112A、112B的定位。作用于该表面段的效应(如模糊或非线性)在此不影响对称中心112A、112B的方位。在这方面，与具有正方形和圆形的传统黑白图案相比，所提出的图案610在标记点的定位方面相对于图像记录过程中的典型干扰更具有不变性。根据实施例，因此使得利用点对称或平面点对称图案610的相机校准以及密集校准成为可能。

如果将例如具有7×7＝49个标记点(如前面的一些示例)的图案用于校准，则显然也仅对目标上的点与其在传感器上的成像之间的49条视线可以获得关于光学成像的结论。因此，在实践中，为了校准将记录数十或数百个图像，并且在此期间反复改变相机与目标之间的相对布置。然而很明显，覆盖范围仍然是稀疏的。因此应当对未被捕获的像素进行插值。这对应于传统过程。

根据实施例，这可以得到改进并且可以确定密集校准，即迄今需要的插值可以由针对每个像素的测量来代替。为此，在给定的相机图像中找到对称中心112A、112B。这些对称中心代表标记点。将对称中心112A、112B分配给一个或多个图案610，这取决于一个或多个图案610是否位于图像中。在校准时常常有多个图案610参与，这些图案可以形成一个或多个目标的多个面。下面仅代表性地观察一个图案。图案610是基于包含的编码来标识的，例如也参考图20所解释的。在此情况下也可以应用参考图13至图16描述的用于局部校正视角的过程，使得已经被压缩成椭圆的圆再次变成圆。此时，对于找到的每个对称中心112A、112B，已知其在所标识的图案610上属于哪里，即，存在点对点映射。基于代码从存储器中加载参考图案图像。替代地，该参考图案图像也可以在需要时即时形成，因为形成规则需要比参考图案图像本身少得多的存储空间。通过这种方式，例如在校准软件中或在数据库中，可以针对不同图案存储非常多的形成规则，而不占用很多的存储空间。

因此现在创造了将由待校准的相机捕获的图案610与参考图案进行比较的可能性，而且是逐点或逐像素地比较，即密集地比较。在此可以在相机图像的坐标、参考图像的坐标或另外的独立的坐标系中工作。此时已知的标记点的点对点映射使得可以将两个待比较的图像相互配准。换句话说，对于这几个(例如49个)点已经知道映射，但对数百万个其他像素尚不知道。此时例如可以开始插值，该插值使用已知的标记点作为支持点。利用该插值可以给出所观察的图案610到参考图案的映射的近似解。该近似解被用作最终随后搜索的初始化。该搜索可以使用本领域技术人员已知的密集光流技术来进行。该搜索的目标是能够针对所观察的图案610的每个点或像素或亚像素能够说明其被映射为参考图案的哪个点或像素或亚像素--或者根据需要反过来。良好的初始化在此情况下是有利的，因为剩余的不确定性以及因此剩余的搜索区域都很小。对应地，搜索工作量也很小，并且可以快速地和/或利用小型计算机单元来执行用于校准的方法。

结果是获得了密集映射，对于所观察的图案610的每个点说明了到参考图案的一个点的测量的、不仅仅是插值的映射，或者反过来。这种密集映射用于校准的计算。以这种方式形成的密集校准特别准确，并且还需要最少数量的相机记录，特别是与传统校准相比，因为对每个记录不仅获得用于标记点的信息，而且获得用于相应图案610的所有点的信息。

如果实施例包括第一特征和第二特征之间的“和/或”链接，则这应当理解为：该实施例根据一个实施方式既具有第一特征又具有第二特征，并且根据另一实施方式要么仅具有第一特征，要么仅具有第二特征。

Claims (15)

1.一种用于提供校准数据(135)以校准相机(102)的方法(300)，其中该方法(300)具有以下步骤：

从至所述相机(102)的接口(122)读入(324)借助于所述相机(102)提供的图像数据(105)，其中所述图像数据(105)代表在所述相机(102)的环境中的至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)的相机图像；

使用所述图像数据(105)和确定规则(128)来确定(326)所述至少一个偶数和/或奇数点对称区域(110；110A，110B)的至少一个对称中心(112；112A，112B)；

将所述至少一个对称中心(112；112A、112B)在所述相机图像中的位置与至少一个参考对称中心在参考图像(115)中相对于参考坐标系的预定义位置进行(330)比较，以确定所述对称中心(112；112A，112B)与所述参考对称中心之间的位置偏差(131)；以及

使用所述位置偏差(131)求取(332)所述相机图像的至少一个像素子集相对于所述参考图像(115)的对应像素的位移信息(133)，其中使用所述位移信息(133)来提供所述校准数据(135)。

2.根据权利要求1所述的方法(300)，其中在确定步骤(326)中使用的确定规则(128)被构造为使得

针对所述相机图像的至少一个区段的多个像素产生签名(s)，以获得多个签名(s)，其中使用具有多个不同过滤器的描述符来产生每个所述签名(s)，其中每个过滤器具有至少一个对称类型，其中每个所述签名(s)针对所述描述符的每个过滤器都具有符号，

针对所述签名(s)求取用于所述过滤器的至少一个对称类型的至少一个镜像签名(S_PG，S_PU)，

检查具有所述签名(s)的像素是否在该像素周围环境中的搜索区域(1104)中存在至少一个另外的像素，该至少一个另外的像素具有对应于所述至少一个镜像签名(S_PG，S_pU)的签名(s)，以在存在至少一个另外的像素时求取来自该像素和另外的像素的至少一个对称签名对的像素坐标，

以及评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心(112；112A、112B)，

和/或其中将至少一个反射器(R_PG、R_PU)应用于所述签名(s)之一的符号，以求取所述至少一个镜像签名(S_PG，S_PU)，其中每个反射器(R_PG、R_PU)具有特定于对称类型且依赖于所述描述符的过滤器的规则以用于修改所述符号，其中所述搜索区域(1104)依赖于所应用的反射器(R_PG、R_PU)中的至少一个反射器。

3.根据权利要求2所述的方法(300)，其中在确定步骤(326)中，对于每个已经确定的对称中心(112；112A，112B)使用已对正确标识该对称中心(112；112A，112B)有贡献的每个对称签名对的像素坐标，确定用于变换该对称中心(112；112A，112B)和/或所述至少一个偶数和/或奇数点对称区域(110；110A，110B)的像素坐标的变换规则，其中将所述变换规则应用于该对称中心(112；112A，112B)和/或所述至少一个偶数和/或奇数点对称区域(110；110A，110B)的像素坐标，以校正所述相机图像的扭曲视角。

4.根据前述权利要求中任一项所述的方法(300)，其中在确定步骤(326)中确定所述至少一个对称中心(112；112A，112B)的对称类型，其中所述对称类型代表偶数点对称和/或奇数点对称，和/或在进行比较的步骤(330)中，将所述至少一个对称中心(112；112A，112B)在所述相机图像中的对称类型与至少一个参考对称中心在参考图像(115)中的预定义对称类型进行比较，以检查所述至少一个对称中心(112；112A，112B)和所述至少一个参考对称中心之间的一致性。

5.根据权利要求4所述的方法(300)，其中在读入步骤(324)中读入的图像数据(105)代表由多个预定义偶数和/或奇数点对称区域(110；110A、110B)构成的至少一个图案(610；1710、1810)的相机图像，其中在确定步骤(326)中确定所述至少一个图案(610；1710、1810)的对称中心(112；112A，112B)的几何布置，确定所述对称中心(112；112A、112B)的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定所述图案(610；1710、1810)，其中所述布置和/或所述序列代表所述图案(610；1710、1810)的标识码。

6.根据权利要求5所述的方法(300)，其中在确定步骤(326)中，使用所述至少一个图案(610；1710、1810)的对称中心(112；112A、112B)的布置和/或所述对称中心(112；112A、112B)的对称类型的序列来确定所述至少一个图案(610；1710、1810)的隐式附加信息或用于读出所述相机图像中的显式附加信息的读出规则，其中所述布置和/或所述序列以编码形式代表所述附加信息，其中所述附加信息与校准所述相机(102)有关。

7.根据权利要求5至6中任一项所述的方法(300)，其中在进行比较的步骤(330)中，根据所确定的布置、所确定的序列和/或所确定的图案(610；1710、1810)从多个存储的参考图像中选择所述参考图像(115)或者使用存储的产生规则来产生所述参考图像(115)。

8.根据权利要求5至7中任一项所述的方法(300)，其中独立于所述对称中心(112；112A，112B)的对称类型对所有对称中心(112；112A，112B)共同执行确定步骤(326)和/或进行比较的步骤(330)，或者根据所述对称中心(112；112A，112B)的对称类型对同一种对称类型的对称中心(112；112A，112B)单独地执行确定步骤(326)和/或进行比较的步骤(330)。

9.一种用于校准相机(102)的方法(400)，其中该方法(400)具有以下步骤：

评估(444)根据前述权利要求中任一项所述的方法(300)提供的校准数据(135)，以产生取决于所述校准数据(135)的控制信号(145)；以及

向至所述相机(102)或所述相机(102)的校准装置(104)的接口(148)输出所述控制信号(145)，以校准所述相机(102)。

10.一种用于制造供根据前述权利要求中任一项所述的方法(300；400)使用的至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)的方法(500)，其中该方法(500)具有以下步骤：

生成(502)设计数据(204)，所述设计数据代表所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)的图形表示；以及

使用所述设计数据(204)在显示介质(600)上、显示介质(600)处或显示介质(600)中产生(506)所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)，以制造所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)。

11.根据权利要求10所述的方法(500)，其中在生成步骤(502)中生成设计数据(204)，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)的图形表示，其中所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)具有规则的或准随机的内容图案，和/或其中任意预给定所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)的第一半面，并且通过点镜像和/或灰度值和/或颜色值的反转来构造第二半面，和/或其中在产生步骤(506)中通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生所述至少一个预定义偶数和/或奇数点对称区域(110；110A，110B)，和/或其中所述显示介质(600)具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示装置。

12.根据权利要求10至11中任一项所述的方法(500)，其中在生成步骤(502)中生成设计数据(204)，所述设计数据代表由多个预定义偶数和/或奇数点对称区域(100；110A，110B)构成的至少一个图案(610；1710、1810)的图形表示，其中点对称区域(100；110A，110B)的至少一个子集在规则或不规则网格(1311)上对齐、彼此直接邻接和/或与至少一个相邻的偶数和/或奇数点对称区域(110；110A，110B)通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面彼此相同或彼此不同和/或布置在共同平面中或不同平面中，其中在生成步骤(502)中生成代表具有分层对称的至少一个图案(610；1710、1810)的图形表示的设计数据(204)。

13.一种设备(120；140；200)，其被设置为在对应的单元(124、126、130、132；144、146；202、206)中执行和/或操控根据前述权利要求中任一项所述的方法(300；400；500)的步骤。

14.一种计算机程序，其被设置为执行和/或操控根据权利要求1至12中任一项所述的方法(300；400；500)的步骤。

15.一种机器可读存储介质，其上存储有根据权利要求14所述的计算机程序。