CN116324886A - 为至少一个移动单元绘制使用环境并在使用环境中定位至少一个移动单元的方法和设备及用于使用环境的定位系统 - Google Patents

Abstract

一种用于为至少一个移动单元(120)的使用环境(100)的地图(170)提供绘制数据(160)的方法(600)包括：从与所述移动单元(120)的图像捕获装置(122)的接口读入参考图像数据。所述参考图像数据代表多个参考图像，所述参考图像是借助于所述图像捕获装置对所述使用环境(100)的底板(102)的特定于每个参考图像的子区段(104)拍摄的，其中相邻的子区段(104)部分重叠。针对每个参考图像使用所述参考图像数据提取多个参考图像特征。所述参考图像特征在每个参考图像中的位置借助于随机过程或根据预定义的分布方案来确定。为了产生绘制数据，在每个参考图像特征的位置处使用所述参考图像数据确定参考特征描述符。所述绘制数据(160)具有所述参考图像数据、所述参考图像特征的位置和所述参考特征描述符。

Description

为至少一个移动单元绘制使用环境并在使用环境中定位至少 一个移动单元的方法和设备及用于使用环境的定位系统

技术领域

本发明基于根据独立权利要求的种类的设备或方法。计算机程序也是本发明的主题。

背景技术

对于基于底板纹理的基于特征的定位或基于底板纹理特征的绝对或基于地图的定位，已知各种方法。例如，可以将随机特征图像区域用于特征提取，但迄今为止特别是仅适用于不是寻找图像对之间的对应关系并且因此特别地也不涉及定位任务的应用情况，而是用于目标在于理解图像内容的应用。这种应用的示例是图像分类或对象识别。这种应用特别是涉及完全在一个系统(例如自主车辆或机器人)上运行的方法。

DE 10 2017 220 291 A1公开了一种用于沿着虚拟轨道系统自动引导车辆的方法。这是一种使得带有向下定向的相机的自主系统可以跟随先前学习的虚拟轨道的方法。

发明内容

在此背景下，利用这里提出的方案提出了根据独立权利要求的方法以及使用这些方法的设备，以及最后提出了对应的计算机程序。通过从属权利要求中列出的措施，独立权利要求中说明的方法的有利扩展和改进是可能的。

根据实施方式，特别是使得可以在至少一个移动单元的使用环境中为基于底板纹理的绘制和/或定位进行有效的特征检测。例如更准确地说，为此可以使用用于为基于底板纹理的绘制和/或定位进行特征检测的简化方案。换句话说，可以提供用于借助于来自向下定向的相机的图像为定位进行特征检测的有效过程。在此情况下，特征检测特别是可以与实际图像内容无关地执行，或者通过由随机过程或由固定模式定义特征位置。使用例如可以基本上与后续定位步骤(如特征描述、对应关系查找和姿态确定)无关地进行。特别地，实施方式可以基于以下事实，即不是实际的特征检测而是任意图像区域都可以用于绘制过程和/或定位过程。也就是说，可以通过随机或伪随机或基于静态模式确定用于特征提取的图像区域来节省计算时间。这种类型的特征检测是基于底板纹理来进行基于特征的定位的有效方案这一事实特别是出于以下原因。

首先，在此情况下可以将随机选择相似图像区域的概率归类为相对较高。这是因为相机姿态可以良好近似地仅使用三个参数来加以描述：底板平面中的x和y坐标以及方向角。特别地，到底板的距离是已知的，从而使用图像区域大小的特征可以保持恒定。例如，如果在定位期间已经存在当前姿态估计，则可以进一步降低复杂性。特别是在以足够的精度估计定向的情况下，可以将特征图像区域的待确定参数减少到特征图像区域的图像坐标。如果使用具有一定平移鲁棒性的特征描述符，使得轻微移位的图像区域也可以被评估为相似的描述符，则尽管使用的特征图像区域是随机选择的，也例如有很大概率找到重叠的图像对之间的正确对应关系。其次，可以假设底板纹理具有很多的信息内容。通过合适的特征描述符，特别是不需要特殊的特征图像区域，即特别是具有特别多的信息内容的特征图像区域来找到对应关系。而是例如典型的底板纹理，如混凝土、沥青或地毯，可以在任何地方都具有足够的特征性属性，以使得能够找到对应关系；前提是在定位和参考图像中使用足够强重叠的特征图像区域。

根据实施方式，特别是可以基于底板纹理特征来减少高精度绘制和/或定位的计算工作量。因此可以避免使用传统的、通常计算工作量大的特征检测方法，例如SIFT(Lowe，2004)，这些特征检测方法确定适合于找到对应关系的图像区域。在这种传统的方法中，特别是可以确定特定属性最明显的图像区域，也称为全局优化。这种属性的示例是与局部环境的对比。与这种方法相比，根据实施方式可以减少计算工作量，例如由于放弃了优化，其中这里提出的随机或均匀分布的特征图像区域的使用具有减少的计算工作量，而定位能力不会因此受到影响。

与现有技术相比，尤其是可以实现以下优点。一方面是上面提到的减少了特征提取的计算工作量。尽管由于找到对应特征的概率较低而可以使用更大数量的特征，但是在使用在描述特征、找到对应关系以及排除不正确的对应关系或选择正确的对应关系方面有效的过程的情况下可以总体上明显减少定位的计算工作量。适用于描述特征的有效方法可以是例如二进制描述符，如BRIEF(Calonder等人，2010年)、BRISK(Leutenegger等人，2011年)、LATCH(Levi和Hassner，2016年)或AKAZE(Alcantarilla等人，2013年)。除了计算工作量较低之外，随机特征图像区域的使用还可以在特定底板纹理类型方面具有优势。这是由于在具有强烈重复模式的底板纹理情况下可能出现的现象。在这种纹理的情况下，使用经典的特征检测器可能导致模式的同一部位始终被确定为特征图像区域。在这种情况下，定位方法可能不再可能或很难区分不同特征的模式。这可以通过使用随机或伪随机的特征图像区域来防止。

提出了一种用于为至少一个移动单元的使用环境的地图提供绘制数据的方法，其中该方法具有以下步骤：

从与所述移动单元的图像捕获装置的接口读入参考图像数据，其中所述参考图像数据代表多个参考图像，所述参考图像是借助于所述图像捕获装置对所述使用环境的底板的特定于每个参考图像的子区段拍摄的，其中相邻的子区段部分重叠；

使用所述参考图像数据针对每个参考图像提取多个参考图像特征，其中所述参考图像特征在每个参考图像中的位置借助于随机过程并且附加地或替代地根据预定义的分布方案来确定；

产生绘制数据，其中在每个参考图像特征的所述位置处使用所述参考图像数据确定参考特征描述符，其中所述绘制数据具有所述参考图像数据、所述参考图像特征的位置和所述参考特征描述符。

使用环境可以是可由至少一个移动单元驶过的一座或多座建筑物内以及附加地或替代地一座或多座建筑物外的表面。使用环境可以具有预定义的边界。至少一个移动单元可以被设计为用于高度自动化驾驶的车辆、机器人等。图像捕获装置可以具有移动单元的至少一个相机。图像捕获装置可以相对于移动单元以设定的定向布置。图像捕获装置可以是相机。

还提出了一种用于为至少一个移动单元创建使用环境的地图的方法，其中该方法具有以下步骤：

从与所述至少一个移动单元的通信接口接收绘制数据，其中所述绘制数据是根据上述提供方法的实施方式提供的；

使用所述绘制数据并根据使用所述参考特征描述符确定的重叠参考图像的参考图像特征之间的对应关系，确定每个参考图像的所述图像捕获装置相对于参考坐标系的参考姿态；以及

根据所述参考姿态、所述参考图像特征的位置、所述参考特征描述符和所述参考姿态来组合所述参考图像，以创建所述使用环境的地图。

用于创建地图的方法可以例如在数据处理装置上执行或使用数据处理装置来执行。在此情况下，所述数据处理装置可以与使用环境内部或外部的至少一个移动单元分开布置。

根据一个实施方式，在确定步骤中，可以根据参考图像特征之间的对应关系来确定所述参考姿态，针对在重叠参考图像中的所述参考图像特征已确定了彼此之间满足相似性标准的参考特征描述符。这种实施方式提供的优点是使用这样的可再现条件可以提高对诸如图像捕获装置的平移和旋转的图像变换以及光度变换的鲁棒性，这又可以对定位产生有利的影响，因为可以找到更正确的对应关系。

此外，提出了一种用于为至少一个移动单元在使用环境中的定位确定定位数据的方法，其中该方法具有以下步骤：

从与所述移动单元的图像捕获装置的接口读入图像数据，其中所述图像数据代表至少一个图像，所述至少一个图像是借助于所述图像捕获装置对所述使用环境的底板的子区段拍摄的；

使用所述图像数据提取所述图像的多个图像特征，其中所述图像特征在所述图像中的位置借助于随机过程并且附加地或替代地根据预定义的分布方案来确定；

使用所述图像数据在每个图像特征的位置处生成特征描述符以确定所述定位数据，其中所述定位数据具有所述图像特征的位置和所述特征描述符。

至少一个移动单元可以是来自上述方法之一的至少一个移动单元或者与来自上述方法之一的至少一个移动单元对应或相似的至少一个另外的移动单元。可以针对每个图像重复地或周期性重复地执行该方法的至少一些步骤。图像以及因此由所述图像代表的相邻子区段可以重叠。

可选地，参考特征描述符和/或特征描述符可以是二进制描述符。使用二进制描述符可能是有利的，因为它们典型地可以比非二进制描述符或浮点描述符更快地计算，并且因为二进制描述符使得能够特别有效地形成对应关系。

根据一种实施方式，确定方法可以包括将所述定位数据输出到与数据处理装置的接口的步骤。在此情况下，可以在多个数据包中输出定位数据。在此，每个数据包都可以包括图像特征的至少一个位置和至少一个特征描述符。在此，一旦生成了至少一个特征描述符，就可以输出数据包。这样的实施方式提供了以下优点：可以有效地实现基于底板纹理特征的集中式定位方法，其中在移动单元或机器人上进行图像处理和相对姿态确定或视觉测距，而绝对姿态确定基于先前拍摄的地图外包给中央服务器。在此情况下，特别是可以并行或部分重叠地执行定位方法的三个步骤，即图像处理、通信和定位。使用随机或预定义的特征区域使得一个特征可以在另一个特征之后被计算，然后可以直接发送到数据处理装置或服务器。因此该服务器从移动单元获得所提取的图像特征的恒定流，使得图像处理和通信可以并行或部分重叠地进行。后续基于从定位图像获得的图像特征和应用区域的地图在服务器上进行的定位也可以并行或部分重叠地执行。还可以系统地和/或完全地基于特征标准来搜索图像，并且每当找到满足该标准的图像区域时，就可以计算描述符，然后可以将特征信息发送到服务器。在特征检测器方面可以放弃搜索全局最优图像区域来形成特征。

确定方法还可以包括使用所述定位数据的特征描述符和先前图像的参考特征描述符来找到所述定位数据的图像特征与所述先前图像的参考图像特征之间的对应关系的步骤。进一步地，确定方法还可以包括根据在找到步骤中找到的对应关系确定所述图像的图像捕获装置相对于所述参考坐标系的姿态以执行定位的步骤。这样的实施方式提供的优点是可以执行增量或相对的定位，其中可以确定相对于先前相机姿态的相对相机姿态，即使例如与数据处理装置的数据连接应当已暂时中断。

根据上述提供方法和/或上述确定方法的一个实施例，可以在提取步骤中使用随机过程和附加地或替代地使用预定义的分布方案，其中产生具有参考图像特征或图像特征的所有可能图像位置的列表，并且将所述列表伪随机地混合或从所述列表中伪随机地选择位置，并且附加地或替代地使用固定的位置模式或多个伪随机创建的位置模式之一。基于底板纹理的定位方法使用任意的或与实际图像内容无关的特征图像区域(无论是随机的还是预定义的)来形成对应关系，其优点在于可以减少图像处理的计算工作量，因为与使用传统的特征检测器相比，不需要对整个图像进行完全处理来识别最优的特征图像区域。取而代之的是可以在参考图像或图像的任何部位计算特征。这种方法还具有以下优点：当信息在下一个处理步骤中被使用时，图像处理仍然可以进行。

根据上述提供方法和/或上述确定方法的另一实施方式，在提取步骤中可以使用随机过程和附加地或替代地使用预定义的分布方案，其中使用可变或设定数量的位置，并且附加地或替代地其中针对参考图像或图像的不同子区域设定不同的位置分布密度。这样的实施方式提供的优点是可以改进对使用环境中实际条件的适配，更准确地说对底板的适配。

还提出了一种用于在使用环境中定位至少一个移动单元的方法，其中该方法具有以下步骤：

从与所述至少一个移动单元的通信接口接收定位数据，其中所述定位数据是根据上述确定方法的实施方式确定的；

使用定位数据的特征描述符和地图的参考特征描述符，确定所述定位数据的图像特征与根据上述创建方法的实施方式创建的地图的参考图像特征之间的对应关系；

根据在确定步骤中确定的对应关系并且使用所述地图的参考姿态来确定图像的图像捕获装置相对于参考坐标系的姿态，以生成代表所述姿态的姿态信息；以及

将所述姿态信息输出到与所述至少一个移动单元的通信接口，以执行所述定位。

该定位方法可以例如在数据处理装置上执行或使用数据处理装置来执行。在此情况下，数据处理装置可以与使用环境内部或外部的至少一个移动单元分开布置。

根据一种实施方式，在确定姿态的步骤中，可以对在确定对应关系的步骤中确定的对应关系应用加权值和附加地或替代地应用置信度值，以生成评估的对应关系。在此情况下，可以根据评估的对应关系来确定姿态。这样的实施方式提供了以下优点：可以进一步提高定位的可靠性、鲁棒性和准确性，特别是因为可以排除不正确或不太正确的对应关系。

上面提到的每一种方法都可以例如以软件或硬件或者以软件和硬件的混合形式实现，例如在控制设备或设备中。

这里提出的方案还创建了一种用于移动单元的设备，其中所述设备被构造为在相应装置中执行、操控或实施这里提出的提供方法和/或这里提出的确定方法的变型的步骤。通过以用于移动单元的设备的形式的本发明的该实施变型也可以快速且有效地解决本发明所基于的任务。这里提出的方案还创建了一种用于数据处理装置的设备，其中所述设备被构造为在对应的装置中执行、操控或实施这里提出的用于创建地图的方法和/或这里提出的定位方法的变型的步骤。通过以用于数据处理装置的设备的形式的本发明的该实施变型也可以快速且有效地解决本发明所基于的任务。

为此，该设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、与传感器或致动器的用于从所述传感器读入传感器信号或用于将数据信号或控制信号输出到所述致动器的至少一个接口和/或用于读入或输出嵌入到通信协议中的数据的至少一个通信接口。所述计算单元例如可以是信号处理器、微控制器等，其中所述存储单元可以是闪存、EPROM或磁存储单元。所述通信接口可以被构造为无线和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口例如可以从对应的数据传输线路以电或光的方式读入这些数据或者可以输出到对应的数据传输线路中。

在当前情况下，设备可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电气设备。该设备可以具有能够以硬件方式和/或以软件方式构造的接口。在以硬件方式构造的情况下，所述接口可以例如是所谓的系统ASIC的一部分，该部分包含所述设备的各种功能。然而，所述接口也可以是单独的集成电路或至少部分地由分立的器件组成。在以软件方式构造的情况下，所述接口可以是软件模块，其例如与其他软件模块一起存在于微控制器上。

还提出了一种用于使用环境的定位系统，在所述使用环境中能够使用至少一个移动单元，其中所述定位系统具有以下特征：

所述至少一个移动单元，其中所述移动单元具有上述用于移动单元的设备的实施方式；

数据处理装置，其中所述数据处理装置包括上述用于数据处理装置的设备的实施方式，其中所述用于移动单元的设备和所述用于数据处理装置的设备能够传输数据地相互连接。

特别地，所述定位系统可以具有所述数据处理装置和多个移动单元。至少一个所述移动单元可以可选地具有用于移动单元的设备，该设备被构造为在对应的装置中执行、操控或实施这里提出的提供方法的变型的步骤。

具有程序代码的计算机程序产品或计算机程序也是有利的，所述程序代码可以存储在诸如半导体存储器、硬盘存储器或光存储器的机器可读的载体或存储介质上并且用于执行、实施和/或操控根据上述实施方式之一的方法的步骤，特别是当所述程序产品或程序在计算机或设备上运行时。

附图说明

这里提出的方案的实施例在附图中示出并且在以下描述中得到更详细的解释。

图1示出了用于使用环境的定位系统的实施例的示意图；

图2示出了用于移动单元的设备的实施例的示意图；

图3示出了用于移动单元的设备的实施例的示意图；

图4示出了用于数据处理装置的设备的实施例的示意图；

图5示出了用于数据处理装置的设备的实施例的示意图；

图6示出了用于为至少一个移动单元的使用环境的地图提供绘制数据的方法的实施例的流程图；

图7示出了用于为至少一个移动单元创建使用环境的地图的方法的实施例的流程图；

图8示出了用于为至少一个移动单元在使用环境中的定位确定定位数据的方法的实施例的流程图；

图9示出了用于在使用环境中定位至少一个移动单元的方法的实施例的流程图；

图10示出了图像和特征图像区域的示意图；

图11示出了根据一个实施例的图像1123和图像特征335的示意图；

图12示出了具有特征图像区域的重叠图像的示意图；

图13示出了根据一个实施例的重叠图像1123和图像特征335的示意图；

图14示出了根据一个实施例的可再现条件的示意图；以及

图15示出了基于图像特征的集中定位的三个阶段的时间流程的示意图。

在本发明的有利实施例的以下描述中，为各个图中所示的并且具有相似效果的元件使用相同或相似的附图标记，其中省略了对这些元件的重复描述。

具体实施方式

图1示出了用于使用环境100的定位系统110的实施例的示意图。在使用环境100中可以使用至少一个移动单元120。在图1的图示中，仅示例性地在使用环境100中示出了四个移动单元120。使用环境100例如是至少一座建筑物内部和/或外部可由至少一个移动单元120驶过的表面。使用环境100具有底板102，至少一个移动单元120可以在该底板上移动。至少一个移动单元120是用于高度自动化驾驶的车辆，特别是机器人或机器人车辆等。

定位系统110包括至少一个移动单元120和数据处理装置140。数据处理装置140布置在使用环境100的内部和/或外部。在图1的图示中，数据处理装置140仅示例性地示为在使用环境100的内部。数据处理装置140被构造为对至少一个移动单元120执行数据处理。

每个移动单元120包括图像捕获装置122，该图像捕获装置的视野指向使用环境100的底板102。图像捕获装置122在此情况下是相机。可选地，每个移动单元120包括至少一个照明装置124以用于照亮图像捕获装置122的视野。根据图1所示的实施例，每个移动单元120示例性地包括环形成型的照明装置124。每个图像捕获装置122的图像拍摄过程，都可以对使用环境100的底板102的子区段104成像。此外，每个移动单元120包括用于移动单元的设备130。用于移动单元的设备130能传输数据地或能传输信号地连接到图像捕获装置122或者可以替换地设计为图像捕获装置122的一部分。用于移动单元的设备130被构造为执行用于为使用环境100的地图170提供绘制数据160的方法和/或用于为至少一个移动单元120在使用环境100中的定位确定定位数据180的方法。参考后续附图更详细地讨论用于移动单元的设备130。

数据处理装置140包括用于数据处理装置的设备150。用于数据处理装置的设备150被构造为执行用于创建使用环境100的地图170的方法和/或用于在使用环境100中定位至少一个移动单元120的方法。在此，用于移动单元的设备130和用于数据处理装置的设备150能传输数据地相互连接，特别是借助于无线电连接，例如WLAN或移动无线电。在此情况下，绘制数据160和/或定位数据180或图像特征可以从至少一个移动单元120传输到数据处理装置140，并且姿态信息190或用于定位的估计的机器人姿态可以从数据处理装置140传输到每个移动单元120。

换言之，在使用环境100中，多个独立的机器人或移动单元120与数据处理装置140无线电联系，数据处理装置140也称为具有存储地图的中央服务器170。每个移动单元120配备有向下定向的相机或图像捕获装置122。此外，视野或拍摄区域可以被人工照亮，从而无论外部光条件如何都可以可靠地执行定位。移动单元120以规则的时间间隔拍摄底板102的图像以确定移动单元自己的姿态。为此目的，从图像中提取任意部位处的特征，将这些特征相继地发送到服务器或数据处理装置140，在那里特别是创建和/或存储底板纹理地图，利用该底板纹理地图可以基于发送的特征或定位数据180估计移动单元120的姿态。根据一个实施例，为此特征提取、通信和姿态估计可以至少部分地并行执行，由此得出相对于以下方法的运行时优点，在该方法中在下一个步骤可以开始之前应当完全结束这三个步骤中的每一个步骤。在定位结束之后，将估计的姿态以姿态信息190的形式发送回移动单元120，移动单元120例如可以使用姿态信息155来精确定位自身。对于服务器与机器人之间的无线电连接，例如可以使用WLAN或5G。

图2示出了用于移动单元的设备130的实施例的示意图。用于移动单元的设备130对应于或类似于图1的用于移动单元的设备。图2所示的用于移动单元的设备130被构造为在对应的装置中执行和/或操控用于为至少一个移动单元的使用环境的地图提供绘制数据160的方法的步骤。该提供方法例如对应于或类似于来自图6的方法。

用于移动单元的设备130包括读入装置232、提取装置234和产生装置236。读入装置232被构造为从与该移动单元的图像捕获装置的接口231读入参考图像数据223。参考图像数据223代表多个参考图像，这些参考图像是借助于图像捕获装置对使用环境的底板的每个参考图像特定的子区段拍摄的。在此，相邻的子区段彼此部分重叠。此外，读入装置232被构造为将参考图像数据223转发给提取装置234。提取装置234被构造为使用参考图像数据223针对每个参考图像提取多个参考图像特征235。借助于随机过程和/或根据预定义的分布方案来确定参考图像特征235在每个参考图像中的位置。提取装置234还被构造为将参考图像特征235转发给产生装置236。产生装置236被构造为产生绘制数据160，其中使用参考图像数据在每个参考图像特征235的位置处确定参考特征描述符。绘制数据160包括参考图像数据223、参考图像特征235的位置和参考特征描述符。用于移动单元的设备130还被构造为将绘制数据160输出到与数据处理装置的另外的接口239。

图3示出了用于移动单元的设备130的实施例的示意图。用于移动单元的设备130对应于或类似于图1或图2中用于移动单元的设备。图3所示的用于移动单元的设备130被构造为在对应的装置中执行和/或操控用于为至少一个移动单元在使用环境中的定位确定定位数据180的方法的步骤。该确定方法例如对应于或类似于来自图8的方法。

用于移动单元的设备130包括另外的读入装置332、另外的提取装置334和生成装置336。读入装置332被构造为从与该移动单元的图像捕获装置的接口231读入图像数据323。图像数据323代表借助于图像捕获装置对使用环境的底板的子区段拍摄的至少一个图像。另外的读入装置332还被构造为将图像数据323转发给另外的提取装置334。另外的提取装置334被构造为使用图像数据323提取所述图像的多个图像特征335。在此，借助于随机过程和/或根据预定义的分布方案来确定所述图像中图像特征335的位置。另外的提取装置334被构造为将图像特征335转发给生成装置336。生成装置336被构造为使用图像数据323在每个图像特征335的位置处生成特征描述符以确定定位数据180。定位数据180包括图像特征335的位置和特征描述符。

用于移动单元的设备130特别是被构造为将定位数据180输出到与数据处理装置的另外的接口239。根据一个实施例，定位数据180以多个数据包输出，其中每个数据包包括图像特征335的至少一个位置和至少一个特征描述符。更准确地说，根据该实施例，每个图像特征335的位置和相关联的特征描述符只要该特征描述符生成就在数据包中输出。因此，可以至少部分并行地输出数据包并且可以提取另外的图像特征335并且可以生成特征描述符。

图4示出了用于数据处理装置的设备150的实施例的示意图。用于数据处理装置的设备150对应于或类似于来自图1的用于数据处理装置的设备。图4中所示的用于数据处理装置的设备150被构造为在对应的装置中执行和/或操控为至少一个移动单元创建使用环境的地图170的方法的步骤。该创建方法例如对应于或类似于来自图7的方法。

用于数据处理装置的设备150包括接收装置452、确定装置454和组合装置456。接收装置452被构造为从与至少一个移动单元的通信接口451接收绘制数据160。在此情况下，绘制数据160借助于用于移动单元的设备来提供。此外，接收装置452被构造为将绘制数据160转发给确定装置454。确定装置454被构造为使用绘制数据160并根据使用参考特征描述符确定的重叠参考图像的参考图像特征之间的对应关系，确定每个参考图像的图像捕获装置相对于参考坐标系的参考姿态455。确定装置454还被构造为将参考姿态455转发给组合装置456。组合装置456被构造为根据参考姿态455来组合参考图像、参考图像特征的位置、参考特征描述符和参考姿态455，以创建使用环境的地图170。用于数据处理装置的设备150特别是还被构造为将地图170输出到与数据处理装置的存储器装置的存储器接口459。

图5示出了用于数据处理装置的设备150的实施例的示意图。用于数据处理装置的装置150对应于或类似于图1或图4中的用于数据处理装置的设备。图5所示的用于数据处理装置的设备150被构造为在对应的装置中执行和/或操控用于在使用环境中定位至少一个移动单元的方法的步骤。该定位方法例如对应于或类似于图9的方法。

用于数据处理装置的设备150包括另外的接收装置552、求取装置554、另外的确定装置556和输出装置558。另外的接收装置552被构造为从与至少一个移动单元的通信接口451接收定位数据180。在此情况下，定位数据180借助于用于移动单元的设备来确定。另外的接收装置552还被构造为将定位数据180转发给求取装置554。求取装置554被构造为使用定位数据180的特征描述符和地图170的参考特征描述符来确定定位数据180的图像特征与地图170的参考图像特征之间的对应关系555。此外，求取装置554被构造为将对应关系555转发给另外的确定装置556。另外的确定装置556被构造为根据对应关系555并使用地图170的参考姿态来确定所述图像的图像捕获装置相对于参考坐标系的姿态，以生成姿态信息190。姿态信息190表示所确定的姿态。另外的确定装置556还被构造为将姿态信息190经由输出装置558输出到与至少一个移动单元的通信接口451以执行定位。

图6示出了用于为至少一个移动设备的使用环境的地图提供绘制数据的方法600的实施例的流程图。提供方法600包括读入步骤632、提取步骤634和产生步骤636。在读入步骤632中，从与移动单元的图像捕获装置的接口读入参考图像数据。所述参考图像数据代表多个参考图像，这些参考图像是借助于图像捕获装置对使用环境的底板的每个参考图像特定的子区段拍摄的，其中相邻的子区段部分重叠。在提取步骤634中，使用参考图像数据提取每个参考图像的多个参考图像特征。在此，借助于随机过程和/或根据预定义的分布方案来确定参考图像特征在每个参考图像中的位置。在产生步骤636中产生绘制数据。在此，使用参考图像数据在每个参考图像特征的位置处确定参考特征描述符。所述绘制数据包括参考图像数据、参考图像特征的位置和参考特征描述符。

图7示出了用于为至少一个移动设备创建使用环境的地图的方法700的实施例的流程图。创建方法700包括接收步骤752、确定步骤754和组合步骤756。在接收步骤752中，从与至少一个移动单元的通信接口接收根据图6所示的方法或类似方法提供的绘制数据。在确定步骤754中，使用绘制数据并根据使用参考特征描述符确定的重叠参考图像的参考图像特征之间的对应关系，确定每个参考图像的图像捕获装置相对于参考坐标系的参考姿态。在组合步骤756中，根据所述参考姿态组合参考图像、参考图像特征的位置、参考特征描述符和参考姿态以创建使用环境的地图。

根据用于创建地图的方法700的实施例，在确定步骤754中，根据参考图像特征之间的对应关系来确定参考姿态，针对重叠参考图像中的所述参考图像特征已确定了彼此之间满足相似性标准的参考特征描述符。

图8示出了用于为至少一个移动单元在使用环境中的定位确定定位数据的方法800的实施例的流程图。确定方法800包括读入步骤832、提取步骤834和生成步骤836。在读入步骤832中，从与移动单元的图像捕获装置的接口读入图像数据。所述图像数据代表借助于图像捕获装置对使用环境的底板的子区段拍摄的至少一个图像。在提取步骤834中，使用所述图像数据提取所述图像的多个图像特征。在此借助于随机过程和/或根据预定义的分布方案来确定所述图像中图像特征的位置。在生成步骤836中，使用所述图像数据在每个图像特征的位置处生成特征描述符以确定定位数据。所述定位数据包括图像特征的位置和特征描述符。

特别地，用于确定定位数据的方法800还包括将定位数据输出到与数据处理装置的接口的步骤838。在此，定位数据以多个数据包输出，其中每个数据包包括图像特征的至少一个位置和至少一个特征描述符。例如，重复执行输出步骤838，使得每个图像特征335的位置和相关联的特征描述符只要生成该特征描述符就在数据包中输出。因此可以输出数据包并且可以与此至少部分并行地提取另外的图像特征335并且生成特征描述符。

根据一个实施例，用于确定定位数据的方法800还包括使用定位数据的特征描述符和先前图像的参考特征描述符来找到定位数据的图像特征与所述先前图像的参考图像特征之间的对应关系的步骤842，以及还包括根据在找到步骤842中找到的对应关系确定所述图像的图像捕获装置相对于参考坐标系的姿态以执行定位的步骤844。在使用环境内的数据传输中断的情况下，该实施例可以至少暂时实现至少一个移动单元的独立定位。

参考图6所示的用于提供地图数据的方法600和/或图8所示的用于确定定位数据的方法800，在提取步骤634和/或834中使用随机过程和/或预定义的分布方案，其中产生具有参考图像特征或图像特征的所有可能图像位置的列表，并且将该列表伪随机地混合或从该列表中伪随机地选择位置，和/或使用固定的位置模式或多个伪随机创建的位置模式之一。附加地或替代地，在提取步骤634和/或834中，使用随机过程和/或预定义的分布方案，其中使用可变或设定数量的位置，和/或其中针对参考图像或图像的不同子区域设定不同的位置分布密度。

图9示出了用于在使用环境中定位至少一个移动单元的方法900的实施例的流程图。定位方法900包括接收步骤952、确定步骤954、确定步骤956和输出步骤958。在接收步骤952中，从与至少一个移动单元的通信接口接收根据图8所示的方法或类似方法确定的定位数据。在确定步骤954中，使用定位数据的特征描述符和根据图7所示方法或类似方法创建的地图的参考特征描述符，确定定位数据的图像特征与地图的参考图像特征之间的对应关系。在确定步骤956中，根据在确定步骤954中确定的对应关系并且使用地图的参考姿态，确定所述图像的图像捕获装置相对于参考坐标系的姿态，以生成代表所述姿态的姿态信息。在输出步骤958中，将姿态信息输出到与至少一个移动单元的通信接口以执行定位。

根据一个实施例，在确定步骤956中，将加权值和/或置信度值应用于在确定步骤954中确定的对应关系以生成评估的对应关系。在此情况下，然后在确定步骤956中根据所述评估的对应关系来确定姿态。

图10示出了图像1000和特征图像区域1002的示意图。在此情况下，根据经典或常规的方法从代表图像1000的图像数据中提取多个特征图像区域1002。图10表示使用经典特征检测器可能失败的情况的示意性示例。特征检测器通过在整个图像1000中寻找满足特定标准或具有特定属性的最强表达的部位来找到特征图像区域1002。在图10中，特征检测器例如可以寻找对比度最强的部位。图像1000中显示的纹理具有非常规则的结构，该结构在这里显示为网格。这种规则结构现在正好表现为，其在规则结构中对应地反复出现的特定部位处具有将由特征检测器最大化的属性的强烈表达，所述强烈表达这里是强对比度。对应地由检测器提取为特征图像区域1002的这些部位在图10中用正方形示出并且在特征的内部区域和外部区域之间具有最强的对比度。现在的困难例如在于，特征图像区域1002具有非常相似的、在极端情况下相同的内容，从而特征图像区域和它们的对应描述符无法彼此区分。因此，使得难以找到这里显示的1000与另一重叠图像的另外的特征图像区域的对应关系，因为对于从所述另一图像中提取的每个特征而言，来自图像1000的所有特征，即特征图像区域1002都与其对应或者都不与其对应。在这两种情况下可能都难以获得可用于定位的信息。这里只是示意性的示例。原则上可以为每个特征检测器创建图像1000，其中找到的特征图像区域1002以类似的方式退化。

图11示出了根据一个实施例的图像1123和图像特征335的示意图。通过执行图8的用于确定定位数据的方法或类似方法，从代表图像1123的图像数据中提取图像特征335。因此，图像特征335在图像1123中的位置是借助于随机过程和/或根据预定义的分布方案来确定的，换言之，与图像1123的具体图像内容无关。图11中所示的图像内容在此情况下对应于图10的图像的图像内容。

当使用随机分布的特征图像区域或图像特征335时，不会出现图10中描述的问题。除了先前由特征检测器提取的图10中的特征图像区域之外，图像1123包含完全可用于定位的特征，这些特征在这里以不规则的符号表示。这里随机选择的特征图像区域或图像特征335的其中一些也落在规则结构的各部分上，该规则结构作为网格示出，并且与图10中的特征图像区域一样，只能有限地用于形成对应关系。然而，一些任意定位的图像特征335还包含在网格的条纹之间的待明确识别的、不规则的图像内容。在用于定位的重叠图像中也可以找到这些可用的图像特征335中的至少一些，其中图像特征335不需要具有像素精确的相同图像内容，从而可以成功地进行定位。

图12示出了具有特征图像区域1002的重叠图像1000、1200的示意图。两个图像1000、1200中的特征图像区域1002仅示例性地对应于来自图10的特征图像区域。换言之，在诸如1000、1200的重叠图像中相同模式的使用导致特征图像区域1002恰好相对于彼此移位，使得没有重叠的特征并且因此没有正确的对应关系。

图13示出了根据一个实施例的重叠图像1123、1323和图像特征335的示意图。通过执行图8的用于确定定位数据的方法或类似方法，从代表图像1123、1323的图像数据中提取图像特征335。因此，图像特征335在图像1123、1323中的位置是借助于随机过程和/或根据预定义的分布方案来确定的，换言之，与图像1123、1323的具体图像内容无关。特别地，图像特征335在图像1123、1323中的位置分布得不同。

在重叠图像1123、1323中使用不同模式的特征位置或图像特征335的位置可以防止出现图12所示的问题。在这种情况下存在重叠的特征图像区域，从而可以在寻找对应关系时为所述重叠的特征图像区域确定隶属关系。

图14示出了根据一个实施例的可再现条件的示意图。为此示出了由图像数据代表的图像1123、两个由参考图像数据代表的参考图像1423或绘制图像以及参考图像特征235。图像1123和1423至少部分地彼此重叠。可再现条件指出，在图7的创建地图的方法或类似方法中，在确定步骤中根据参考图像特征235之间的对应关系来确定参考姿态，针对重叠参考图像中的所述参考图像特征已确定了彼此之间满足相似性标准的参考特征描述符。

换言之，仅当重叠的绘制图像或参考图像1423中对应的参考图像特征235导致相似的特征描述符时，才存储来自绘制图像或参考图像1423的参考图像特征235。从而可以提高在定位图像或图像1123中对应的图像特征也被评估为相似的特征描述符的概率。

图15示出了基于图像特征的集中定位的三个阶段1511、1512、1513的时间流程1500、1505的示意图。为此，该图中绘制了时间轴t。第一流程1500代表顺序或串行方式的三个阶段1511、1512、1513的常规流程。根据一个实施例，第二流程1505代表以并行或至少部分并行的方式的三个阶段1511、1512、1513的流程。参考图8的用于确定定位数据的方法和图9的定位方法，至少部分并行的第二流程1505特别是通过执行确定方法中的输出步骤来实现。第一阶段1511代表图像处理，典型地在移动单元一侧，第二阶段1512代表移动单元与服务器之间的通信或数据传输，而第三阶段1513代表定位，典型地在服务器一侧。在第二流程1505中，三个阶段1511、1512、1513可以重叠地、即部分并行地执行，由此定位过程从开始到结束的持续时间明显更短。

参考上述附图，下面再次概括并且换句话说简要地解释实施例和背景以及实施例的优点。根据实施例，可以基于底板纹理特征来实现定位。

解决该任务的常见方案是从为定位而拍摄的图像和一个或多个参考图像中确定对应的特征。然后可以将这些对应关系用于确定由相机或图像捕获装置在定位图像的拍摄时刻相对于参考图像的位置和定向组成的姿态。常规的方案例如可以分为四个阶段：

1.特征检测：首先，在特征检测期间确定适合以后寻找对应关系的图像区域(特征图像区域)的集合。这可以例如是与局部环境相比特别亮或特别暗的图像区域，或者以其他方式不同于局部环境的图像区域，或者是具有特定结构(例如线条或角)的图像区域。在此情况下假设底板纹理的这些区域即使从其他相机姿态来看也满足选择标准，从而在定位和参考图像中找到相同(或至少重叠)的特征图像区域。

2.特征描述：然后，在特征描述阶段计算这些图像区域的特征描述符。

3.寻找对应关系：然后使用这些描述符来确定对应的特征。在此假设已经用相似的描述符描述了对应的特征，而不对应的特征的描述符应当具有较少的相似性。

4.姿态确定：最后，将建议的对应关系用于确定姿态，其中通常有意义的是使用对一定比例的不正确对应关系具有鲁棒性的方法。

下面，在讨论可能的扩展或其他实施例之前，首先描述其中使用随机特征位置的实施例。

对于基于地图的定位，首先准备或创建使用区域或使用环境100的地图170，例如如图2和图4或图6和图7中所示。地图创建例如可以分为五个阶段：

1.车辆或机器人，也可能是无人机，作为移动单元120完全驶过使用区域或使用环境100，并且在此过程中连续拍摄底板102的特别是重叠的参考图像1423。

2.对于每个拍摄的参考图像1423，提取参考图像特征235的集合。参考图像特征235在参考图像1423中的位置特别是使用随机过程来确定。这个随机过程可以如下所示：首先，创建具有所有可能图像位置的列表，现在混合这个列表，并且将混合的图像位置列表的前n个条目用于确定图像位置的集合。在此，n代表待提取参考图像特征235的数量。作为混合列表的替代方案，也可以n次使用随机数生成器确定图像位置列表的随机列表索引并将相应的列表条目用作另外的图像特征位置。与第一个变型相比，第二个变型的计算工作量较低，但可能会多次使用相同的图像位置。为了防止这种情况，可以在每次确定随机列表索引后检查该随机列表索引是否已被使用过，这可能又稍稍提高计算工作量。哪个变型最适合取决于应用情况，特别是取决于待提取参考图像特征235的数量。

3.为前一阶段中确定的每个图像特征位置计算特征描述符。这里的过程取决于所选择的特征描述方法。可以通过这些特征描述方法来固定所观看图像部分的大小，或者用户自己定义匹配的大小，或者基于特征位置周围区域的图像内容使用合适的方法来确定大小。如果特征描述方法需要所观看图像部分的定向，典型地为了对应地旋转所述图像部分，则该定向可以基于特征位置周围的区域使用合适的方法来确定，例如具有最强强度梯度的方向，或者使用目前的相机定向，从而向参考图像1423的所有特征分配相同的定向。相机定向在此可以是相对于来自为绘制而拍摄的第一参考图像1423的初始相机定向的定向，或者使用例如用罗盘确定的绝对定向。

4.确定所拍摄的参考图像1423的参考姿态455。在此，第一参考图像1423的参考姿态455可以形成坐标系的原点，或者使用具有已知参考的坐标系，例如由使用环境100的地面视图定义的坐标系。在此，图像姿态或参考姿态455应当被确定为使得它们彼此一致。为此，例如可以使用拼接过程(英语：image stitching)将各个相片组合为一个大图像，从而参考图像1423然后相对于彼此正确定位。

5.有效地存储提取的参考图像特征235。在此，存储参考图像特征235位于地图170的坐标系中的哪个位置上是有意义的。因此创建了可以用于定位的地图170。基本上地图170包括参考图像1423的集合，这些参考图像的参考姿态455已被优化为使得这些参考图像可以彼此匹配地放置。此外，从每个参考图像1423中提取任意或随机位置处的参考图像特征235的集合。特征在世界中的姿态，即相对于地图170的坐标原点的姿态是已知的，此外为每个特征图像区域存储描述符，然后可以使用该描述符在定位期间形成对应关系。

随后的基于地图的定位，例如如图3和图5或图8和图9所示，例如可以分为六个阶段：

1.在绘制的使用环境100中拍摄应当用于定位的图像1123、1323。

2.确定随机或任意图像特征位置或图像特征335的位置。

3.如果相机位置已经大致已知，则这可以用于限制用于定位的搜索区域，其方式是例如随后仅考虑来自估计位置附近的这种参考图像特征235。

4.与创建地图类似，在图像特征位置处计算特征描述符。如果在此情况下需要定向，则可以以绝对方式重新确定该定向，例如使用罗盘，或者如果相对于地图170的坐标系的相机定向从先前的姿态确定中大致已知，则该相机定向可以用作特征定向。

5.随后使用合适的方法(例如最近邻匹配)来寻找对应关系，以确定绘制的参考图像特征235和从定位图像1123、1323中提取的图像特征335之间的对应关系555。

6.然后将以这种方式找到的对应关系(其中一部分可能是不正确的)使用合适的方法用于姿态估计，例如基于RANSAC的欧几里德变换估计以及随后的Levenberg-Marquardt优化。

根据一个实施例，也可以执行所谓的增量定位。在此情况下，也可以执行图8的方法，以估计或确定相对于先前相机姿态的相对相机姿态。这就像上面描述的基于地图的定位一样工作，但不同之处在于没有来自地图170的绘制的参考图像特征235可用于寻找对应关系。取而代之的是，将来自先前图像1123、1323或来自先前图像1123、1323序列的参考图像特征235及其先前估计的姿态用于增量定位。增量定位相对于基于地图的定位的限制在于，不准确性会在图像与图像之间传播，从而估计的姿态可能会越来越强地偏离实际姿态。然而，增量定位可以特别是用于使用环境100的在绘制时未予考虑的区域。

可以有意义地扩展所提出的使用随机图像特征位置或参考图像特征235和图像特征335的位置的概念。随机或伪随机位置的使用基本上是有利的，因为提取的参考图像特征235和图像特征335平均而言均匀分布。这也适用于在均匀分布的位置处使用固定模式，例如栅格或网格形状的布置，但在此可能会发生两个重叠参考图像1423或图像1123、1323的特征图像区域正好相对于彼此移位，使得这些特征图像区域之间没有正确的特征对应关系(还参见图12)。与使用固定的位置集合(例如均匀分布的位置)相比，确定随机位置的计算工作量更大。因此，不同于使用随机特征位置可能是有意义的。从而根据应用情况存在可能的替代方案：

1.对于基于地图的定位：再创建地图时可以使用随机位置，因为这个过程典型地不是时间关键的。然后可以在时间关键的定位期间使用预定义的固定位置分布。

2.对于增量定位：这里每个图像1123、1323中的特征提取都是时间关键的，从而仅使用固定的特征位置集合是有意义的。

为了总体上抵消上述限制，即两个重叠参考图像1423或图像1123、1323中使用的特征位置正好彼此之间移位，使得特征图像区域之间没有不足的重叠，可以使用交替不同的特征位置模式(还参见图13)。另一种减少计算工作量的方案是例如事先生成大量随机位置模式，从而在定位期间可以相继地使用这些随机位置模式。

根据应用，可能有意义的是，针对特定图像区域比针对其他图像区域以更高的密度提取参考图像特征235或图像特征335：

1.关于基于地图的定位：这里用于创建地图的参考图像1423的重叠很重要。如果这些参考图像不重叠或几乎不重叠，则在定位时找到正确对应关系555的最大概率是利用特征的均匀分布来实现的，因为在确定参考图像特征235时不知道以后的定位图像1123、1323如何与绘制图像或参考图像1423重叠。如果参考图像1423重叠，则在多个参考图像1423中针对重叠区域提取参考图像特征235。在这种情况下可能有意义的是，在参考图像1423的重叠区域或边缘中比在参考图像1423的非重叠区域或中心提取更少的特征，从而得到特征或其位置的关于所有参考图像1423平均的均匀分布。

2.关于增量定位：这里仅对与先前或后续图像1123、1323重叠的图像区域感兴趣。该重叠取决于行驶速度、行驶方向和拍摄频率。这里有意义的是，只在可以假定与先前或即将到来的图像1123、1323重叠的区域中提取特征，即图像边缘处的更多特征。

另一有意义的扩展基于也被称为可再现条件的概念(也参见图14)。这是在地图创建期间提取的参考图像特征235必须满足以便所述参考图像特征被存储的条件，否则这些参考图像特征例如被丢弃并被满足所述条件的特征代替。可再现条件要求将两个重叠的绘制图像1423中的特征图像区域或参考图像特征235评估为相似的特征描述符，因此对诸如相机的平移和旋转图像变换以及作用于参考图像1423的光度变换具有一定的鲁棒性。已经表明，使用该条件提高了绘制图像1423与定位图像1123、1323之间的对应特征图像区域同样被评估为相似的特征描述符的概率，从而提高了找到正确对应关系555的概率。

根据另一实施例，特别是提出了一种完全并行化的定位系统110，例如用于机器人群。这是用于移动单元120(例如自主车辆或机器人)的高精度定位的成本有利的解决方案。在此情况下两个概念相互结合：(1)基于服务器的集中式定位系统110，以及(2)基于在先前创建的地图170中再次识别底板纹理特征的定位方法。

这个和其他实施例的典型应用情况例如是仓库，在所述仓库中多个或一群自主机器人作为移动单元120承担材料、货物和工具的运输。为了使移动单元120能够自主移动，重要的是移动单元120知道它们的姿态，即位置和定向。取决于移动单元120执行哪个任务，对定位的精度和鲁棒性产生不同的要求。从而当移动单元120从一个地点行驶到另一个地点时，该移动单元知道其准确到10cm的位置就足够了，特别是只要该移动单元能够临时避开障碍物。相反，如果移动单元120应当例如在特定位置自动加载材料，则可能需要毫米精度的定位。在仓库中大部分货物运输应由移动单元120承担的应用情况下，可以使用大量同时动作的移动单元120。在这种状况下用于定位移动单元120的合适技术是使用向下定向的相机的视觉定位或基于特征的定位。该定位可以实现高精度定位，而无需基础设施措施，例如安装视觉标记、反射器或无线电单元。此外，这种类型的定位即使在动态环境的困难条件下也能工作，例如其中没有用于定向的静态地标的仓库，因为例如货架可以随时以不同方式布置。这是因为底板纹理典型地会长期保持稳定，特别是在诸如仓库的受保护区域中。随着时间的推移发生的磨损典型地仅局部出现，从而所涉及的区域可以在应用区域或使用环境100的地图170中继续基于它们的环境被检测到并且然后可以对应地被更新。

基于底板纹理的定位特别是基于底板102的视觉特征可以像指纹一样用于明确识别底板102上的位置。在此，典型地不是诸如沥青石的唯一特征是可明确再识别的，而是多个这样的视觉底板纹理特征的星座是可明确再识别的。在可以执行实际定位之前，绘制使用环境100，即在一次或多次绘制行程期间拍摄参考图像1423，这些参考图像相对于彼此的相对姿态在优化方法中被确定，例如借助于所谓的图像拼接，从而然后参考图像1423可以匹配地放置在一起。然后使用以这种方式创建的地图170可以定位移动单元120，其方式是在为了定位而拍摄的图像1123、1323中再次找到绘制的参考图像特征235。

为了成本有利地实施机器人群等形式的多个移动单元120的基于底板纹理的定位，可能有意义的是，将部分计算工作量从移动单元120外包给中央服务器或数据处理装置140来执行。在一个简单的变型中，在此情况下可以将底板102的为了定位而拍摄的图像1123、1323不经处理地发送到服务器，使得图像处理和随后的基于特征的定位将被完全外包。然而，这种变型可能是不利的，因为在这样的星座中移动单元120不能再独立动作，而是必须依赖于与服务器的稳定且快速的连接。此外，图像具有很大的存储空间需求，并且会导致对应的大量通信工作量。因此，明智的变型是在移动单元120上执行图像处理并且仅将提取的图像特征335传送到服务器以用于定位。在此变型中，通信工作量显著降低，并且移动单元120可以可选地至少暂时独立于服务器动作，其方式是该移动单元确定其分别相对于先前姿态的当前姿态。相对于完全分散的、即在相应移动单元120上执行的变型的优点在于，地图170不是存储在移动单元120上，而是仅存储在服务器上，并且绝对定位的与相对定位相比更高的工作量被外包了。在这种情况下，绝对定位意味着移动单元120的姿态是基于先前拍摄和优化的地图170来确定的。

根据至少一个实施例，提出了一种基于底板纹理特征的集中式定位的有效实现，其中图像处理和相对姿态确定(视觉测距)在移动单元120上进行，而绝对姿态确定基于先前拍摄的地图170外包给中央服务器或者数据处理装置140。在此情况下，定位的三个阶段，即图像处理1511、通信1512和定位1513，并行地或时间上部分重叠地执行。为了使这成为可能，使用任意或伪随机特征图像区域或其位置，或者换句话说，放弃全局最优性。使用任意布置的特征图像区域不同于常规方法，在常规方法中最适合寻找与参考特征的对应关系的最优特征图像区域是全局确定地或在整个图像中确定的。然而，在这种常规方法中必须全面考虑整个图像，由此才能满足全局最优性的标准。因此，在找到合适特征的集合并转发到服务器之前，必须对整个图像进行完整处理。然而，根据实施例，在基于底板纹理的定位的情况下可以放弃所提取特征的全局最优性，因为例如机器人姿态的自由度可以减少到两个(x位置和y位置)，因为到底板的距离是以高精度已知的，并且可以很好近似地估计定向，使用罗盘绝对地或相对于先前姿态相对地，并且因为使用随机特征图像区域就足够了，因为底板纹理具有非常高的信息密度，从而任何图像区域都可以用于像指纹那样明确识别底板区域。随机或任意位置的使用，特别是对于图像特征335而言，使得一个特征可以在另一个特征之后被计算，然后可以被直接发送到服务器或数据处理装置140。该服务器因此从至少一个移动单元120获得提取的图像特征335的恒定流，使得图像处理1511和通信1512可以并行或时间上部分重叠地执行。后续基于从定位图像1123、1323获得的图像特征335和应用区域或使用环境100的地图170在服务器上进行的定位1513也可以并行或时间上部分重叠地执行。为此可以例如应用投票方法(英语：voting procedure)，其中找到的每个特征对应关系或对应关系555对相机在拍摄时刻的位置进行投票。这样的方法使得可以一个接一个地与通信1512和图像处理1511并行或时间上部分重叠地录入对应关系555。

在集中式定位系统的常规概念中——其中对应的图像特征用于定位以及其中将部分必要的计算外包给服务器(参见例如Schmuck和Chli(2019)；Kim等人(2019))，将定位流程视为一个顺序过程，即首先进行图像处理1511，在该图像处理结束后将定位1513所需的信息完整地传输给服务器，并且在结束与服务器的通信1512后，服务器计算机器人的姿态估计，如图15中作为第一流程1500所示。

根据实施例，可以改进集中式定位系统的常规概念，其方式是定位不是在顺序的阶段中进行，而是并行进行，即在时间上部分重叠的过程或阶段中进行，从而可以明显更快地结束定位，也参见图15中的第二流程1505。这尤其是可以通过使用底板纹理图像而不是来自向前定向的相机的图像，以及通过放弃全局或图像范围的最优图像特征来实现。已经表明，在基于底板纹理的定位的情况下可以使用任何图像特征区域。对于来自向前定向的相机的图像而言，情况并非如此，因为这是一个更复杂的问题，其中所使用的图像特征区域的大小对于找到地图和定位图像之间的正确对应关系是决定性的，此外所观察的环境的较大部分不适用于形成对应关系，例如因为它们不是静态的或包含很少的视觉信息。在相机向下定向的情况下，可以使用所使用的图像特征区域的恒定大小，因为到底板102的距离基本上是恒定的。此外已经表明，典型的底板纹理到处都具有足够的信息内容来形成对应关系。

根据实施例，可以加速基于图像的集中式定位。这消除了常规定位方法中的缺点，即在拍摄定位图像和结束姿态估计之间可能需要很长时间。在要求高水平的定位精度时，这一点尤为重要，因为即使非常准确地确定了定位图像的姿态，移动单元在此期间也继续移动，从而必须通过估计在此期间覆盖的路径更不准确地确定当前姿态。如果单元如此依赖于高度精确的姿态估计，以致于该单元必须静止不动直到它从服务器获得姿态估计为止，则该单元也将从实施例中获益，因为可以减少静止时间。

根据实施例实现的使用基于图像的方法来定位的定位方法的优点在于该定位方法是无基础设施的解决方案，即使用环境100不必(必须)为此进行适配，而是使用现有地标来用于确定地点。此外，相机成本有利地(例如与雷达相比)工作在室内和室外区域，这例如对于GPS就不是这种情况，并且实现了高度精确的姿态确定，例如与无线电测量相比。根据实施例实现的使用向下定向的相机拍摄底板纹理图像的基于图像的定位方法的优点是该定位方法也可以在对象可以随时移动的使用环境100中工作或可以限制对环境的观察，例如在仓库或人群中。此外，根据实施例的高精度定位可以简单实现，因为与来自向前定向的相机的图像的特征相比，观察到的视觉特征非常接近(dicht an)相机，并且当使用自己的人工照明时(例如借助于至少一个照明装置124)，定位与外部光条件无关地进行。

根据实施例实现的使用任何或随机特征图像区域或其位置来形成对应关系的基于底板纹理的定位方法的优点是可以减少图像处理的计算工作量，因为该定位方法与使用(典型的)特征检测器不同不需要完全处理整个图像才能识别近似最优的特征图像区域。取而代之的是，根据实施例，在参考图像1423或图像1123、1323的任何部位处确定特征。这种方法还有一个优点，即在信息可以用于下一个处理步骤之前不必结束图像处理。取而代之的是，图像处理可以逐步进行，即逐个特征地进行，而迄今为止获得的信息在下一个处理步骤中已经可用。根据实施例实现的将存储和计算工作量外包给中央服务器的定位方法的优点是，可以节省在各个游戏单元120(例如自主车辆、机器人等)上的这些能力，从而可以实现成本有利的群体大小缩放。

根据实施例，特别是提出了一种基于底板纹理的集中式定位方法，其中任何图像区域都用于特征提取。与常规的集中式定位方法相比，优点在于可以更快地执行定位，从而获得更高的定位精度。

在讨论一些可能的替换和扩展之前，下面首先描述一个简单的实施例。如图1所示，系统110用于使用来自图6至图9的方法600、700、800、900，该系统具有一个或多个移动单元120(例如机器人或其他待定位车辆)以及中央服务器或数据处理装置140。每个移动单元特别是配备有向下定向的相机或图像捕获装置122以及计算单元和无线电模块(例如WLAN或移动无线电)。可选地，相机的拍摄区域可以通过人工照明照亮，从而拍摄一方面与外部光条件无关，并且可以实现较短的相机曝光时间，从而使图像具有尽可能少的移动模糊。服务器本身具有计算能力、用于与移动单元120通信的无线电模块以及存储器，特别是使用环境100的整个预先绘制的地图170位于该存储器上。定位方法原则上可以分为两个部分，地图170的创建和实际定位。

为了绘制使用环境100的地图，可以使用专门为此设计的移动单元120，其例如可以一次性拍摄底板102的宽条纹，或者可以使用至少一个普通移动单元120或应用机器人。例如，使用环境100被完全遍历并因此被扫描。然后给出重叠的底板纹理图像或参考图像1423的长序列。从这些图像中提取参考图像特征235。每个参考图像特征235一方面由其相关联的图像区域定义，例如由其中心的图像坐标和半径以及方向角定义，另一方面为每个参考图像特征235计算描述相关联特征图像区域的特征描述符。典型地，使用合适的特征检测方法来找到参考图像1423中的最佳特征图像区域。在此情况下，当在重叠的参考图像1423中能够以高概率再次找到相似的图像区域时，特征图像区域是非常适合的。传统上，在此确定其中特定属性最强表现(全局优化)的图像区域。这种属性的一个示例是与局部环境的对比度。然而，根据实施例，使用没有全局优化的方法，因为已经表明对于基于底板纹理的定位来说使用随机或任意位置就足够了。但是，只要不需要全局优化，也可以使用其他智能方法。例如，可以系统地搜索参考图像1423以寻找具有特定属性的部位，例如看起来像拐角、边缘或交叉的部位。然后可以使用诸如SIFT(Lowe(2004))的常用方法或诸如BRIEF(Calonder等人(2010))的更快方法来描述特征。在特征提取之后，找到重叠参考图像1423的特征之间的对应关系。为此典型地计算特征描述符之间的距离度量，从而可以建议具有相似描述符的特征是对应的。然后过滤掉不正确的对应关系，并基于剩余的对应关系估计参考图像1423的姿态，使得它们的重叠被正确地叠加并且可以获得拍摄的底板102的一种马赛克。优化后的图像姿态和提取的参考图像特征存储在服务器上的地图170中，从而在实际定位时可以确定地图170内的定位图像1123、1323的姿态。

为了定位，想要定位的移动单元120拍摄底板102的图像1123、1323。然后依次提取图像特征335，并对每个图像特征335触发以下流程：

1.机器人上的图像处理：确定特征图像区域，这应当通过与绘制时相同的方法来完成，例如通过随机过程。

2.机器人上的图像处理：为特征图像区域计算特征描述符，在此使用与绘制时用于特征描述的相同的方法。

3.通信：定位数据180，即关于所选择的特征图像区域的信息，特别是图像坐标和描述符，被发送到服务器。

4.在服务器上定位：定位数据180到达服务器。在那里在地图170中搜索对应的图像特征。如果已知移动单元120的大致姿态，则在此可以缩小搜索区域。

5.在服务器上定位：将迄今为止在定位过程期间找到的对应关系555用于确定移动单元120的姿态。例如，为此可以使用其中每个对应关系555对地图170上的正确姿态投一票的投票方法，其中随着处理的每个图像特征335而扩大选票集合。一旦处理了足够的图像特征335，或者一旦对当前姿态估计的置信度足够高，服务器就可以将移动设备120的姿态通知给移动设备120，从而可以终止图像处理和通信。

为了保持足够高的定位精度，根据一个实施例，正在移动的移动单元120的姿态可以以较短的间隔更新。在这里可以想到10到60赫兹的更新率。然而，在具有大量移动单元120的系统110中，这可能导致巨大的通信工作量，从而可能有意义的是，在服务器上仅允许执行每第n次更新。对于中间步骤，可以分别相对于前一个步骤来计算姿态(视觉测距)。然后，经由服务器的基于地图的绝对定位只能用于定期校正移动单元120上的局部姿态估计的累积误差(漂移)。

根据一个实施例，在服务器或数据处理单元140上确定当前姿态估计的置信度值，使得一旦该置信度值超过了定义的阈值就可以结束定位。

代替向下定向的相机，还可以想到可以以相似的方式使用向上定向的相机。但是，这仅适用于室内且天花板高度已知的情况。在这种情况下，代替底板102，拍摄使用环境100的天花板。

在这里描述的系统110的情况下，例如假设存在独立的绘制行程。还可以想到地图170由移动单元120在线创建。为此，移动单元120可以分别创建自己的本地地图，这些地图在稍后的时刻在服务器上与地图170一起统一成大的共同地图。于是这将是同时定位和绘制(Simultaneous Localization And Mapping，SLAM)系统。

代替总是一个接一个地发送提取的图像特征335，对于通信而言可能有意义的是，一次性发送特征集合以减少通信开销。

即使在没有服务器的可想到变型中一一其中计算完全在移动单元120上运行，并行化图像处理和定位也可能是有意义的。这可以用来更好地利用可用的硬件，例如在多核处理器中或当部分计算可以外包给诸如图形卡的专用硬件时。此外，只要对当前姿态估计的置信度足够高，这里也可以停止图像处理。

Claims (15)

1.一种用于为至少一个移动单元(120)的使用环境(100)的地图(170)提供绘制数据(160)的方法(600)，其中该方法(600)具有以下步骤：

从与所述移动单元(120)的图像捕获装置(122)的接口(231)读入(632)参考图像数据(223)，其中所述参考图像数据(223)代表多个参考图像(1423)，所述参考图像是借助于所述图像捕获装置(122)对所述使用环境(100)的底板(102)的特定于每个参考图像(1423)的子区段(104)拍摄的，其中相邻的子区段(104)部分重叠；

使用所述参考图像数据(223)针对每个参考图像(1423)提取(634)多个参考图像特征(235)，其中所述参考图像特征(235)在每个参考图像(1423)中的位置借助于随机过程和/或根据预定义的分布方案来确定；

产生(636)所述绘制数据(160)，其中在每个参考图像特征(235)的位置处使用所述参考图像数据(223)确定参考特征描述符，其中所述绘制数据(160)具有所述参考图像数据(223)、所述参考图像特征(235)的位置和所述参考特征描述符。

2.一种用于为至少一个移动单元(120)创建使用环境(100)的地图(170)的方法(700)，其中该方法(700)具有以下步骤：

从与所述至少一个移动单元(120)的通信接口(451)接收(752)绘制数据(160)，其中所述绘制数据(160)是根据前述权利要求中任一项所述的方法(600)提供的；

使用所述绘制数据(160)并根据使用所述参考特征描述符确定的重叠参考图像(1423)的参考图像特征(235)之间的对应关系，确定(754)每个参考图像(1423)的所述图像捕获装置(122)相对于参考坐标系的参考姿态(455)；以及

根据所述参考姿态(455)、所述参考图像特征(235)的位置、所述参考特征描述符和所述参考姿态(455)来组合(756)所述参考图像(1423)，以创建所述使用环境(100)的地图(170)。

3.根据权利要求2所述的方法(700)，其中在确定步骤(754)中根据参考图像特征(235)之间的对应关系来确定所述参考姿态(455)，针对在重叠参考图像(1423)中的所述参考图像特征已确定了彼此之间满足相似性标准的参考特征描述符。

4.一种用于为至少一个移动单元(120)在使用环境(100)中的定位确定定位数据(180)的方法(800)，其中该方法(800)具有以下步骤：

从与所述移动单元(120)的图像捕获装置(122)的接口(231)读入(832)图像数据(323)，其中所述图像数据(323)代表至少一个图像(1123、1323)，所述至少一个图像是借助于所述图像捕获装置(122)对所述使用环境(100)的底板(102)的子区段(104)拍摄的；

使用所述图像数据(323)提取(834)所述图像(1123、1323)的多个图像特征(335)，其中所述图像特征(335)在所述图像(1123、1323)中的位置借助于随机过程和/或根据预定义的分布方案来确定；

使用所述图像数据(323)在每个图像特征(335)的位置处生成(836)特征描述符以确定所述定位数据(180)，其中所述定位数据(180)具有所述图像特征(335)的位置和所述特征描述符。

5.根据权利要求4所述的方法(800)，具有将所述定位数据(180)输出到与数据处理装置(140)的接口(239)的步骤(838)，其中在多个数据包中输出所述定位数据(180)，其中每个数据包都包括图像特征(335)的至少一个位置和至少一个特征描述符，其中一旦生成了至少一个特征描述符，就输出数据包。

6.根据权利要求4至5中任一项所述的方法(800)，具有使用所述定位数据(180)的特征描述符和先前图像(1123、1323)的参考特征描述符来找到所述定位数据(180)的图像特征(335)与所述先前图像(1123、1323)的参考图像特征(235)之间的对应关系的步骤(842)，并且具有根据在找到步骤(842)中找到的对应关系确定所述图像(1123、1323)的图像捕获装置(122)相对于所述参考坐标系的姿态以执行定位的步骤(844)。

7.根据权利要求1和4至6中任一项所述的方法(600；800)，其中在提取步骤(634；834)中使用随机过程和/或预定义的分布方案，其中产生具有参考图像特征(235)或图像特征(335)的所有可能图像位置的列表，并且将所述列表伪随机地混合或从所述列表中伪随机地选择位置，和/或其中使用固定的位置模式或多个伪随机创建的位置模式之一。

8.根据权利要求1和4至7中任一项所述的方法(600；800)，其中在提取步骤(634；834)中使用随机过程和/或预定义的分布方案，其中使用可变或设定数量的位置，和/或其中针对参考图像(1423)或图像(1123、1323)的不同子区域设定不同的位置分布密度。

9.一种用于在使用环境(100)中定位至少一个移动单元(120)的方法(900)，其中该方法(900)具有以下步骤：

从与所述至少一个移动单元(120)的通信接口(451)接收(952)定位数据(180)，其中所述定位数据(180)是根据权利要求4至8中任一项所述的方法(800)确定的；

使用所述定位数据(180)的特征描述符和根据权利要求1至3中任一项所述的方法(600；700)创建的地图(170)的参考特征描述符，确定(954)所述定位数据(180)的图像特征(335)与所述地图(170)的参考图像特征(235)之间的对应关系(555)；

根据在确定步骤(954)中确定的对应关系(555)并且使用所述地图(170)的参考姿态(455)来确定(956)所述图像(1123、1323)的图像捕获装置(122)相对于参考坐标系的姿态，以生成代表所述姿态的姿态信息(190)；以及

将所述姿态信息(190)输出(958)到与所述至少一个移动单元(120)的通信接口(451)，以执行所述定位。

10.根据权利要求9所述的方法(900)，其中在确定步骤(956)中对在确定步骤(954)中确定的对应关系(555)应用加权值和/或置信度值，以生成评估的对应关系，其中根据所述评估的对应关系确定所述姿态。

11.一种用于移动单元(120)的设备(130)，其中所述设备(130)被设置为在对应的单元(232、234、236；332、334、336)中执行和/或操控根据权利要求1、7和8中任一项所述的方法(600)的步骤和/或根据权利要求4至8中任一项所述的方法(800)的步骤。

12.一种用于数据处理装置(140)的设备(150)，其中所述设备(150)被设置为在对应的单元(452、454、456；552、554、556、558)中执行和/或操控根据权利要求2至3中任一项所述的方法(700)的步骤和/或根据权利要求9至10中任一项所述的方法(900)的步骤。

13.一种用于使用环境(100)的定位系统(110)，在所述使用环境中能够使用至少一个移动单元(120)，其中所述定位系统(110)具有以下特征：

所述至少一个移动单元(120)，其中所述移动单元(120)具有根据权利要求11所述的用于移动单元(120)的设备(130)；

数据处理装置(140)，其中所述数据处理装置(140)具有根据权利要求12所述的用于数据处理装置(140)的设备(150)，其中所述用于移动单元(120)的设备(130)和所述用于数据处理装置(140)的设备(150)能够传输数据地相互连接。

14.一种计算机程序，其被设置为执行和/或操控根据前述权利要求中任一项的方法(600；700；800；900)的步骤。

15.一种机器可读存储介质，其上存储有根据权利要求14所述的计算机程序。

Images