DE102020213151A1

DE102020213151A1 - Verfahren und Vorrichtung zum Kartieren einer Einsatzumgebung für zumindest eine mobile Einheit sowie zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung und Lokalisationssystem für eine Einsatzumgebung

Info

Publication number: DE102020213151A1
Application number: DE102020213151.1A
Authority: DE
Inventors: Stephan Simon; Jan Fabian Schmid
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2022-04-21
Also published as: US20240029299A1; CN116324886A; EP4229597A1; WO2022084182A1

Abstract

Ein Verfahren zum Bereitstellen von Kartierungsdaten (160) für eine Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120) umfasst das Einlesen von Referenz-Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120). Die Referenz-Bilddaten repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung (122) von pro Referenzbild spezifischen Teilabschnitten (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen sind, wobei benachbarte Teilabschnitte (104) teilweise überlappen. Eine Mehrzahl von Referenz-Bildmerkmalen werden für jedes Referenzbild unter Verwendung der Referenz-Bilddaten extrahiert. Positionen der Referenz-Bildmerkmale in jedem Referenzbild werden mittels eines Zufallsprozesses oder gemäß einem vordefinierten Verteilungsschema bestimmt. Zum Erzeugen von Kartierungsdaten (160) wird an der Position jedes Referenz-Bildmerkmals ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten ermittelt. Die Kartierungsdaten (160) umfassen die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz-Merkmalsdeskriptoren.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Für eine merkmalsbasierte Lokalisation anhand von Bodentexturen bzw. eine absolute bzw. kartenbasierte Lokalisation anhand von Bodentexturmerkmalen sind verschiedene Verfahren bekannt. Für die Merkmalsextraktion können beispielsweise zufällige Merkmalsbildbereiche verwendet werden, jedoch bisher insbesondere lediglich in Anwendungsfällen, in denen es nicht darum geht, Korrespondenzen zwischen Bildpaaren zu finden und somit insbesondere auch nicht um Lokalisationsaufgaben, sondern in Anwendungen, bei denen das Ziel darin besteht, den Bildinhalt zu verstehen. Beispiele für solche Anwendungen sind die Bildklassifizierung oder die Objekterkennung. Solche Anwendungen betreffen insbesondere Methoden, die vollständig auf einem System ablaufen, wie beispielsweise einem autonomen Vehikel oder Roboter.
Die DE 10 2017 220 291 A1 offenbart ein Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems. Es handelt sich hierbei um eine Methode, mit der ein autonomes System mit einer nach unten gerichteten Kamera einer zuvor angelernten virtuellen Schiene folgen kann.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz Verfahren, weiterhin Vorrichtungen, welche diese Verfahren verwenden, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
Gemäß Ausführungsformen kann insbesondere eine effiziente Merkmalsdetektion für eine bodentexturbasierte Kartierung und/oder Lokalisation in einer Einsatzumgebung für zumindest eine mobile Einheit ermöglicht werden. Hierzu kann beispielsweise genauer gesagt ein vereinfachter Ansatz zur Merkmalsdetektion für die bodentexturbasierte Kartierung und/oder Lokalisation genutzt werden. Anders ausgedrückt kann ein effizienter Prozess zur Merkmalsdetektion für die Lokalisation mit Hilfe von Bildern einer nach unten gerichteten Kamera bereitgestellt werden. Die Merkmalsdetektion kann hierbei insbesondere unabhängig vom tatsächlichen Bildinhalt durchgeführt werden, entweder indem Merkmalspositionen durch einen Zufallsprozess oder durch ein fixes Muster definiert werden. Der Einsatz kann beispielsweise im Wesentlichen unabhängig von nachfolgenden Schritten der Lokalisation wie Merkmalsbeschreibung, Korrespondenzfindung, und Posenbestimmung erfolgen. Ausführungsformen können insbesondere darauf beruhen, dass anstelle einer tatsächlichen Merkmalsdetektion beliebige Bildbereiche für den Kartierungsprozess und/oder Lokalisationsprozess verwendet werden können. Das heißt, es kann Rechenzeit eingespart werden, indem die zur Merkmalsextraktion verwendeten Bildbereiche zufällig bzw. pseudozufällig oder anhand eines statischen Musters bestimmt werden. Dass diese Art der Merkmalsdetektion ein valider Ansatz für die merkmalsbasierte Lokalisation anhand von Bodentexturen ist, hat insbesondere die folgenden Gründe.
Erstens kann eine Wahrscheinlichkeit dafür, zufällig ähnliche Bildbereiche auszuwählen, hierbei als relativ hoch eingestuft werden. Das liegt daran, dass eine Kamerapose in guter Näherung mit nur drei Parametern beschrieben werden kann: den x- und y-Koordinaten in der Bodenebene sowie einem Orientierungswinkel. Insbesondere ist der Abstand zum Boden bekannt, sodass eine Bildbereichsgröße verwendete Merkmale konstant gehalten werden kann. Falls beispielsweise während der Lokalisation bereits eine aktuelle Posenschätzung vorhanden ist, kann eine Komplexität weiter reduziert werden. Insbesondere bei einer ausreichend präzisen Schätzung der Orientierung können sich die zu bestimmenden Parameter der Merkmalsbildbereiche zu ihren Bildkoordinaten reduzieren. Wenn ein Merkmalsdeskriptor mit einer gewissen Translationsrobustheit verwendet wird, sodass auch leicht verschobene Bildbereiche zu ähnlichen Deskriptoren ausgewertet werden können, so ergibt sich beispielsweise eine hohe Wahrscheinlichkeit dafür, dass trotz zufälliger Auswahl der verwendeten Merkmalsbildbereiche korrekte Korrespondenzen zwischen überlappenden Bildpaaren gefunden werden. Zweitens kann davon ausgegangen werden, dass Bodentexturen einen hohen Informationsgehalt aufweisen. Mit einem geeigneten Merkmalsdeskriptor brauchen insbesondere keine besonderen Merkmalsbildbereiche, d.h. insbesondere solche mit besonders hohem Informationsgehalt, zur Korrespondenzfindung verwendet zu werden. Vielmehr können beispielsweise typische Bodentexturen wie Beton, Asphalt oder Teppiche überall ausreichend charakteristische Eigenschaften aufweisen, um eine Korrespondenzfindung zu ermöglichen; vorausgesetzt es werden hinreichend stark überlappende Merkmalsbildbereiche in Lokalisations- und Referenzbild verwendet.
Gemäß Ausführungsformen kann insbesondere eine Reduzierung eines Rechenaufwandes für die hochpräzise Kartierung und/oder Lokalisation anhand von Bodentexturmerkmalen erreicht werden. Somit kann ein Einsatz von herkömmlichen, häufig rechenaufwendigen Methoden für die Merkmalsdetektion, wie beispielsweise SIFT (Lowe, 2004), welche für die Korrespondenzfindung geeignete Bildbereiche bestimmen, vermieden werden. Bei solchen herkömmlichen Methoden können insbesondere Bildbereiche bestimmt werden, bei denen eine bestimmte Eigenschaft am stärksten ausgeprägt ist, auch als globale Optimierung bezeichnet. Ein Beispiel für eine solche Eigenschaft ist der Kontrast zur lokalen Umgebung. Verglichen mit solchen Methoden kann gemäß Ausführungsformen beispielsweise aufgrund des Verzichts auf die Optimierung ein Rechenaufwand gesenkt werden, wobei die hier vorgestellte Verwendung zufällig oder gleichmäßig verteilter Merkmalsbildbereiche einen verringerten Rechenaufwand hat, ohne dass eine Lokalisationsfähigkeit darunter leiden würde.
Gegenüber dem Stand der Technik können unter anderem die folgenden Vorteile erzielt werden. Zum einen ist der vorstehend erwähnte verringerte Rechenaufwand für die Merkmalsextraktion zu nennen. Zwar können aufgrund der geringeren Wahrscheinlichkeit, korrespondierende Merkmale zu finden, eine größere Anzahl Merkmale verwendet werden, doch bei Verwendung effizienter Prozesse für Merkmalsbeschreibung, Korrespondenzfindung sowie für ein Aussortieren inkorrekter Korrespondenzen bzw. eine Selektion der korrekten Korrespondenzen kann der Rechenaufwand für die Lokalisation insgesamt deutlich verringert werden. Geeignete effiziente Methoden für die Merkmalsbeschreibung können beispielsweise binäre Deskriptoren wie BRIEF (Calonder et al., 2010), BRISK (Leutenegger et al., 2011), LATCH (Levi and Hassner, 2016) oder AKAZE (Alcantarilla et al., 2013) sein. Zusätzlich zum geringeren Rechenaufwand kann die Verwendung zufälliger Merkmalsbildbereiche ein Vorteil auf bestimmten Bodentexturtypen sein. Dies liegt an einem Phänomen, das bei Bodentexturen mit stark repetitiven Mustern auftreten kann. Eine Verwendung klassischer Merkmalsdetektoren kann bei solchen Texturen beispielsweise dazu führen, dass immerzu dieselben Stellen des Musters als Merkmalsbildbereiche bestimmt werden. In einem solchen Fall ist es dem Lokalisationsverfahren unter Umständen nicht mehr oder nur schwer möglich, zwischen verschiedenen Ausprägungen des Musters zu unterscheiden. Durch die Verwendung zufälliger bzw. pseudozufälliger Merkmalsbildbereiche kann dies verhindert werden.
Es wird ein Verfahren zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von Referenz-Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit, wobei die Referenz-Bilddaten eine Mehrzahl von Referenzbildern repräsentieren, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten eines Bodens der Einsatzumgebung aufgenommen sind, wobei benachbarte Teilabschnitte teilweise überlappen;
Extrahieren einer Mehrzahl von Referenz-Bildmerkmalen für jedes Referenzbild unter Verwendung der Referenz-Bilddaten, wobei Positionen der Referenz-Bildmerkmale in jedem Referenzbild mittels eines Zufallsprozesses und zusätzlich oder alternativ gemäß einem vordefinierten Verteilungsschema bestimmt werden;
Erzeugen der Kartierungsdaten, wobei an der Position jedes Referenz-Bildmerkmals ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten ermittelt wird, wobei die Kartierungsdaten die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz-Merkmalsdeskriptoren aufweisen.

Bei der Einsatzumgebung kann es sich um eine durch die zumindest eine mobile Einheit befahrbare Fläche innerhalb und zusätzlich oder alternativ außerhalb eines oder mehrerer Gebäude handelt. Die Einsatzumgebung kann vordefinierte Grenzen aufweisen. Die zumindest eine mobile Einheit kann als ein Fahrzeug für hochautomatisiertes Fahren, ein Roboter oder dergleichen ausgeführt sein. Die Bilderfassungseinrichtung kann zumindest eine Kamera einer mobilen Einheit aufweisen. Die Bilderfassungseinrichtung kann relativ zu der mobilen Einheit in einer festgelegten Orientierung angeordnet sein. Bei der Bilderfassungseinrichtung kann es sich um eine Kamera handeln.
Es wird auch ein Verfahren zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Empfangen von Kartierungsdaten von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, wobei die Kartierungsdaten gemäß einer Ausführungsform des vorstehend beschriebenen Verfahrens zum Bereitstellen bereitgestellt sind;
Bestimmen einer Referenzpose der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem unter Verwendung der Kartierungsdaten und abhängig von unter Verwendung der Referenz-Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen überlappender Referenzbilder; und
Kombinieren der Referenzbilder abhängig von den Referenzposen, der Positionen der Referenz-Bildmerkmale, der Referenz-Merkmalsdeskriptoren und der Referenzposen, um die Karte der Einsatzumgebung zu erstellen.

Das Verfahren zum Erstellen der Karte kann beispielsweise auf bzw. unter Verwendung einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung kann hierbei getrennt von der zumindest einen mobilen Einheit innerhalb oder außerhalb der Einsatzumgebung angeordnet sein.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen bestimmt werden, zu denen in überlappenden Referenzbildern Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen. Eine solche Ausführungsform bietet den Vorteil, dass der Einsatz einer derartigen Reproduzierbarkeitsbedingung eine Robustheit gegenüber Bildtransformationen, wie beispielsweise Translation und Rotation der Bilderfassungseinrichtung sowie photometrische Transformationen, verbessern kann, was sich wiederum auch bei der Lokalisation günstig auswirken kann, da mehr korrekte Korrespondenzen gefunden werden können.
Ferner wird ein Verfahren zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit, wobei die Bilddaten zumindest ein Bild repräsentieren, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt eines Bodens der Einsatzumgebung aufgenommen ist;
Extrahieren einer Mehrzahl von Bildmerkmalen für das Bild unter Verwendung der Bilddaten, wobei Positionen der Bildmerkmale in dem Bild mittels eines Zufallsprozesses und zusätzlich oder alternativ gemäß einem vordefinierten Verteilungsschema bestimmt werden;

Generieren eines Merkmalsdeskriptors an der Position jedes Bildmerkmals unter Verwendung der Bilddaten, um die Lokalisationsdaten zu bestimmen, wobei die Lokalisationsdaten die Positionen der Bildmerkmale und die Merkmalsdeskriptoren aufweisen.
Bei der zumindest einen mobilen Einheit kann es sich um die zumindest eine mobile Einheit aus einem der vorstehend genannten Verfahren oder zumindest eine weitere mobile Einheit handeln, die der zumindest einen mobilen Einheit aus einem der vorstehend genannten Verfahren entspricht oder ähnelt. Zumindest einige der Schritte des Verfahrens können für jedes Bild wiederholt oder zyklisch wiederholt ausgeführt werden. Die Bilder und somit durch die Bilder repräsentierte benachbarte Teilabschnitte können überlappen.
Optional kann der Referenz-Merkmalsdeskriptor und/oder kann der Merkmalsdeskriptor ein binärer Deskriptor sein. Die Verwendung binärer Deskriptoren kann von Vorteil sein, da sie typischerweise schneller zu berechnen sind als nicht-binäre bzw. gleitkommawertige Deskriptoren, und da binäre Deskriptoren eine besonders effiziente Korrespondenzbildung ermöglichen.
Gemäß einer Ausführungsform kann das Verfahren zum Bestimmen einen Schritt des Ausgebens der Lokalisationsdaten an eine Schnittstelle zu einer Datenverarbeitungseinrichtung aufweisen. Hierbei können die Lokalisationsdaten in einer Mehrzahl von Datenpaketen ausgegeben werden. Dabei kann jedes Datenpaket mindestens eine Position eines Bildmerkmals und mindestens einen Merkmalsdeskriptor umfassen. Dabei kann ein Datenpaket ausgegeben werden, sobald mindestens ein Merkmalsdeskriptor generiert ist. Eine solche Ausführungsform bietet den Vorteil, dass eine zentralisierte bodentexturmerkmalsbasierte Lokalisationsmethode, bei der die Bildverarbeitung und eine relative Posenbestimmung bzw. visuelle Odometrie auf den mobilen Einheiten bzw. Robotern stattfindet, während die absolute Posenbestimmung anhand einer zuvor aufgenommenen Karte auf einen zentralen Server ausgelagert ist, effizient implementiert werden kann. Hierbei können insbesondere die drei Schritte der Lokalisationsmethode, d.h. Bildverarbeitung, Kommunikation und Lokalisation, parallel bzw. teilweise überlappend durchgeführt werden. Die Verwendung zufälliger oder vordefinierter Merkmalsbereiche ermöglicht es, dass ein Merkmal nach dem anderen berechnet wird und anschließend direkt an die Datenverarbeitungseinrichtung bzw. den Server gesendet werden kann. Der Server erhält somit von der mobilen Einheit einen konstanten Fluss extrahierter Bildmerkmale, sodass Bildverarbeitung und Kommunikation parallel bzw. teilweise überlappend stattfinden können. Die anschließende, auf dem Server stattfindende Lokalisation auf Basis der erhaltenen Bildmerkmale aus dem Lokalisationsbild, sowie der Karte des Anwendungsbereichs, kann ebenso parallel bzw. teilweise überlappend durchgeführt werden. Auch kann das Bild systematisch und/oder vollständig anhand eines Merkmalskriteriums abgesucht werden, und immer wenn ein Bildbereich gefunden wurde, der dieses Kriterium erfüllt, kann der Deskriptor berechnet werden und können die Merkmalsinformationen anschließend an den Server gesendet werden. Es kann im Hinblick auf den Merkmalsdetektor darauf verzichtet werden, nach global optimalen Bildbereichen für die Merkmalsbildung zu suchen.
Auch kann das Verfahren zum Bestimmen einen Schritt des Eruierens von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen eines vorhergehenden Bildes unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und von Referenz-Merkmalsdeskriptoren des vorhergehenden Bildes umfassen. Ferner kann das Verfahren zum Bestimmen einen Schritt des Bestimmens einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt des Eruierens eruierten Korrespondenzen umfassen, um die Lokalisation durchzuführen. Eine solche Ausführungsform bietet den Vorteil, dass eine inkrementelle oder relative Lokalisation durchgeführt werden kann, wobei eine relative Kamerapose gegenüber einer vorherigen Kamerapose bestimmt werden kann, auch wenn beispielsweise vorübergehend eine Datenverbindung zur Datenverarbeitungseinrichtung unterbrochen sein sollte.
Gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen und/oder des vorstehend genannten Verfahrens zum Bestimmen kann im Schritt des Extrahierens ein Zufallsprozess und zusätzlich oder alternativ ein vordefiniertes Verteilungsschema verwendet werden, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz-Bildmerkmalen oder Bildmerkmalen erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und zusätzlich oder alternativ bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird. Der Vorteil eines bodentexturbasierten Lokalisationsverfahrens, das beliebige bzw. von einem tatsächlichen Bildinhalt unabhängige Merkmalsbildbereiche, sei es zufällige oder vordefinierte, zur Korrespondenzbildung verwendet, besteht darin, dass der Rechenaufwand der Bildverarbeitung reduziert werden kann, da im Gegensatz zum Einsatz eines herkömmlichen Merkmalsdetektors nicht das gesamte Bild vollständig verarbeitet zu werden braucht, um die optimalen Merkmalsbildbereiche zu identifizieren. Stattdessen können Merkmale an beliebigen Stellen des Referenzbildes bzw. Bildes berechnet werden. Eine solche Methode hat zudem den Vorteil, dass die Bildverarbeitung noch im Gange sein kann, wenn die Informationen im nächsten Verarbeitungsschritt genutzt werden.
Gemäß einer weiteren Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen und/oder des vorstehend genannten Verfahrens zum Bestimmen kann im Schritt des Extrahierens ein Zufallsprozess und zusätzlich oder alternativ ein vordefiniertes Verteilungsschema verwendet werden, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und zusätzlich oder alternativ bei dem für unterschiedliche Teilbereiche eines Referenzbildes oder des Bildes unterschiedliche Verteilungsdichten von Positionen festgelegt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine verbesserte Anpassung an tatsächliche Gegebenheiten in der Einsatzumgebung, genauer gesagt des Bodens, vorgenommen werden kann.
Es wird zudem ein Verfahren zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Empfangen von Lokalisationsdaten von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, wobei die Lokalisationsdaten gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Bestimmen bestimmt sind;
Ermitteln von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen einer gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Erstellen erstellten Karte unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und der Referenz-Merkmalsdeskriptoren der Karte;
Bestimmen einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt des Ermittelns ermittelten Korrespondenzen und unter Verwendung der Referenzposen der Karte, um eine die Pose repräsentierende Poseninformation zu generieren; und
Ausgeben der Poseninformation an die Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit, um die Lokalisation durchzuführen.

Das Verfahren zur Lokalisation kann beispielsweise auf bzw. unter Verwendung einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung kann hierbei getrennt von der zumindest einen mobilen Einheit innerhalb oder außerhalb der Einsatzumgebung angeordnet sein.
Gemäß einer Ausführungsform können im Schritt des Bestimmens auf die im Schritt des Ermittelns ermittelten Korrespondenzen Gewichtungswerte und zusätzlich oder alternativ Konfidenzwerte angewandt werden, um bewertete Korrespondenzen zu generieren. Hierbei kann die Pose abhängig von den bewerteten Korrespondenzen bestimmt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine Zuverlässigkeit, Robustheit und Genauigkeit der Lokalisation weiter erhöht werden können, insbesondere da inkorrekte bzw. weniger korrekte Korrespondenzen aussortiert werden können.
Jedes der vorstehend genannten Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung für eine mobile Einheit, wobei die Vorrichtung ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Bereitstellen und/oder des hier vorgestellten Verfahrens zum Bestimmen in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung für eine mobile Einheit kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung für eine Datenverarbeitungseinrichtung, wobei die Vorrichtung ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Erstellen einer Karte und/oder des hier vorgestellten Verfahrens zur Lokalisation in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung für eine Datenverarbeitungseinrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Es wird auch ein Lokalisationssystem für eine Einsatzumgebung vorgestellt, in der zumindest eine mobile Einheit einsetzbar ist, wobei das Lokalisationssystem folgende Merkmale aufweist:

die zumindest eine mobile Einheit, wobei die mobile Einheit eine Ausführungsform der vorstehend genannten Vorrichtung für eine mobile Einheit aufweist; und
eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung eine Ausführungsform der vorstehend genannten Vorrichtung für eine Datenverarbeitungseinrichtung aufweist, wobei die Vorrichtung für die mobile Einheit und die Vorrichtung für die Datenverarbeitungseinrichtung datenübertragungsfähig miteinander verbunden sind.
Insbesondere kann das Lokalisationssystem die Datenverarbeitungseinrichtung und eine Mehrzahl von mobilen Einheiten aufweisen. Zumindest eine der mobilen Einheiten kann optional eine Vorrichtung für eine mobile Einheit aufweisen, die ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens zum Bereitstellen in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Ausführungsbeispiels eines Lokalisationssystems für eine Einsatzumgebung;
2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine mobile Einheit;
3 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine mobile Einheit;
4 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine Datenverarbeitungseinrichtung;
5 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung für eine Datenverarbeitungseinrichtung;
6 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit;
7 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit;
8 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung;
9 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung;
10 eine schematische Darstellung eines Bildes und von Merkmalsbildbereichen;
11 eine schematische Darstellung eines Bildes 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel;
12 eine schematische Darstellung überlappende Bilder mit Merkmalsbildbereichen;
13 eine schematische Darstellung überlappender Bilder 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel;
14 eine schematische Darstellung einer Reproduzierbarkeitsbedingung gemäß einem Ausführungsbeispiel; und
15 eine schematische Darstellung eines zeitlichen Ablaufs von drei Phasen einer zentralisierten bildmerkmalsbasierten Lokalisation.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Lokalisationssystems 110 für eine Einsatzumgebung 100. In der Einsatzumgebung 100 ist zumindest eine mobile Einheit 120 einsetzbar. In der Darstellung von 1 sind lediglich beispielhaft vier mobile Einheiten 120 in der Einsatzumgebung 100 gezeigt. Bei der Einsatzumgebung 100 handelt es sich beispielsweise um eine für die zumindest eine mobile Einheit 120 befahrbare Fläche innerhalb und/oder außerhalb zumindest eines Gebäudes. Die Einsatzumgebung 100 weist einen Boden 102 auf, auf dem die zumindest eine mobile Einheit 120 sich bewegen kann. Bei der zumindest einen mobilen Einheit 120 handelt es sich um ein Fahrzeug für hochautomatisiertes Fahren, insbesondere einen Roboter bzw. ein Roboterfahrzeug oder dergleichen.
Das Lokalisationssystem 110 umfasst die zumindest eine mobile Einheit 120 und eine Datenverarbeitungseinrichtung 140. Die Datenverarbeitungseinrichtung 140 ist innerhalb und/oder außerhalb der Einsatzumgebung 100 angeordnet. In der Darstellung von 1 ist die Datenverarbeitungseinrichtung 140 lediglich beispielhaft innerhalb der Einsatzumgebung 100 gezeigt. Die Datenverarbeitungseinrichtung 140 ist ausgebildet, um für die zumindest eine mobile Einheit 120 eine Datenverarbeitung durchzuführen.
Jede mobile Einheit 120 umfasst eine Bilderfassungseinrichtung 122, deren Sichtfeld auf den Boden 102 der Einsatzumgebung 100 gerichtet ist. Bei der Bilderfassungseinrichtung 122 handelt es sich hierbei um eine Kamera. Optional umfasst jede mobile Einheit 120 zumindest eine Beleuchtungseinrichtung 124 zum Beleuchten des Sichtfeldes der Bilderfassungseinrichtung 122. Gemäß dem in 1 dargestellten Ausführungsbeispiel umfasst jede mobile Einheit 120 beispielhaft eine ringförmig ausgeformte Beleuchtungseinrichtung 124. Pro Bildaufnahmevorgang der Bilderfassungseinrichtung 122 kann ein Teilabschnitt 104 des Bodens 102 der Einsatzumgebung 100 abgebildet werden. Ferner umfasst jede mobile Einheit 120 eine Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit ist datenübertragungsfähig bzw. signalübertragungsfähig mit der Bilderfassungseinrichtung 122 verbunden oder kann alternativ als ein Teil desselben ausgeführt sein. Die Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um ein Verfahren zum Bereitstellen von Kartierungsdaten 160 für eine Karte 170 der Einsatzumgebung 100 und/oder ein Verfahren zum Bestimmen von Lokalisationsdaten 180 für eine Lokalisation der zumindest einer mobilen Einheit 120 in der Einsatzumgebung 100 auszuführen. Auf die Vorrichtung 130 für eine mobile Einheit wird unter Bezugnahme auf nachfolgende Figuren noch detaillierter eingegangen.
Die Datenverarbeitungseinrichtung 140 umfasst eine Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um ein Verfahren zum Erstellen der Karte 170 der Einsatzumgebung 100 und/oder ein Verfahren zur Lokalisation der zumindest einen mobilen Einheit 120 in der Einsatzumgebung 100 auszuführen. Dabei sind die Vorrichtung 130 für die mobile Einheit und die Vorrichtung 150 für eine Datenverarbeitungseinrichtung datenübertragungsfähig miteinander verbunden, insbesondere mittels einer Funkverbindung, beispielsweise WLAN oder Mobilfunk. Hierbei sind die Kartierungsdaten 160 und/oder die Lokalisationsdaten 180 bzw. Bildmerkmale von der zumindest einen mobilen Einheit 120 an die Datenverarbeitungseinrichtung 140 übertragbar und ist eine Poseninformation 190 bzw. geschätzte Roboterpose zur Lokalisation von der Datenverarbeitungseinrichtung 140 an jede mobile Einheit 120 übertragbar.
Anders ausgedrückt befindet sich in der Einsatzumgebung 100 eine Mehrzahl eigenständiger Roboter bzw. mobile Einheiten 120 in Funkkontakt mit einer auch als zentraler Server mit gespeicherter Karte 170 bezeichneten Datenverarbeitungseinrichtung 140. Jede mobile Einheit 120 ist mit einer nach unten gerichteten Kamera bzw. Bilderfassungseinrichtung 122 ausgestattet. Zudem kann das Sichtfeld bzw. der Aufnahmebereich künstlich beleuchtet werden, sodass die Lokalisation unabhängig von externen Lichtbedingungen zuverlässig durchgeführt werden kann. In regelmäßigen zeitlichen Abständen machen die mobilen Einheiten 120 Bilder vom Boden 102, um eine Bestimmung ihrer eigenen Pose vorzunehmen. Zu diesem Zweck werden Merkmale an beliebigen Stellen aus dem Bild extrahiert, diese werden nacheinander an den Server bzw. die Datenverarbeitungseinrichtung 140 gesendet, wo insbesondere eine Bodentexturkarte erstellt wird und/oder gespeichert ist, mit der die Posen der mobilen Einheiten 120 anhand der gesandten Merkmale bzw. Lokalisationsdaten 180 geschätzt werden können. Gemäß einem Ausführungsbeispiel können hierzu Merkmalsextraktion, Kommunikation sowie Posenschätzung zumindest teilweise parallel durchgeführt werden, wodurch sich ein Laufzeitvorteil gegenüber einer Methode ergibt, bei der jeder dieser drei Schritte vollständig abgeschlossen sein sollte, bevor der nächste beginnen kann. Nachdem die Lokalisation abgeschlossen ist, wird die geschätzte Pose in Gestalt der Poseninformation 190 zurück an die mobile Einheit 120 gesendet, welche die Poseninformation 155 beispielsweise nutzen kann, um sich präzise zu positionieren. Für die Funkverbindung zwischen Server und Robotern, kann z.B. WLAN oder 5G verwendet werden.
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit entspricht oder ähnelt der Vorrichtung für eine mobile Einheit aus 1. Die in 2 dargestellte Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um Schritte eines Verfahrens zum Bereitstellen von Kartierungsdaten 160 für die Karte der Einsatzumgebung für die zumindest eine mobile Einheit in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Bereitstellen entspricht oder ähnelt beispielsweise dem Verfahren aus 6.
Die Vorrichtung 130 für eine mobile Einheit umfasst eine Einleseeinrichtung 232, eine Extraktionseinrichtung 234 und eine Erzeugungseinrichtung 236. Die Einleseeinrichtung 232 ist ausgebildet, um Referenz-Bilddaten 223 von einer Schnittstelle 231 zu einer Bilderfassungseinrichtung der mobilen Einheit einzulesen. Die Referenz-Bilddaten 223 repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten des Bodens der Einsatzumgebung aufgenommen sind. Dabei überlappen benachbarte Teilabschnitte einander teilweise. Ferner ist die Einleseeinrichtung 232 ausgebildet, um die Referenz-Bilddaten 223 an die Extraktionseinrichtung 234 weiterzugeben. Die Extraktionseinrichtung 234 ist ausgebildet, um unter Verwendung der Referenz-Bilddaten 223 eine Mehrzahl von Referenz-Bildmerkmalen 235 für jedes Referenzbild zu extrahieren. Positionen der Referenz-Bildmerkmale 235 in jedem Referenzbild werden mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. Auch ist die Extraktionseinrichtung 234 ausgebildet, um die Referenz-Bildmerkmalen 235 an die Erzeugungseinrichtung 236 weiterzugeben. Die Erzeugungseinrichtung 236 ist ausgebildet, um die Kartierungsdaten 160 zu erzeugen, wobei an der Position jedes Referenz-Bildmerkmals 235 ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten ermittelt wird. Die Kartierungsdaten 160 die Referenz-Bilddaten 223, die Positionen der Referenz-Bildmerkmale 235 und die Referenz-Merkmalsdeskriptoren aufweisen. Die Vorrichtung 130 für eine mobile Einheit ist ferner ausgebildet, um die Kartierungsdaten 160 an eine weitere Schnittstelle 239 zu der Datenverarbeitungseinrichtung auszugeben.
3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 130 für eine mobile Einheit. Die Vorrichtung 130 für eine mobile Einheit entspricht oder ähnelt der Vorrichtung für eine mobile Einheit aus 1 bzw. 2. Die in 3 dargestellte Vorrichtung 130 für eine mobile Einheit ist ausgebildet, um Schritte eines Verfahrens zum Bestimmen von Lokalisationsdaten 180 für die Lokalisation der zumindest einen mobilen Einheit in der Einsatzumgebung in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Bestimmen entspricht oder ähnelt beispielsweise dem Verfahren aus 8.
Die Vorrichtung 130 für eine mobile Einheit umfasst eine weitere Einleseeinrichtung 332, eine weitere Extraktionseinrichtung 334 und eine Generiereinrichtung 336. Die Einleseeinrichtung 332 ist ausgebildet, um Bilddaten 323 von der Schnittstelle 231 zu der Bilderfassungseinrichtung der mobilen Einheit einzulesen. Die Bilddaten 323 repräsentieren zumindest ein Bild, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt des Bodens der Einsatzumgebung aufgenommen ist. Auch ist die weitere Einleseeinrichtung 332 ausgebildet, um die Bilddaten 323 an die weitere Extraktionseinrichtung 334 weiterzugeben. Die weitere Extraktionseinrichtung 334 ist ausgebildet, um unter Verwendung der Bilddaten 323 eine Mehrzahl von Bildmerkmalen 335 für das Bild zu extrahieren. Positionen der Bildmerkmale 335 in dem Bild werden dabei mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. Die weitere Extraktionseinrichtung 334 ist ausgebildet, um die Bildmerkmalen 335 an die Generiereinrichtung 336 weiterzugeben. Die Generiereinrichtung 336 ist ausgebildet, um unter Verwendung der Bilddaten 323 an der Position jedes Bildmerkmals 335 einen Merkmalsdeskriptor zu generieren, um die Lokalisationsdaten 180 zu bestimmen. Die Lokalisationsdaten 180 umfassen die Positionen der Bildmerkmale 335 und die Merkmalsdeskriptoren.
Die Vorrichtung 130 für eine mobile Einheit ist insbesondere ausgebildet, um die Lokalisationsdaten 180 an die weitere Schnittstelle 239 zu der Datenverarbeitungseinrichtung auszugeben. Gemäß einem Ausführungsbeispiel erfolgt eine Ausgabe der Lokalisationsdaten 180 in einer Mehrzahl von Datenpaketen, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals 335 und mindestens einen Merkmalsdeskriptor umfasst. Genauer gesagt werden gemäß diesem Ausführungsbeispiel die Position jedes Bildmerkmals 335 und der zugehörige Merkmalsdeskriptor in einem Datenpaket ausgegeben, sobald der Merkmalsdeskriptor generiert ist. Somit können zumindest teilweise parallel Datenpakete ausgegeben werden und weitere Bildmerkmalen 335 extrahiert und Merkmalsdeskriptoren generiert werden.
4 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung entspricht oder ähnelt der Vorrichtung für eine Datenverarbeitungseinrichtung aus 1. Die in 4 dargestellte Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um Schritte eines Verfahrens zum Erstellen der Karte 170 der Einsatzumgebung für die zumindest eine mobile Einheit in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zum Erstellen entspricht oder ähnelt beispielsweise dem Verfahren aus 7.
Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung umfasst eine Empfangseinrichtung 452, eine Bestimmungseinrichtung 454 und eine Kombinationseinrichtung 456. Die Empfangseinrichtung 452 ist ausgebildet, um die Kartierungsdaten 160 von einer Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit empfangen. Die Kartierungsdaten 160 sind hierbei mittels der Vorrichtung für eine mobile Einheit bereitgestellt. Ferner ist die Empfangseinrichtung 452 ausgebildet, um die Kartierungsdaten 160 an die Bestimmungseinrichtung 454 weiterzugeben. Die Bestimmungseinrichtung 454 ist ausgebildet, um unter Verwendung der Kartierungsdaten 160 und abhängig von unter Verwendung der Referenz-Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen überlappender Referenzbilder eine Referenzpose 455 der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem zu bestimmen. Die Bestimmungseinrichtung 454 ist auch ausgebildet, um die Referenzposen 455 an die Kombinationseinrichtung 456 weiterzugeben. Die Kombinationseinrichtung 456 ist ausgebildet, um abhängig von den Referenzposen 455 die Referenzbilder, die Positionen der Referenz-Bildmerkmale, die Referenz-Merkmalsdeskriptoren und die Referenzposen 455 zu kombinieren, um die Karte 170 der Einsatzumgebung zu erstellen. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist insbesondere auch ausgebildet, um die Karte 170 an eine Speicherschnittstelle 459 zu einer Speichereinrichtung der Datenverarbeitungseinrichtung auszugeben.
5 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 150 für eine Datenverarbeitungseinrichtung. Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung entspricht oder ähnelt der Vorrichtung für eine Datenverarbeitungseinrichtung aus 1 bzw. 4. Die in 5 dargestellte Vorrichtung 150 für eine Datenverarbeitungseinrichtung ist ausgebildet, um Schritte eines Verfahrens zur Lokalisation der zumindest einen mobilen Einheit in der Einsatzumgebung in entsprechenden Einrichtungen auszuführen und/oder anzusteuern. Das Verfahren zur Lokalisation entspricht oder ähnelt beispielsweise dem Verfahren aus 9.
Die Vorrichtung 150 für eine Datenverarbeitungseinrichtung umfasst eine weitere Empfangseinrichtung 552, eine Ermittlungseinrichtung 554, eine weitere Bestimmungseinrichtung 556 und eine Ausgabeeinrichtung 558. Die weitere Empfangseinrichtung 552 ist ausgebildet, um die Lokalisationsdaten 180 von der Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit zu empfangen. Die Lokalisationsdaten 180 sind hierbei mittels der Vorrichtung für eine mobile Einheit bestimmt. Die weitere Empfangseinrichtung 552 ist auch ausgebildet, um die Lokalisationsdaten 180 an die Ermittlungseinrichtung 554 weiterzugeben. Die Ermittlungseinrichtung 554 ist ausgebildet, um unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten 180 und der Referenz-Merkmalsdeskriptoren der Karte 170 Korrespondenzen 555 zwischen Bildmerkmalen der Lokalisationsdaten 180 und Referenz-Bildmerkmalen der Karte 170 zu ermitteln. Ferner ist die Ermittlungseinrichtung 554 ausgebildet, um die Korrespondenzen 555 an die weitere Bestimmungseinrichtung 556 weiterzugeben. Die weitere Bestimmungseinrichtung 556 ist ausgebildet, um abhängig von den Korrespondenzen 555 und unter Verwendung der Referenzposen der Karte 170 eine Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem zu bestimmen, um die Poseninformation 190 zu generieren. Die Poseninformation 190 repräsentiert die bestimmte Pose. Auch ist die weitere Bestimmungseinrichtung 556 ausgebildet, um die Poseninformation 190 über die Ausgabeeinrichtung 558 an die Kommunikationsschnittstelle 451 zu der zumindest einen mobilen Einheit auszugeben, um die Lokalisation durchzuführen.
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 600 zum Bereitstellen von Kartierungsdaten für eine Karte einer Einsatzumgebung für zumindest eine mobile Einheit. Das Verfahren 600 zum Bereitstellen umfasst einen Schritt 632 des Einlesens, einen Schritt 634 des Extrahierens und einen Schritt 636 des Erzeugens. In dem Schritt 632 des Einlesens werden Referenz-Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit eingelesen. Die Referenz-Bilddaten repräsentieren eine Mehrzahl von Referenzbildern, die mittels der Bilderfassungseinrichtung von pro Referenzbild spezifischen Teilabschnitten eines Bodens der Einsatzumgebung aufgenommen sind, wobei benachbarte Teilabschnitte teilweise überlappen. In dem Schritt 634 des Extrahierens wird unter Verwendung der Referenz-Bilddaten einer Mehrzahl von Referenz-Bildmerkmalen für jedes Referenzbild extrahiert. Dabei werden Positionen der Referenz-Bildmerkmale in jedem Referenzbild mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. In dem Schritt 636 des Erzeugens werden die Kartierungsdaten erzeugt. Dabei wird an der Position jedes Referenz-Bildmerkmals ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten ermittelt. Die Kartierungsdaten umfassen die Referenz-Bilddaten, die Positionen der Referenz-Bildmerkmale und die Referenz-Merkmalsdeskriptoren.
7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 700 zum Erstellen einer Karte einer Einsatzumgebung für zumindest eine mobile Einheit. Das Verfahren 700 zum Erstellen umfasst einen Schritt 752 des Empfangens, einen Schritt 754 des Bestimmens und einen Schritt 756 des Kombinierens. In dem Schritt 752 des Empfangens werden von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit Kartierungsdaten empfangen, die gemäß dem in 6 dargestellten Verfahren oder einem ähnlichen Verfahren bereitgestellt sind. In dem Schritt 754 des Bestimmens wird unter Verwendung der Kartierungsdaten und abhängig von unter Verwendung der Referenz-Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen überlappender Referenzbilder eine Referenzpose der Bilderfassungseinrichtung für jedes Referenzbild relativ zu einem Bezugskoordinatensystem bestimmt. In dem Schritt 756 des Kombinierens werden abhängig von den Referenzposen die Referenzbilder, die Positionen der Referenz-Bildmerkmale, die Referenz-Merkmalsdeskriptoren und die Referenzposen kombiniert, um die Karte der Einsatzumgebung zu erstellen.
Gemäß einem Ausführungsbeispiel des Verfahrens 700 zum Erstellen der Karte wird im Schritt 754 des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen bestimmt, zu denen in überlappenden Referenzbildern Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen.
8 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 800 zum Bestimmen von Lokalisationsdaten für eine Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung. Das Verfahren 800 zum Bestimmen umfasst einen Schritt 832 des Einlesens, einen Schritt 834 des Extrahierens und einen Schritt 836 des Generierens. In dem Schritt 832 des Einlesens werden Bilddaten von einer Schnittstelle zu einer Bilderfassungseinrichtung der mobilen Einheit eingelesen. Die Bilddaten repräsentieren zumindest ein Bild, das mittels der Bilderfassungseinrichtung von einem Teilabschnitt eines Bodens der Einsatzumgebung aufgenommen ist. In dem Schritt 834 des Extrahierens wird unter Verwendung der Bilddaten eine Mehrzahl von Bildmerkmalen für das Bild extrahiert. Positionen der Bildmerkmale in dem Bild werden dabei mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt. In dem Schritt 836 des Generierens wird unter Verwendung der Bilddaten ein Merkmalsdeskriptor an der Position jedes Bildmerkmals generiert, um die Lokalisationsdaten zu bestimmen. Die Lokalisationsdaten umfassen die Positionen der Bildmerkmale und die Merkmalsdeskriptoren.
Insbesondere umfasst das Verfahren 800 zum Bestimmen der Lokalisationsdaten ferner einen Schritt 838 des Ausgebens der Lokalisationsdaten an eine Schnittstelle zu einer Datenverarbeitungseinrichtung. Die Lokalisationsdaten werden dabei in einer Mehrzahl von Datenpaketen ausgegeben, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals und mindestens einen Merkmalsdeskriptor umfasst. Beispielsweise wird der Schritt 838 des Ausgebens derart wiederholt ausgeführt, dass die Position jedes Bildmerkmals 335 und der zugehörige Merkmalsdeskriptor in einem Datenpaket ausgegeben werden, sobald der Merkmalsdeskriptor generiert ist. Somit können Datenpakete ausgegeben werden und zumindest teilweise parallel dazu weitere Bildmerkmalen 335 extrahiert und Merkmalsdeskriptoren generiert werden.
Gemäß einem Ausführungsbeispiel umfasst das Verfahren 800 zum Bestimmen der Lokalisationsdaten auch einen Schritt 842 des Eruierens von Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen eines vorhergehenden Bildes unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und von Referenz-Merkmalsdeskriptoren des vorhergehenden Bildes sowie ferner einen Schritt 844 des Bestimmens einer Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt 842 des Eruierens eruierten Korrespondenzen, um die Lokalisation durchzuführen. Dieses Ausführungsbeispiel kann bei Unterbrechungen einer Datenübertragung innerhalb der Einsatzumgebung zumindest temporär eine eigenständige Lokalisation der zumindest einen mobilen Einheit ermöglichen.
Unter Bezugnahme auf das in 6 dargestellte Verfahren 600 zum Bereitstellen der Kartendaten und/oder das in 8 dargestellte Verfahren 800 zum Bestimmen der Lokalisationsdaten wird im Schritt 634 und/oder 834 des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz-Bildmerkmalen oder Bildmerkmalen erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und/oder bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird. Zusätzlich oder alternativ wird im Schritt 634 und/oder 834 des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und/oder bei dem für unterschiedliche Teilbereiche eines Referenzbildes oder des Bildes unterschiedliche Verteilungsdichten von Positionen festgelegt werden.
9 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 900 zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung. Das Verfahren 900 zur Lokalisation umfasst einen Schritt 952 des Empfangens, einen Schritt 954 des Ermittelns, einen Schritt 956 des Bestimmens und einen Schritt 958 des Ausgebens. In dem Schritt 952 des Empfangens werden von einer Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit Lokalisationsdaten empfangen, die gemäß dem in 8 dargestellten Verfahren oder einem ähnlichen Verfahren bestimmt sind. In dem Schritt 954 des Ermittelns werden unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten und der Referenz-Merkmalsdeskriptoren der gemäß dem in 7 dargestellten Verfahren oder einem ähnlichen Verfahren erstellten Karte Korrespondenzen zwischen Bildmerkmalen der Lokalisationsdaten und Referenz-Bildmerkmalen der Karte ermittelt. In dem Schritt 956 des Bestimmens wird abhängig von den im Schritt 954 des Ermittelns ermittelten Korrespondenzen und unter Verwendung der Referenzposen der Karte eine Pose der Bilderfassungseinrichtung für das Bild relativ zu dem Bezugskoordinatensystem bestimmt, um eine die Pose repräsentierende Poseninformation zu generieren. In dem Schritt 958 des Ausgebens wird die Poseninformation an die Kommunikationsschnittstelle zu der zumindest einen mobilen Einheit ausgegeben, um die Lokalisation durchzuführen.
Gemäß einem Ausführungsbeispiel werden im Schritt 956 des Bestimmens Gewichtungswerte und/oder Konfidenzwerte auf die im Schritt 954 des Ermittelns ermittelten Korrespondenzen angewandt, um bewertete Korrespondenzen zu generieren. Die Pose wird hierbei im Schritt 956 des Bestimmens dann abhängig von den bewerteten Korrespondenzen bestimmt.
10 zeigt eine schematische Darstellung eines Bildes 1000 und von Merkmalsbildbereichen 1002. Hierbei sind gemäß einem klassischen oder herkömmlichen Verfahren eine Mehrzahl von Merkmalsbildbereichen 1002 aus das Bild 1000 repräsentierende Bilddaten extrahiert. 10 stellt ein schematisches Beispiel für einen Fall dar, bei dem die Verwendung eines klassischen Merkmalsdetektors fehlschlagen kann. Merkmalsdetektoren finden Merkmalsbildbereiche 1002, indem sie im ganzen Bild 1000 nach den Stellen suchen, die ein bestimmtes Kriterium erfüllen, bzw. welche die stärkste Ausprägung einer bestimmten Eigenschaft aufweisen. In 10 kann der Merkmalsdetektor beispielsweise nach den Stellen mit stärksten Kontrast suchen. Die in dem Bild 1000 gezeigte Textur hat eine sehr regelmäßige Struktur, die hier als Gitter dargestellt ist. Diese regelmäßige Struktur kann nun gerade so sein, dass sie an bestimmten Stellen, die in der regelmäßigen Struktur entsprechend immer wieder vorkommen, eine starke Ausprägung der von dem Merkmalsdetektor zu maximierenden Eigenschaft aufweist, hier einen starken Kontrast. Diese Stellen, die entsprechend vom Detektor als Merkmalsbildbereiche 1002 extrahiert werden, sind in 10 mit Quadraten dargestellt, und haben den stärksten Kontrast zwischen innerem und äußerem Bereich des Merkmals. Eine Schwierigkeit besteht nun Beispielsweise darin, dass die Merkmalsbildbereiche 1002 einen sehr ähnlichen, im Extremfall identischen, Inhalt aufweisen, sodass sie und ihre entsprechenden Deskriptoren nicht voneinander unterschieden werden können. Somit wird eine Korrespondenzfindung von dem hier gezeigten 1000 mit weiteren Merkmalsbildbereichen eines überlappenden weiteren Bildes erschwert, denn für jedes aus dem weiteren Bild extrahierte Merkmal gilt, dass entweder alle Merkmale aus dem Bild 1000, die Merkmalsbildbereiche 1002, damit korrespondieren, oder keines damit korrespondiert. In beiden Fällen kann es schwierig sein, nützliche Informationen zur Lokalisation zu gewinnen. Es handelt sich hier nur um ein schematisches Beispiel. Prinzipiell kann für jeden Merkmalsdetektor ein Bild 1000 kreiert werden, bei dem die gefundenen Merkmalsbildbereiche 1002 auf ähnliche Weise degeneriert sind.
11 zeigt eine schematische Darstellung eines Bildes 1123 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel. Die Bildmerkmale 335 sind durch Ausführen des Verfahrens zum Bestimmen von Lokalisationsdaten aus 8 oder eines ähnlichen Verfahrens aus das Bild 1123 repräsentierenden Bilddaten extrahiert. Somit sind Positionen der Bildmerkmale 335 in dem Bild 1123 mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt, anders ausgedrückt unabhängig von einem konkreten Bildinhalt des Bildes 1123. Der in 11 gezeigte Bildinhalt entspricht hierbei dem Bildinhalt des Bildes aus 10.
Bei der Verwendung zufällig verteilter Merkmalsbildbereiche bzw. Bildmerkmalen 335 tritt das in 10 beschriebene Problem nicht auf. Abseits der zuvor vom Merkmalsdetektor extrahierten Merkmalsbildbereiche aus 10, enthält das Bild 1123 durchaus für die Lokalisation verwendbare Merkmale, die hier mit unregelmäßigen Symbolen dargestellt sind. Einige der hier zufällig selektierten Merkmalsbildbereiche bzw. Bildmerkmalen 335 fallen auch auf Teile der regelmäßigen Struktur, die als Gitter dargestellt ist, und sind ebenso wie die Merkmalsbildbereiche aus 10 für eine Korrespondenzbildung lediglich eingeschränkt zu gebrauchen. Allerdings enthalten einige der beliebig positionierten Bildmerkmale 335 auch die eindeutig zu identifizierenden, unregelmäßigen Bildinhalte zwischen den Streben des Gitters. In einem überlappenden, zur Lokalisation verwendeten Bild können zumindest einige dieser brauchbaren Bildmerkmale 335 auch gefunden werden, wobei die Bildmerkmalen 335 nicht pixel-genau denselben Bildinhalt zu haben brauchen, sodass die Lokalisation erfolgreich stattfinden kann.
12 zeigt eine schematische Darstellung überlappende Bilder 1000, 1200 mit Merkmalsbildbereichen 1002. Die Merkmalsbildbereiche 1002 in beiden Bildern 1000, 1200 entsprechen lediglich beispielhaft den Merkmalsbildbereichen aus 10. Anders ausgedrückt kann eine Verwendung desselben Musters von Merkmalspositionen in überlappenden Bildern wie 1000, 1200 dazu führen, dass die Merkmalsbildbereiche 1002 gerade so gegeneinander verschoben sind, dass es keine überlappenden Merkmale und somit keine korrekten Korrespondenzen gibt.
13 zeigt eine schematische Darstellung überlappender Bilder 1123, 1323 und von Bildmerkmalen 335 gemäß einem Ausführungsbeispiel. Die Bildmerkmale 335 sind durch Ausführen des Verfahrens zum Bestimmen von Lokalisationsdaten aus 8 oder eines ähnlichen Verfahrens aus die Bilder 1123, 1323 repräsentierenden Bilddaten extrahiert. Somit sind Positionen der Bildmerkmale 335 in den Bildern 1123, 1323 mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt, anders ausgedrückt unabhängig von einem konkreten Bildinhalt der Bilder 1123, 1323. Insbesondere sind die Positionen der Bildmerkmalen 335 in den Bildern 1123, 1323 unterschiedlich verteilt.
Die Verwendung verschiedener Muster von Merkmalspositionen bzw. Positionen der Bildmerkmale 335 in den überlappenden Bildern 1123, 1323 kann verhindern, dass das in 12 gezeigte Problem auftritt. In diesem Fall existieren überlappende Merkmalsbildbereiche, sodass für diese in der Korrespondenzfindung eine Zugehörigkeit festgestellt werden könnte.
14 zeigt eine schematische Darstellung einer Reproduzierbarkeitsbedingung gemäß einem Ausführungsbeispiel. Hierzu sind ein durch Bilddaten repräsentierten Bild 1123, zwei durch Referenz-Bilddaten repräsentierte Referenzbilder 1423 bzw. Kartierungsbilder und ein Referenz-Bildmerkmal 235 gezeigt. Die Bilder 1123 und 1423 überlappen einander zumindest partiell. Die Reproduzierbarkeitsbedingung besagt, dass bei dem Verfahren des Erstellens der Karte aus 7 oder einem ähnlichen Verfahren im Schritt des Bestimmens die Referenzpose abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen 235 bestimmt wird, zu denen in überlappenden Referenzbildern 1423 Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen.
Anders ausgedrückt wird das Referenz-Bildmerkmal 235 aus einem Kartierungsbild bzw. Referenzbild 1423 nur dann gespeichert, wenn das korrespondierende Referenz-Bildmerkmal 235 in einem überlappenden Kartierungsbild bzw. Referenzbild 1423 zu einem ähnlichen Merkmalsdeskriptor führt. So kann eine Wahrscheinlichkeit dafür erhöht werden, dass ein korrespondierendes Bildmerkmalen in einem Lokalisationsbild bzw. Bild 1123 ebenso zu einem ähnlichen Merkmalsdeskriptor ausgewertet wird.
15 zeigt eine schematische Darstellung eines zeitlichen Ablaufs 1500, 1505 von drei Phasen 1511, 1512, 1513 einer zentralisierten bildmerkmalsbasierten Lokalisation. Hierzu ist in der Darstellung eine Zeitachse t eingezeichnet. Ein erster Ablauf 1500 repräsentiert einen herkömmlichen Ablauf der drei Phasen 1511, 1512, 1513 auf sequenzielle bzw. serielle Weise. Ein zweiter Ablauf 1505 repräsentiert einen Ablauf der drei Phasen 1511, 1512, 1513 auf parallele oder zumindest teilweise parallele Weise gemäß einem Ausführungsbeispiel. Unter Bezugnahme auf das Verfahren zum Bestimmen der Lokalisationsdaten aus 8 und das Verfahren zur Lokalisation aus 9 wird der zumindest teilweise parallele zweite Ablauf 1505 insbesondere durch Ausführen des Schrittes des Ausgebens bei dem Verfahren zum Bestimmen ermöglicht. Eine erste Phase 1511 repräsentiert eine Bildverarbeitung, typischerweise seitens einer mobilen Einheit, eine zweite Phase 1512 repräsentiert eine Kommunikation bzw. Datenübertragung zwischen mobiler Einheit und Server und eine dritte Phase 1513 repräsentiert eine Lokalisation, typischerweise seitens des Servers. Bei dem zweiten Ablauf 1505 können die drei Phasen 1511, 1512, 1513 überlappend also teilweise parallel ausgeführt werden, wodurch sich eine wesentliche geringere Dauer von Anfang bis Ende des Prozesses zur Lokalisation ergibt.
Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden nachfolgend Ausführungsbeispiele und Hintergründe sowie Vorteile von Ausführungsbeispielen nochmals zusammenfassend und mit anderen Worten kurz erläutert. Gemäß Ausführungsbeispielen kann eine Lokalisation anhand von Bodentexturmerkmalen realisiert werden.
Ein üblicher Ansatz zum Lösen dieser Aufgabe besteht darin, dass korrespondierende Merkmale aus einem zur Lokalisation aufgenommen Bild und einem oder mehreren Referenzbildern bestimmt werden. Diese Korrespondenzen können dann genutzt werden, um die Pose bestehend aus Position und Orientierung der Kamera bzw. Bilderfassungseinrichtung zum Aufnahmezeitpunkt des Lokalisationsbildes in Relation zu den Referenzbildern zu bestimmen. Der herkömmliche Ansatz kann beispielsweise in vier Phasen unterteilt werden:

1. Merkmalsdetektion: Zunächst wird während der Merkmalsdetektion eine Menge von Bildbereichen (Merkmalsbildbereichen) bestimmt, die für die spätere Korrespondenzfindung geeignet sind. Dies können beispielsweise Bildbereiche sein, die im Vergleich zu ihrer lokalen Umgebung besonders hell oder dunkel sind oder sich auf andere Weise von ihrer lokalen Umgebung unterscheiden, oder Bildbereiche mit bestimmter Struktur (bspw. Linien oder Ecken). Hierbei geht man davon aus, dass diese Bereiche der Bodentextur auch von einer anderen Kamerapose aus das Auswahlkriterium erfüllen, sodass die gleichen (bzw. zumindest überlappende) Merkmalsbildbereiche in Lokalisations- und Referenzbild gefunden werden.
2. Merkmalsbeschreibung: Anschließend werden in der Merkmalsbeschreibungsphase Merkmalsdeskriptoren dieser Bildbereiche berechnet.
3. Korrespondenzfindung: Diese Deskriptoren werden dann genutzt, um korrespondierende Merkmale zu bestimmen. Dabei geht man davon aus, dass korrespondierende Merkmale mit ähnlichen Deskriptoren beschrieben wurden, während die Deskriptoren nicht-korrespondierender Merkmale weniger Ähnlichkeit aufweisen sollten.
4. Posenbestimmung: Abschließend werden die vorgeschlagenen Korrespondenzen zur Posenbestimmung genutzt, wobei es häufig sinnvoll ist, ein Verfahren zu verwenden, das robust gegenüber einem Anteil von inkorrekten Korrespondenzen ist.

Nachfolgend wird zunächst ein Ausführungsbeispiel beschrieben, bei dem zufällige Merkmalspositionen verwendet werden, bevor auf mögliche Erweiterungen oder andere Ausführungsbeispiele eingegangen wird.
Für die kartenbasierte Lokalisation wird zunächst die Karte 170 des Einsatzbereichs bzw. der Einsatzumgebung 100 angefertigt bzw. erstellt, wie es beispielsweise in 2 und 4 bzw. 6 und 7 dargestellt ist. Die Kartenerstellung kann beispielsweise in fünf Phasen unterteilt werden:

1. Ein Fahrzeug oder Roboter, eventuell auch eine Drohne, als die mobile Einheit 120 fährt den Einsatzbereich bzw. die Einsatzumgebung 100 vollständig ab und nimmt währenddessen fortwährend insbesondere überlappende Referenzbilder 1423 des Bodens 102 auf.
2. Für jedes aufgenommene Referenzbild 1423 wird eine Menge von Referenz-Bildmerkmalen 235 extrahiert. Die Positionen der Referenz-Bildmerkmale 235 im Referenzbild 1423 werden insbesondere mit einem Zufallsprozess bestimmt. Dieser Zufallsprozess könnte folgendermaßen aussehen: Zunächst wird eine Liste mit allen möglichen Bildpositionen erstellt, die Bildpositionsliste, diese Liste wird nun gemischt und es werden die ersten n Einträge der gemischten Bildpositionsliste genutzt, um eine Menge von Bildpositionen zu bestimmen. Dabei repräsentiert n die Anzahl von zu extrahierenden Referenz-Bildmerkmalen 235. Alternativ zur Mischung der Liste könnte man auch n-mal mit einem Zufallszahlengenerator einen zufälligen Listenindex der Bildpositionsliste bestimmen und den jeweiligen Eintrag der Liste als weitere Bildmerkmalsposition aufnehmen. Im Gegensatz zur ersten Variante ist der Rechenaufwand der zweiten Variante geringer, jedoch kann es vorkommen, dass dieselbe Bildposition mehrfach verwendet wird. Um dies zu verhindern, könnte nach jeder Bestimmung eines zufälligen Listenindexes überprüft werden, ob dieser bereits zuvor verwendet wurde, was den Rechenaufwand wieder etwas erhöhen kann. Welche Variante am besten geeignet ist, hängt vom Anwendungsfall, insbesondere von der Anzahl zu extrahierender Referenz-Bildmerkmale 235, ab.
3. Für jede Bildmerkmalsposition, die in der vorherigen Phase bestimmt wurde, wird ein Merkmalsdeskriptor berechnet. Das Vorgehen hierbei hängt von der gewählten Merkmalsbeschreibungsmethode ab. Die Größe des betrachteten Bildausschnitts kann entweder durch diese Merkmalsbeschreibungsmethode fixiert sein, oder der Anwender definiert selbst eine passende Größe, oder die Größe wird mit einer geeigneten Methode anhand des Bildinhalts des Bereichs um die Merkmalsposition herum bestimmt. Falls die Merkmalsbeschreibungsmethode eine Orientierung des betrachteten Bildausschnitts benötigt, typischerweise um den Bildausschnitt entsprechend zu drehen, kann diese entweder mit einer geeigneten Methode anhand des Bereichs um die Merkmalsposition herum bestimmt werden, beispielsweise die Richtung mit stärksten Intensitätsgradienten, oder es wird die derzeitige Kameraorientierung verwendet, sodass alle Merkmale eines Referenzbilds 1423 dieselbe Orientierung zugewiesen bekommen. Die Kameraorientierung kann dabei entweder die relative Orientierung zur initialen Kameraorientierung vom ersten zur Kartierung aufgenommenen Referenzbild 1423 sein, oder es wird eine absolute Orientierung verwendet, die beispielsweise mit einem Kompass bestimmt wird.
4. Die Referenzposen 455 der aufgenommenen Referenzbilder 1423 werden bestimmt. Dabei kann die Referenzpose 455 eines ersten Referenzbildes 1423 den Ursprung des Koordinatensystems bilden, oder es wird auf ein Koordinatensystem mit bekannter Referenz zurückgegriffen, wie beispielsweise ein Koordinatensystem, das durch einen Grundriss der Einsatzumgebung 100 definiert ist. Die Bildposen bzw. Referenzposen 455 sollten dabei so bestimmt werden, dass sie zueinander kohärent sind. Dazu können beispielsweise die Einzelaufnahmen mit einem Stitching-Prozess (engl. image stitching) zu einem großen Bild zusammengeführt werden, sodass die Referenzbilder 1423 anschließend korrekt zueinander positioniert sind.
5. Die extrahierten Referenz-Bildmerkmale 235 werden auf effiziente Weise gespeichert. Dabei ist es sinnvoll zu speichern, an welcher Stelle im Koordinatensystem der Karte 170 sich die Referenz-Bildmerkmale 235 befinden. Es ist somit eine Karte 170 erstellt, die für die Lokalisation verwendet werden kann. Im Wesentlichen umfasst die Karte 170 eine Menge von Referenzbildern 1423, deren Referenzposen 455 so optimiert wurden, dass sie passend aneinander gelegt werden können. Zudem wurde aus jedem Referenzbild 1423 eine Menge von Referenz-Bildmerkmalen 235 an beliebigen bzw. zufälligen Positionen extrahiert. Die Posen der Merkmale in der Welt, also relativ zum Koordinatenursprung der Karte 170, sind bekannt, zudem wurde für jeden Merkmalsbildbereich ein Deskriptor gespeichert, der anschließend zur Korrespondenzbildung während der Lokalisation genutzt werden kann.

Eine nachfolgende kartenbasierte Lokalisation, wie sie beispielsweise in 3 und 5 bzw. 8 und 9 dargestellt ist, kann beispielsweise in sechs Phasen unterteilt werden:

1. In der kartierten Einsatzumgebung 100 wird ein Bild 1123, 1323 aufgenommen, das zur Lokalisation verwendet werden soll.
2. Es werden zufällige bzw. beliebige Bildmerkmalspositionen bzw. Positionen von Bildmerkmalen 335 bestimmt.
3. Falls die Kameraposition bereits in etwa bekannt ist, kann dies genutzt werden, um den Suchbereich für die Lokalisation einzuschränken, beispielsweise indem nachfolgend lediglich solche Referenz-Bildmerkmale 235 aus der Nähe der geschätzten Position berücksichtigt werden.
4. Ähnlich wie bei der Kartenerstellung werden an den Bildmerkmalspositionen Merkmalsdeskriptoren berechnet. Falls hierbei eine Orientierung benötigt wird, kann diese erneut entweder absolut bestimmt werden, beispielsweise unter Verwendung eines Kompasses, oder, falls die Kameraorientierung relativ zum Koordinatensystem der Karte 170 aus einer vorherigen Posenbestimmung in etwa bekannt ist, kann diese Kameraorientierung als Merkmalsorientierung verwendet werden.
5. nachfolgend wird ein geeignetes Verfahren, wie beispielsweise Nearest Neighbor Matching, zur Korrespondenzfindung genutzt, um Korrespondenzen 555 zwischen den kartierten Referenz-Bildmerkmalen 235 und den aus dem Lokalisationsbild 1123, 1323 extrahierten Bildmerkmalen 335 zu bestimmen.
6. Die so gefundenen Korrespondenzen, die teilweise inkorrekt sein können, werden dann mit einem geeigneten Verfahren, wie beispielsweise einer RANSAC-basierte Schätzung einer euklidischen Transformation mit anschließender Levenberg-Marquardt-Optimierung, zur Posenschätzung verwendet.

Gemäß einem Ausführungsbeispiel kann auch eine sogenannte inkrementelle Lokalisation durchgeführt werden. Hierbei kann das Verfahren aus 8 auch ausgeführt werden, um eine relative Kamerapose gegenüber einer vorherigen Kamerapose zu schätzen bzw. zu ermitteln. Dies funktioniert ebenso, wie die zuvor beschriebene kartenbasierte Lokalisation, jedoch mit dem Unterschied, dass für die Korrespondenzfindung keine kartierten Referenz-Bildmerkmale 235 aus der Karte 170 zur Verfügung stehen. Stattdessen werden für die inkrementelle Lokalisation die Referenz-Bildmerkmale 235 aus dem vorherigen Bild 1123, 1323 oder aus einer Sequenz von vorherigen Bildern 1123, 1323, sowie dessen zuvor geschätzte Pose verwendet. Eine Einschränkung der inkrementellen Lokalisation gegenüber der kartenbasierten Lokalisation besteht darin, dass sich Ungenauigkeiten von Bild zu Bild fortpflanzen können, sodass die geschätzte Pose zunehmend stark von der tatsächlichen Pose abweichen kann. Die inkrementelle Lokalisation kann jedoch insbesondere für Bereiche der Einsatzumgebung 100 genutzt werden, die bei der Kartierung nicht berücksichtigt wurden.
Das vorgestellte Konzept der Verwendung zufälliger Bildmerkmalspositionen bzw. Positionen von Referenz-Bildmerkmalen 235 und Bildmerkmalen 335 kann sinnvoll erweitert werden. Die Verwendung zufälliger bzw. pseudozufälliger Positionen ist grundsätzlich vorteilhaft, da die extrahierten Referenz-Bildmerkmalen 235 und Bildmerkmale 335 im Mittel gleichverteilt sind. Dies gilt auch für die Verwendung eines fixen Musters an gleichverteilten Positionen, beispielsweise raster- oder gitterförmige Anordnung, jedoch kann es dabei vorkommen, dass die Merkmalsbildbereiche zweier überlappender Referenzbilder 1423 bzw. Bilder 1123, 1323 gerade so gegeneinander verschoben sind, dass es keine korrekten Merkmalskorrespondenzen zwischen denselben gibt (siehe auch 12). Die Bestimmung zufälliger Positionen kann rechenaufwendiger sein als die Verwendung einer fixen Menge von Positionen, beispielsweise gleichmäßig verteilte Positionen. Daher kann es sinnvoll sein, von der Verwendung zufälliger Merkmalspositionen abzuweichen. So gibt es abhängig vom Anwendungsfall mögliche Alternativen:

1. Für die kartenbasierte Lokalisation: Bei der Kartenerstellung können zufällige Positionen verwendet werden, da dieser Vorgang typischerweise nicht zeitkritisch ist. Während der zeitkritischeren Lokalisation kann dann auf eine vordefinierte, feste Verteilung von Positionen zurückgegriffen werden.
2. Für die inkrementelle Lokalisation: Hier ist die Merkmalsextraktion bei jedem Bild 1123, 1323 zeitkritisch, sodass es sinnvoll sein kann, ausschließlich fixe Mengen von Merkmalspositionen zu verwenden.

Um allgemein der oben beschriebenen Einschränkung entgegenzuwirken, dass die verwendeten Merkmalspositionen zweier überlappender Referenzbilder 1423 bzw. Bilder 1123, 1323 gerade so gegeneinander verschoben sind, dass es keine ausreichenden Überlappungen zwischen den Merkmalsbildbereichen gibt, können abwechselnd verschiedene Muster von Merkmalspositionen verwendet werden (siehe auch 13). Ein weiterer Ansatz zur Verringerung des Rechenaufwandes besteht beispielsweise darin, eine größere Anzahl von Zufallspositionsmustern vorab zu generieren, sodass diese nacheinander während der Lokalisation verwendet werden können.
Je nach Anwendung kann es sinnvoll sein, wenn für bestimmte Bildbereiche in höherer Dichte Referenz-Bildmerkmale 235 bzw. Bildmerkmalen 335 extrahiert werden als für andere Bildbereiche:

1. Im Hinblick auf die kartenbasierte Lokalisation: Hier kommt es auf die Überlappung der für die Kartenerstellung verwendeten Referenzbilder 1423 an. Wenn diese nicht oder nur kaum überlappen, wird mit einer Gleichverteilung der Merkmale die größte Wahrscheinlichkeit erzielt, bei der Lokalisation korrekte Korrespondenzen 555 zu finden, da zum Zeitpunkt der Bestimmung der Referenz-Bildmerkmalen 235 nicht bekannt ist, wie ein späteres Lokalisationsbild 1123, 1323 mit den Kartierungsbildern bzw. Referenzbildern 1423 überlappen wird. Wenn die Referenzbilder 1423 überlappen, werden in mehreren Referenzbildern 1423 für die Überlappungsbereiche Referenz-Bildmerkmale 235 extrahiert. In so einem Fall könnte es sinnvoll sein, in den überlappenden Bereichen bzw. Rändern der Referenzbilder 1423 weniger Merkmale zu extrahieren, als in den nicht überlappenden Bereichen bzw. Zentren der Referenzbilder 1423, sodass sich eine über alle Referenzbilder 1423 gemittelte Gleichverteilung der Merkmale bzw. deren Positionen ergibt.
2. Im Hinblick auf die inkrementelle Lokalisation: Hier sind ausschließlich die Bildbereiche interessant, die mit den vorherigen oder nächsten Bildern 1123, 1323 überlappen. Die Überlappung hängt von der Fahrgeschwindigkeit, der Fahrrichtung, und der Aufnahmefrequenz ab. Hier macht es Sinn, nur in den Bereichen Merkmale zu extrahieren, bei denen davon ausgegangen werden kann, dass sie mit einem vorherigen oder kommenden Bild 1123, 1323 überlappen werden, d. h. mehr Merkmale an den Bildrändern.

Eine weitere sinnvolle Erweiterung beruht auf einem Konzept, das auch als Reproduzierbarkeitsbedingung bezeichnet wird (siehe auch 14). Dabei handelt es sich um eine Bedingung, die Referenz-Bildmerkmale 235, die während der Kartenerstellung extrahiert werden, erfüllen müssen, damit sie gespeichert werden, wobei sie ansonsten beispielsweise verworfen und durch Merkmale ersetzt werden, welche die Bedingung erfüllen. Die Reproduzierbarkeitsbedingung fordert, dass ein Merkmalsbildbereich bzw. Referenz-Bildmerkmal 235 in zwei überlappenden Kartierungsbildern 1423 zu einem ähnlichen Merkmalsdeskriptor ausgewertet wird, und somit eine gewisse Robustheit gegenüber den Bildtransformationen, wie beispielsweise Translation und Rotation der Kamera sowie photometrischen Transformationen aufweist, die auf die Referenzbilder 1423 wirken. Es hat sich gezeigt, dass der Einsatz dieser Bedingung die Wahrscheinlichkeit erhöht, dass korrespondierende Merkmalsbildbereiche zwischen Kartierungsbildern 1423 und Lokalisationsbildern 1123, 1323 ebenfalls zu ähnlichen Merkmalsdeskriptoren ausgewertet werden, sodass die Wahrscheinlichkeit erhöht wird, korrekte Korrespondenzen 555 zu finden.
Gemäß einem weiteren Ausführungsbeispiel wird insbesondere ein vollständig parallelisiertes Lokalisationssystem 110 beispielsweise für Roboterschwärme vorgeschlagen. Hierbei handelt es sich um eine kostengünstige Lösung für die hochpräzise Lokalisation von mobilen Einheiten 120, beispielsweise autonomen Fahrzeugen bzw. Robotern. Hierbei werden zwei Konzepte miteinander verbunden: (1) ein zentralisiertes, serverbasiertes Lokalisationssystem 110, und (2) eine Lokalisationsmethode, die darauf beruht, dass Bodentexturmerkmale in einer zuvor erstellten Karte 170 wiedererkannt werden.
Ein typischer Anwendungsfall für dieses und andere Ausführungsbeispiele ist beispielsweise eine Lagerhalle, in der eine Mehrzahl bzw. ein Schwarm von autonomen Robotern als mobilen Einheiten 120 den Transport von Materialien, Waren, und Werkzeugen übernimmt. Damit sich die mobilen Einheiten 120 autonom bewegen können, ist es wichtig, dass sie ihre Pose, d.h. Position und Orientierung kennen. Je nachdem, welche Aufgabe eine mobile Einheit 120 ausführt, ergeben sich unterschiedlich hohe Anforderungen an die Präzision und Robustheit der Lokalisation. So kann es ausreichend sein, wenn eine mobile Einheit 120 ihre Position auf 10 cm genau kennt, während sie von einem Ort zum anderen fährt, insbesondere solange sie in der Lage ist, Hindernissen ad-hoc auszuweichen. Wenn die mobile Einheit 120 hingegen beispielsweise an einer bestimmten Stelle automatisch mit Material beladen werden soll, kann eine millimetergenaue Positionierung bzw. Lokalisation erforderlich sein. In einem Anwendungsfall, bei dem ein Großteil des Gütertransports im Lager von mobilen Einheiten 120 übernommen werden soll, kann eine Vielzahl von mobilen Einheiten 120 einzusetzen, die gleichzeitig agieren. Eine geeignete Technologie für die Lokalisation der mobilen Einheiten 120 in einem solchen Szenario ist die visuelle bzw. merkmalsbasierte Lokalisation mit einer nach unten gerichteten Kamera. Diese ermöglicht eine hochpräzise Lokalisation, ohne dass dafür Infrastrukturmaßnahmen zu treffen sind, wie beispielsweise ein Anbringen von visuellen Markern, Reflektoren oder Funkeinheiten. Zudem funktioniert diese Art der Lokalisation auch unter den erschwerten Bedingungen einer dynamischen Umgebung, wie einem Lager, in dem es keine statischen Landmarken zur Orientierung gibt, da beispielsweise Regale jederzeit anders angeordnet werden können. Dies liegt daran, dass Bodentexturen typischerweise langfristig stabil bleiben, insbesondere in geschützten Bereichen, wie einem Lager. Abnutzungen, die über die Zeit entstehen, finden typischerweise nur stellenweise statt, sodass die betroffenen Bereiche in einer Karte 170 des Anwendungsbereichs bzw. der Einsatzumgebung 100 weiterhin anhand ihrer Umgebung detektiert und anschließend entsprechend aktualisiert werden können.
Die bodentexturbasierte Lokalisation beruht insbesondere darauf, dass visuelle Merkmale des Bodens 102 fingerabdruckartig zur eindeutigen Identifikation einer Stelle am Boden 102 genutzt werden können. Dabei ist typischerweise nicht ein einziges Merkmal, wie beispielsweise ein Asphaltstein, eindeutig wiedererkennbar, sondern die Konstellation einer Mehrzahl solcher visuellen Bodentexturmerkmale. Bevor die eigentliche Lokalisation durchgeführt werden kann, wird die Einsatzumgebung 100 kartiert, d. h. es werden während einer oder mehrerer Kartierungsfahrten Referenzbilder 1423 aufgenommen, deren relative Pose zueinander in einem Optimierungsverfahren bestimmt wird, beispielsweise mittels sogenanntem Image Stitching, sodass die Referenzbilder 1423 anschließend passend aneinander gelegt werden könnten. Unter Verwendung einer so erstellten Karte 170 kann eine mobile Einheit 120 dann lokalisiert werden, indem kartierte Referenz-Bildmerkmale 235 in dem zur Lokalisation aufgenommenen Bild 1123, 1323 wieder gefunden werden.
Für eine kostengünstige Umsetzung der bodentexturbasierten Lokalisation für eine Mehrzahl von mobilen Einheiten 120 in Gestalt eines Roboterschwarms oder dergleichen kann es sinnvoll sein, dass Teile des Rechenaufwandes von den mobilen Einheiten 120 ausgelagert auf einem zentralen Server bzw. einer Datenverarbeitungseinrichtung 140 durchgeführt werden. In einer einfachen Variante könnten hierbei die zur Lokalisation aufgenommen Bilder 1123, 1323 des Bodens 102 unverarbeitet an den Server gesendet werden, sodass Bildverarbeitung und anschließende merkmalsbasierte Lokalisation vollständig ausgelagert würden. Diese Variante kann jedoch ungünstig sein, denn bei einer solchen Konstellation können die mobilen Einheiten 120 nicht mehr unabhängig agieren, sondern müssten sich auf eine stabile und schnelle Verbindung zum Server verlassen. Zudem haben Bilder einen großen Speicherplatzbedarf, und würden einen entsprechend großen Kommunikationsaufwand verursachen. Eine sinnvollere Variante ist es daher, die Bildverarbeitung auf der mobilen Einheit 120 durchzuführen, und für die Lokalisation lediglich extrahierte Bildmerkmalen 335 an den Server zu übermitteln. Bei dieser Variante ist der Kommunikationsaufwand wesentlich geringer, und die mobile Einheit 120 kann optional zumindest temporär unabhängig vom Server agieren, indem sie seine aktuelle Pose jeweils relativ zur vorherigen bestimmt. Der Vorteil gegenüber einer Variante, die vollständig dezentralisiert, also auf den jeweiligen mobilen Einheiten 120, ausgeführt wird, besteht darin, dass die Karte 170 nicht auf den mobilen Einheiten 120, sondern lediglich auf dem Server gespeichert ist, und dass der im Vergleich zur relativen Lokalisation höhere Aufwand der absoluten Lokalisation ausgelagert wird. Absolute Lokalisation bedeutet hierbei, dass die Pose der mobilen Einheit 120 anhand einer zuvor aufgenommenen und optimierten Karte 170 bestimmt wird.
Gemäß zumindest einem Ausführungsbeispiel wird eine effiziente Implementierung einer zentralisierten bodentexturmerkmalsbasierten Lokalisation vorgeschlagen, bei der die Bildverarbeitung und eine relative Posenbestimmung (visuelle Odometrie) auf den mobilen Einheiten 120 stattfindet, während die absolute Posenbestimmung anhand einer zuvor aufgenommenen Karte 170 auf einen zentralen Server bzw. die Daten Verarbeitungseinrichtung 140 ausgelagert wird. Hierbei werden die drei Phasen der Lokalisation, d.h. Bildverarbeitung 1511, Kommunikation 1512 und Lokalisation 1513, parallel bzw. teilweise zeitlich überlappend durchgeführt. Um dies zu ermöglichen, wird auf die Verwendung beliebiger bzw. pseudozufälliger Merkmalsbildbereiche bzw. Positionen derselben zurückgegriffen oder anders ausgedrückt auf globale Optimalität verzichtet. Die Verwendung beliebiger angeordneter Merkmalsbildbereiche unterscheidet sich von herkömmlichen Verfahren, bei denen die optimalen Merkmalsbildbereiche, die für die Korrespondenzfindung mit den Referenzmerkmalen am besten geeignet sind, global bzw. im gesamten Bild bestimmt werden. Bei solchen herkömmlichen Verfahren ist jedoch das gesamte Bild vollständig zu betrachten, damit das Kriterium der globalen Optimalität erfüllt werden kann. Bevor dabei eine Menge geeigneter Merkmale gefunden ist und an den Server weitergeleitet werden kann, ist also das gesamte Bild vollständig zu verarbeiten. Gemäß Ausführungsbeispielen jedoch kann bei der bodentexturbasierten Lokalisation auf eine globale Optimalität der extrahierten Merkmale verzichtet werden, weil sich beispielsweise die Freiheitsgrade der Roboterpose auf zwei reduzieren lassen (x- und y-Position), da die Distanz zum Boden mit hoher Genauigkeit bekannt ist und die Orientierung mit guter Näherung geschätzt werden kann, absolut mit einem Kompass oder relativ gegenüber der vorherigen Pose, und weil es ausreichend ist, zufällige Merkmalsbildbereiche zu verwenden, da Bodentexturen eine sehr hohe Informationsdichte haben, sodass beliebige Bildbereiche zur eindeutigen fingerabdruckartigen Identifikation des Bodenbereichs genutzt werden können. Die Verwendung zufälliger bzw. beliebiger Positionen insbesondere für die Bildmerkmale 335 ermöglicht es, dass ein Merkmal nach dem anderen berechnet wird und anschließend direkt an den Server bzw. an die Datenverarbeitungseinrichtung 140 gesendet werden kann. Der Server erhält somit von der zumindest einen mobilen Einheit 120 einen konstanten Fluss extrahierter Bildmerkmale 335, sodass Bildverarbeitung 1511 und Kommunikation 1512 parallel bzw. zeitlich teilweise überlappend durchgeführt werden können. Die anschließende, auf dem Server stattfindende Lokalisation 1513 auf Basis der erhaltenen Bildmerkmale 335 aus dem Lokalisationsbild 1123, 1323 sowie der Karte 170 des Anwendungsbereichs bzw. der Einsatzumgebung 100 kann ebenso parallel bzw. zeitlich teilweise überlappend durchgeführt werden. Dafür kann beispielsweise ein Abstimmungsverfahren (engl. voting procedure) angewandt werden, bei dem jede gefundene Merkmalskorrespondenz bzw. Korrespondenz 555 für die Position der Kamera zum Aufnahmezeitpunkt abstimmt. So ein Verfahren ermöglicht es, dass Korrespondenzen 555 nacheinander parallel bzw. zeitlich teilweise überlappend zur Kommunikation 1512 und Bildverarbeitung 1511 eingetragen werden.
Bei einem herkömmlichen Konzept eines zentralisierten Lokalisationssystems, bei dem korrespondierende Bildmerkmale zur Lokalisation verwendet werden, und bei dem Teile der notwendigen Berechnungen auf einen Server ausgelagert werden (siehe z. B. Schmuck and Chli (2019); Kim et al. (2019)), wird der Ablauf der Lokalisation als ein sequentieller Prozess betrachtet, d. h. zuerst findet die Bildverarbeitung 1511 statt, nachdem diese abgeschlossen ist, werden die zur Lokalisation 1513 notwendigen Informationen vollständig an den Server übertragen, und nachdem die Kommunikation 1512 mit dem Server abgeschlossen ist, berechnet dieser eine Posenschätzung des Roboters, wie in 15 als erster Ablauf 1500 dargestellt.
Gemäß Ausführungsbeispielen kann ein herkömmliches Konzept des zentralisierten Lokalisationssystems verbessert werden, indem die Lokalisation nicht in sequentiellen Phasen, sondern parallel, also in zeitlich teilweise überlappenden Prozessen bzw. Phasen stattfindet, sodass die Lokalisation wesentlich schneller abgeschlossen werden kann, siehe auch den zweiten Ablauf 1505 in 15. Ermöglicht wird dies unter anderem durch die Verwendung von Bodentexturbildern anstatt von Bildern von nach vorne gerichteten Kameras, sowie durch den Verzicht auf global bzw. bildweit optimale Bildmerkmale. Es hat sich gezeigt, dass bei der bodentexturbasierten Lokalisation beliebige Bildmerkmalsbereiche verwendet werden können. Dies wäre für Bilder von nach vorne gerichteten Kameras nicht der Fall, da dies ein komplexeres Problem ist, bei dem die Größe der verwendeten Bildmerkmalsbereiche entscheidend ist, um korrekte Korrespondenzen zwischen Karte und Lokalisationsbild zu finden, und zudem wären größere Teile der beobachteten Umgebung nicht für die Korrespondenzbildung geeignet, z. B. weil sie nicht statisch sind oder wenig visuelle Informationen enthalten. Bei nach unten gerichteten Kameras kann eine konstante Größe der verwendeten Bildmerkmalsbereiche verwendet werden, da der Abstand zum Boden 102 im Wesentlichen konstant ist. Zudem hat sich gezeigt, dass typische Bodentexturen überall über ausreichend Informationsgehalt zur Korrespondenzbildung verfügen.
Gemäß Ausführungsbeispielen kann eine zentralisierte bildbasierte Lokalisation beschleunigt werden. Dies behebt den Mangel bei herkömmlichen Lokalisationsverfahren, dass eine lange Zeit zwischen der Aufnahme des Lokalisationsbildes und dem Abschluss der Posenschätzung vergehen kann. Dies ist insbesondere dann von Belang, wenn eine hohe Positionierungsgenauigkeit gefordert ist, denn auch wenn die Pose des Lokalisationsbildes sehr genau bestimmt wird, ist die mobile Einheit inzwischen weitergefahren, sodass die derzeitige Pose ungenauer durch Abschätzung des zwischenzeitlich zurückgelegten Weges bestimmt werden müsste. Wenn eine Einheit derartig abhängig von einer hochpräzisen Posenschätzung ist, dass sie stehenbleiben müsste, bis sie die Posenschätzung vom Server erhalten hat, würde sie ebenso von Ausführungsbeispielen profitieren, da Stillstandszeiten verkürzt werden könnten.
Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten Lokalisationsverfahrens, das zur Lokalisation bildbasierte Methoden verwendet, besteht darin, dass es eine infrastrukturfreie Lösung ist, d. h. die Einsatzumgebung 100 braucht nicht (notwendigerweise) dafür angepasst zu werden, stattdessen werden vorhandene Landmarken zur Ortsbestimmung genutzt. Zudem sind Kameras kostengünstig, z. B. im Vergleich zu Radar, funktionieren in Innen- und Außenbereichen, was z. B. für GPS nicht der Fall ist, und ermöglichen eine hochpräzise Posenbestimmung, z. B. im Vergleich mit Radiometrie. Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten bildbasierten Lokalisationsverfahrens, das eine nach unten gerichtete Kamera verwendet, um Bodentexturbilder aufzunehmen, besteht darin, dass es auch in Einsatzumgebung 100 funktioniert, in denen Objekte jederzeit verstellt werden können, oder die Sicht auf die Umgebung eingeschränkt sein kann, z. B. in Lagerhallen oder unter Menschenmengen. Zudem ist eine hochpräzise Lokalisation gemäß Ausführungsbeispielen einfach zu realisieren, da die beobachteten visuellen Merkmale sehr dicht an der Kamera sind, im Vergleich zu den Merkmalen aus Bildern von nach vorne gerichteten Kameras, und bei Verwendung einer eigenen künstlichen Beleuchtung beispielsweise mittels der zumindest einen Beleuchtungseinrichtung 124 funktioniert die Lokalisation unabhängig von äußeren Lichtbedingungen.
Der Vorteil eines wie gemäß Ausführungsbeispielen realisierten bodentexturbasierten Lokalisationsverfahrens, das beliebige bzw. zufällige Merkmalsbildbereiche bzw. Positionen derselben zur Korrespondenzbildung verwendet, besteht darin, dass der Rechenaufwand der Bildverarbeitung reduziert werden kann, da es im Gegensatz zum Einsatz eines (typischen) Merkmalsdetektors nicht notwendig ist, das gesamte Bild vollständig zu verarbeiten, um etwa optimale Merkmalsbildbereiche zu identifizieren. Stattdessen werden gemäß Ausführungsbeispielen Merkmale an beliebigen Stellen des Referenzbildes 1423 bzw. des Bildes 1123, 1323 ermittelt. Eine solche Methode hat zudem den Vorteil, dass es nicht notwendig ist, dass die Bildverarbeitung abgeschlossen ist, bevor die Informationen im nächsten Verarbeitungsschritt genutzt werden können. Stattdessen kann die Bildverarbeitung schrittweise, d.h. Merkmal für Merkmal durchgeführt werden, während die bisher gewonnenen Informationen bereits im nächsten Verarbeitungsschritt zur Verfügung stehen. Der Vorteil einer wie gemäß Ausführungsbeispielen realisierten Lokalisationsmethode, die einen Speicher- und Rechenaufwand teilweise auf einen zentralen Server auslagert, besteht darin, dass diese Kapazitäten auf den einzelnen Spielen Einheiten 120, wie beispielsweise autonomen Fahrzeugen, Robotern oder dergleichen, eingespart werden können, sodass eine kostengünstige Skalierung der Schwarmgröße erreicht wird.
Gemäß Ausführungsbeispielen wird insbesondere ein zentralisiertes bodentexturbasiertes Lokalisationsverfahren vorgestellt, bei dem beliebige Bildbereiche zur Merkmalsextraktion genutzt werden. Ein Vorteil, den dies gegenüber einem herkömmlichen zentralisierten Lokalisationsverfahren hat, besteht darin, dass die Lokalisation schneller durchgeführt werden kann, sodass eine höhere Positionierungsgenauigkeit erzielt werden kann.
Nachfolgend wird zunächst ein einfaches Ausführungsbeispiel beschrieben, bevor auf einige mögliche Alternativen und Erweiterungen eingegangen wird. Wie in 1 dargestellt, wird für den Einsatz der Verfahren 600, 700, 800, 900 aus den 6 bis 9 ein System 110 verwendet, die eine oder mehrere mobile Einheiten 120, beispielsweise Roboter oder andere zu lokalisierende Vehikel, und einen zentralen Server bzw. eine Datenverarbeitungseinrichtung 140 aufweist. Jede mobile Einheit ist insbesondere mit einer nach unten gerichteten Kamera bzw. Bilderfassungseinrichtung 122, sowie einer Recheneinheit und einem Funkmodul, beispielsweise WLAN oder Mobilfunk, ausgestattet. Optional kann der Aufnahmebereich der Kamera durch eine künstliche Beleuchtung erhellt werden, sodass die Aufnahme einerseits unabhängig von externen Lichtbedingungen ist und kurze Belichtungszeiten der Kamera realisiert werden können, damit die Bilder möglichst wenig Bewegungsunschärfe aufweisen. Der Server verfügt selbst über Rechenkapazitäten, ein Funkmodul für die Kommunikation mit den mobilen Einheiten 120, sowie einen Speicher, auf dem sich insbesondere die gesamte voraufgezeichnete Karte 170 der Einsatzumgebung 100 befindet. Das Lokalisationsverfahren kann grundsätzlich in zwei Teile unterteilt werden, das Erstellen der Karte 170 sowie die eigentliche Lokalisation.
Um die Einsatzumgebung 100 zu kartieren, kann eine speziell dafür entworfene mobile Einheit 120, die beispielsweise einen breiten Streifen des Bodens 102 auf einmal aufnehmen kann, oder zumindest eine der normalen mobilen Einheiten 120 bzw. Anwendungsroboter verwendet werden. Die Einsatzumgebung 100 wird beispielsweise vollständig abgefahren und somit gescannt. Anschließend liegt eine lange Sequenz von überlappenden Bodentexturbildern bzw. Referenzbildern 1423 vor. Aus diesen werden die Referenz-Bildmerkmale 235 extrahiert. Jedes Referenz-Bildmerkmal 235 ist einerseits durch seinen zugehörigen Bildbereich definiert, beispielsweise durch die Bildkoordinaten seines Mittelpunktes sowie einen Radius und einen Orientierungswinkel, und zum anderen wird für jedes Referenz-Bildmerkmal 235 ein Merkmalsdeskriptor berechnet, der den zugehörigen Merkmalsbildbereich beschreibt. Typischerweise wird eine geeignete Merkmalsdetektionsmethode verwendet, um die besten Merkmalsbildbereiche im Referenzbild 1423 zu finden. Ein Merkmalsbildbereich ist hierbei dann gut geeignet, wenn in überlappenden Referenzbildern 1423 mit hoher Wahrscheinlichkeit ein ähnlicher Bildbereich wiedergefunden werden kann. Herkömmlicherweise werden hierbei die Bildbereiche bestimmt, bei denen eine bestimmte Eigenschaft am stärksten ausgeprägt ist (globale Optimierung). Ein Beispiel für eine solche Eigenschaft wäre der Kontrast zur lokalen Umgebung. Gemäß Ausführungsbeispielen wird jedoch eine Methode ohne globale Optimierung verwendet, da sich gezeigt hat, dass es für die bodentexturbasierte Lokalisation hinreichend ist, zufällige bzw. beliebige Positionen zu verwenden. Es können aber auch andere intelligente Verfahren eingesetzt werden, solange sie ohne globale Optimierung auskommen. Beispielsweise kann das Referenzbild 1423 systematisch nach Stellen mit einer bestimmten Eigenschaft abgesucht werden, z. B. Stellen, die wie Ecken, Kanten, oder Kreuzungen aussehen. Für die Merkmalsbeschreibung können anschließend gängige Verfahren, wie SIFT (Lowe (2004)), oder ein schnelleres Verfahren, wie BRIEF (Calonder et al. (2010)), verwendet werden. Nach der Merkmalsextraktion werden Korrespondenzen zwischen den Merkmalen überlappender Referenzbilder 1423 gefunden. Dafür wird typischerweise ein Distanzmaß zwischen den Merkmalsdeskriptoren berechnet, sodass die Merkmale mit ähnlichen Deskriptoren als korrespondierend vorgeschlagen werden können. Anschließend werden inkorrekte Korrespondenzen herausgefiltert und anhand der verbleibenden Korrespondenzen werden die Posen der Referenzbilder 1423 geschätzt, sodass ihre Überlappungen korrekt übereinander gelegt sind und eine Art Mosaik des aufgenommenen Bodens 102 erhalten werden kann. Die optimierten Bildposen, sowie die extrahierten Referenz-Bildmerkmale werden in der Karte 170 auf dem Server gespeichert, sodass bei der eigentlichen Lokalisation die Pose eines Lokalisationsbildes 1123, 1323 innerhalb der Karte 170 bestimmt werden kann.
Zur Lokalisation nimmt eine mobile Einheit 120, die sich lokalisieren möchte, ein Bild 1123, 1323 des Bodens 102 auf. Anschließend wird ein Bildmerkmal 335 nach dem anderen extrahiert und folgender Ablauf wird für jedes Bildmerkmal 335 angestoßen:

1. Bildverarbeitung auf dem Roboter: Ein Merkmalsbildbereich wird bestimmt, dies sollte mit dem gleichen Verfahren wie bei der Kartierung geschehen, beispielsweise durch einen Zufallsprozess.
2. Bildverarbeitung auf dem Roboter: Ein Merkmalsdeskriptor wird für den Merkmalsbildbereich berechnet, dabei wird die gleiche Methode wie bei der Kartierung zur Merkmalsbeschreibung verwendet.
3. Kommunikation: die Lokalisationsdaten 180, d.h. Informationen über den gewählten Merkmalsbildbereich, insbesondere die Bildkoordinaten sowie der Deskriptor, werden an den Server gesendet.
4. Lokalisation auf dem Server: Die Lokalisationsdaten 180 erreichen den Server. Dort wird in der Karte 170 nach korrespondierenden Bildmerkmalen gesucht. Falls die ungefähre Pose der mobilen Einheit 120 bereits bekannt ist, kann der Suchbereich dabei eingeschränkt werden.
5. Lokalisation auf dem Server: Die bisher während des Lokalisationsprozesses gefundenen Korrespondenzen 555 werden genutzt, um die Pose der mobilen Einheit 120 zu bestimmen. Beispielsweise kann dafür ein Abstimmungsverfahren verwendet werden, bei dem jede Korrespondenz 555 mit einer Stimme für die korrekte Pose auf der Karte 170 abstimmt, wobei die Menge der Stimmen mit jedem verarbeiteten Bildmerkmal 335 erweitert wird. Sobald ausreichend Bildmerkmale 335 verarbeitet wurden, bzw. sobald die Konfidenz in die aktuelle Posenschätzung hoch genug ist, kann der Server der mobilen Einheit 120 ihre Pose mitteilen, sodass Bildverarbeitung und Kommunikation beendet werden können.

Um eine ausreichend hohe Positionierungsgenauigkeit aufrechtzuerhalten, kann gemäß einem Ausführungsbeispiel die Pose einer sich bewegenden mobilen Einheit 120 in kurzen Abständen aktualisiert werden. Denkbar wären hier Aktualisierungsraten von 10 bis 60 Hertz. In einem System 110 mit einer Vielzahl von mobilen Einheiten 120 könnte dies allerdings zu einem enormen Kommunikationsaufwand führen, sodass es sinnvoll sein kann, nur jede n-te Aktualisierung auf dem Server durchführen zu lassen. Für die Zwischenschritte könnte die Pose jeweils relativ zur vorherigen berechnet werden (visuelle Odometrie). Die kartenbasierte absolute Lokalisation über den Server könnte dann lediglich dazu genutzt werden, um regelmäßig den akkumulierten Fehler (Drift) der lokalen Posenschätzung auf der mobilen Einheit 120 zu korrigieren.
Gemäß einem Ausführungsbeispiel wird auf dem Server bzw. der Datenverarbeitungseinheit 140 ein Konfidenzwert für die aktuelle Posenschätzung bestimmt, sodass die Lokalisation abgeschlossen werden kann, sobald dieser eine definierte Schwelle überschritten hat.
Statt einer nach unten gerichteten Kamera ist es auch denkbar, dass eine nach oben gerichtete Kamera auf ähnliche Weise verwendet wird. Dies funktioniert jedoch lediglich in Innenräumen und bei bekannter Deckenhöhe. Hierbei wird anstelle des Bodens 102 eine Decke der Einsatzumgebung 100 aufgenommen.
Bei dem hier beschriebenen System 110 wurde beispielsweise davon ausgegangen, dass es eine eigenständige Kartierungsfahrt gibt. Es ist ebenso denkbar, dass die Karte 170 online von den mobilen Einheiten 120 erstellt wird. Dafür könnten die mobilen Einheiten 120 jeweils lokale eigene Karten erstellen, die zu einem späteren Zeitpunkt auf dem Server zu der Karte 170 als einer großen gemeinsamen Karte vereint werden. Hierbei würde es sich dann um ein System für Simultaneous Localization And Mapping (SLAM) handeln.
Anstatt stets ein extrahiertes Bildmerkmalen 335 nach dem anderen zu versenden, kann es für die Kommunikation sinnvoll sein, eine Menge von Merkmalen auf einmal zu versenden, um einen Kommunikations-Overhead zu verringern.
Auch in einer denkbaren Variante ohne Server, bei der die Berechnung vollständig auf der mobilen Einheit 120 abläuft, kann es von Vorteil sein, die Bildverarbeitung sowie die Lokalisation zu parallelisieren. Dies kann genutzt werden, um die verfügbare Hardware besser auszunutzen, beispielsweise bei Mehrkernprozessoren oder wenn Teile der Berechnungen auf dedizierte Hardware wie Grafikkarten ausgelagert werden können. Zudem kann auch hier die Bildverarbeitung gestoppt werden, sobald die Konfidenz in die aktuelle Posenschätzung ausreichend groß ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017220291 A1 [0003]

Claims

Verfahren (600) zum Bereitstellen von Kartierungsdaten (160) für eine Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120), wobei das Verfahren (600) folgende Schritte aufweist: Einlesen (632) von Referenz-Bilddaten (223) von einer Schnittstelle (231) zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120), wobei die Referenz-Bilddaten (223) eine Mehrzahl von Referenzbildern (1423) repräsentieren, die mittels der Bilderfassungseinrichtung (122) von pro Referenzbild (1423) spezifischen Teilabschnitten (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen sind, wobei benachbarte Teilabschnitte (104) teilweise überlappen; Extrahieren (634) einer Mehrzahl von Referenz-Bildmerkmalen (235) für jedes Referenzbild (1423) unter Verwendung der Referenz-Bilddaten (223), wobei Positionen der Referenz-Bildmerkmale (235) in jedem Referenzbild (1423) mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt werden; Erzeugen (636) der Kartierungsdaten (160), wobei an der Position jedes Referenz-Bildmerkmals (235) ein Referenz-Merkmalsdeskriptor unter Verwendung der Referenz-Bilddaten (223) ermittelt wird, wobei die Kartierungsdaten (160) die Referenz-Bilddaten (223), die Positionen der Referenz-Bildmerkmale (235) und die Referenz-Merkmalsdeskriptoren aufweisen.
Verfahren (700) zum Erstellen einer Karte (170) einer Einsatzumgebung (100) für zumindest eine mobile Einheit (120), wobei das Verfahren (700) folgende Schritte aufweist: Empfangen (752) von Kartierungsdaten (160) von einer Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), wobei die Kartierungsdaten (160) gemäß einem Verfahren (600) nach einem der vorangegangenen Ansprüche bereitgestellt sind; Bestimmen (754) einer Referenzpose (455) der Bilderfassungseinrichtung (122) für jedes Referenzbild (1423) relativ zu einem Bezugskoordinatensystem unter Verwendung der Kartierungsdaten (160) und abhängig von unter Verwendung der Referenz-Merkmalsdeskriptoren ermittelten Korrespondenzen zwischen Referenz-Bildmerkmalen (235) überlappender Referenzbilder (1423); und Kombinieren (756) der Referenzbilder (1423) abhängig von den Referenzposen (455), der Positionen der Referenz-Bildmerkmale (235), der Referenz-Merkmalsdeskriptoren und der Referenzposen (455), um die Karte (170) der Einsatzumgebung (100) zu erstellen.
Verfahren (700) gemäß Anspruch 2, bei dem im Schritt (754) des Bestimmens die Referenzpose (455) abhängig von Korrespondenzen zwischen Referenz-Bildmerkmalen (235) bestimmt wird, zu denen in überlappenden Referenzbildern (1423) Referenz-Merkmalsdeskriptoren ermittelt wurden, die ein Ähnlichkeitskriterium bezüglich einander erfüllen.
Verfahren (800) zum Bestimmen von Lokalisationsdaten (180) für eine Lokalisation zumindest einer mobilen Einheit (120) in einer Einsatzumgebung (100), wobei das Verfahren (800) folgende Schritte aufweist: Einlesen (832) von Bilddaten (323) von einer Schnittstelle (231) zu einer Bilderfassungseinrichtung (122) der mobilen Einheit (120), wobei die Bilddaten (323) zumindest ein Bild (1123, 1323) repräsentieren, das mittels der Bilderfassungseinrichtung (122) von einem Teilabschnitt (104) eines Bodens (102) der Einsatzumgebung (100) aufgenommen ist; Extrahieren (834) einer Mehrzahl von Bildmerkmalen (335) für das Bild (1123, 1323) unter Verwendung der Bilddaten (323), wobei Positionen der Bildmerkmale (335) in dem Bild (1123, 1323) mittels eines Zufallsprozesses und/oder gemäß einem vordefinierten Verteilungsschema bestimmt werden; Generieren (836) eines Merkmalsdeskriptors an der Position jedes Bildmerkmals (335) unter Verwendung der Bilddaten (323), um die Lokalisationsdaten (180) zu bestimmen, wobei die Lokalisationsdaten (180) die Positionen der Bildmerkmale (335) und die Merkmalsdeskriptoren aufweisen.
Verfahren (800) gemäß Anspruch 4, mit einem Schritt (838) des Ausgebens der Lokalisationsdaten (180) an eine Schnittstelle (239) zu einer Datenverarbeitungseinrichtung (140), wobei die Lokalisationsdaten (180) in einer Mehrzahl von Datenpaketen ausgegeben werden, wobei jedes Datenpaket mindestens eine Position eines Bildmerkmals (335) und mindestens einen Merkmalsdeskriptor umfasst, wobei ein Datenpaket ausgegeben wird, sobald mindestens ein Merkmalsdeskriptor generiert ist.
Verfahren (800) gemäß einem der Ansprüche 4 bis 5, mit einem Schritt (842) des Eruierens von Korrespondenzen zwischen Bildmerkmalen (335) der Lokalisationsdaten (180) und Referenz-Bildmerkmalen (235) eines vorhergehenden Bildes (1123, 1323) unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten (180) und von Referenz-Merkmalsdeskriptoren des vorhergehenden Bildes (1123, 1323) und mit einem Schritt (844) des Bestimmens einer Pose der Bilderfassungseinrichtung (122) für das Bild (1123, 1323) relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt (842) des Eruierens eruierten Korrespondenzen, um die Lokalisation durchzuführen.
Verfahren (600; 800) gemäß einem der Ansprüche 1 und 4 bis 6, bei dem im Schritt (634; 834) des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet wird, bei dem eine Liste mit allen möglichen Bildpositionen von Referenz-Bildmerkmalen (235) oder Bildmerkmalen (335) erzeugt wird und die Liste pseudozufällig gemischt oder Positionen pseudozufällig aus der Liste ausgewählt werden, und/oder bei dem ein festes Muster von Positionen oder eines von mehreren pseudozufällig erstellten Mustern von Positionen genutzt wird.
Verfahren (600; 800) gemäß einem der Ansprüche 1 und 4 bis 7, bei dem im Schritt (634; 834) des Extrahierens ein Zufallsprozess und/oder ein vordefiniertes Verteilungsschema verwendet wird, bei dem eine variable oder festgelegte Anzahl von Positionen genutzt wird und/oder bei dem für unterschiedliche Teilbereiche eines Referenzbildes (1423) oder des Bildes (1123, 1323) unterschiedliche Verteilungsdichten von Positionen festgelegt werden.
Verfahren (900) zur Lokalisation zumindest einer mobilen Einheit (120) in einer Einsatzumgebung (100), wobei das Verfahren (900) folgende Schritte aufweist: Empfangen (952) von Lokalisationsdaten (180) von einer Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), wobei die Lokalisationsdaten (180) gemäß einem Verfahren (800) nach einem der Ansprüche 4 bis 8 bestimmt sind; Ermitteln (954) von Korrespondenzen (555) zwischen Bildmerkmalen (335) der Lokalisationsdaten (180) und Referenz-Bildmerkmalen (235) einer gemäß einem Verfahren (600; 700) nach einem der Ansprüche 1 bis 3 erstellten Karte (170) unter Verwendung der Merkmalsdeskriptoren der Lokalisationsdaten (180) und der Referenz-Merkmalsdeskriptoren der Karte (170); Bestimmen (956) einer Pose der Bilderfassungseinrichtung (122) für das Bild (1123, 1323) relativ zu dem Bezugskoordinatensystem abhängig von den im Schritt (954) des Ermittelns ermittelten Korrespondenzen (555) und unter Verwendung der Referenzposen (455) der Karte (170), um eine die Pose repräsentierende Poseninformation (190) zu generieren; und Ausgeben (958) der Poseninformation (190) an die Kommunikationsschnittstelle (451) zu der zumindest einen mobilen Einheit (120), um die Lokalisation durchzuführen.
Verfahren (900) gemäß Anspruch 9, bei dem im Schritt (956) des Bestimmens auf die im Schritt (954) des Ermittelns ermittelten Korrespondenzen (555) Gewichtungswerte und/oder Konfidenzwerte angewandt werden, um bewertete Korrespondenzen zu generieren, wobei die Pose abhängig von den bewerteten Korrespondenzen bestimmt wird.
Vorrichtung (130) für eine mobile Einheit (120), wobei die Vorrichtung (130) eingerichtet ist, um die Schritte des Verfahrens (600) gemäß einem der Ansprüche 1, 7 und 8 und/oder des Verfahrens (800) gemäß einem der Ansprüche 4 bis 8 in entsprechenden Einheiten (232, 234, 236; 332, 334, 336) auszuführen und/oder anzusteuern.
Vorrichtung (150) für eine Datenverarbeitungseinrichtung (140), wobei die Vorrichtung (150) eingerichtet ist, um die Schritte des Verfahrens (700) gemäß einem der Ansprüche 2 bis 3 und/oder des Verfahrens (900) gemäß einem der Ansprüche 9 bis 10 in entsprechenden Einheiten (452, 454, 456; 552, 554, 556, 558) auszuführen und/oder anzusteuern.
Lokalisationssystem (110) für eine Einsatzumgebung (100), in der zumindest eine mobile Einheit (120) einsetzbar ist, wobei das Lokalisationssystem (110) folgende Merkmale aufweist: die zumindest eine mobile Einheit (120), wobei die mobile Einheit (120) eine Vorrichtung (130) für eine mobile Einheit (120) gemäß Anspruch 11 aufweist; und eine Datenverarbeitungseinrichtung (140), wobei die Datenverarbeitungseinrichtung (140) eine Vorrichtung (150) für eine Datenverarbeitungseinrichtung (140) gemäß Anspruch 12 aufweist, wobei die Vorrichtung (130) für die mobile Einheit (120) und die Vorrichtung (150) für die Datenverarbeitungseinrichtung (140) datenübertragungsfähig miteinander verbunden sind.
Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (600; 700; 800; 900) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.