DE112019001796T5

DE112019001796T5 - Verfahren, system und vorrichtung zur lokalisierung mobiler automatisierungsvorrichtungen

Info

Publication number: DE112019001796T5
Application number: DE112019001796.9T
Authority: DE
Inventors: Feng Cao; Harsoveet Singh; Richard Jeffrey RZESZUTEK; Jingxing Qian; Jonathan Kelly
Original assignee: Symbol Technologies LLC
Current assignee: Symbol Technologies LLC
Priority date: 2018-04-05
Filing date: 2019-04-04
Publication date: 2021-02-11
Also published as: GB202015594D0; BE1026161A1; BE1026161A9; GB2586405A; US11327504B2; BE1026161B1; WO2019195595A1; US20190310652A1; CA3095925A1; GB2586405B; CA3095925C

Abstract

Ein Verfahren zur Lokalisierung einer mobilen Automatisierungsvorrichtung in einer Navigationssteuerung umfasst: Steuern eines Tiefensensors, um eine Vielzahl von Tiefenmessungen zu erfassen, die mit einem Bereich korrespondieren, der eine Navigationsstruktur enthält; Auswählen einer primären Teilmenge der Tiefenmessungen; Auswählen einer Eckenkandidaten-Teilmenge der Tiefenmessungen aus der primären Teilmenge; Erzeugen einer Eckenkante, die der Navigationsstruktur entspricht, aus der Eckenkandidaten-Teilmenge; Auswählen einer Gang-Teilmenge der Tiefenmessungen aus der primären Teilmenge entsprechend der Eckenkante; Auswählen einer lokalen Minimumtiefenmessung aus der Gang-Teilmenge für jede einer Vielzahl von Probenebenen, die sich von dem Tiefensensor aus erstrecken; Erzeugen einer Regalebene aus den lokalen Minimumtiefenmessungen; und Aktualisieren einer Lokalisierung der mobilen Automatisierungsvorrichtung basierend auf der Eckenkante und der Regalebene.

Description

HINTERGRUND
Umgebungen, in denen Objekte verwaltet werden, wie z.B. Einzelhandelseinrichtungen, können komplex und fließend sein. Beispielsweise kann eine Einzelhandelseinrichtung Objekte wie Produkte zum Kauf umfassen, eine Vertriebsumgebung kann Objekte wie Pakete oder Paletten umfassen, eine Produktionsumgebung kann Objekte wie Komponenten oder Baugruppen umfassen, eine Umgebung im Gesundheitswesen kann Objekte wie Medikamente oder medizinische Geräte umfassen.
Eine mobile Vorrichtung kann eingesetzt werden, um Aufgaben innerhalb der Umgebung auszuführen, wie z.B. die Erfassung von Daten zur Verwendung bei der Identifizierung von Produkten, die nicht vorrätig sind, falsch platziert wurden und dergleichen. Um sich innerhalb der Umgebung fortzubewegen, wird ein Pfad erzeugt, der sich von einem Start- zu einem Zielort erstreckt, und die Vorrichtung legt den Pfad zum Zielort zurück. Um sich entlang des oben genannten Pfads genau zu bewegen, verfolgt die Vorrichtung in der Regel ihren Standort innerhalb der Umgebung. Eine solche Standortverfolgung (auch als Lokalisierung bezeichnet) ist jedoch verschiedenen Rausch- und Fehlerquellen unterworfen, die sich in so großem Maße akkumulieren können, um die Navigationsgenauigkeit zu beeinträchtigen und die Ausführung von Aufgaben durch die Vorrichtung, wie z.B. Datenerfassungsaufgaben, zu behindern.
Figurenliste
Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist ein Schema eines mobilen Automatisierungssystems.
2A zeigt eine mobile Automatisierungsvorrichtung im System von 1.
2B ist ein Blockdiagramm bestimmter interner Hardwarekomponenten der mobilen Automatisierungsvorrichtung im System von 1.
3 ist ein Blockdiagramm bestimmter interner Komponenten der mobilen Automatisierungsvorrichtung von 1.
4 ist ein Flussdiagramm eines Lokalisierungsverfahrens für die mobile Automatisierungsvorrichtung von 1.
5 ist eine Draufsicht auf einen Gang, zu dem sich die mobile Automatisierungsvorrichtung von 1 bewegen soll.
6 ist eine partielle Draufsicht auf den Gang von 5, die Lokalisierungsfehler veranschaulicht, die sich angesammelt haben, wenn die mobile Automatisierungsvorrichtung von 1 den Gang erreicht hat.
7 ist eine perspektivische Ansicht eines Teils des in 6 gezeigten Ganges.
8A und 8B stellen Tiefen- und Bilddaten dar, die mit der mobilen Automatisierungsvorrichtung von 1 während der Durchführung des Verfahrens von 4 erfasst wurden.
9A-9D veranschaulichen eine beispielhafte Durchführung der Blöcke 410, 415 und 420 des Verfahrens von 4.
10A-10C veranschaulichen eine beispielhafte Durchführung der Blöcke 425 und 430 des Verfahrens von 4.
11 veranschaulicht eine aktualisierte Lokalisierung, die sich aus der Durchführung des Verfahrens von 4 ergibt.
12 ist ein Flussdiagramm eines weiteren Lokalisierungsverfahrens für die mobile Automatisierungsvorrichtung von 1.
13 veranschaulicht eine beispielhafte Durchführung des Verfahrens von 12.
14 veranschaulicht eine aktualisierte Lokalisierung, die sich aus der Durchführung des Verfahrens von 12 ergibt.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
DETAILLIERTE BESCHREIBUNG
Die hierin offenbarten Beispiele sind auf ein Verfahren zur Lokalisierung mobiler Automatisierungsvorrichtungen in einer Navigationssteuerung gerichtet, wobei das Verfahren umfasst: Steuern eines Tiefensensors, um eine Vielzahl von Tiefenmessungen zu erfassen, die mit einem Bereich korrespondieren, der eine Navigationsstruktur enthält; Auswählen einer primären Teilmenge der Tiefenmessungen; Auswählen einer Eckenkandidaten-Teilmenge der Tiefenmessungen aus der primären Teilmenge; Erzeugen einer Eckenkante entsprechend der Navigationsstruktur aus der Eckenkandidaten-Teilmenge; Auswählen einer Gang-Teilmenge der Tiefenmessungen aus der primären Teilmenge entsprechend der Eckenkante; Auswählen einer lokalen Minimumtiefenmessung aus der Gang-Teilmenge für jede einer Vielzahl von Probenebenen, die sich von dem Tiefensensor aus erstrecken; Erzeugen einer Regalebene aus den lokalen Minimumtiefenmessungen; und Aktualisieren einer Lokalisierung der mobilen Automatisierungsvorrichtung basierend auf der Eckenkante und der Regalebene.
Zusätzliche Beispiele, die hier offenbart werden, sind auf eine Rechenvorrichtung zur Lokalisierung mobiler Automatisierungsvorrichtungen gerichtet, die umfasst: einen Tiefensensor; eine Navigationssteuerung, die konfiguriert ist, um: den Tiefensensor zu steuern, um eine Vielzahl von Tiefenmessungen zu erfassen, die mit einem Bereich korrespondieren, der eine Navigationsstruktur enthält; eine primäre Teilmenge der Tiefenmessungen auszuwählen; aus der primären Teilmenge eine Eckenkandidaten-Teilmenge der Tiefenmessungen auszuwählen; aus der Eckenkandidaten-Teilmenge eine Eckenkante zu erzeugen, die mit der Navigationsstruktur korrespondiert; eine Gang-Teilmenge der Tiefenmessungen aus der primären Teilmenge entsprechend der Eckenkante auszuwählen; aus der Gang-Teilmenge eine lokale Minimumtiefenmessung für jede einer Vielzahl von Probenebenen, die sich vom Tiefensensor aus erstrecken, auszuwählen; eine Regalebene aus den lokalen Minimumtiefenmessungen zu erzeugen; und eine Lokalisierung der mobilen Automatisierungsvorrichtung basierend auf der Eckenkante und der Regalebene zu aktualisieren.
1 stellt ein mobiles Automatisierungssystem 100 gemäß den Lehren dieser Offenbarung dar. Das System 100 umfasst einen Server 101, der mit mindestens einer mobilen Automatisierungsvorrichtung 103 (hier auch einfach als Vorrichtung 103 bezeichnet) und mindestens einer Client-Rechenvorrichtung 105 über Kommunikationsverbindungen 107 kommuniziert, im vorliegenden Beispiel einschließlich drahtloser Verbindungen dargestellt. Im vorliegenden Beispiel werden die Verbindungen 107 durch ein drahtloses lokales Netzwerk (WLAN) bereitgestellt, das in der Einzelhandelsumgebung durch einen oder mehrere Zugangspunkte (nicht abgebildet) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, die Client-Vorrichtung 105 oder beide außerhalb der Einzelhandelsumgebung, und die Verbindungen 107 umfassen daher Weitbereichsnetzwerke wie das Internet, Mobilfunknetze und dergleichen. Das System 100 umfasst auch ein Dock 108 für die Vorrichtung 103 im vorliegenden Beispiel. Das Dock 108 steht mit dem Server 101 über eine Verbindung 109 in Verbindung, die im vorliegenden Beispiel eine drahtgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 109 jedoch eine drahtlose Verbindung.
Das Client-Rechenvorrichtung 105 wird in 1 als mobile Computervorrichtung, wie z.B. Tablet, Smartphone o.ä., dargestellt. In anderen Beispielen ist das Client-Rechenvorrichtung 105 als eine andere Art von Computervorrichtung implementiert, wie z.B. ein Desktop-Computer, ein Laptop-Computer, ein anderer Server, ein Kiosk, ein Monitor und ähnliches. Das System 100 kann eine Vielzahl von Client-Vorrichtungen 105 umfassen, die über entsprechende Verbindungen 107 mit dem Server 101 kommunizieren.
Das System 100 wird in dem illustrierten Beispiel in einer Einzelhandelsumgebung mit einer Vielzahl von Regalmodulen 110-1, 110-2, 110-3 usw. eingesetzt (gemeinsam als Regal 110 bezeichnet und allgemein als Regal 110 bezeichnet - diese Nomenklatur wird auch für andere hier besprochene Elemente verwendet). Jedes Regalmodul 110 unterstützt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 umfasst eine Regalrückseite 116-1, 116-2, 116-3 und eine Trägerfläche (z.B. Trägerfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückseite 116 bis zu einer Regalkante 118-1, 118-2, 118-3 erstreckt.
Die Regalmodule 110 sind typischerweise in mehreren Gängen angeordnet, von denen jeder eine Vielzahl von Modulen 110 enthält, die aneinandergereiht ausgerichtet sind. Bei solchen Anordnungen zeigen die Regalkanten 118 in die Gänge, durch die sich sowohl die Kunden in der Einzelhandelsumgebung als auch die Vorrichtungen 103 hindurchbewegen können. An jedem Gangende eines Gangs bildet eines der Module 110 eine Gangendkappe, wobei bestimmte Regalkanten 118 dieses Moduls 110 nicht in den Gang, sondern vom Gangende nach außen weisen. In einigen Beispielen (nicht abgebildet) werden Endkappenstrukturen an den Gangenden angebracht. Bei den Endkappenstrukturen kann es sich um zusätzliche Regalmodule 110 handeln, die z.B. im Verhältnis zu den Modulen 110 innerhalb der Gänge geringere Längen haben und senkrecht zu den Modulen 110 innerhalb der Gänge angeordnet sind.
Wie aus 1 ersichtlich wird, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Trägerfläche (z.B. der Trägerflächen 117) bezeichnet werden kann, auf eine Fläche, die durch benachbarte Flächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zu jeder der Trägerflächen 117-3 und der Unterseite (nicht dargestellt) der Trägerfläche 117-3. In anderen Beispielen beträgt der Winkel zwischen der Regalkante 118-3 und den angrenzenden Flächen, wie z.B. der Trägerfläche 117-3, mehr oder weniger als neunzig Grad. Wie Fachleute erkennen werden, ist eine Trägerfläche nicht auf eine Regalträgerfläche beschränkt. In einer Ausführungsform kann eine Trägerfläche zum Beispiel eine Tischträgerfläche sein (z.B. eine Tischplatte). In einer solchen Ausführungsform entsprechen eine „Regalkante“ und eine „Regalebene“ jeweils einer Kante einer Trägerfläche, wie z.B. einer Tischträgerfläche, und einer Ebene, die die Kante der Tischträgerfläche enthält.
Die Vorrichtung 103 wird in der Einzelhandelsumgebung eingesetzt und kommuniziert mit dem Server 101 (z.B. über die Verbindung 107), um autonom oder teilautonom entlang einer Länge 119 von mindestens einem Teil der Regale 110 zu navigieren. Die Vorrichtung 103 ist so konfiguriert, dass sie zwischen den Regalen 110 navigiert, z.B. gemäß einem in der Einzelhandelsumgebung festgelegten Bezugsrahmen 102. Der Bezugsrahmen 102 kann auch als globaler Bezugsrahmen bezeichnet werden. Die Vorrichtung 103 ist so konfiguriert, dass sie während einer solchen Navigation den Standort der Vorrichtung 103 relativ zum Bezugsrahmen 102 verfolgt. Mit anderen Worten ist die Vorrichtung 103 so konfiguriert, dass sie eine Lokalisierung durchführt. Wie weiter unten ausführlicher beschrieben wird, ist die Vorrichtung 103 auch so konfiguriert, dass sie die oben erwähnte Lokalisierung aktualisiert, indem sie bestimmte strukturelle Merkmale in der Einzelhandelsumgebung erkennt.
Die Vorrichtung 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 104 ausgestattet, wie z.B. Bildsensoren (z.B. eine oder mehrere Digitalkameras) und Tiefensensoren (z.B. ein oder mehrere LIDAR (Light Detection and Ranging)-Sensoren, einem oder mehreren Tiefensensoren, die strukturierte Lichtmuster, wie z.B. Infrarotlicht oder ähnliches, verwenden). Die Vorrichtung 103 kann so konfiguriert werden, dass die Sensoren 104 sowohl für die Navigation zwischen den Regalen 110 als auch für die Erfassung von Regaldaten während einer solchen Navigation eingesetzt werden können.
Der Server 101 enthält einen Spezialsteuerung, wie z.B. einen Prozessor 120, der speziell zur Steuerung und/oder Unterstützung der mobilen Automatisierungsvorrichtung 103 zur Navigation in der Umgebung und zur Datenerfassung ausgelegt ist. Zu diesem Zweck ist der Server 101 so konfiguriert, dass er in einem Speicher 122, der mit dem Prozessor 120 verbunden ist, ein Archiv 132 mit Daten zur Verwendung bei der Navigation durch die Vorrichtung 103 verwaltet.
Der Prozessor 120 kann weiter konfiguriert werden, um die erfassten Daten über eine Kommunikationsschnittstelle 124 für die nachfolgende Verarbeitung zu erhalten (z.B. um Objekte wie z.B. Regalwaren in den erfassten Daten zu erkennen und Statusinformationen, die den Objekten entsprechen, zu erfassen). Der Server 101 kann auch so konfiguriert werden, dass er Statusbenachrichtigungen (z.B. Benachrichtigungen, die anzeigen, dass Waren nicht vorrätig sind, einen geringen Lagerbestand aufweisen oder falsch platziert sind) an die Client-Vorrichtung 105 übermittelt, als Antwort auf die Bestimmung der Produktstatusdaten. Die Client-Vorrichtung 105 enthält eine oder mehrere Steuerungen (z.B. zentrale Prozessoreinheiten (CPUs) und/oder FPGAs (Field Programmable Gate Arrays) und dergleichen), die so konfiguriert sind, dass sie die vom Server 101 erhaltenen Benachrichtigungen verarbeiten (z.B. anzeigen).
Der Prozessor 120 ist mit einem nicht vorübergehenden computerlesbaren Speichermedium wie dem oben erwähnten Speicher 122 verbunden, auf dem computerlesbare Befehle zur Ausführung verschiedener Funktionen gespeichert sind, einschließlich der Steuerung der Vorrichtung 103 zur Navigation der Module 110 und zur Erfassung von Regaldaten sowie der Nachbearbeitung der Regaldaten. Der Speicher 122 umfasst eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Read Only Memory oder ROM, elektrisch löschbarer programmierbarer Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere zentrale Prozessoreinheiten (CPUs) und/oder Grafikverarbeitungseinheiten (GPUs) implementiert.
Der Server 101 enthält auch die oben erwähnte Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 umfasst geeignete Hardware (z.B. Sender, Empfänger, Netzwerkschnittstellen-Steuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 107 und 109 mit anderen Rechenvorrichtungen - insbesondere der Vorrichtung 103, der Client-Vorrichtung 105 und dem Dock 108 - zu kommunizieren. Bei den Verbindungen 107 und 109 kann es sich um direkte Verbindungen oder um Verbindungen handeln, die ein oder mehrere Netzwerke durchqueren, darunter sowohl lokale als auch Weitbereichsnetzwerke. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden auf der Grundlage der Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk innerhalb der Einzelhandelsumgebung durch den Einsatz eines oder mehrerer drahtloser Zugangspunkte implementiert. Die Verbindungen 107 umfassen daher eine oder beide drahtlose Verbindungen zwischen der Vorrichtung 103 und der mobilen Vorrichtung 105 und den oben erwähnten Zugangspunkten sowie eine drahtgebundene Verbindung (z.B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.
Der Speicher 122 speichert eine Vielzahl von Anwendungen, von denen jede eine Vielzahl von computerlesbaren Befehlen enthält, die vom Prozessor 120 ausgeführt werden können. Die Ausführung der oben genannten Anweisungen durch den Prozessor 120 konfiguriert den Server 101 so, dass er verschiedene hier besprochene Aktionen ausführt. Die im Speicher 122 gespeicherten Anwendungen umfassen eine Steueranwendung 128, die auch als eine Reihe von logisch getrennten Anwendungen implementiert sein kann. Im Allgemeinen ist der Prozessor 120 durch die Ausführung der Anwendung 128 oder von Teilkomponenten davon und in Verbindung mit den anderen Komponenten des Servers 101 so konfiguriert, dass er verschiedene Funktionen implementiert. Der Prozessor 120, wie er durch die Ausführung der Steueranwendung 128 konfiguriert wird, wird hier auch als Steuerung 120 bezeichnet. Wie sich nun zeigen wird, kann ein Teil oder die gesamte Funktionalität, die durch die unten beschriebene Steuerung 120 implementiert wird, auch durch vorkonfigurierte Hardware-Elemente (z.B. ein oder mehrere FPGAs und/oder anwendungsspezifische integrierte Schaltungen (ASICs)) anstatt durch die Ausführung der Steueranwendung 128 durch den Prozessor 120 ausgeführt werden.
Um nun zu den 2A und 2B zu kommen, wird die mobile Automatisierungsvorrichtung 103 ausführlicher dargestellt. Die Vorrichtung 103 umfasst ein Fahrgestell 201 mit einem Lokomotivmechanismus 203 (z.B. ein oder mehrere Elektromotoren, die Räder, Schienen oder dergleichen antreiben). Die Vorrichtung 103 enthält ferner einen Sensormast 205, der auf dem Fahrgestell 201 getragen wird und sich im vorliegenden Beispiel vom Fahrgestell 201 aus nach oben (z.B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die bereits erwähnten Sensoren 104. Insbesondere umfassen die Sensoren 104 mindestens einen Bildgebungssensor 207, wie z.B. eine Digitalkamera, sowie mindestens einen Tiefensensor 209, wie z.B. eine 3D-Digitalkamera, die sowohl Tiefendaten als auch Bilddaten erfassen kann. Die Vorrichtung 103 umfasst auch zusätzliche Tiefensensoren, wie z.B. LIDAR-Sensoren 211. In anderen Beispielen umfasst die Vorrichtung 103 zusätzliche Sensoren, wie z.B. ein oder mehrere RFID-Lesegeräte, Temperatursensoren und dergleichen.
Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7 sowie zwei LIDAR-Sensoren 211-1 und 211-2. Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsbaugruppen 213, die so konfiguriert sind, dass sie die Sichtfelder der jeweiligen Kameras 207 ausleuchten. Das heißt, die Beleuchtungsbaugruppe 213-1 beleuchtet das Sichtfeld der Kamera 207-1 usw. Die Sensoren 207 und 211 sind auf dem Mast 205 so ausgerichtet, dass die Sichtfelder jedes Sensors einem Regal 110 zugewandt sind, entlang dessen Länge 119 sich die Vorrichtung 103 bewegt. Die Vorrichtung 103 ist so konfiguriert, dass sie eine Position der Vorrichtung 103 (z.B. eine Position der Mitte des Fahrgestells 201) in einem gemeinsamen Bezugsrahmen verfolgt, der zuvor in der Verkaufseinrichtung festgelegt wurde, so dass von der mobilen Automatisierungsvorrichtung erfasste Daten in dem gemeinsamen Bezugsrahmen registriert werden können.
Das mobile Automatisierungsvorrichtung 103 enthält eine Spezialsteuerung, wie z.B. einen Prozessor 220, wie in 2B dargestellt, der mit einem nichtflüchtigen computerlesbaren Speichermedium, wie z.B. einem Speicher 222, verbunden ist. Der Speicher 222 enthält eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Read Only Memory oder ROM, elektrisch löschbarer programmierbarer Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 220 und der Speicher 222 umfassen jeweils eine oder mehrere integrierte Schaltungen. Der Speicher 222 speichert computerlesbare Befehle zur Ausführung durch den Prozessor 220. Insbesondere speichert der Speicher 222 eine Steueranwendung 228, die, wenn sie vom Prozessor 220 ausgeführt wird, den Prozessor 220 so konfiguriert, dass er verschiedene Funktionen ausführt, die weiter unten ausführlicher besprochen werden und mit der Navigation der Vorrichtung 103 zusammenhängen (z.B. durch Steuerung des Lokomotivmechanismus 203). Die Anwendung 228 kann auch als eine Reihe verschiedener Anwendungen in anderen Beispielen implementiert werden.
Der Prozessor 220 kann, wenn er durch die Ausführung der Anwendung 228 so konfiguriert ist, auch als Steuerung 220 bezeichnet werden. Fachleute werden erkennen, dass die vom Prozessor 220 durch die Ausführung der Anwendung 228 implementierte Funktionalität auch durch eine oder mehrere speziell ausgelegte Hardware- und Firmwarekomponenten wie FPGAs, ASICs und dergleichen in anderen Ausführungsformen implementiert werden kann.
Der Speicher 222 kann auch ein Archiv 232 speichern, das z.B. eine Karte der Umgebung enthält, in der die Vorrichtung 103 arbeitet, zur Verwendung während der Ausführung der Anwendung 228. Die Vorrichtung 103 kann mit dem Server 101 über eine Kommunikationsschnittstelle 224 über die in 1 dargestellte Verbindung 107 mit dem Server 101 kommunizieren, um z.B. Anweisungen zur Navigation zu bestimmten Orten (z.B. zum Ende eines bestimmten Ganges, der aus einem Satz von Modulen 110 besteht) zu empfangen und Datenerfassungsvorgänge einzuleiten (z.B. zum Durchqueren des oben genannten Ganges während der Erfassung von Bild- und/oder Tiefendaten). Die Kommunikationsschnittstelle 224 ermöglicht es der Vorrichtung 103 auch, über das Dock 108 und die Verbindung 109 mit dem Server 101 zu kommunizieren.
Im vorliegenden Beispiel ist der Vorrichtung 103, wie unten besprochen, so konfiguriert (über die Ausführung der Anwendung 228 durch den Prozessor 220), dass sie eine Lokalisierung beibehält, die einen Standort der Vorrichtung 103 innerhalb eines Bezugsrahmens darstellt, wie z.B. (aber nicht notwendigerweise beschränkt auf) den globalen Bezugsrahmen 102. Die Beibehaltung einer aktualisierten Lokalisierung ermöglicht es der Vorrichtung 103, Befehle für den Betrieb des Lokomotivmechanismus 203 zu erzeugen, um sich zu anderen Orten zu bewegen, wie z.B. einem Gang, der in einem vom Server 101 empfangenen Befehl angegeben ist. Wie den Fachleuten ersichtlich sein wird, können bei der Lokalisierung auf der Grundlage von Trägheitserfassung (z.B. über Beschleunigungsmesser und Gyroskope) sowie bei der Lokalisierung auf der Grundlage von Odometrie (z.B. über einen an den Lokomotivmechanismus 203 gekoppelten Radkodierer) Fehler auftreten, die sich mit der Zeit anhäufen. Die Vorrichtung 103 ist daher so konfiguriert, dass sie, wie weiter unten ausführlicher besprochen, die Lokalisierungsdaten durch die Erkennung bestimmter Navigationsstrukturen innerhalb der Einzelhandelsumgebung aktualisiert. Insbesondere Gang-Endkappen und Regalebenen werden von der Vorrichtung 103 zur Aktualisierung der Lokalisierungsdaten verwendet.
Wie in der nachfolgenden Diskussion zu sehen sein wird, kann in anderen Beispielen die vom Server 101 durchgeführte Verarbeitung teilweise oder vollständig von der Vorrichtung 103 und die von der Vorrichtung 103 durchgeführte Verarbeitung teilweise oder vollständig vom Server 101 durchgeführt werden.
Bevor nun auf 3 eingegangen wird, werden vor der Beschreibung der Aktionen, die die Vorrichtung 103 zur Aktualisierung der Lokalisierungsdaten durchführt, bestimmte Komponenten der Anwendung 228 näher beschrieben. Wie den Fachleuten ersichtlich sein wird, können in anderen Beispielen die Komponenten der Anwendung 228 in verschiedene Anwendungen aufgeteilt oder zu anderen Komponentensätzen kombiniert werden. Einige oder alle der in 3 dargestellten Komponenten können auch als dedizierte Hardwarekomponenten implementiert sein, wie z.B. ein oder mehrere ASICs oder FPGAs.
Die Anwendung 228 enthält einen Präprozessor 300, der so konfiguriert ist, dass er eine primäre Teilmenge von Tiefenmessungen zur weiteren Verarbeitung auswählt, um die Vorrichtung 103 zu lokalisieren. Die Anwendung 228 enthält auch einen Eckengenerator 304, der so konfiguriert ist, dass er bestimmte Navigationsstrukturen erkennt, auf denen die Lokalisierungsaktualisierungen basieren. Im vorliegenden Beispiel wird der Generator 304 als Eckengenerator bezeichnet, weil die vom Eckgenerator 304 erkannte Navigationsstruktur eine Ecke (z.B. eine vertikale Kante) eines Regalmoduls 110 ist, die auch als Endkappenecke bezeichnet werden kann. Die Anwendung 228 enthält ferner einen Regalebenengenerator 308, der so konfiguriert ist, dass er auf der Grundlage der erfassten Tiefendaten oder einer Teilmenge davon eine Ebene mit den Regalkanten 118 innerhalb eines Gangs mit einer Vielzahl von Modulen 110 erzeugt. In einigen Beispielen enthält die Anwendung 228 auch einen Bildprozessor 312, der so konfiguriert ist, dass er strukturelle Merkmale wie die Regalkanten 118 aus den erfassten Bilddaten (d.h. unabhängig von den erfassten Tiefendaten) erkennt. Die bildbasierten Regalkantenerkennungen werden vom Regalebenengenerator 308 zur Validierung der erzeugten Regalebene eingesetzt. In anderen Beispielen wird der Bildprozessor 312 weggelassen.
Die Anwendung 228 enthält auch einen Lokalisierer 316, der so konfiguriert ist, dass er eine oder beide der erzeugten Eckenkanten vom Eckengenerator 304 und eine Regalebene vom Regalebenengenerator 308 empfängt und die Lokalisierung der Vorrichtung 103 in mindestens einem Bezugsrahmen auf der Grundlage der oben genannten Informationen aktualisiert. Wie weiter unten zu sehen sein wird, kann der Bezugsrahmen sowohl den oben erwähnten globalen Bezugsrahmen 102 als auch einen lokalen Bezugsrahmen enthalten, der spezifisch für einen bestimmten Gang der Module 110 ist. Der Lokalisierer 316 kann auch Teilkomponenten enthalten, die so konfiguriert sind, dass sie Pfade zusammen mit den Bewegungen der Vorrichtung 103 erzeugen und ausführen (über die Steuerung des Lokomotivmechanismus 203), wobei die aktualisierten Lokalisierungsinformationen beibehalten werden.
Die Funktionsweise der Anwendung 228 wird nun unter Bezugnahme auf 4 näher beschrieben. 4 veranschaulicht ein Verfahren 400 zur Aktualisierung einer Lokalisierung einer mobilen Automatisierungsvorrichtung, die in Verbindung mit ihrer Durchführung im System 100 und insbesondere durch die Vorrichtung 103 unter Bezugnahme auf die in 3 dargestellten Komponenten beschrieben wird.
Im Block 405 ist die Vorrichtung 103 und insbesondere der Präprozessor 300 der Anwendung 228 so konfiguriert, dass sie/er eine Vielzahl von Tiefenmessungen, auch als Tiefendaten bezeichnet, erfasst. Die Tiefenmessungen werden über die Steuerung eines oder mehrerer Tiefensensoren der Vorrichtung 103 erfasst. Im vorliegenden Beispiel werden die Tiefenmessungen über die Steuerung des oben erwähnten Tiefensensors 209 (d.h. der 3D-Digitalkamera) erfasst. Die 3D-Kamera ist so konfiguriert, dass sie sowohl Tiefenmessungen als auch Farbdaten, die hier auch als Bilddaten bezeichnet werden, erfasst. Das bedeutet, dass jedes von der 3D-Kamera erfasste Bild eine Punktwolke ist, die sowohl Farb- als auch Tiefendaten für jeden Punkt enthält, was für den Fachmann ersichtlich ist. Die Punktwolke wird typischerweise in einem Bezugsrahmen definiert, der auf den Sensor 209 selbst zentriert ist. In anderen Beispielen werden die Bilddaten weggelassen, und die Durchführung von Block 405 umfasst nur die Erfassung von Tiefendaten.
Die Vorrichtung 103 ist so konfiguriert, dass der Block 405 als Reaktion auf die Ankunft der Vorrichtung 103 an einem bestimmten Ort in der Einzelhandelsumgebung ausgeführt wird. Im vorliegenden Beispiel ist die Vorrichtung 103 so konfiguriert, dass sie vor der Durchführung von Block 405 vom Server 101 eine Anweisung empfängt, sich von einem aktuellen Standort der Vorrichtung 103 zu einem bestimmten Gang zu bewegen. Unter Bezugnahme auf 5 kann der Server 101 beispielsweise so konfiguriert werden, dass er (z.B. über die Verbindung 107) eine Anweisung an die Vorrichtung 103 ausgibt, sich von einem aktuellen Standort im Bezugsrahmen 102 zu einem Gang 500 zu bewegen und bei Ankunft am Gang 500 einen Datenerfassungsvorgang zu beginnen, bei dem die Vorrichtung 103 die Länge einer Vielzahl von Modulen 510-1, 510-2 und 510-3 durchläuft, um Bild- und/oder Tiefendaten zu erfassen, die die Module 510 darstellen.
Als Reaktion auf den Empfang der Anweisung wird die Vorrichtung 103 so konfiguriert (z. B. durch Ausführung des Lokalisierers 316), dass sie einen Pfad vom aktuellen Standort der Vorrichtung 103 zu einem Standort 504 einer Endkappenecke des Gangs 500 generiert und ausführt. Die Standorte der Module 510, und damit der Standort 504, sind in der im Archiv 232 gespeicherten Karte enthalten. Der Lokalisierer 316 ist daher so konfiguriert, dass er den Eckenstandort 504 aus dem Archiv 232 abruft, um einen Pfad zu dem Standort 504 zu generieren und auszuführen. In 6 wird die Vorrichtung 103 nach der Ausführung des oben erwähnten Pfades gezeigt. Insbesondere sind der tatsächliche Standort und die tatsächliche Ausrichtung (d.h. die tatsächliche Pose) der Vorrichtung 103 in durchgezogenen Linien dargestellt, während eine Lokalisierung 600 der Vorrichtung 103 (d.h. ein Standort und eine Ausrichtung im Bezugsrahmen 102, wie vom Lokalisierer 316 beibehalten) in gestrichelten Linien dargestellt ist. Wie in 6 zu sehen ist, ist die vom Lokalisierer 316 wahrgenommene Lokalisierung der Vorrichtung 103 ungenau. Lokalisierungsfehler können aus einer Vielzahl von Quellen stammen und sich im Laufe der Zeit akkumulieren. Zu den Fehlerquellen gehören Schlupf des Lokomotivmechanismus 203 auf dem Boden der Verkaufseinrichtung, Signalrauschen von Trägheitssensoren und dergleichen.
Akkumulierte Lokalisierungsfehler können in einigen Beispielen etwa 20 Zentimeter erreichen (wie sich zeigen wird, sind auch größere und kleinere Fehler möglich). Das heißt, die Lokalisierung 600 der Vorrichtung 103 im Bezugsrahmen 102 kann sich in einem Abstand von etwa 20 cm von der tatsächlichen, wahren Position der Vorrichtung 103 befinden. Für bestimmte Aufgaben, wie z.B. die oben erwähnte Datenerfassung, können kleinere Lokalisierungsfehler (z.B. unter etwa 5 cm) erforderlich sein. Mit anderen Worten, für Datenerfassungsvorgänge zur Erzeugung erfasster Daten (z.B. Bilddaten, die die Module 510 darstellen) von ausreichender Qualität für die nachfolgende Verarbeitung kann der Lokalisierer 316 erforderlich sein, um eine Lokalisierung aufrechtzuerhalten, die ausreichend genau ist, um sicherzustellen, dass die tatsächliche Position der Vorrichtung 103 relativ zu dem Modul 510, für das Daten erfasst werden, innerhalb von etwa 5 cm von einer Zielposition liegt. Die Zielposition kann z.B. etwa 75 cm vom Modul 510 entfernt sein, so dass der Lokalisierer 316 erforderlich sein kann, um eine Ortung beizubehalten, was sicherstellt, dass der tatsächliche Abstand zwischen dem Modul 510 und der Vorrichtung 103 zwischen etwa 70 cm und etwa 80 cm bleibt.
Daher wird die Vorrichtung 103 vor Beginn des Datenerfassungsvorgangs so konfiguriert, dass sie die im Lokalisierer 316 gespeicherte Lokalisierung über die Durchführung der Verfahren 400 aktualisiert, beginnend mit der Erfassung der Tiefen- und Bilddaten im Block 405. Die Durchführung von Block 405 wird nach der Ankunft der Vorrichtung 103 in der Nähe des Standortes 504 eingeleitet, wie in 6 dargestellt.
7 zeigt einen Teil des Moduls 510-3 neben dem Standort 504, nach der Ankunft der Vorrichtung 103 an dem in der Draufsicht von 6 gezeigten Standort. Das Modul 510-3 umfasst ein Paar Trägerflächen 717-1 und 717-2, die sich von einer Regalrückseite 716 bis zu den jeweiligen Regalkanten 718-1 und 718-2 erstrecken. Die Trägerfläche 717-2 trägt die Produkte 712 darauf, während die Trägerfläche 717-1 die Produkte 712 selbst nicht direkt trägt. Stattdessen trägt die Regalrückseite 716 Aufhänger 720, auf denen weitere Produkte 712 getragen werden. Ein Teil einer Grundfläche 724, entlang der sich die Vorrichtung 103 bewegt und die der X-Y-Ebene (d.h. mit einer Höhe von Null auf der Z-Achse des Bezugsrahmens 102) im Bezugsrahmen 102 entspricht, ist ebenfalls abgebildet.
8A und 8B zeigen ein Beispiel für die in Block 405 erfassten Daten. Insbesondere 8A veranschaulicht einen Satz von Tiefenmessungen, die mit dem Modul 510-3 korrespondieren, in Form einer Punktwolke 800, während 8B die Bilddaten 850 veranschaulicht. Im vorliegenden Beispiel ist der Sensor 209 so konfiguriert, dass er Tiefen- und Bilddaten im Wesentlichen gleichzeitig erfasst, und die Tiefen- und Bilddaten werden in einer einzigen Datei gespeichert (z.B. enthält jeder Punkt in der Punktwolke 800 auch Farbdaten, die den Bilddaten 850 entsprechen). Die Tiefendaten 800 und die Bilddaten 850 sind daher zur Veranschaulichung in 8A und 8B separat dargestellt.
Um zu 4 zurückzukehren, ist der Präprozessor 300 in Block 410 so konfiguriert, dass er eine primäre Teilmenge der in Block 405 erfassten Tiefendaten auswählt. Die primäre Teilmenge der Tiefenmessungen wird ausgewählt, um das Volumen der Tiefenmessungen zu reduzieren, die durch den Rest des Verfahrens 400 verarbeitet werden sollen, während sie strukturelle Merkmale enthält, auf denen die Vorrichtung 103 konfiguriert ist, um Lokalisierungsaktualisierungen zu basieren. Im vorliegenden Beispiel wird die primäre Teilmenge im Block 410 durch Auswahl von Tiefenmessungen innerhalb eines vordefinierten Schwellenabstands des Sensors 209 ausgewählt (d.h. ohne Tiefenmessungen in einem größeren Abstand vom Sensor als der Schwellenwert).
Genauer gesagt ist im vorliegenden Beispiel der Präprozessor 300 so konfiguriert, dass er die primäre Teilmenge auswählt, indem er alle Tiefenmessungen aus der Punktwolke 800 auswählt, die in eine primäre Auswahlregion fallen, z.B. eine zylindrische Region mit vordefinierten Abmessungen und einer vordefinierten Position relativ zum Sensor 209. 9A zeigt ein Beispiel für eine zylindrische Auswahlregion 900, zentriert auf die Position 904 des Sensors 209, die typischerweise der Ursprung des Bezugsrahmens ist, in dem die Punktwolke 800 erfasst wird. Die Region 900 hat einen vordefinierten Durchmesser, der groß genug ist, um die Ecke des Endkappenmoduls 510-3 aufzunehmen, trotz der potenziell ungenauen Lokalisierung 600 der in 6 gezeigten Vorrichtung 103. Die Region 900 hat auch eine Basis, die sich in einer vordefinierten Höhe relativ zum Sensor 209 befindet (z.B. ist die Basis der Region 900 etwa 2 cm über der Grundfläche 724 platziert). Die Region 900 hat auch eine vordefinierte Höhe (d.h. ein Abstand von der Basis bis zur Oberseite des Zylinders), die so gewählt ist, dass sie im Wesentlichen die gesamte Höhe der Module 510 umfasst (z.B. etwa 2 Meter). In einigen Beispielen ist der Präprozessor 300 im Block 410 auch so konfiguriert, dass er eine Grundebenen-Teilmenge von Tiefenmessungen auswählt, z.B. durch Anwendung eines Passfilters, um nur die Punkte innerhalb eines vordefinierten Abstands von der X-Y-Ebene im Bezugsrahmen 102 auszuwählen (z.B. über einer Höhe von -2 cm und unter einer Höhe von 2 cm). Die Grundebenen-Teilmenge kann verwendet werden, um (z.B. durch Anwendung einer geeigneten Ebenenanpassungsoperation) eine Grundebene zur Verwendung bei der Validierung nachfolgender Verarbeitungsausgaben des Verfahrens 400 zu erzeugen, wie weiter unten erörtert wird.
Zurück zu 4, ist im Block 415 der Eckengenerator 304 so konfiguriert, dass er aus der primären Teilmenge von Tiefendaten eine Eckkandidaten-Teilmenge von Tiefenmessungen auswählt und eine Eckenkante aus der Eckkandidaten-Teilmenge erzeugt. Die Durchführung von Block 415 dient dazu, den Satz von Tiefenmessungen, innerhalb dessen sich die Endkappenecke des Moduls 510-3 befindet, weiter einzuschränken. Unter Bezugnahme auf 9B ist der Eckengenerator 304 so konfiguriert, dass er im vorliegenden Beispiel die Eckkandidaten-Teilmenge auswählt, indem er die Tiefenmessung innerhalb der primären Teilmenge identifiziert, die der Sensorposition 904 am nächsten liegt. Insbesondere 9B zeigt eine Draufsicht auf die primäre Teilmenge der Tiefenmessungen. Die primäre Teilmenge wird als Keil und nicht als ganzer Zylinder dargestellt, da der Sensor 209 ein Sichtfeld von weniger als 360 Grad hat (z.B. von etwa 130 Grad im abgebildeten Beispiel). Wie in 9B zu sehen ist, wird nur eine Teilmenge der Tiefenmessungen (die oben erwähnte primäre Teilmenge) in der Punktwolke 800 gezeigt. Insbesondere sind keine Tiefenmessungen, die mit der Grundfläche 724 korrespondieren, in der primären Teilmenge vorhanden.
Der Eckengenerator 304 ist so konfiguriert, dass er den Punkt 908 in der primären Teilmenge als den Punkt identifiziert, der dem Standort 904 am nächsten liegt (d.h. der Standort des Sensors 209). Es wird angenommen, dass der Punkt 908 mit einem Teil der Endkappenecke des Moduls 510-3 korrespondiert. Der Eckengenerator 304 ist daher so konfiguriert, dass er als Reaktion auf die Identifizierung des Punktes 908 die oben erwähnte Eckenkandidaten-Teilmenge auswählt, indem er eine Eckenkandidaten-Auswahlregion auf der Grundlage des Punktes 908 erzeugt. Im vorliegenden Beispiel ist die Eckkandidaten-Auswahlregion ein weiterer Zylinder mit einem kleineren vordefinierten Durchmesser als der zuvor erwähnte Zylinder 900 und mit einer Längsachse, die den Punkt 908 enthält. Ein Beispiel für die Eckkandidaten-Auswahlregion 912 ist in 9A dargestellt. Die Region 912 kann auf der gleichen Höhe (z.B. 2 cm über der Grundfläche 724) wie die Region 900 positioniert werden und kann die gleiche Höhe wie die Region 900 haben.
Nachdem die Eckkandidaten-Auswahlregion 912 ausgewählt wurde, wird der Eckgenerator 304 so konfiguriert, dass er eine Kante (d.h. eine Linie) an die Punkte anpasst, die in der Region 912 enthalten sind. Unter Bezugnahme auf 9C sind die Region 912 und die darin enthaltene Teilmenge der Eckenkandidaten-Tiefenmessungen isoliert dargestellt. Eine Eckenkante 916 ist ebenfalls in 9C dargestellt, nachdem sie an die Punkte der Eckkandidaten-Teilmenge angepasst wurde. Die Eckenkante 916 wird gemäß einer geeigneten Linienanpassungsoperation erzeugt, wie z.B. einer RANSAC-Linienanpassungsoperation (Random Sample Consensus). Randbedingungen können auch auf die Linienanpassungsoperation angewendet werden. Beispielsweise kann der Eckengenerator 304 so konfiguriert werden, dass er eine im Wesentlichen vertikale Linie an die Punkte der Eckkandidaten-Teilmenge anpasst, indem er eine Randbedingung auferlegt, dass die resultierende Eckenkante 916 im Wesentlichen senkrecht zur oben erwähnten Grundebene steht.
Mit Bezug zu 4, ist im Block 420, als Reaktion auf die Erzeugung der Eckenkante 916, der Eckengenerator 304 so konfiguriert, dass er eine Gang-Teilmenge von Tiefenmessungen aus der primären Teilmenge (in 9B dargestellt) auswählt, basierend auf der Eckenkante 916. Insbesondere wird unter Bezugnahme auf 9D eine Gang-Teilmenge 924 aus der primären Teilmenge ausgewählt, wobei ein Rest 928 der primären Teilmenge ausgeschlossen wird, indem nur die Tiefenmessungen der primären Teilmenge ausgewählt werden, die auf einer vordefinierten Seite der Eckenkante 916 relativ zur Mittelposition 904 liegen. Beispielsweise ist der Eckengenerator 304 so konfiguriert, dass er die primäre Teilmenge durch eine Ebene 920 teilt, die sich durch die Eckenkante 916 erstreckt und die Mittelposition 904 schneidet. Die Gang-Teilmenge 924 ist die Teilmenge von Punkten auf der Seite der Ebene 920, die dem Innenraum des Gangs 500 entspricht.
In anderen Beispielen ist in Block 420 der Eckengenerator 304 ebenfalls so konfiguriert, dass er eine Endkappen-Teilmenge auswählt, die dem Rest 928 der primären Teilmenge entspricht, wie in 9D gezeigt. Wie sich jetzt zeigen wird, wird angenommen, dass die Endkappen-Teilmenge die Kanten 718 enthält, die sich senkrecht zum Gang 500 erstrecken.
Im Block 425 ist der Regalebenengenerator 308 so konfiguriert, dass er lokale Minima aus der Gang-Teilmenge zur Verwendung bei der Erzeugung einer Regalebene im Block 430 auswählt. Genauer gesagt, um auf 10A zurückzukommen, ist im vorliegenden Beispiel der Regalebenengenerator 308 so konfiguriert, dass er eine Vielzahl von Probenebenen 1000-1, 1000-2, 100-3 usw. erzeugt, die sich von der Mittelposition 904 in vordefinierten Winkeln durch die Gang-Teilmenge von Tiefenmessungen erstrecken. Für jede Probenebene 1000 werden alle Tiefenmessungen innerhalb eines Schwellenabstands von der Probenebene 1000 auf die Probenebene projiziert. Eine Vielzahl von Tiefenmessungen 1004 sind in 10A als innerhalb des oben erwähnten Schwellenabstandes der Ebenen 1000 dargestellt. Ferner wird, wie in 10B gezeigt, für jede Probenebene eine einzelne der Messungen 1004 ausgewählt, die sich am nächsten an der Stelle 904 befindet. Somit werden in 10B drei lokale Minimumpunkte 1008-1, 1008-2 und 1008-3 als ausgewählt dargestellt, während die übrigen Punkte in der Gang-Teilmenge verworfen wurden.
Der Regalebenengenerator 304 wird dann so konfiguriert, dass er eine Regalebene für den Gang 500 im Block 430 erzeugt, indem er eine geeignete Ebenenanpassungsoperation (z.B. eine RANSAC-Operation) auf den im Block 425 ausgewählten lokalen Minima durchführt. 10C veranschaulicht das Ergebnis einer solchen Ebenenanpassungsoperation in Form einer Regal- oder Gangebene 1012 (die oben erwähnten lokalen Minima 1008 sind zur Veranschaulichung ebenfalls dargestellt). Die Erzeugung der Gangebene im Block 430 kann eine oder mehrere Validierungsoperationen umfassen. So können z.B. Randbedingungen für den Vorgang der Ebenenanpassung auferlegt werden, wie z.B. die Anforderung, dass die resultierende Gangebene im Wesentlichen senkrecht zur bereits erwähnten Grundebene sein muss.
In einigen Beispielen können aus den Bilddaten 850 (d.h. unabhängig von den Tiefenmessungen 800) Randbedingungen zur Verwendung am Block 430 generiert werden. Insbesondere ist in einigen Beispielen der Präprozessor 300 so konfiguriert, dass er nach der Datenerfassung am Block 405 den Block 435 ausführt. Bei Block 435 ist der Präprozessor 300 so konfiguriert, dass er aus den Bilddaten 850 eine oder mehrere Regalkanten gemäß einer geeigneten Kantenerkennungsoperation erzeugt. Ein Beispiel für die oben erwähnte Kantenerkennungsoperation umfasst die Umwandlung der Bilddaten 850 in Graustufenbilddaten und optional die Abwärtsabtastung (Down-Sampling) der Bilddaten 850. Der Präprozessor 300 kann dann so konfiguriert werden, dass er z.B. einen Sobel-Filter auf die Bilddaten 850 anwendet, um Gradienten (z.B. vertikale Gradienten, die horizontale Kanten bezeichnen) aus den Bilddaten zu extrahieren. Der Präprozessor 300 kann dann so konfiguriert werden, dass er eine Hough-Transformation auf die resultierenden Gradienten anwendet, um Kandidaten-Regalkantenlinien zu erzeugen. Wie den Fachleuten klar sein wird, können in Block 435 auch andere Regalkantenerkennungsoperationen wie z.B. ein Canny-Kantendetektor (Canny-Edge Detector) eingesetzt werden.
Nach der Generierung von Regalkanten (z.B. entsprechend den in 7 gezeigten Regalkanten 718-1 und 718-2) kann der Präprozessor 300 so konfiguriert werden, dass er die Positionen (in der Punktwolke 800) der Pixel in den Bilddaten 850, die auf den Regalkanten liegen, abruft. Die oben genannten Positionen werden dann im Block 430 verwendet, um die vom Regalebenengenerator 308 erzeugte Gangebene zu validieren. Der Regalebenengenerator 308 kann beispielsweise so konfiguriert werden, dass er verifiziert, dass die Gangebene 1012 die Punkte enthält, die auf den Regalkanten liegen, oder dass diese Punkte innerhalb eines Schwellenabstands von der Gangebene 1012 liegen. In anderen Beispielen ist der Präprozessor 300 so konfiguriert, dass er eine Validierungsebene an die Regalkantenpunkte anpasst, und der Regalebenengenerator 308 ist so konfiguriert, dass er die Validierungsebene während der Generierung der Gangebene 1012 als Randbedingung anwendet (z.B. als Anforderung, dass die Gangebene 1012 einen Winkel mit der Validierungsebene haben muss, der nicht größer als ein vordefinierter Schwellenwert ist). In weiteren Beispielen kann der Präprozessor 300 so konfiguriert werden, dass er die Gangebene validiert, indem er bestimmt, ob die Winkel zwischen den Regalkanten selbst (z.B. die oben erwähnten Kandidaten-Regallinien) und der Gangebene 1012 einen Schwellenwinkel überschreiten.
Um zu 4 zurückzukehren ist im Block 440 der Lokalisierer 316 so konfiguriert, dass er die Lokalisierung der Vorrichtung 103 gemäß der Eckenkante 916 und der Gangebene 1012 aktualisiert. Wie sich nun zeigen wird, kann die Position und Orientierung der Vorrichtung 103 relativ zur Eckenkante 916 und der Gangebene 1012 aus der Punktwolke 800 bestimmt werden, ohne dass sie bestimmten Fehlerquellen (z.B. Trägheitssensor-Verschiebung, Radschlupf und dergleichen) unterliegen, die für einen Teil der Abweichung zwischen der vorherigen Lokalisierung 600 und der wahren Position der Vorrichtung 103 verantwortlich sind.
Die Aktualisierung der Lokalisierung der Vorrichtung 103 im Block 440 beinhaltet im vorliegenden Beispiel die Initiierung eines lokalen Bezugsrahmens, dessen Ursprung der Schnittpunkt zwischen der Eckenkante 916, der Gangebene 1012 und der oben erwähnten Grundebene ist. 10C veranschaulicht ein lokales Bezugssystem 1016, in dem die Gangebene 1012 die X-Z-Ebene und die Grundebene die X-Y-Ebene ist. Der Lokalisierer 316 kann daher so konfiguriert werden, dass er eine Position der Vorrichtung 103 im Bezugssystem 1016 bestimmt. In weiteren Beispielen ist der Lokalisierer 316 so konfiguriert, dass er die Lokalisierung der Vorrichtung 103 aktualisiert, indem er (z.B. aus der Karte im Archiv 232) einen vordefinierten wahren Standort der Endkappenecke des Moduls 510-3 im globalen Bezugsrahmen 102 abruft. Die Position und Orientierung der Vorrichtung 103 kann dann im globalen Bezugsrahmen 102 mit dem wahren Standort der Endkappenecke des Moduls 510-3 und der Position und Orientierung der Vorrichtung 103 relativ zur Eckenkante 916 und der Gangebene 1012 bestimmt werden.
11 zeigt die vorherige Lokalisierung 600, die wahre Position der Vorrichtung 103 und eine aktualisierte Lokalisierung 1100, die durch die Durchführung des Verfahrens 400 erhalten wurde. Die aktualisierte Lokalisierung kann auch konfiguriert werden, um einen Kalman-Filter zu initialisieren oder zu aktualisieren, der so konfiguriert ist, dass er Trägheitssensordaten, Rad-Odometrie, Lidar-Odometrie und dergleichen als Eingaben akzeptiert und Stellungsschätzungen für die Vorrichtung 103 erzeugt.
Nach Abschluss des Verfahrens 400 wird die Vorrichtung 103 so konfiguriert, dass sie den Gang 500 gemäß der oben erwähnten Datenerfassungsanweisung (vom Server 101 empfangen) durchquert. Wie zu sehen sein wird, können sich während des Durchquerens zusätzliche Fehler in der im Block 440 erhaltenen Lokalisierung ansammeln. Die Vorrichtung 103 ist daher so konfiguriert, dass sie den oben im Zusammenhang mit 4 beschriebenen Aktualisierungsprozess der Lokalisierung wiederholt, mit bestimmten, nachstehend aufgeführten Unterschieden.
12 veranschaulicht ein Verfahren 1200 zur Aktualisierung der Lokalisierung während der Bewegung durch einen Gang (z.B. den Gang 500). Das Verfahren 1200 kann daher im Anschluss an eine Durchführung des Verfahrens 400 an einem Eingang zum Gang 500 eingeleitet werden, wie oben diskutiert. Die Durchführung des Verfahrens 1200 umfasst die Erfassung von Tiefen- und (optional) Bilddaten im Block 1205, die Auswahl einer primären Teilmenge der Tiefenmessungen im Block 1210 und die Auswahl lokaler Minima aus der primären Teilmenge im Block 1225. Die Durchführung der Blöcke 1205, 1210 und 1225 ist wie oben in Verbindung mit den Blöcken 405, 410 bzw. 425 beschrieben. Wie sich nun zeigen wird, wird die Erkennung einer Ecke über die Erzeugung einer Eckenkante in 12 weggelassen. Die in Block 1225 ausgewählten lokalen Minima werden daher aus der Gesamtheit der primären Teilmenge ausgewählt und nicht aus einem Teil der primären Teilmenge, wie in 9D dargestellt.
Nach der Auswahl der lokalen Minima im Block 1225 ist die Vorrichtung 103 (und insbesondere der Regalebenengenerator 308) so konfiguriert, dass sie eine Stellungfilterebene erzeugt und eine Gang-Teilmenge von Tiefenmessungen auf der Grundlage der Stellungfilterebene auswählt. Um zu 13 zu kommen, wird eine beispielhafte Durchführung von Block 1227 diskutiert.
13 zeigt die wahre Position der Vorrichtung 103 in durchgezogenen Linien und die aktuelle Lokalisierung 1300 der Vorrichtung 103. Wie man sehen wird, hat sich ein gewisser Fehler in der Lokalisierung 1300 angehäuft. 13 veranschaulicht auch eine Vielzahl von lokalen Minimumpunkten 1304, die durch die Durchführung des Blocks 1225 erhalten wurden. Bestimmte lokale Minima können Sensorrauschen oder Tiefenmessungen darstellen, die den Produkten 712 auf den Regalträgerflächen 717 entsprechen. Daher ist der Regalebenengenerator 308 so konfiguriert, dass er eine Stellungsfilterebene 1308 erzeugt und eine Gang-Teilmenge der Punkte 1304 auswählt, die die Teilmenge der Punkte 1304 enthält, die sich zwischen der Stellungsfilterebene 1308 und einer Stellungsebene 1312 befinden, die der aktuellen (nach der Lokalisierung 1300) Stellung der Vorrichtung 103 entspricht. Die Position der Stellungsfilterebene 1308 wird gemäß einem Abstand 1316 von der Stellungsebene 1312 eingestellt. Der Abstand 1316 kann vordefiniert werden oder als ein Vielfaches (typischerweise größer als eins) eines Abstands 1320 zwischen dem nächstgelegenen Punkt in der primären Teilmenge und der Stellungsebene 1312 bestimmt werden. Der Faktor selbst kann ebenfalls vordefiniert werden oder dynamisch auf der Grundlage des Orientierungswinkels der Vorrichtung 103 relativ zur X-Achse des lokalen Bezugsrahmens 1016 bestimmt werden. Beispielsweise kann der Faktor so konfiguriert werden, dass er sich erhöht, wenn der Orientierungswinkel von einem Winkel von Null Grad abweicht.
Nachdem die Stellungsfilterebene 1308 erzeugt und die Gang-Teilmenge von Punkten im Block 1227 ausgewählt wurde, ist der Regalebenengenerator 308 so konfiguriert, dass er eine Regalebene (hier auch als Gangebene bezeichnet, wie bereits erwähnt) im Block 1230 auf der Grundlage der Gang-Teilmenge der Tiefenmessungen erzeugt. Die Durchführung von Block 1230 entspricht der oben in Verbindung mit Block 430 beschriebenen Durchführung und kann die Verwendung von bilderzeugten Regalkanten aus Block 1235 einschließen (die so ist, wie in Verbindung mit Block 435 beschrieben). Unter erneuter Bezugnahme auf 13 werden zwei Kandidaten-Gangebenen 1324 und 1328 dargestellt.
Im Block 1232 wird der Regalebenengenerator so konfiguriert, dass er eine der Ebenen 1324 und 1328 auswählt und bestimmt, ob der Winkel der ausgewählten Ebene relativ zur Stellungsfilterebene 1308 (oder der Stellungsebene 1312, da die Ebenen 1308 und 1312 parallel zueinander liegen) einen vorgegebenen Schwellenwert überschreitet. Die Bestimmung im Block 1232 spiegelt die Annahme wider, dass die Lokalisierung 1300 zwar einen gewissen Grad an Fehler enthalten kann, dieser Fehler jedoch nicht unbegrenzt ist und bestimmte Ebenenwinkel daher wahrscheinlich nicht den wahren Regalebenen entsprechen. Genauer gesagt ist die Vorrichtung 103 so konfiguriert, dass sie den Gang 500 durchquert und dabei im Wesentlichen parallel zu den Regalkanten 718 der Module 510 bleibt. Daher ist es unwahrscheinlich, dass eine am Block 1230 erzeugte Ebene, die anzeigt, dass die Vorrichtung 103 über einen Schwellenwert hinaus von der oben genannten parallelen Ausrichtung abgewichen ist, eine korrekt angepasste Ebene ist. Die Winkelschwelle kann z.B. etwa zehn Grad betragen. Im vorliegenden Beispiel ist daher die Bestimmung im Block 1232 für die Ebene 1324 positiv, und die Durchführung des Verfahrens 1200 geht daher zum Block 1233 über, um zu bestimmen, ob noch weitere Ebenen zu beurteilen sind. Wenn die Bestimmung negativ ausfällt, beginnt die Durchführung des Verfahrens 1200 erneut im Block 1205.
Wenn noch weitere Ebenen zu beurteilen sind, wird die Durchführung des Blocks 1232 für die nächste Ebene (im vorliegenden Beispiel die Ebene 1328) wiederholt. Wie aus 13 ersichtlich ist, liegt die Ebene 1328 im Wesentlichen parallel zur Stellungsebene 1312, und die Bestimmung im Block 1232 ist daher negativ. Die Ebene 1328 wird daher als Gangebene ausgewählt, und der Lokalisierer 316 ist so konfiguriert, dass er die Lokalisierung der Vorrichtung 103 auf der Grundlage der Gangebene 1328 aktualisiert. Wie sich nun zeigen wird, stellt die Gangebene 1328 die ermittelte Position der X-Z-Ebene des Bezugsrahmens 1016 dar. Daher kann im Block 1240 der Lokalisierer 316 so konfiguriert werden, dass er die wahrgenommene Orientierung der Vorrichtung 103 relativ zur X-Z-Ebene auf der Grundlage der Orientierung der Gangebene 1328 in der im Block 1205 erfassten Punktwolke aktualisiert. 14 zeigt eine aktualisierte Lokalisierung 1400, die im Block 1240 erzeugt wurde und bei der die Orientierung relativ zur Lokalisierung 1300 korrigiert wurde. Wie oben in Verbindung mit Block 440 erwähnt, kann der Lokalisierer 316 auch so konfiguriert werden, dass der Kalman-Filter mit der aktualisierten Lokalisierung 1400 aktualisiert wird.
Zurück zu 12, wird im Block 1245 die Vorrichtung 103 so konfiguriert, dass sie auf der Grundlage der aktualisierten Lokalisierung feststellt, ob der Gang 500 vollständig durchquert wurde. Die Bestimmung in Block 1245 kann entweder auf dem lokalen Bezugsrahmen 1016 oder dem globalen Bezugsrahmen 102 basieren, da die Länge des Gangs 500 aus der Karte bekannt ist. Wenn die Bestimmung im Block 1245 negativ ist, wird die Durchführung des Verfahrens 1200 wiederholt, während die Vorrichtung 103 weiterhin den Gang 500 durchquert. Wenn die Bestimmung im Block 1245 positiv ist, wird die Durchführung des Verfahrens 1200 abgebrochen.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.
Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.
Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.
Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren zur Lokalisierung einer mobilen Automatisierungsvorrichtung in einer Navigationssteuerung, wobei das Verfahren umfasst: Steuern eines Tiefensensors zur Erfassung einer Vielzahl von Tiefenmessungen, die mit einem Bereich korrespondieren, der eine Navigationsstruktur enthält; Auswählen einer primären Teilmenge der Tiefenmessungen; Auswählen, aus der primären Teilmenge, einer Eckenkandidaten-Teilmenge der Tiefenmessungen; Generieren, aus der Eckenkandidaten-Teilmenge, einer Eckenkante, die mit der Navigationsstruktur korrespondiert; Auswählen einer Gang-Teilmenge der Tiefenmessungen aus der primären Teilmenge entsprechend der Eckenkante; Auswählen, aus der Gang-Teilmenge, einer lokalen Minimumtiefenmessung für jede einer Vielzahl von Probenebenen, die sich vom Tiefensensor aus erstrecken; Erzeugen einer Regalebene aus den lokalen Minimumtiefenmessungen; und Aktualisieren einer Lokalisierung der mobilen Automatisierungsvorrichtung basierend auf der Eckenkante und der Regalebene.
Verfahren nach Anspruch 1, ferner umfassend: vor dem Erfassen der Tiefenmessungen: Empfangen einer Anweisung, einen mit der Navigationsstruktur assoziierten Gang zu durchqueren; Abrufen eines Standortes der Navigationsstruktur in einem globalen Bezugsrahmen; und Steuern eines Lokomotivmechanismus der mobilen Automatisierungsvorrichtung, um sich zum Standort zu bewegen.
Verfahren nach Anspruch 1, wobei das Auswählen der primären Teilmenge das Erzeugen einer primären Auswahlregion, die auf dem Tiefensensor zentriert ist, und das Auswählen der Tiefenmessungen innerhalb der primären Auswahlregion umfasst.
Verfahren nach Anspruch 3, wobei die primäre Auswahlregion ein Zylinder ist.
Verfahren nach Anspruch 1, wobei das Auswählen der Gang-Teilmenge das Aufteilen der primären Teilmenge in zwei Teile entsprechend der Eckenkante und das Auswählen eines der Teile umfasst.
Verfahren nach Anspruch 1, wobei das Aktualisieren der Lokalisierung das Initialisieren eines lokalen Bezugsrahmens mit einem Ursprung basierend auf der Eckenkante und der Regalebene umfasst.
Verfahren nach Anspruch 1, ferner umfassend: Bereitstellen der aktualisierten Lokalisierung für einen Kalman-Filter.
Verfahren von Anspruch 1, ferner umfassend: Erfassen von Bilddaten mit den Tiefenmessungen; Erkennen einer Regalkante in den Bilddaten; und Validieren der Regalebene entsprechend der Regalkante.
Verfahren nach Anspruch 2, ferner umfassend: Initiieren einer Durchquerung des Gangs; Steuern des Tiefensensors zur Erfassung einer weiteren Vielzahl von Tiefenmessungen; Auswählen einer weiteren primären Teilmenge von Tiefenmessungen aus der weiteren Vielzahl von Tiefenmessungen; Auswählen einer weiteren Gang-Teilmenge der Tiefenmessungen aus der weiteren primären Teilmenge; Erzeugen einer weiteren Regalebene basierend auf der weiteren Gang-Teilmenge; und weiteres Aktualisieren der Lokalisierung basierend auf der weiteren Regalebene.
Verfahren nach Anspruch 9, ferner umfassend: Bestimmen eines Winkels der weiteren Regalebene relativ zu einer Stellungsebene der mobilen Automatisierungsvorrichtung; und Verwerfen der weiteren Regalebene, wenn der Winkel einen Schwellenwert überschreitet.
Rechenvorrichtung zur Lokalisierung einer mobilen Automatisierungsvorrichtung, umfassend: einen Tiefensensor; eine Navigationssteuerung, die konfiguriert ist, um: den Tiefensensor so zu steuern, dass er eine Vielzahl von Tiefenmessungen erfasst, die mit einem Bereich korrespondieren, der eine Navigationsstruktur enthält; eine primäre Teilmenge der Tiefenmessungen auszuwählen; aus der primären Teilmenge eine Eckenkandidaten-Teilmenge der Tiefenmessungen auszuwählen; aus der Eckkandidaten-Teilmenge eine Eckenkante zu erzeugen, die mit der Navigationsstruktur korrespondiert; eine Gang-Teilmenge der Tiefenmessungen aus der primären Teilmenge entsprechend der Eckenkante auszuwählen; aus der Gang-Teilmenge eine lokale Minimumtiefenmessung für jede einer Vielzahl von Probenebenen, die sich vom Tiefensensor aus erstrecken, auszuwählen; eine Regalebene aus den lokalen Minimumtiefenmessungen zu erzeugen; und eine Lokalisierung der mobilen Automatisierungsvorrichtung basierend auf der Eckenkante und der Regalebene zu aktualisieren.
Rechenvorrichtung nach Anspruch 11, wobei die Navigationssteuerung ferner konfiguriert ist, vor dem Steuern des Tiefensensors zur Erfassung der Tiefenmessungen: eine Anweisung zu empfangen, einen mit der Navigationsstruktur assoziierten Gang zu durchqueren; einen Standort der Navigationsstruktur in einem globalen Bezugsrahmen abzurufen; und einen Lokomotivmechanismus der mobilen Automatisierungsvorrichtung zu steuern, um sich zu dem Standort zu bewegen.
Rechenvorrichtung nach Anspruch 11, wobei die Navigationssteuerung ferner konfiguriert ist, um die primäre Teilmenge auszuwählen durch: Erzeugen einer primären Auswahlregion, die auf den Tiefensensor zentriert ist, und Auswählen der Tiefenmessungen innerhalb der primären Auswahlregion.
Rechenvorrichtung nach Anspruch 13, wobei die primäre Auswahlregion ein Zylinder ist.
Rechenvorrichtung nach Anspruch 11, wobei die Navigationssteuerung ferner so konfiguriert ist, dass sie die Gang-Teilmenge auswählt, indem sie die primäre Teilmenge in zwei Teile entsprechend der Eckenkante teilt und einen der Teile auswählt.
Rechenvorrichtung nach Anspruch 11, wobei der Navigationssteuerung ferner so konfiguriert ist, dass sie die Lokalisierung durch Initialisieren eines lokalen Bezugsrahmens aktualisiert, der einen Ursprung basierend auf der Eckenkante und der Regalebene hat.
Rechenvorrichtung nach Anspruch 11, wobei die Navigationssteuerung ferner so konfiguriert ist, dass sie die aktualisierte Lokalisierung an einen Kalman-Filter bereitstellt.
Rechenvorrichtung nach Anspruch 11, wobei der Navigationssteuerung ferner konfiguriert ist, um: den Bildsensor zu steuern, um Bilddaten mit den Tiefenmessungen zu erfassen; eine Regalkante in den Bilddaten zu erkennen; und die Regalebene entsprechend der Regalkante zu validieren.
Rechenvorrichtung nach Anspruch 12, wobei die Navigationssteuerung ferner konfiguriert ist, um: eine Durchquerung des Gangs einzuleiten; den Tiefensensor zu steuern, um eine weitere Vielzahl von Tiefenmessungen zu erfassen; eine weitere primäre Teilmenge von Tiefenmessungen aus der weiteren Vielzahl von Tiefenmessungen auszuwählen; eine weitere Gang-Teilmenge der Tiefenmessungen aus der weiteren primären Teilmenge auszuwählen; eine weitere Regalebene basierend auf der weiteren Gang-Teilmenge zu erzeugen; und die Lokalisierung basierend auf der weiteren Regalebene weiter zu aktualisieren.
Rechenvorrichtung nach Anspruch 19, wobei die Navigationssteuerung ferner konfiguriert ist, um: einen Winkel der weiteren Regalebene relativ zu einer Stellungsebene der mobilen Automatisierungsvorrichtung zu bestimmen; und die weitere Regalebene zu verwerfen, wenn der Winkel einen Schwellenwert überschreitet.