DE102019125987A1

DE102019125987A1 - Verfahren, system und vorrichtung zur navigationsunterstützung

Info

Publication number: DE102019125987A1
Application number: DE102019125987.8A
Authority: DE
Inventors: Patrenahalli M. Narendra; Joseph R. White
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2018-12-12
Filing date: 2019-09-26
Publication date: 2020-07-09
Also published as: US11543249B2; US20210262806A1; FR3090166B1; FR3090166A1; GB2580779A; GB2580779B; US11015938B2; GB201917864D0; US20200191575A1

Abstract

Ein unterstützendes Navigationssystem zum Einsatz in einer Einrichtung mit einem globalen Bezugsrahmen beinhaltet: einen Server mit einem Speicher, der folgendes speichert: eine Vielzahl von Ankerdefinitionen, die jeweils (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz enthalten, der mit den physikalischen Eigenschaften der Einrichtung an der Ankerposition korrespondiert; und eine Aufgabendefinition, die aufweist (i) eine relativ zur Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; wobei der Server ferner eine Kommunikationsschnittstelle und einen Prozessor beinhaltet, der konfiguriert ist zum: Auswählen einer der Ankerdefinitionen für eine Zuordnung zur Aufgabendefinition; und Übertragen der ausgewählten Ankerdefinition und der Aufgabendefinition an eine mobile Computervorrichtung, wobei die mobile Computervorrichtung konfiguriert ist, um die ausgewählte Ankerdefinition und die Aufgabendefinition zu empfangen; wobei die mobile Computervorrichtung ferner konfiguriert ist, um die Aufgabenüberlagerungsdaten auf einer Anzeige darzustellen.

Description

HINTERGRUND
Umgebungen, in denen Objekte verwaltet werden, wie z.B. Einzelhandelseinrichtungen, können komplex und flüchtig sein. So kann beispielsweise eine Einzelhandelseinrichtung Objekte wie Produkte zum Kauf beinhalten, eine Vertriebsumgebung kann Objekte wie Pakete oder Paletten beinhalten, eine Produktionsumgebung kann Objekte wie Komponenten oder Baugruppen beinhalten, eine Gesundheitsumgebung kann Objekte wie Medikamente oder medizinische Geräte beinhalten.
Es können Aufgaben zur Ausführung in solchen Umgebungen identifiziert werden, z.B. um Preisschilder auf Produkten zu korrigieren, eine Lieferung von Produkten aufzufüllen und dergleichen. Solche Aufgaben können menschlichen Bedienern zur Ausführung übertragen werden. Das Vorhandensein einer variablen Anzahl von Aufgaben sowie einer variablen Anzahl von Mobilfunkbetreibern innerhalb der Umgebung zu einem bestimmten Zeitpunkt kann zu einer ineffizienten Zuweisung von Aufgaben an die Bediener führen, was zu einer Unterauslastung oder Überauslastung bestimmter Bediener oder der Notwendigkeit einer teuren Schulung mehrerer Bediener für mehrere Aufgaben führt.
Darüber hinaus kann es erforderlich sein, dass der Bediener, der mit der Ausführung einer bestimmten Aufgabe betraut ist, eine Position innerhalb der Einrichtung, an der die Aufgabe ausgeführt werden soll, genau lokalisiert. Eine vom Bediener mitgeführte mobile Computervorrichtung kann eine unzureichend genaue Lokalisierung aufweisen, um den Bediener an die richtige Position innerhalb der Einrichtung zu führen, was zu falsch ausgeführten Aufgaben, Verzögerungen bei der Aufgabenausführung oder beidem führt.
Figurenliste
Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist ein Schaltplan eines mobilen Automatisierungssystems.
2A stellt eine mobile Automatisierungsvorrichtung im System von 1 dar.
2B ist ein Blockdiagramm bestimmter interner Hardwarekomponenten der mobilen Automatisierungsvorrichtung im System von 1.
3 ist ein Flussdiagramm eines Verfahrens zum Erzeugen und Einsetzen von Navigationsassistenzinformationen im System von 1.
4A ist eine Draufsicht auf eine Einrichtung, die eine Ankerposition darstellt.
4B stellt einen Ankermerkmalssatz dar, der im Verfahren von 3 verwendet wird.
5A stellt Aufgabenüberlagerungsdaten dar, die im Verfahren von 3 verwendet werden.
5B stellt eine weitere Draufsicht der Einrichtung von 4A dar, die Anker- und Gerätepositionen veranschaulicht.
6 stellt eine Ankerführungsaufforderung dar, die am Block 355 des Verfahrens von 3 erzeugt wird.
7A stellt eine Draufsicht der Einrichtung von 4 während der Durchführung des Verfahrens von 3 dar.
7B stellt die von der Client-Vorrichtung erfassten Bilddaten dar.
8A stellt eine weitere Draufsicht der Einrichtung von 4 während der Durchführung des Verfahrens von 3 dar.
8B stellt die von der Client-Vorrichtung erfassten Bilddaten dar.
9A stellt eine weitere Draufsicht der Einrichtung von 4 während der Durchführung des Verfahrens von 3 dar.
9B stellt die Darstellung von Aufgabenüberlagerungsinformationen dar, als Antwort auf die Ankunft der Client-Vorrichtung an der in 9A dargestellten Position.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
DETAILLIERTE BESCHREIBUNG
Hierin offenbarte Beispiele sind auf ein Verfahren zur Navigationsunterstützung an einer mobilen Computervorrichtung zum Einsatz in einer Einrichtung mit einem globalen Bezugsrahmen gerichtet, wobei das Verfahren umfasst: Empfangen einer Ankerdefinition, die aufweist (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz entsprechend den physikalischen Eigenschaften der Einrichtung an der Ankerposition; Empfangen einer Aufgabendefinition, die aufweist (i) eine relativ zur Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; Erfassen einer Bildfolge unter Verwendung eines Bilderfassungsmoduls; Bestimmen einer lokalen Vorrichtungsposition der mobilen Computervorrichtung relativ zur Ankerposition als Reaktion auf das Erfassen des Merkmalssatzes in der Bildfolge; Bestimmen, ob sich die Aufgabenposition in einem Sichtfeld der mobilen Computervorrichtung befindet, basierend auf der lokalen Vorrichtungsposition und der Aufgabenposition; Präsentieren der Bildfolge, die mit den Überlagerungsdaten überlagert ist, auf einer Anzeige als Reaktion auf das Bestimmen, dass sich die Aufgabenposition in dem Sichtfeld befindet, das.
Zusätzliche hierin offenbarte Beispiele sind auf eine mobile Computervorrichtung zur Navigationsunterstützung in einer Einrichtung mit einem globalen Bezugsrahmen gerichtet, wobei die mobile Computervorrichtung umfasst: einen Speicher, der folgendes speichert: eine Ankerdefinition, die aufweist (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz, der den physikalischen Eigenschaften der Einrichtung an der Ankerposition entspricht; und eine Aufgabendefinition, die aufweist (i) eine Aufgabenposition, die in Bezug auf die Ankerposition definiert ist, und (ii) Aufgabenüberlagerungsdaten; eine Anzeige; ein Bilderfassungsmodul, das konfiguriert ist, um eine Bildfolge aufzunehmen; einen Prozessor, der mit dem Speicher, der Anzeige und dem Bilderfassungsmodul verbunden ist, wobei der Prozessor konfiguriert ist, zum: Bestimmen einer lokalen Vorrichtungsposition der mobilen Computervorrichtung relativ zur Ankerposition als Reaktion auf das Erfassen des Merkmalssatzes in der Bildfolge; Bestimmen, ob sich die Aufgabenposition in einem Sichtfeld der mobilen Computervorrichtung befindet basierend auf der lokalen Vorrichtungsposition und die Aufgabenposition; und Steuern der Anzeige, um die Bildfolge, die mit den Überlagerungsdaten überlagert ist, auf einer Anzeige darzustellen, als Reaktion auf das Bestimmen, dass sich die Aufgabenposition in dem Sichtfeld befindet.
Weitere hierin offenbarte Beispiele richten sich an ein unterstützendes Navigationssystem zum Einsatz in einer Einrichtung mit einem globalen Bezugsrahmen, wobei das System umfasst: einen Server mit einem Speicher, der folgendes speichert: eine Vielzahl von Ankerdefinitionen, die jeweils aufweisen (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz entsprechend den physikalischen Eigenschaften der Einrichtung an der Ankerposition; und eine Aufgabendefinition, die aufweist (i) eine in Bezug auf die Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; wobei der Server ferner eine Kommunikationsschnittstelle und einen Prozessor beinhaltet, der konfiguriert ist zum: Auswählen einer der Ankerdefinitionen zur Zuordnung zur Aufgabendefinition; und Übertragen der ausgewählten Ankerdefinition und der Aufgabendefinition an eine mobile Computervorrichtung, wobei die mobile Computervorrichtung konfiguriert ist, um die ausgewählte Ankerdefinition und die Aufgabendefinition zu empfangen; wobei die mobile Computervorrichtung ferner konfiguriert ist, um die Aufgabenüberlagerungsdaten auf einer Anzeige darzustellen.
1 stellt ein mobiles Automatisierungs- und Navigationssystem 100 gemäß den Lehren dieser Offenbarung dar. Das System 100 wird als in einer Einzelhandelsumgebung eingesetzt dargestellt, aber in anderen Ausführungsformen kann es in einer Vielzahl von anderen Umgebungen eingesetzt werden, einschließlich Lagerhallen, Produktionsstätten, Krankenhäusern und dergleichen. Die oben genannten Umgebungen werden hierin allgemein als Einrichtungen bezeichnet. Das System 100 beinhaltet einen Server 101 in Kommunikation mit mindestens einer mobilen Automatisierungsvorrichtung 103 (hierin auch einfach als die Vorrichtung 103 bezeichnet) und mindestens einer Client-Computervorrichtung 105 (hierin auch als mobile Computervorrichtung 105 bezeichnet) über Kommunikationsverbindungen 107, die im vorliegenden Beispiel als drahtlose Verbindungen dargestellt sind. Im vorliegenden Beispiel werden die Verbindungen 107 von einem drahtlosen lokalen Netzwerk (WLAN) bereitgestellt, das innerhalb der Einzelhandelsumgebung von einem oder mehreren Zugangspunkten (nicht dargestellt) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, die Client-Vorrichtung 105 oder beide außerhalb der Einzelhandelsumgebung, und die Verbindungen 107 beinhalten daher Weitverkehrsnetze wie das Internet, mobile Netzwerke und dergleichen. Das System 100 beinhaltet im vorliegenden Beispiel auch einen Anschluss 108 für die Vorrichtung 103. Der Anschluss 108 steht mit dem Server 101 über eine Verbindung 109 in Kommunikation, die im vorliegenden Beispiel eine drahtgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 109 jedoch eine drahtlose Verbindung.
Die Client-Computervorrichtung 105 ist in 1 als mobile Computervorrichtung, wie beispielsweise ein Tablet, ein Smartphone oder dergleichen, dargestellt. In anderen Beispielen ist die Client-Vorrichtung 105 als eine andere Art von mobiler Computervorrichtung implementiert, wie beispielsweise ein Laptop-Computer, ein Desktop-Computer, der auf einem mobilen Wagen montiert ist, ein dedizierter Fahrzeugcomputer (wie in einem Gabelstapler), eine intelligente Brille, ein Virtual-Reality-Headset oder dergleichen. Das System 100 kann eine Vielzahl von Client-Vorrichtungen 105 beinhalten, die über entsprechende Verbindungen 107 in Kommunikation mit dem Server 101 stehen.
Das System 100 wird im veranschaulichten Beispiel in einer Einzelhandelseinrichtung mit einer Vielzahl von Regalmodulen 110-1, 110-2, 110-3 usw. eingesetzt (gemeinsam als Regale 110 und allgemein als Regal 110 bezeichnet - diese Nomenklatur wird auch für andere hierin beschriebene Elemente verwendet). Jedes Regalmodul 110 trägt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 beinhaltet eine Regalrückseite 116-1, 116-2, 116-3 und eine Stützfläche (z.B. Stützfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückseite 116 bis zu einer Regalkante 118-1, 118-2, 118-3 erstreckt.
Die Regalmodule 110 sind typischerweise in einer Vielzahl von Gängen angeordnet, von denen jedes eine Vielzahl von Modulen 110 beinhaltet, die Ende an Ende ausgerichtet sind. Bei solchen Anordnungen weisen die Regalkanten 118 in die Gänge, durch die sich Kunden in der Einzelhandelsumgebung sowie die Vorrichtung 103 bewegen können. Wie aus 1 ersichtlich ist, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Stützfläche (z.B. die Stützflächen 117) bezeichnet werden kann, auf eine Oberfläche, die von benachbarten Oberflächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zu jeder der Auflageflächen 117-3 und der Unterseite (nicht dargestellt) der Auflagefläche 117-3. In anderen Beispielen betragen die Winkel zwischen der Regalkante 118-3 und den angrenzenden Oberflächen, wie beispielsweise der Stützfläche 117-3, mehr oder weniger als neunzig Grad.
Die Vorrichtung 103 ist innerhalb der Verkaufseinrichtung eingesetzt und kommuniziert mit dem Server 101 (z.B. über die Verbindung 107), um autonom oder teilweise autonom über eine Länge 119 von mindestens einem Teil der Regale 110 zu navigieren. Die Vorrichtung 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 104 ausgestattet, wie beispielsweise Bildsensoren (z.B. eine oder mehrere Digitalkameras) und Tiefensensoren (z.B. ein oder mehrere LIDAR (Light Detection and Ranging) -Sensoren, eine oder mehrere Tiefenkameras mit strukturierten Lichtmustern, wie Infrarotlicht oder dergleichen). Die Vorrichtung 103 kann konfiguriert sein, um die Sensoren 104 sowohl zum Navigieren zwischen den Regalen 110 (z.B. gemäß den oben genannten Pfaden) als auch zum Erfassen von Regaldaten während einer solchen Navigation zu verwenden.
Der Server 101 beinhaltet eine Spezialsteuerung, wie beispielsweise einen Prozessor 120, die speziell zum Steuern und/oder Unterstützen der mobilen Automatisierungsvorrichtung 103 beim Navigieren durch die Umgebung und beim Erfassen von Daten entwickelt wurde. Der Prozessor 120 kann ferner konfiguriert sein, um die erfassten Daten über eine Kommunikationsschnittstelle 124 zur Speicherung in einem Speicher 132 und nachfolgenden Verarbeitung zu erhalten, z.B. um Objekte wie Regalware in den erfassten Daten zu erkennen und Statusinformationen entsprechend den Objekten zu erfassen.
Der Server 101 kann auch konfiguriert sein, um Statusbenachrichtigungen (z.B. Benachrichtigungen, die anzeigen, dass Produkte nicht auf Lager sind, wenig Lagerbestand haben oder verlegt wurden) an die Client-Vorrichtung 105 zu senden, als Reaktion auf das Bestimmen von Produktstatusdaten. Die Statusbenachrichtigungen, auf die im Folgenden näher eingegangen wird, werden der Client-Vorrichtung 105 in Form von Aufgabendefinitionen zur Verfügung gestellt und geben an, welche Aufgaben (z.B. durch einen menschlichen Bediener der Client-Vorrichtung 105) ausgeführt werden müssen, um den Status eines oder mehrerer Objekte zu korrigieren. Der Server 101 ist ferner konfiguriert, um der Client-Vorrichtung 105 zusammen mit den oben genannten Aufgabendefinitionen Navigationsinformationen bereitzustellen, die die Client-Vorrichtung 105 verarbeiten kann, um den Bediener zur Ausführung der Aufgabe an den geeigneten Ort innerhalb der Einrichtung zu führen (z.B. um ein Preisschild zu korrigieren, ein falsch platziertes Produkt zu verschieben und dergleichen). Navigationsinformationen können Positionen innerhalb der Einrichtung beinhalten, die gemäß einem globalen Bezugsrahmen 102 (z.B. einem Koordinatensystem) definiert sind.
Der Prozessor 120 ist mit einem nichtflüchtigen computerlesbaren Speichermedium, wie beispielsweise dem oben genannten Speicher 122, verbunden, auf dem computerlesbare Anweisungen zum Ausführen verschiedener Funktionen gespeichert sind, einschließlich der Steuerung der Vorrichtung 103 zum Erfassen von Regaldaten, der Nachbearbeitung der Regaldaten und dem Erzeugen und Bereitstellen von Aufgaben- und Navigationsdaten für die Client-Vorrichtung 105. Der Speicher 122 beinhaltet eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash Memory). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere Zentraleinheiten (CPUs) und/oder Grafikverarbeitungseinheiten (GPUs) implementiert.
Der Server 101 beinhaltet auch die oben genannte Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 beinhaltet geeignete Hardware (z.B. Sender, Empfänger, Netzwerkschnittstellensteuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 107 und 109 mit anderen Rechengeräten - insbesondere der Vorrichtung 103, der Client-Vorrichtung 105 und dem Anschluss 108 - zu kommunizieren. Die Verbindungen 107 und 109 können direkte Verbindungen oder Verbindungen sein, die ein oder mehrere Netzwerke durchqueren, einschließlich lokaler und Weitbereichsnetzwerke. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden basierend auf der Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk innerhalb der Einzelhandelsumgebung durch den Einsatz eines oder mehrerer drahtloser Zugangspunkte implementiert. Die Verbindungen 107 beinhalten daher entweder eines oder beides von drahtlosen Verbindungen zwischen der Vorrichtung 103 und der mobilen Vorrichtung 105 und den oben genannten Zugangspunkten sowie eine drahtgebundene Verbindung (z.B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.
Der Speicher 122 speichert eine Vielzahl von Anwendungen, von denen jede eine Vielzahl von computerlesbaren Anweisungen beinhaltet, die vom Prozessor 120 ausgeführt werden können. Die Ausführung der oben genannten Anweisungen durch den Prozessor 120 konfiguriert den Server 101 zur Durchführung verschiedener hierin beschriebener Aktionen. Die im Speicher 122 gespeicherten Anwendungen beinhalten eine Steuerungsanwendung 128, die auch als eine Reihe von logisch getrennten Anwendungen implementiert sein kann. Im Allgemeinen ist der Prozessor 120 durch die Ausführung der Anwendung 128 oder von Unterkomponenten davon und in Verbindung mit den anderen Komponenten des Servers 101 konfiguriert, um verschiedene Funktionen im Zusammenhang mit dem Erzeugen oder anderweitigen Erhalten von Aufgabendefinitionen und Navigationsinformationen zur Bereitstellung an die Client-Vorrichtung 105 zu implementieren, um einen Bediener der Client-Vorrichtung 105 an die geeignete Stelle innerhalb der Einrichtung zu führen, um eine oder mehrere Aufgaben auszuführen, wie vorstehend erwähnt. Der Prozessor 120, wie er über die Ausführung der Steuerungsanwendung 128 konfiguriert ist, wird hierin auch als Steuerung 120 bezeichnet. Wie sich nun zeigt, kann ein Teil oder die gesamte Funktionalität, die von der nachfolgend beschriebenen Steuerung 120 implementiert wird, auch von vorkonfigurierten Hardwaresteuerungen für spezielle Zwecke (z.B. einem oder mehreren FPGAs und/oder anwendungsspezifischen integrierten Schaltungen (ASICs), die für Navigationsberechnungen konfiguriert sind) ausgeführt werden, anstatt durch Ausführen der Steuerungsanwendung 128 durch den Prozessor 120.
Die Client-Vorrichtung 105 beinhaltet eine Spezialsteuerung, wie beispielsweise einen Prozessor 150, die mit einem nichtflüchtigen, computerlesbaren Speichermedium, wie beispielsweise einem Speicher 152, verbunden ist. Der Speicher 152 beinhaltet eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash Memory). Der Prozessor 150 und der Speicher 152 umfassen jeweils eine oder mehrere integrierte Schaltungen.
Die Client-Vorrichtung 105 beinhaltet auch mindestens eine Eingabevorrichtung 156, die mit dem Prozessor 150 verbunden ist. Die Eingabevorrichtung 156 ist konfiguriert, um Eingaben zu empfangen und Daten an den Prozessor 150 bereitzustellen, die für den empfangenen Eingang repräsentativ sind. Die Eingabevorrichtung 156 beinhaltet eines von einem Touchscreen, einer Tastatur, einer Auslöser-Taste, einem Mikrofon und dergleichen oder eine geeignete Kombination davon. Darüber hinaus beinhaltet die Client-Vorrichtung 105 eine Kamera 158 mit einem geeigneten Bildsensor oder einer Kombination von Bildsensoren. Die Kamera 158 ist konfiguriert, um Bilder (z.B. Einzelframes oder Videoströme einschließlich Bildfolgen) aufzunehmen zur Weitergabe an den Prozessor 150.
Die Client-Vorrichtung 105 beinhaltet auch eine Anzeige 160 (z.B. einen Flachbildschirm, der in den oben genannten Touchscreen integriert ist), die mit dem Prozessor 150 verbunden ist und konfiguriert ist, um Daten unter der Kontrolle des Prozessors 150 darzustellen. Die Client-Vorrichtung 105 kann neben der Anzeige 160 auch eine oder mehrere Ausgabevorrichtungen beinhalten, wie beispielsweise einen Lautsprecher, eine Benachrichtigungs-LED und dergleichen (nicht dargestellt).
Die Client-Vorrichtung 105 beinhaltet auch eine Kommunikationsschnittstelle 162, die mit dem Prozessor 150 verbunden ist. Die Kommunikationsschnittstelle 162 beinhaltet jede geeignete Hardware (z.B. Sender, Empfänger, Netzwerkschnittstellensteuerungen und dergleichen), die es der Client-Vorrichtung 105 ermöglicht, mit anderen Rechengeräten über drahtgebundene und/oder drahtlose Verbindungen (z.B. über lokale oder Weitbereichsnetzwerke) zu kommunizieren. Die spezifischen Komponenten der Kommunikationsschnittstelle 162 werden basierend auf dem/den Typ(en) des Netzwerks / der Netzwerke oder anderer Verbindungen ausgewählt, über die die Client-Vorrichtung 105 kommunizieren soll.
Weiterhin beinhaltet die Client-Vorrichtung 105 einen Bewegungssensor 164, wie beispielsweise eine Trägheitsmesseinheit (IMU) mit einem oder mehreren Beschleunigungssensoren, einem oder mehreren Gyroskopen und/oder einem oder mehreren Magnetometern. Der Bewegungssensor 164 ist konfiguriert, um Daten zu erzeugen, die eine erfasste Bewegung der Client-Vorrichtung 105 anzeigen und die Daten dem Prozessor 150 zur Verfügung zu stellen, beispielsweise um es dem Prozessor 150 zu ermöglichen, eine oder mehrere Lokalisierungen der Client-Vorrichtung 105 erhalten (d.h. in Bezug auf den Bezugsrahmen 102 oder einen lokalen Bezugsrahmen, wie im Folgenden näher erläutert wird).
Der Speicher 152 speichert computerlesbare Anweisungen zur Ausführung durch den Prozessor 150. Insbesondere speichert der Speicher 152 eine Navigationsunterstützungsanwendung 154 (auch einfach als Anwendung 154 bezeichnet), die, wenn sie vom Prozessor 150 ausgeführt wird, den Prozessor 150 konfiguriert, um verschiedene Funktionen auszuführen, die im Folgenden näher erläutert werden und sich auf den Empfang und die Präsentation von Aufgaben- und Navigationsinformationen beziehen. Die Anwendung 150 kann in anderen Beispielen auch als eine Reihe von verschiedenen Anwendungen implementiert werden.
Der Prozessor 150 kann, wenn er durch die Ausführung der Anwendung 154 so konfiguriert ist, auch als Navigationsunterstützungssteuerung 150 bezeichnet werden. Fachleute werden verstehen, dass die vom Prozessor 150 durch die Ausführung der Anwendung 154 implementierte Funktionalität auch durch eine oder mehrere speziell entwickelte Hardware- und Firmwarekomponenten, wie FPGAs, ASICs und dergleichen in anderen Ausführungsformen, implementiert werden kann.
Mit Bezug zu den 2A und 2B wird die mobile Automatisierungsvorrichtung 103 näher dargestellt. Die Vorrichtung 103 beinhaltet ein Gestell 201 mit einem Lokomotivmechanismus 203 (z.B. ein oder mehrere Elektromotoren, die Räder, Schienen oder dergleichen antreiben). Die Vorrichtung 103 beinhaltet ferner einen auf dem Gestell 201 abgestützten Sensormast 205, der sich im vorliegenden Beispiel vom Gestell 201 nach oben (z.B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die bereits erwähnten Sensoren 104. Insbesondere beinhalten die Sensoren 104 mindestens einen Bildsensor 207, wie beispielsweise eine Digitalkamera, sowie mindestens einen Tiefensensor 209, wie beispielsweise eine 3D-Digitalkamera. Die Vorrichtung 103 beinhaltet auch zusätzliche Tiefensensoren, wie beispielsweise die LIDAR-Sensoren 211. In anderen Beispielen beinhaltet die Vorrichtung 103 zusätzliche Sensoren, wie beispielsweise einen oder mehrere RFID-Leser, Temperatursensoren und dergleichen.
Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7 und zwei LIDAR-Sensoren 211-1 und 211-2. Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsanordnungen 213, die konfiguriert sind, um die Sichtfelder der jeweiligen Kameras 207 zu beleuchten. Das heißt, die Beleuchtungsanordnung 213-1 beleuchtet das Sichtfeld der Kamera 207-1, usw. Die Sensoren 207 und 211 sind auf dem Mast 205 so ausgerichtet, dass die Sichtfelder jedes Sensors einem Regal 110 zugewandt sind, entlang dessen Länge 119 sich die Vorrichtung 103 bewegt. Die Vorrichtung 103 ist konfiguriert, um eine Position der Vorrichtung 103 (z.B. eine Position der Mitte des Gestells 201) im globalen Bezugsrahmen 102 zu verfolgen, der zuvor in der Einzelhandelseinrichtung festgelegt wurde, so dass von der mobilen Automatisierungsvorrichtung 103 erfasste Daten auf den gemeinsamen Bezugsrahmen registriert werden können. Die oben genannte Position der Vorrichtung 103 innerhalb des Bezugsrahmens 102, auch als Lokalisierung bezeichnet, wird bei der Erzeugung von Pfaden zur Ausführung durch die Vorrichtung 103 verwendet.
Die mobile Automatisierungsvorrichtung 103 beinhaltet eine spezielle Navigationssteuerung, wie beispielsweise einen Prozessor 220, wie in 2B dargestellt, der mit einem nichtflüchtigen, computerlesbaren Speichermedium, wie beispielsweise einem Speicher 222, verbunden ist. Der Speicher 222 beinhaltet eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash Memory). Der Prozessor 220 und der Speicher 222 umfassen jeweils eine oder mehrere integrierte Schaltungen. Der Speicher 222 speichert computerlesbare Anweisungen zur Ausführung durch den Prozessor 220. Insbesondere speichert der Speicher 222 eine Navigationsanwendung 228, die, wenn sie durch den Prozessor 220 ausgeführt wird, den Prozessor 220 konfiguriert, um verschiedene, im Folgenden näher erläuterte und mit der Navigation der Vorrichtung 103 zusammenhängende Funktionen auszuführen (z.B. durch Steuern des Lokomotivmechanismus 203). Die Anwendung 228 kann in anderen Beispielen auch als eine Reihe von verschiedenen Anwendungen implementiert werden.
Der Prozessor 220 kann, wenn er durch die Ausführung der Anwendung 228 so konfiguriert ist, auch als Navigationssteuerung 220 bezeichnet werden. Fachleute werden verstehen, dass die vom Prozessor 220 durch die Ausführung der Anwendung 228 implementierte Funktionalität auch durch eine oder mehrere speziell ausgelegte Hardware- und Firmwarekomponenten wie FPGAs, ASICs und dergleichen in anderen Ausführungsformen implementiert werden kann.
Der Speicher 222 kann auch ein Archiv 232 speichern, das beispielsweise eine oder mehrere Karten der Umgebung enthält, in der die Vorrichtung 103 arbeitet, zur Verwendung während der Ausführung der Anwendung 228. Die Vorrichtung 103 kann mit dem Server 101 kommunizieren, um beispielsweise Anweisungen zum Navigieren zu bestimmten Orten zu erhalten und Datenerfassungsvorgänge einzuleiten, über eine Kommunikationsschnittstelle 224 über die in 1 dargestellte Verbindung 107. Die Kommunikationsschnittstelle 224 ermöglicht es der Vorrichtung 103 auch, mit dem Server 101 über den Anschluss 108 und die Verbindung 109 zu kommunizieren.
Die Funktionalität der Anwendungen 128 und 154 wird nun näher beschrieben. Insbesondere wird die Erzeugung von Aufgaben- und Navigationsinformationen für die Bereitstellung auf der Client-Vorrichtung 105 vom Server 101 sowie die Verarbeitung der oben genannten Informationen auf der Client-Vorrichtung 105 beschrieben.
In 3 wird ein Verfahren 300 zum Erzeugen und Bereitstellen von Navigationsassistenzinformationen dargestellt. Wie in 3 dargestellt, werden bestimmte Blöcke des Verfahrens 300 vom Server 101 ausgeführt, während andere Blöcke des Verfahrens 300 von der Client-Vorrichtung 105 ausgeführt werden. In weiteren Ausführungsformen kann der Server 101 konfiguriert sein, um bestimmte in 3 dargestellte Blöcke von der Client-Vorrichtung 105 ausführen zu lassen. In noch weiteren Ausführungsformen kann die Client-Vorrichtung 105 konfiguriert sein, um bestimmte in 3 dargestellte Blöcke vom Server 101 ausführen zu lassen.
Bei Block 305 ist der Server 101 konfiguriert, um eine oder mehrere Ankerdefinitionen zur Speicherung im Speicher 122 (z.B. im Archiv 132) zu erhalten. Ankerdefinitionen können auf dem Server 101 während der ersten Bereitstellung des Systems 100 in der Einrichtung abgerufen werden. Im Allgemeinen beinhaltet eine Ankerdefinition Daten, die eine Position innerhalb der Einrichtung definieren. Die Position entspricht in der vorliegenden Diskussion einer Position gemäß dem globalen Bezugsrahmen 102 sowie einer Orientierung (z.B. Gier-, Neigungs- und Rollwinkel an der oben genannten Position). Jede Ankerdefinition beinhaltet auch einen Merkmalssatz, der den physikalischen Eigenschaften der Einrichtung an der oben genannten Position entspricht. Mit anderen Worten, eine Ankerdefinition definiert verschiedene Merkmale der Einrichtung, wenn sie von der Ankerposition aus betrachtet wird. Wie im Folgenden erläutert, ermöglicht es die Verwendung einer Ankerdefinition daher anderen Rechengeräten, einschließlich der Client-Vorrichtung 105, mindestens einen Teil des in der Ankerdefinition enthaltenen Merkmalssatzes zu erkennen. Die Client-Vorrichtung 105 kann dadurch eine aktuelle Position der Client-Vorrichtung 105 sowohl global (d.h. gemäß dem Bezugsrahmen 102) als auch lokal, bezogen auf die Ankerposition, bestimmen.
Ankerdefinitionen können bei Block 305 auf verschiedene Weise erhalten werden. In einigen Beispielen wird jede Ankerdefinition von einer mobilen Datenerfassungsvorrichtung, wie beispielsweise einer Client-Vorrichtung 105 oder der Vorrichtung 103, erzeugt. Insbesondere wird die mobile Datenerfassungsvorrichtung (manuell oder über eine autonome oder teilautonome Navigation) an einer bekannten Position gemäß dem Bezugsrahmen 102 platziert. Die bekannte Position entspricht der oben genannten Ankerposition. Die mobile Datenerfassungsvorrichtung ist dann konfiguriert, um Daten aus der Ankerposition zu erfassen. Die Art der erfassten Daten ist nicht eigens begrenzt. Im vorliegenden Beispiel beinhalten die erfassten Daten Bilddaten, die physikalische Strukturen innerhalb der Einrichtung um die Ankerposition herum darstellen. Das heißt, die mobile Datenerfassungsvorrichtung beinhaltet einen Bildsensor, der konfiguriert ist, um einen oder mehrere Bildframes aus der ausgewählten Ankerposition zu erfassen. Die für die Erstellung einer Ankerdefinition erfassten Daten können auch Tiefenscandaten beinhalten, die beispielsweise mittles Lidar oder Tiefenkamera erfasst werden. In weiteren Beispielen können die erfassten Daten Näherungsindikatoren wie drahtlose Zugangspunkt-Signaturen (z.B. ein oder mehrere empfangene Signalstärkeindikatoren (RSSI) und Umlaufzeiten (RTT) für jeden von einer Vielzahl von Zugangspunkten, die von der Ankerposition aus erfasst werden) und/oder Bakensignaturen (z.B. ein oder mehrere Identifikatoren von Baken, die von der Ankerposition aus erfasst werden können, wie Bluetooth Low Energy (BLE)-Bakenidentifikatoren, visuelle Lichtkommunikation (VLC)-Senderidentifikatoren und dergleichen) beinhalten.
Nach der Datenerfassung wie vorstehend beschrieben, wird aus den erfassten Daten ein Merkmalssatz extrahiert, der (zusammen mit der Ankerposition) als Ankerdefinition gespeichert wird. Es können eine Vielzahl von Merkmalen extrahiert werden, um den Merkmalssatz zu generieren. Bei den erfassten Bilddaten können die Merkmale eine beliebige Kombination von geometrischen Konstrukten wie Linien, Ebenen und Polygonen beinhalten, die durch die Ausführung geeigneter Kanten- und Ebenenerkennungsoperationen (z.B. Stichprobenkonsens (random sample consens - RANSAC), Sobel-Filter und dergleichen) extrahiert werden. Aus Bilddaten extrahierte Merkmale können auch Farb- und/oder Helligkeitshistogramme beinhalten. Die Merkmalsextraktion kann an der oben genannten Erfassungsvorrichtung oder am Server 101 nach Erhalt der erfassten Daten von der Erfassungsvorrichtung durchgeführt werden. Nach der Datenerfassung und Merkmalsextraktion wird der Merkmalssatz zusammen mit der globalen Ankerposition als Ankerdefinition im Speicher 122 (z.B. im Archiv 132) gespeichert.
Die 4A und 4B veranschaulichen die Erzeugung einer exemplarischen Ankerdefinition. Insbesondere veranschaulicht 4A eine Draufsicht einer Einrichtung 400, wie beispielsweise einer Einzelhandelseinrichtung, die eine Vielzahl von Reihen 404-1, 404-2, 404-3, 404-4, 404-5, 404-6 und 404-7 von Regalmodulen enthält, die Gänge bilden. Wie in 4A zu sehen ist, belegt jede Zeile 404 einen Bereich der Einrichtung 400, der als Satz von Koordinaten im globalen Bezugsrahmen 102 ausgedrückt werden kann. Eine Ankerposition 408 ist auch in 4A dargestellt, definiert durch eine Position (z.B. die Mitte des kreisförmigen Elements der Ankerposition 408) und eine Ausrichtung (z.B. die durch den Pfeil der Ankerposition 408 angezeigte Richtung).
4B veranschaulicht die Bilddaten 412, die von einer mobilen Datenerfassungsvorrichtung (z.B. der Vorrichtung 103 oder der Client-Vorrichtung 105) während der Erstellung der Ankerdefinition erfasst wurden. Insbesondere beinhalten die Bilddaten 412 einen von der Ankerposition 408 aufgenommenen Bildframe, der eine Gangendstelle darstellt. Die Endstelle beinhaltet die Regale 416-1 und 416-2, die die Lageretiketten 418 tragen, sowie einen Steckplattenbereich, der Etiketten 420 trägt (z.B. am Ende der Steckplatte zum Tragen von Produkten montiert). Darüber hinaus beinhaltet die Endstelle einen Gangidentifizierer, wie beispielsweise ein Schild 424, das auf der Endstelle montiert ist.
Die Datenerfassungsvorrichtung oder der Server 101 sind konfiguriert, um Merkmale aus den Bilddaten 412 zu extrahieren. Im vorliegenden Beispiel wird aus den Bilddaten 412 ein Merkmalssatz mit den drei Merkmalen 428-1, 428-2 und 428-3 extrahiert zur Speicherung als Ankerdefinition (zusammen mit der Ankerposition 408). Wie in 4A veranschaulicht, beinhaltet das Merkmal 428-1 die Kanten des Gangidentifiziererschildes 424 sowie eine Textzeichenfolge, die den Gangidentifizierer selbst definiert. Das Merkmal 428-1 definiert die relativen Positionen und Abmessungen der Kanten und der Textzeichenfolge. Das Merkmal 428-2 beinhaltet Kanten, die durch ihre Abmessungen und relativen Positionen definiert sind, von Etiketten 420, die von der vorstehend genannten Steckplatte getragen werden. Die Merkmale 482-3 beinhalten unter anderem die Kanten der Regale 416-1 und 416-2, die durch ihre Abmessungen und relativen Positionen definiert sind. Der Merkmalssatz kann auch die relativen Positionen der Merkmale 428 relativ zueinander speichern (z.B. eine Position der Mitte des Merkmals 428-1 relativ zur Mitte des Merkmals 428-3).
In einem weiteren Beispiel kann eine Ankerdefinition erzeugt werden, indem ein oder mehrere Bilder aufgenommen werden, wie in 4B an der Vorrichtung 105 gezeigt. Die Vorrichtung 105 kann ferner konfiguriert sein, um eine erste Ebenendefinition entsprechend einem Boden der Einrichtung und eine zweite Ebenendefinition (auch als Regalebene bezeichnet) basierend auf einem oder beiden der Etiketten 420 und den Regalkanten 416 zu erfassen. Wie sich nun zeigen wird, sind die Bodenebene und die wie oben beschrieben erfasste Regalebene im Wesentlichen orthogonal zueinander. Darüber hinaus kann die Vorrichtung 105 konfiguriert sein, um ein Kennzeichen, wie beispielsweise einen Barcode, von mindestens einem der Etiketten 420 zu erfassen und zu dekodieren. Die Position des Etiketts 420, von dem der Barcode erfasst wurde, relativ zur Bodenebene und der Regalebene, kann dem Server mitgeteilt werden, wo eine globale Position für den Barcode gespeichert ist (z.B. in einem Planogramm). Somit wird dem Anker basierend auf der vordefinierten Barcodeposition eine globale Ankerposition zugeordnet, und die Ankerdefinition beinhaltet die Definition der Boden- und Regalebenen relativ zur Barcodeposition. Eine mobile Vorrichtung (z.B. die Vorrichtung 105, die Vorrichtung 103 oder dergleichen) ist daher in der Lage, ihre aktuelle globale Position und Orientierung durch Erfassen der Ebenen und Erfassen des Barcodes zu bestimmen.
Aus zusammen mit den Bilddaten 412 erfassten Daten können auch eine Vielzahl anderer Merkmale extrahiert werden. Wie vorstehend erwähnt, können solche Merkmale eine Liste von RSSI- und/oder RTT-Werten des Zugangspunkts, eine Liste von Bakenidentifizierern und dergleichen beinhalten.
Der obige Vorgang kann für eine beliebige Anzahl von Ankerdefinitionen wiederholt werden. In Einrichtungen, die Regalreihen beinhalten, wie beispielsweise die in 4A dargestellten Reihen 404, kann der Server 101 mit mindestens einer Ankerdefinition pro Reihe 404 versehen werden. So können beispielsweise für jede Reihe 404 zwei Ankerdefinitionen erstellt werden, die jeweils einer der beiden Endstellen der Reihe 404 entsprechen. In anderen Beispielen können kleinere oder größere Anzahlen von Ankerdefinitionen für die Bereitstellung auf dem Server 101 erzeugt werden. Im Allgemeinen kann eine größere Anzahl von Ankerdefinitionen die Genauigkeit der vom Server 101 und der Client-Vorrichtung 105 ausgeführten unterstützenden Navigationsfunktionen verbessern, wie nachstehend beschrieben, und zwar auf Kosten der erhöhten Datenspeicheranforderungen und der Rechenlast. Umgekehrt kann eine geringere Anzahl von Ankerdefinitionen die rechnerische Belastung des Servers 101 und/oder der Client-Vorrichtung 105 reduzieren, während die Genauigkeit der unterstützenden Navigationsfunktionen potenziell reduziert wird.
Mit Bezug zu 3 ist der Server 101 bei Block 310 konfiguriert, um eine oder mehrere Aufgabendefinitionen zu erhalten. Aufgabendefinitionen enthalten Daten, die Aufgaben definieren, die innerhalb der Einrichtung auszuführen sind, z.B. um die vom Server 101 bestimmten oben genannten Statusinformationen in Bezug auf Produkte oder andere Objekte in der Einrichtung zu korrigieren oder anderweitig zu aktualisieren. Die Aufgabendefinitionen können daher bei Block 310 durch Erzeugen der Aufgabendefinitionen auf dem Server 101 selbst erhalten werden. In anderen Beispielen können eine oder mehrere Aufgabendefinitionen auf dem Server 101 bei Block 310 empfangen werden, beispielsweise von der Client-Vorrichtung 105. So kann beispielsweise ein Bediener der Client-Vorrichtung 105 die Client-Vorrichtung 105 bedienen, um Produktstatusinformationen an den Server 101 zu übertragen (z.B. um anzuzeigen, dass ein Produkt an einem bestimmten Ort nicht mehr auf Lager ist und eine Wiederauffüllungsaufgabe erfordert).
Jede Aufgabendefinition beinhaltet eine Aufgabenposition und Aufgabenüberlagerungsdaten (die auch als Aufgabeninhalt bezeichnet werden können). Die Aufgabenüberlagerungsdaten, wie im Folgenden näher erläutert, werden anschließend auf der Client-Vorrichtung 105 präsentiert, um einen Bediener der Client-Vorrichtung 105 bei der Ausführung der entsprechenden Aufgabe zu unterstützen. Die Aufgabenüberlagerungsdaten können daher einen Produktidentifizierer, einen Aufgabenidentifizierer (z.B. eine Textzeichenfolge, die angibt, welche Aktion oder Abfolge von Aktionen in Bezug auf den Produktidentifizierer durchgeführt werden soll) und dergleichen beinhalten. Die Aufgabenposition definiert einen Ort innerhalb der Einrichtung, an dem die durch die Aufgabenüberlagerungsdaten angezeigte Aufgabe ausgeführt werden soll. Im vorliegenden Beispiel ist der Server 101 konfiguriert, um Aufgabendefinitionen mit globalen Aufgabenpositionen zu erzeugen, die die Position der Aufgabe gemäß dem globalen Bezugsrahmen 102 definieren. Wie im Folgenden zu sehen sein wird, werden die Aufgabendefinitionen jedoch anschließend aktualisiert, um lokale Aufgabenpositionen zu beinhalten, die die Position der Aufgabe relativ zu einer Ankerposition (z.B. der Ankerposition 408) definieren.
Um zu 5A zu kommen, werden exemplarische Aufgabenüberlagerungsdaten 500 für eine vom Server 101 bei Block 310 erzeugte Aufgabe dargestellt, als Reaktion auf das Erkennen eines falschen Preisschildes in der Einrichtung 400 (z.B. aus Daten, die von der mobilen Automatisierungsvorrichtung 103 erfasst wurden). Die Aufgabenüberlagerungsdaten 500 beinhalten ein Überlagerungstemplate 502 mit den Feldern 504, 506 und 508. Das Template 502 kann für jede Aufgabendefinition verwendet werden, die vom Server 101 erzeugt wird. In anderen Beispielen müssen die Aufgabenüberlagerungsdaten 500jedoch nicht auf einer solchen geteilten Vorlage basieren.
Die Aufgabenüberlagerungsdaten 500 beinhalten auch Inhalte, die mit den Feldern 504, 506 und 508 korrespondieren. Insbesondere beinhalten die Aufgabenüberlagerungsdaten 500 ein Bild 514, das einen Teil eines Regals darstellt, in dem die Aufgabe ausgeführt werden soll. Die Aufgabenüberlagerungsdaten 500 beinhalten auch einen Aufgabenbeschreiber, der im dargestellten Beispiel anzeigt, dass ein falsches Preisschild erkannt wurde (z.B. wie in Bild 514 markiert) und ersetzt werden muss. Darüber hinaus beinhalten die Aufgabenüberlagerungsdaten 500 einen Produktidentifizierer 518, wie beispielsweise einen Namen, einen Lagerbestandeinheit (Stock-keeping Unit - SKU) -Identifizierer oder dergleichen. Das Bild 514, der Aufgabenbeschreiber 516 und der Produktidentifizierer 518 sind jeweils für das Wiedergeben innerhalb der Felder 504, 506 und 508 auf der Client-Vorrichtung 105 konfiguriert, wie im Folgenden erläutert wird. Die Aufgabendefinition kann verschiedene andere Überlagerungsdaten in anderen Beispielen beinhalten, einschließlich Anweisungen (z.B. Text, Audio, Video oder Multimedia) zur Ausführung der Aufgabe.
Um zu 5B zu kommen, wird eine Aufgabe 520, die durch die Überlagerungsdaten 500 definiert ist, innerhalb der Einrichtung 400 dargestellt. Der Server 101 ist konfiguriert, um eine Aufgabenposition gemäß dem Bezugsrahmen 102 bei Block 310 zu erzeugen, wie durch die gestrichelte Linie 524 angezeigt (z.B. dargestellt durch einen Satz von Koordinaten im Bezugsrahmen 102). Der Server 101 ist jedoch auch konfiguriert, um in der Aufgabendefinition eine lokale Aufgabenposition zu speichern, die die Position der Aufgabe relativ zu einer Ankerposition und weniger zum Bezugsrahmen 102 anzeigt.
Mit Bezug zu 3 ist der Server 101 bei Block 315 konfiguriert, um jede Aufgabendefinition, die bei Block 310 erhalten wurde, mit mindestens einer der Ankerdefinitionen, die bei Block 305 erhalten wurden, zu verknüpfen. Der Server 101 ist konfiguriert, um basierend auf der globalen Position der Aufgabendefinition (z.B. der Position 524 der Aufgabe 520 in 5B) eine der Ankerdefinitionen auszuwählen. Nachdem die Ankerdefinition ausgewählt wurde, ist der Server 101 konfiguriert, um eine lokale Aufgabenposition der Aufgabe relativ zur Ankerposition zu bestimmen, basierend auf den globalen Positionen der Aufgabe und der ausgewählten Ankerdefinition.
Unter erneuter Bezugnahme auf 5B ist eine zweite Ankerposition 528 dargestellt, die einer Endstelle der Reihe 404 benachbart zur Endkappe entsprechend der Ankerposition 408 entspricht. Bei Block 315 ist der Server 101 konfiguriert, um eine der Ankerpositionen 408 und 528 auszuwählen (genauer gesagt, eine der Ankerdefinitionen mit den Ankerpositionen 408 und 528). So kann beispielsweise der Server 101 konfiguriert sein, um die Ankerdefinition auszuwählen, deren Ankerposition der globalen Position der Aufgabe 520 am nächsten liegt. In anderen Beispielen kann der Server 101 konfiguriert sein, um ein oder mehrere zusätzliche Kriterien auf die Ankerauswahl bei Block 315 anzuwenden. Wenn beispielsweise die Einrichtung 400 Reihen 404 von Regalen enthält, wie im veranschaulichten Beispiel, kann der Server 101 konfiguriert sein, um nur aus Ankern auszuwählen, die der Reihe zugeordnet sind, in der sich die Aufgabe 520 befindet. Im veranschaulichten Beispiel wählt der Server 101 die Ankerdefinition mit der Ankerposition 408 für die Zuordnung zur Aufgabe 520 aus. Der Server 101 bestimmt dann die lokale Aufgabenposition 532, die die Position der Aufgabe 520 relativ zur Ankerposition 408 und weniger relativ zum Bezugsrahmen 102 definieret. Die Aufgabendefinition wird mit der lokalen Aufgabenposition 532 (die globale Aufgabenposition kann in der Aufgabendefinition beibehalten, aber auch verworfen werden) und einem Identifizierer der entsprechenden Ankerdefinition aktualisiert. In anderen Beispielen kann eine Aufgabe mit mehr als einer Ankerdefinition verknüpft sein. Wenn beispielsweise bei Block 305 Ankerdefinitionen erhalten werden, die beiden Endstellen der Reihen 404 entsprechen, kann jede Aufgabe, die entlang einer bestimmten Reihe 404 erzeugt wird, mit beiden entsprechenden Ankerdefinitionen verknüpft werden. Das heißt, die Aufgabendefinition kann mit zwei lokalen Aufgabenpositionen und Ankerdefinitionsidentifizierern aktualisiert werden.
Unter erneuter Bezugnahme auf 3 ist bei Block 320 die Client-Vorrichtung 105 konfiguriert, um eine globale Position der Client-Vorrichtung 105 zu aktualisieren. Die globale Position der Client-Vorrichtung 105 im Bezugsrahmen 102 kann entsprechend einer Vielzahl geeigneter Lokalisierungsmechanismen aktualisiert werden. So kann beispielsweise die Client-Vorrichtung 105 konfiguriert sein, um Bewegungsdaten vom Bewegungssensor 164 als Eingang für einen Kalman-Filter oder einen anderen geeigneten Lokalisierungsalgorithmus bereitzustellen. Die Client-Vorrichtung 105 kann in einigen Beispielen auch konfiguriert sein, um Näherungsdaten wie RSSI-Werte und/oder RTT-Werte, die in Verbindung mit drahtlosen Zugangspunkten, Baken oder dergleichen erkannt werden, zu verwenden, um die globale Position bei Block 320 zu aktualisieren. Die Aktualisierung der Position der Vorrichtung 105 kann auch durch Erkennen eines Ankers erfolgen, wenn die Vorrichtung 105 zuvor mit einer oder mehreren Ankerdefinitionen versehen wurde.
Bei Block 325 ist die Client-Vorrichtung 105 konfiguriert, um zu bestimmen, ob die globale Position von Block 320 an den Server 101 gemeldet werden soll. So kann beispielsweise die Client-Vorrichtung 105 konfiguriert sein, um ihre globale Position periodisch (z.B. alle zehn Sekunden) an den Server 101 zu melden, und die Bestimmung bei Block 325 kann eine Bestimmung darüber sein, ob die konfigurierte Zeitspanne seit dem vorherigen Positionsbericht an den Server 101 verstrichen ist. Wenn die Bestimmung bei Block 325 negativ ist, aktualisiert die Client-Vorrichtung 105 weiterhin die globale Position bei Block 320.
Wenn die Bestimmung bei Block 325 positiv ist, sendet die Client-Vorrichtung 105 bei Block 330 ihre aktuelle globale Position (d.h. im Bezugsrahmen 102) an den Server 101. Die Client-Vorrichtung 105 aktualisiert typischerweise weiterhin die globale Position und berichtet periodisch die globale Position parallel zum Rest des Verfahrens 300.
Bei Block 335 ist der Server 101 konfiguriert, um die globale Position der Client-Vorrichtung 105 zu empfangen. Bei Block 340 ist der Server 101 konfiguriert, um zu bestimmen, ob eine oder mehrere Aufgaben der Client-Vorrichtung 105 zugewiesen werden sollen. Im vorliegenden Beispiel basiert die Bestimmung bei Block 340 auf der globalen Position der Client-Vorrichtung 105. Insbesondere ist der Server 101 konfiguriert, um der Client-Vorrichtung 105 eine Aufgabe zuzuweisen, basierend auf der Nähe zwischen der aktuellen (d.h. zuletzt gemeldeten) Position der Client-Vorrichtung 105 und der globalen Position der Aufgabe. In Beispielen, in denen die globale Aufgabenposition nach der Ausführung von Block 315 nicht beibehalten wird, ist der Server 101 konfiguriert, um Aufgaben den Client-Vorrichtungen 105 zuzuweisen, basierend auf der Nähe zwischen der Position der Client-Vorrichtung 105 und der Ankerposition (beide im Bezugsrahmen 102).
In anderen Beispielen kann die Bestimmung bei Block 340 neben der Position der Client-Vorrichtung 105 auch auf anderen Faktoren basieren, und in einigen Beispielen ist die Bestimmung bei Block 340 unabhängig von der Position der Client-Vorrichtung 105. So kann beispielsweise der Server 101 konfiguriert sein, um den Client-Vorrichtungen 105 Aufgaben zuzuweisen, basierend darauf, ob jeder Client-Vorrichtung 105 eine Aufgabe zugewiesen wurde oder nicht, unabhängig von der Position der Client-Vorrichtung 105.
Weitere Beispiele für Kriterien, die vom Server 101 bei Block 340 bewertet werden, umfassen die Fähigkeiten der Client-Vorrichtung 105 oder eines zugehörigen Bedieners (z.B. identifiziert durch Anmeldeinformationen, die an der Eingabevorrichtung 156 bereitgestellt werden). So kann beispielsweise der Server 101 eine Liste der Client-Vorrichtungen 105 und der zugehörigen Eingabe- und Ausgabefähigkeiten führen, wie z.B. die Angabe, ob eine Client-Vorrichtung 105 einen Etikettendrucker enthält, der für die Durchführung einer Preisetiketten-Korrekturaufgabe geeignet ist. Somit können der Aufgabenbeschreiber und die Fähigkeiten der Client-Vorrichtung zusätzlich oder anstelle der Position der Client-Vorrichtung vom Server 101 bei Block 340 bewertet werden.
Wenn die Bestimmung bei Block 340 negativ ist, ist der Server 101 konfiguriert, um weitere Positionsberichte von der Client-Vorrichtung 105 abzuwarten und kann auch zusätzliche Aufgabendefinitionen erhalten (z.B. als Reaktion auf weitere Datenerfassungsaktivitäten durch die mobile Automatisierungsvorrichtung 103). Wenn die Bestimmung bei Block 340 positiv ist, ist der Server 101 jedoch bei Block 345 konfiguriert, um mindestens eine der bei Block 310 erhaltenen Aufgabendefinitionen gemäß einem der oben genannten Kriterien auszuwählen und sowohl die Aufgabendefinition als auch die zugehörige Ankerdefinition (d.h. die der Aufgabendefinition bei Block 315 zugeordnete Ankerdefinition) an die Client-Vorrichtung 105 zu senden. Somit ist der Server 101 bei Block 345 konfiguriert, um mindestens eine Aufgabendefinition, die die Aufgabenüberlagerungsdaten und die lokale Aufgabenposition enthält, sowie die Ankerdefinition, gemäß der die lokale Aufgabenposition definiert ist, an die Client-Vorrichtung 105 zu übertragen.
Bei Block 350 ist die Client-Vorrichtung 105 konfiguriert, um die Aufgaben- und Ankerdefinitionen im Speicher 152 zu empfangen und zu speichern. Die Client-Vorrichtung 105 ist auch konfiguriert, um bei Block 350 einen unterstützenden Navigationsprozess einzuleiten. Im vorliegenden Beispiel ist die Client-Vorrichtung 105 konfiguriert, um eine Bildfolge mit der Kamera 158 aufzunehmen, als Reaktion auf den Empfang der Aufgaben- und Ankerdefinitionen. Die Bildfolge wird von der Client-Vorrichtung 105 verwendet, um den Merkmalssatz zu erfassen, der mit der bei Block 350 empfangenen Ankerdefinition korrespondiert.
Bei Block 355 ist die Client-Vorrichtung 105 konfiguriert, um eine Ankerführungsaufforderung z.B. auf der Anzeige 160 darzustellen (obwohl die Führungsaufforderungen auch über andere Ausgabevorrichtungen, wie z.B. akustische Aufforderungen über einen Lautsprecher, dargestellt werden können). Die bei Block 355 dargestellte Führungsaufforderung zeigt die Richtung und optional den Abstand von der aktuellen globalen Position der Client-Vorrichtung 105 zur globalen Position der bei Block 350 empfangenen Ankerdefinition an. Unter kurzer Bezugnahme auf 5B wird eine aktuelle Position 536-1 der Client-Vorrichtung 105 dargestellt. Mit Bezug zu 6 wird eine Ankerführungsaufforderung 600 angezeigt, wie sie auf der Anzeige 160 der Client-Vorrichtung 105 dargestellt wird. Insbesondere stellt die Client-Vorrichtung 105 nicht nur die Ankerführungsaufforderung 600, sondern auch die Bildfolge dar, deren Aufnahme bei Block 350 eingeleitet wurde. Somit präsentiert die Anzeige 160 auch ein Bild 604 aus der Bildfolge, das das aktuelle Sichtfeld der Kamera 158 darstellt. Wie nun ersichtlich, zeigt die Ankerführungsaufforderung 600 die Bewegungsrichtung an, die erforderlich ist, um an der Ankerposition 408 (die sich angrenzend an die Endstelle der Reihe 404 befindet) anzukommen.
Bei Block 360 ist die Client-Vorrichtung 105 konfiguriert, um zu bestimmen, ob der Merkmalssatz der bei Block 350 empfangenen Ankerdefinition in einer oder mehreren der Bildfolgen, die mit der Kamera 158 aufgenommen wurden, erkannt wurde. Das heißt, die Client-Vorrichtung 105 ist konfiguriert, um für jede der Bildfolgen Kandidatenmerkmale wie Ebenen, Linien, Punkte und dergleichen zu identifizieren und zu bestimmen, ob die identifizierten Kandidatenmerkmale mit einem der Merkmale im Merkmalssatz der bei Block 350 empfangenen Ankerdefinition übereinstimmen.
In der vorliegenden exemplarischen Durchführung des Verfahrens 300 wird davon ausgegangen, dass die Merkmale 428-1, 428-2 und 428-3, wie in 4B dargestellt, in dem in 6 dargestellten Bild 604 nicht erkannt werden. Die Client-Vorrichtung 105 kehrt daher zu Block 355 zurück und präsentiert weiterhin die Ankerführungsaufforderung 600, wobei die Orientierung der Ankerführungsaufforderung gemäß der globalen Position der Client-Vorrichtung 105 in Bezug auf die globale Ankerposition 408 aktualisiert wird. Mit Bezug zu 7A wird eine aktualisierte Position 536a der Client-Vorrichtung 105 angrenzend an die Endstelle der Reihe 404-3 dargestellt. 7B veranschaulicht ein Bild 700 in der Bildfolge, deren Aufnahme bei Block 350 eingeleitet wurde. Wie aus 7B ersichtlich wird, sind die Merkmale 428 der Ankerdefinition im Bild 700 erkennbar. Die Bestimmung bei Block 360 ist daher positiv. Darüber hinaus ermöglichen Verzerrungen zwischen den Merkmalen 428, wie sie im Bild 700 dargestellt sind, und den Merkmalen 428, wie sie in der in 4B dargestellten Ankerdefinition definiert sind, der Client-Vorrichtung 105 das Bestimmen der Position der Client-Vorrichtung 105 relativ zur Ankerposition 408.
Mit anderen Worten bewirkt das Erkennen des Ankers bei Block 360, dass die Client-Vorrichtung 105 einen lokalen Navigationsmodus bei Block 365 initiiert, in der die Client-Vorrichtung 105 konfiguriert ist, um eine lokale Vorrichtungsposition in Bezug auf die Ankerposition 408 zu bestimmen und zu aktualisieren. Die Vorrichtung kann die oben genannte globale Position in Verbindung mit Block 320 weiterhin aktualisieren, aber die restlichen Blöcke des Verfahrens 300 werden von der Client-Vorrichtung basierend auf der lokalen Vorrichtungsposition ausgeführt, die im Vergleich zur globalen Position der Client-Vorrichtung 105 reduzierten Fehlern (z.B. Fehlern aufgrund von Abweichungen im Bewegungssensor 164) unterliegen kann. Der lokale Navigationsmodus beinhaltet die Verwendung nicht nur des Bewegungssensors 164 und der Kommunikationsschnittstelle 162 (zum Erkennen von drahtlosen Zugangspunkt-Signaturen), sondern auch der Kamera 158 und insbesondere der Bildfolge, deren Erfassung bei Block 350 eingeleitet wurde. Insbesondere kann die Client-Vorrichtung 105 konfiguriert sein, um transiente Merkmale in einer Teilmenge der Bilder zu erkennen (z.B. Ebenen, Linien, Punkte und dergleichen) und Änderungen der Positionen solcher transienten Merkmale innerhalb der Bilder zu verfolgen, solange die transienten Merkmale sichtbar bleiben. Die Client-Vorrichtung 105 wird dann basierend auf erfassten Positionsänderungen der transienten Merkmale zwischen den Bildern in der Folge konfiguriert, um die lokale Vorrichtungsposition zu aktualisieren.
8A veranschaulicht eine weitere Draufsicht auf die Anlage 400, nachdem sich die Client-Vorrichtung 105 zu einer weiteren Position 536b bewegt hat. Die Client-Vorrichtung 105 ist konfiguriert, um eine aktualisierte lokale Vorrichtungsposition 800 in Bezug auf die Ankerposition 408 aufrechtzuerhalten (z.B. unter Verwendung der Ankerposition 408 als Ursprung eines lokalen Bezugsrahmens). Bei Block 370 ist die Client-Vorrichtung 105 konfiguriert, um eine Aufgabenführungsaufforderung zu präsentieren, die eine Bewegungsrichtung und optional einen Abstand zur Aufgabenposition angibt, der gemäß der in der Aufgabendefinition spezifizierten Aufgabenposition und der lokalen Vorrichtungsposition 800 bestimmt wird. 8B veranschaulicht eine Aufgabenführungsaufforderung 804, die auf der Anzeige 160 zusammen mit einem Bild 808 der oben genannten Folge dargestellt wird. In 8B sind auch Beispiele für die oben genannten transienten Merkmale dargestellt, die für die lokale Navigation verwendet werden. Insbesondere können eine Regalkante 812 und ein Produkt 816 durch die Client-Vorrichtung 105 im Bild 808 sowie ein nachfolgendes Bild identifiziert werden. Basierend auf Änderungen in den Positionen der Regalkante 812 und des Produkts 816 zwischen den Bildern kann die Client-Vorrichtung 105 eine aktualisierte lokale Position bestimmen.
Unter erneuter Bezugnahme auf 3 ist bei Block 375 die Client-Vorrichtung 105 konfiguriert, um zu bestimmen, ob sich die Aufgabenposition in einem Sichtfeld der Client-Vorrichtung 105 befindet. Die Bestimmung bei Block 375 erfolgt basierend auf der Aufgabenposition (d.h. einer lokalen Position, die relativ zur Ankerposition 408 definiert ist) und der lokalen Vorrichtungsposition sowie auf einer im Speicher 152 gespeicherten Sichtfelddefinition. Ein exemplarisches Sichtfeld 820 ist in 8A dargestellt und kann dem Sichtfeld der Kamera 158 entsprechen. Wie aus 8A ersichtlich, liegt die Aufgabenposition 520 nicht im Sichtfeld 820, und die Bestimmung bei Block 375 ist daher negativ. Nach einer negativen Bestimmung bei Block 375 ist die Client-Vorrichtung 105 konfiguriert, um zu Block 370 zurückzukehren und die Aufgabenführungsaufforderung basierend auf der aktuellen lokalen Vorrichtungsposition zu aktualisieren. Der Block 375 wird dann wiederholt.
Wenn die Bestimmung bei Block 375 positiv ist, fährt die Durchführung des Verfahrens 300 mit Block 380 fort. In 9A ist eine weitere Draufsicht auf die Einrichtung 400 dargestellt, in der die Client-Vorrichtung 105 weiter in den Gang mit der Aufgabe 520 vorgedrungen ist, bis zu einer Position 536c, die an der Client-Vorrichtung 105 als lokale Vorrichtungsposition 900 verfolgt wird. Die Client-Vorrichtung 105 wurde ebenfalls auf die Zeile 404-3 der Regale ausgerichtet, und die Bestimmung bei Block 375 ist positiv (die Aufgabenposition 520 fällt in das Sichtfeld 820). Bei Block 380 ist die Client-Vorrichtung 105 daher konfiguriert, um die Aufgabenüberlagerungsdaten auf der Anzeige 160 zusammen mit der oben genannten Bildfolge darzustellen. Mit anderen Worten werden die Aufgabenüberlagerungsdaten auf der Anzeige als Augmented-Reality-Überlagerung (d.h. ein virtuelles Objekt) auf dem von der Kamera 158 aufgenommenen Bildstrom präsentiert.
9B veranschaulicht eine Durchführung von Block 380, wobei die Client-Vorrichtung 105 an der Position 536c in 8A dargestellt ist. Insbesondere wird auf der Anzeige 160 ein Bild 904 aus der bei Block 350 initiierten Folge zusammen mit einer virtuellen Objekt-Überlagerung 908 mit den zuvor im Zusammenhang mit 5A diskutierten Aufgabenüberlagerungsdaten 500 dargestellt. Die Durchführung des Verfahrens 300 ermöglicht es der Client-Vorrichtung 105 somit, einem Bediener der Client-Vorrichtung 105 zu helfen, eine Arbeitsposition innerhalb der Einrichtung zu lokalisieren und die entsprechende Aufgabe auszuführen.
Es werden Abweichungen von den oben genannten Systemen und Verfahren erwogen. So kann beispielsweise in einigen Ausführungsformen die oben genannte lokale Vorrichtungsposition in Verbindung mit Block 365, z.B. auf der Anzeige 160 der Client-Vorrichtung 105, auch ohne Aufgabendefinition dargestellt werden. So kann beispielsweise die Vorrichtung 160 nach dem Erkennen eines Ankers wie der in 7B dargestellten Gangendstelle konfiguriert sein, um eine Karte der Einrichtung oder eines Teils davon (z.B. eine Karte des entsprechenden Ganges) darzustellen. Überlagert auf der Karte kann die Vorrichtung 105 konfiguriert sein, um eine Anzeige der Position der Vorrichtung 105, wie bei Block 365 bestimmt, darzustellen.
Wie bereits erwähnt, können vom Server 101 bei Block 310 erhaltene Aufgabendefinitionen von der Client-Vorrichtung 105 empfangen werden. Insbesondere ist die Client-Vorrichtung 105 in einigen Ausführungsformen konfiguriert, um eine globale Position wie bei Block 320 zu aktualisieren und Ankerdefinitionen zu empfangen, wie vorstehend in Verbindung mit Block 350 erläutert. Die Client-Vorrichtung 105 muss jedoch keine Aufgabendefinitionen empfangen. Stattdessen ist die Client-Vorrichtung 105 konfiguriert, um eine lokale Navigation einzuleiten und einen oder mehrere Barcodes oder andere Kennzeichnungen zu erfassen, nachdem sie einen Anker an Block 360 erkannt hat, wie beispielsweise eine Endstelle eines Ganges (z.B. wie in 7B dargestellt).
Die von der Client-Vorrichtung 105 erfassten Kennzeichnungen korrespondieren mit Etiketten an den Regalen 110, bei denen eine oder mehrere Aufgaben erforderlich sind (z.B. Auffüllen eines Produkts, Korrektur eines Preises auf dem Etikett oder dergleichen). Die Client-Vorrichtung 105 ist konfiguriert, um eine Position jedes gescannten Kennzeichens basierend auf der lokalen Navigation und der globalen Position der Client-Vorrichtung 105 selbst sowie auf der Position des Kennzeichens in Bezug auf die Client-Vorrichtung 105 zu bestimmen. So kann beispielsweise die relative Position des Kennzeichens aus einem Bild des Kennzeichens basierend auf Kalibrierparametern der Kamera 158 zusammen mit den Abmessungen des Kennzeichens innerhalb des Bildes bestimmt werden.
Nachdem sich das gescannte Kennzeichen in der Einrichtung befindet (d.h. in Bezug auf den Bezugsrahmen 102), kann die Client-Vorrichtung 105 konfiguriert sein, um Eingangsdaten zu empfangen, die Auftragsüberlagerungsdaten definieren, wie beispielsweise eine Angabe der Art der auszuführenden Aufgabe (z.B. Auffüllen). Die Position des Kennzeichens entspricht der oben genannten Aufgabenposition und wird zusammen mit den Aufgabenüberlagerungsdaten an den Server 101 zur Speicherung als Aufgabendefinition übertragen.
In weiteren Ausführungsformen, wie bereits erwähnt, kann der Server 101 konfiguriert sein, um bestimmte in 3 dargestellte Blöcke auszuführen, die von der Client-Vorrichtung 105 ausgeführt werden, und/oder die Client-Vorrichtung 105 kann konfiguriert sein, um bestimmte in 3 dargestellte Blöcke auszuführen, die vom Server 101 ausgeführt werden. In einer weiteren Ausführungsform kann beispielsweise der Server 101 konfiguriert sein, um eine Position der Client-Vorrichtung 105 bei Block 320 zu bestimmen. Die Blöcke 325, 330 und 335 können daher weggelassen werden. Der Server 101 kann auch konfiguriert sein, um Bilddaten zu empfangen, die von der Client-Vorrichtung 105 erfasst werden und Anker darin zu erkennen. Mit anderen Worten, anstatt Aufgaben- und Ankerdefinitionen an die Client-Vorrichtung 105 bei Block 345 zu senden, ist der Server 101 konfiguriert, um die Aufgaben- und Ankerdefinitionen auszuwählen, und die Client-Vorrichtung 105 ist konfiguriert, um Bilder aufzunehmen und an den Server 101 bei Block 350 zu senden. Der Server 101 wiederum ist konfiguriert, um eine Ankerführungsaufforderung an die Client-Vorrichtung 105 zur Präsentation bei Block 355 zu erzeugen und zu senden und die Bestimmung bei Block 360 durchzuführen. Der Server 101 kann ferner konfiguriert sein, um die Verarbeitung durchzuführen, die mit der lokalen Navigation bei Block 365 verknüpft ist, und um die Aufgabenführungsaufforderung zu erzeugen und an die Client-Vorrichtung 105 zur Präsentation bei Block 370 zu senden. Darüber hinaus kann der Server 101 konfiguriert sein, um die Bestimmung bei Block 375 (basierend auf den von der Client-Vorrichtung 105 empfangenen Bildern) durchzuführen und die Aufgabenüberlagerung für die Präsentation durch die Client-Vorrichtung 105 bei Block 380 zu erzeugen und zu senden.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.
Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.
Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.
Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren zur Navigationsunterstützung an einer mobilen Computervorrichtung zum Einsatz in einer Einrichtung mit einem globalen Bezugsrahmen, wobei das Verfahren umfasst: Empfangen einer Ankerdefinition, die aufweist (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz, der mit den physikalischen Eigenschaften der Einrichtung an der Ankerposition korrespondiert; Empfangen einer Aufgabendefinition, die aufweist (i) eine relativ zur Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; Erfassen einer Bildfolge unter Verwendung eines Bilderfassungsmoduls; Bestimmen einer lokalen Vorrichtungsposition der mobilen Computervorrichtung relativ zur Ankerposition als Reaktion auf das Erfassen des Merkmalssatzes in der Bildfolge; Bestimmen, ob sich die Aufgabenposition in einem Sichtfeld der mobilen Computervorrichtung befindet basierend auf der lokalen Vorrichtungsposition und der Aufgabenposition; und Präsentieren der Bildfolge, die mit den Überlagerungsdaten auf einer Anzeige überlagert ist, als Reaktion auf das Bestimmen, dass sich die Aufgabenposition innerhalb des Sichtfeldes befindet.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen einer globalen Vorrichtungsposition der mobilen Computervorrichtung und Senden der globalen Vorrichtungsposition an einen Server, vor dem Empfangen der Ankerdefinition und der Aufgabendefinition; und Empfangen der Ankerdefinition und der Aufgabendefinition als Reaktion auf das Senden der globalen Vorrichtungsposition.
Verfahren nach Anspruch 1, wobei das Bestimmen der lokalen Vorrichtungsposition umfasst: Identifizieren von transienten Merkmalen in der Bildfolge und Verfolgen der lokalen Vorrichtungsposition basierend auf der Bewegung der transienten Merkmale zwischen Bildern in der Folge.
Verfahren nach Anspruch 1, wobei der Merkmalssatz mit (i) einem visuellen Erscheinungsbild physikalischer Strukturen in der Einrichtung und (ii) einem Näherungsindikator korrespondiert, der der Nähe der Ankerposition zu einem drahtlosen Sender entspricht; und wobei das Verfahren ferner umfasst: Erfassen von Näherungssignaturen gleichzeitig mit der Bildfolge, unter Verwendung mindestens eines der Bilderfassungsmodule und einer Kommunikati onsschni ttstelle; wobei das Erfassen des Merkmalssatzes (i) das Erfassen des visuellen Erscheinungsbildes in der Bildfolge und (ii) das Erfassen des Näherungsindikators in den Näherungssignaturen beinhaltet.
Verfahren nach Anspruch 4, wobei der Näherungsindikator mindestens eines umfasst von: einer Empfangssignalstärkeanzeige (RSSI), die mit einem drahtlosen Zugangspunkt korrespondiert; einer Umlaufzeit (RTT), die mit dem drahtlosen Zugangspunkt korrespondiert; einem Identifizierer einer drahtlosen Bake; und einem Identifizierer eines Emitters für visuelle Lichtkommunikation (VLC).
Verfahren nach Anspruch 1, wobei das Präsentieren der Bildfolge und der Überlagerungsdaten das Auswählen eines der Aufgabenposition entsprechenden Abschnitts des Bildes und das Präsentieren der Überlagerungsdaten auf dem ausgewählten Abschnitt beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen einer globalen Vorrichtungsposition der mobilen Com putervorri chtung; Präsentieren einer Ankerführungsaufforderung auf der Anzeige, die die Ankerposition in Bezug auf die globale Vorrichtungsposition anzeigt, als Reaktion auf das Bestimmen, dass die Bildfolge nicht den Merkmalssatz enthält.
Verfahren nach Anspruch 1, ferner umfassend: Präsentieren einer Aufgabenführungsaufforderung auf der Anzeige, die die Aufgabenposition in Bezug auf die lokale Vorrichtungsposition anzeigt, als Reaktion auf das Bestimmen, dass sich die Aufgabenposition nicht innerhalb des Sichtfeldes befindet.
Verfahren nach Anspruch 1, wobei die Überlagerungsdaten mindestens einen von einem Aufgabenbeschreiber und einem Objektidentifizierer beinhalten.
Mobile Computervorrichtung zur Navigationsunterstützung in einer Einrichtung mit einem globalen Bezugsrahmen, wobei die mobile Computervorrichtung umfasst: einen Speicher, der speichert: eine Ankerdefinition, die aufweist (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz, der mit den physikalischen Eigenschaften der Einrichtung an der Ankerposition korrespondiert; und eine Aufgabendefinition, die aufweist (i) eine relativ zur Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; eine Anzeige; ein Bilderfassungsmodul, das konfiguriert ist, um eine Bildfolge aufzunehmen; einen Prozessor, der mit dem Speicher, der Anzeige und dem Bilderfassungsmodul verbunden ist, wobei der Prozessor konfiguriert ist zum: Bestimmen einer lokalen Vorrichtungsposition der mobilen Computervorrichtung relativ zur Ankerposition als Reaktion auf das Erfassen des Merkmalssatzes in der Bildfolge; Bestimmen, ob sich die Aufgabenposition in einem Sichtfeld der mobilen Computervorrichtung befindet, basierend auf der lokalen Vorrichtungsposition und der Aufgabenposition; und Steuern der Anzeige, um die Bildfolge darzustellen, die mit den Überlagerungsdaten auf einer Anzeige überlagert ist, als Reaktion auf das Bestimmen, dass sich die Aufgabenposition innerhalb des Sichtfeldes befindet.
Mobile Computervorrichtung nach Anspruch 10, ferner umfassend: eine Kommunikationsschnittstelle; und einen Bewegungssensor, der konfiguriert ist, um Bewegungsdaten zu erzeugen; wobei der Prozessor ferner konfiguriert ist, um vor dem Empfangen der Ankerdefinition und der Aufgabendefinition zum Speichern im Speicher eine globale Vorrichtungsposition der mobilen Computervorrichtung basierend auf den Bewegungsdaten zu bestimmen; und wobei der Prozessor ferner konfiguriert ist, um die globale Vorrichtungsposition über die Kommunikationsschnittstelle an einen Server zu senden.
Mobile Computervorrichtung nach Anspruch 10, wobei der Prozessor ferner konfiguriert ist, um die lokale Vorrichtungsposition zu bestimmen, indem transiente Merkmale in der Bildfolge identifiziert und die lokale Vorrichtungsposition basierend auf der Bewegung der transienten Merkmale zwischen Bildern in der Folge verfolgt wird.
Mobile Computervorrichtung nach Anspruch 10, ferner umfassend eine Kommunikationsschnittstelle; wobei der Merkmalssatz mit (i) einem visuellen Erscheinungsbild physikalischer Strukturen in der Einrichtung und (ii) einem Näherungsindikator korrespondiert, der der Nähe der Ankerposition zu einem drahtlosen Sender entspricht; wobei der Prozessor ferner konfiguriert ist, um mindestens eines des Bilderfassungsmoduls und der Kommunikationsschnittstelle zum Erfassen von Näherungssignaturen gleichzeitig mit der Bildfolge zu steuern; und wobei der Prozessor ferner konfiguriert ist, um den Merkmalssatz zu erfassen, um (i) das visuelle Erscheinungsbild in der Bildfolge zu erfassen und (ii) den Näherungsindikator in den Näherungssignaturen zu erfassen.
Mobile Computervorrichtung nach Anspruch 13, wobei der Näherungsindikator mindestens eines umfasst von: einer Empfangssignalstärkeanzeige (RSSI), die mit einem drahtlosen Zugangspunkt korrespondiert; einer Umlaufzeit (RTT), die mit dem drahtlosen Zugangspunkt korrespondiert; einem Identifizierer einer drahtlosen Bake; und einem Identifizierer eines Emitters für visuelle Lichtkommunikation (VLC).
Mobile Computervorrichtung nach Anspruch 10, wobei der Prozessor ferner konfiguriert ist, um die Bildfolge und die Überlagerungsdaten durch Auswählen eines Teils des Bildes, der dem Aufgabenort entspricht, darzustellen; wobei der Prozessor ferner konfiguriert ist, um die Überlagerungsdaten auf dem ausgewählten Teil darzustellen.
Mobile Computervorrichtung nach Anspruch 10, ferner umfassend: einen Bewegungssensor, der konfiguriert ist, um Bewegungsdaten zu erzeugen; wobei der Prozessor ferner konfiguriert ist, um eine globale Vorrichtungsposition der mobilen Computervorrichtung basierend auf den Bewegungsdaten zu bestimmen; und wobei der Prozessor ferner konfiguriert ist, um eine Ankerführungsaufforderung auf der Anzeige zu präsentieren, die die Ankerposition relativ zur globalen Vorrichtungsposition anzeigt, als Reaktion auf das Bestimmen, dass die Bildfolge nicht den Merkmalssatz enthält.
Mobile Computervorrichtung nach Anspruch 10, wobei der Prozessor ferner konfiguriert ist, um eine Aufgabenführungsaufforderung auf der Anzeige zu präsentieren, die die Aufgabenposition relativ zur lokalen Vorrichtungsposition anzeigt, als Reaktion auf das Bestimmen, dass sich die Aufgabenposition nicht innerhalb des Sichtfeldes befindet.
Mobile Computervorrichtung nach Anspruch 10, wobei die Überlagerungsdaten mindestens einen von einem Aufgabenbeschreiber und einem Objektidentifizierer beinhalten.
Unterstützendes Navigationssystem zum Einsatz in einer Einrichtung mit einem globalen Bezugsrahmen, wobei das System umfasst: einen Server, der einen Speicher beinhaltet zum Speichern von: einer Vielzahl von Ankerdefinitionen, die jeweils aufweisen (i) eine Ankerposition im globalen Bezugsrahmen und (ii) einen Merkmalssatz, der mit den physikalischen Eigenschaften der Einrichtung an der Ankerposition korrespondiert; und eine Aufgabendefinition, die aufweist (i) eine relativ zur Ankerposition definierte Aufgabenposition und (ii) Aufgabenüberlagerungsdaten; wobei der Server ferner eine Kommunikationsschnittstelle und einen Prozessor beinhaltet, der konfiguriert ist zum: Auswählen einer der Ankerdefinitionen für eine Zuordnung zur Aufgabendefinition; und Übertragen der ausgewählten Ankerdefinition und der Aufgabendefinition an eine mobile Computervorrichtung, wobei die mobile Computervorrichtung konfiguriert ist, um die ausgewählte Ankerdefinition und die Aufgabendefinition zu empfangen; wobei die mobile Computervorrichtung ferner konfiguriert ist, um die Aufgabenüberlagerungsdaten auf einer Anzeige darzustellen.