DE112021005543T5

DE112021005543T5 - Parallaxentolerante panoramabilderzeugung

Info

Publication number: DE112021005543T5
Application number: DE112021005543.7T
Authority: DE
Inventors: Giorgio Gallina; Sam Leitch
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2020-10-21
Filing date: 2021-11-24
Publication date: 2023-10-26
Also published as: BE1028693A1; WO2022084977A1; GB2614509A; US20220122220A1; GB202305726D0; US11593915B2; BE1028693B1

Abstract

Ein Verfahren zum Erzeugen eines parallaxentoleranten Panoramabildes beinhaltet das Erhalten einer Punktwolke, die von einem Tiefensensor erfasst wird, wobei die Punktwolke eine Trägerstruktur darstellt, die einen Satz von Objekten trägt; das Erhalten eines Satzes von Bildern der Trägerstruktur und des Satzes von Objekten, wobei der Satz von Bildern von einem Bildsensor aus einer Vielzahl von Positionen entlang einer Länge der Trägerstruktur erfasst wird; das Erzeugen einer Netzstruktur unter Verwendung der Punktwolke, wobei die Netzstruktur eine Vielzahl von Feldern enthält und eine Oberfläche der Trägerstruktur und den Satz von Objekten darstellt; für jedes Feld in der Netzstruktur das Auswählen eines Bildes aus dem Satz von Bildern und Projizieren des ausgewählten Bildes auf das Netzfeld; und das Erzeugen einer orthographischen Projektion der Netzstruktur auf eine Regalebene der Trägerstruktur.

Description

HINTERGRUND
Umgebungen, in denen Objekte verwaltet werden, wie z. B. Einzelhandelseinrichtungen, Lager- und Vertriebseinrichtungen usw., können solche Objekte in Bereichen wie Gängen von Regalmodulen oder ähnlichem lagern. In einer Einzelhandelseinrichtung können z. B. Produkte zum Kauf angeboten werden, und in einer Verteilereinrichtung können Objekte wie Pakete oder Paletten gelagert werden. Eine mobile Automatisierungsvorrichtung kann in solchen Einrichtungen eingesetzt werden, um Aufgaben an verschiedenen Orten zu erfüllen. Eine mobile Automatisierungsvorrichtung kann beispielsweise eingesetzt werden, um Daten zu erfassen, die Trägerstrukturen in einer Einzelhandelseinrichtung darstellen, um Informationen zum Produktstatus zu ermitteln. Die gemischte Tiefe von Objekten auf den Trägerstrukturen kann jedoch entlang des Ganges variieren, was das Zusammenfügen von Bildern bei der Erstellung eines Panoramabildes der Trägerstruktur erschweren und die Genauigkeit der anhand der erfassten Daten ermittelten Statusinformationen verringern kann.
KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNG
Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist eine schematische Darstellung eines mobilen Automatisierungssystems.
2 ist eine Seitenansicht einer mobilen Automatisierungsvorrichtung im System von 1.
3 ist ein Blockdiagramm bestimmter interner Komponenten des Servers von 1.
4 ist eine schematische Darstellung eines Regalmoduls in perspektivischer und seitlicher Ansicht.
5 ist ein Flussdiagramm eines Verfahrens zur Erzeugung eines Panoramabildes einer Trägerstruktur.
6 ist ein Diagramm, das Daten zeigt, die durch eine beispielhafte Durchführung der Blöcke 505 und 510 des Verfahrens von 5 erfasst wurden.
7 ist ein Diagramm, das Daten zeigt, die durch eine Durchführung von Block 515 des Verfahrens von 5 erhalten wurden.
8 ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 520 des Verfahrens von 5.
9 ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 520 des Verfahrens von 5.
10 ist ein Diagramm, das ein Beispiel für die Durchführung von Block 525 des Verfahrens von 5 zeigt.
11 ist ein Diagramm, das eine orthografische Projektion zeigt, die im Block 535 des Verfahrens von 5 erzeugt wurde.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Abmessungen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
DETAILLIERTE BESCHREIBUNG
Die hier offenbarten Beispiele beziehen sich auf ein Verfahren, umfassend: Erhalten einer Punktwolke, die von einem Tiefensensor erfasst wird, wobei die Punktwolke eine Trägerstruktur darstellt, die einen Satz von Objekten trägt; Erhalten eines Satzes von Bildern der Trägerstruktur und des Satzes von Objekten, wobei der Satz von Bildern von einem Bildsensor von einer Vielzahl von Positionen entlang einer Länge der Trägerstruktur erfasst wird; Erzeugen einer Netzstruktur unter Verwendung der Punktwolke, wobei die Netzstruktur eine Vielzahl von Zellen enthält und eine Oberfläche der Trägerstruktur und des Satzes von Objekten darstellt; für jede Zelle in der Netzstruktur, Auswählen eines Bildes aus dem Satz von Bildern und Projizieren des ausgewählten Bildes auf die Zelle; und Erzeugen einer orthographischen Projektion der Netzstruktur auf eine Regalebene der Trägerstruktur.
Zusätzliche Beispiele, die hier offenbart werden, sind auf eine Computervorrichtung gerichtet, umfassend: einen Speicher; einen mit dem Speicher verbundenen Prozessor, wobei der Prozessor so konfiguriert ist, dass er: eine Punktwolke erhält, die eine Trägerstruktur darstellt, die einen Satz von Objekten trägt; einen Satz von Bildern der Trägerstruktur und den Satz von Objekten erhält, wobei der Satz von Bildern von einer Vielzahl von Positionen entlang einer Länge der Trägerstruktur erfasst wurde; eine Netzstruktur unter Verwendung der Punktwolke erzeugt, wobei die Netzstruktur eine Vielzahl von Zellen enthält und eine Oberfläche der Trägerstruktur und des Satzes von Objekten darstellt; für jede Zelle in der Netzstruktur ein Bild aus dem Satz von Bildern auswählt und das ausgewählte Bild auf die Zelle projiziert; und eine orthographische Projektion der Netzstruktur auf eine Regalebene der Trägerstruktur erzeugt.
1 zeigt ein mobiles Automatisierungssystem 100 gemäß den Lehren dieser Offenbarung. Das System 100 umfasst einen Server 101, der mit mindestens einer mobilen Automatisierungsvorrichtung 103 (hier auch einfach als Vorrichtung 103 bezeichnet) und mindestens einer Client-Computervorrichtung 104 über Kommunikationsverbindungen 105 kommuniziert, die im vorliegenden Beispiel drahtlose Verbindungen umfassen. Im vorliegenden Beispiel werden die Verbindungen 105 durch ein drahtloses lokales Netzwerk (WLAN) bereitgestellt, das über einen oder mehrere Zugangspunkte (nicht dargestellt) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, die Client-Vorrichtung 104 oder beide an einem entfernten Ort (d. h. außerhalb der Umgebung, in der die Vorrichtung 103 eingesetzt wird), und die Verbindungen 105 umfassen daher Weitbereichsnetze wie das Internet, Mobilfunknetze und dergleichen. Das System 100 umfasst im vorliegenden Beispiel auch eine Dockingstation 106 für die Vorrichtung 103. Die Dockingstation 106 steht mit dem Server 101 über eine Verbindung 107 in Kommunikation, die im vorliegenden Beispiel eine drahtgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 107 jedoch eine drahtlose Verbindung.
Die Client-Computervorrichtung 104 ist in 1 als eine mobile Computervorrichtung dargestellt, wie z. B. ein Tablet, Smartphone oder ähnliches. In anderen Beispielen ist die Client-Vorrichtung 104 als eine andere Art von Computervorrichtung implementiert, wie z. B. ein Desktop-Computer, ein Laptop-Computer, ein anderer Server, ein Kiosk, ein Monitor und dergleichen. Das System 100 kann eine Vielzahl von Client-Vorrichtungen 104 umfassen, die über entsprechende Verbindungen 105 mit dem Server 101 kommunizieren.
Das System 100 wird im gezeigten Beispiel in einer Einzelhandelseinrichtung eingesetzt, die eine Vielzahl von Trägerstrukturen, wie z. B. Regalmodule 110-1, 110-2, 110-3 usw., umfasst (zusammenfassend als Regalmodule 110 oder Regale 110 bezeichnet und allgemein als Regalmodul 110 oder Regal 110 bezeichnet - diese Bezeichnung wird auch für andere hier diskutierte Elemente verwendet). Jedes Regalmodul 110 trägt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 umfasst eine Regalrückwand 116-1, 116-2, 116-3 und eine Trägerfläche (z. B. Trägerfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückwand 116 zu einer Regalkante 118-1, 118-2, 118-3 erstreckt. In der Einrichtung kann auch eine Vielzahl anderer Trägerstrukturen vorhanden sein, wie z. B. Stecktafeln und dergleichen.
Die Regalmodule 110 (auch als Teilbereiche der Einrichtung bezeichnet) sind typischerweise in einer Vielzahl von Gängen (auch als Bereiche der Einrichtung bezeichnet) angeordnet, von denen jeder eine Vielzahl von Modulen 110 enthält, die Ende an Ende ausgerichtet sind. Bei solchen Anordnungen weisen die Regalkanten 118 in die Gänge, durch die sich die Kunden in der Einzelhandelseinrichtung und auch die Vorrichtung 103 bewegen können. Wie aus 1 ersichtlich ist, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Trägerfläche (z. B. der Trägerflächen 117) bezeichnet werden kann, auf eine Fläche, die von benachbarten Flächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zur Trägerfläche 117-3 und zur Unterseite (nicht dargestellt) der Trägerfläche 117-3. In anderen Beispielen beträgt der Winkel zwischen der Regalkante 118-3 und den angrenzenden Flächen, wie der Trägerfläche 117-3, mehr oder weniger als neunzig Grad.
Die Vorrichtung 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 108 ausgestattet, wie z. B. Bildsensoren (z. B. eine oder mehrere Digitalkameras) und Tiefensensoren (z. B. ein oder mehrere LIDAR (Light Detection and Ranging) -Sensoren, eine oder mehrere Tiefenkameras, die strukturierte Lichtmuster, wie z. B. Infrarotlicht, verwenden, oder Ähnliches). Die Vorrichtung 103 wird in der Einzelhandelseinrichtung eingesetzt und navigiert über die Kommunikation mit dem Server 101 und die Verwendung der Sensoren 108 autonom oder teilautonom entlang einer Länge 119 von mindestens einem Teil der Regale 110.
Während der Navigation zwischen den Regalen 110 kann die Vorrichtung 103 Bilder, Tiefenmessungen und Ähnliches erfassen, die die Regale 110 darstellen (allgemein als Regaldaten oder erfasste Daten bezeichnet). Die Navigation kann anhand eines in der Einzelhandelseinrichtung eingerichteten Bezugsrahmens 102 erfolgen. Die Vorrichtung 103 verfolgt daher ihre Position (d. h. Lage und Ausrichtung) in dem Bezugsrahmen 102.
Der Server 101 enthält eine spezielle Steuerung, wie z. B. einen Prozessor 120, der speziell für die Steuerung und/oder Unterstützung der mobilen Automatisierungsvorrichtung 103 bei der Navigation in der Umgebung und der Datenerfassung konzipiert ist. Der Prozessor 120 ist mit einem nicht transitorischen, computerlesbaren Speichermedium, wie z. B. einem Speicher 122, verbunden, auf dem computerlesbare Anweisungen zur Durchführung verschiedener Funktionen gespeichert sind, einschließlich der Steuerung der Vorrichtung 103 zur Navigation in den Modulen 110 und zur Erfassung von Regaldaten sowie zur Nachbearbeitung der Regaldaten. Der Speicher 122 kann auch Daten zur Verwendung bei der oben erwähnten Steuerung der Vorrichtung 103 speichern, wie z. B. einen Speicher 123, der eine Karte der Einzelhandelsumgebung und andere geeignete Daten enthält (z. B. betriebliche Einschränkungen zur Verwendung bei der Steuerung der Vorrichtung 103, von der Vorrichtung 103 erfasste Daten und dergleichen).
Der Speicher 122 umfasst eine Kombination aus flüchtigem Speicher (z. B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z. B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere zentrale Prozessoreinheiten (CPUs) und/oder Grafikverarbeitungseinheiten (GPUs) implementiert.
Der Server 101 umfasst auch eine Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 umfasst geeignete Hardware (z. B. Sender, Empfänger, Netzwerkschnittstellensteuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 105 und 107 mit anderen Computervorrichtungen - insbesondere der Vorrichtung 103, der Client-Vorrichtung 104 und der Dockingstation 106 - zu kommunizieren. Bei den Verbindungen 105 und 107 kann es sich um direkte Verbindungen oder um Verbindungen handeln, die über ein oder mehrere Netzwerke, einschließlich lokaler und Weitbereichsnetze, laufen. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden auf der Grundlage der Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk innerhalb der Einzelhandelseinrichtung durch den Einsatz von einem oder mehreren drahtlosen Zugangspunkten implementiert. Die Verbindungen 105 umfassen daher eines von oder beides von drahtlosen Verbindungen zwischen der Vorrichtung 103 und der mobilen Vorrichtung 104 und den oben genannten Zugangspunkten, und eine drahtgebundene Verbindung (z. B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.
Der Prozessor 120 kann daher von der Vorrichtung 103 über die Kommunikationsschnittstelle 124 erfasste Daten zur Speicherung (z. B. im Speicher 123) und anschließenden Verarbeitung (z. B. zur Erkennung von Objekten, wie z. B. Regalprodukten, in den erfassten Daten und zur Erkennung von den Objekten entsprechenden Statusinformationen) erhalten. Der Server 101 unterhält im Speicher 122 eine Anwendung 125, die vom Prozessor 120 ausgeführt werden kann, um eine solche Folgeverarbeitung durchzuführen. Insbesondere ist der Server 101, wie nachstehend ausführlicher erläutert, so konfiguriert, dass er über die Ausführung der Anweisungen der Anwendung 125 durch den Prozessor 120 ein Panoramabild einer Regalstruktur, beispielsweise eines der Regalmodule 110 entlang der Länge 119, erzeugt.
Der Server 101 kann auch Statusmeldungen (z. B. Meldungen, die anzeigen, dass Produkte nicht vorrätig sind, einen geringen Lagerbestand haben oder verlegt wurden) an die Client-Vorrichtung 104 senden, als Reaktion auf die Bestimmung der Produktstatusdaten. Die Client-Vorrichtung 104 umfasst eine oder mehrere Steuerungen (z. B. zentrale Prozessoreinheiten (CPUs) und/oder feldprogrammierbare Gate-Arrays (FPGAs) und dergleichen), die so konfiguriert sind, dass sie die vom Server 101 empfangenen Meldungen verarbeiten (z. B. anzeigen).
In 2 ist die mobile Automatisierungsvorrichtung 103 detaillierter dargestellt. Die Vorrichtung 103 umfasst ein Gestell 201, das eine Verfahrbaugruppe 203 enthält (z. B. einen oder mehrere Elektromotoren, die Räder, Schienen oder Ähnliches antreiben). Die Vorrichtung 103 umfasst ferner einen Sensormast 205, der auf dem Gestell 201 abgestützt ist und sich im vorliegenden Beispiel vom Gestell 201 aus nach oben (z. B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die bereits erwähnten Sensoren 108. Zu den Sensoren 108 gehört insbesondere mindestens ein Bildsensor 207, z. B. eine Digitalkamera. Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7, die so ausgerichtet sind, dass sie den Regalen 110 zugewandt sind.
Der Mast 205 trägt auch mindestens einen Tiefensensor 209, z. B. eine 3D-Digitalkamera, die sowohl Tiefendaten als auch Bilddaten erfassen kann. Die Vorrichtung 103 umfasst auch zusätzliche Tiefensensoren, wie z. B. LIDAR-Sensoren 211. Im vorliegenden Beispiel trägt der Mast 205 zwei LIDAR-Sensoren 211-1 und 211-2. Wie in 2 dargestellt, sind die Kameras 207 und die LIDAR-Sensoren 211 auf einer Seite des Mastes 205 angeordnet, während der Tiefensensor 209 an einer Vorderseite des Mastes 205 angeordnet ist. Das heißt, der Tiefensensor 209 ist nach vorne gerichtet (d. h. er erfasst Daten in Bewegungsrichtung der Vorrichtung 103), während die Kameras 207 und die LIDAR-Sensoren 211 zur Seite gerichtet sind (d. h. sie erfassen Daten neben der Vorrichtung 103, in einer Richtung senkrecht zur Bewegungsrichtung). In anderen Beispielen enthält die Vorrichtung 103 zusätzliche Sensoren, wie einen oder mehrere RFID-Leser, Temperatursensoren und dergleichen.
Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsbaugruppen 213, die so konfiguriert sind, dass sie die Sichtfelder der jeweiligen Kameras 207 beleuchten. Die Beleuchtungsbaugruppen 213 können zusammen als ein Beleuchtungs-Teilsystem bezeichnet werden. Das heißt, die Beleuchtungsbaugruppe 213-1 beleuchtet das Sichtfeld der Kamera 207-1 usw. Die Kameras 207 und Lidare 211 sind am Mast 205 so ausgerichtet, dass die Sichtfelder der Sensoren jeweils einem Regal 110 zugewandt sind, entlang dessen Länge 119 sich die Vorrichtung 103 bewegt. Die Vorrichtung 103 ist so konfiguriert, dass sie die Lage der Vorrichtung 103 (z. B. die Position und Ausrichtung des Mittelpunkts des Gestells 201) im Bezugsrahmen 102 verfolgt, so dass die von der Vorrichtung 103 erfassten Daten für die anschließende Verarbeitung im Bezugsrahmen 102 registriert werden können.
In 3 sind bestimmte Komponenten der Anwendung 125 dargestellt. Wie vom Fachmann verstanden wird, kann die Anwendung 125 auch in anderen Beispielen als eine Reihe von verschiedenen Anwendungen implementiert werden. Darüber hinaus können einige oder alle der nachstehend beschriebenen Module über verschiedene Steuerhardware wie einen oder mehrere ASICs und/oder FPGAs implementiert werden.
Die Anwendung 125 umfasst einen Netzstrukturgenerator 304, der so konfiguriert ist, dass er auf der Grundlage der Punktwolkendaten eine Netzstruktur oder ein Mosaik erzeugt. Die Netzstruktur ist eine Vielzahl von polygonalen Zellen, die das Oberflächenprofil der Trägerstruktur und der Objekte auf der Trägerstruktur darstellen, die von den Punktwolkendaten erfasst wurden.
Die Anwendung 125 umfasst auch einen Bildauswähler 308, der so konfiguriert ist, dass er ein Bild zur Projektion auf eine Zelle oder eine Gruppe von Zellen des Netzes auswählt. Insbesondere kann der Bildauswähler 308 die Punktwolkendaten verwenden, um die 3D-Koordinaten der Zelle oder Gruppe von Zellen zu erhalten, und die Bilddaten verwenden, um ein oder mehrere Bilder zu identifizieren, die den identifizierten 3D-Koordinaten der Zelle oder Gruppe von Zellen entsprechen. Beispielsweise kann der Bildauswähler 308 eine Abbildung der 2D-Bilder auf die 3D-Punktwolke verwenden (z. B. bestimmt durch eine andere Komponente des Servers 101 oder eine separate Computervorrichtung), um Bilder auszuwählen, die auf die Zelle oder die Gruppe von Zellen abgebildet werden sollen. Insbesondere wählt der Bildauswähler 308 ein einzelnes Bild für jede Zelle oder Gruppe von Zellen aus, z. B. auf der Grundlage der Projektionsfläche der Zelle innerhalb des Bildes, der Anzahl der von dem Bild abgedeckten Zellen, der Reduzierung von Blendungen oder anderen Bildartefakten oder Ähnlichem. Der Bildauswähler 308 kann das ausgewählte Bild zusätzlich auf die Zelle oder die Gruppe von Zellen projizieren.
Die Anwendung 125 umfasst auch einen orthografischen Projektor 312, der so konfiguriert ist, dass er eine orthografische Projektion der Netzstruktur erzeugt. Sobald auf jede Zelle der Netzstruktur ein Bild projiziert wurde, kann die orthografische Projektion insbesondere ein Panoramabild der Trägerstruktur darstellen. Das heißt, wenn der orthografische Projektor die Netzstruktur auf eine Regalebene projiziert, z. B. auf eine Ebene, die der Regalrückseite der Trägerstruktur entspricht, auf eine Ebene, die die Regalkanten der Regale der Trägerstruktur einschließt, oder auf eine andere Ebene, die parallel zur XZ-Ebene verläuft, wie sie durch den Bezugsrahmen 102 definiert ist, stellt die resultierende orthografische Projektion ein Panoramabild der Regalstruktur dar, wie sie vom Gang aus entlang der Länge der Trägerstruktur gesehen wird. Aufgrund der Art der orthografischen Projektion gehen Tiefen- und Perspektiveffekte verloren (d. h. weiter entfernte Objekte erscheinen in der gleichen Größe wie nähere Objekte).
4 zeigt ein Modul 410 mit zwei Regalböden. Wie im Zusammenhang mit den Modulen 110 in 1 beschrieben, umfassen die Regale des Moduls 410 Trägerflächen 417-1 und 417-2, die sich von einer Regalrückseite 416 zu den jeweiligen Regalkanten 418-1 und 418-2 erstrecken. Die Regalkante 418-2 trägt zwei Etiketten 420-1 und 420-2, die jeweils den Produkten 412-1 und 412-2 entsprechen. Die Regalkante 418-1 trägt dagegen ein Etikett 420-3, das den Produkten 412-3 entspricht, von denen drei (412-3a, 412-3b und 412-3c) abgebildet sind.
4 enthält auch eine Seitenansicht des Moduls 410, die zeigt, dass sich die Regalkanten 418-1 und 418-2 in einer anderen Tiefe (d.h. Position entlang der Y-Achse des Bezugsrahmens 102) befinden als die Regalkante 418-3. Außerdem befinden sich die Produkte 412-1, 412-2 und 412-3 auf unterschiedlichen Tiefen, und die Produkte 412-3 sind untereinander unterschiedlich tief. Die unterschiedlichen Tiefen der Regalkanten 418 und der Produkte 412 können sich negativ auf die Genauigkeit der Bildzusammenfügung auswirken, da die unterschiedlichen Tiefen einen Parallaxeneffekt verursachen können, der auf den unterschiedlichen scheinbaren Abständen zwischen den Objekten bei Betrachtung aus verschiedenen Winkeln beruht.
Einige Lösungen verwenden eine Gitterverzerrung, um Bilder für parallaxentolerantes Zusammenfügen von Bildern auszurichten. Die Gitterverzerrung ist jedoch vor allem bei geraden Linien, wie z. B. Regalen und anderen markanten Strukturen, sichtbar und daher für die Erstellung eines Panoramabildes zur Objekterkennung unpraktisch.
Der Server 101 ist daher so konfiguriert, dass er, wie im Folgenden näher beschrieben, ein Panoramabild unter Verwendung einer Bildprojektion auf eine Netzstruktur und einer orthografischen Projektion erzeugt, um Parallaxeneffekte bei der Panoramabilderzeugung zu reduzieren und gleichzeitig eine Gitterverzerrung zu vermeiden.
5 zeigt ein Flussdiagramm eines Verfahrens 500 zur Erzeugung eines Panoramabildes einer Trägerstruktur, wie dem Modul 410. Das im Folgenden beschriebene Verfahren 500 wird vom Server 101 und insbesondere von der Anwendung 125 ausgeführt. In anderen Beispielen kann jedoch zumindest ein Teil der durch das Verfahren 500 implementierten Funktionalität von einer anderen Computervorrichtung, wie z. B. der Vorrichtung 103, ausgeführt werden.
In Block 505 ist der Server 101 so konfiguriert, dass er Tiefendaten (d. h. eine oder mehrere Punktwolken) erhält, die eine Trägerstruktur darstellen. Die Punktwolke umfasst eine Vielzahl von Punkten mit dreidimensional definierten Koordinaten, z. B. gemäß dem Referenzrahmen 102, die von der Vorrichtung 103 erfasst wurden, z. B. beim Durchlaufen eines Gangs mit Trägerstrukturen wie dem Modul 410. In Block 505 kann eine Vielzahl von einzelnen Punktwolken erhalten werden, in der folgenden Diskussion wird jedoch zur besseren Veranschaulichung eine einzige Punktwolke erörtert. Die einzelne Punktwolke kann aus mehreren einzelnen Punktwolkenerfassungen durch die Vorrichtung 103 erzeugt werden. Die in Block 505 erhaltene Punktwolke kann beispielsweise aus der Datenaufbewahrung 123 abgerufen werden.
In Block 510 ist der Server so konfiguriert, dass er Bilddaten erhält, die die Trägerstrukturen darstellen. Die Bilddaten umfassen eine Vielzahl von 2D-Bildern, die zuvor von der Vorrichtung 103 während der oben erwähnten Durchquerung der Trägerstrukturen erfasst wurden. Das heißt, die Vielzahl von Bildern wird von einer Vielzahl von Positionen im Gang entlang einer Länge des Moduls 410 erfasst. Insbesondere kann die Vielzahl der Bilder mehrere Ansichten des Moduls 410 enthalten, so dass jedes Objekt in mehr als einem Bild, auch aus verschiedenen Winkeln, gezeigt wird.
6 zeigt eine Beispielpunktwolke 600 und einen Beispielsatz 604 von Bildern, die in Block 505 erhalten wurden. Wie aus 6 ersichtlich ist, zeigt die Punktwolke 600 das Modul 410. Die Etiketten 420 sind in der Punktwolke 600 nicht dargestellt, da sie in diesem Beispiel koplanar mit den Regalkanten 418 liegen und daher von den Regalkanten 418 allein anhand der Punktwolke 600 nicht zu unterscheiden sind. Der Satz 604 von Bildern stellt auch das Modul 410 dar, wobei jedes Bild einem bestimmten Abschnitt des Moduls 410 entspricht, während die Vorrichtung die Länge des Moduls 410 durchläuft. Ein Beispielabschnitt, der dem ersten Bild 608-1 im Satz 604 entspricht, ist dargestellt. Wie in 6 zu sehen ist, überschneiden sich die Bilder 608-1 und 608-2, so dass jedes Objekt (z. B. die Produkte 412) in mehr als einem Bild gezeigt wird. Außerdem sind, wie zu sehen ist, verschiedene Teile der Produkte 412 in jedem der Bilder sichtbar, und zwar in verschiedenen Winkeln und mit unterschiedlichen Perspektiven. Die Perspektive wirkt sich auch auf den scheinbaren Abstand d₁ und d₂ zwischen den Produkten 412-3a und 412-3c aus. Wenn Panoramabilder durch Zusammenfügen der Bilder 608-1 und 608-2 erstellt werden, entsteht durch die Unterschiede zwischen den scheinbaren Abständen d₁ und d₂ ein Parallaxeneffekt im Panoramabild.
Zurück zu 5, nach der Erfassung des Satzes von Bildern und der Punktwolke wird in Block 515 der Server 101 und insbesondere der Netzgenerator 304 so konfiguriert, dass er die Punktwolke verwendet, um eine Netzstruktur zu erzeugen (auch austauschbar als Tesselierung oder Oberflächenrekonstruktion bezeichnet). Die Netzstruktur kann durch eine Reihe von Scheitelpunkten, Kanten und Flächen definiert werden. Bei den Flächen kann es sich insbesondere um polygonale Zellen handeln. Die Netzstruktur stellt im Allgemeinen die Oberflächen der Trägerstruktur (z. B. des Moduls 410) und der von der Trägerstruktur getragenen Objekte (z. B. der Produkte 412) dar. Die polygonalen Zellen können Dreiecke, Vierecke oder andere geeignete Polygone sein. In einigen Beispielen kann der Netzgenerator 304 einen Oberflächenrekonstruktionsalgorithmus verwenden, der speziell für orthografische Projektionen optimiert ist. Zum Beispiel kann der Netzgenerator 304 eine Poisson-Rekonstruktion oder eine Rekonstruktion der kleinsten Quadrate (MLS) anwenden. In anderen Beispielen kann der Netzgenerator 304 eine Tiefenkarte erzeugen, sie in NxN-Pixelquadrate unterteilen und aus jedem Quadrat zwei dreieckige Zellen definieren.
7 zeigt eine beispielhafte Netzstruktur 700. Die Netzstruktur 700 kann aus der Punktwolke 600 abgeleitet werden und stellt das Modul 410 dar. Die Netzstruktur stellt die Oberflächen des Moduls 410 dar, einschließlich der Oberflächen der Produkte 412, der Regale 417, einschließlich der Regalkanten 418, und der Regalrückseite 416. Wie bei der Punktwolke 600 sind die Etiketten 420 nicht dargestellt, da sie koplanar mit den Regalkanten 418 sind und daher möglicherweise nicht von den Regalkanten 418 unterschieden werden können. Die Netzstruktur 700 kann geeignete polygonale Formen, einschließlich unregelmäßiger Formen, verwenden, um die Oberflächen des Moduls 410 und der Produkte 412 darzustellen.
Wieder zurück zu 5, in Block 520 ist der Server 101 und insbesondere der Bildauswähler 308 so konfiguriert, dass er eine polygonale Zelle der Netzstruktur auswählt, auf die noch kein Bild abgebildet ist, und ein Bild auswählt, das auf die Zelle anzuwenden ist. In einigen Beispielen kann der Server 101 eine Vielzahl von benachbarten Zellen der ausgewählten Zelle in der Netzstruktur identifizieren, die eine Gruppe von Zellen bilden, die zumindest einen Teil einer Oberfläche darstellen. Der Server 101 kann dann ein einzelnes Bild auswählen, das auf die Gruppe von Zellen anzuwenden ist. Der Server 101 kann das anzuwendende Bild auf der Grundlage des Projektionsbereichs der ausgewählten Zelle im Bild, der Position des Bildsensors während der Erfassung des Bilds (d. h. zur Bestimmung, ob die Zelle im Bild sichtbar ist), der Schärfe des Bilds, der Anzahl der vom Bild abgedeckten Zellen, der Verringerung von Blendeffekten oder anderen Bildfehlern oder Ähnlichem auswählen.
8 zeigt zum Beispiel ein Verfahren 800 zur Auswahl eines Bildes, das auf eine Zelle der Netzstruktur abgebildet werden soll.
In Block 805, nachdem eine Zelle für die Abbildung eines Bildes ausgewählt wurde, ist der Server 101 so konfiguriert, dass er die 3D-Koordinaten der Zelle mithilfe der Punktwolke ermittelt. Da die Netzstruktur die Eckpunkte jeder Zelle durch ihre jeweiligen 3D-Koordinaten definieren kann, kann der Server 101 beispielsweise einfach die in der Netzstruktur definierten 3D-Koordinaten abrufen.
In Block 810 ist der Server 101 so konfiguriert, dass er einen Teilsatz der von der Vorrichtung 103 erfassten Bilder identifiziert, die den 3D-Koordinaten der Zelle entsprechen, wie sie durch die Netzstruktur definiert sind. Zum Beispiel kann der Server 101 den Satz 604 von Bildern auf die 3D-Punktwolke abbilden und eine Zuordnung zwischen den Bildern und Teilen der Bilder und der 3D-Punktwolke speichern. Dementsprechend kann die Abbildung z. B. aus der Datenaufbewahrung 123 abgerufen werden. Ein Bild kann dann so bestimmt werden, dass es den 3D-Koordinaten der Zelle entspricht, wenn das Bild auf die 3D-Koordinaten der Zelle abgebildet ist (d. h. Bilddaten für die Zelle enthält).
In Block 815 wählt der Server 101 das Bild mit der größten Projektionsfläche für den Bereich aus, die der ausgewählten Zelle entspricht. Dies kann im Allgemeinen einem Bild entsprechen, das aus einem Winkel erfasst wurde, der im Wesentlichen senkrecht zur Zelle steht. Bei einer Zelle, die einer nach außen gerichteten Oberfläche eines Produkts entspricht, kann das Bild mit der größten Projektionsfläche beispielsweise einem Bild entsprechen, das aus einer Position erfasst wurde, die im Wesentlichen direkt vor dem Produkt liegt. Außerdem kann ein Bild, das aus einem geringeren Abstand zur Zelle erfasst wurde, im Allgemeinen eine größere Projektionsfläche für eine bestimmte Zelle aufweisen als ein Bild, das aus einem größeren Abstand zur Zelle erfasst wurde.
In Block 820 bestimmt der Server 101, ob das ausgewählte Bild Blendeffekte oder andere unerwünschte Bildartefakte oder Verzerrungen (z. B. Verfärbung, Unschärfe o. Ä.) innerhalb des Bereichs aufweist, der der ausgewählten Zelle entspricht.
Wenn die Bestimmung in Block 820 positiv ausfällt, kehrt der Server 101 zu Block 815 zurück, um das Bild mit der nächstgrößeren Projektionsfläche für den Bereich auszuwählen, der der ausgewählten Zelle entspricht. Der Server 101 kann daher durch die Bilder iterieren, um das Bild mit der größten Projektionsfläche mit wenigen bis keinen Verzerrungen in dem Bereich auszuwählen, der der ausgewählten Zelle entspricht. In einigen Beispielen kann der Server 101 so konfiguriert werden, dass er das Bild mit der geringsten Verzerrung auswählt, wenn alle Bilder einige Verzerrungen aufweisen.
Wenn die Bestimmung in Block 820 negativ ausfällt, fährt der Server 101 mit Block 825 fort, um das Bild auszuwählen. Wenn das resultierende Panoramabild erzeugt wird, kann jede Zelle durch das Bild mit der größten Projektionsfläche der Zelle und den wenigsten Artefakten oder anderen Verzerrungen dargestellt werden, um eine robustere Verarbeitung der Produkte und der Etiketten auf der Trägerstruktur zu ermöglichen. Nach der Auswahl des Bildes kann der Server 101 zu Block 525 des Verfahrens 500 übergehen.
In einigen Beispielen kann der Server 101 so konfiguriert werden, dass er statt eines Bildes für eine einzelne Zelle ein Bild auswählt, das auf eine Gruppe von Zellen angewendet wird, um die Kontinuität eines Bildes auf einer bestimmten Oberfläche zu erhöhen. 9 illustriert beispielsweise ein Verfahren 900 zur Auswahl eines Bildes für eine Gruppe von Zellen der Netzstruktur.
Das Verfahren 900 wird in Block 905 eingeleitet, nachdem in Block 520 eine Zelle ausgewählt wurde, auf die ein Bild abgebildet werden soll. In Block 905 kann der Server 101 so konfiguriert sein, dass er eine Gruppe von Nachbarzellen für die ausgewählte Zelle identifiziert. Die Gruppe von Zellen kann im Allgemeinen einer Fläche oder einem Teil einer Fläche entsprechen, die durch die ausgewählte Zelle dargestellt wird. Wenn die in Block 520 ausgewählte Zelle beispielsweise einem Bereich einer Vorderfläche eines der Produkte 412-3 entspricht, kann die in Block 905 identifizierte Gruppe von Zellen einem größeren Bereich oder im Wesentlichen der gesamten Vorderfläche des Produkts 412-3 entsprechen. Insbesondere kann die Gruppe von Zellen auf der Grundlage der Bildauswahl, wie unten beschrieben, auf einer Oberfläche gruppiert werden, um Sprünge in der Bildauswahl zu minimieren und die Bildqualität für jede der Zellen in der Gruppe zu maximieren. Die Gruppe von Zellen kann aus Zellen in der Netzstruktur ausgewählt werden, die noch kein abgebildetes Bild haben.
In Block 910 wählt der Server 101 ein Bild aus, das auf die Gruppe von Zellen abgebildet wird. Beispielsweise kann der Server 101 ein Bild auswählen, indem er unabhängig voneinander ausgewählte optimale Bilder für jede Zelle in der Zellengruppe kombiniert. Beispielsweise kann der Server 101 für jede Zelle in der Gruppe unabhängig ein oder mehrere geeignete Bilder für die Verwendung bei der Abbildung identifizieren. Der Server 101 kann dann das Bild auswählen, das als geeignetes Bild für den größten Anteil der Zellen in der Gruppe identifiziert wurde (d. h. das Bild mit den meisten Voten). Das heißt, der Server 101 kann die 3D-Koordinaten jeder Zelle in der Zellgruppe ermitteln und das Bild auswählen, das dem größten Anteil der Zellen entspricht, auf der Grundlage der 3D-Koordinaten und der Bildabbildung zur Punktwolke. In anderen Beispielen kann das Votum für jede Zelle auf der Grundlage einer Rangfolge der geeigneten Bilder und/oder des Vorhandenseins unerwünschter Artefakte oder Verzerrungen gewichtet werden.
In einigen Beispielen können die Auswahl der Gruppe von Zellen in Block 905 und die Auswahl des zu kartierenden Bildes in Block 910 gleichzeitig und unter Berücksichtigung des jeweils anderen durchgeführt werden, z. B. über das Potts-Modell. Nachdem beispielsweise für jede Zelle in der Gruppe unabhängig ein oder mehrere geeignete Bilder für die Verwendung bei der Kartierung identifiziert wurden, einschließlich eines Bildes mit dem höchsten Rang (z. B. ein Bild mit der größten Projektionsfläche für die jeweilige Zelle), kann der Server 101 einen Regularisierungsterm anwenden, der Sprünge (d. h. unterschiedliche Bildauswahlen) zwischen benachbarten Zellen bestraft. Auf diese Weise kann die ausgewählte Gruppe von Zellen so abgestimmt werden, dass eine maximale Anzahl von Zellen durch das Bild abgedeckt wird und Sprünge von ausgewählten Bildern zwischen Zellen minimiert werden. Auf diese Weise kann der Server 101 eine globale Lösung erhalten, um die Bildqualität für jede einzelne Zelle zu optimieren und gleichzeitig die Bildauswahl zwischen den Zellen zu regulieren.
Zurück zu 5, in Block 525 ist der Server 101, insbesondere der Bildauswähler 308, so konfiguriert, dass er das Bild auf die ausgewählte Zelle projiziert. Die Projektion des ausgewählten Bildes auf die ausgewählte Zelle ermöglicht es dem Server 101, einen Teil des Bildes zu identifizieren, der der Zelle entspricht. Der Teil des Bildes, der der Zelle entspricht, kann dann in Verbindung mit der Zelle gespeichert werden. Das heißt, die Netzstruktur kann aktualisiert werden, um die Eckpunkte, Kanten und Flächen jeder Zelle sowie die Bilddaten für den auf die Zelle projizierten Teil des Bildes zu definieren.
10 zeigt beispielsweise ein Beispiel für die Auswahl eines Bildes für eine Zelle in Block 520 und die Projektion des Bildes auf die Zelle in Block 525.
Insbesondere ist ein Teil 1000 der Netzstruktur 700 abgebildet. Der Abschnitt 1000 umfasst die Unterabschnitte 1004-1, 1004-2 und 1004-3, die jeweils einem der Produkte 412-2a, 412-2b und 412-2c entsprechen.
Zum Beispiel kann der Server 101 eine Zelle auswählen, die dem Unterabschnitt 1004-1 entspricht. Basierend auf einer Übereinstimmung der 3D-Koordinaten der Zelle kann der Server 101 eine Gruppe von Zellen, die einer Vorderseite 1008-1 des Teilbereichs 1004-1 entsprechen, als eine Gruppe von Zellen identifizieren, die zusammen abgebildet werden sollen. Da die Gruppe von Zellen, die der Vorderseite 1008-1 entsprechen, eine einzige zusammenhängende Fläche darstellen, kann es vorteilhaft sein, ein einzelnes Bild auf so viele Zellen wie möglich abzubilden, um die Kontinuität des Bildes auf der Fläche zu gewährleisten (z. B. um die Anzahl der Sprünge zwischen benachbarten Zellen zu minimieren). Der Server 101 kann erkennen, dass die Vorderseite 1008-1 der Vorderseite des Produkts 412-2a entspricht. Dementsprechend kann der Server 101 das Bild 608-2, das die gesamte Vorderseite des Produkts 412-2a enthält, als das ausgewählte Bild auswählen, das auf die Vorderseite 1008-1 abgebildet werden soll. Der Server 101 kann dann den Teil des Bildes 608-2, der der Vorderseite 1008-1 entspricht, auf die Vorderseite 1008-1 projizieren. Der Server 101 kann die Netzstruktur so aktualisieren, dass sie nicht nur durch die Kanten, Scheitelpunkte und Flächen der Zellen definiert wird, die der Vorderseite 1008-1 entsprechen, sondern auch durch den Teil des Bildes 608-2, der auf die Gruppe von Zellen projiziert wird. Das heißt, die Netzstruktur kann mit einem abgebildeten Teil 1012-1 aktualisiert werden, der durch die Gruppe von Zellen der Vorderseite 1008-1 und das darauf projizierte Bild definiert ist.
In ähnlicher Weise kann der Server 101 eine Zelle auswählen, die dem Unterabschnitt 1004-3 entspricht, und auf der Grundlage der Übereinstimmung der 3D-Koordinaten der Zelle kann der Server 101 eine Gruppe von Zellen, die einer Vorderseite 1008-3 des Unterabschnitts 1004-3 entspricht, als eine Gruppe von Zellen identifizieren, die zusammen abgebildet werden sollen. Der Server 101 kann dann das Bild 608-2, das einer direkteren Ansicht der Vorderseite des Produkts 412-2c entspricht, als das ausgewählte Bild für die Abbildung zur Vorderseite 1008-3 auswählen. Der Server 101 kann zusätzlich Blendeffekte oder andere Bildartefakte im Bild 608-2 identifizieren und daher zusätzlich das Bild 608-1 für einen Teil der Gruppe von Zellen auswählen, die der Vorderseite 1008-3 entspricht (z. B. bei einer weiteren Iteration des Verfahrens 500). Dementsprechend kann der Server 101 die Netzstruktur so aktualisieren, dass sie abgebildete Abschnitte 1012-2 und 1012-3 enthält, die durch die Zellgruppen definiert sind und auf die Abschnitte der beiden Bilder 608 projiziert sind.
Zurück zu 5, in Block 530 bestimmt der Server 101, ob noch leere oder nicht abgebildete Zellen in der Netzstruktur vorhanden sind. Wird dies in Block 530 bejaht, kehrt der Server 101 zu Block 520 zurück, um eine weitere nicht abgebildete Zelle auszuwählen und ein Bild auszuwählen.
Wenn die Bestimmung in Block 530 negativ ist, fährt der Server 101 mit Block 535 fort. In Block 535 erzeugt der Server 101, insbesondere der orthografische Projektor 312, eine orthografische Projektion. Da die Netzstruktur auf der Grundlage von Punktwolkendaten erzeugt wird, die entlang der Länge der Trägerstruktur erfasst wurden, wird die gesamte Trägerstruktur in der Netzstruktur erfasst. Dementsprechend kann der orthografische Projektor 312 die Netzstruktur auf eine Regalebene (d. h. eine Ebene parallel zur XZ-Ebene) projizieren, um ebenfalls die gesamte Trägerstruktur entlang ihrer Länge zu erfassen. Da die Netzstruktur mit Bilddaten aktualisiert wird, die jeder Zelle der Netzstruktur entsprechen, enthält die orthografische Projektion die Bilddaten für die Trägerstruktur und bildet daher ein Panoramabild der Trägerstruktur entlang ihrer Länge.
In einigen Beispielen kann der Server 101 vor der Erstellung der orthografischen Projektion Farbanpassungen, Ausgleichungen, Glättung von Nähten oder andere Bildverarbeitungsfilter auf die abgebildete Netzstruktur (d. h. die Netzstruktur mit den darauf projizierten Bildern) anwenden, um die Qualität der resultierenden orthografischen Projektion zu verbessern.
11 zeigt beispielsweise eine orthografische Projektion 1100 der abgebildeten Netzstruktur des Moduls 410. Da das Panoramabild der Trägerstruktur mit einer orthografischen Projektion erzeugt wird, gehen perspektivische Effekte verloren. Das heißt, die beiden sichtbaren Produkte 412-3, die sich in unterschiedlichen Tiefen auf dem Regal 417-1 befinden, können gleich groß erscheinen. Da das Panoramabild keine Bilder zusammenfügt, die unterschiedliche scheinbare Entfernungen zwischen den aus verschiedenen Blickwinkeln betrachteten Objekten zeigen, treten im Panoramabild auch keine durch Parallaxe bedingten Geisterartefakte auf. Das heißt, dass die Abstände zwischen den Objekten in dem mit dem beschriebenen Verfahren erzeugten Panoramabild objektiv auf der Grundlage der Punktwolke und der orthografischen Projektion bestimmt werden und nicht vom Winkel der Bilderfassung abhängen, wodurch ein parallaxentolerantes Panoramabild der Trägerstruktur entsteht.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „konfiguriert“ ist, ist zumindest auch so konfiguriert, kann aber auch auf Arten konfiguriert sein, die nicht aufgeführt sind.
Es sei verstanden, dass einige Ausführungsformen aus einem oder mehreren spezialisierten Prozessoren (oder „Prozessorvorrichtungen“) wie Mikroprozessoren, digitalen Signalprozessoren, kundenspezifischen Prozessoren und feldprogrammierbaren Gate-Arrays (FPGAs) und einzigartigen gespeicherten Programmanweisungen (einschließlich Software und Firmware) bestehen, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessor-Schaltungen einige, die meisten oder alle Funktionen des hier beschriebenen Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ könnten einige oder alle Funktionen durch eine Zustandsmaschine ohne gespeicherte Programmanweisungen oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs) implementiert werden, in denen jede Funktion oder einige Kombinationen bestimmter Funktionen als kundenspezifische Logik implementiert sind. Natürlich ist auch eine Kombination der beiden Ansätze denkbar.
Darüber hinaus kann eine Ausführungsform als computerlesbares Speichermedium implementiert werden, auf dem ein computerlesbarer Code gespeichert ist, um einen Computer (z. B. mit einem Prozessor) so zu programmieren, dass er ein hier beschriebenes und beanspruchtes Verfahren durchführt. Beispiele für solche computerlesbaren Speichermedien sind unter anderem eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, ein ROM (Read Only Memory), ein PROM (Programmable Read Only Memory), ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) und ein Flash-Speicher. Darüber hinaus wird erwartet, dass ein Fachmann trotz des möglicherweise erheblichen Aufwands und der vielen Designentscheidungen, die beispielsweise durch die verfügbare Zeit, die aktuelle Technologie und wirtschaftliche Erwägungen motiviert sind, wenn er sich von den hier offenbarten Konzepten und Prinzipien leiten lässt, in der Lage sein wird, solche Softwareanweisungen und -programme und ICs mit minimalen Experimenten zu erstellen.
Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren, umfassend: Erhalten einer Punktwolke, die von einem Tiefensensor erfasst wird, wobei die Punktwolke eine Trägerstruktur darstellt, die einen Satz von Objekten trägt; Erhalten eines Satzes von Bildern der Trägerstruktur und des Satzes von Objekten, wobei der Satz von Bildern von einem Bildsensor von einer Vielzahl von Positionen entlang einer Länge der Trägerstruktur erfasst wird; Erzeugen einer Netzstruktur unter Verwendung der Punktwolke, wobei die Netzstruktur eine Vielzahl von Zellen umfasst und eine Oberfläche der Trägerstruktur und den Satz von Objekten darstellt; für jede Zelle in der Netzstruktur, Auswählen eines Bildes aus dem Satz von Bildern und Projizieren des ausgewählten Bildes auf die Zelle; und Erzeugen einer orthografischen Projektion der Netzstruktur auf eine Regalebene der Trägerstruktur.
Verfahren nach Anspruch 1, wobei das Auswählen des Bildes umfasst: Erhalten von 3D-Koordinaten der Zelle; Identifizieren eines Teilsatzes der Bilder, die den 3D-Koordinaten der Zelle entsprechen; und Auswählen des Bildes aus dem Teilsatz der Bilder.
Verfahren nach Anspruch 2, wobei das Auswählen des Bildes aus dem Teilsatz das Auswählen des Bildes mit einer größten Projektionsfläche für einen Bereich umfasst, der der ausgewählten Zelle entspricht.
Verfahren nach Anspruch 2, wobei das Auswählen des Bildes aus dem Teilsatz umfasst: Erhalten eines ersten Bildes aus dem Teilsatz; Bestimmen, ob das erste Bild Bildartefakte innerhalb eines der Zelle entsprechenden Bereichs enthält; wenn das erste Bild Bildartefakte innerhalb des der Zelle entsprechenden Bereichs enthält, Auswählen eines zweiten Bildes aus dem Teilsatz; wenn das erste Bild keine Bildartefakte innerhalb des der Zelle entsprechenden Bereichs enthält, Auswählen des ersten Bildes.
Verfahren nach Anspruch 1, ferner umfassend: Identifizieren einer Gruppe von Zellen, die mindestens einem Teil einer durch die ausgewählte Zelle dargestellten Oberfläche entsprechen; wobei das Auswählen des Bildes das Auswählen des Bildes für die Gruppe von Zellen umfasst.
Verfahren nach Anspruch 5, wobei das Auswählen des Bildes umfasst: Bestimmen von 3D-Koordinaten jeder Zelle in der Gruppe von Zellen; und Auswählen des Bildes, das dem größten Anteil der Zellen entspricht, basierend auf den 3D-Koordinaten der Zellen.
Verfahren nach Anspruch 1, wobei das Projizieren des Bildes auf die Zelle das Aktualisieren der Netzstruktur umfasst, um einen Teil des Bildes, der der Zelle entspricht, in Verbindung mit der Zelle zu speichern.
Verfahren nach Anspruch 1, wobei die Netzstruktur für die orthografische Projektion optimiert ist.
Verfahren nach Anspruch 1, wobei die Regalebene eine Regalrückseite der Trägerstruktur darstellt.
Verfahren nach Anspruch 1, wobei die Regalebene Regalkanten eines Satzes von Regalen der Tragstrukturen umfasst.
Computervorrichtung, umfassend: einen Speicher; einen Prozessor, der mit dem Speicher verbunden ist, wobei der Prozessor so konfiguriert ist, dass er: eine Punktwolke erhält, die eine Trägerstruktur darstellt, die einen Satz von Objekten trägt; einen Satz von Bildern der Trägerstruktur und des Satzes von Objekten erhält, wobei der Satz von Bildern von einer Vielzahl von Positionen entlang einer Länge der Trägerstruktur erfasst wird; eine Netzstruktur unter Verwendung der Punktwolke erzeugt, wobei die Netzstruktur eine Vielzahl von Zellen enthält und eine Oberfläche der Trägerstruktur und den Satz von Objekten darstellt; für jede Zelle in der Netzstruktur ein Bild aus dem Satz von Bildern auswählt und das ausgewählte Bild auf die Zelle projiziert; und eine orthografische Projektion der Netzstruktur auf eine Regalebene der Trägerstruktur erzeugt.
Computervorrichtung nach Anspruch 11, wobei der Prozessor zur Auswahl des Bildes so konfiguriert ist, dass er: 3D-Koordinaten der Zelle erhält; einen Teilsatz der Bilder identifiziert, die den 3D-Koordinaten der Zelle entsprechen; und das Bild aus dem Teilsatz der Bilder auswählt.
Computervorrichtung nach Anspruch 12, wobei der Prozessor zur Auswahl des Bildes aus dem Teilsatz so konfiguriert ist, dass er das Bild mit einer größten Auflösung für einen Bereich auswählt, der der ausgewählten Zelle entspricht.
Computervorrichtung nach Anspruch 12, wobei der Prozessor zur Auswahl des Bildes aus dem Teilsatz so konfiguriert ist, dass er: ein erstes Bild aus dem Teilsatz erhält; bestimmt, ob das erste Bild Bildartefakte innerhalb eines der Zelle entsprechenden Bereichs enthält; wenn das erste Bild Bildartefakte innerhalb des der Zelle entsprechenden Bereichs enthält, ein zweites Bild aus dem Teilsatz auswählt; wenn das erste Bild keine Bildartefakte innerhalb des der Zelle entsprechenden Bereichs enthält, das erste Bild auswählt.
Computervorrichtung nach Anspruch 11, wobei der Prozessor ferner so konfiguriert ist, dass er: eine Gruppe von Zellen identifiziert, die mindestens einem Teil einer durch die ausgewählte Zelle dargestellten Oberfläche entspricht; wobei die Auswahl des Bildes die Auswahl des Bildes für die Gruppe von Zellen umfasst.
Computervorrichtung nach Anspruch 15, wobei der Prozessor zur Auswahl des Bildes so konfiguriert ist, dass er: 3D-Koordinaten jeder der Zellen in der Gruppe von Zellen bestimmt; und basierend auf den 3D-Koordinaten der Zellen das Bild auswählt, das einem größten Anteil der Zellen entspricht.
Computervorrichtung nach Anspruch 11, wobei der Prozessor zum Projizieren des Bildes auf die Zelle so konfiguriert ist, dass er die Netzstruktur aktualisiert, um einen Teil des Bildes, der der Zelle entspricht, in Verbindung mit der Zelle zu speichern.
Computervorrichtung nach Anspruch 11, wobei die Netzstruktur für die orthografische Projektion optimiert ist.
Computervorrichtung nach Anspruch 11, wobei die Computervorrichtung ein Server ist.
Computervorrichtung nach Anspruch 11, wobei die Computervorrichtung eine mobile Vorrichtung ist.
Computervorrichtung nach Anspruch 20, wobei die mobile Vorrichtung ferner umfasst: einen Tiefensensor, der so konfiguriert ist, dass er die Punktwolke erfasst; und einen Bildsensor, der so konfiguriert ist, dass er den Satz von Bildern erfasst.