DE112019001788T5

DE112019001788T5 - Verfahren, system und vorrichtung zum korrigieren von transluzenzartefakten in daten, die eine trägerstruktur darstellen

Info

Publication number: DE112019001788T5
Application number: DE112019001788.8T
Authority: DE
Inventors: Raymond Phan; Richard Jeffrey RZESZUTEK; Iaacov Coby SEGALL
Original assignee: Symbol Technologies LLC
Current assignee: Symbol Technologies LLC
Priority date: 2018-04-05
Filing date: 2019-04-04
Publication date: 2020-12-31
Also published as: BE1026149A1; GB202015525D0; AU2019247400B2; BE1026149A9; AU2019247400A1; GB2586403B; GB2586403A; WO2019195603A1; CA3095182C; US10740911B2; BE1026149B1; CA3095182A1; US20190311486A1

Abstract

Ein Verfahren in einer Bildgebungssteuerung zum Korrigieren von Transluzenzartefakten in Daten, die ein oder mehrere auf einem Regal angeordnete Objekte repräsentieren: Erhalten einer Vielzahl von Tiefenmessungen, die von einem Tiefensensor erfasst werden und mit einem Bereich korrespondieren, der das Regal enthält; Erhalten (i) einer Definition einer Ebene, die Kanten des Regals enthält, (ii) eines Ortes in der Ebene einer oberen Regalkante, und (iii) eines Ortes in der Ebene einer unteren Regalkante, die an die obere Regalkante angrenzt; Erzeugen einer Tiefenkarte, die für jede einer Vielzahl von Positionen in der Ebene eine nächstgelegene Objekttiefe enthält; Erfassen einer oberen Objektbegrenzung in der Tiefenkarte zwischen der oberen und unteren Trägerflächenkante; Aktualisieren jeder nächstgelegenen Objekttiefe zwischen der oberen Objektbegrenzung und der unteren Regalkante, so dass sie eine Tiefe der oberen Objektbegrenzung enthält; und Speichern der korrigierten Tiefenkarte.

Description

HINTERGRUND
Umgebungen, in denen Bestände von Objekten verwaltet werden, wie z.B. Produkte zum Kauf in einer Einzelhandelsumgebung, können komplex und unklar sein. Beispielsweise kann eine bestimmte Umgebung eine Vielzahl von Objekten mit unterschiedlichen Attributen (Größe, Form, Preis und dergleichen) enthalten. Außerdem können sich die Platzierung und die Menge der Objekte in der Umgebung häufig ändern. Darüber hinaus können die Bildgebungsbedingungen, wie z.B. die Beleuchtung sowohl über die Zeit als auch an verschiedenen Orten in der Umgebung variabel sein. Diese Faktoren können die Genauigkeit verringern, mit der Informationen über die Objekte in der Umgebung gesammelt werden können. Darüber hinaus kann die Art bestimmter Objekte, wie z.B. solche mit transparenten Bereichen, die Genauigkeit ihrer Erkennung aus Bildern der Umgebung weiter verringern.
Figurenliste
Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist eine schematische Darstellung eines mobilen Automatisierungssystems.
2A zeigt ein mobiles Automatisierungsgerät im System von 1.
2B ist ein Blockdiagramm bestimmter interner Hardwarekomponenten des mobilen Automatisierungsgeräts im System von 1.
3 ist ein Blockdiagramm bestimmter interner Komponenten des Servers von 1.
4 ist ein Flussdiagramm eines Verfahrens zum Korrigieren von Transluzenzartefakten.
5A zeigt eine beispielhafte Regalanordnung.
5B zeigt Tiefenmessungen, die mit dem Regal von 5A korrespondieren.
6A zeigt eine Regalebene und Regalkantenorte, die in dem Verfahren von 4 verwendet werden.
6B zeigt ein dreidimensionales Gitter, das auf die in 5B gezeigten Tiefenmessungen im Verfahren von 4 angewendet wird.
7 ist ein Flussdiagramm eines Verfahrens zum Erstellen einer Tiefenkarte.
8A veranschaulicht eine beispielhafte Tiefenkarte, die durch die Durchführung des Verfahrens von 7 erzeugt wird.
8B veranschaulicht die Durchführung einer undichten Faltungsoperation zum Korrigieren eines Nullwertes in der Tiefenkarte von 8A.
8C zeigt eine aktualisierte Tiefenkarte nach der Korrektur von Nullwerten.
9 ist ein Flussdiagramm eines Verfahrens zum Erkennen von oberen Objektbegrenzungen und zum Erzeugen einer korrigierten Tiefenkarte.
10A, 10B und 10C veranschaulichen die Erzeugung einer korrigierten Tiefenkarte gemäß dem Verfahren von 9.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
DETAILLIERTE BESCHREIBUNG
Umgebungen wie Lagerhallen, Einzelhandelsstandorte (z.B. Lebensmittelgeschäfte) und dergleichen enthalten typischerweise eine Vielzahl von Produkten, die auf Trägerstrukturen wie Regalmodulen zur Auswahl und zum Kauf durch die Kunden gelagert sind. Infolgedessen variiert die Zusammensetzung der von einem bestimmten Regalmodul getragenen Produktgruppe über die Zeit, da Produkte entfernt und in einigen Fällen durch Kunden, Lagerarbeiter und Ähnliches ersetzt werden. Produkte, die teilweise oder vollständig aufgebraucht sind, müssen in der Regel wieder aufgefüllt werden, und Produkte, die falsch ersetzt wurden (als „Plugs“ bezeichnet), müssen in der Regel an die richtige Stelle im Regal verschoben werden. Die Erkennung von Problemen bei der Wiederauffüllung oder Plugs wird üblicherweise von menschlichen Mitarbeitern durch visuelle Beurteilung der Regale und manuelles Scannen von Strichcodes durchgeführt. Diese Form der Erkennung ist arbeitsintensiv und daher kostspielig und fehleranfällig.
Versuche, die Erkennung von Produktstatusproblemen wie den oben genannten zu automatisieren, werden durch die sich häufig ändernde Natur der Umgebung, in der ein autonomes Datenerfassungssystem arbeiten muss, erschwert. Neben anderen Schwierigkeiten schwanken die digitalen Bilder der Regale in Abhängigkeit von der verfügbaren Beleuchtung, dem Vorhandensein von Sichtbehinderungen und ähnlichem in ihrer Qualität. Außerdem enthalten einige Objekte Teile, die transluzent oder transparent sind. Ein Beispiel für ein solches Objekt ist eine Sodaflasche, die typischerweise eine undurchsichtige Kappe und ein undurchsichtiges Etikett aufweist, das um den Mittelteil der Flasche gewickelt ist, während der Rest der Flasche transluzent oder transparent ist. Abhängig von der Farbe der in der Flasche enthaltenen Flüssigkeit können digitale Bilder Teile der Rückseite des Regals durch die Flasche hindurch sichtbar machen, was wiederum zur automatischen Erkennung ungenauer Statusinformationen führen kann (z.B. die Angabe, dass eine Lücke vorhanden ist, wenn tatsächlich ein transluzentes oder transparentes Objekt vorhanden ist). Auch Tiefenmessungen können aufgrund solcher Transparenzen ungenau sein, da Licht, das von Tiefensensoren (z.B. ein Laserstrahl, der von einem LIDAR (Light Detection and Ranging)-Sensor) emittiert wird, das Objekt durchqueren und von der Regalrückseite reflektieren kann, anstatt vom Objekt selbst reflektiert zu werden. Wie Fachleute erkennen werden, sind das System und das Verfahren, welche hier offenbart werden, gleichermaßen anwendbar, um sowohl Transparenz- als auch Transluzenzartefakte zu korrigieren. Daher werden die Begriffe „transluzent“ oder „Transluzenz“ und „transparent“ oder „Transparenz“ hier austauschbar verwendet, da sie sich auf Objekte beziehen, die einen Teil oder das gesamte Licht durch sie hindurchlassen.
Die hier offenbarten Beispiele beziehen sich auf ein Verfahren in einer Bildgebungssteuerung zum Korrigieren von Transluzenzartefakten in Daten, die ein oder mehrere auf einem Regal angeordnete Objekte repräsentieren, umfassend: Erhalten einer Vielzahl von Tiefenmessungen, die von einem Tiefensensor erfasst werden und mit einem Bereich korrespondieren, der das Regal enthält; Erhalten (i) einer Definition einer Ebene, die Kanten des Regals enthält, (ii) eines Ortes in der Ebene einer oberen Regalkante, und (iii) eines Ortes in der Ebene einer unteren Regalkante, die an die obere Regalkante angrenzt; Erzeugen einer Tiefenkarte, die für jede einer Vielzahl von Positionen in der Ebene eine nächstgelegene Objekttiefe enthält; Erfassen einer oberen Objektbegrenzung in der Tiefenkarte zwischen der oberen und unteren Trägerflächenkante; Aktualisieren jeder nächstgelegenen Objekttiefe zwischen der oberen Objektbegrenzung und der unteren Regalkante, um eine Tiefe der oberen Objektbegrenzung zu enthalten; und Speichern der korrigierten Tiefenkarte.
Zusätzliche Beispiele, die hierin offenbart werden, sind auf eine Rechenvorrichtung zum Korrigieren von Transluzenzartefakten in Daten gerichtet, die ein oder mehrere auf einem Regal angeordnete Objekte repräsentieren, umfassend: einen Speicher; und eine Bildgebungssteuerung, die mit dem Speicher verbunden ist, wobei die Bildgebungssteuerung umfasst: einen Präprozessor, der so konfiguriert ist, dass er eine Vielzahl von Tiefenmessungen erhält, die von einem Tiefensensor erfasst werden und mit einem Bereich korrespondieren, der das Regal enthält; wobei der Präprozessor ferner so konfiguriert ist, dass er (i) eine Definition einer Ebene, die Kanten des Regals enthält, (ii) einen Ort in der Ebene einer oberen Regalkante und (iii) einen Ort in der Ebene einer unteren Regalkante, der an die obere Regalkante angrenzt, erhält; einen Kartengenerator, der so konfiguriert ist, dass er eine Tiefenkarte erzeugt, die für jede einer Vielzahl von Positionen in der Ebene eine nächstliegende Objekttiefe enthält; einen Korrektor, der so konfiguriert ist, dass er eine obere Objektbegrenzung in der Tiefenkarte zwischen der oberen und der unteren Trägerflächenkante erkennt; und wobei der Korrektor ferner so konfiguriert ist, dass er eine korrigierte Tiefenkarte erzeugt, indem er jede nächstgelegene Objekttiefe zwischen der oberen Objektbegrenzung und der unteren Regalkante so aktualisiert, dass sie eine Tiefe der oberen Objektbegrenzung enthält; und wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die korrigierte Tiefenkarte im Speicher speichert.
1 stellt ein mobiles Automatisierungssystem 100 gemäß den Lehren dieser Offenbarung dar. Das System 100 umfasst einen Server 101, der mit mindestens einem mobilen Automatisierungsgerät 103 (hier auch einfach als Gerät 103 bezeichnet) und mindestens einem Client-Computergerät 105 über Kommunikationsverbindungen 107 kommuniziert, die im vorliegenden Beispiel einschließlich drahtloser Verbindungen dargestellt sind. Im vorliegenden Beispiel werden die Verbindungen 107 durch ein drahtloses lokales Netzwerk (WLAN) bereitgestellt, das in der Einzelhandelsumgebung durch einen oder mehrere Zugangspunkte (nicht abgebildet) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, das Client-Gerät 105 oder beide außerhalb der Einzelhandelsumgebung, und die Verbindungen 107 umfassen daher Weitbereichsnetze wie das Internet, Mobilfunknetze und dergleichen. Das System 100 umfasst im vorliegenden Beispiel auch ein Dock 108 für das Gerät 103. Das Dock 108 steht mit dem Server 101 über eine Verbindung 109 in Verbindung, die im vorliegenden Beispiel eine drahtgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 109 jedoch eine drahtlose Verbindung.
Das Client-Computergerät 105 wird in 1 als mobiles Computergerät, wie z.B. Tablet, Smartphone o.ä., dargestellt. In anderen Beispielen ist das Client-Computergerät 105 als eine andere Art von Computergerät implementiert, wie z.B. ein Desktop-Computer, ein Laptop-Computer, ein anderer Server, ein Kiosk, ein Monitor und ähnliches. Das System 100 kann eine Vielzahl von Client-Geräten 105 umfassen, die über entsprechende Verbindungen 107 mit dem Server 101 kommunizieren.
Das System 100 wird in dem illustrierten Beispiel in einer Einzelhandelsumgebung mit einer Vielzahl von Regalmodulen 110-1, 110-2, 110-3 usw. eingesetzt (gemeinsam als Regal 110 bezeichnet und allgemein als Regal 110 bezeichnet - diese Nomenklatur wird auch für andere hier diskutierte Elemente verwendet). Jedes Regalmodul 110 trägt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 umfasst eine Regalrückseite 116-1, 116-2, 116-3 und eine Trägerfläche (z.B. Trägerfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückseite 116 bis zu einer Regalkante 118-1, 118-2, 118-3 erstreckt.
Die Regalmodule 110 sind typischerweise in mehreren Gängen angeordnet, von denen jeder eine Vielzahl von Modulen 110 enthält, die durchgehend aneinandergereiht sind. In solchen Anordnungen zeigen die Regalkanten 118 in die Gänge, durch die sowohl die Kunden in der Einzelhandelsumgebung als auch das Gerät 103 hindurchgehen können. Wie aus 1 ersichtlich wird, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Trägerfläche (z.B. der Trägerflächen 117) bezeichnet werden kann, auf eine Fläche, die durch benachbarte Flächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zu jeder der Trägerflächen 117-3 und der Unterseite (nicht dargestellt) der Trägerfläche 117-3. In anderen Beispielen beträgt der Winkel zwischen der Regalkante 118-3 und den angrenzenden Flächen, wie z.B. der Trägerfläche 117-3, mehr oder weniger als neunzig Grad.
Das Gerät 103 wird in der Einzelhandelsumgebung eingesetzt und kommuniziert mit dem Server 101 (z.B. über die Verbindung 107), um autonom oder teilautonom entlang einer Länge 119 von mindestens einem Teil der Regale 110 zu navigieren. Das Gerät 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 104 ausgestattet, wie z.B. Bildsensoren (z.B. eine oder mehrere Digitalkameras) und Tiefensensoren (z.B. ein oder mehrere LIDAR (Light Detection and Ranging)-Sensoren), eine oder mehrere Tiefenkameras, die strukturierte Lichtmuster, wie z.B. Infrarotlicht o.ä., verwenden), und ist ferner so konfiguriert, dass es die Sensoren 104 zur Erfassung von Regaldaten einsetzt. Im vorliegenden Beispiel ist das Gerät 103 so konfiguriert, dass es eine Vielzahl von Tiefenmessungen erfasst, die mit den Regalen 110 korrespondieren. Jede Messung definiert einen Abstand von einem Tiefensensor auf dem Gerät 103 zu einem Punkt auf dem Regal 110 (z.B. ein Produkt 112, das auf dem Regal 110 angeordnet ist, oder eine strukturelle Komponente des Regals 110, wie z.B. eine Regalkante 118 oder eine Regalrückseite 116).
Der Server 101 enthält eine speziellen Bildgebungssteuerung, wie z.B. einen Prozessor 120, der speziell für die Steuerung des mobilen Automatisierungsgeräts 103 zur Datenerfassung (z.B. die oben erwähnten Tiefenmessungen) entwickelt wurde. Der Prozessor 120 ist ferner so konfiguriert, dass er die erfassten Daten über eine Kommunikationsschnittstelle 124 erhält und die erfassten Daten in einem Archiv 132 in einem mit dem Prozessor 120 verbundenen Speicher 122 speichert. Der Server 101 ist ferner so konfiguriert, dass er verschiedene Nachbearbeitungsoperationen an den erfassten Daten durchführt. Insbesondere ist der Server 101 so konfiguriert, dass er, wie weiter unten ausführlicher besprochen wird, Transluzenzartefakte innerhalb der erfassten Daten korrigiert.
Die Transluzenzartefakte entstehen durch Teile der Produkte 112, die transluzent oder transparent sind, und der Server 101 ist so konfiguriert, dass er solche Artefakte in den erfassten Daten korrigiert, um eine weitere nachgeschaltete Verarbeitung der erfassten Daten zu ermöglichen, z.B. um Produktstatusdaten zu ermitteln (z.B. um Lücken in den Regalen 110 zu erkennen). Der Server 101 kann auch so konfiguriert werden, dass er Statusbenachrichtigungen (z.B. Benachrichtigungen, die anzeigen, dass Produkte nicht vorrätig sind, einen geringen Lagerbestand aufweisen oder verlegt wurden) an das Client-Gerät 105 als Reaktion auf die Bestimmung von Produktstatusdaten übermittelt. Das Client-Gerät 105 enthält einen oder mehrere Steuerungen (z.B. zentrale Prozessoreinheiten (CPUs) und/oder FPGAs (Field Programmable Gate Arrays) und dergleichen), die so konfiguriert sind, dass sie die vom Server 101 erhaltenen Benachrichtigungen verarbeiten (z.B. anzeigen).
Der Prozessor 120 ist mit einem nicht flüchtigen computerlesbaren Speichermedium wie dem oben erwähnten Speicher 122 verbunden, auf dem computerlesbare Befehle für die Ausführung der Steuerung des Geräts 103 zur Datenerfassung sowie die oben erwähnte Nachbearbeitungsfunktionalität gespeichert sind, auf die weiter unten näher eingegangen wird. Der Speicher 122 enthält eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Nur-Lese-Speicher oder ROM, elektrisch löschbarer programmierbarer Nur-Lese-Speicher oder EEPROM, Flash-Speicher). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere zentrale Prozessoreinheiten (CPUs) und/oder Grafikprozessoreinheiten (GPUs) implementiert.
Der Server 101 enthält auch die oben erwähnte Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 umfasst geeignete Hardware (z.B. Sender, Empfänger, Netzschnittstellen-Steuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 107 und 109 mit anderen Rechenvorrichtungen - insbesondere dem Gerät 103, dem Client-Gerät 105 und dem Dock 108 - zu kommunizieren. Bei den Verbindungen 107 und 109 kann es sich um direkte Verbindungen oder um Verbindungen handeln, die ein oder mehrere Netzwerke durchqueren, darunter sowohl lokale als auch Weitbereichsnetzwerke. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden auf der Grundlage der Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk innerhalb der Einzelhandelsumgebung durch den Einsatz eines oder mehrerer drahtloser Zugangspunkte implementiert. Die Verbindungen 107 umfassen daher eine oder beide drahtlose Verbindungen zwischen dem Gerät 103 und der mobilen Vorrichtung 105 und den oben erwähnten Zugangspunkten sowie eine drahtgebundene Verbindung (z.B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.
Der Speicher 122 speichert eine Vielzahl von Anwendungen, von denen jede eine Vielzahl von computerlesbaren Befehlen enthält, die vom Prozessor 120 ausgeführt werden können. Die Ausführung der oben genannten Anweisungen durch den Prozessor 120 konfiguriert den Server 101 so, dass er verschiedene hier besprochene Aktionen ausführt. Die im Speicher 122 gespeicherten Anwendungen umfassen eine Steueranwendung 128, die auch als eine Reihe von logisch getrennten Anwendungen implementiert werden kann. Im Allgemeinen ist der Prozessor 120 durch die Ausführung der Steueranwendung 128 oder von Unterkomponenten davon und in Verbindung mit den anderen Komponenten des Servers 101 so konfiguriert, dass er verschiedene Funktionen implementiert. Der Prozessor 120, der durch die Ausführung der Steueranwendung 128 konfiguriert wird, wird hier auch als Steuerung 120 bezeichnet. Wie sich nun zeigen wird, kann ein Teil oder die gesamte Funktionalität, die durch die unten beschriebene Steuerung 120 implementiert wird, auch durch vorkonfigurierte Hardware-Elemente (z.B. ein oder mehrere FPGAs und/oder anwendungsspezifische integrierte Schaltungen (ASICs)) anstatt durch die Ausführung der Steueranwendung 128 durch den Prozessor 120 ausgeführt werden.
Um nun zu den 2A und 2B zu kommen, wird das mobile Automatisierungsgerät 103 ausführlicher dargestellt. Das Gerät 103 umfasst ein Fahrgestell 201 mit einem Lokomotivmechanismus 203 (z.B. ein oder mehrere Elektromotoren, die Räder, Schienen oder dergleichen antreiben). Das Gerät 103 enthält ferner einen Sensormast 205, der auf dem Fahrgestell 201 abgestützt ist und sich im vorliegenden Beispiel vom Fahrgestell 201 aus nach oben (z.B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die bereits erwähnten Sensoren 104. Insbesondere umfassen die Sensoren 104 mindestens einen Bildgebungssensor 207, wie z.B. eine Digitalkamera, sowie mindestens einen Tiefensensor 209, wie z.B. eine 3D-Digitalkamera. Der Mast 103 enthält auch zusätzliche Tiefensensoren, wie z.B. LIDAR-Sensoren 211. In anderen Beispielen umfasst das Gerät 103 zusätzliche Sensoren, wie ein oder mehrere RFID-Lesegeräte, Temperatursensoren und dergleichen.
Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7 sowie zwei LIDAR-Sensoren 211-1 und 211-2. Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsbaugruppen 213, die so konfiguriert sind, dass sie die Sichtfelder der jeweiligen Kameras 207 ausleuchten. Das heißt, die Beleuchtungsbaugruppe 213-1 beleuchtet das Sichtfeld der Kamera 207-1 usw. Die Sensoren 207 und 211 sind auf dem Mast 205 so ausgerichtet, dass die Sichtfelder jedes Sensors einem Regal 110 gegenüberliegen, entlang dessen Länge 119 sich das Gerät 103 bewegt. Das Gerät 103 ist so konfiguriert, dass es einen Standort des Geräts 103 (z.B. einen Standort der Mitte des Fahrgestells 201) in einem gemeinsamen Referenzrahmen verfolgt, der zuvor in der Verkaufseinrichtung festgelegt wurde, so dass von dem mobilen Automatisierungsgerät erfasste Daten in dem gemeinsamen Referenzrahmen registriert werden können.
Das mobile Automatisierungsgerät 103 enthält eine spezielle Steuerung, wie z.B. einen Prozessor 220, wie in 2B dargestellt, der mit einem nichtflüchtigen computerlesbaren Speichermedium, wie z.B. einem Speicher 222, verbunden ist. Der Speicher 222 enthält eine Kombination aus flüchtigem (z.B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z.B. Nur-Lese-Speicher oder ROM, elektrisch löschbarer programmierbarer Nur-Lese-Speicher oder EEPROM, Flash-Speicher). Der Prozessor 220 und der Speicher 222 umfassen jeweils eine oder mehrere integrierte Schaltungen. Der Speicher 222 speichert computerlesbare Befehle zur Ausführung durch den Prozessor 220. Im Speicher 222 ist insbesondere eine Steueranwendung 228 gespeichert, die, wenn sie vom Prozessor 220 ausgeführt wird, den Prozessor 220 so konfiguriert, dass er verschiedene Funktionen im Zusammenhang mit der Navigation des Geräts 103 (z.B. durch Steuerung des Lokomotivmechanismus 203) und der Sammlung von Daten (z.B. Bilddaten und/oder Tiefenmessungen), die die Regale 110 repräsentieren, ausführt. Die Anwendung 228 kann auch als eine Reihe verschiedener Anwendungen in anderen Beispielen implementiert werden.
Der Prozessor 220 kann, wenn er durch die Ausführung der Anwendung 228 so konfiguriert ist, auch als Steuerung 220 bezeichnet werden. Fachleute werden erkennen, dass die vom Prozessor 220 über die Ausführung der Anwendung 228 implementierte Funktionalität auch durch eine oder mehrere speziell entworfene Hardware- und Firmwarekomponenten wie FPGAs, ASICs und dergleichen in anderen Ausführungsformen implementiert werden kann.
Der Speicher 222 kann auch ein Archiv 232 speichern, der z.B. eine Karte der Umgebung enthält, in der das Gerät 103 arbeitet, zur Verwendung während der Ausführung der Anwendung 228. Das Gerät 103 kann mit dem Server 101 über eine Kommunikationsschnittstelle 224 über die in 1 dargestellte Verbindung 107 mit dem Server 101 kommunizieren, um z.B. Anweisungen zur Einleitung von Datenerfassungsoperationen zu erhalten. Die Kommunikationsschnittstelle 224 ermöglicht es dem Gerät 103 auch, mit dem Server 101 über das Dock 108 und die Verbindung 109 zu kommunizieren.
Im vorliegenden Beispiel sind, wie unten diskutiert, der Server 101 (wie über die Ausführung der Steueranwendung 128 durch den Prozessor 120 konfiguriert) und der mobile Automatisierungsapparat 103 (wie über die Ausführung der Anwendung 228 durch den Prozessor 220 konfiguriert) so konfiguriert, dass sie vom Gerät 103 erfasste Tiefenmessungen verarbeiten, um Transluzenzartefakte in den Tiefenmessungen zu korrigieren. Transluzenzartefakte, auf die hierin Bezug genommen wird, entsprechen beliebigen Teilen der Tiefenmessungen, die mit transluzenten oder transparenten Teilen der Produkte 112 korrespondieren. Einer oder beide des Servers 101 und des Gerätes 103, sind ferner so konfiguriert, dass sie korrigierte Daten erzeugen, die die Transluzenzartefakte ersetzen, zur Verwendung in der nachgeschalteten Verarbeitung (z.B. zur Erkennung von Lücken zwischen den Produkten 112 auf den Regalen 110).
In weiteren Beispielen kann die unten besprochene Datenverarbeitung auf einer anderen Rechenvorrichtung als dem Server 101 und dem mobilen Automatisierungsgerät 103, wie z.B. dem Client-Gerät 105, durchgeführt werden. Die oben erwähnte Datenverarbeitung wird näher beschrieben im Zusammenhang mit ihrer Durchführung auf dem Server 101 über die Ausführung der Anwendung 128.
Mit Bezug zu 3, bevor die Funktionsweise der Anwendung 128 zur Korrektur von Transluzenzartefakten in den vom Gerät 103 erfassten Tiefendaten beschreiben wird, werden bestimmte Komponenten der Anwendung 128 ausführlicher beschrieben. Wie für den Fachmann ersichtlich sein wird, können in anderen Beispielen die Komponenten der Anwendung 128 in verschiedene Anwendungen getrennt oder in anderen Komponentensätzen kombiniert werden. Einige oder alle der in 3 dargestellten Komponenten können auch als dedizierte Hardwarekomponenten implementiert werden, wie z.B. ein oder mehrere ASICs oder FPGAs.
Die Steueranwendung 128 enthält einen Präprozessor 300, der so konfiguriert ist, dass er Tiefenmessungen, die mit den Regalen 110 und den darauf getragenen Produkten 112 korrespondieren, erhält und die Tiefenmessungen vorverarbeitet, z.B. durch Transformation der Tiefenmessungen zwischen verschiedenen Bezugsrahmen, um die Tiefenmessungen für die nachfolgende Verarbeitung vorzubereiten. Die Steueranwendung 128 enthält auch einen Kartengenerator 304, der so konfiguriert ist, dass er aus den vom Vorprozessor 300 ausgegebenen vorverarbeiteten Tiefenmessungen eine zweidimensionale Tiefenkarte erzeugt, die, wie für den Fachmann zu erkennen ist, typischerweise eine dreidimensionale Punktwolke definiert. Die Steueranwendung 128 enthält auch einen Korrektor 308, der so konfiguriert ist, dass er die oberen Begrenzungen von Objekten auf den Regalen 110 (z.B. Produkte 112) identifiziert und die Tiefenkarte aktualisiert, um potenzielle Transluzenzartefakte zu korrigieren, die in der Tiefenkarte durch transluzente oder transparente Teile der Produkte 112 entstehen. Die Ausgabe des Korrektors 308 kann einer weiteren Anwendung, z.B. einem vom Server 101 ausgeführten Lückendetektor, zur Verfügung gestellt werden.
Die Funktionalität der Steueranwendung 128 wird nun ausführlicher beschrieben. Zu 4 wird ein Verfahren 400 zur Korrektur von Transluzenzartefakten in erfassten Daten, die die Regale 110 repräsentieren, gezeigt. Das Verfahren 400 wird in Verbindung mit dessen Durchführung auf dem System 100 und unter Bezugnahme auf die in 3 dargestellten Komponenten beschrieben.
In Block 405 ist der Prozessor 120 und insbesondere der Präprozessor 300 der Anwendung 128 so konfiguriert, dass er eine Vielzahl von Tiefenmessungen erhält, die von einem Tiefensensor erfasst werden und eine Trägerstruktur wie ein Regalmodul 110 und die darauf getragenen Produkte 112 darstellen. Die in Block 405 erhaltenen Tiefenmessungen werden z.B. vom Gerät 103 erfasst und im Archiv 132 gespeichert. Der Präprozessor 300 ist daher im obigen Beispiel so konfiguriert, dass er die Tiefenmessungen durch Abrufen der Tiefenmessungen aus dem Archiv 132 erhält.
Die Tiefenmessungen können in einer Vielzahl von Formen erfasst werden, je nachdem, welche(r) Tiefensensor(en) vom Gerät 103 zur Erfassung der Messungen verwendet wird/werden. Die in Block 405 erhaltenen Tiefenmessungen werden in Form einer dreidimensionalen Punktwolke erhalten, wobei jeder Punkt in der Wolke eine Position in einem vorbestimmten Bezugsrahmen hat und einen Punkt auf den Regalen 110 anzeigt, an dem ein Objekt von den Tiefensensoren erfasst wurde.
Zu 5A wird ein Beispiel für das Regalmodul 510 dargestellt, in Verbindung mit dem die Durchführung des Verfahrens 400 beschrieben wird. Das Modul 510 umfasst eine Regalrückseite 516, die sich zwischen einem Paar Trägerflächen 517-1 und 517-2 erstreckt, die jeweils eine Kante 518-1 bzw. 518-2 aufweisen. Die Trägerfläche 517-1 ist der Einfachheit halber als leer dargestellt. Die Trägerfläche 517-2 hingegen trägt eine Vielzahl von Objekten 512, wie z.B. Produkte in einer Einzelhandelsumgebung. Bestimmte Produkte enthalten transluzente oder transparente Teile. Insbesondere zwei der in 5A dargestellten Produkte 512 enthalten eine undurchsichtige Kappe 550 und ein undurchsichtiges Etikett 554, während der Rest des Produkts 512 transluzent oder transparent ist (damit kann die Regalrückseite 516 durch die transluzenten Teile 558 sichtbar sein).
5B zeigt eine in Block 405 erhaltene Punktwolke 560, die Tiefenmessungen enthält, die (z.B. mit dem Gerät 103) für das Modul 510 erfasst wurden. Wie in 5B zu sehen ist, erscheinen die transluzenten Teile 558 der Produkte 512 entweder nicht in der Punktwolke 560 oder sind nur teilweise in der Punktwolke 560 dargestellt (z.B. durch die Punkte 564). Mit anderen Worten, die Punktewolke 560 kann die undurchsichtigen Etiketten 554 und/oder die undurchsichtigen Kappen 550 der Produkte 512 so darstellen, als würden sie über der Trägerfläche 517-2 schweben, weil die transluzenten Teile 558 in der Punktewolke 560 unvollständig oder gar nicht dargestellt werden. Wie sich nun für den Fachmann zeigen wird, kann eine Lückenerkennungsoperation, die auf der Punktwolke 560 arbeitet, Lücken zwischen den Kappen 550 und den Etiketten 554 und/oder zwischen den Etiketten 554 und der Trägerfläche 517-2 erkennen, wo solche Lücken in der Tat wahrscheinlich physikalisch unmöglich sind. Die Punktwolke 560 ist gemäß einem Bezugsrahmen 568 definiert. Das heißt, jeder Punkt in der Punktwolke hat eine Position, die durch Koordinaten gemäß dem Bezugsrahmen 568 definiert ist.
In Block 405 kann der Präprozessor 300 auch so konfiguriert werden, dass er eine Darstellung einer Regalebene erhält, die die Kanten 518 enthält, sowie Daten, die die Orte der Kanten 518-1 und 518-2 in der Ebene angeben. Die Erkennung der Regalebene und der Kantenorte kann durch die Ausführung eines Regalebenendetektors und/oder eines Regalkantendetektors (z.B. am Server 101) erfolgen. Ein Beispiel für einen Regalebenendetektor kann so konfiguriert werden, dass er Tiefenmessungen der Module 110 oder 510 (z.B. erfasst durch das Gerät 103 mit dem Tiefensensor 209) verarbeitet, um eine Teilmenge der Tiefenmessungen auszuwählen, die für Regalkanten kennzeichnend sind (z.B. kennzeichnend für im Wesentlichen vertikale Oberflächen), und um eine Regalebene an die ausgewählten Tiefenmessungen anzupassen.
Ein Regalkantendetektor kann z.B. Bilder der Module 110 oder 510 (die z.B. von dem Gerät 103 mit den Kameras 207 aufgenommen wurden) verarbeiten, um Intensitätsübergänge (Übergänge von hell nach dunkel und von dunkel nach hell) zu identifizieren, die für Regalkanten kennzeichnend sind, die auf Regalkanten hinweisen. Der Regalkantendetektor kann Begrenzungskästen erzeugen, die den durch solche Übergänge begrenzten Bereichen (d.h. den wahrscheinlichen Regalkanten) entsprechen.
In 6A ist eine Regalebene 600 über der Punktwolke 560 eingeblendet. Weiterhin sind die Begrenzungskästen 604-1 und 604-2 zu sehen, die die Orte jeder der Regalkanten 518 innerhalb der Ebene 600 angeben. Obwohl die Ebene 600 und die Kantenorte 604 in 6A grafisch dargestellt sind, können Definitionen für die Ebene 600 und die Positionen 604 in jedem geeigneten Format in Block 405 abgerufen werden. Beispielsweise kann der Präprozessor 300 so konfiguriert werden, dass er eine Gleichung erhält, die die Ebene definiert, sowie Koordinaten (z.B. für jede Ecke der in 6A gezeigten Begrenzungskästen), die die Positionen 604 definieren.
Wie aus 6A zu ersehen sein wird, sind die Ebene 600 und die Orte 604 (sowie die darunter liegenden Kanten 518) nicht parallel zu einer der Achsen des Bezugsrahmens 568. Daher ist in einigen Ausführungsformen der Präprozessor 300 zur Verringerung der durch die nachfolgende Verarbeitung verursachten Rechenlast auch so konfiguriert, dass er die Punktewolke 560 so transformiert, dass die Punkte darin an einem Bezugsrahmen 608 ausgerichtet sind, der durch die Ebene 600 selbst definiert ist. Das heißt, zwei Achsen (X und Y im abgebildeten Beispiel) liegen innerhalb der Ebene 600, während die dritte Achse (Z oder Tiefe) senkrecht zur Ebene 600 verläuft. Bei der Transformation der Punktewolke 560 werden die Koordinaten der Punkte im Bezugsrahmen 568 durch Koordinaten ersetzt, die die gleiche physikalische Position angeben, aber im Bezugsrahmen 608 definiert sind. Die Ausrichtung der Punktewolke 560 auf den Bezugsrahmen 608 kann in einigen Ausführungsformen weggelassen werden.
Um auf 4 zurückzukommen ist in Block 410 der Kartengenerator 304 so konfiguriert, dass er aus der Punktwolke 560 eine Tiefenkarte erzeugt. Die Tiefenkarte enthält für jede einer Vielzahl von Positionen in der Ebene 600 (d.h. für jede Position in einem zweidimensionalen Gitter innerhalb der Ebene 600) eine nächstgelegene Objekttiefe. Die nächstgelegene Objekttiefe für eine gegebene Position innerhalb der Ebene 600 gibt die Entfernung von der Ebene 600 in einer Richtung parallel zur Z-Achse des Bezugsrahmens 608 zum ersten Objekt (z.B. ein Produkt 512 oder die Regalrückseite 516) an, das bei der Bewegung in dieser Richtung angetroffen wird. Für die Erzeugung der Tiefenkarte werden verschiedene Mechanismen in Betracht gezogen. Beispielsweise kann die Tiefenkarte erzeugt werden, indem man jeden Punkt auf der Ebene 600 durchläuft und den ersten Punkt in der Punktwolke 560 auswählt, der entlang eines von der Ebene 600 in Z-Richtung verfolgten Strahls erscheint. Ein solcher Ansatz kann jedoch Rauschen oder andere Artefakte enthalten, die in der Punktwolke 560 erscheinen. Der Kartengenerator 304 ist daher im vorliegenden Beispiel so konfiguriert, dass er die Tiefenkarte gemäß dem in 7 gezeigten Verfahren erzeugt.
Um zu 7 bei Block 705 zu kommen ist der Kartengenerator so konfiguriert, dass er die Tiefenmessungen in der Punktwolke einem dreidimensionalen Gitter von Behältern zuordnet. Um noch einmal kurz auf 6B zurückzukommen, wird ein Gitter 650 aus einzelnen Behältern 654 über die Punktwolke 560 gelegt. Die Auflösung des Gitters beträgt in einigen Beispielen etwa 1 cm x 1 cm x 1 cm (d.h. jeder Behälter 654 hat eine Größe von einem Kubikzentimeter). In anderen Beispielen kann der Kartengenerator 304 jedoch höhere oder niedrigere Gitterauflösungen verwenden. Wie nun aus 6B ersichtlich wird, umfasst jeder Behälter 654 einen Bereich der Punktwolke 560. Der Kartengenerator 304 ist so konfiguriert, dass er eine Zählung für jeden Behälter 654 auf der Grundlage der Anzahl der Punkte in der Punktwolke bestimmt, die von diesem Behälter 654 umfasst werden. Daher werden Behälter, die die Oberflächen der Produkte 512 oder die Regalkanten 518 umfassen, tendenziell höhere Zählungen aufweisen, während Behälter, die Regionen der Punktwolke umfassen, die mit den Lücken zwischen den Produkten 512 oder den transluzenten Teilen 558 korrespondieren, tendenziell niedrigere Zählungen aufweisen.
Nach der Durchführung von Block 705 hat der Kartengenerator 304 daher ein dreidimensionales Array von Behälterzählungen erzeugt. Der Kartengenerator 304 ist dann so konfiguriert, dass er einen Wert für einen Punkt (der auch als Pixel bezeichnet werden kann) in der zweidimensionalen Tiefenkarte für jede einer Vielzahl von Positionen auf der Ebene 600 erzeugt. Daher ist der Kartengenerator 304 in Block 710 so konfiguriert, dass er eine Position in der Ebene 600 auswählt, für die er den nächsten Tiefenkartenwert (d.h. die nächstgelegene Objekttiefe) erzeugt.
Im vorliegenden Beispiel entsprechen die bei aufeinanderfolgenden Durchführungen des Blocks 710 gewählten Positionen den Schnittpunkten des Gitters 650 mit der Ebene 600. In Block 715 ist für die gewählte Position der Kartengenerator 304 so konfiguriert, dass er mit der Durchquerung des Gitters von Behältern in Z-Richtung beginnt (d.h. in einer Richtung parallel zur Z-Achse des Bezugsrahmens 608, die senkrecht zur Ebene 600 steht). Um kurz auf 6B zurückzukommen, zeigt der Pfeil 658 die Bewegungsrichtung an, die nach einer Auswahl (in Block 710) des dritten Behälters von links in der oberen Reihe des Gitters 650 eingeleitet wird.
Wie ersichtlich wird, führt das oben beschriebene Durchqueren des Gitters 650 zum Durchqueren eines Stapels von Behältern, die mit der Z-Achse ausgerichtet sind. In Block 715 ist der Kartengenerator 304 so konfiguriert, dass er die Zählung des ersten Behälters zu einer akkumulierten Zählung addiert. In Block 720 ist der Kartengenerator so konfiguriert, dass er feststellt, ob die akkumulierte Zählung einen vordefinierten Schwellenwert erreicht hat. Der Schwellenwert wird auf der Grundlage der Auflösung der Punktwolke 560 und des Gitters 650 ausgewählt und auf eine Anzahl von Punkten gesetzt, die ausreichend hoch ist, um das wahrscheinliche Vorhandensein eines Objekts anzuzeigen (und nicht z.B. Lärm, Staub oder andere Datenerfassungsartefakte). Wenn der Schwellenwert bei Block 720 nicht erreicht ist, kehrt der Kartengenerator zu Block 715 zurück, geht zum nächsten Behälter entlang des Bewegungspfades (z.B. dem Pfeil 658) und wiederholt den obigen Vorgang.
Wenn die Bestimmung in Block 720 positiv ausfällt, wird der Kartengenerator 304 in Block 725 so konfiguriert, dass er die Tiefe des zuletzt akkumulierten Behälters in der Tiefenkarte als die nächstliegende Objekttiefe speichert. Der Kartengenerator 304 wird dann so konfiguriert, dass er im Block 730 feststellt, ob die Ebene 600 vollständig durchquert wurde. Genauer gesagt, der Kartengenerator 304 ist so konfiguriert, dass er feststellt, ob ein Teil der Ebene 600, der die Gesamtheit der Regalkanten 518 (wie durch die Positionen 604 angezeigt) umfasst, durchquert worden ist. Wenn die Bestimmung in Block 730 negativ ausfällt, kehrt der Kartengenerator 304 zum Block 710 zurück, wählt die nächste Position in der Ebene 600 aus und wiederholt den obigen Vorgang. Wenn die Bestimmung in Block 730 jedoch positiv ausfällt, ist die Tiefenkarte vollständig und die Durchführung des Verfahrens 400 geht weiter zu Block 415.
In 8A wird eine beispielhafte Tiefenkarte 800 gezeigt, die wie oben beschrieben aus der Punktwolke 560 erzeugt wurde. Die Werte jedes Pixels in der Tiefenkarte sind in 8A in Graustufen dargestellt, wobei hellere Werte größere Tiefen anzeigen (d.h. nächstgelegene Objekttiefen, die weiter von der Ebene 600 entfernt sind) und dunklere Werte kleinere Tiefen anzeigen (d.h. nächstgelegene Objekttiefen, die näher an der Ebene 600 liegen). In einigen Ausführungsformen kann die Tiefenkarte 800, wie in 8A gezeigt, in ein Graustufenbild umgewandelt werden (z.B. die nächstgelegenen Objekttiefen, die in Graustufenwerte zwischen Null und 255 umgewandelt werden). Wie in der Tiefenkarte 800 zu sehen ist, erscheinen die Produkte 512, mit Ausnahme der transparenten Teile 558, in der Karte 800 als Regionen mit begrenzter Tiefe, während die transparenten Teile 558 (fälschlicherweise) als Regionen mit größerer Tiefe erscheinen. Eine Region 804 zeigt an, dass, obwohl eine transparente Region 558 in der Punktwolke 560 nicht in ihrer Gesamtheit erfasst wurde, eine ausreichende Anzahl von Punkten erfasst wurde, um einige Werte der Tiefenkarte zu besetzen. Weitere Regionen 808 der Tiefenkarte zeigen die Orte der Regalkanten 518 mit einer Tiefe von Null oder nahe Null an (da die Regalkanten 518 im Wesentlichen mit der Ebene 600 übereinstimmen).
Auch in der Tiefenkarte 800 ist eine Region 812 mit einem Nullwert dargestellt. Die Region 812 weist auf fehlende Daten in der Punktwolke 560 hin. Der/die Tiefensensor(en), der/die zur Erfassung der Punktwolke 560 verwendet wird/werden, hat/haben möglicherweise nicht genügend Tiefenmessungen gesammelt, um den Schwellenwert bei Block 720 für die Pixel der Karte 800 innerhalb der Region 812 zu erreichen. Ursachen für solche fehlenden Daten können Schatten, Reflexionen, Hindernisse und Ähnliches in der Umgebung sein, in der die Tiefenmessungen erfasst wurden, so dass die Tiefensensoren die Regalrückseite 516 nicht konsistent erfassen können.
In einigen Beispielen ist der Kartengenerator 304 so konfiguriert, dass er auf der Karte 800 ein Tiefeneinzeichnungsverfahren durchführt, um alle Pixel in der Karte 800 zu besetzen, die keine Werte enthalten. Im vorliegenden Beispiel wird die Einzeichnung (z.B. durchgeführt als Reaktion auf eine positive Bestimmung bei Block 730) über eine Faltungsoperation durchgeführt. Wie dem Fachmann klar sein wird, beinhaltet eine Faltungsoperation für jedes Pixel der Karte 800 die Bestimmung des Durchschnitts der neun umgebenden Pixel, wie in 8B dargestellt. Im vorliegenden Beispiel wird die Faltungsoperation als undichte Faltung (Leaky Convolution) bezeichnet, da die Ausgabe (d.h. der Mittelwert der benachbarten Pixel) in das zentrale Pixel gelegt wird. Daher wurde in einer aktualisierten Tiefenkarte 800a, wie in 8C gezeigt, die Region 812 mit den nächstgelegenen Objekttiefen besetzt.
Um zu 4 zurückzukehren, wird in Block 415 der Korrektor 308 so konfiguriert, dass er obere Objektbegrenzungen in der in Block 410 erstellten Tiefenkarte erkennt. Wie in der nachfolgenden Diskussion zu sehen sein wird, ist der Korrektor 308 unter der Prämisse konfiguriert, dass die Produkte 512 typischerweise undurchsichtige obere Komponenten haben (z.B. die Kappe 550), selbst wenn sie transluzente Teile enthalten. Die Konfiguration des Korrektors 308 basiert ferner auf der Prämisse, dass die erkennbaren oberen Komponenten der Produkte 512 von einem durchgehenden Objekt unterhalb der erkannten oberen Komponente getragen werden. Mit anderen Worten, der Korrektor 308 arbeitet unter der Prämisse, dass die detektierbaren oberen Komponenten der Produkte 512 nicht über der entsprechenden Regalauflagefläche 517 schweben. Der Korrektor 308 ist daher so konfiguriert, dass er zunächst die oberen Obj ektbegrenzungen bei Block 415 erkennt (z.B. entsprechend den undurchsichtigen oberen Teilen der Produkte 512) und dann die Tiefenkarte auf der Grundlage solcher Erkennungen bei Block 420 korrigiert.
In einigen Beispielen ist der Korrektor 308 so konfiguriert, dass er obere Objektbegrenzungen erkennt und eine korrigierte Tiefenkarte gemäß eines in 9 gezeigten Verfahrens 900 erzeugt. Das heißt, das Verfahren 900 ist eine beispielhaftes Verfahren zur Durchführung der Blöcke 415 und 420 des Verfahrens 400. Im Block 905 ist der Korrektor 308 so konfiguriert, dass er ein benachbartes Paar von Regalkanten 516 auswählt (d.h. ein Paar von Regalkanten 516 ohne dazwischenliegende Regalkante 516). Die Auswahl in Block 905 basiert auf den in Block 405 erhaltenen Positionen 604. In der vorliegenden beispielhaften Durchführung des Verfahrens 400 stehen nur zwei Standorte, 604-1 und 604-2, zur Auswahl, und der Korrektor 308 wählt daher die Standorte 604-1 und 604-2 bei Block 905 aus.
In Block 910 ist der Korrektor 308 so konfiguriert, dass er einen Streifen der Tiefenkarte 800a zwischen den ausgewählten Regalkantenorten 604 auswählt. Konkret erstreckt sich der im Block 910 ausgewählte Streifen vertikal (d.h. parallel zur Y-Achse des Bezugsrahmens 608) von der oberen Position 604-1 bis zur unteren Position 604-2. Die Breite des im Block 910 ausgewählten Streifens kann ein Pixel betragen, ist aber nicht auf ein Pixel begrenzt. Beispielsweise kann ein Streifen mit einer Breite ausgewählt werden, die der erwarteten Breite eines Produkts 512 entspricht. Vorzugsweise hat der Streifen keine Breite, die größer ist als die erwartete Breite eines Produkts 512. Unter Bezugnahme auf 10A ist ein beispielhafter Streifen 1000 der Tiefenkarte 800a dargestellt, der sich zwischen den Standorten 604-1 und 604-2 erstreckt (die zur Veranschaulichung auf der Karte 800a eingeblendet wurden).
Nochmals Bezug nehmend auf 9, bei Block 915, ist der Korrektor 308 so konfiguriert, dass er den ausgewählten Streifen von der oberen Regalkante (d.h. der Stelle 604-1 wie in 10A gezeigt) zur unteren Regalkante (d.h. der Stelle 604-2 wie in 10A gezeigt) durchquert. Der Korrektor 308 ist ferner in Block 920 konfiguriert, um zu bestimmen, ob eine Tiefenänderung von einer durchquerten Position zur nächsten einen vorkonfigurierten Schwellenwert überschreitet. Der Schwellenwert wird so gewählt, dass eine den Schwellenwert überschreitende Tiefenänderung das Vorhandensein eines Produkts 512 anzeigt. Der Schwellenwert kann zum Beispiel auf die Tiefe eines Produkts 512 eingestellt werden. Um zu 10 zurückzukehren, ist zu erkennen, dass der Korrektor 308 beim Durchqueren des Streifens 1000 von der Position 1004 zur Position 1008 eine Tiefenänderung erkennt, die gleich dem Abstand von der Regalrückseite 516 zur Oberfläche eines Produkts 512 (konkret einer Kappe 550) ist, das der Ebene 600 zugewandt ist. Wenn der Abstand größer als der Schwellenwert ist, führt eine bestätigende Bestimmung in Block 920, die der Erkennung einer oberen Objektbegrenzung entspricht, zur Durchführung des Blocks 925.
In einigen Beispielen enthält die Schwelle, an der Veränderungen in der Tiefe bewertet werden, ein Richtungskriterium. Der Schwellenwert kann z.B. auf die Tiefe eines Produkts 512 festgelegt werden und kann auch verlangen, dass die Tiefenänderung eine Abnahme der Tiefe ist, was eine Änderung weg von der Regalrückseite 516 und hin zur Regalebene 600 anzeigt. Wenn beispielsweise ein Etikett unter einer Regalkante 518 aufgehängt wird (solche Etiketten können auch als „Talkers“ bezeichnet werden), können beim Durchlaufen eines Streifens zwei Tiefenänderungen erkannt werden: eine Tiefenänderung, die einen Übergang vom Talker zur Regalrückseite anzeigt, und eine Tiefenänderung, die einen Übergang von der Regalrückseite zu einem Produkt 512 anzeigt. Die erste der oben genannten Änderungen, bei der es sich eher um eine Zunahme der Tiefe als um eine Abnahme handelt, erfüllt nicht den Schwellenwert bei Block 920.
Im Block 925 ist der Korrektor 308 so konfiguriert, dass er die Tiefenwerte (d.h. die nächstgelegenen Objekttiefen) im Rest des Streifens auf einen Wert einstellt, der der Tiefe der oberen Objektbegrenzung entspricht. Mit anderen Worten, Block 925 ist eine beispielhafte Implementierung von Block 420, da die Durchführung von Block 925 einen korrigierten Teil der Tiefenkarte 800 auf der Grundlage der erkannten oberen Begrenzung erzeugt.
10B zeigt eine teilweise korrigierte Tiefenkarte 800a', in der der Rest des Streifens 1000 (d.h. der Teil des Streifens 1000 unterhalb der Begrenzung, der an der Position 1008 in 10A detektiert wurde) aktualisiert wird, um die gleiche Tiefe wie die Tiefe der Position 1008 zu enthalten. Infolgedessen werden, wie in 10B gezeigt, die transparenten Teile 558 des Produkts 512 in der teilweise korrigierten Tiefenkarte 800a' teilweise rekonstruiert.
Nach der Durchführung von Block 925 ist der Korrektor 308 so konfiguriert, dass er zum Block 930 übergeht. Eine negative Bestimmung an Block 920 führt ebenfalls direkt zu Block 930, wobei Block 925 umgangen wird. Im Block 930 stellt der Korrektor 308 fest, ob die Länge (d.h. in X-Richtung, parallel zu der in 1 dargestellten Länge 119) der in Block 905 ausgewählten Kantenorte durchquert wurde. Wenn die Bestimmung an Block 930 negativ ist, wird der Korrektor 308 so konfiguriert, dass er zu Block 910 zurückkehrt, den nächsten Streifen der Tiefenkarte 800a' (z.B. den Streifen 1012 wie in 10B gezeigt) auswählt und die Durchführung der Blöcke 915 bis 930 wie oben beschrieben wiederholt. Wenn die Bestimmung in Block 930 positiv ausfällt, was anzeigt, dass das gesamte Gebiet zwischen dem in Block 905 ausgewählten Kantenortpaar durchquert wurde, endet das Verfahren 900. In einigen Beispielen kann das Verfahren 900 für alle verbleibenden Regalkantenpaare 516 wiederholt werden, anstatt es zu beenden.
10C veranschaulicht das Ergebnis der Bearbeitung der Tiefenkarte 800 durch die Leistungsfähigkeit der Verfahren 900. 10C stellt insbesondere eine korrigierte Tiefenkarte 800b dar, in der Teile der Tiefenkarte 800, in denen die transparenten Teile 558 der Produkte 512 fälschlicherweise ausgelassen wurden, aktualisiert wurden, um die transparenten Teile 558 korrekt darzustellen (ein Beispiel dafür ist in der Kreuzschraffur hervorgehoben).
Nach Abschluss des Verfahrens 900 kann die Anwendung 128 so konfiguriert werden, dass sie die korrigierte Tiefenkarte 800b einer weiteren Anwendung (nicht abgebildet) präsentiert, z.B. einer Spaltdetektor-Anwendung, die so konfiguriert ist, dass sie Lücken zwischen den Produkten 512 erkennt. Wie sich nun zeigen wird, kann die korrigierte Tiefenkarte 800b einen solchen Lückendetektor in die Lage versetzen, Lücken genauer zu erkennen, indem die Wahrscheinlichkeit verringert wird, dass transparente Teile 558 der Produkte 512 zur Erkennung falsch positiver Ergebnisse durch den Lückendetektor führen (d.h. Lücken, die dort erkannt werden, wo tatsächlich keine Lücken, sondern eher transluzente Produkte 512 vorhanden sind).
In anderen Beispielen ist der Korrektor 308 so konfiguriert, dass er (z.B. durch Ausführen eines geeigneten Kantenerkennungsalgorithmus) Begrenzungskästen erzeugt, die den Produkten 512 entsprechen, wie sie in der korrigierten Tiefenkarte 800b dargestellt sind, zur Darstellung für den oben erwähnten Lückendetektor.
Der Lückendetektor kann zum Beispiel Lücken zwischen den Produkten 512 auf der Grundlage von Bildern, die vom Gerät 103 der Module 110 oder 510 erfasst wurden, identifizieren. Der Lückendetektor kann zum Beispiel so konfiguriert werden, dass er Teile solcher Bilder erkennt, die ein Muster darstellen, das mit der Regalrückseite 516 assoziiert ist. Solche Teile zeigen an, dass die Regalrückseite zwischen den Produkten 512 sichtbar ist, und weisen daher auf das Vorhandensein von Lücken hin. Wie sich nun zeigen wird, kann eine solche bildbasierte Lückenerkennung in Ermangelung der korrigierten Tiefenkarte fälschlicherweise Lücken erkennen, wo tatsächlich die transparenten Teile 558 der Produkte 512 vorhanden sind, da das Muster der Regalrückseite 516 durch die transluzenten Teile 558 sichtbar sein kann. In anderen Beispielen kann der Lückendetektor so konfiguriert werden, dass er Lücken zwischen den Produkten 512 auf der Grundlage von Tiefenmessungen identifiziert, die mit dem Gerät 103 für die Module 110 oder 510 ermittelt wurden. Wie bereits erwähnt, können Tiefenmessungen, die den Produkten 512 mit transluzenten Regionen entsprechen, diese Produkte 512 ungenau darstellen, was zu falsch positiven Lückendetektionen führt. Die oben beschriebene korrigierte Tiefenkarte kann daher einem solchen tiefenbasierten Lückendetektor zur Verfügung gestellt werden, um Ungenauigkeiten, die durch die transluzenten Regionen in die Tiefenmessungen eingebracht werden, zu mindern.
Variationen zu den oben genannten Systemen und Verfahren werden in Betracht gezogen. Zum Beispiel kann die Aktualisierung der nächstgelegenen Objekttiefen in Block 925 durchgeführt werden, indem nur eine Teilmenge der nächstgelegenen Objekttiefen im Streifen 1000 aktualisiert wird. Beispielsweise können nur die nächstgelegenen Objekttiefen aktualisiert werden, die um einen vordefinierten Schwellenwert größer sind als die Tiefe der oberen Objektbegrenzung (z.B. der oben angegebene Schwellenwert oder ein kleinerer Schwellenwert).
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.
Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Prozessorvorrichtungen“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.
Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.
Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren in einer Bildgebungssteuerung zum Korrigieren von Transluzenzartefakten in Daten, die ein oder mehrere auf einem Regal angeordnete Objekte repräsentieren, umfassend: Erhalten einer Vielzahl von Tiefenmessungen, die von einem Tiefensensor erfasst werden und mit einem Bereich korrespondieren, der das Regal enthält; Erhalten (i) einer Definition einer Ebene, die Kanten des Regals enthält, (ii) eines Ortes in der Ebene einer oberen Regalkante und (iii) eines Ortes in der Ebene einer unteren Regalkante, die an die obere Regalkante angrenzt; Erzeugen einer Tiefenkarte, die für jede einer Vielzahl von Positionen in der Ebene eine nächstgelegene Objekttiefe enthält; Erkennen einer oberen Objektbegrenzung in der Tiefenkarte zwischen der oberen und unteren Trägerflächenkante; Erzeugen einer korrigierten Tiefenkarte durch Aktualisieren jeder nächstgelegenen Objekttiefe zwischen der oberen Objektbegrenzung und der unteren Regalkante, so dass sie eine Tiefe der oberen Objektbegrenzung enthält; und Speichern der korrigierten Tiefenkarte.
Verfahren nach Anspruch 1, ferner umfassend das Darstellen der korrigierten Tiefenkarte auf einem Lückendetektor zur Verwendung bei der Erkennung von Lücken auf dem Regal.
Verfahren nach Anspruch 1, ferner umfassend: vor dem Erzeugen der Tiefenkarte, Anpassen der Tiefenmessungen an einen Referenzrahmen basierend auf der Ebene.
Verfahren nach Anspruch 1, wobei das Erzeugen der Tiefenkarte das Erzeugen jeder nächstgelegenen Objekttiefe umfasst, durch: Zuweisen jeder Tiefenmessung zu einem von einer Vielzahl von Behältern, die in einem dreidimensionalen Gitter angeordnet sind, um eine Zählung von Tiefenmessungen zu erzeugen, die in jeden Behälter fallen; für jede der Vielzahl von Positionen in der Ebene, Durchqueren einer Teilmenge der Behälter in einer Richtung senkrecht zu der Ebene und Sammeln der jeweiligen Zählungen der Teilmenge von Behältern, bis die gesammelten Zählungen einen Schwellenwert erreichen; und Einstellen der nächstgelegenen Objekttiefe als eine Tiefe eines letzten aus der durchquerten Teilmenge von Behältern.
Verfahren nach Anspruch 1, wobei die Erfassung der oberen Objektbegrenzung umfasst: Beginnen am Ort der oberen Regalkante, Durchqueren eines Streifens der Tiefenkarte vom Ort der oberen Regalkante hin zum Ort der unteren Regalkante; und Bestimmen, ob eine Tiefenänderung zwischen durchquerten Positionen im Streifen einen vordefinierten Schwellenwert überschreitet.
Verfahren nach Anspruch 5, wobei der vordefinierte Schwellenwert eine Abnahme der Tiefe definiert.
Verfahren nach Anspruch 5, wobei das Erzeugen der korrigierten Tiefenkarte das Einstellen der nächstgelegenen Objekttiefen jeder Position in dem Streifen zwischen der oberen Objektbegrenzung und dem Ort der unteren Regalkante auf die Tiefe der oberen Objektbegrenzung umfasst.
Verfahren nach Anspruch 5, wobei der Streifen eine Linie ist.
Verfahren nach Anspruch 5, wobei der Streifen eine vordefinierte Breite hat, die größer ist als ein nächstgelegener Objekttiefenwert.
Verfahren nach Anspruch 1, ferner umfassend: vor dem Erzeugen der korrigierten Tiefenkarte, Korrigieren der Nullwerte in der Tiefenkarte durch Ausführen einer undichten Faltung der Tiefenkarte.
Rechenvorrichtung zum Korrigieren von Transluzenzartefakten in Daten, die ein oder mehrere auf einem Regal angeordnete Objekte repräsentieren, umfassend: einen Speicher; und eine mit dem Speicher verbundene Bildgebungssteuerung, wobei die Bildgebungssteuerung umfasst: einen Präprozessor, der so konfiguriert ist, dass er eine Vielzahl von Tiefenmessungen erhält, die von einem Tiefensensor erfasst werden und mit einem Bereich korrespondieren, der das Regal enthält; wobei der Präprozessor ferner so konfiguriert ist, dass er (i) eine Definition einer Ebene, die Kanten des Regals enthält, (ii) einen Ort in der Ebene einer oberen Regalkante und (iii) einen Ort in der Ebene einer unteren Regalkante, die an die obere Regalkante angrenzt, erhält; einen Kartengenerator, der so konfiguriert ist, dass er eine Tiefenkarte erzeugt, die für jede einer Vielzahl von Positionen in der Ebene eine nächstgelegene Objekttiefe enthält; einen Korrektor, der so konfiguriert ist, dass er eine obere Objektbegrenzung in der Tiefenkarte zwischen der oberen und unteren Trägerflächenkante erkennt; und der Korrektor ferner so konfiguriert ist, dass er eine korrigierte Tiefenkarte erzeugt, indem er jede nächstgelegene Objekttiefe zwischen der oberen Objektbegrenzung und der unteren Regalkante so aktualisiert, dass sie eine Tiefe der oberen Objektbegrenzung enthält; und die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die korrigierte Tiefenkarte im Speicher speichert.
Rechenvorrichtung nach Anspruch 11, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die korrigierte Tiefenkarte einem Lückendetektor präsentiert, zur Verwendung bei der Erkennung von Lücken auf dem Regal.
Rechenvorrichtung nach Anspruch 11, wobei der Präprozessor ferner konfiguriert ist, um vor dem Erzeugen der Tiefenkarte Tiefenmessungen an einem Referenzrahmen basierend auf der Ebene anzupassen.
Rechenvorrichtung nach Anspruch 11, wobei der Kartengenerator so konfiguriert ist, dass er jede nächstgelegene Objekttiefe erzeugt, durch: Zuweisen jeder Tiefenmessung zu einem von einer Vielzahl von Behältern, die in einem dreidimensionalen Gitter angeordnet sind, um eine Zählung von Tiefenmessungen zu erzeugen, die in jeden Behälter fallen; für jede der Vielzahl von Positionen in der Ebene, Durchqueren einer Teilmenge der Behälter in einer Richtung senkrecht zu der Ebene und Sammeln der jeweiligen Zählungen der Teilmenge von Behältern, bis die gesammelten Zählungen einen Schwellenwert erreichen; und Einstellen der nächstgelegenen Objekttiefe als eine Tiefe eines letzten aus der durchquerten Teilmenge von Behältern.
Rechenvorrichtung nach Anspruch 11, wobei der Korrektor ferner so konfiguriert ist, dass er die obere Objektbegrenzung erkennt, durch: Beginnen an dem Ort der oberen Regalkante, Durchqueren eines Streifens der Tiefenkarte vom Ort der oberen Regalkante hin zum Ort der unteren Regalkante; und Bestimmen, ob eine Tiefenänderung zwischen durchquerten Positionen in dem Streifen einen vordefinierten Schwellenwert überschreitet.
Rechenvorrichtung nach Anspruch 15, wobei der vordefinierte Schwellenwert eine Abnahme der Tiefe definiert.
Rechenvorrichtung nach Anspruch 15, wobei der Korrektor ferner so konfiguriert ist, dass er die korrigierte Tiefenkarte erzeugt, indem er die nächstliegenden Objekttiefen jeder Position in dem Streifen zwischen der oberen Objektbegrenzung und dem Ort der unteren Regalkante auf die Tiefe der oberen Objektbegrenzung einstellt.
Rechenvorrichtung nach Anspruch 15, wobei der Streifen eine Linie ist.
Rechenvorrichtung nach Anspruch 15, wobei der Streifen eine vordefinierte Breite hat, die größer ist als ein nächstgelegener Objekttiefenwert.
Rechenvorrichtung nach Anspruch 11, wobei der Kartengenerator ferner konfiguriert ist, um: vor dem Erzeugen der korrigierten Tiefenkarte, Nullwerte in der Tiefenkarte durch Ausführen einer undichten Faltung der Tiefenkarte zu korrigieren.