DE112016005287T5

DE112016005287T5 - Verfahren und systeme zur behälter-vollheitsschätzung

Info

Publication number: DE112016005287T5
Application number: DE112016005287.1T
Authority: DE
Inventors: Yan Zhang; Jay J. Williams; Kevin J. O'Connell; Cuneyt M. Taskiran
Original assignee: Symbol Technologies LLC
Current assignee: Symbol Technologies LLC
Priority date: 2015-11-18
Filing date: 2016-11-10
Publication date: 2018-08-02
Also published as: GB2558507A; CA3005452A1; CA3005452C; WO2017087244A1; PL239620B1; PL430920A1; MX2018006105A; PL426752A1; GB2558507B; GB201807994D0

Abstract

Ein Verfahren und eine Vorrichtung zum Empfangen eines Tiefenrahmens von einem Tiefensensor, der auf ein offenes Ende eines Versandbehälters orientiert ist, der Tiefenrahmen aufweisend eine Mehrzahl von Gitterelementen, die jeweils einen zugehörigen Tiefenwert haben, identifizieren einer oder mehrere Verdeckungen in dem Tiefenrahmen, korrigieren einer oder mehrere Verdeckungen in dem Tiefenrahmen unter Verwendens von einem oder mehreren zeitlich benachbarten Tiefenrahmen, und ausgeben des korrigierten Tiefenrahmens zur Vollheitsschätzung.

Description

HINTERGRUND
Effizientes Beladen von Behältern ist ein Schlüsselelement zur erfolgreichen Verteilung in der Transport- und Logistik-Industrie. Es ist für die erfolgreiche Verteilung entscheidend, dass sichergestellt wird, dass jeder Behälter während des ganzen Beladungsvorgangs effizient beladen wird. Jedoch war die Unfähigkeit, nachzuprüfen zu können, ob jeder Behälter dieses Ziel erreicht, ein Problem in der Industrie.
Es gibt einen Bedarf zum Überwachen oder Messung in Echtzeit der Behälter während des Beladungsvorgangs. Diese Funktionalität könnte für Verkäufer einen guten Betriebswert durch eine Beladungsoptimierung bereitstellen.
Dementsprechend gibt es einen Bedarf für Verfahren und Systeme zur automatischen Vollheitsschätzung von Behältern und zum Detektieren - und Korrigieren von - Verdeckungen zum Aufrechterhalten einer akkuraten Vollheitsschätzung der Behälter.
Figurenliste
Die beigefügten Figuren, in denen gleiche Bezugszeichen sich auf identische oder funktional ähnliche Elemente durchgehend in den einzelnen Figuren beziehen, sind zusammen mit der detaillierten Beschreibung unten in die Anmeldung eingegliedert und bilden einen Teil davon und dienen dem weiteren Darstellen von hierin offenbarten Ausführungsformen und erklären verschiedene Prinzipien und Vorteile dieser Ausführungsformen.

1 stellt einen Versandbehälter gemäß einiger Ausführungsformen dar.
2A stellt eine flache hintere Oberfläche eines Versandbehälters gemäß einiger Ausführungsformen dar.
2B stellt eine gekrümmte hintere Oberfläche des Versandbehälters gemäß einiger Ausführungsformen dar.
3 stellt eine Beladener-Behälter-Punktwolke gemäß einiger Ausführungsformen dar.
4 stellt eine segmentierte Beladener-Behälter-Punktwolke gemäß einiger Ausführungsformen dar.
5 stellt eine Expandiertes-Gitterelement-Ansicht einer segmentierten Beladener-Behälter-Punktwolke gemäß einiger Ausführungsformen dar.
6 stellt eine architektonische Ansicht eines Beispiels einer Rechenvorrichtung gemäß einiger Ausführungsformen dar.
7 stellt ein erstes Beispiel eines Verfahren gemäß einiger Ausführungsformen dar.
8 stellt einen Versandbehälter dar, der einen optisch lesbaren Identifikator hat, gemäß einiger Ausführungsformen.
9 stellt ein zweites Beispiel eines Verfahren gemäß einiger Ausführungsformen dar.
10 stellt ein Beispiel eines Szenarios zum Detektieren von Verdeckungen in einem Versandbehälter gemäß einiger Ausführungsformen dar.
11 stellt ein Beispiel eines Teilprozesses zum Detektieren naher Verdeckungen gemäß einiger Ausführungsform dar.
12 stellt ein Beispiel eines Teilprozesses zum Detektieren ferner Verdeckungen gemäß einiger Ausführungsformen dar.
13 zeigt ein Beispiel einer zeitlichen Analyse gemäß einigen Ausführungsformen.
14A und 14B stellen Beispiele von graphisch dargestellten Behälter-Vollheitsschätzung-Ergebnissen ohne bzw. mit Verdeckungs-Korrektur gemäß einiger Ausführungsformen dar.

Fachleute werden erkennen, dass die Elemente in den Figuren aus Gründen der Einfachheit und Klarheit nicht notwendigerweise maßstabsgetreu dargestellt sind. Beispielsweise können die Abmessungen von einigen Elementen in den Figuren im Vergleich zu andern Elementen übertrieben sein, um zu helfen, das Verstehen der hierin offenbarten Ausführungsformen zu verbessern.
Die Vorrichtungs- und Verfahrens-Komponenten wurden in den Zeichnungen, wo geeignet, mittels herkömmlichen Symbolen repräsentiert, wobei nur jene spezifischen Details gezeigt werden, die zum Verstehen der hierin offenbarten Ausführungsformen sachdienlich sind, so dass die Offenbarung nicht mit Details verschleiert wird, die für den Durchschnittsfachmann, der den Nutzen der Beschreibung hat, hierin offensichtlich sind.
DETAILLIERT BESCHREIBUNG
Einen Ausführungsform ist in Form eines Prozesses, der aufweist (a) Empfangen einer dreidimensionalen (3D) Punktewolke von einem Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist, wobei die Punktewolke eine Mehrzahl von Punkten aufweist, die jeweils einen zugehörigen Tiefenwert haben, (b) Segmentieren der empfangenen 3D- Punktewolke unter einer Mehrzahl von Gitterelementen, (c) Berechnen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement, (d) Berechnen eines Beladenen-Behälterabschnitt-Volumens des Versandbehälters durch Aggregieren der berechneten zugehörigen Beladenen-Behälterabschnitt-Gitterelementvolumina, (e) Berechnen einer geschätzten Vollheit des Versandbehälters basierend auf dem Beladenen-Behälterabschnitt-Volumen und einer Kapazität des Versandbehälters; und (f) Ausgeben der berechneten abgeschätzten Vollheit des Versandbehälters.
Eine andere Ausführungsform ist in Form eines Systems, das einen Tiefensensor, eine Kommunikationsschnittstelle, einen Prozessor, einen Datenspeicher, der Anweisungen beinhaltet, die mittels des Prozessors durchführbar sind zum Veranlassen des Systems, zumindest die in den voranstehenden Absätzen beschriebenen Funktionen durchzuführen.
In zumindest einer Ausführungsform bildet die Mehrzahl von Gitterelementen kollektiv ein zweidimensionales (2D) Gitterbild, das einer Ebene entspricht, die parallel zu dem offenen Ende des Versandbehälters ist, wobei jedes Gitterelement einen zugehörigen Gitterelementbereich hat, und das Verfahren ferner aufweist, Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement, wobei das Berechnen des zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement auf zumindest dem jeweiligen Gitterelementbereich und dem jeweiligen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes zugehörige Gitterelement basiert.
In zumindest einer Ausführungsform weist das Verfahren ferner auf bestimmen eines Unbeladenen-Behälterabschnitt-Tiefenwerts für jedes Gitterelement, und das Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes Gitterelement basiert zumindest teilweise auf der Differenz zwischen (i) einer Tiefenabmessung des Versandbehälters und (ii) des bestimmten Unbeladenen-Behälterabschnitt-Tiefenwerts für das entsprechende Gitterelement.
In zumindest einer Ausführungsform weist zuweisen des Gitterelement-Tiefenwerts für das gegebene Gitterelement, der auf den Tiefenwerten der Punkte in der Punktwolke basiert, die dem gegebenen Gitterelement entsprechen, auf, zuweisen als den Gitterelement-Tiefenwert für das gegebene Gitterelement eines Minimalwerts aus den Tiefenwerten der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen.
In zumindest einer Ausführungsform weist zuweisen des Gitterelement-Tiefenwerts für das gegebene Gitterelement, der auf den Tiefenwerten der Punkte in der Punktwolke basiert, die dem gegebenen Gitterelement entsprechen, auf, zuweisen als den Gitterelement-Tiefenwert für das gegebene Gitterelement eines Durchschnittswert der Tiefenwerte der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen.
In zumindest einer Ausführungsform ist die Tiefenabmessung des Versandbehälters eine gitterelementspezifische Tiefenabmessung, die auf einem entsprechenden Gitterelement in einer Referenz-Leerbehälter-Punktwolke basiert. In zumindest einer derartigen Ausführungsform reflektiert die Referenz-Leerbehälter-Punktwolke eine Rückwand des Versandbehälters, die eine flache Oberfläche ist. In zumindest einer derartigen anderen Ausführungsform reflektiert die Referenz-Leerbehälter-Punktwolke eine Rückwand des Versandbehälters, die eine gekrümmte Oberfläche ist.
In wenigsten einer Ausführungsform weist das Verfahren ferner auf ein Säubern des 2D-Gitterbildes vor dem Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement.
In zumindest einer Ausführungsform hat der Tiefensensor eine optische Achse und eine Bildebene und das Verfahren weist ferner auf, vor dem Segmentieren der empfangenen Punktewolke unter einer Mehrzahl von Gitterelementen, drehen der empfangenen 3D-Punktewolke, um (i) die optische Achse mit einem Bodenniveau und (ii) die Bildebene mit einer Endebene des Versandbehälters auszurichten.
In zumindest einer Ausführungsform basiert das Drehen der Punktewolke auf einem Offline-Kalibrierungsprozessunter, wobei das Bodenniveau und die Endebene als Referenz verwendet werden.
In zumindest einer Ausführungsform weist das Verfahren ferner auf das Bestimmen der Kapazität des Versandbehälters basierend zumindest teilweise auf der empfangenen 3D-Punktewolke.
In zumindest einer Ausführungsform weist das Verfahren ferner auf (i) Empfangen eines optischen Bildes des Versandbehälters und (ii) Bestimmen der Kapazität des Versandbehälters, basierend zumindest teilweise auf dem empfangenen optischen Bild. In zumindest einer derartigen Ausführungsform weist Bestimmen der Kapazität des Versandbehälters, das zumindest teilweise auf dem empfangenen optischen Bild basiert, auf, (i) bestimmen zumindest einer physikalischen Abmessung des Versandbehälters aus dem empfangen optischen Bild und (ii) bestimmen der Kapazität des Versandbehälters, die auf zumindest einer bestimmen physikalischen Abmessung basiert. In zumindest einer anderen derartigen Ausführungsform weist Bestimmen der Kapazität des Versandbehälters, die zumindest teilweise auf dem empfangenen optischen Bild basiert, auf (i) Verwenden von optischer Zeichenerkennung (OCR: Optical Character Recognition,) an dem zumindest einem empfangenen optischen Bild um zumindest einen Identifikator des Versandbehälters zu bestimmen und (ii) Verwenden des zumindest einen ermittelten Identifikators des Versandbehälters zum Bestimmen der Kapazität des Versandbehälters.
In zumindest einer Ausführungsform hat jedes Gitterelement Seiten, die im Wesentlichen in der Länge gleich 5 Millimetern (mm) sind.
In zumindest einer Ausführungsform ist jedes Gitterelement im Wesentlichen quadratisch und eine Seitenlänge eines Gitterelements ist ein einstellbarer Parameter.
Eine Ausführungsform nimmt die Gestalt eines Verfahrens ein, das aufweist, Empfangen eines Tiefenrahmens (depth frame) aus einem Tiefensensor der hin zu einem offenen Ende eines Versandbehälters orientiert ist, wo der Tiefenrahmen auf eine 2D-Gitterkarte projiziert ist, die eine Mehrzahl von Gitterelemente aufweist, von denen jedes einen zugehörigen Tiefenwert hat, Identifizieren einer oder mehrere Verdeckungen in dem Tiefenrahmen, Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen unter Verwenden einer oder mehrerer zeitlich benachbarter Tiefenrahmen; und Ausgeben des korrigierten Tiefenrahmens zur Vollheitsschätzung.
In einigen Ausführungsformen weist die eine oder mehrere Verdeckungen eine Fehldaten-Verdeckung auf. In einigen Ausführungsformen weist identifizieren der Fehldaten-Verdeckung auf, (i) Erzeugen einer Binarisierungskarte, die zwischen (a) Gitterelementen für die der zugehörige Tiefenwert gültig ist, und (b) Gitterelemente für die der zugehörige Tiefenwert nicht gültig ist, unterscheidet, und (ii) Identifizieren der Fehldaten-Verdeckung als ein Cluster von Gitterelementen in der Binarisierungskarte, für die der zugehörige Tiefenwert nicht gültig ist. In einigen Ausführungsformen weist identifizieren der Fehldaten-Verdeckung auf, bestätigen, dass der identifizierte Cluster von Gitterelementen einen vorbestimmten Verdeckungsgrößen-Schwellwert überschreitet. In einigen Ausführungsformen weist identifizieren der Fehldaten-Verdekung ferner auf, ausführen einer Kantendetektion an dem Cluster von Gitterelementen. In einigen Ausführungsformen weist identifizieren der Fehldaten-Verdeckung ferner auf, ausführen einer Konturidentifikation an dem Cluster von Gitterelementen.
In einigen Ausführungsformen weist die eine oder mehrere Verdeckungen eine sich bewegende Verdeckung auf. In einigen Ausführungsformen ist die sich bewegende Verdeckung mit einem einzigen Gitterelement in der Mehrzahl von Gitterelementen verknüpft. In einigen Ausführungsformen weist identifizieren der sich bewegenden Verdeckung auf, identifizieren eines Schwellwerttiefenänderung in dem einzelnen Gitterelement zwischen dem Tiefenrahmen und zumindest einem zeitlich benachbarten Tiefenrahmen auf. In einigen Ausführungsformen weist identifizieren der bewegenden Verdeckung auf, identifizieren, dass der Tiefenwert, der mit dem einzelnen Gitterelement verknüpft ist, in Bezug auf vorherige Rahmen abnimmt und dann in nachfolgenden Rahmen mit weniger als einem Schwellenwertbetrag der Zeit über mehrere Tiefenrahmen zunimmt.
In einigen Ausführungsformen weist die eine oder mehrere Verdeckungen eine diskontinuierliche Verdeckung auf. In einigen Ausführungsformen weist identifizieren der diskontinuierlichen Verdeckung auf, identifizieren eines Gitterelemente-Clusters, der einen kollektiven Tiefenwert hat, der mehr als eine Schwellwertdifferenz und weniger als ein Tiefenwert einer Beladenen-Abschnitt-Grenze des Versandbehälters ist. In einigen Ausführungsformen weist identifizieren der diskontinuierlichen Verdeckung auf bestätigen, dass der Gitterelemente-Cluster einen vorbestimmten Verdeckungsgrößen-Schwellwert überschreitet. In einigen Ausführungsformen weist identifizieren der diskontinuierlichen Verdeckung auf, ausführen einer Kantendetektion an dem Gitterelemente-Cluster auf. In einigen Ausführungsformen weist Identifizieren der diskontinuierlichen Verdeckung auf, ausführen einer Konturidentifikation an dem Gitterelemente-Cluster.
In einigen Ausführungsformen sind die Gitterelemente Pixel. In einigen Ausführungsformen sind die Gitterelemente Gruppen von Pixel.
In einigen Ausführungsformen entspricht die eine oder mehre identifizierte Verdeckungen einem Verdeckungssatz der Gitterelementen in dem Tiefenrahmen, und wobei ein Korrigieren der einen oder mehrere Verdeckungen in dem Tiefenrahmen unter Verwenden eines oder mehrere zeitlich benachbarter Tiefenrahmen, ein Überschreiben des Verdeckungssatzes in dem Tiefenrahmen mit Daten aus entsprechenden nicht verdeckten Gitterelementen aus einem oder mehrere der zeitlich benachbarten Tiefenrahmen aufweist.
In einigen Ausführungsformen weist das Identifizieren der einen oder mehreren Verdeckungen Analysieren eines Buffers von Tiefenrahmen auf, wobei der Buffer die empfangenen Tiefenrahmen aufweist.
Eine Ausführungsform nimmt die Gestalt eines Systems ein, das aufweist einen Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist, eine Kommunikationsschnittstelle, einen Prozessor und einen Datenspeicher, der Anweisungen beinhaltet, die von dem Prozessors durchführbar sind zum Veranlassen des Systems zum Ausführen eines Satz von Funktionen, wobei der Satz von Funktionen aufweist: Empfangen eines Tiefenrahmen von dem Tiefensensor, wobei der Tiefenrahmen eine Mehrzahl von Gitterelementen aufweist, die jedes einen zugehörigen Tiefenwert haben; Identifizieren von einem oder mehreren Verdeckungen in dem Tiefenrahmen; Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen unter Verwenden von einem oder mehreren zeitlich benachbarter Tiefenrahmen, und Ausgeben des korrigierten Tiefenrahmens zur Vollheitsschätzung.
Zudem kann jede der hierin beschriebenen Variationen und Permutationen bei jeder Ausführungsform implementiert werden, die jede Verfahrensausführungsform und jede Systemausführungsform mit umfasst. Außerdem ist diese Flexibilität und übergreifende Anwendbarkeit von Ausführungsform ist vorhanden, trotz des Verwendens einer leicht unterschiedlichen Ausdrucksweise (z.B. Prozess, Verfahren, Schritte Funktionen, Satz von Funktionen, und dergleichen) zum Beschreiben und charakterisieren derartiger Ausführungsformen.
Bevor mit der detaillierten Beschreibung fortgefahren wird, wird darauf hingewiesen, dass die Entitäten, Verbindungen, Anordnungen und dergleichen, die in verschieden Figuren dargestellt sind - und in Verbindung mit denselben beschrieben werden - als Beispiel und nicht beschränkend präsentiert werden. Als solches kann jede und alle Erklärungen oder andere Angaben wie was eine bestimmte Figure „darstellt“, was ein bestimmtes Element oder eine bestimmte Entität in einer bestimmten Figur „ist“ oder „hat“, und jede und alle Erklärungen - die isoliert und außerhalb des Kontexts als absolut und daher beschränkend gelesen werden können - nur mit einem konstruktiv vorangestellten Satz wie „In zumindest einer Ausführungsform, ...“ richtig gelesen werden. Und aus Gründen der Kürze und Klarheit der Darstellung wird dieser konkludent vorangehende Satz in dieser detaillierten Beschreibung nicht ad nauseum wiederholt.
1 stellt einen Versandbehälter gemäß einiger Ausführungsformen dar. Insbesondre stellt 1 (i) einen Versandbehälter 102 und (ii) einen Tiefensensor 104 dar, der hin zu einem offenen Ende des Versandbehälters 102 orientiert ist. In verschieden unterschiedlich Beispielen kann der Versandbehälter 102 zum Reisen mittels Lastkraftwagen, Schiene, Boote Flugzeug und / oder jedem anderen Reisemodus oder - modi designt sein. Zudem kann, wie hierin vollständig diskutiert wird, der Versandbehälter 102 jede Anzahl von unterschiedlichen Gestalten haben; eine im Wesentlichen rechteckige Gestalt (d.h. einen rechteckigen Zylinder) ist beispielsweise in 1 dargestellt. Wie in 1 dargestellt, beinhaltet der Versandbehälter 102 Gegenstände (z.B. Boxen und/oder Packstücke) 106. Der Versandbehälter 102 kann eine Anzahl von unterschiedlichen Oberflächen haben, vielleicht flach, vielleicht gekrümmt, aus zahlreichen anderen Möglichkeiten, die hier aufgelistet werden könnten.
Es gibt eine Anzahl von Tiefensensor- 104-Arten, die verwendet werden könnten, vielleicht einer mit einem RGB-Sensor, einer Schaltbewegung, vielleicht einer Intel Wahrnehmungs-Berechnung (Intel perceptual computing), vielleicht Mircrosoft Kinect, einer aus zahlreichen anderen Möglichkeiten, die hier aufgelistet werden könnten. Es gibt auch eine Anzahl von Tiefenerkennungstechniken, die in dem Tiefensensor implementiert werden können, vielleicht ein Verwenden einer Stereotriangulation, vielleicht ein Verwenden einer Flugzeit, vielleicht ein Verwenden von codierten Löchern, eins aus zahlreichen anderen Möglichkeiten, die hier aufgelistet werden könnten. Beispielsweise kann der Tiefensensor 104 an einer Wand oder einer Stütze oder dergleichen in einem vorgegebenen Versandwarenlager montiert sein, und der Versandbehälter 102 kann auf der Ladefläche eines Lastkraftwagens positioniert sein und dann in eine Position derart (z.B. zurückstoßend) gefahren werden, dass der Tiefensensor 104 hin zu einem offenen Ende des Versandbehälters 102, wie in 1 dargestellt, orientiert ist.
Wie oben erwähnt, können unterschiedliche Versandbehälter unterschiedliche Gestalten haben. Zwei Beispiele sind in 2A und 2B gezeigt. Insbesondre 2A stellt (i) eine flache Rückwand (d.h. Oberfläche) 202 eines Versandbehälters und (ii) einen Tiefensensor 204 dar, wohingegen 2B (i) eine gekrümmte Rückwand (d.h. Oberfläche) 206 eines Versandbehälters und einen (ii) Tiefensensor 208 darstellt. Und sicherlich können hier zahlreiche andere Beispiele von Versandbehälter-Gestalten vorgestellt werden.
3 stellt eine Beladenen-Behälter-Punktwolke gemäß einiger Ausführungsformen dar. Insbesondre 3 stellt eine 3D-Punktwolke 302 dar. Im Allgemeinen kann der Tiefensensor, der auf das offene Ende des Versandbehälters orientiert ist, Tiefeninformation in einem gegebenen Sichtfeld sammeln und Information an ein System übertragen, das ausgestattet, programmiert und konfiguriert ist, die gegenwärtigen Systeme und Verfahren durchzuführen. Dieser Satz von Informationen (d. h. Punkte) wird hierin als eine 3D-Punktwolke (oder manchmal einfach als eine Punktwolke) bezeichnet; jeder Punkt in einer solchen Wolke entspricht einer wahrgenommenen Tiefe an einem entsprechenden Punkt im Sichtfeld des Tiefensensors.
Zurück zu 3, in der ein Umriss 304 eines Versandbehälters gezeigt ist, wie auch die Umrisse 306A, 306B und 306C von Beispiel-Packstücke in dem Beispiel-Versandbehälter gezeigt sind. Diese Umrisse 304 und 306A -C sollen im Wesentlichen dem Versandbehälter 104 und den Packstücke 106 entsprechen, die in 1 dargestellt sind. 1, um dem Leser beim Visualisieren eines Beispiels eines realen Szenarios zu helfen, aus dem die Beispiel-Punktwolken 302 hätte abgeleitet, gesammelt oder dergleichen werden können. Außerdem ist zum Zwecke der Veranschaulichung jeder Punkt in der Punktwolke 302 mit einer ganzen Zahl in 3 gezeigt, die einem Beispieltiefenwert entspricht (in z. B. Einheiten wie Meter). In der aktuellen Implementierung kann jede Anzahl von Punkten in der Punktewolke 302 vorliegen, wie die verschiedenen Punkte, die in 3 als Teil der Punktwolke 302 dargestellt sind, die lediglich zur Veranschaulichung vorgesehen sind und nicht vollständig zu verstehen sind.
Außerdem, wie vollständiger unten diskutiert wird, hat der Tiefensensor, der in einigen Ausführungsformen hin zu einem offenen Ende des Versandbehälters orientiert ist, einen Aussichtspunkt, der nicht auf die Mitte des offenen Endes des Versandbehälters in einer oder mehreren Dimensionen ausgerichtet ist. D.h., der Tiefensensor und der Versandbehälter kann relativ zueinander derart positioniert sein, dass der Tiefensensor einigermaßen von der einen Seite auf die andere Seite blickt und auch vertikal weg von der Mitte sein könnte. So kann beispielsweise der Tiefensensor höher und rechts von der Mitte der Ebene positioniert sein, die dem offenen Ende des Versandbehälters entspricht.
Wie nachstehend ausführlicher beschrieben wird, umfasst die vorliegende Offenbarung eine Segmentierung und eine Projektion der empfangenen Punktwolke in eine Anzahl von Gitterelementen in einer 2D-Gitterkarte, die kollektiv dem offenen Ende des Versandbehälters entsprechen. In Fällen, in denen der Tiefensensor zufällig rechtwinklig zum offenen Ende des Versandbehälters positioniert ist und auch zu diesem offenen Ende vertikal zentriert ist, kann dieser Segmentierungs- und Projektionsschritt ohne dass zuerst einen oder mehrere geometrische Drehungen durchzuführen sind, ausgeführt werden. In anderen Fällen enthalten jedoch die vorliegenden Systeme und Verfahren vor dem Ausführen des nachstehend beschriebenen Segmentierungsschritts und der verschiedenen anderen Schritte, die darauffolgen, einen Schritt mit einer oder mehreren geometrischen Drehungen gemäß den relativen Positionen des Tiefensensors und des offenen Endes des Versandbehälters. Eine derartige relative Position kann in das System vorprogrammiert sein, oder könnte anderweitig unter Verwenden von Tiefensensoren, optischen Kameras und / oder einer anderen geeigneten Ausrüstung, bestimmt werden.
4 stellt eine segmentierte Beladener-Behälter-Punktwolke dar gemäß einigen Ausführungsformen. Insbesondere stellt 4 eine segmentierte 3D-Punktwolke 402 dar, die auf verschiedene Arten erzeugt werden kann, wie beispielsweise kantenbasierte Segmentierung, oberflächenbasierte Segmentierung, und / oder Scanlinien-basierte Segmentierung, neben zahlreichen anderen Möglichkeiten, die hier aufgelistet werden können. Außerdem ist anzumerken, dass 4 die segmentierte Punktwolke 402 darstellt, nachdem irgendwelche notwendigen Drehungen durchgeführt wurden, um die relativen Positionen und Ausrichtungen des Tiefensensors und des offenen Endes des Versandbehälters zu berücksichtigen.
Wie oben beschrieben, ist in zumindest einer Ausführungsform die Punktwolke 402 unter einer Mehrzahl von Gitterelementen segmentiert, die kollektiv ein 2D-Gitterbild bilden, das einer entspricht Ebene, die parallel zum offenen Ende des Versandbehälters ist. Jedes Gitterelement hat einen entsprechenden Gitterelementbereich. In 4 sind die Gitterelemente als im Wesentlichen quadratisch gezeigt (z. B. 5 mm x 5 mm), obwohl dies beispielhaft und nicht einschränkend ist, da beliebige geeignete Abmessungen und / oder Formen verwendet werden könnten, wie sie von Fachleuten für eine gegebene Implementierung als geeignet erachtet werden. Außerdem ist in einigen Ausführungsformen die Seitenlänge der Gitterelemente ein einstellbarer Parameter. In einigen Fällen ist dieser Parameter so klein eingestellt, wie es der zugehörige Tiefensensor zulässt und / oder kann. In der Tat spielt die Auflösung des Tiefensensors dahingehend eine Rolle, ob Schätzungen der Behältervollheit überschätzt oder unterschätzt werden. Wie in FIG. In 4 zu sehen ist, ist ein beispielhaftes Gitterelement 404 als Beispiel hervorgehoben. Das Gitterelement 404 ist so dargestellt, dass es zehn Gesamtpunkte aus der segmentierten Punktwolke 402 enthält; vier von diesen zehn Punkte haben einen Tiefenwert von 1 (z. B. 1 Meter), fünf von diesen zehn Punkten haben eine Tiefenwert von 2 (z. B. 2 Meter), und einer dieser zehn Punkte hat einen Tiefenwert von 3 (z. B. 3 Meter). Diese Anzahl von Punkten in dem Gitterelement 404 und diese jeweiligen Tiefenwerte sind rein beispielhaft und zur Veranschaulichung und in keiner Weise beschränkend.
5 zeigt eine expandierte Gitterelementansicht einer segmentierten Beladener-Behälter-Punktwolke gemäß einigen Ausführungsformen. Insbesondere zeigt 5 eine segmentierte 3D-Punktewolke 502 (obwohl zu weit herausgezoomt, um einzelne Punkte darzustellen) und ein expandiertes Gitterelement 504. Das expandierte Gitterelement 504 weist nur als Beispiel den gleichen zehn Punkte-Satz auf, wie in dem Gitterelement 404 von 1 sind. 4, wenn auch in anderer Anordnung; d.h. es gibt zehn Gesamtpunkte, einschließlich vier Punkte mit einem Tiefenwert von 1, fünf Punkte mit einem Tiefenwert von 2 und einen Punkt mit einem Tiefenwert von 3.
In Verbindung mit verschiedenen Ausführungsformen wird dem Gitterelement 504 ein charakteristischer Tiefenwert zugewiesen, der auf den Tiefenwerten von den Punkten in dem Unterabschnitt der 3D-Punktwolke basiert, der in dem jeweiligen Gitterelement 504 gefunden wird. Unter diesen Tiefenwerten kann der charakteristische Tiefenwert für das Gitterelement ein Minimalwert, ein Modal- (d.h. der am häufigsten auftretender) Wert, ein Durchschnittswert oder eine andere Möglichkeit sein. Unter Verwenden der Beispieldaten, die in 5 vorliegen: wenn der Minimalwert verwendet wird, dann wäre der charakteristische Tiefenwert 1 für das Gitterelement 504; wenn der Modalwert verwendet wird, dann wäre der charakteristische Tiefenwert 2 für das Gitterelement 504; wenn der Durchschnittswert verwendet wird, dann wäre der charakteristische Tiefenwert 1,7 für das Gitterelement 504 (oder 2, falls auf die nächste ganze Zahl aufgerundet wird). Und sicherlich können zahlreiche andere mögliche Implementierungen hier aufgelistet werden. Wie weiter unten ausführlicher beschrieben wird, wird dann der charakteristische Tiefenwert, der einem gegebenen Gitterelement zugewiesen ist, wird dann zusammen mit dem Bereich dieses Gitterelements verwendet, um ein Beladener-Abschnitt-Volumen für das jeweilige Gitterelement zu berechnen.
6 stellt eine architektonische Ansicht eines Beispiels einer Rechenvorrichtung gemäß einigen Ausführungsformen dar. Die Beispiel-Rechenvorrichtung 600 kann so konfiguriert sein, die hierin beschriebenen Funktionen durchzuführen, und weist, wie dargestellt, eine Kommunikationsschnittstelle 602, einen Prozessor 604, einen Datenspeicher 606 (der Programmanweisungen 608 und Betriebsdaten 610 beinhaltet), eine Benutzerschnittstelle 612, Peripheriegeräte 614 und einen Kommunikationsbus 616 auf. Diese Anordnung wird als Beispiel und nicht einschränkend präsentiert, da andere Anordnungen als Beispiel hier beschrieben werden könnten.
Die Kommunikationsschnittstelle 602 kann so konfiguriert sein, dass sie zur Kommunikation gemäß einem oder mehreren drahtlosen Kommunikationsprotokollen betreibbar ist, von denen einige Beispiele LMR, LTE, APCO P25, ETSI DMR, TETRA, Wi-Fi, Bluetooth und dergleichen aufweisen. Die Kommunikationsschnittstelle 602 kann auch oder stattdessen eine oder mehrere drahtgebundene Kommunikationsschnittstellen (zur Kommunikation z. B. gemäß Ethernet, USB und / oder einen oder mehrere andere Protokollen) aufweisen. Die Kommunikationsschnittstelle 602 kann jede notwendige Hardware (z. B. Chipsätze, Antennen, Ethernet-Schnittstellen usw.), jede notwendige Firmware und jede notwendige Software zum Durchführen einer oder mehrerer Kommunikationsformen mit einer oder mehreren anderen Entitäten wie hierin beschrieben, aufweisen.
Der Prozessor 604 kann einen oder mehrere Prozessoren irgendeiner Art aufweisen, die von Fachleuten als geeignet erachtet wird, wobei einige Beispiele einen Universal-Mikroprozessor und einen dedizierten digitalen Signalprozessor (DSP) aufweisen.
Der Datenspeicher 606 kann die Form irgendeines nicht-transitorischen computerlesbaren Mediums oder einer Kombination solcher Medien annehmen, wobei einige Beispiele Flash-Speicher, Nur-Lese-Speicher (ROM) und Direktzugriffsspeicher (RAM) aufweisen, um nur einige als eine oder mehrere Arten von nicht-transitorischer Datenspeichertechnologie zu nennen, die von Fachleuten als verwendbar erachtet, und verwendet werden könnten. Wie in 6 dargestellt, beinhaltet der Datenspeicher 606 Programmanweisungen 608, die mittels des Prozessors 604 durchführbar sind, um verschiedene hierin beschriebene Funktionen durchzuführen, und wie ferner dargestellt, beinhaltet der Datenspeicher 606 Betriebsdaten 610, die einen oder mehrere Datenwerte aufweisen, die von der Rechenvorrichtung gespeichert werden und / oder auf die von derselben beim Durchführen von einer oder mehreren der hierin beschriebenen Funktionen zugegriffen wird.
Die Benutzerschnittstelle 612 kann ein oder mehrere Eingabevorrichtungen (auch bekannt als Komponenten und dergleichen) und / oder ein oder mehrere Ausgabevorrichtungen (auch bekannt als Komponenten und dgl.) aufweisen. In Bezug auf Eingabevorrichtungen kann die Benutzerschnittstelle 612 einen oder mehrere Touchscreens, Tasten, Schalter, Mikrofone und dgl. aufweisen. In Bezug auf Ausgabevorrichtung kann die Benutzerschnittstelle 612 ein oder mehrere Anzeigen, Lautsprecher, Leuchtdioden (LEDs) und dergleichen aufweisen. Außerdem könnten eine oder mehrere Komponenten (z. B. ein interaktiver Touchscreen und eine interaktive Anzeige) der Benutzerschnittstelle 612 sowohl eine Benutzereingabe- als auch eine Benutzerausgabefunktionalität bereitstellen.
Die Peripheriegeräte 614 können ein beliebiges Rechenvorrichtungszubehörteil, eine Komponente oder dergleichen aufweisen, auf das während des Betriebs mittels der Rechenvorrichtung zugegriffen werden kann und das mittels derselben verwendbar ist. In einigen Ausführungsformen weisen die Peripheriegeräte 614 einen Tiefensensor auf. In einigen Ausführungsformen weisen die Peripheriegeräte 614 eine Kamera zum Aufnehmen von digitalen Video- und / oder Standbildern auf. Und sicherlich könnten andere Peripheriegeräte als Beispiel aufgelistet werden.
7 stellt ein erstes Beispiel eines Verfahren gemäß einigen Ausführungsformen dar. Insbesondere stellt 7 ein Verfahren 700 dar, das die Schritte 702, 704, 706, 708, 710 und 712 aufweist und nachfolgend als Beispiel beschrieben wird, wie es von der Rechenvorrichtung 600 von 6 durchgeführt wird, obwohl das Verfahren 700 im Allgemeinen von jeder Rechenvorrichtung durchgeführt werden kann, die passend ausgestattet, programmiert und konfiguriert ist.
In Schritt 702 empfängt das Rechensystem 600 eine 3D-Punktwolke von einem Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist. Die Punktwolke weist eine Mehrzahl von Punkten auf, die jeweils einen zugehörig Tiefenwert haben. Wie oben beschrieben, kann, falls aufgrund der jeweiligen Positionierung und Ausrichtung des Tiefensensors und des offenen Endes des Versandbehälters erforderlich, das Rechensystem 600 bei Empfang der 3D-Punktwolke, die empfangenen 3D-Punktwolke drehen, um (i) die optische Achse mit einem Bodenniveau und (ii) die Bildebene mit einer Endebene des Versandbehälters auszurichten. Dieses Drehen der empfangenen Punktwolke kann auf einem Kalibrierungsprozess basieren (z. B. einem Offline-Kalibrierungsprozess), bei dem das Bodenniveau und die Endebene als Referenz verwendet werden.
In Schritt 704 segmentiert das Rechensystem 600 die 3D-Punktwolke, die in Schritt 702 mitten unter einer Mehrzahl von Gitterelementen empfangen wurde. Wie oben beschrieben, können diese Gitterelemente eine im Wesentlichen rechteckige (z. B. quadratische) Gestalt aufweisen, und sie können kollektiv ein 2D-Gitterbild bilden, das einer Ebene entspricht, die parallel zu dem offenen Ende des Versandbehälters ist, wobei jedes Gitterelement einen zugehörigen Gitterelementbereich hat.
In Schritt 706 berechnet das Rechensystem 600 ein zughöriges Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement. Das Rechnersystem 600 kann dies tun, indem zuerst ein zugehöriger Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes Gitterelement bestimmt wird und dann jedes zugehörige Beladenen-Behälterabschnitt-Gitterelement-Volumen für jedes Gitterelement bestimmt wird durch Multiplizieren des Bereichs des jeweiligen Gitterelements mit dem zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert des jeweiligen Gitterelements. In einigen Ausführungsformen bereinigt das Rechensystem 600 das 2D-Gitterbild vor dem Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes Gitterelement.
In Bezug, wie das Rechensystem 600 den eines jeweiligen Gitterelements zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert bestimmen kann, wird nach einer Ausführungsform des Rechensystems 600 ein Unbeladenen-Behälterabschnitt-Tiefenwert für jedes Gitterelement bestimmt, und dann der zugehörige Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für das jeweilige Gitterelement basierend zumindest teilweise auf der Differenz zwischen (i) einer Tiefenabmessung des Versandbehälters und (ii) dem bestimmten Unbeladenen-Behälterabschnitt-Tiefenwert für das entsprechende Gitterelement bestimmt wird. Demzufolge kann beispielsweise, wenn das Rechensystem 600 bestimmt hat, dass der Unbeladenen-Behälterabschnitt-Tiefenwert eines gegebenen Gitterelements 3 Meter beträgt, und weiß, dass die Tiefenabmessung des Versandbehälters 50 Metern ist, das Rechensystem 600 bestimmen, dass der Beladenen-Behälterabschnitt-Tiefenwert für das gegebene Gitterelement 47 Meter beträgt.
In Bezug, wie das Rechensystem 600 den eines jeweiligen Gitterelements zugehörigen Unbeladenen-Behälterabschnitt-Tiefenwert bestimmen kann, weist in einigen Ausführungsformen des Rechensystems 600 einen charakteristischen Gitterelement-Tiefenwert dem gegebenen Gitterelement zu basierend auf den Tiefenwerten der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen. Wie oben beschrieben, gibt es einige Optionen dafür, einschließlich der Auswahl eines Minimalwerts, eines Modalwerts und eines Durchschnittswerts. Es könnte auch ein Maximalwert ausgewählt werden, obwohl dies dazu führen würde, die Behälter zu unterbeladen, indem ihre Vollheit überschätzt werden würde, was weniger wäre als möglichst effizient.
Nach dem Zuweisen eines charakteristischen Tiefenwerts eines Gitterelements zu einem gegebenen Gitterelements kann das Rechensystem 600 dann den jeweiligen Unbeladenen-Behälterabschnitt-Tiefenwerts für ein gegebenes Gitterelement zumindest teilweise über die Differenz zwischen (i) dem zugewiesenen charakteristischen Gitterelement-Tiefenwert für das gegebene Gitterelement und (ii) eines Versatztiefenwerts, der einer Tiefe zwischen dem 3D-Tiefensensor und einer vorderen Ebene des Versandbehälters entspricht. Demzufolge, wenn der Tiefensensor also einen absoluten Wert von z.B. 7 Meter als Tiefenwert für einen Punkt oder ein Gitterelement registriert, und es vorab bereitgestellt oder über Laufzeit ermittelt, dass der Tiefensensor 4 Meter von der vorderen Ebene des offenen Endes des Versandbehälters ist, kann das Rechensystem 600 den Unbeladenen-Behälterabschnitt-Tiefenwerts für dieses Gitterelement als 3 Metern ansehen. Und sicherlich können zahlreiche andere Beispiele aufgeführt werden.
In einigen Fällen ist die Tiefenabmessung des Versandbehälters, die verwendet wird, um einen Beladenen-Behälterabschnitt- Tiefenwert aus einem Unbeladenen-Behälterabschnitt-Tiefenwert für ein gegebenes Gitterelement abzuleiten, eine gitterelementspezifische Tiefenabmessung, die auf einem entsprechenden Gitterelement in einer Referenz-Leerbehälter-Punktwolke basiert. Wie oben beschrieben, könnte die Rückwand flach oder gekrümmt sein, wie in 2A und 2B dargestellt, und die gitterelementspezifische Tiefenabmessung für ein gegebenes Gitterelement könnte dies dementsprechend widerspiegeln. Eine Referenzpunktwolke könnte unter Verwenden eines leeren Versandbehälters der gleichen Art gesammelt werden, und diese Referenzpunktwolke könnte in einem Datenspeicher gespeichert und möglicherweise auf einer Gitterelement-zu-Gitterelement-Basis abgerufen werden, um die hierin beschriebenen Berechnungen durchzuführen.
In Schritt 708 berechnet das Rechensystem 600 ein Beladenen-Behälterabschnitt-Volumen des Versandbehälters durch Zusammenfassen der zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumina, die in Schritt 706 berechnet wurden, was ein Ergebnis ergibt, das dem entspricht, welches Volumen (z. B. Kubikmeter) des Versandbehälters beladen worden ist. Es wird darauf hingewiesen, dass in diesem Zusammenhang beladen im Wesentlichen nicht mehr zum Laden zur Verfügung steht bedeutet. Demzufolge würde leerer Raum, auf den aufgrund von gestapelten Packtücken nicht mehr zugegriffen werden kann, als geladen gezählt werden, genau wie Platz in dem Versandbehälter, der tatsächlich von einem gegebenen Paket belegt ist.
In Schritt 710 berechnet das Rechensystem 600 eine geschätzte Vollheit des Versandbehälters basierend auf (i) dem Beladenen-Behälterabschnitt-Volumen, das in Schritt 708 berechnet wurde und (ii) einer Kapazität des Versandbehälters. Insbesondere kann die geschätzte Vollheit des Versandbehälters berechnet werden als das Beladener-Abschnitt-Volumen des Versandbehälters dividiert durch die Kapazität des Versandbehälters. Die Kapazität des Versandbehälters könnte auf mehrere verschiedene Arten bestimmt werden, von denen einige unten beschrieben sind.
In einer Ausführungsform bestimmt das Rechensystem 600 die Kapazität des Versandbehälters basierend zumindest teilweise auf der empfangenen 3D-Punktewolke. Demzufolge kann die 3D-Punktewolke die Abmessungen des Versandbehälters anzeigen, so dass die Kapazität des Versandbehälters bestimmt werden kann. In einer anderen Ausführungsform empfängt das Rechensystem ein optisches Bild des Versandbehälters und bestimmt die Kapazität des Versandbehälters, basierend zumindest teilweise auf dem empfangenen optischen Bild. Dies könnte aufweisen, dass tatsächliche Abmessungen des Versandbehälters aus dem optischen Bild bestimmt werden, und könnte stattdessen oder zusätzlich das Extrahieren eines Identifikators des Versandbehälters aus dem optischen Bild aufweisen, möglicherweise unter Verwenden optischer Zeichenerkennung (OCR), und dann das Abfragen einer lokalen oder entfernten Datenbank unter Verwenden dieses Identifikators, um zu dem jeweiligen Versandbehälter Abmessungs- und / oder Kapazitätsdaten abzurufen.
Es wird angemerkt, dass das System in einigen Ausführungsformen bestimmen kann, dass das gesamte Innere des Versandbehälters für den Tiefensensor, möglicherweise aufgrund der relativen Position und Anordnung des Tiefensensors und des Versandbehälters, nicht sichtbar ist. In solchen Fällen kann das System ein Volumen von Interesse (VOI) als den Teil des Inneren des Behälters definieren, der für den Tiefensensor sichtbar ist. Das System kann in einigen derartigen Fällen die geschätzte Vollheit des zu beladenden Abschnitts des Behälters des VOI dividiert durch die Kapazität (d. h. das Gesamtvolumen) des VOI berechnen. In anderen Ausführungsformen kann das System einfach annehmen, dass irgendein innerer Abschnitt des Versandbehälters, der mit der Tiefenkamera nicht gesehen werden kann, beladen ist, und kann in solchen Fällen immer noch die geschätzte Vollheit als den beladenen Abschnitt des gesamten Versandbehälters dividiert durch die Gesamtkapazität des gesamten Versandbehälters berechnen. Und natürlich könnten auch andere Implementierungen als Beispiel hier aufgelistet werden.
In Schritt 712 gibt das Rechensystem 600 die berechnete geschätzte Vollheit des Versandbehälters aus, vielleicht zu einer Anzeige, vielleicht zu einem Datenspeicher, möglicherweise unter Verwenden von drahtloser und / oder drahtgebundener Kommunikation, um die berechnete geschätzte Vollheit des Versandbehälters an eine oder mehrere andere Vorrichtungen oder Systeme und / oder vielleicht an einen oder mehrere andere Zielorte zu übermitteln.
8 zeigt einen Versandbehälter mit einem optisch lesbaren Identifikator gemäß einigen Ausführungsformen. Insbesondere 8 zeigt einen Behälter 802, eine Markierung 804 (z. B. Strichcode oder alphanumerische Identifikator) und einen optischen Leser 806. Es gibt verschiedene Arten von optischen Lesern 806, die verwendet werden können, wie zum Beispiel ein Barcode-Scanner, eine Kamera und / oder dergleichen. In einer Ausführungsform erfasst der optische Leser 806 einen alphanumerischen Identifikator der Behälterdaten unter Verwenden von OCR. Das Rechensystem kann dann diesen erlangten alphanumerischen Identifikator des Behälters verwenden, um eine Datenbank nach Abmessungsdaten abzufragen, die den Versandbehälter betreffen. Und sicherlich könnten auch andere beispielhafte Implementierungen hier aufgelistet werden.
In einigen Fällen können ein oder mehrere bewegliche oder stationäre Verdeckungen (z. B. Packstück-Lader, abseits liegende Packstücke usw.) zwischen dem 3D-Tiefensensor und dem beladenen Abschnitt des Behälters vorhanden sein. Einige Verdeckung verursachen eine Unterschätzung der Behältervollheit, möglicherweise indem sie zu nah bei dem 3D-Tiefensensors sind, so dass Lücken in den Punktwolkendaten erzeugt werden. Einige Verdeckungen verursachen Überschätzungen der Behältervollheit, möglicherweise indem sie so nahe bei tatsächlich geladenen Packstücken sind, so dass diese geladenen Packstücke (z. B. mit diesen gebündelt) verwirren. Demzufolge kann das Vorhandensein von Verdeckungen generell zu einer fehlerhaften Schätzung der Vollheit des Versandbehälters führen, wenn sie nicht richtig erkannt und korrigiert wird.
9 zeigt ein zweites Verfahren als Beispiel gemäß einigen Ausführungsformen. Insbesondere zeigt 9 ein Verfahren 900, das in Schritt 902 die Schritte des Empfangens eines Tiefenrahmens von einem Tiefensensor aufweist, der hin zu einem offenen Ende eines Versandbehälters orientiert ist, wobei der Tiefenrahmen eine Mehrzahl von Gitterelementen aufweist die jeweils einen zugehörigen Tiefenwert haben. Das Verfahren 900 weist ferner das Identifizieren eines oder mehrerer Verdeckungen in dem Tiefenrahmen in Schritt 904 auf. In manchen Fällen werden nur ein oder mehrere ferne Verdeckungen detektiert. In einigen Fällen werden nur eine oder mehrere nahe Verdeckungen detektiert. In einigen Fällen werden sowohl ferne-als auch nahe Verdeckungen erkannt. Das Verfahren 900 umfasst ferner das Korrigieren, bei Schritt 906, von einen oder der mehreren Verdeckungen in dem Tiefenrahmen unter Verwenden eines oder mehrerer zeitlich benachbarter Tiefenrahmen und das Ausgeben, bei Schritt 908, des korrigierten Tiefenrahmens für die Vollheitsschätzung.
10 zeigt ein Beispielszenario zum Detektieren von Verdeckungen in einem Versandbehälter gemäß einigen Ausführungsformen. Insbesondere zeigt 10 ein Beispielszenario, in dem ein Tiefensensor 1030 konfiguriert ist, um Tiefendaten zu sammeln, während er hin zu einem Versandbehälter 1000 orientiert ist. Zum Zeitpunkt des Beispiels des dargestellten Szenarios gibt es zwei verdeckende Objekte: ein nah verdeckendes Objekt 1005 und ein fern verdeckendes Objekt 1015. Wie gezeigt, können nahe Verdeckungen durch Verdecken von Objekten die nahe bei Tiefensensor 1030 sind (z.B. Lader, ungeladene Packstücke, siehe 10 Objekt 1005). In einigen Ausführungsformen erscheinen nahe Verdeckungen in den 3D-Tiefendaten als Lücken oder Löcher (keine Daten (oder keine gültigen Daten)), die eine unterschätzte Vollheit ergeben, die weniger ist, wenn ein kompletter Satz von 3D-Tiefenvolumendaten verarbeitet wird. Da nahe Verdeckungen oft als Lücken in Daten vorliegen, können sie auch als „Fehldaten-Verdeckungen“ bezeichnet werden. Wie gezeigt, befindet sich ein Objekt 1005 innerhalb der minimalen Sensoreichweite des Tiefensensors, und der Tiefensensor kann daher keine Daten für Bereiche bereitstellen, die von dem Objekt 1005 blockiert sind. Diese Lücke in den 3D-Tiefendaten kann dazu führen, dass das System das Volumen, das durch den Bereich 1010 belegt ist, weglässt, während die Vollheit berechnet wird, was zu einer Unterschätzung der Versandbehältervollheit führt. In anderen Ausführungsformen können einige Tiefensensoren 1030 die minimale Reichweitenentfernung für jedes innerhalb der minimalen Reichweite detektierte Objekts ausgeben, was zu einer Überschätzung führen würde, da das System annehmen kann, dass Packstücke in dem Bereich 1010 verladen. Und sicherlich könnten auch andere Beispielszenarien hier aufgelistet werden.
In einigen Ausführungsformen weist das Detektieren von Fehldaten-Verdeckungen das Ausführen von Teilprozess 1100 auf, wie in 11 gezeigt. Wie gezeigt, weist der Teilprozess 1100 die Schritte auf Empfangens eines projizierten 2D-Bildes von Gitterelementen in Schritt 1101 und Erzeugens einer Binarisierungskarte in Schritt 1102, Ausführen zumindest einer morphologischen Öffnung in Schritt 1104, Ausführen einer Kantendetektion von zumindest eine morphologische Öffnung in Schritt 1106 und Bestimmen von Verdeckungskonturen basierend auf den detektierten Kanten in Schritt 1108. In einigen Ausführungsformen unterscheidet die Binarisierungskarte zwischen (i) Gitterelementen, für die der jeweilige Tiefenwert gültig ist, und (ii) Gitterelement, für die der jeweilige Tiefenwert nicht gültig ist (d.h. eine Karte gültiger Datenpunkte und ungültiger (z.B., fehlende) Datenpunkte). In einigen Ausführungsformen umfasst das Durchführen der morphologischen Öffnung in Schritt 1104 das Identifizieren eines Gitterelemente-Clusters in der Binarisierungskarte, für den der jeweilige Tiefenwert ungültig ist. In einigen Ausführungsformen muss der identifizierte Cluster von Gitterelementen möglicherweise einen vorbestimmten Schwellenwert der Verdeckungsgröße von Gitterelementen überschreiten, von denen zu bestimmen ist, ob sie eine morphologische Öffnung und demzufolge ein (vermutetes) nah verdeckendes Objekt sind.
In einigen Ausführungsformen kann die Kantendetektion, die in Schritt 1106 ausgeführt wird, eine Cannyalgorithmus-Kantendetektion (Canny edge detection) sein. In einigen Ausführungsformen kann das Durchführen der Kantendetektion in Schritt 1106 das Bestimmen des Satzes von Gitterelementen in dem identifizierten Cluster aufweisen, der die Kanten des 2D-Gitterbildes definiert, nachdem das morphologische Öffnen durchgeführt wurde. In einigen Ausführungsformen erfolgt dies auf einer Gitterelement-zu-Gitterelement-Basis. In einigen Ausführungsformen sind die Gitterelemente einzelne Pixel in der Punktwolke. In einigen Ausführungsformen sind die Gitterelemente Pixelgruppen und können zusammen gemittelt werden (oder, wie oben beschrieben auf andere Weise, unter Verwenden einer einzelnen Zahl charakterisiert werden). In einigen Ausführungsformen weist das Bestimmen der Verdeckungskontur in Schritt 1108 das Bilden einer Verdeckungsmaske auf (, die in einigen Ausführungsformen den Verdeckungsort, die Konturlänge und ein Maskenbild aufweist), die auf Gitterelemente basiert, die im vorherigen Schritt als Kanten identifiziert wurden. In einigen Ausführungsformen basieren die Verdeckungskonturen auf der Konturlänge und dem Seitenverhältnis. Zuletzt können der Verdeckungsort, die Konturlänge und das Maskenbild zur Verdeckungskorrektur ausgegeben werden (z. B. in Schritt 906 von 9).
Der zweite Typ von verdeckten Objekten, die hierin diskutiert werden, sind in der Ferne verdeckte Objekte (siehe z. B. 10, Objekt 1015). In einigen Ausführungsformen können fern verdeckte Objekte entweder einen oder beide unterschiedlicher Typen von ferner Verdeckung aufweisen: sich bewegende Verdeckungen und diskontinuierliche Verdeckungen. Ferne Verdeckungen kann durch Verdecken von Objekten verursacht werden, die weiter weg von dem Tiefensensor 1030 (d.h. näher zu den beladenen Packstücken in dem Behälter) als im Vergleich zu verdeckten Objekten sind, die in dieser Beschreibung als nahe Verdeckung charakterisiert sind. Ferne Verdeckungen können zu einer berechneten Vollheit führen, die überschätzt ist. In einigen Ausführungsformen nimmt das Verfahren zum Berechnen der Vollheit an, dass der Versandbehälter von hinten nach vorne beladen wurde. Demzufolge, kann, wenn es eine diskontinuierliche Verdeckung gibt (z. B. ein Lader oder ein Packstück das noch nicht gepackt wurde), das System annehmen, dass es Packstücke in dem Bereich 1020 hinter dem verdeckten Objekt 1015 gibt, wenn in Wirklichkeit ein Teil des Raums hinter dem Objekt 1015 unbesetzt sein kann.
12 veranschaulicht einen Teilprozess zum Detektieren von diskontinuierlichen Verdeckungen (generell bei 1205) und sich bewegenden Verdeckungen (generell bei 1210).
Wie oben erwähnt, wird in einigen Ausführungsformen angenommen, dass Paketstücke von hinten nach vorne in den Versandbehälter geladen werden; und dementsprechend weist in einigen Ausführungsformen das Identifizieren einer diskontinuierlichen Verdeckung das Identifizieren in Schritt 1207 von einen Cluster von Gitterelementen aus einem einzelnen Rahmen einer 3D-Punktwolke auf, wo der Cluster von Gitterelementen Tiefenwerte hat, die mehr als eine Schwellendifferenz kleiner als ein Tiefenwert einer beladenen Abschnitts-Grenze des Versandbehälters sind (d.h. die Tiefenwerte für die geladenen Packstücke). In einigen Ausführungsformen wird der Cluster von diskontinuierlichen Verdeckungspunkten unter Verwenden von Clustering-Techniken identifiziert, die dem Durchschnittsfachmanns bekannt sind. Ähnlich wie das Identifizieren naher Verdeckungen kann in einigen Ausführungsformen das Identifizieren von diskontinuierliche Verdeckungen ein Finden von Clustern mit örtlicher und geometrischer Beschränkung, wie Clusterbreite, Länge und das Seitenverhältnis, in Schritt 1209, sein und kann ferner ein Bestätigen aufweisen, dass der identifizierte Cluster von Gitterelementen einen vorbestimmten Verdeckungsgrößen-Schwellwert überschreitet. In einigen Ausführungsformen weist das Identifizieren von diskontinuierliche Verdeckungen das Ausführen einer Kantendetektion an dem Cluster von Gitterelementen auf. In einigen Ausführungsformen weist das Identifizieren der diskontinuierlichen Verdeckung das Ausführen einer Konturenidentifikation an dem Cluster von Gitterelementen auf. In einigen Ausführungsformen sind die Gitterelemente einzelne Pixel, wohingegen in anderen Ausführungsformen die Gitterelemente Pixelgruppen sind.
In einigen Fällen können Objekte (z. B. ein Lader), die nahe dem geladenen Packstück sind (d.h. ferne Verdeckungen) bei der Einzelbildanalyse nicht erkannt werden, und daher kann die zeitliche Analyse (ausgeführt in Schritt 1213) verwendet werden, um sich bewegende Verdeckungen zu detektieren. In einigen Ausführungsformen kann die transiente Natur eines gegebenen Objekts dazu verwendet werden, dieses Objekt als eine sich bewegende Verdeckung zu identifizieren. In einigen Ausführungsformen kann diese transiente Natur als Tiefenwerte wahrgenommen werden, die sich zwischen zwei benachbarten Rahmen für ein gegebenes Gitterelement zu stark ändern, was eine Bewegung anstelle eines permanent geladenen Packstücks an der entsprechenden Stelle anzeigen kann. In einigen Ausführungsformen kann es nützlich seins zu wissen, dass, wenn Packstücke in den Versandbehälter von hinten nach vorne geladen werden, die Tiefenwerte der Gitterelemente in dem projizierten 2D-Bild progressiv und konsistent vom Sichtpunkt des Tiefensensors abnehmen sollten, wobei angenommen wird, dass die Packstücke von hinten nach vorne geladen werden. In einigen Ausführungsformen weist der zeitliche Analyseschritt das Identifizieren auf, dass der Tiefenwert, der mit einem einzelnen Gitterelement verknüpft ist, in Bezug auf vorherige Rahmen abnimmt und dann in nachfolgenden Rahmen um weniger als ein Zeitschwellenbetrag über mehrere Tiefenrahmen zunimmt, was mit dem übereinstimmt, was auftreten würde, wenn ein transientes Objekt das Sichtfeld des 3D-Tiefensensors passiert hat.
13 zeigt ein Beispiel einer zeitlichen Analyse gemäß einigen Ausführungsformen. Insbesondere 13 zeigt ein Graph von Tiefenwerten eines Beispiels eines einzelnen Gitterelements in fünf zeitlich benachbarten Tiefenrahmen, dargestellt als entsprechende Zeitintervallen t1-t5. In einigen Ausführungsformen kann ohne Einschränkung jedes Zeitintervall 1/10 einer Sekunde sein. Wie gezeigt, hat der Tiefenwert bei t3 eine exemplarische Schwellenwerttiefenänderung zwischen zumindest einem von dem t2-Tiefenwert und dem t4-Tiefenwert überschritten, und demzufolge kann bestimmt werden, dass das Gitterelement im Tiefenrahmen t3 Teil einer sich bewegenden Verdeckung ist. In einigen Ausführungsformen weist ein Detektieren einer sich bewegenden Verdeckung ein Analysieren von mehreren Gitterelementen in der Nähe des erkannten sich bewegenden Verdeckungsgitterelements auf, um ein vollständiges fernverdecktes Objekt zu detektieren. In einigen Ausführungsformen kann die Obergrenze des Vollheitsniveaus einen vorbestimmten Änderungsschwellenwert zwischen benachbarten Tiefenrahmes aufweisen, d.h. wenn eine Änderung des geschätzten Vollheitsniveaus ein vorbestimmtes Limit überschreitet, kann dies beispielsweise das Vorhandensein eines Laders anzeigen. Mit anderen Worten, wenn ein Lader relativ nahe dem Tiefensensor in einem Bereich des Versandbehälters ist, der noch nicht beladen wurde (aber nicht so nahe am Tiefensensor ist, um Fehldaten zu verursachen), kann es zu einem Hochstand bei der Schätzung der Versandbehälter-Vollheit kommen, wenn diese transiente Verdeckung nicht erkannt und korrigiert wurde.
In einigen Ausführungsformen entsprechen die eine oder die mehreren identifizierten Verdeckungen einem Verdeckungssatz der Gitterelemente in dem Tiefenrahmen und ein Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen, wobei ein oder mehrerer zeitlich benachbarter Tiefenrahmen verwendet werden, weist ein Überschreiben des Verdeckungssatzes im Tiefenrahmen mit Daten von entsprechenden nicht verdeckten Gitterelementen von einem oder mehreren der zeitlich benachbarten Tiefenrahmen auf. Mit anderen Worten, können die nicht-verdeckten Gitterelemente des am meisten benachbarten Tiefenrahmens verwendet werden, um den Verdeckungssatz von Gitterelementen in den aktuellen verdeckten Tiefenrahmen zu füllen.
14A und 14B zeigen Beispiele der Versandbehälter-Vollheit-Schätzung ohne Verdeckungskorrektur bzw. mit Verdeckungskorrektur. Wie gezeigt, repräsentiert die x-Achse von 14A und 14B die Zeit, wohingegen die Y-Achse die aktuelle Versandbehälter-Vollheitsschätzung repräsentiert. Wie gezeigt, weist 14A Ergebnisse von nicht korrigierten Verdeckung (wie z. B. zwischen den Zeitpunkten 150-225) auf. Die hierin beschriebenen Verfahren detektieren und korrigieren diese Verdeckungen, und es wird eine genauere Schätzung der Versandbehälter-Vollheit über die Zeit erzielt, wie in der gleichmäßig ansteigenden Kurve von 14B gezeigt.
Alle Verdeckungsszenarien verursachen den Verlust einer gültigen 3D-Messung der Packstücke, die von Ladern oder anderen durchreisenden oder stationäre Objekte vor den Packstücken verdeckt werden. Dies ergibt eine ungenaue Vollheitsschätzung (entweder eine Unter- oder Überschätzung).
Diese Offenbarung schlägt Lösungen für diese zwei Arten von Verdeckungen vor. In Fällen von nahen Verdeckungen (die zu einer Unterschätzung der Behältervollheit führen) werden Lücken aus den 3D-Tiefendaten erkannt. Mehrere geometrische Einschränkungen, die eine Konturlänge, ein Seitenverhältnis der Lücken aufweisen, werden verwendet, um echte Verdeckungen zu identifizieren. In Fällen von fernen Verdeckungen (die zu einer Überschätzung der Behälterfülle führen) können Clusterbildung und zeitliche Analysen verwendet werden, um derartige Verdeckungen zu identifizieren.
Das Behältervollheitsniveau muss zuverlässig geschätzt werden, selbst wenn Verdeckungen vorhanden sind. Die 3D-Tiefendaten werden basierend auf einer zeitlichen Analyse von mehreren Laderahmen korrigiert, nachdem die Verdeckungen identifiziert wurden. Insbesondere wird jeder Rahmen mit seinen angrenzenden Rahmen verglichen, und die verdeckten Bereiche werden mit Daten von entsprechenden nicht-verdeckten Bereichen von angrenzenden Rahmen „gefüllt“. Der Vollheitsgrad wird dann aus den korrigierten Daten geschätzt.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne dass vom Geltungsbereich der Offenbarung, wie in den nachfolgenden Ansprüchen dargelegt, abgewichen wird. Dementsprechend sind die Beschreibung und die Figuren eher in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Geltungsbereich der vorliegenden Lehren mit enthalten sein.
Nutzen, Vorteile, Lösungen für Probleme irgendeines Elements, was ein Auftreten oder eine stärkere Ausprägung von irgendeinem Nutzen, irgendeinem Vorteil oder irgendeiner Lösung verursacht, sind nicht als kritische, erforderliche oder wesentliche Merkmale von keinem der Ansprüche zu verstehen.
Außerdem werden in diesem Dokument Relationsbegriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich zum Unterscheiden der einen Entität oder Aktion von einer anderen Entität oder Aktion verwendet, ohne dass notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten erforderlich ist oder impliziert wird. Die Begriffe „aufweisen“, „aufweisend“, „hat“, „haben“, „enthält“, „enthaltend“, „beinhalten“, „beinhaltend“ oder jede andere Variation davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Prozess, ein Verfahren, ein Gegenstand oder eine Vorrichtung, die eine Liste von Elementen aufweist, hat, enthält, nicht nur diese Elemente enthält, sondern andere Elemente, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Artikel oder Gerät inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „enthält ... ein“, „beinhaltet... ein“ vorangeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente im Prozess, Verfahren, im Gegenstand oder in der Vorrichtung, die das Element umfasst, enthält und beinhaltet, aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern nicht ausdrücklich anders angegeben. Die Begriffe „im Wesentlichen“, „wesentlich“, „ungefähr“, „etwa“ oder irgendeine andere Version davon sind so definiert wie es dem Durchschnittsfachmann vertraut ist, und in einer nicht einschränkenden Ausführungsform ist der Ausdruck so definiert, dass er innerhalb von 10% liegt, in einer anderen Ausführungsform innerhalb von 5%, in einer anderen Ausführungsform innerhalb von 1% und in einer anderen Ausführungsform darin. Der Ausdruck „gekoppelt“, wie er hier verwendet wird, ist als verbunden definiert, obwohl nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder Struktur, die in einer bestimmten Weise „konfiguriert“ ist, ist auf diese Weise konfiguriert, kann aber auch auf nicht aufgeführte Weise konfiguriert sein.
Es versteht sich, dass einige Ausführungsformen ein oder mehrere generische oder spezialisierte Prozessoren (oder „Verarbeitungsgeräten“), wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und feldprogrammierbare Gate-Arrays (FPGAs) und einzigartige gespeicherte Programmanweisungen (einschließlich Software und Firmware) aufweisen, die einen oder mehrere Prozessoren, in Verbindung mit bestimmten Nicht-Prozessorschaltungen, einige, die meisten oder alle Funktionen des Verfahrens und / oder der Vorrichtung, die hierin beschrieben sind, zum Implementieren steuern. Alternativ könnten einige oder alle Funktionen durch eine Zustandsmaschine, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs) implementiert werden, in denen jede Funktion oder einige Kombinationen bestimmter Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich könnte eine Kombination der beiden Vorgehensweisen verwendet werden.
Außerdem kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem ein computerlesbarer Code gespeichert ist, um einen Computer (z. B. mit einem Prozessor) zu programmieren, um ein Verfahren, wie hierin beschrieben und beansprucht, auszuführen Beispiele derartiger computerlesbarer Speichermedien umfassen, sind aber nicht beschränkt, eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, ein ROM (Nur-Lese-Speicher), ein PROM (programmierbarer Nur-Lese-Speicher), ein EPROM (löschbarer programmierbarer Nur-Lese-Speicher), ein EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und ein Flash-Speicher. Ferner wird von einem Durchschnittsfachmann erwartet, ungeachtet eines möglicherweise erheblichen Aufwands und einer großen Designwahl, motiviert von beispielsweise der verfügbaren Zeit, aktuellen Technologie und wirtschaftlichen Überlegungen, dass, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird, in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalen Experimenten zu erzeugen.
Die Zusammenfassung der Offenbarung soll dem Leser erlauben, die Art der technischen Offenbarung schnell zu ermitteln. Sie wird unter der Voraussetzung vorgelegt, dass sie nicht dazu verwendet wird, den Umfang oder die Bedeutung der Ansprüche zu interpretieren oder einzuschränken. Darüber hinaus ist in der vorangehenden detaillierten Beschreibung erkennbar, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Rationalisierung der Offenbarung zusammengefasst sind. Dieses Verfahren der Offenbarung ist nicht so auszulegen, dass Unterstellt wird, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Wie die folgenden Ansprüche zeigen, liegt der erfinderische Gegenstand vielmehr in weniger Merkmalen als allen in einer einzigen Ausführungsform offenbarten. Somit sind die folgenden Ansprüche hiermit in die detaillierte Beschreibung mit einbezogen, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren, aufweisend: Empfangen eines Tiefenrahmens von einem Tiefensensor, der hin zu einem offenen Ende eines Transportbehälters orientiert ist, wobei der Tiefenrahmen eine Mehrzahl von Gitterelementen aufweist, die jeweils einen zugehörigen Tiefenwert haben; Identifizieren eines oder mehrerer Verdeckungen in dem Tiefenrahmen; Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen unter Verwendung eines oder mehrerer zeitlich benachbarter Tiefenrahmen; und Ausgeben des korrigierten Tiefenrahmens zur Vollheit-Schätzung.
Das Verfahren des Anspruchs 1, wobei die eine oder mehreren Verdeckungen eine Fehldaten-Verdeckung aufweist.
Verfahren nach Anspruch 2, wobei das Identifizieren der Fehldaten-Verdeckung aufweist: Erzeugen einer Binarisierungskarte, die zwischen (i) Gitterelementen, für die der zugehörige Tiefenwert gültig ist, und (ii) Gitterelementen für die der zugehörige Tiefenwert nicht gültig ist, unterscheidet; und Identifizieren der Fehldaten-Verdeckung als ein Cluster von Gitterelementen in der Binarisierungskarte, für die der jeweilige Tiefenwert nicht gültig ist.
Verfahren nach Anspruch 3, wobei identifizieren der Fehldaten-Verdeckung aufweist, Bestätigen, dass der identifizierte Cluster von Gitterelementen einen vorbestimmten Verdeckungsgrößen-Schwellwert überschreitet.
Verfahren nach Anspruch 4, wobei identifizieren der Fehldaten-Verdeckung ferner aufweist, ausführen einer Kantendetektion an dem Cluster von Gitterelementen.
Verfahren nach Anspruch 5, wobei das Identifizieren der Fehldaten-Verdeckung ferner aufweist, Ausführen einer Konturidentifizierung an dem Cluster von Gitterelementen.
Verfahren nach Anspruch 1, wobei die eine oder mehreren Verdeckungen eine sich bewegende Verdeckung aufweist.
Verfahren nach Anspruch 7, wobei die sich bewegende Verdeckung mit einem einzelnen Gitterelement in der Mehrzahl von Gitterelementen verknüpft ist.
Verfahren nach Anspruch 8, wobei das Identifizieren von der sich bewegende Verdeckung aufweist, Identifizieren einer Schwellentiefenänderung in dem einzelnen Gitterelement zwischen dem Tiefenrahmen und zumindest einem zeitlich benachbarten Tiefenrahmen.
Verfahren nach Anspruch 8, wobei das Identifizieren der sich bewegenden Verdeckung aufweist, Identifizieren, dass der Tiefenwert, der mit dem einzelnen Gitterelement verknüpft ist, in Bezug auf vorherige Rahmen abnimmt und dann in nachfolgenden Rahmen mit weniger als einem Schwellenwertbetrag der Zeit über mehrere Tiefenrahmen zunimmt.
Verfahren nach Anspruch 1, wobei der eine oder die mehreren Verdeckungen eine diskontinuierliche Verdeckung aufweisen.
Verfahren nach Anspruch 11, wobei das Identifizieren der diskontinuierlichen Verdeckung aufweist: Identifizieren eines Gitterelemente-Clusters, der einen kollektiven Tiefenwert hat, der um mehr als eine Schwellendifferenz kleiner als ein Tiefenwert einer Beladenen-Abschnitt-Grenze des Transportbehälters ist.
Verfahren nach Anspruch 12, wobei das Identifizieren der diskontinuierlichen Verdeckung ferner aufweist, bestätigen, dass der identifizierte Gitterelemente-Cluster einen vorbestimmten Verdeckungsgrößen-Schwellwert überschreitet.
Verfahren nach Anspruch 13, wobei das Identifizieren der diskontinuierlichen Verdeckung ferner aufweist, durchführen einer Kantendetektion an dem Gitterelemente-Cluster.
Verfahren nach Anspruch 14, wobei Identifizieren der diskontinuierlichen Verdeckung ferner aufweist, ausführen einer Konturenidentifikation an dem Gitterelemente-Cluster.
Verfahren nach Anspruch 1, wobei die Gitterelemente Pixel sind.
Verfahren nach Anspruch 1, wobei die Gitterelemente Gruppen von Pixeln sind.
Verfahren nach Anspruch 1, wobei der eine oder die mehreren identifizierten Verdeckungen einem Verdeckungssatz der Gitterelemente in dem Tiefenrahmen entsprechen; und Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen unter Verwenden eines oder mehrerer zeitlich benachbarter Tiefenrahmen weist überschreiben des Verdeckungssatzes in dem Tiefenrahmen mit Daten von entsprechenden nicht verdeckten Gitterelementen von einem oder mehreren der zeitlich nahen Tiefenrahmen auf.
Verfahren nach Anspruch 1, wobei das Identifizieren der einen oder mehreren Verdeckungen Analysieren eines Buffers von Tiefenrahmens aufweist, wobei der Buffer den empfangenen Tiefenrahmen aufweist.
System aufweisend: einen Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist; eine Kommunikationsschnittstelle; einen Prozessor; und einen Datenspeicher, der Anweisungen beinhaltet, die von dem Prozessor durchführbar sind zum Veranlassen des Systems zum Ausführen eines Satz von Funktionen, wobei der Satz von Funktionen aufweist: Empfangen eines Tiefenrahmens von dem Tiefensensor, wobei der Tiefenrahmen eine Mehrzahl von Gitterelementen aufweist, die jedes einen zugehörigen Tiefenwert haben; Identifizieren von einem oder mehreren Verdeckungen in dem Tiefenrahmen; Korrigieren der einen oder mehreren Verdeckungen in dem Tiefenrahmen unter Verwenden von einem oder mehreren zeitlich benachbarter Tiefenrahmen; und Ausgeben des korrigierten Tiefenrahmens für die Vollheitsschätzung.
Verfahren, aufweisend: Empfangen einer dreidimensionalen (3D) Punktwolke von einem Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist, wobei die Wolke eine Mehrzahl von Punkten aufweist, die jeweils einen zugehörigen Tiefenwert haben; Segmentieren der empfangenen 3D-Punktwolke unter einer Mehrzahl von Gitterelementen; Berechnen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement; Berechnen eines Beladenen-Behälterabschnitt-Volumens des Versandbehälters durch Aggregieren der berechneten zugehörigen Beladenen-Behälterabschnitt-Gitterelementvolumina; Berechnen einer geschätzten Vollheit des Versandbehälters basierend auf dem Beladenen-Behälterabschnitt-Volumen und einer Kapazität des Versandbehälters; und Ausgeben der berechneten geschätzten Vollheit des Versandbehälters.
Verfahren nach Anspruch 21, wobei die Mehrzahl von Gitterelementen kollektiv ein zweidimensionales (2D) Gitterbild bildet, das einer Ebene entspricht, die parallel zu dem offenen Ende des Versandbehälters ist, wobei jedes Gitterelement einen zugehörigen Gitterelementbereich hat, wobei das Verfahren ferner aufweist: Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement, wobei das Berechnen des zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement auf zumindest dem jeweiligen Gitterelementbereich und dem jeweiligen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes zugehörige Gitterelement basiert.
Verfahren nach Anspruch 22, ferner aufweisend: Bestimmen eines Unbeladenen-Behälterabschnitt-Tiefenwerts für jedes Gitterelement wobei das Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes Gitterelement zumindest teilweise basiert auf der Differenz zwischen (i) einer Tiefenabmessung des Versandbehälters und (ii) des bestimmten Unbeladenen-Behälterabschnitt-Tiefenwerts für das entsprechende Gitterelement.
Verfahren nach Anspruch 23, wobei das Bestimmen des Unbeladenen-Behälterabschnitt-Tiefenwerts für ein gegebenes Gitterelement aufweist: Zuweisen eines Gitterelement-Tiefenwerts zu dem gegebenen Gitterelement basierend auf den Tiefenwerten der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen; und Bestimmen des Unbeladenen-Behälterabschnitt-Tiefenwerts für jedes Gitterelement für das gegebene Gitterelement basierend zumindest teilweise auf der Differenz zwischen (i) dem zugewiesenen Gitterelement-Tiefenwert für das gegebene Gitterelement und (ii) einem Versatztiefenwert, der einer Tiefe zwischen dem 3D-Tiefensensor und einer vorderen Ebene des Versandbehälters entspricht.
Verfahren nach Anspruch 24, wobei Zuweisen des Gitterelement-Tiefenwerts für das gegebene Gitterelement, der auf den Tiefenwerten der Punkte in der Punktwolke basiert, die dem gegebenen Gitterelement entsprechen, aufweist, zuweisen als den Gitterelement-Tiefenwert für das gegebene Gitterelement eines Minimalwerts aus den Tiefenwerten der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen.
Das Verfahren nach Anspruch 24, wobei Zuweisen des Gitterelement-Tiefenwerts für das gegebene Gitterelement, der auf den Tiefenwerten der Punkte in der Punktwolke basiert, die dem gegebenen Gitterelement entsprechen, aufweist, zuweisen als den Gitterelement-Tiefenwert für das gegebene Gitterelement eines Durchschnittswert der Tiefenwerte der Punkte in der Punktwolke, die dem gegebenen Gitterelement entsprechen.
Verfahren nach Anspruch 23, wobei die Tiefenabmessung des Versandbehälters eine gitterelementspezifische Tiefenabmessung ist, die auf einem entsprechenden Gitterelement in einer Referenz-Leerbehälter-Punktwolke basiert.
Verfahren nach Anspruch 27, wobei die Referenz-Leerbehälter-Punktwolke eine Rückwand des Versandbehälters reflektiert, die eine flache Oberfläche ist.
Verfahren nach Anspruch 27, wobei die Referenz-Leerbehälter-Punktwolke eine Rückwand des Versandbehälters reflektiert, die eine gekrümmte Oberfläche ist.
Verfahren nach Anspruch 22, ferner aufweisend, bereinigen des 2D-Gitterbildes vor dem Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement.
Verfahren nach Anspruch 21, wobei der Tiefensensor eine optische Achse und eine Bildebene hat, wobei das Verfahren ferner aufweist: vor dem Segmentieren der empfangenen Punktwolke unter der Mehrzahl von Gitterelementen, drehen der empfangenen 3D-Punktwolke, um (i) die optische Achse mit einem Bodenniveau und (ii) die Bildebene mit einer Endebene des Versandbehälters auszurichten.
Verfahren nach Anspruch 31, wobei das Drehen der Punktewolke auf einem Offline-Kalibrierungsprozess basiert, wobei das Bodenniveau und die Endebene als Referenz verwendet werden.
Verfahren nach Anspruch 21, ferner aufweisend, bestimmen der Kapazität des Versandbehälters basierend zumindest teilweise auf der empfangenen 3D-Punktwolke.
Verfahren nach Anspruch 21, ferner aufweisend: Empfangen eines optischen Bildes des Versandbehälters; und Bestimmen der Kapazität des Versandbehälters basierend zumindest teilweise auf dem empfangenen optischen Bild.
Verfahren nach Anspruch 34, wobei das Bestimmen der Kapazität des Versandbehälters, die zumindest teilweise auf dem empfangenen optischen Bild basiert, aufweist: Bestimmen zumindest einer physikalischen Abmessung des Versandbehälters aus dem empfangenen optischen Bild; und Bestimmen der Kapazität des Versandbehälters basierend auf der zumindest einen bestimmten physikalischen Abmessung.
Verfahren nach Anspruch 34, wobei das Bestimmen der Kapazität des Versandbehälters, das zumindest teilweise auf dem empfangenen optischen Bild basiert, aufweist: Verwenden von optischen Zeichenerkennung (OCR) an dem zumindest einem empfangenen optischen Bild, um zumindest einen Identifikator des Versandbehälters zu bestimmen; und Verwenden des zumindest einen ermittelten Identifikator des Versandbehälters zum Bestimmen der Kapazität des Versandbehälters.
Verfahren nach Anspruch 21, wobei jedes Gitterelement Seiten hat, die im Wesentlichen in der Länge gleich 5 Millimeter (mm) sind.
Verfahren nach Anspruch 21, wobei jedes Gitterelement im Wesentlichen quadratisch ist, und wobei eine Gitterelementseitenlänge ein einstellbarer Parameter ist
System aufweisend: einen Tiefensensor, der hin zu einem offenen Ende eines Versandbehälters orientiert ist; eine Kommunikationsschnittstelle; einen Prozessor; und Datenspeicher, der Anweisungen beinhaltet, die vom Prozessor ausführbar sind, um zu bewirken, dass das System einen Satz von Funktionen ausführt, wobei der Satz von Funktionen aufweist: Empfangen einer dreidimensionalen (3D) Punktwolke von dem Tiefensensor, wobei die Punktwolke eine Mehrzahl von Punkten aufweist, die jeweils einen zugehörigen Tiefenwert haben; Segmentieren der empfangenen 3D-Punktwolke unter einer Mehrzahl von Gitterelementen; Berechnen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement; Berechnen eines Beladenen-Behälterabschnitt-Volumens des Versandbehälters durch Aggregieren der berechneten zugehörigen Beladenen-Behälterabschnitt-Gitterelement- Volumina; Berechnen einer geschätzten Vollheit des Versandbehälters basierend auf dem Beladenen- Behälterabschnitt-Volumen und einer Kapazität des Versandbehälters; und Ausgeben der berechneten geschätzten Vollheit des Versandbehälters.
System nach Anspruch 39, wobei: die Mehrzahl von Gitterelementen kollektiv ein zweidimensionales (2D) Gitterbild bildet, das einer Ebene entspricht, die parallel zu dem offenen Ende des Versandbehälters ist, wobei jedes Gitterelement einen zugehörigen Gitterelementbereich hat; der Satz von Funktionen ferner aufweist, bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement; und das Berechnen des zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement auf zumindest dem zugehörigen Gitterelementbereich und dem zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes zugehörige Gitterelement basiert.
Verfahren, aufweisend: Empfangen einer dreidimensionalen (3D) Punktwolke von einem Tiefensensor, der auf ein offenes Ende eines Versandbehälters gerichtet ist, wobei die Punktwolke mehrere Punkte umfasst, die jeweils einen jeweiligen Tiefenwert aufweisen, wobei der Tiefensensor eine optische Achse aufweist und eine Bildebene; Drehen der empfangenen 3D-Punktwolke, um (i) die optische Achse mit einem Bodenniveau und (ii) die Bildebene mit einer Endebene des Versandbehälters auszurichten; Segmentieren der gedrehten 3D-Punktwolke unter einer Mehrzahl von Gitterelementen, die kollektiv ein zweidimensionales (2D) Gitterbild bilden, das einer Ebene entspricht, die parallel zu dem offenen Ende des Versandbehälters ist, wobei jedes Gitterelement einen zugehörigen Gitterelementbereich hat; Bestimmen eines zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwerts für jedes Gitterelement zumindest teilweise durch Vergleichen (i) des zugehörigen Abschnitts der projizierten Punktwolke, der von dem zugehörigen Gitterelementbereich des zugehörigen Gitterelements überlagert wird, mit (ii) einem zugehörigen entsprechenden Abschnitt einer Referenz-Leerbehälter -Punktwolke; Berechnen des zugehörigen Beladenen-Behälterabschnitt-Gitterelement-Volumens für jedes Gitterelement basierend auf zumindest dem jeweiligen Gitterelementbereich und dem jeweiligen Beladenen-Behälterabschnitt-Gitterelement-Tiefenwert für jedes zugehörige Gitterelement; Berechnen eines Beladenen-Behälterabschnitt-Volumens des Versandbehälters durch Aggregieren der berechneten zugehörigen Beladenen-Behälterabschnitt-Gitterelementvolumina; Bestimmen einer Kapazität des Versandbehälters basierend zumindest teilweise auf den empfangenen Tiefendaten; Berechnen einer geschätzten Vollheit des Versandbehälters basierend auf dem Beladenen-Behälterabschnitt-Volumen und der bestimmten Kapazität des Versandbehälters; und Ausgeben der berechneten geschätzten Vollheit des Versandbehälters.