DE112020005377B4

DE112020005377B4 - Systeme und verfahren zur automatischen kamerainstallationsführung

Info

Publication number: DE112020005377B4
Application number: DE112020005377.6T
Authority: DE
Inventors: Yan Zhang; Kevin J. O`Connell; Jay J. Williams; Lichen Wang
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2019-10-31
Filing date: 2020-09-15
Publication date: 2023-07-13
Anticipated expiration: 2040-09-16
Also published as: US20210136750A1; US10820307B2; AU2020372815A1; US20200077383A1; US11419101B2; CN114651506B; DE112020005377T5; CA3152570C; CN114651506A; GB202206104D0; GB2603437A; CA3152570A1; AU2020372815B2; GB2603437B; WO2021086505A1

Abstract

Es werden dreidimensionale (3D) Tiefenbildgebungssysteme und -verfahren zur Beurteilung der Orientierung in Bezug auf einen Container offenbart. Eine 3D-Tiefenkamera erfasst 3D-Bilddaten eines Versandcontainers. Eine Containermerkmalbeurteilungsanwendung bestimmt eine repräsentative Containerpunktwolke und (a) wandelt die 3D-Bilddaten in 2D-Tiefenbilddaten um; (b) vergleicht die 2D-Tiefenbilddaten mit einem oder mehreren Vorlagebilddaten; (c) führt eine Segmentierung durch, um 3D-Punktwolkenmerkmale zu extrahieren; (d) bestimmt äußere Merkmale des Versandcontainers und beurteilt die äußeren Merkmale unter Verwendung einer Metrik für äußere Merkmale; (e) bestimmt innere Merkmale des Versandcontainers und beurteilt die inneren Merkmale unter Verwendung einer Metrik für innere Merkmale; und (f) erzeugt eine Orientierungsanpassungsanweisung, um einem Bediener anzuzeigen, die 3D-Tiefenkamera in einer zweiten Richtung zur Verwendung während eines Versandcontainer-Ladevorgangs auszurichten, wobei die zweite Richtung von der ersten Richtung verschieden ist.

Description

HINTERGRUND DER ERFINDUNG
In der Transportindustrie werden Versandcontainer (z. B. Versandcontainer, wie sie im Luft- und/oder Bodentransport und in der Schifffahrt verwendet werden, wie z. B. Einheitsladevorrichtungen (Unit Load Devices - ULDs) typischerweise mit einer Vielzahl unterschiedlicher Techniken beladen, die eine Vielzahl unterschiedlicher Größen und Konfigurationen von Kisten, Paketen oder anderen Gegenständen für den Versand oder Transit berücksichtigen. Darüber hinaus weisen Versandcontainer selbst in der Regel unterschiedliche Größen und Lagerkapazitäten auf (z. B. wenn solche Versandcontainer für unterschiedliche Frachtgrößen, Ladungen und/oder Konfigurationen konstruiert sind). Dementsprechend liegt ein Hauptfokus in der Transport-/Versandindustrie auf einer genauen Analyse der Beladung solcher Container.
Herkömmliche Analysesysteme verfügen über eine Kamera (z. B. eine Ladeüberwachungseinheit (LMU)), die an einem bestimmten Ladepunkt positioniert ist. Diese Kameras erfassen Bilder von Versandcontainern, die an dem vorgesehenen Ladepunkt abgestellt werden, um eine Analyse der für die Beladung der einzelnen Container verwendeten Verfahren zu erleichtern. Bei solchen herkömmlichen Analysesystemen treten jedoch Probleme auf.
Zum Beispiel ist eine genaue Kamera (z. B. LMU)-Orientierung für analytische Algorithmen, wie z.B. ULD-Füllstandalgorithmen, unerlässlich, um eine akzeptable Leistung zu erzielen. LMUs werden traditionell bei der Installation durch manuelle Analyse von zuvor erfassten Bildern ausgerichtet. Der herkömmliche Orientierungsprozess ist sehr zeitaufwändig und ungenau, da eine visuelle Bildprüfung durch den Menschen mit Ungenauigkeiten behaftet ist. Darüber hinaus müssen bei großen Installationen oft Dutzende von LMUs ausgerichtet werden, was diese Ineffizienzen schnell verstärken kann.
Mehrere herkömmliche Verfahren versuchen, diese Probleme zu lösen. Jedes hat jedoch spezifische Nachteile. So kann zum Beispiel ein direktes 3D-Abgleichsverfahren eingesetzt werden, um eine Zielpunktwolke mit einer 3D-Vorlagepunktwolke abzugleichen. Das direkte 3D-Abgleichsverfahren ist jedoch nicht robust, da es keine stabilen und wiederholbaren Ergebnisse liefert, empfindlich auf Teilstrukturen reagiert und einen hohen Rechenaufwand erfordert. Außerdem ist der Abgleich nicht genau, was im Allgemeinen zu fehlerhaften und ungenauen Berichten führt.
Eine weitere herkömmliche Technik ist das Clustern von Punktwolken. Das Clustern von Punktwolken ist jedoch ebenfalls nicht robust, da es keine stabilen und wiederholbaren Ergebnisse liefert, insbesondere leidet es unter unkontrollierbaren Ergebnissen bei der Segmentierung von 3D-Daten. Die Punktwolken-Clustertechnik ist außerdem empfindlich gegenüber „Rauschen“ (z. B. Verlader/Personal, die sich durch den Ladebereich bewegen) und Interferenzen durch kleine Objekte (z. B. ein Paket, das im Ladebereich bewegt wird). Aus diesem Grund führt das Clustern von Punktwolken in der Regel zu fehlerhaften Clusterergebnissen aufgrund von Interferenzen zwischen Verladern und Paketen.
US 2017 / 0 178 333 A1 beschreibt ein Verfahren und eine Vorrichtung zum Empfangen eines Tiefenrahmens von einem Tiefensensor, der auf ein offenes Ende eines Versandbehälters ausgerichtet ist, wobei der Tiefenrahmen eine Vielzahl von Gitterelementen umfasst, die jeweils einen jeweiligen Tiefenwert haben. Es werden eine oder mehrere Okklusionen in dem Tiefenrahmen identifiziert und die eine oder die mehreren Okklusionen in dem Tiefenrahmen werden unter Verwendung eines oder mehrerer zeitlich benachbarter Tiefenrahmen korrigiert. Ebenso wird der korrigierte Tiefenrahmen zur Füllstandschätzung ausgegeben.
WEI, Li; LEE, Eung-Joo. Real-time container shape and range recognition for implementation of container auto-landing system. Journal of Korea Multimedia Society, 2009, 12. Jg., Nr. 6, S. 794-803, beschreibt eine Echtzeit-Containerform- und Entfernungserkennung zur Implementierung eines automatischen Container-Landungssystems. Das System verwendet eine Stereokamera, um Tiefeninformationen des Containers zu messen. Der Bereich des Containers kann durch die Verwendung eines Hough-Linien-Merkmals erkannt werden.
Dementsprechend ergeben sich im Allgemeinen verschiedene Probleme hinsichtlich der automatischen, effizienten und genauen dynamischen Konfiguration einer Kameraorientierung während der Installation. Daher besteht ein Bedarf an dreidimensionalen (3D) Tiefenbildgebungssystemen und -verfahren zur dynamischen Konfiguration einer Kameraorientierung, die eine schnelle und effiziente Beurteilung der Orientierung in Echtzeit bei der Kamerainstallation ermöglichen.
Figurenliste

1 ist eine perspektivische Ansicht, von oben gesehen, eines vordefinierten Suchraums einer Verladeeinrichtung, die eine Ladeüberwachungseinheit (LMU) mit einer 3D-Kamera zeigt, die in eine erste Richtung ausgerichtet ist, um 3D-Bilddaten eines in einem Raum befindlichen Versandcontainers zu erfassen, gemäß den hierin enthaltenen beispielhaften Ausführungsbeispielen.
2 ist eine perspektivische Ansicht der LMU von 1, gemäß den hierin enthaltenen beispielhaften Ausführungsbeispielen.
3 ist ein Blockdiagramm, das eine Ausführungsform eines Servers darstellt, der der Verladeeinrichtung von 1 und der 3D-Kamera von 2 zugeordnet ist.
4 ist ein Flussdiagramm für einen 3D-Tiefenbildgebungsalgorithmus zur Beurteilung einer Orientierung in Bezug auf einen Container gemäß den hierin enthaltenen beispielhaften Ausführungsbeispielen.
Die 5A und 5B zeigen beispielhafte Ausführungsformen von 3D- und 2D-Bildern hinsichtlich einer Vorverarbeitung und Umwandlung eines Tiefenbildes gemäß 4 und gemäß den hierin beschriebenen beispielhaften Ausführungsformen.
Die 6A-6C zeigen beispielhafte Ausführungsformen von 3D- und 2D-Bildern hinsichtlich einer Umwandlung von Punktwolken in Tiefenbilder gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.
7 zeigt eine beispielhafte Ausführungsform von 2D-Bildern hinsichtlich einer Vorlageextraktion und eines Abgleichs gemäß 4 und gemäß mit den hierin enthaltenen beispielhaften Ausführungsformen.
Die 8A-8C zeigen beispielhafte Diagramme und Ausführungsformen von 3D-Bildern hinsichtlich einer Segmentierung einer Container-Rückwand und Bodenebene sowie einer Ebenenregression gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.
Die 9A-9B zeigen beispielhafte Ausführungsformen von 3D- und 2D-Bildern hinsichtlich einer Frontebenen-Segmentierung gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.
10 zeigt eine beispielhafte Ausführungsform eines 2D-Bildes hinsichtlich einer Frontplatten-Vollständigkeitsanalyse gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.
Die 11A-11B zeigen beispielhafte Diagramme und Ausführungsformen von 3D-Bildern hinsichtlich einer Schätzung der Höhe von Frontplatte und Rückwand und einer Berechnung der Rückwandverdeckung gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.
Die 12A-12B zeigen beispielhafte Ausführungsformen von 3D-Bildern hinsichtlich der Erzeugung eines ULD-Sichtbarkeits- und Verdeckungsstatus und der Erzeugung eines ULD-3D-Begrenzungsrahmens gemäß 4 und gemäß den hierin enthaltenen beispielhaften Ausführungsformen.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Gemäß der Erfindung ist ein dreidimensionales Tiefenbildgebungssystem mit den Merkmalen des Anspruchs 1 sowie ein Verfahren mit den Merkmalen des Anspruchs 13 angegeben. Dementsprechend werden hier Systeme und Verfahren beschrieben, die eine automatische Beurteilung von Orientierungen in Bezug auf Container zur LMU-Installation bereitstellen. Die hierin beschriebenen Systeme und Verfahren ersetzen herkömmliche manuelle LMU-Installationsprozesse, indem sie automatisch hochpräzise LMU-Orientierungsinformationen für analytische Algorithmen in Echtzeit bereitstellen. Die vorliegende Offenbarung schlägt einen effizienten, genauen und robusten Ansatz zur dynamischen Orientierung von LMLJs während der Installation vor, um die Effizienz und Genauigkeit des LMU-Installationsprozesses im Vergleich zu bekannten analytischen Algorithmen zu verbessern.
Darüber hinaus beschreibt die vorliegende Offenbarung erfindungsgemäße Ausführungsformen, die Anpassungen der LMU-Orientierung auf der Grundlage visueller Beurteilungen von erfassten Bildern beseitigen. Im Gegensatz zu herkömmlichen Systemen und Verfahren, die entweder instabile oder anderweitig unkontrollierbare Ergebnisse liefern, stellen die Ausführungsformen der vorliegenden Offenbarung konsistente, genaue Installationsanweisungen bereit. Ohne die Vorteile der vorliegenden Offenbarung würde der Aufwand für die Ausrichtung der Installation erheblich und langwierig bleiben.
Die Systeme und Verfahren der vorliegenden Offenbarung liefern einem LMU-Installateur eine Rückmeldung und leiten den LMU-Standort bzw. -Orientierung zu einer guten Position, die eine Containerbeladungsanalyse (CLA) erleichtert. Das vorgeschlagene Verfahren nutzt sowohl eine 3D-Punktwolke als auch einen 2D-Tiefenbild-Vorlageabgleichalgorithmus. Für die Vorlageauswahl wird die Punktwolke einer kompletten ULD als Vorlageextraktionsquelle ausgewählt und in ein Tiefenbild umgewandelt. Die fehlenden Daten im Tiefenbild werden dann mit Hilfe eines Verfahrens der kleinsten Quadrate mit Pönalisierung ergänzt. Anschließend wird ein bestimmter Bereich, der einen mittleren Abschnitt der ULD im Tiefenbild enthält, ausgewählt und als Vorlage für den entsprechenden Abgleichprozess ausgeschnitten.
Nachdem ein Live-Bild der ULD erfasst wurde, beinhalten die Ausführungsformen der vorliegenden Offenbarung das Abgleichen der vorausgewählten Vorlage mit dem Live-Bild. Um dieses Abgleichen zu erleichtern, wird die Zielpunktwolke zunächst in ein Tiefenbild umgewandelt und dann mit der Vorlage abgeglichen. Der abgeglichene Bereich wird dann zur Lokalisierung der Boden- und Rückwandposition in der Szene verwendet. Nach dem Vorlageabgleich wird die 3D-Punktwolke anhand der abgeglichenen Position in eine Bodenebene und eine Rückwand segmentiert. Der segmentierte Boden und die Rückwand werden der Ebenenregressions-Pipeline zugeführt, wo jeder Ebenenparameter geschätzt wird. Die ULD-Frontebene wird dann anhand der bekannten ULD-Abmessungen segmentiert.
Die ULD-Frontebene ist beispielsweise in mehrere Kanten unterteilt, darunter eine linke, eine rechte und eine obere Kante. Durch die Berechnung des Verhältnisses jeder der Kanten kann die Vollständigkeit der Frontstruktur schnell und zuverlässig ermittelt werden. Darüber hinaus können die Systeme und Verfahren der vorliegenden Offenbarung auf der Grundlage bekannter Annahmen, wie z. B. dass die linke Seitenwand senkrecht zum Boden und zur Frontplatte steht, sowohl den Standort als auch die Passung der linken und rechten Wand sowie der oberen Deckenebene der ULD direkt ableiten. Das Verdeckungsverhältnis der Rückwand zur Frontebene wird dann berechnet, und alle sechs Ebenen des ULD-Containers werden lokalisiert, um den Begrenzungsrahmen des Containers zu identifizieren. Schließlich werden die Vollständigkeit der ULD-Frontplatte und die Verdeckung der Rückwand berechnet, um dem Installateur eine Rückmeldung über die Installation zu geben.
Die hierin offenbarten 3D-Tiefenbildgebungssysteme und -verfahren können anhand der verschiedenen hierin offenbarten Figuren besser verstanden werden.
1 ist eine perspektivische Ansicht von oben auf einen Raum 101 in einer Verladeeinrichtung, die eine Ladeüberwachungseinheit (LMLJ) mit einer 3D-Kamera (z. B. einer 3D-Tiefenkamera) zeigt, die in einer Richtung ausgerichtet ist, um 3D-Bilddaten eines Versandcontainers zu erfassen, gemäß den hierin beschriebenen beispielhaften Ausführungsformen. Wie dargestellt, hat der Versandcontainer 102 den Versandcontainertyp „AMJ“. Im Allgemeinen wird ein Versandcontainer aus einem von mehreren unterschiedlich dimensionierten Containern ausgewählt. In verschiedenen Ausführungsformen können Versandcontainer jede Art von Einheitsladevorrichtung (ULD) umfassen. Ein Versandcontainer kann beispielsweise von jedem ULD-Typ sein, z. B. jeder von einem AMJ-Typ, einem AAD-Typ, einem AKE-Typ, einem AYY-Typ, einem SAA-Typ, einem APE-Typ oder einem AQF-Typ. Bei ULD-Versandcontainern gibt der erste Buchstabe (z. B. „A“ für „Zertifizierter Luftfahrtcontainer“) einen bestimmten Typ von ULD-Container an, wie z. B. zertifiziert, thermisch usw., der zweite Buchstabe steht für die Grundgröße in Form von Abmessungen (z. B. „M“ für 96 x 125 Zoll), und der dritte Buchstabe steht für die Größe und Form der Seitenkontur (z. B. „J“ für einen würfelförmigen ULD-Container mit einem schräg abfallenden Dachabschnitt auf nur einer Seite). Im Allgemeinen kann ein Versandcontainer jedoch jeder beliebige luftfahrzeugbasierte Versandcontainer sein.
Bei dem Raum 101 kann es sich um einen vordefinierten Suchraum handeln, der auf der Grundlage der Größe, der Abmessungen oder der sonstigen Konfiguration des Versandcontainers und/oder des Bereichs, in dem der Versandbereich lokalisiert ist, bestimmt wird. In einer Ausführungsform kann der vordefinierte Suchraum beispielsweise auf der Grundlage des ULD-Typs, der Form oder der Position innerhalb eines allgemeinen Bereichs bestimmt werden. Wie in 1 gezeigt, wird der vordefinierte Suchraum beispielsweise auf der Grundlage der Größe und der Abmessungen des Versandcontainers 102 vom Typ AMJ bestimmt. Im Allgemeinen ist der Raum 101 so definiert, dass er den Versandcontainer vollständig (oder zumindest teilweise) umfasst oder abbildet. Der Raum 101 kann ferner einen Frontbereich 103 umfassen, der im Allgemeinen eine Frontposition des vordefinierten Suchraums und/oder des Versandcontainers 102 definiert.
1 zeigt zusätzlich innerhalb des Raums 101 Personal oder Verlader 105 und 106, die Pakete 104 und 107 in den Versandcontainer 102 laden. In der Ausführungsform von 1 wird der Versandcontainer 102 von den Verladern 105 mit den Paketen 104 und 107 während eines Ladevorgangs beladen. Der Ladevorgang umfasst das Laden eines Satzes oder einer Gruppe von identifizierten Paketen in den Versandcontainer 102. Die Verlader 105 und 106 und die Pakete 104 und 107 können durch ihre Bewegung durch den Raum 101 im Allgemeinen eine Verdeckung und Interferenz mit der 3D-Kamera 202 (wie in 2 beschrieben) verursachen, die im Laufe der Zeit 3D-Bilddaten des Versandcontainers 102 erfasst. Daher ist die Bestimmung der korrekten Orientierung der 3D-Kamera 202 während der Installation von entscheidender Bedeutung, um sicherzustellen, dass eine unsachgemäße Installation die Bildgebungsschwierigkeiten, die durch Verdeckungen und Interferenzen während des normalen Betriebs eines Ladevorgangs entstehen, nicht noch weiter erschwert.
2 ist eine perspektivische Ansicht der LMU von 1 gemäß den hier dargestellten beispielhaften Ausführungsformen. In verschiedenen Ausführungsformen ist die LMU 202 eine montierbare Vorrichtung. Im Allgemeinen umfasst eine LMLJ 202 Kamera(s) und eine Verarbeitungsplatine und ist so konfiguriert, dass sie Daten einer Ladeszene (z. B. einer Szene mit Raum 101) erfasst. Die LMU 202 kann eine Containerfüllstandschätzung und andere erweiterte analytische Algorithmen ausführen.
LMU 202 kann eine 3D-Kamera 254 zum Erfassen, Abtasten oder Scannen von 3D-Bilddaten/Datensätzen enthalten. In einigen Ausführungsformen kann die 3D-Kamera 254 beispielsweise einen Infrarot-(IR)-Projektor und eine zugehörige IR-Kamera umfassen. In solchen Ausführungsformen projiziert der IR-Projektor ein Muster aus IR-Licht oder -Strahlen auf ein Objekt oder eine Oberfläche, die in verschiedenen Ausführungsformen Oberflächen oder Bereiche eines vordefinierten Suchraums (z. B. Raum 101) oder Objekte innerhalb des vordefinierten Suchraums, wie z. B. Kisten oder Pakete (z. B. Pakete 104 und 107) und Lagercontainer 102, umfassen können. Das IR-Licht oder die IR-Strahlen können vom IR-Projektor in einem Punktmuster auf dem Objekt oder der Oberfläche verteilt werden, das von der IR-Kamera erfasst oder gescannt werden kann. Eine Tiefenerkennungs-App, wie z. B. eine Tiefenerkennungs-App, die auf einem oder mehreren Prozessoren oder Speichern der LMU 202 ausgeführt wird, kann auf der Grundlage des Punktmusters verschiedene Tiefenwerte bestimmen, z. B. die Tiefenwerte des vordefinierten Suchraums 101. Zum Beispiel kann ein Objekt mit naher Tiefe (z.B. nahe gelegene Kisten, Pakete usw.) bestimmt werden, wo die Punkte dicht sind, und Objekte mit weiter Tiefe (z.B. entfernte Kisten, Pakete usw.), wo die Punkte weiter verteilt sind. Die verschiedenen Tiefenwerte können von der Tiefenerkennungs-App und/oder der LMU 202 verwendet werden, um eine Tiefenkarte zu erstellen. Die Tiefenkarte kann ein 3D-Bild der Objekte oder Oberflächen darstellen oder 3D-Bilddaten der Objekte oder Oberflächen enthalten, die von der 3D-Kamera 254 erfasst oder gescannt wurden, z. B. den Raum 101 und alle darin befindlichen Objekte, Bereiche oder Oberflächen.
Die LMU 202 kann ferner eine fotorealistische Kamera 256 zum Erfassen, Abtasten oder Scannen von 2D-Bilddaten enthalten. Die fotorealistische Kamera 256 kann eine auf RGB (Rot, Grün, Blau) basierende Kamera zum Erfassen von 2D-Bildern mit RGB-basierten Pixeldaten sein. In einigen Ausführungsformen kann die fotorealistische Kamera 256 2D-Bilder und zugehörige 2D-Bilddaten zum gleichen oder einem ähnlichen Zeitpunkt wie die 3D-Kamera 254 erfassen, so dass der LMLJ 202 beide Sätze von 3D-Bilddaten und 2D-Bilddaten für eine bestimmte Oberfläche, ein Objekt, einen Bereich oder eine Szene zum gleichen oder einem ähnlichen Zeitpunkt zur Verfügung stehen.
In verschiedenen hier beschriebenen Ausführungsformen kann die LMLJ 202 eine montierbare Vorrichtung sein, die eine 3D-Kamera zur Erfassung von 3D-Bildern (z. B. 3D-Bilddaten/Datensätze) und eine fotorealistische Kamera (z. B. 2D-Bilddaten/Datensätze) umfasst. Bei der fotorealistischen Kamera kann es sich um eine RGB-Kamera zur Erfassung von 2D-Bildern handeln, wie z. B. das Bild in 1. Die LMLJ 202 kann auch einen oder mehrere Prozessoren und einen oder mehrere Computerspeicher zum Speichern von Bilddaten und/oder zum Ausführen von Anwendungen enthalten, die Analysen oder andere hier beschriebene Funktionen durchführen. In verschiedenen Ausführungsformen und wie in 1 gezeigt, kann die LMLJ 202 in einer Verladeeinrichtung montiert und in Richtung des Raums 101 ausgerichtet werden, um 3D- und/oder 2D-Bilddaten des Versandcontainers 102 zu erfassen. Beispielsweise kann die LMLJ 202, wie in 1 gezeigt, so ausgerichtet sein, dass die 3D- und 2D-Kameras der LMLJ 202 3D-Bilddaten des Versandcontainers 102 erfassen können, wobei die LMLJ 202 z. B. die Wände, den Boden, die Decke, die Pakete oder andere Objekte oder Oberflächen innerhalb des Raums 101 abtasten oder erfassen kann, um die 3D- und 2D-Bilddaten zu ermitteln. Die Bilddaten können von einem oder mehreren Prozessoren und/oder Speichern der LMU 202 (oder, in einigen Ausführungsformen, von einem oder mehreren entfernten Prozessoren und/oder Speichern eines Servers) verarbeitet werden, um Analysen, Funktionen, wie z. B. grafische oder Bildgebungsanalysen, zu implementieren, wie in einem oder mehreren verschiedenen Flussdiagrammen, Blockdiagrammen, Verfahren, Funktionen oder verschiedenen Ausführungsformen hierin beschrieben. Es sollte beachtet werden, dass die LMU 202 3D- und/oder 2D-Bilddaten/Datensätze einer Vielzahl von Verladeeinrichtungen oder anderen Bereichen erfassen kann, so dass zusätzliche Verladeeinrichtungen oder Bereiche (z. B. Lagerhäuser usw.) zusätzlich zu den vordefinierten Suchräumen (z. B. Raum 101) hier in Betracht gezogen werden.
In einigen Ausführungsformen kann die LMU 202 beispielsweise die 3D- und 2D-Bilddaten/Datensätze, die von der 3D-Kamera und der fotorealistischen Kamera gescannt oder erfasst wurden, zur Verwendung durch andere Vorrichtungen (z. B. Server 301, wie hierin weiter beschrieben) verarbeiten. Beispielsweise können der eine oder die mehreren Prozessoren und/oder der eine oder die mehreren Speicher der LMLJ 202 die vom Raum 101 gescannten oder erfassten Bilddaten oder Datensätze erfassen und/oder verarbeiten. Bei der Verarbeitung der Bilddaten können Postscandaten erzeugt werden, die Metadaten, vereinfachte Daten, normalisierte Daten, Ergebnisdaten, Statusdaten oder Alarmdaten umfassen können, die aus den ursprünglich gescannten oder erfassten Bilddaten ermittelt wurden. In einigen Ausführungsformen können die Bilddaten und/oder die Postscandaten an eine Clientvorrichtung/eine Clientanwendung, wie z. B. eine Containermerkmalbeurteilungs-App, die z. B. auf einer Clientvorrichtung installiert und ausgeführt werden kann, zur Ansicht, Bearbeitung oder sonstigen Interaktion gesendet werden. In anderen Ausführungsformen können die Bilddaten und/oder die Postscandaten an einen Server (z. B. Server 301, wie hierin weiter beschrieben) zur Speicherung oder zur weiteren Bearbeitung gesendet werden. Beispielsweise können die Bilddaten und/oder die Postscandaten an einen Server, wie den Server 301, gesendet werden. In solchen Ausführungsformen können der oder die Server Postscandaten erzeugen, die Metadaten, vereinfachte Daten, normalisierte Daten, Ergebnisdaten, Statusdaten oder Alarmdaten enthalten können, die aus den ursprünglichen gescannten oder abgetasteten Bilddaten, die von der LMU 202 bereitgestellt wurden, bestimmt wurden. Wie hierin beschrieben, kann der Server oder eine andere zentrale Prozessoreinheit und/oder ein Speicher solche Daten speichern und die Bilddaten und/oder die Postscandaten an eine Dashboard-App oder eine andere App senden, die auf einer Clientvorrichtung implementiert ist, wie z. B. die auf einer Clientvorrichtung implementierte Containermerkmalbeurteilungs-App.
Die LMU 202 kann eine Halterung 252 zum Ausrichten oder anderweitigen Positionieren der LMU 202 in einer Verladeeinrichtung enthalten, die dem Raum 101 zugeordnet ist, wie hierin beschrieben. Die LMLJ 202 kann ferner einen oder mehrere Prozessoren und einen oder mehrere Speicher zur Verarbeitung von Bilddaten, wie hierin beschrieben, enthalten. Beispielsweise kann die LMLJ 202 einen Flash-Speicher enthalten, der zum Bestimmen, Speichern oder anderweitigen Verarbeiten der Bilddaten/Datensätze und/oder Postscandaten verwendet wird. Darüber hinaus kann die LMLJ 202 eine Netzwerkschnittstelle aufweisen, um eine Kommunikation mit anderen Vorrichtungen zu ermöglichen (z. B. mit dem Server 301 in 3, wie hier beschrieben). Die Netzwerkschnittstelle der LMU 202 kann jede geeignete Art von Kommunikationsschnittstelle(n) umfassen (z. B. drahtgebundene und/oder drahtlose Schnittstellen), die so konfiguriert sind, dass sie gemäß jedem geeigneten Protokoll arbeiten, z.B. Ethernet für drahtgebundene Kommunikation und/oder IEEE 802.11 für drahtlose Kommunikation.
3 ist ein Blockdiagramm, das eine Ausführungsform eines Servers darstellt, der der Verladeeinrichtung von 1 und der LMU 202 von 2 zugeordnet ist. In einigen Ausführungsformen kann sich der Server 301 in der gleichen Einrichtung wie die Verladeeinrichtung von 1 befinden. In anderen Ausführungsformen kann sich der Server 301 an einem entfernten Standort befinden, beispielsweise auf einer Cloud-Plattform oder einem anderen entfernten Standort. In beiden Ausführungsformen kann der Server 301 kommunikativ mit einer 3D-Kamera (z. B. LMU 202) gekoppelt sein.
Der Server 301 ist so konfiguriert, dass er Computerbefehle ausführt, um die den hierin beschriebenen Systemen und Verfahren zugeordneten Vorgänge durchzuführen, z. B. die in den Blockdiagrammen oder Flussdiagrammen der Zeichnungen zu dieser Beschreibung dargestellten Beispielvorgänge zu implementieren. Der Server 301 kann Unternehmensdienstsoftware implementieren, die beispielsweise RESTful (Representational State Transfer) API-Dienste, einen Nachrichtenwarteschlangen-Dienst und Ereignisdienste umfassen kann, die von verschiedenen Plattformen oder Spezifikationen bereitgestellt werden können, wie z. B. die J2EE-Spezifikation, die von einer der Oracle WebLogic Server-Plattform, der JBoss-Plattform oder der IBM WebSphere-Plattform usw. implementiert wird. Andere Technologien oder Plattformen, wie Ruby on Rails, Microsoft .NET oder ähnliche, können ebenfalls verwendet werden. Wie im Folgenden beschrieben, kann der Server 301 speziell für die Durchführung der in den Blockdiagrammen oder Flussdiagrammen der hier beschriebenen Zeichnungen dargestellten Vorgänge konfiguriert werden.
Der Beispielserver 301 von 3 enthält einen Prozessor 302, wie z. B. einen oder mehrere Mikroprozessoren, Steuerungen und/oder jeden geeigneten Prozessortyp. Der Beispielserver 301 von 3 umfasst ferner einen Speicher (z. B. einen flüchtigen oder nichtflüchtigen Speicher) 304, auf den der Prozessor 302 beispielsweise über einen Speichercontroller (nicht dargestellt) zugreifen kann. Der Beispielprozessor 302 interagiert mit dem Speicher 304, um z. B. maschinenlesbare Anweisungen zu erhalten, die im Speicher 304 gespeichert sind und z. B. den durch die Flussdiagramme dieser Offenbarung dargestellten Operationen entsprechen. Zusätzlich oder alternativ können maschinenlesbare Anweisungen, die den Beispielvorgängen der Blockdiagramme oder Flussdiagramme entsprechen, auf einem oder mehreren Wechseldatenträgern (z. B. einer Compact Disc, einer Digital Versatile Disc, einem entfernbaren Flash-Speicher usw.) oder über eine Fernverbindung, wie z. B. das Internet oder eine Cloud-basierte Verbindung, gespeichert werden, die mit dem Server 301 verbunden werden kann, um Zugriff auf die darauf gespeicherten maschinenlesbaren Anweisungen zu ermöglichen.
Der Beispielserver 301 von 3 kann ferner eine Netzwerkschnittstelle 306 enthalten, um die Kommunikation mit anderen Maschinen zu ermöglichen, z. B. über ein oder mehrere Computernetzwerke, wie ein lokales Netzwerk (LAN) oder ein Weitbereichsnetzwerk (WAN), z. B. das Internet. Die beispielhafte Netzwerkschnittstelle 306 kann jede geeignete Art von Kommunikationsschnittstelle(n) (z. B. drahtgebundene und/oder drahtlose Schnittstellen) umfassen, die so konfiguriert sind, dass sie gemäß einem oder mehreren geeigneten Protokollen arbeiten, z. B. Ethernet für drahtgebundene Kommunikation und/oder IEEE 802.11 für drahtlose Kommunikation.
Der Beispielserver 301 von 3 umfasst Eingabe-/Ausgabeschnittstellen (E/A-Schnittstellen) 308, um den Empfang von Benutzereingaben und die Übermittlung von Ausgabedaten an den Benutzer zu ermöglichen, die beispielsweise eine beliebige Anzahl von Tastaturen, Mäusen, USB-Laufwerken, optischen Laufwerken, Bildschirmen, Touchscreens usw. umfassen können.
4 ist ein Flussdiagramm für einen 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 zur Bewertung einer Orientierung in Bezug auf einen Container gemäß den hierin beschriebenen Ausführungsbeispielen. Der Algorithmus 400 beschreibt verschiedene Verfahren zur automatischen Steuerung der Kamerainstallation, wie hier beschrieben. Ausführungsformen des 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 für die automatische Kamera-Installationsführung von 4 werden nachstehend im Zusammenhang mit den 5A-5B, 6A-6C, 7A-7B, 8A-8C, 9A-9B, 10, 11A-11B und 12A-12B erörtert.
Der Algorithmus 400 zur Verarbeitung von 3D-Punktwolkendaten in 4 umfasst im Allgemeinen drei übergreifende Schritte. Zunächst wird mit der 3D-Kamera ein 3D-Bild des Containers aufgenommen und zur weiteren Verarbeitung in ein 2D-Bild umgewandelt. Das 3D-Bild besteht aus einer Punktwolke von Daten, die gemäß den hier beschriebenen Ausführungsformen vorverarbeitet werden. Beispielsweise können die 3D-Punktwolkendaten mit Verfahren wie Heruntertaktung (Downsampling) und Ausreißerentfernung verarbeitet werden, um die relevanten Daten in der 3D-Punktwolke zu identifizieren. Die relevanten 3D-Punktwolkendaten können dann in ein 2D-Bild umgewandelt, ausgefüllt und geglättet werden.
Anschließend wird das 2D-Bild mit einer Vorlage abgeglichen. In bestimmten Fällen kann die Vorlage vorgegeben sein und in einer Datenbank als Teil eines Satzes vorgegebener Vorlagen gespeichert sein. Beispielsweise kann jede Vorlage des Satzes vorgegebener Vorlagen einen bestimmten Containertyp repräsentieren. So kann eine vorgegebene Vorlage als Abgleich für das 2D-Bild auf der Grundlage des im 2D-Bild enthaltenen Containertyps ausgewählt werden. Außerdem kann jede Vorlage zugehörige Eigenschaften enthalten, um die weitere Verarbeitung des 2D-Bildes zu erleichtern. So kann die passende Vorlage beispielsweise vorgegebene Abmessungen des in der Vorlage enthaltenen Containertyps enthalten, so dass bei der anschließenden Verarbeitung des 2D-Bildes diese bekannten Abmessungen berücksichtigt werden können.
Schließlich verwendet der Containermerkmalbeurteilungsalgorithmus diesen Vorlageabgleich, um verschiedene Merkmale des Containers zu bestimmen. Beispielsweise kann der Algorithmus, der in einer Anwendung zur Bewertung von Containereigenschaften (App) ausgeführt wird, eine Segmentierung des 2D-Bildes vornehmen, um 3D-Merkmale zu extrahieren. Aus diesen 3D-Merkmalen kann die App sowohl äußere als auch innere Merkmale des Containers auf der Grundlage entsprechender Metriken bestimmen. Anschließend kann die App als Reaktion auf die Beurteilung der äußeren und inneren Merkmale eine Orientierungsanpassungsanweisung erzeugen. Die Orientierungsanpassungsanweisung kann einem Bediener eine Anpassung der Orientierung der 3D-Kamera für die Verwendung während eines Versandcontainerbeladungsvorgangs anzeigen.
Wie bereits erwähnt, besteht ein Vorteil der Systeme und Verfahren der vorliegenden Offenbarung unter anderem in der effizienten Beurteilung der Orientierung der 3D-Kamera. Dieser Vorteil ist vor allem bei großen Installationsvorgängen erkennbar, bei denen Dutzende von LMLJs auf einmal installiert werden. Darüber hinaus kann es vorkommen, dass die 3D-Kameras bei Versandcontainerbeladungsvorgängen weitere Justierungen der Orientierung erfordern. In diesen Fällen ermöglichen es die Systeme und Verfahren der vorliegenden Offenbarung dem Bediener, schnell und effizient die notwendigen Anpassungen an der Orientierung der 3D-Kamera vorzunehmen, um die Betriebszeiten zu optimieren, was zu einer erhöhten Produktivität, Kundenzufriedenheit und Gesamtleistung des Systems führt. Anstelle der herkömmlichen manuellen Auswertung der Bilder der 3D-Kamera zur Bestimmung der ungefähren Orientierungsanpassungen auf der Grundlage menschlicher visueller Beurteilungen ermöglichen die Systeme und Verfahren der vorliegenden Offenbarung dem Bediener, umgehend eine hochpräzise Orientierungsanpassungsanweisung in Echtzeit zu erhalten.
In Ausführungsformen kann der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 auf einem oder mehreren Prozessoren der LMU 202 ausgeführt werden. Zusätzlich oder alternativ kann der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 in einem oder mehreren Prozessoren des Servers 301 ausgeführt werden. Beispielsweise können sich ein oder mehrere Prozessoren auf einem Server (z. B. Server 301) befinden und über ein digitales Netzwerk mit der 3D-Kamera kommunikativ verbunden sein. Darüber hinaus kann der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 sowohl auf der LMU 202 als auch auf dem Server 301 in einem Client-Server-Format ausgeführt werden, wobei ein erster Teil des 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 auf der LMU 202 und ein zweiter Teil des 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 auf dem Server 301 ausgeführt wird.
Der 3D-Punktwolken-Datenverarbeitungsalgorithmus kann als Teil einer Containermerkmalbeurteilungsapp ausgeführt werden. Bei der Containermerkmalbeurteilungsapp kann es sich um Software handeln, die in einer Programmiersprache wie Java, C#, Ruby usw. implementiert und so kompiliert ist, dass sie auf einem oder mehreren Prozessoren der LMU 202 und/oder des Servers 301 ausgeführt werden kann. Beispielsweise kann die Containermerkmalbeurteilungsapp eine „while“-Schleife enthalten, die einen oder mehrere Teile des Algorithmus 400 bei Empfang von 3D-Bilddaten von der 3D-Kamera ausführt. In solchen Ausführungsformen würde der Empfang der 3D-Bilddaten zu einer „wahren“ Bedingung oder einem „wahren“ Zustand führen, der die while-Schleife zur Ausführung des einen oder der mehreren Teile des Algorithmus 400 auslösen würde. In noch weiteren Ausführungsformen kann die Containermerkmalbeurteilungsapp einen oder mehrere Ereignis-Zuhörer enthalten, wie z. B. eine Zuhörer-Funktion, die innerhalb der Containermerkmalbeurteilungsapp programmiert ist, wobei die Zuhörer-Funktion als Parameter die 3D-Bilddaten von der 3D-Kamera empfängt, wenn die 3D-Kamera 3D-Bilddaten erfasst hat. Auf diese Weise würde die 3D-Kamera 3D-Bilddaten an die Zuhörer-Funktion „pushen“ (übermitteln), die den Algorithmus 400 unter Verwendung der 3D-Bilddaten wie hier beschrieben ausführen würde.
Genauer gesagt beginnt der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 in Block 402, wo beispielsweise eine Anwendung (z. B. eine Containermerkmalbeurteilungsapp) eine Punktwolkeneingabe erhält. In der Praxis verwendet der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 eine 3D-Kamera (z. B. die 3D-Kamera 254 der LMU 202), die zur Erfassung von 3D-Bilddaten konfiguriert ist. In verschiedenen Ausführungsformen sind die 3D-Bilddaten 3D-Punktwolkendaten. Darüber hinaus können die 3D-Bilddaten periodisch erfasst werden, z. B. alle 30 Sekunden, jede Minute oder alle zwei Minuten, obwohl auch andere verschiedene Raten (z. B. andere Bildraten) und Zeitabläufe hier in Betracht gezogen werden.
In Bezug auf 5A ist die 3D-Kamera (z. B. von LMU 202) im Allgemeinen in eine Richtung ausgerichtet, um 3D-Bilddaten eines Versandcontainers (z. B. Versandcontainer 102) zu erfassen, der sich in einem Raum (z. B. Raum 101) befindet. Der Versandcontainer kann einen bestimmten Versandcontainertyp haben, wie z. B. den Typ „AMJ“, wie er für den Versandcontainer 102 in 1 gezeigt ist, oder jeden anderen hierin beschriebenen oder anderweitig als ULD-Containertyp bezeichneten Typ.
Der 3D-Punktwolken-Datenverarbeitungsalgorithmus 400 als Teil der Containermerkmalbeurteilungsapp, der auf dem/den Prozessor(en) der LMU 202 und/oder dem Server 301 ausgeführt wird, kann so konfiguriert sein, dass er die 3D-Bilddaten empfängt und auf der Grundlage der 3D-Bilddaten eine für den Versandcontainer 102 repräsentative Containerpunktwolke bestimmt. 5A zeigt ein Ausführungsbeispiel von 3D-Bilddaten, die für den Versandcontainer 102 repräsentativ sind, wie sie von der 3D-Bildkamera 254 der LMU 202 erfasst wurden. Wie in 5A gezeigt, enthalten die 3D-Bilddaten Punktwolkendaten 502, wobei die Punktwolkendaten in verschiedenen Farben dargestellt werden können, um unterschiedliche Tiefen oder Abstände innerhalb der Punktwolke zu repräsentieren. In der Ausführungsform von 5A repräsentiert Grün beispielsweise Daten, die näher an der 3D-Kamera 254 liegen, und Blau Daten, die weiter von der 3D-Kamera 254 entfernt sind.
In Block 404 ist die Containermerkmalbeurteilungsapp so konfiguriert, dass sie die 3D-Bilddaten vorverarbeitet. Eine Vorverarbeitung der Daten kann verschiedene Aktionen umfassen, wie z. B. das Heruntertakten oder Entfernen von Ausreißern aus den 3D-Bilddaten. Beispielsweise kann die Containermerkmalbeurteilungsapp eine oder mehrere Anweisungen ausführen, um Ausreißer aus den 3D-Bilddaten zu entfernen, indem sie zunächst die mit jedem Punkt der 3D-Bilddaten verbundenen Abstände auswertet. Die Containermerkmalbeurteilungsapp kann dann jeden Abstand mit einem Schwellenwertabstand vergleichen, um diejenigen Punkte in den 3D-Bilddaten zu entfernen, die den Schwellenwert überschreiten, unterschreiten oder anderweitig die Anforderungen für die Aufnahme in die nachfolgende Ausführung des Algorithmus 400 nicht erfüllen.
In Block 406 wird die Containermerkmalbeurteilungsapp so konfiguriert, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die 3D-Bilddaten in 2D-Tiefenbilddaten umzuwandeln. Im Allgemeinen kann die Containermerkmalbeurteilungsapp einen beliebigen Teil der 3D-Bilddaten in 2D-Tiefenbilddaten umwandeln. Beispielsweise kann die Containermerkmalbeurteilungsapp die 3D-Bilddaten während der Vorverarbeitung auswerten und einen Teil der 3D-Bilddaten entfernen, der mit dem den Container umgebenden Hintergrund verbunden ist. Daher kann die Containermerkmalbeurteilungsapp einen Teil der 3D-Bilddaten in 2D-Tiefenbilddaten 504 umwandeln (siehe 5B).
In Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die 3D-Bilddaten in 2D-Tiefenbilddaten umwandelt, indem sie die 2D-Tiefenbilddaten als Graustufenbilddaten erzeugt. Wie bereits erwähnt, können die 3D-Bilddaten (z. B. 3D-Bilddaten 502) beispielsweise in verschiedenen Farben wiedergegeben werden, um unterschiedliche Tiefen oder Abstände innerhalb der Punktwolke darzustellen. Wenn die Containermerkmalbeurteilungsapp die 3D-Bilddaten in die 2D-Tiefenbilddaten 504 umwandelt, kann die App daher die wiedergegebenen Farben entfernen, um ein Graustufenbild zu erzeugen.
In Block 408 wird die Containermerkmalbeurteilungsapp so konfiguriert, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die 2D-Tiefenbilddaten mit einem oder mehreren Vorlagebilddaten zu vergleichen. Die einen oder mehreren Vorlagebilddaten können einem bestimmten Versandcontainertyp entsprechen. Beispielsweise können die einen oder mehreren Vorlagebilddaten Versandcontainertypen entsprechen, einschließlich eines ULD-Typs, der einer ist von einem AMJ-Typ, einem AAD-Typ, einem AKE-Typ, einem AYY-Typ, einem SAA-Typ, einem APE-Typ und/oder einem AQF-Typ oder einer beliebigen Kombination davon. Daher können in bestimmten Ausführungsformen die einen oder mehreren Vorlagebilddaten einem oder mehreren verschiedenen ULD-Typen entsprechen.
In einigen Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die einen oder mehreren Vorlagebilddaten erzeugt. Darüber hinaus kann die Containermerkmalbeurteilungsapp die einen oder mehreren Vorlagebilddaten vor oder während der Ausführung des Algorithmus 400 erzeugen. Im Allgemeinen kann die App 3D-Bildpunktwolkendaten für einen Vorlage-Versandcontainer empfangen. Mit Bezug auf 6A kann die App dann die 3D-Bildpunktwolkendaten in Tiefenbilddaten 602 umwandeln. Wie in 6A dargestellt, können die Tiefenbilddaten 602 eine oder mehrere Lücken 604 enthalten. Es ist zu verstehen, dass die eine oder die mehreren Lücken 604 jeweils eine Vielzahl von Lücken enthalten können. Die eine oder die mehreren Lücken 604 können einen Mangel an Daten darstellen, der z. B. auf Reflexionen von der Metalloberfläche der ULD zurückzuführen ist. In jedem Fall stellen die eine oder die mehreren Lücken 604 ein Problem dar, da die resultierende Vorlage Teile der Tiefenbilddaten 602 enthalten kann, die die eine oder die mehreren Lücken 604 enthalten. Daher können die eine oder die mehreren Lücken 604 möglicherweise aus den Tiefenbilddaten 602 entfernt werden, indem geschätzte Daten anstelle der einen oder der mehreren Lücken 604 eingefügt werden.
Wie in 6B dargestellt, kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die Tiefenbilddaten (z. B. die Tiefenbilddaten 602) zu vervollständigen. Das vervollständigte Tiefenbild 606 kann die Tiefenbilddaten darstellen, nachdem die Containermerkmalbeurteilungsapp die Daten vervollständigt hat. Beispielsweise kann die Containermerkmalbeurteilungsapp ein Verfahren der kleinsten Quadrate mit Pönalisierung anwenden, um die fehlenden Werte in den Tiefenbilddaten aufzufüllen und das vollständige Tiefenbild 606 zu erstellen. Es sei jedoch verstanden, dass jedes geeignete Verfahren verwendet werden kann, um die fehlenden Datenwerte zu ergänzen, die durch die eine oder mehrere Lücken (z. B. eine oder mehrere Lücken 604) der Tiefenbilddaten dargestellt werden.
Das vervollständigte Tiefenbild 606 kann ähnlich wie die Tiefenbilddaten (z. B. die Tiefenbilddaten 602) in verschiedenen Farben dargestellt werden, um unterschiedliche Tiefen oder Abstände innerhalb des Bildes 606 zu repräsentieren. Eine solche farbige Darstellung ist jedoch nicht normal und kann daher zu inkonsistenten Ergebnissen führen, wenn sie als Vorlage für einen Vergleich während der Echtzeit-Bildanalyse verwendet wird. Daher kann das vervollständigte Tiefenbild 606 nach der Vervollständigung der Tiefenbilddaten durch die Containermerkmalbeurteilungsapp normalisiert werden.
Dementsprechend kann die Containermerkmalbeurteilungsapp auch so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um das vervollständigte Tiefenbild 606 zu normalisieren. Wie in 6C dargestellt, kann die Containermerkmalbeurteilungsapp das vervollständigte Bild (z. B. das vervollständigte Tiefenbild 606) in ein 2D-Graustufenbild 608 umwandeln. Zu diesem Zeitpunkt kann das 2D-Graustufenbild 608 einen Teil enthalten, der ausreicht, um ein Vorlagebild zu erstellen. Daher kann die Containermerkmalbeurteilungsapp damit fortfahren, einen Vorlageabschnitt aus dem 2D-Graustufenbild 608 zu extrahieren.
Wie in 7 dargestellt, kann die Containermerkmalbeurteilungsapp eine Vorlageextraktion 700 durchführen. Die Vorlageextraktion 700 umfasst ein 2D-Graustufenbild 702 und Vorlagebilddaten 704. Das 2D-Graustufenbild 702 kann ferner einen Vorlageabschnitt 706 enthalten. In der Praxis kann ein Bediener der LMU den Vorlageabschnitt 706 bestimmen und angeben, so dass die Containermerkmalbeurteilungsapp den ausgewählten Schablonenabschnitt 706 als eigenständiges Bild (z. B. die Vorlagebilddaten 704) zur Verwendung in nachfolgenden Containermerkmalbeurteilungen speichern kann. In einigen Ausführungsformen kann die Containermerkmalbeurteilungsapp den Vorlageabschnitt 706 jedoch automatisch im 2D-Graustufenbild 702 identifizieren.
Zur Veranschaulichung und unabhängig davon, wie der Vorlageabschnitt 706 identifiziert wird, kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die Vorlagebilddaten 704 nur dann akzeptiert, wenn die Daten 704 einen Abschnitt der Oberseite, der Rückwand und/oder der Bodenebene des Containers (z. B. ULD) enthalten. Darüber hinaus kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie Vorlagebilddaten 704 nur dann akzeptiert, wenn die Daten 704 auf den Abschnitten der Oberseite, der Rückwand und/oder der Bodenebene in der horizontalen Dimension zentriert sind. In jedem Fall können die Vorlagebilddaten 704 im Speicher gespeichert werden, bis die Containermerkmalbeurteilungsapp feststellt, dass ein in einem Echtzeit-3D-Bild erfasster Container mit dem in den Daten 704 dargestellten Containertyp übereinstimmt.
So kann die Containermerkmalbeurteilungsapp die Vorlagebilddaten 704 mit beliebigen 2D-Tiefenbilddaten (z. B. 2D-Graustufenbild 608) vergleichen, um eine Übereinstimmung zu ermitteln. Beispielsweise kann die Containermerkmalbeurteilungsapp die 2D-Tiefenbilddaten analysieren, indem sie nach Teilen der 2D-Tiefenbilddaten sucht, die mit den Merkmalen der Vorlagebilddaten um einen vorgegebenen Schwellenwert übereinstimmen. Zur Veranschaulichung kann die Containermerkmalbeurteilungsapp die 2D-Tiefenbilddaten durchsuchen, um einen Teil der 2D-Tiefenbilddaten zu identifizieren, der mindestens 90 % übereinstimmende Eigenschaften mit den Vorlagebilddaten 704 aufweist. Wenn die Containermerkmalbeurteilungsapp feststellt, dass eine solche Übereinstimmung besteht, kann die Containermerkmalbeurteilungsapp überprüfen, dass ein Container in den 2D-Tiefenbilddaten vorhanden ist und dass der Container von einem Typ ist, der mit dem bekannten Containertyp der Vorlagebilddaten 704 übereinstimmt. Durch diese Analyse kann die Containermerkmalbeurteilungsapp Container in 2D-Tiefenbilddaten mit hoher Genauigkeit und in verschiedenen Positionen identifizieren, um einen robusten Identifizierungsprozess zu erhalten.
In Ausführungsformen kann die Containermerkmalbeurteilungsapp die 2D-Tiefenbilddaten analysieren, um einen Teil der Daten zu bestimmen, der für einen Vergleich mit den verschiedenen gespeicherten Vorlagen (z. B. Vorlagebilddaten 704) ausreicht. Die Containermerkmalbeurteilungsapp kann das 2D-Tiefenbild analysieren, um alle geeigneten Eigenschaften zu bestimmen, aber die App kann insbesondere bestimmen, ob ein bestimmter Teil einen Teil der Oberseite, der Rückwand und/oder der Bodenebene des Containers umfasst. Ebenso kann die App feststellen, ob der bestimmte Abschnitt in der horizontalen Dimension über dem Container zentriert ist. Sobald die App einen Teil des 2D-Tiefenbildes bestimmt hat, der für den Vergleich mit einer Vorlage geeignet ist, bestimmt die App eine geeignete Vorlage.
In Block 410 ist die Containermerkmalbeurteilungsapp so konfiguriert, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um eine Segmentierung der 2D-Tiefenbilddaten durchzuführen und 3D-Punktwolkenmerkmale zu extrahieren. Genauer gesagt ist die Containermerkmalbeurteilungsapp so konfiguriert, dass sie die 3D-Punktwolkenmerkmale als Reaktion auf die Identifizierung einer Übereinstimmung zwischen den 2D-Tiefenbilddaten und einem oder mehreren Vorlagebilddaten extrahiert. Die App ist nämlich so konfiguriert, dass sie aus den 2D-Tiefenbilddaten eine Bodenebene und eine Rückwand des Containers segmentiert. Die App nutzt die Position der Vorlagebilddaten, um die Boden- und Rückwandebene zu identifizieren.
Wie in 8A dargestellt, können die 2D-Bilddaten 800 zum Beispiel ein Bild eines Containers während eines LMU-Installationsvorgangs sein. Die Containermerkmalbeurteilungsapp kann die Vorlagebilddaten 704 auf die 2D-Bilddaten 800 anwenden und eine Übereinstimmung zwischen den Vorlagebilddaten 704 und einem Teil der 2D-Bilddaten 800 feststellen. Dementsprechend kann die Containermerkmalbeurteilungsapp die Positionen der Rückwand 802 und der Grundplatte 804 auf der Grundlage der als übereinstimmend mit den Vorlagebilddaten 704 identifizierten Position bestimmen.
In Block 412 kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie 3D-Punktwolkenmerkmale aus der segmentierten Rückwand 802 und der Bodenebene 804 durch einen Regressionsalgorithmus extrahiert. In Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die 3D-Punktwolkenmerkmale extrahiert, indem sie die Rückwand 802 und die Bodenebene 804 einer Ebenenregressions-Pipeline zuführt, so dass die Ebenenregressions-Pipeline als Regressionsalgorithmus dient. Die Ebenenregressions-Pipeline kann die segmentierten Abschnitte der Rückwand 802 und der Bodenebene 804 analysieren und einen Satz von 3D-Punktwolkendaten bestimmen, die jedem dieser Abschnitte entsprechen.
Wie in 8B dargestellt, kann die Ebenenregressions-Pipeline beispielsweise das Segment Rückwand 802 analysieren, um eine Rückwand-3D-Punktwolke 806 zu bestimmen. Die Rückwand-3D-Punktwolke 806 kann eine 3D-Darstellung der Rückwand des Containers sein, die aus 2D-Bilddaten (z. B. 2D-Bilddaten 800) extrahiert wurde. Somit kann die Rückwand-3D-Punktwolke 806 Eigenschaften der physischen Rückwand des Versandcontainers enthalten (z. B. Krümmung, Höhe, Breite, Tiefe usw.).
In ähnlicher Weise und wie in 8C dargestellt, kann die Ebenenregressions-Pipeline das Segment Bodenebene 804 analysieren, um eine Bodenebenen-3D-Punktwolke 808 zu bestimmen. Die Bodenebenen-3D-Punktwolke 808 kann eine 3D-Darstellung der Bodenebene des Containers sein, wie sie aus 2D-Bilddaten (z. B. 2D-Bilddaten 800) extrahiert wurde. So kann die Bodenebenen-3D-Punktwolke 808 Eigenschaften der physischen Bodenebene des Containers enthalten (z. B. Krümmung, Länge, Breite, Tiefe usw.).
Darüber hinaus kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die Orientierung der Kamera während des Regressionsalgorithmus schätzt. Beispielsweise kann die App den Regressionsalgorithmus (z. B. die Ebenenregressions-Pipeline) durchführen und feststellen, dass die resultierenden 3D-Punktwolken (z. B. die 3D-Punktwolke 806 für die Rückwand und die Bodenebenen-3D-Punktwolke 808) nicht in Bezug auf die Kamera ausgerichtet sind, so dass der Rest des Algorithmus 400 erfolgreich vervollständigt werden kann. Wenn die App beispielsweise feststellt, dass die Bodenebene und die Rückwand in Bezug auf die Orientierung der Kamera schief sind, kann die App außerdem feststellen, dass die Analyse der Frontplatte des Containers aufgrund der Fehlausrichtung erheblich erschwert (und/oder fehlerhaft analysiert) wird.
So kann die Containermerkmalbeurteilungsapp in Block 414 so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die 3D-Punktwolken (z. B. die Rückwand-3D-Punktwolke 806 und die Bodenebenen-3D-Punktwolke 808) zu drehen. Beispielsweise kann die Containermerkmalbeurteilungsapp die 3D-Punktwolken so drehen, dass die 3D-Punktwolken nach der Drehung direkter auf die Sichtlinie (LOS) der Kamera ausgerichtet sind, in einem für die anschließende Analyse optimalen Winkel orientiert sind und/oder jede andere geeignete Drehung oder Kombination davon. Auf diese Weise und wie bereits erwähnt, kann die Drehung der 3D-Punktwolken dazu dienen, die nachfolgenden Berechnungen zu vereinfachen.
In Block 416 ist die Containermerkmalbeurteilungsapp so konfiguriert, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um eine Rückwand und eine Frontplatte des Containers (z. B. des Versandcontainers 102) zu lokalisieren. Im Allgemeinen kann die App Routinen durchführen, die mit dem Algorithmus 400 konsistent, um die Position der Rückwand und der Frontplatte des Containers im 3D-Raum genau zu bestimmen. Diese Routinen können die Analyse der gedrehten 3D-Punktwolken umfassen, wie in 8C beschrieben. In Bezug auf 9A kann die Containermerkmalbeurteilungsapp diese Analyse auf eine Art und Weise durchführen, die ähnlich wie das schematische Diagramm 900 visualisiert werden kann. Das Diagramm zeigt die LMU 202 mit einem Sichtfeld (FOV), das aus einem Rückwand-Suchbereich 902 und einem Boden-Suchbereich 904 zusammengesetzt.
Zum Beispiel kann der Rückwand-Suchbereich 902 einen Teil des Containers umfassen, der der segmentierten Rückwand (z. B. segmentierte Rückwand 802) ähnelt. Genauer gesagt kann der Rückwand-Suchbereich 902 einen Teil des Containers (z. B. den Versandcontainer 102) umfassen, der die Rückwand 906 des Containers darstellt. So kann die Containermerkmalbeurteilungsapp über den einen oder die mehreren Prozessoren Routinen ausführen, um den Rückwand-Suchbereich 902 zu priorisieren, um Daten zu erfassen, die mit der Rückwand 906 des Containers identifizierbar sind. Auf diese Weise kann die Containermerkmalbeurteilungsapp den Analyseprozess vereinfachen, was zu einer strafferen und effizienteren Segmentierung/Regression des Containers und des Algorithmus 400 im Allgemeinen führt.
In ähnlicher Weise kann der Bodensuchbereich 904 einen Teil des Containers umfassen, der der segmentierten Bodenebene (z. B. segmentierte Bodenebene 804) ähnelt. Genauer gesagt kann der Boden-Suchbereich 904 einen Teil des Containers (z. B. den Versandcontainer 102) umfassen, der den Boden 908 des Containers darstellt. So kann die Containermerkmalbeurteilungsapp über den einen oder die mehreren Prozessoren Routinen ausführen, um den Boden-Suchbereich 904 so zu priorisieren, dass Daten erfasst werden, die mit dem Boden 908 des Containers identifizierbar sind. Auf diese Weise kann die Containermerkmalbeurteilungsapp den Analyseprozess vereinfachen, was zu einer strafferen und effizienteren Segmentierung/Regression des Containers und des Algorithmus 400 im Allgemeinen führt.
Außerdem kann die Containermerkmalbeurteilungsapp die Frontplatte 910 des Containers genau lokalisieren, sobald die Rückwand 906 und der Boden 908 lokalisiert wurden. Jeder Containertyp, der durch ein entsprechendes Vorlagebild dargestellt wird, kann eine Rückwandhöhe 912 und einen Bodenabstand 914 enthalten. Sobald die App also die Rückwand 906 und den Boden 908 lokalisiert hat, kann sie diese lokalisierten Merkmale (906, 908) mit den bekannten Abmessungen (912, 914) vergleichen.
Beispielsweise kann die Containermerkmalbeurteilungsapp die über den Rückwand-Suchbereich 902 und den Boden-Suchbereich 904 erhaltenen Daten verwenden, um eine Dimensionsanalyse des Containers durchzuführen. Sobald die App Daten erhält, die für die Rückwand 906 und den Boden 908 repräsentativ sind, kann die App die Daten analysieren, um die Rückwandhöhe 912 und den Bodenabstand 914 zu bestimmen. In Ausführungsformen können sowohl die Rückwandhöhe 912 als auch der Bodenabstand 914 bekannte Größen sein, die auf dem Containertyp basieren (z. B. Typ AMJ, Typ AAD, Typ AKE, Typ AYY, Typ SAA, Typ APE, Typ AQF usw.).
Insbesondere kann die App den Bodenabstand 914 mit den Tiefenkomponenten der lokalisierten Merkmale (906, 908) vergleichen, um zu bestimmen, wo sich die Frontplatte 910 wahrscheinlich befindet. Außerdem kann die App die Rückwandhöhe 912 mit den lokalisierten Merkmalen (906, 908) vergleichen, um zu bestimmen, wo sich die Oberseite der Frontplatte 910 wahrscheinlich befindet. Dementsprechend kann die App eine geschätzte Frontplatte basierend auf den Beziehungen zwischen den lokalisierten Merkmalen (906, 908) und den bekannten Abmessungen (912, 914) extrahieren.
In Block 418 und unter Bezugnahme auf 9B kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um eine Ebenenregression für die Rückwand (z. B. Rückwand 906) und die Vorderwand (z. B. Vorderwand 910) durchzuführen. Ähnlich wie in Block 412 kann die von der Containermerkmalbeurteilungsapp in Block 418 durchgeführte Ebenenregression die für die Rückwand und die Vorderwand repräsentativen Daten durch einen Regressionsalgorithmus leiten. In Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie 3D-Punktwolkenmerkmale extrahiert, die der Rückwand und/oder der Frontplatte entsprechen, indem sie die Rückwand- und Frontplattendaten einer Ebenenregressions-Pipeline zuführt, so dass die Ebenenregressions-Pipeline als Regressionsalgorithmus dient. Die Ebenenregressions-Pipeline kann die für die Rückwand und die Frontplatte repräsentativen Daten analysieren, um einen Satz von 3D-Punktwolkendaten zu bestimmen, die den jeweiligen Daten entsprechen.
In Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie in Block 418 nur eine Ebenenregression in Bezug auf die Frontplatte durchführt. Beispielsweise kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie die 3D-Punktwolkendaten verwendet, die der Rückwand entsprechen (z. B. die 3D-Punktwolke 806 der Rückwand), die in Block 412 erzeugt wurde, um für den gesamten oder einen Teil des Algorithmus 400 zu genügen. Unabhängig davon kann die von der Containermerkmalbeurteilungsapp in Bezug auf die Frontplatte durchgeführte Ebenenregression eine 3D-Punktwolkendarstellung der Frontplatte 910 ergeben.
Beispielsweise kann die Containermerkmalbeurteilungsapp eine Ebenenregression in Bezug auf die Frontplatte lokalisieren und durchführen, was zu einer 3D-Darstellung der Frontplattendaten 920 führt. Die Darstellung 920 kann eine Frontplatten-3D-Punktwolke 922 enthalten. Außerdem kann die Darstellung 920 einen Satz von Begrenzungspunkten enthalten. Der Satz von Begrenzungspunkten kann einen Satz von linken Begrenzungspunkten 924, einen Satz von rechten Begrenzungspunkten 926 und einen Satz von oberen Begrenzungspunkten 928 enthalten. Jeder Satz des Satzes von Begrenzungspunkten kann einem Teil der Frontplatte entsprechen. Zum Beispiel kann der Satz linker Begrenzungspunkte 924 dem linken Teil der Frontplatte entsprechen. Jeder Satz des Satzes von Begrenzungspunkten kann die Bereiche von Interesse in einer Vollständigkeitsanalyse gemäß den hier beschriebenen Ausführungsformen teilweise und/oder vollständig definieren.
Zu diesem Zeitpunkt hat die Containermerkmalbeurteilungsapp 3D-Punktwolkenmerkmale bestimmt, die der Rückwand des Containers (z. B. Rückwand-3D-Punktwolke 806), der Bodenplatte des Containers (z. B. Bodenebenen-3D-Punktwolke 808) und der Frontplatte des Containers (z. B. Frontplatten-3D-Punktwolke 922) entsprechen. Unter Verwendung dieser drei 3D-Punktwolken kann die Containermerkmalbeurteilungsapp so konfiguriert werden, dass sie verschiedene Merkmale des Containers anhand einer äußeren Metrik und einer inneren Metrik bestimmt. Bei den Metriken kann es sich um jede geeignete Bewertungsmetrik handeln, und es sei verstanden, dass die App jede geeignete Anzahl und/oder Kombination von Bewertungsmetriken verwenden kann, um die äußeren und inneren Merkmale zu bestimmen.
In Block 420 kann die Containermerkmalbeurteilungsapp so konfiguriert werden, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um eine Vollständigkeitsanalyse in Bezug auf die Frontplatte durchzuführen. In Ausführungsformen kann die Vollständigkeitsanalyse die äußere Metrik sein, die die App verwendet, um äußere Merkmale des Containers zu bestimmen. In Bezug auf 10 kann die Containermerkmalbeurteilungsapp beispielsweise die 3D-Punktwolkendaten, die für die Frontplatte repräsentativ sind (z. B. die Frontplatten-3D-Punktwolke 922), in ein 2D-Format 1000 übertragen. Das 2D-Format kann einen linken Seitenbereich 1002, einen rechten Seitenbereich 1004 und einen oberen Randbereich 1006 umfassen.
Im Allgemeinen kann jeder der Abschnitte (1002, 1004 und 1006) 2D-Daten enthalten, die für die analogen Abschnitte der Frontplatte repräsentativ sind (z. B. die Daten der Frontplatten-3D-Punktewolke 922, die durch den Satz linker Begrenzungspunkte 924, den Satz rechter Begrenzungspunkte 926 und den Satz oberer Begrenzungspunkte 928 begrenzt sind). Durch Einfügen der 3D-Punktwolkendaten, die für die Frontplatte repräsentativ sind, in die jeweiligen Abschnitte kann die App ein Vollständigkeitsverhältnis der Daten bestimmen, die jedem Abschnitt (z. B. 1002, 1004 und 1006) zugeordnet sind, indem sie die Menge der empfangenen Daten in einem bestimmten Abschnitt (z. B. die Anzahl der Punkte, die im Zielpunktwolkenbereich (z. B. 924, 926, 928) enthalten sind) in Bezug auf die Menge der empfangenen Daten in mehreren Abschnitten bewertet.
Zum Beispiel kann das 2D-Format 1000 einen Satz von Auswertungsabschnitten 1008a-1008n enthalten, wobei n eine beliebige Anzahl von Auswertungsabschnitten sein kann. Jeder Abschnitt des Satzes von Auswertungsabschnitten 1008a-1008n kann einen Satz von Daten enthalten, die der Frontplatte des Containers entsprechen. Der linke Seitenabschnitt 1002 kann beispielsweise 52 einzelne Auswertungsabschnitte 1008a-1008n umfassen. Wie in 10 gezeigt, können die Frontplattendaten (z. B. 2D-Daten, die aus den 3D-Punktwolkendaten der Frontplatte 922 extrahiert wurden), die im linken Seitenabschnitt 1002 enthalten sind, die linke Seite der Frontplatte darstellen. Die Frontplattendaten, die für die linke Seite der Frontplatte repräsentativ sind, decken einen Teil des linken Seitenabschnitts 1002 ab, aber mehrere einzelne Auswertungsabschnitte (z. B. 1008n) enthalten möglicherweise keine Daten, die für die linke Seite der Frontplatte repräsentativ sind. In ähnlicher Weise können die Frontplattendaten, die im rechten Teil 1004 enthalten sind, die rechte Seite der Frontplatte darstellen. Die Frontplattendaten, die für die rechte Seite der Frontplatte repräsentativ sind, decken einen Teil des rechten Seitenabschnitts 1004 ab, aber mehrere einzelne Auswertungsbereiche können keine Daten enthalten, die für die rechte Seite der Frontplatte repräsentativ sind.
Die Menge der für einen bestimmten Containertyp verfügbaren Daten mag jedoch nicht ausreichen, um alle Abschnitte (1002, 1004 und 1006) auszufüllen, so dass die Vollständigkeitsverhältnisse auf der Grundlage der relativen Anzahl der für eine bestimmte Seite der Frontplatte erfassten Datenpunkte berechnet werden können. Um die Vollständigkeitsverhältnisse zu bewerten, kann die Containermerkmalbeurteilungsapp Berechnungen durchführen, die mit dem Folgenden konsistent sind: $R_{l} = \frac{n_{l}}{n_{l} + n_{r}}$
$R_{r} = \frac{n_{r}}{n_{l} + n_{r}}$
$R_{u} = \frac{n_{u}}{n_{l} + n_{r} + n_{u}}$
wobei n₁, n_r und n_u die Anzahl der im linken Seitenabschnitt 1002, im rechten Seitenabschnitt 1004 bzw. im oberen Randabschnitt 1006 enthaltenen Frontplatten-Datenpunkte darstellen können. Darüber hinaus können R₁, R_r und R_u die Vollständigkeitsverhältnisse in Bezug auf den linken Seitenabschnitt 1002, den rechten Seitenabschnitt 1004 bzw. den oberen Randabschnitt 1006 darstellen.
Wie bereits erwähnt und in jeder der Gleichungen (1, 2 und 3) angegeben, können die Vollständigkeitsverhältnisse von der relativen Anzahl der für jede Seite der Frontplatte erfassten Punkte abhängen. Zur Veranschaulichung kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie auswertet, ob genug von der Frontplatte erfasst wurde, um eine gültige Bewertung der äußeren Merkmale des Containers vorzunehmen. Bei dieser Bewertung kann es erforderlich sein, festzustellen, ob ein bestimmter Teil des Containers (z. B. die linke Seite) mehr Daten enthält als ein anderer Teil des Containers (z. B. die rechte Seite).
Es sei beispielsweise angenommen, dass der linke Seitenabschnitt 1002 eine große Datenmenge enthält, die die linke Seite des Containers anzeigt, und der rechte Seitenabschnitt 1004 eine wesentlich kleinere Datenmenge enthält, die die rechte Seite des Containers anzeigt. In diesem Beispiel kann die Containermerkmalbeurteilungsapp feststellen, dass die Kamera bei der Erfassung der Bilddaten des Containers in Bezug auf den Container nicht korrekt ausgerichtet war. Die App kann ferner zu dem Schluss kommen, dass die Orientierung der Kamera so angepasst werden sollte, dass die Kamera mehr nach rechts ausgerichtet ist. Auf diese Weise kann die Kamera bei nachfolgenden Bilderfassungen eine größere Menge an Daten erfassen, die die rechte Seite des Containers darstellen, so dass die App die äußeren Merkmale des Containers angemessen bestimmen kann.
Folglich und in Ausführungsformen kann die App jedes Vollständigkeitsverhältnis mit einem Vollständigkeitsverhältnis-Schwellenwert vergleichen. Wenn die App feststellt, dass das Vollständigkeitsverhältnis für eine bestimmte Seite den Vollständigkeitsverhältnis-Schwellenwert überschreitet, unzureichend ist oder anderweitig nicht erfüllt, kann die App auf der Grundlage dieser Feststellung eine Orientierungsanweisung erzeugen, wie hierin weiter beschrieben. Unabhängig davon kann die App, sobald die Vollständigkeitsverhältnisse berechnet wurden und die App feststellt, dass eine ausreichende Anzahl von Datenpunkten für die Frontplatte gesammelt und ausgewertet wurde, die inneren Merkmale des Containers bestimmen.
Die Bestimmung der inneren Merkmale kann in Block 422 beginnen, wo die Containermerkmalbeurteilungsapp so konfiguriert werden kann, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die Höhe der Frontplatte und der Rückwand des Containers zu schätzen. Wie in 11A dargestellt, kann die App diese Schätzung in einer Weise durchführen, die ähnlich wie das schematische Diagramm 1100 visualisiert werden kann. Das Diagramm 1100 umfasst einen sichtbaren Bereich 1102, eine Fronthöhe 1104 und eine Rückwandhöhe 1106. Der sichtbare Bereich 1102 kann dem FOV der Kamera (z.B. LMU 202) entsprechen. Wie bereits erwähnt, kann die Containermerkmalbeurteilungsapp die Rückwandhöhe 1106 in Verbindung mit einer passenden Bildvorlage (z. B. Vorlagebilddaten 704) für die 2D-Daten, die den Container darstellen, empfangen.
In Ausführungsformen kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um die Fronthöhe 1104 und die Rückwandhöhe 1006 zu bestimmen. Die App kann diese Höhen auf der Grundlage jeder geeigneten Metrik bestimmen, aber in Ausführungsformen können die Fronthöhe 1104 und die Rückwandhöhe 1006 auf der Grundlage einer Analyse von Punkten bestimmt werden, die der Frontplatte bzw. Rückwand zugeordnet sind.
Beispielsweise kann die App, wie in 11B gezeigt, die Fronthöhe 1104 und der Rückwandhöhe 1106 in einer zusammengesetzten 3D-Darstellung 1120 auswerten. Die App kann ferner Punkte innerhalb der Darstellung 1120 bestimmen, um die Höhenschätzungen vorzunehmen. Die App kann einen höchsten Punkt 1122 der Frontplatte zuweisen, der den höchsten Punkt in einer seitlichen Dimension angibt, die der Frontplatte des Containers zugeordnet ist. In ähnlicher Weise kann die App einen höchsten Punkt 1124 der Rückwand zuweisen, der den höchsten Punkt in einer seitlichen Abmessung angibt, die der Rückwand des Containers zugeordnet ist. Anhand dieser Punkte (1122, 1124) kann die App die Frontplattenhöhe 1104 und 1106 die Rückwandhöhe schätzen, indem sie die Höhenkoordinaten für jeden Punkt (1122, 1124) auswertet, die Punkte (1122, 1124) mit den dem Containertyp zugeordneten Abmessungen vergleicht und/oder jede andere geeignete Schätztechnik oder Kombination davon verwendet.
In jedem Fall und wie in Block 424 angegeben, kann die App, sobald sie geschätzte Werte für die Fronthöhe 1104 und die Rückwandhöhe 1106 ermittelt hat, ein Verdeckungsverhältnis für die erfassten Daten berechnen. Im Allgemeinen gibt das Verdeckungsverhältnis den Anteil des Containers an, der vom Sichtfeld der Kamera (z. B. LMU 202) verdeckt ist. Das Verdeckungsverhältnis kann wie folgt definiert werden: $R_{o} = \frac{H_{b}}{H_{f}}$
wobei H_b und H_f die Rückwandhöhe 1106 bzw. die Fronthöhe 1004 bezeichnen und R_o das Verdeckungsverhältnis angibt. Genauer gesagt kann das Verdeckungsverhältnis umgekehrt proportional zu dem Teil des Containers sein, der vom Sichtfeld der Kamera verdeckt wird. Zur Veranschaulichung sei angenommen, dass die Rückwandhöhe 1106 10 Fuß und die Fronthöhe 1104 1 Fuß beträgt. In diesem Fall wäre das Verdeckungsverhältnis 10:1, oder einfach 10. Somit wäre das Sichtfeld der Kamera für einen großen Teil des Containerinneren verdeckt, da die Oberkante der Frontplatte deutlich kürzer wäre als die Oberkante der Rückwand.
Um sicherzustellen, dass die Kamera das Innere jedes Containers angemessen abbilden und analysieren kann, kann die App daher das Verdeckungsverhältnis mit einem Verdeckungsverhältnis-Schwellenwert vergleichen, beispielsweise während Beladungsvorgängen. Wenn die App feststellt, dass das Verdeckungsverhältnis für einen bestimmten Container den Verdeckungsverhältnis-Schwellenwert überschreitet, unzureichend ist oder anderweitig nicht erfüllt, kann die App auf der Grundlage dieser Feststellung eine Orientierungsanweisung erzeugen, wie hierin weiter beschrieben.
In Block 426 kann die Containermerkmalbeurteilungsapp so konfiguriert sein, dass sie auf einem oder mehreren Prozessoren ausgeführt wird, um den Sichtbarkeits- und Verdeckungsstatus des Containers zu überprüfen. Zum Beispiel kann die App überprüfen, ob die Vollständigkeitsverhältnisse und das Verdeckungsverhältnis alle zugehörigen Schwellenwerte erfüllen, so dass die App mit der Erstellung eines 3D-Begrenzungsrahmens für den Container beginnen kann.
Unter Bezugnahme auf 12A kann die App mit der Bestimmung eines Begrenzungsrahmens beginnen, indem sie eine 3D-Darstellung 1200 der Containerdaten erzeugt. Die Darstellung 1200 kann beispielsweise die zusammengesetzte 3D-Darstellung 1120 der Container-3D-Punktwolkendaten und einen Satz von Ebenen 1202a-1202f enthalten, die die App an die zusammengesetzte 3D-Darstellung 1120 anpassen kann.
In Ausführungsformen kann die App jede Ebene des Satzes von Ebenen 1202a-1202f auf der Grundlage eines Anpassungsalgorithmus anpassen. Der Anpassungsalgorithmus kann mit der Anpassung des Satzes von Ebenen 1202a-1202f an die Darstellung 1120 auf der Grundlage von Annahmen beginnen, z. B. dass die linke Ebene 1202e und die rechte Ebene 1202f vertikal in Bezug auf die Frontebene 1202c und die Bodenebene 1202b sind. Basierend auf den erfassten 3D-Punktwolkendaten für den Container (z. B. Rückwand-3D-Punktwolke 806, Bodenebenen-3D-Punktwolke 808 und Frontplatten-3D-Punktwolke 922) in Verbindung mit den vom Anpassungsalgorithmus getroffenen Annahmen kann die App den Satz von Ebenen 1202a-1202f an die 3D-Punktwolkendaten anpassen. Die App kann jede Ebene des Satzes von Ebenen 1202a-1202f so nahe an jeder entsprechenden Seite des Containers platzieren, bis die jeweilige Ebene einen oder mehrere Punkte in der jeweiligen Punktwolke berührt. Es sei jedoch verstanden, dass die App jede Ebene des Satzes von Ebenen 1202a-1202f auf jede geeignete Weise anpassen kann. Darüber hinaus kann die App jede geeignete Anzahl von Ebenen an die 3D-Punktwolkendaten anpassen.
Sobald die Containermerkmalbeurteilungsapp die sechs Ebenen, die den Satz von Ebenen 1202a-1202f umfassen, an die 3D-Punktwolkendaten anpasst, kann die App außerdem einen Begrenzungsrahmen bestimmen, der den 3D-Punktwolkendaten zugeordnet ist. Wie in 12B dargestellt, kann die Containermerkmalbeurteilungsapp zum Beispiel eine 3D-Darstellung 1220 erzeugen, die die zusammengesetzte 3D-Darstellung 1120 und einen Begrenzungsrahmen 1222 enthält. Der Begrenzungsrahmen 1222 kann Abschnitte der sechs Ebenen darstellen, die als Teil des Anpassungsprozesses erzeugt wurden (z. B. der Satz von Ebenen 1202a-1202f). In Ausführungsformen kann der Begrenzungsrahmen 1222 den höchsten Punkt 1122 der Frontplatte und den höchsten Punkt 1124 der Rückwand enthalten und/oder die App kann den Begrenzungsrahmen 1222 teilweise auf der Grundlage der Lage und der Werte der Punkte (1122, 1124) bestimmen.
Nachdem die Containermerkmalbeurteilungsapp die äußeren und inneren Merkmale des Containers bewertet hat, kann die App eine Orientierungsanpassungsanweisung erzeugen. Die Orientierungsanpassungsanweisung kann einem Bediener anzeigen, die 3D-Kamera (z. B. LMU 202) von der ersten Richtung der Kamera in eine zweite Richtung auszurichten. Die zweite Richtung der Kamera kann sich von der ersten Richtung der Kamera unterscheiden. Darüber hinaus kann die zweite Richtung der Kamera für die Verwendung während eines Versandcontainer-Beladungsvorgangs vorgesehen sein. So kann die zweite Richtung die Kamera so ausrichten, dass die Kamera jeden nachfolgenden Container, der sich im Sichtfeld der Kamera befindet, adäquat abbilden kann, um eine zufriedenstellende Containeranalyse durchzuführen.
In einigen Ausführungsformen kann die Orientierungsanpassungsanweisung als Reaktion auf die Bestimmung des Begrenzungsrahmens durch die Containermerkmalbeurteilungsapp erzeugt werden. Die Orientierungsanpassungsanweisung kann mindestens eine enthalten von einer Anweisung zur Ausrichtung nach rechts, einer Anweisung zur Ausrichtung nach links, einer Anweisung zum Absenken/Heben und einer Anweisung zum Neigen nach oben/unten. So kann die App eine Anweisung erzeugen, die dem Bediener anzeigt, dass die Kamera zu weit nach unten geneigt ist und nach oben gekippt werden sollte, um die Kamera in eine für die Durchführung der Containeranalyse geeignetere Orientierung zu bringen.
In einigen Ausführungsformen kann die Containermerkmalbeurteilungsapp mit einer Installationsvisualisierungsapp kommunizieren. Die Installationsvisualisierungsapp kann auf einer Clientvorrichtung ausgeführt werden, die eine grafische Benutzerschnittstelle (GUI) implementiert. Die GUI kann die Orientierungsanpassungsanweisung auf einer digitalen Anzeige der Clientvorrichtung grafisch darstellen. Beispielsweise kann die GUI die Orientierungsanpassungsanweisung als Pfeil anzeigen, der die durch die Orientierungsanpassungsanweisung beabsichtigte Richtung der Anpassung angibt. Es sei jedoch verstanden, dass die grafische Anzeige der Orientierungsanpassungsanweisung jedes alphanumerische Zeichen, Symbol, Bild, Video und/oder jede andere geeignete Anzeige oder Kombination davon umfassen kann.
In diesen Ausführungsformen kann die Installationsvisualisierungs-App ferner so konfiguriert sein, dass sie die Orientierungsanpassungsanweisung auf einem Heads-up-Display (HUD) anzeigt, das über ein digitales Netzwerk mit der 3D-Kamera gekoppelt ist. Die Installationsvisualisierungsapp kann auch eine Installationssprachanweisungsapp umfassen. Die Installationssprachanweisungsapp kann auf einer Clientvorrichtung ausgeführt werden, die über einen Lautsprecher verfügt, um dem Bediener der Clientvorrichtung die Orientierungsanpassungsanweisung akustisch zu übermitteln. So kann die Containermerkmalbeurteilungsapp die Orientierungsanpassungsanweisung an die Installationssprachanweisungsapp übermitteln, die dann die Orientierungsanpassungsanweisung an den Bediener akustisch übermitteln kann.
In einigen Ausführungsformen kann die Clientvorrichtung die Installationsvisualisierungsapp implementieren, um die Bilddaten und/oder die Postscandaten zu empfangen und diese Daten, z. B. in einem grafischen oder anderen Format, einem Verwalter oder Belader anzuzeigen, um das Entladen oder Beladen von Paketen (z. B. 104, 107 usw.) zu erleichtern, wie hier beschrieben. In einigen Ausführungsformen kann die Installationsvisualisierungsapp als Teil der SmartPack™ Container Loading Analytics (CLA)-Lösung von Zebra Technologies Corps. implantiert werden. Die Installationsvisualisierungsapp kann auf Clientvorrichtungen installiert werden, die in Verlade- und Versandeinrichtungen (z. B. in einer Verladeeinrichtung wie in 1 dargestellt) eingesetzt werden. Die Installationsvisualisierungsapp kann über eine Webplattform wie Java J2EE (z. B. Java Server Faces) oder Ruby on Rails implementiert werden. In solchen Ausführungsformen kann die Webplattform eine Benutzerschnittstelle der Dashboard-App über die Erzeugung einer dynamischen Webseite (z. B. unter Verwendung von HTML, CSS, JavaScript) oder über eine dem Client zugewandte mobile App (z. B. über Java für eine Google Android-basierte App oder Objective-C/Swift für eine Apple iOS-basierte App) erzeugen oder aktualisieren, wobei die Benutzerschnittstelle über die Dashboard-App auf der Clientvorrichtung angezeigt wird.
In bestimmten Ausführungsformen kann die Installationsvisualisierungsapp die Bilddaten/Datensätze und/oder die Postscandaten empfangen und diese Daten in Echtzeit anzeigen. Bei der Clientvorrichtung kann es sich um eine mobile Vorrichtung handeln, wie z. B. ein Tablet, Smartphone, Laptop oder ein anderes mobiles Computergerät. Die Clientvorrichtung kann ein Betriebssystem oder eine Plattform für die Ausführung der Dashboard- (oder anderer) Anwendungen oder Funktionen implementieren, z. B. die Apple iOS-Plattform, die Google Android-Plattform und/oder die Microsoft Windows-Plattform. Die Clientvorrichtung kann einen oder mehrere Prozessoren und/oder einen oder mehrere Speicher zur Implementierung der Dashboard-App oder zur Bereitstellung anderer ähnlicher Funktionen enthalten. Die Clientvorrichtung kann auch drahtgebundene oder drahtlose Sende- und Empfangsgeräte für den Empfang von Bilddaten und/oder Postscandaten, wie hierin beschrieben, enthalten. Solche drahtgebundenen oder drahtlosen Sende- und Empfangsgeräte können einen oder mehrere Kommunikationsprotokollstandards implementieren, z. B. TCP/IP, WiFi (802.11b), Bluetooth oder andere ähnliche Kommunikationsprotokolle oder Standards.
Im Allgemeinen ergeben sich aus den hier beschriebenen Techniken und Merkmalen bestimmte Vorteile, wie ein Fachmann aus der vorliegenden Offenbarung verstehen würde. Die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren bieten eine Technik zur Bewertung von Merkmalen, um eine anfängliche Orientierungskonfiguration zu bestimmen (z. B. um alle erforderlichen Orientierungsanpassungsanweisungen zu erzeugen), die bei Bedarf für eine weitere dynamische Auto-Orientierung während nachfolgender Analysen genutzt werden kann. Darüber hinaus ermöglichen die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren die Segmentierung und Regressionsanpassung der Frontplatte, der Rückwand und der Bodenplatte eines Zielcontainers auf der Grundlage der erfassten 3D-Tiefenbilddaten.
Die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren bieten als Teil des Algorithmus 400 Techniken zur Bestimmung des Vollständigkeitsverhältnisses und des Verdeckungsverhältnisses, die die Sichtbarkeit der ULD in Bezug auf die LMU genau abschätzen. Darüber hinaus beinhalten die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren eine einzigartige Technik zur Anpassung von Begrenzungsebenen an die oberen, unteren, linken, rechten, vorderen und hinteren Kanten des Containers auf der Grundlage eines Außen-zu-Innen-Ansatzes, der für verschiedene Arten/Formen von Containern robust ist. Darüber hinaus bieten die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren eine Technik zur automatischen Erzeugung von Orientierungsanpassungsanweisungen der Kamera, die auf der Analyse der äußeren und inneren Merkmale basiert. Diese Orientierungsanpassungsbestimmungen wurden traditionell manuell durchgeführt und waren daher im Allgemeinen ungenau und zeitaufwändig. Die hier beschriebenen 3D-Tiefenbildgebungssysteme und -verfahren reduzieren daher die Zeit, die für die genaue Ausrichtung des Bildgebungssystems erforderlich ist, um erweiterte Containeranalysen durchzuführen, erheblich.
Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.
Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.

Claims

Dreidimensionales (3D) Tiefenbildgebungssystem zum Beurteilen einer Orientierung in Bezug auf einen Container, wobei das 3D-Tiefenbildgebungssystem umfasst: eine 3D-Tiefenkamera (254), die so konfiguriert ist, dass sie 3D-Bilddaten (502) erfasst, wobei die 3D-Tiefenkamera (254) in einer ersten Richtung ausgerichtet ist, um die 3D-Bilddaten (502) eines in einem Raum (101) befindlichen Versandcontainers (102) zu erfassen, wobei der Versandcontainer (102) einen Versandcontainertyp aufweist; und eine Containermerkmalbeurteilungsanwendung (App), die so konfiguriert ist, dass sie auf einem oder mehreren Prozessoren (302) ausgeführt wird und die 3D-Bilddaten (502) empfängt, wobei die Containermerkmalbeurteilungsanwendung so konfiguriert ist, dass sie basierend auf den 3D-Bilddaten (502) eine Containerpunktwolke bestimmt, die den Versandcontainer (102) darstellt, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie auf dem einen oder den mehreren Prozessoren (302) ausgeführt wird, um: (a) die 3D-Bilddaten (502) in 2D-Tiefenbilddaten (504) umzuwandeln; (b) die 2D-Tiefenbilddaten (504) mit einem oder mehreren Vorlagebilddaten (704) zu vergleichen, wobei jedes des einen oder der mehreren Vorlagebilddaten (704) einem jeweiligen Versandcontainertyp entspricht; (c) als Reaktion auf eine Übereinstimmung zwischen den 2D-Tiefenbilddaten (504) und den einen oder mehreren Vorlagebilddaten (704) eine Segmentierung durchzuführen, um 3D-Punktwolkenmerkmale zu extrahieren; (d) aus den 3D-Punktwolkenmerkmalen äußere Merkmale des Versandcontainers (102) zu bestimmen und die äußeren Merkmale unter Verwendung einer Metrik für äußere Merkmale zu bewerten; (e) aus den 3D-Punktwolkenmerkmalen innere Merkmale des Versandcontainers (102) zu bestimmen und die inneren Merkmale unter Verwendung einer Metrik für innere Merkmale zu bewerten; und (f) als Reaktion auf das Bewerten der äußeren Merkmale und das Bewerten der inneren Merkmale eine Orientierungsanpassungsanweisung zu erzeugen, um einem Bediener anzuzeigen, die 3D-Tiefenkamera (254) in eine zweite Richtung zur Verwendung während eines Versandcontainer-Ladevorgangs auszurichten, wobei die zweite Richtung von der ersten Richtung verschieden ist.
3D-Tiefenbildgebungssystem nach Anspruch 1, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie die 3D-Bilddaten (502) in 2D-Tiefenbilddaten (504) umwandelt, indem sie die 2D-Tiefenbilddaten (504) als Graustufenbilddaten erzeugt, und wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie die 2D-Tiefenbilddaten (504) mit den einen oder mehreren Vorlagebilddaten (704) in Graustufen vergleicht, um einen Vorlageübereinstimmungsabschnitt zu identifizieren.
3D-Tiefenbildgebungssystem nach Anspruch 2, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie auf dem einen oder den mehreren Prozessoren (302) ausgeführt wird, um: 3D-Bildpunktwolkendaten für einen Vorlageversandcontainer (102) zu empfangen, die 3D-Bildpunktwolkendaten in Tiefenbilddaten umzuwandeln, ein Verfahren der kleinsten Quadrate mit Pönalisierung anzuwenden, um fehlende Daten in die Tiefenbilddaten einzufügen und ein Vorlagetiefenbild zu erzeugen, und das Vorlagetiefenbild auf eine Graustufenskala zu normalisieren, um die Vorlagebilddaten (704) zu erzeugen.
3D-Tiefenbildgebungssystem nach Anspruch 2, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie auf dem einen oder den mehreren Prozessoren (302) ausgeführt wird, um: die 3D-Bilddaten (502) in eine Versandcontainer-Bodenebene (804) und eine Versandcontainer-Rückwand (802) basierend auf dem Vorlageübereinstimmungsabschnitt zu segmentieren; und die Versandcontainer-Bodenebene (804) und die Versandcontainer-Rückwand (802) einer Ebenenregressions-Pipeline zuzuführen und eine Versandcontainer-Frontebene zu bestimmen und zu segmentieren, wobei die 3D-Punktwolkenmerkmale die Versandcontainer-Bodenebene (804), die Versandcontainer-Rückwand (802) und die Versandcontainer-Frontebene umfassen.
3D-Tiefenbildgebungssystem nach Anspruch 4, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie die äußeren Merkmale unter Verwendung der Metrik für äußere Merkmale beurteilt, indem sie: die Versandcontainer-Frontebene in einen linken Seitenabschnitt (1002), einen rechten Seitenabschnitt (1004) und einen oberen Kantenabschnitt unterteilt, Vollständigkeitsverhältnisse für jeden des linken Seitenabschnitts (1002), des rechten Seitenabschnitts (1004) und des oberen Kantenabschnitts bestimmt, und aus den Vollständigkeitsverhältnissen eine Vollständigkeit der Versandcontainer-Frontebene als die Metrik für äußere Merkmale bestimmt.
3D-Tiefenbildgebungssystem nach Anspruch 5, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie die inneren Merkmale unter Verwendung der Metrik für innere Merkmale beurteilt, indem sie: eine Höhe der Versandcontainer-Frontebene bestimmt, eine Höhe der Versandcontainer-Rückwand (802) bestimmt, und ein Verdeckungsverhältnis als die Metrik für innere Merkmale bestimmt.
3D-Tiefenbildgebungssystem nach Anspruch 6, wobei die Containermerkmalbeurteilungsanwendung ferner so konfiguriert ist, dass sie auf dem einen oder den mehreren Prozessoren (302) ausgeführt wird, um: sechs Ebenen des Versandcontainers (102) zu bestimmen; einen Begrenzungsrahmen des Versandcontainers (102) basierend auf den sechs Ebenen zu bestimmen; und die Orientierungsanpassungsanweisung als Reaktion auf das Bestimmen des Begrenzungsrahmens zu erzeugen, wobei die Orientierungsanpassungsanweisung mindestens eine umfasst von einer Anweisung zur Ausrichtung nach rechts, einer Anweisung zur Ausrichtung nach links, einer Anweisung zum Absenken/Heben und einer Anweisung zum Neigen nach oben/unten.
3D-Tiefenbildgebungssystem nach Anspruch 1, wobei die 3D-Tiefenkamera (254) und der eine oder die mehreren Prozessoren (302) in einer Ladeüberwachungseinheit (LMLJ) (202) untergebracht sind.
3D-Tiefenbildgebungssystem nach Anspruch 1, wobei das eine oder die mehreren Vorlagebilddaten (704) einem oder mehreren verschiedenen universellen Ladevorrichtungs (ULD)-Typen entsprechen.
3D-Tiefenbildgebungssystem nach Anspruch 1, ferner umfassend eine Installationsvisualisierungsanwendung, wobei die Installationsvisualisierungsanwendung auf einer Clientvorrichtung ausgeführt wird, die eine grafische Benutzerschnittstelle (GUI) implementiert, wobei die GUI die Orientierungsanpassungsanweisung auf einer digitalen Anzeige der Clientvorrichtung grafisch anzeigt.
3D-Tiefenbildgebungssystem nach Anspruch 10, wobei die Installationsvisualisierungsanwendung so konfiguriert ist, dass sie die Orientierungsanpassungsanweisung auf einem Heads-Up-Display (HUD) anzeigt, das über ein digitales Netzwerk mit der 3D-Tiefenkamera (254) kommunikativ gekoppelt ist.
3D-Tiefenbildgebungssystem nach Anspruch 1, ferner umfassend eine Installationssprachanweisungsanwendung, wobei die Installationssprachanweisungsanwendung auf einer Clientvorrichtung ausgeführt wird, die einen Lautsprecher implementiert, um die Orientierungsanpassungsanweisung akustisch an den Bediener der Clientvorrichtung zu übermitteln.
Verfahren zur Beurteilung einer Orientierung in Bezug auf einen Container eines 3D-Tiefenbildgebungssystems in einem aktiven Installationsmodus, wobei das Verfahren umfasst: Erfassen von 3D-Bilddaten (502) durch eine 3D-Tiefenkamera (254), wobei die 3D-Tiefenkamera (254) in einer ersten Richtung ausgerichtet ist, um die 3D-Bilddaten (502) eines Versandcontainers (102) zu erfassen, der sich während des aktiven Installationsmodus in einem Raum (101) befindet, wobei der Versandcontainer (102) einen Versandcontainertyp aufweist; Bestimmen einer Containerpunktwolke, die den Versandcontainer (102) darstellt, basierend auf den 3D-Bilddaten (502); Umwandeln der 3D-Bilddaten (502) in 2D-Tiefenbilddaten (504); Vergleichen der 2D-Tiefenbilddaten (504) mit einem oder mehreren Vorlagebilddaten (704), wobei jedes des einen oder der mehreren Vorlagebilddaten (704) einem jeweiligen Versandcontainertyp entspricht; als Reaktion auf eine Übereinstimmung zwischen den 2D-Tiefenbilddaten (504) und den einen oder mehreren Vorlagebilddaten (704), Durchführen einer Segmentierung, um 3D-Punktwolkenmerkmale zu extrahieren; Bestimmen von äußeren Merkmalen des Versandcontainers (102) aus den 3D-Punktwolkenmerkmalen und Beurteilen der äußeren Merkmale unter Verwendung einer Metrik für äußere Merkmale; Bestimmen von inneren Merkmalen des Versandcontainers (102) aus den 3D-Punktwolkenmerkmalen und Beurteilen der inneren Merkmale unter Verwendung einer Metrik für innere Merkmale; und als Reaktion auf das Beurteilen der äußeren Merkmale und das Beurteilen der inneren Merkmale, Erzeugen einer Orientierungsanpassungsanweisung, um einem Bediener anzuzeigen, die 3D-Tiefenkamera (254) in eine zweite Richtung zur Verwendung während eines Versandcontainer-Beladungsvorgangs auszurichten, wobei die zweite Richtung von der ersten Richtung verschieden ist.
Verfahren nach Anspruch 13, ferner umfassend: Umwandeln der 3D-Bilddaten (502) in 2D-Tiefenbilddaten (504) durch Erzeugen der 2D-Tiefenbilddaten (504) als Graustufenbilddaten; und Vergleichen der 2D-Tiefenbilddaten (504) mit den einen oder mehreren Vorlagebilddaten (704) in Graustufen, um einen Vorlageübereinstimmungsabschnitt zu identifizieren.
Verfahren nach Anspruch 14, ferner umfassend: Empfangen von 3D-Bildpunktwolkendaten für einen Vorlageversandcontainer (102); Umwandeln der 3D-Bildpunktwolkendaten in Tiefenbilddaten; Anwenden eines Verfahrens der kleinsten Quadrate mit Pönalisierung, um fehlende Daten in die Tiefenbilddaten einzufügen und ein Vorlagetiefenbild zu erzeugen; und Normalisieren des Vorlagetiefenbildes mit einer Grauskala, um die Vorlagebilddaten (704) zu erzeugen.
Verfahren nach Anspruch 14, ferner umfassend: Segmentieren der 3D-Bilddaten (502) in eine Versandcontainer-Bodenebene (804) und eine Versandcontainer-Rückwand (802) basierend auf dem Vorlageübereinstimmungsabschnitt; und Zuführen der Versandcontainer-Bodenebene (804) und der Versandcontainer-Rückwand (802) in eine Ebenenregressions-Pipeline und Bestimmen und Segmentieren einer Versandcontainer-Frontebene, wobei die 3D-Punktwolkenmerkmale die Versandcontainer-Bodenebene (804), die Versandcontainer-Rückwand (802) und die Versandcontainer-Frontebene umfassen.
Verfahren nach Anspruch 16, wobei das Beurteilen der äußeren Merkmale unter Verwendung der Metrik für äußere Merkmale umfasst: Unterteilen der Versandcontainer-Frontebene in einen linken Seitenabschnitt (1002), einen rechten Seitenabschnitt (1004) und einen oberen Kantenabschnitt, Bestimmen von Vollständigkeitsverhältnissen für jeden des linken Seitenabschnitts (1002), des rechten Seitenabschnitts (1004) und des oberen Kantenabschnitts, und Bestimmen einer Vollständigkeit der Versandcontainer-Frontebene aus den Vollständigkeitsverhältnissen als die Metrik für äußere Merkmale.
Verfahren nach Anspruch 17, wobei das Beurteilen der inneren Merkmale unter Verwendung der Metrik für innere Merkmale umfasst: Bestimmen einer Höhe der Versandcontainer-Frontebene, Bestimmen einer Höhe der Versandcontainer-Rückwand (802), und Bestimmen eines Verdeckungsverhältnisses als die Metrik für innere Merkmale.
Verfahren nach Anspruch 18, ferner umfassend: Bestimmen von sechs Ebenen des Versandcontainers (102); Bestimmen eines Begrenzungsrahmens des Versandcontainers (102) basierend auf den sechs Ebenen; und Erzeugen der Orientierungsanpassungsanweisung als Reaktion auf das Bestimmen des Begrenzungsrahmens, wobei die Orientierungsanpassungsanweisung mindestens eines umfasst von: einer Anweisung zur Ausrichtung nach rechts, einer Anweisung zur Ausrichtung nach links, einer Anweisung zum Absenken/Heben und einer Anweisung zum Neigen nach oben/unten.
Verfahren nach Anspruch 13, wobei die 3D-Tiefenkamera (254) in einer Ladeüberwachungseinheit (LMU) (202) untergebracht ist.
Verfahren nach Anspruch 13, wobei das eine oder die mehreren Vorlagebilddaten (704) einem oder mehreren verschiedenen universellen Ladevorrichtungs (ULD)-Typen entsprechen.
Verfahren nach Anspruch 13, ferner umfassend das grafische Anzeigen, durch eine Installationsvisualisierungsanwendung (App), die auf einer Clientvorrichtung ausgeführt wird, die eine grafische Benutzerschnittstelle (GUI) implementiert, der Orientierungsanpassungsanweisung auf einer digitalen Anzeige der Clientvorrichtung.
Verfahren nach Anspruch 22, wobei das grafische Anzeigen der Orientierungsanpassungsanweisung das Anzeigen der Orientierungsanpassungsanweisung auf einem Head-Up-Display (HUD) umfasst, das über ein digitales Netzwerk mit der 3D-Tiefenkamera (254) kommunikativ gekoppelt ist.
Verfahren nach Anspruch 13, ferner umfassend das akustische Übermitteln der Orientierungsanpassungsanweisung an einen Bediener der Clientvorrichtung durch eine Installationssprachanweisungsanwendung, die auf einer Clientvorrichtung ausgeführt wird, die einen Lautsprecher implementiert.