DE102018006764A1

DE102018006764A1 - Verfahren und system(e) für das management von frachtfahrzeugen

Info

Publication number: DE102018006764A1
Application number: DE102018006764.6A
Authority: DE
Inventors: Amruta Kulkarni; Naveen Sangeneni; Kevin Abas; Reddy Avula Srinivas; Sreenjoy Chatterjee; Andrew Kaneshiro; Jyh-Yung (Julius) Lin; Gagandeep Singh
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2018-08-27
Filing date: 2018-08-27
Publication date: 2020-02-27
Anticipated expiration: 2038-08-28
Also published as: US11810064B2; US20210192780A1; WO2020043351A1; CN112602101A; DE102018006764B4

Abstract

Diese Offenlegung stellt (ein) Verfahren und (ein) System(e) für das Management von Frachtfahrzeugen bereit. In einem Aspekt wird ein Verfahren zum Identifizieren einer Position eines Objekts in einem Frachtraum offengelegt. Das Verfahren umfasst Folgendes: das Identifizieren einer „Region of Interest“ (ROI) aus einem Sichtfeld des Frachtraums, die von einer oder mehreren Kameras erfasst wird, und das Extrahieren einer Vielzahl von Flächen von der ROI, wobei die Vielzahl von Flächen einer Geometrie des Objekts entsprechen, das Gruppieren von ähnlichen und nahe liegenden Flächen, wobei die Gruppierung auf das Gewicht von zwei oder mehr Flächen aus der Vielzahl von Flächen basiert, und wobei das Gewicht auf der Grundlage der Orthogonalität und der Abmessungen von zwei oder mehr Flächen von der Vielzahl von Flächen zugewiesen wird, das Modellieren einer 3D-Bounding-Box entsprechend dem Objekt, basierend auf den gruppierten Flächen und das Identifizieren einer Position des Objekts basierend auf einer Position der 3D-Bounding-Box.

Description

BESCHREIBUNG DER ERFINDUNG:
Technischer Bereich
Die vorliegende Offenlegung bezieht sich im Allgemeinen auf das Management von Frachtfahrzeugen. Insbesondere, aber nicht ausschließlich, bietet die Offenlegung Techniken für eine effiziente Nutzung des Raums in Frachtfahrzeugen und eine verbesserte Frachtlieferung.
Hintergrund der Offenlegung
Frachtfahrzeuge bilden einen entscheidenden Teil der Logistik und der Transportsysteme. Die Funktion dieser Frachtfahrzeuge besteht darin, Fracht-/Paketladungen von einem Ort zum anderen zu transportieren. Ein großes Problem, das bei den Frachtlieferungen entsteht, ist die Nutzung des Raumes innerhalb des Frachtfahrzeugs. Mit anderen Worten: es ist oft schwierig, sicherzustellen, dass der Frachtraum eines Fahrzeugs voll ausgenutzt wird. Dies kann zu einer nicht optimalen Nutzung des Frachtfahrzeugs führen. Außerdem würde ein Vorwissen über den verfügbaren Frachtraum in Fahrzeugen einem Flottenbesitzer ermöglichen, die Fracht innerhalb der Flotte zu verwalten.
Zum Zeitpunkt des Entladens/ Verlassens von Fracht-/Paketladungen aus dem Frachtfahrzeug benötigt der Zusteller außerdem häufig viel Zeit und Mühe herauszufinden, wo sich ein bestimmtes Paket im Fahrzeug befindet.
ZUSAMMENFASSUNG DER OFFENLEGUNG
Bevor das vorliegende Verfahren, die Geräte- und Hardwareausführungsformen beschrieben werden, ist anzumerken, dass diese Erfindung nicht auf die bestimmten beschriebenen Systeme und Methoden beschränkt ist, da es mehrere mögliche Ausführungsformen der vorliegenden Erfindung geben kann, die nicht ausdrücklich in der vorliegenden Offenlegung dargestellt werden. Es versteht sich auch, dass die in der Beschreibung verwendete Terminologie nur dem Zweck dient, die bestimmten Versionen oder Ausführungsformen zu beschreiben, und nicht den Umfang der vorliegenden Erfindung beschränken soll, die nur durch die beigefügten Ansprüche begrenzt ist.
Die vorliegende Offenlegung beschreibt ein Verfahren zum Identifizieren einer Position eines Objekts in einem Frachtraum. Das Verfahren umfasst das Identifizieren eines „Bereichs von Interesse“ (ROI - Region of Interest) von einem Sichtfeld des Frachtraums, das durch eine oder mehrere Kameras erfasst wird. Die eine oder mehrere Kamera(s) erfassen mindestens die Tiefe oder die Farbe des Sichtfeldes. Darüber hinaus umfasst das Verfahren das Extrahieren mehrerer Flächen aus der ROI, wobei diese Flächen der Geometrie des Objekts entsprechen. Als nächstes ermittelt das Verfahren die Gruppierung ähnlicher und nahegelegener Flächen. In einem Aspekt basiert die Gruppierung auf dem Gewicht von zwei oder mehr Flächen aus der Vielzahl von Flächen. Das Gewicht wird auf der Grundlage der Orthogonalität-Eigenschaft und der Abmessungen von zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen. Ferner umfasst das offengelegte Verfahren die Modellierung einer mehrdimensionalen Bounding-Box, wie eine 2D- oder 3D-Bounding-Box des Objekts, auf der Grundlage der gruppierten Flächen dieses Objektes und schließlich wird eine bestimmte Position des Objektes auf der Grundlage einer bestimmten Position der multidimensionalen Bounding-Box erfasst.
In einer anderen Ausführungsform beschreibt die vorliegende Offenlegung ein System zur Identifizierung einer bestimmten Position eines Objekts in einem Frachtraum. Das System umfasst eine Identifikationseinheit, die konfiguriert ist, um einen Bereich von Interesse (ROI- Region of Interest) in einem Sichtfeld des Frachtraums zu identifizieren, das von einer oder mehreren Kameras erfasst wird. In einem Aspekt erfassen eine oder mehrere Kameras mindestens die Tiefe oder die Farbe des Sichtfeldes. Ferner umfasst das System eine Extraktionseinheit, die konfiguriert ist, um eine Vielzahl von Flächen aus der ROI zu extrahieren, wobei die Vielzahl von Flächen der Geometrie eines Objekts entspricht, und eine Gruppierungseinheit, die konfiguriert ist, ähnliche und benachbarte Flächen zu gruppieren. Gemäß eines Aspekts basiert die Gruppierung auf dem Gewicht von zwei oder mehr Flächen aus der Vielzahl von Flächen. Gemäß eines anderen Aspekts, wird das Gewicht auf der Grundlage der Orthogonalität-Eigenschaft und der Abmessungen von zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen. Ferner umfasst das offengelegte System eine Modellgenerierungseinheit, die zum Modellieren einer dem Objekt entsprechenden mehrdimensionalen Bounding-Box auf der Grundlage der gruppierten Flächen konfiguriert ist, und eine Positionsidentifikationseinheit, die zum Identifizieren einer bestimmten Position des Objekts auf der Grundlage von einer bestimmten Position der multidimensionalen Bounding-Box konfiguriert ist.
Figurenliste
Die neuen Merkmale und Eigenschaften der Offenlegung sind in den beigefügten Ansprüchen dargelegt. Die Offenlegung selbst sowie weitere Ziele und Vorteile davon sind jedoch am besten unter Bezugnahme der folgenden detaillierten Beschreibung einer veranschaulichenden Ausführungsform zu verstehen, wenn sie in Verbindung mit den begleitenden Zeichnungen gelesen werden. Eine oder mehrere Ausführungsformen werden im Folgenden nur beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente darstellen und wobei:

1 ein Diagramm ist, das ein veranschaulichendes Beispiel einer Implementierung des Systems (104) für ein Frachtfahrzeug zeigt;
2 ein Blockdiagramm ist, das verschiedene Komponenten des Systems (104), in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenlegung veranschaulicht;
3A und 3B ein Flussdiagramm zur Veranschaulichung verschiedener Techniken der Funktionsweise des Systems (104) entsprechend einer Ausführungsform der vorliegenden Offenlegung zeigen;
4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Volumenbestimmung des Frachtraums eines Fahrzeugs in Echtzeit zeigt; und
5 ein Flussdiagramm zeigt, das ein Verfahren zum Identifizieren einer bestimmten Position eines Objekts in einem Frachtraum darstellt.

Die Figuren zeigen Ausführungsformen der Offenlegung nur zu Veranschaulichungszwecken. Ein Fachmann wird aus der folgenden Beschreibung leicht erkennen, dass alternative Ausführungsformen der Strukturen und Verfahren, die hierin dargestellt sind, verwendet werden können, ohne von den Prinzipien der hier beschriebenen Offenlegung abzuweichen.
DETAILLIERTE BESCHREIBUNG
Einige Ausführungsformen dieser Erfindung werden nun im Detail diskutiert.
Die Wörter „umfassen“, „haben“, „enthalten“ und „einschließen“, sowie andere Formen davon sollen in der Bedeutung äquivalent und insofern offen sein, dass ein Gegenstand oder Gegenstände, die einem dieser Wörter folgen, nicht als eine erschöpfende Auflistung eines solchen Gegenstandes oder solcher Gegenstände gemeint sind und sich auch nicht nur auf den aufgeführten Gegenstand oder auf die aufgeführten Gegenstände beschränken.
Es ist ebenfalls anzumerken, dass, wie hierin und in den beigefügten Ansprüchen verwendet, die Singularformen „ein“, „eine“ und „der“, „die“, „das“ Pluralformen einschließen, sofern der Kontext nicht eindeutig etwas anderes vorschreibt. Obwohl beliebige Systeme und Verfahren, die den hierin beschriebenen ähnlich oder äquivalent sind, in der Praxis oder beim Testen von Ausführungsformen der vorliegenden Erfindung verwendet werden können, werden nachstehend die bevorzugten Systeme und Verfahren beschrieben.
Die in den Figuren dargestellten Elemente arbeiten zusammen, wie nachstehend ausführlicher erläutert wird. Bevor jedoch die detaillierte Erläuterung dargelegt wird, muss angemerkt werden, dass die gesamte nachfolgende Diskussion, ungeachtet der spezifischen Implementierung, die beschrieben wird, eher beispielhafter Natur als einschränkend ist.
Die hier beschriebenen Techniken können unter Verwendung eines oder mehrerer Computerprogramme implementiert werden, die auf einem programmierbaren Computer ausgeführt werden (oder von diesem ausführbar sind), der eine beliebige Kombination aus einer beliebigen Anzahl von Folgendem enthält: einem Prozessor, einem Sensor, einem Speichermedium, das vom Prozessor lesbar und/oder beschreibbar ist (einschließlich zum Beispiel flüchtiger und nichtflüchtiger Speicher und/oder Speicherelemente), einer Vielzahl von Eingabeeinheiten, einer Vielzahl von Ausgabevorrichtungen oder Netzwerkvorrichtungen.
Jedes Computerprogramm innerhalb des Schutzumfangs der nachstehenden Ansprüche kann in irgendeiner Programmiersprache implementiert sein, wie z. B. Assemblersprache, Maschinensprache, eine hochrangige prozedurale Programmiersprache oder eine objektorientierte Programmiersprache. Die Programmiersprache kann beispielsweise eine kompilierte oder interpretierte Programmiersprache sein. Jedes Computerprogramm dieser Art kann in einem Computerprogrammprodukt implementiert sein, das greifbar bzw. körperlich in einer maschinenlesbaren Speichervorrichtung zur Ausführung durch einen Computerprozessor verkörpert ist.
Verfahrensschritte, wie sie durch die vorliegende Offenlegung offenbart sind, können durch einen oder mehrere Computerprozessoren ausgeführt werden, die ein Programm ausführen, das greifbar bzw. körperlich auf einem nicht transitorischen computerlesbaren Medium verkörpert ist, um Funktionen der Erfindung durch die Verarbeitung von Eingaben und die Erzeugung von Ausgaben auszuführen. Geeignete Prozessoren umfassen beispielsweise sowohl allgemeine als auch besondere Mikroprozessoren. Im Allgemeinen empfängt (liest) der Prozessor Befehle und Inhalte von einem Speicher (wie beispielsweise einem Festspeicher und / oder einem Arbeitsspeicher) und schreibt (speichert) Befehle und Inhalte in den Speicher. Speichervorrichtungen, die zur konkreten Ausführung von Computerprogrammanweisungen und -inhalten geeignet sind, umfassen beispielsweise alle Formen von nichtflüchtigem Speicher, wie z. B. Halbleiterspeichervorrichtungen, einschließlich EPROM, EEPROM und Flash-Speichervorrichtungen; Magnetplatten wie interne Festplatten und Wechselplatten; magnet-optische Platten; und CD-ROMs. Jedes der vorangehenden Speichervorrichtungen kann durch speziell entworfene ASICs (anwendungsspezifische integrierte Schaltungen) oder FPGAs (feldprogrammierbare Gate-Arrays) ergänzt oder in diese integriert werden.
Bezugnehmend auf 1 wird ein Blockdiagramm gezeigt, das eine Netzwerkimplementierung des Systems (104) gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt. Ein Server (102), wie in 1 gezeigt wird, kann ein Server sein, in das System (104) integriert ist, um jede erfasste Information zu speichern und zu analysieren. Zum Beispiel kann der Server (102) zum Speichern von Bildern / dimensionalen Modellen oder irgendeiner anderen Information verwendet werden, wie es im folgenden Absatz diskutiert wird. Ferner kann der Server (102) verwendet werden, um ihn mit verschiedenen Geräten (108) zu verbinden, um jegliche darauf gespeicherte Information zu den Geräten (108) zu übertragen. Zum Beispiel können Geräte (108) die Geräte des Zustellmanagers enthalten. In einem anderen Beispiel können die Geräte (108) Geräte sein, die verwendet werden, um die von dem Server (102) übertragenen Informationen weiter zu analysieren und/oder zu verarbeiten. Ferner kann der Server (102) mit Vorrichtungen wie mobilen Basisstationen, Satellitenkommunikationsnetzen usw. verbunden sein, um jegliche von dem Server (102) empfangenen Informationen zu empfangen und weiterzuleiten. Zum Beispiel kann ein Server (102) eine Notfallsendung empfangen, dass eine bestimmte Route nicht in Betrieb ist. Dann kann der Server (102) diese Informationen mit dem System (104) teilen und das System (104) kann diese Informationen zum Zeitpunkt der Routenerstellung für die Fahrt benutzen. In einer Ausführungsform kann der Server (102) ein Cloud-basierter Server sein.
Es ist anzumerken, dass das System (104) vollständig oder teilweise in Fahrzeugen implementiert werden kann. In einer Ausführungsform kann das System (104) mit dem Fahrzeug operativ gekoppelt sein, um Funktionen auszuführen, wie sie nachstehend in der vorliegenden Offenlegung diskutiert werden. Außerdem können das System (104) und das Fahrzeug mit dem Server (102) über ein Netzwerk und/oder einen oder mehrere Sender-Empfänger verbunden sein.
In einer anderen Ausführungsform kann das System (104) benutzt werden, um eine Verbindung zu einer Benutzerschnittstelle wie dem Infotainment-System des Fahrzeugs und/oder einem mobilen Gerät (z. B. Mobiltelefon, PDA, intelligente Geräte) des Zustellmanagers unter Verwendung des Fahrzeugs- oder Flottenmanagers.
In Bezug auf 2 legen folgende Absätze verschiedene Komponenten des Systems (104) für das Management von Frachtfahrzeugen offen. Jede der Komponenten des Systems (104) kann implementiert werden, wobei dafür eine oder mehrere Hardware-Prozessoren, Software, Firmware oder eine beliebige Kombination davon benutzt wird.
Das offengelegte System (104) von 2 zeigt verschiedene Komponenten, einschließlich: Prozessor(en) (202), einen Speicher (204), eine Vielzahl von Kamera(s) (208), eine Modellerzeugungseinheit (212), eine Volumenschätzeinheit (214), eine Identifizierungseinheit (216), eine Extraktionseinheit (218), eine Gruppierungseinheit (220), eine Positionserfassungseinheit (222) und Transceiver(s) (224). Diese Komponenten des Systems (104) können in Kombination arbeiten, um die hierin definierten Techniken durchzuführen. Die jeweiligen Funktionen der Einheiten und der anderen Komponenten des Systems (104) werden in den folgenden Absätzen ausführlicher beschrieben.
Im Bezug auf 3A und 3B, ein Ablaufdiagramm der verschiedenen Schritte der Techniken der Funktionen des Systems zum Management von Frachtfahrzeugen (104) und seiner Komponenten, wie in 2 dargestellt. Bevor die Schritte des Flussdiagramms der 3A und 3B beschrieben werden, soll noch angemerkt werden, dass bestimmte Schritte nicht unbedingt in der in 3A und 3B beschriebenen Reihenfolge ausgeführt werden müssen. Es soll auch angemerkt werden, dass bestimmte Prozesse, wie sie hierin offengelegt sind, in einer sich gegenseitig ausschließenden Weise, d.h. ohne jegliche gegenseitige Abhängigkeit, ausgeführt werden können. Zum Beispiel können die Prozesse zur Volumenbestimmung und Bestimmung der Objektposition (wie in den 4 bzw. 5 dargestellt) unabhängig voneinander durchgeführt werden. Ähnliche Prozesse/Techniken, die voneinander unabhängig durchgeführt werden können, dürften einem Fachmann beim Lesen der folgenden Abschnitte, die die verschiedenen Techniken zur Management von Frachtfahrzeugen mit Bezug auf 2, 3A und 3B offenlegen, verständlich sein.
Gemäß einem Punkt der vorliegenden Offenlegung, obwohl es für das System nicht erforderlich ist, um ordnungsgemäß zu funktionieren, ist der Frachtraum des Fahrzeugs typischerweise zu Beginn der Verwendung leer. Zu diesem Zeitpunkt erzeugt die Modellgenerierungseinheit (212), die mit den Kameras (208) betrieben wird, das Modell des leeren Frachtraums gemäß dem in 3A in Kasten (302) dargestellten Schritt. In einem Aspekt umfassen die Kameras (208) ein oder mehrere RGB- oder Stereo-Vision IR-Tiefenkameras. In einer Ausführungsform sind Kameras (208) in und um den Frachtraum herum angeordnet und bieten eine vollständige Abdeckung des Frachtraums. Der Frachtraum umfasst einen geschlossenen Raum, der Regale oder andere Organisationselemente aufweisen kann oder nicht, wobei die Kameras (208) so konfiguriert sind, dass das Sichtfeld das gesamte Volumen unter und um die ggf. vorhandenen organisatorischen Elemente abdeckt.
Ferner ist die Konfiguration der Vielzahl von Kameras (208), so dass die Modellerzeugungseinheit (212) aus einzelnen Bildern von jedem der Kameras (208) in ein repräsentatives Raummodell, wie beispielsweise ein 2D, 2.5D oder 3D-Modell, Stichbilder erzeugen kann. Darüber hinaus, um das anfängliche Raummodell zu erstellen, ist es möglich den Raum anhand von Tiefenkameras zu messen. In einer Ausführungsform, in der Infrarot-Tiefenkameras (IR-Tiefenkameras) zum Messen der Tiefe verwendet werden, kann das Verfahren zur Tiefenmessung das Folgende sein. Zunächst projiziert ein IR-Projektor ein spezifisches Muster auf die Oberflächen des Frachtraums. Das Muster wird basierend auf den Oberflächenmerkmalen des Raums unterbrochen und diese Unterbrechung wird von zwei IR-Sensoren in der Tiefenkamera gelesen.
Die Modellerzeugungseinheit (212) ist so konfiguriert, dass aus den Daten der Kamera (208) Stichbilder in der Form eines DPC oder eines Netzes in Echtzeit erzeugen kann. Dies umfasst: das Empfangen von Kalibrierungsmustern in Bezug auf jede der Vielzahl von Kameras, um relative Positionen jeder der Vielzahl von Kameras zu identifizieren, das Identifizieren von intrinsischen und extrinsischen Mustern für die Bilder, die durch jede der Vielzahl von Kameras erfasst werden; das Erzeugen einer Punktwolke für jedes der Bilder; und das Zusammenführen der Punktwolken, um das DPC oder Netz zu bilden, indem sich die gemeinsamen Teile des Frachtraums in jedem der Bilder überlappen. Es sei darauf hingewiesen, dass die gemeinsamen Teile auf der Basis der Kalibrierungsmuster, der intrinsischen Muster, und der extrinsischen Mustern identifiziert werden.
Ferner kann in einem Punkt ein globales Koordinatensystem (GCS) basierend auf dem DPC aufgebaut werden, wobei das GCS kontinuierlich aktualisiert wird, wenn die Kamerabilder Änderungen im Frachtraum registrieren. In bestimmten Aspekten wird ein aktualisiertes Raummodell basierend auf diesen im Frachtraum registrierten Änderungen gebaut. Die Bedingungen und die weiteren Details in Bezug auf die Schaffung des aktualisierten Raummodells werden in den folgenden Absätzen beschrieben.
Unter erneuter Bezugnahme auf Block 304 von 3A umfassen die offengelegten Techniken des Management von Frachtfahrzeugen das Erfassen von Entladen/Aufladen von Paketen, wobei eine Person, die in den Fahrzeugfrachtraum eintritt, erkannt wird. In einer Ausführungsform kann eine Kamera über der Tür des Kleintransporters angebracht sein, die auf den Boden zeigt und einen Bereich abdeckt, der mehrere Fuß an der Innen- und Außenseite der Kabinentür umfasst. Die Aktivität wird mithilfe der Tiefen-Schwellenwertbestimmung wie unten beschrieben erfasst, und das System (104) kann die Art des Gegenstandes, das geladen wird, (ein Paket oder ein anderes Objekt z. B. ein Mensch) durch ein Computer Vision Deep Neural Network (DNN) erkennen, um zwischen der Paketladung und anderen Objekten zu unterscheiden.
Der Prozess der Tiefen-Schwellenwertbestimmung wird nachstehend beschrieben. Zu Beginn einer Schicht, wenn der Frachtraum des Fahrzeugs leer ist, erzeugen die mehreren Farb- und Tiefenkameras ein erstes Raummodell des Frachtraums, wie in den vorstehenden Absätzen beschrieben.
Das System (104) tastet unter Verwendung der Kameras (208) kontinuierlich den Frachtraum ab, um irgendwelche Änderungen in Pixelwerten zwischen dem ersten Raummodell und den neuen Einzelbildern zu erfassen. Wenn Änderungen erkannt werden, wird ein aktualisiertes Raummodell des Frachtraums erzeugt, wie in Block 306, 3A, erörtert wird. In einer Ausführungsform vergleicht das System (104) das erste Raummodell mit diesem aktualisierten Raummodell zwischen Farb- und Tiefenbildpaaren. Dieser Vergleich erfolgt durch Subtrahieren der Pixelwerte des ersten Raummodells von dem aktualisierten Raummodell und durch Eliminieren aller Pixel, die zwischen beiden Modellen gleich sind (d.h. von den Pixeln, die eine Differenz von 0 zurückgegeben haben).
Darüber hinaus, wenn die Bewegung erkannt wird, kann das System (104) konfiguriert werden, um die erfasste Bewegung zu analysieren. Zum Beispiel kann das System (104), sobald eine Bewegung erfasst wird, die Bewegungsvektoren eines Menschen durch Vergleichen von Pixelwerten zwischen aufeinanderfolgenden Einzelbildern bestimmen. Diese Bewegungsvektoren helfen bei der Vorhersage der menschlichen Bewegung.
Bewegungen können analysiert werden, indem Daten von zwei Arten von Kameras, d.h. einer Tiefenkamera (wie z. B. IR-Tiefenkameras) und einer RGB-Kamera, kombiniert werden. Eine Tiefenkamera kann in der Mitte des Frachtraums an der Decke platziert werden und zum Boden zeigen. In einem anderen Aspekt kann Tiefe durch die Verwendung von zwei RGB-/Monochrom-Kameras in einem bekannten Abstand voneinander und durch Analyse der beiden Eingabedaten berechnet werden, ähnlich wie dies mit der Stereo-Vision durchgeführt wird.
Ferner kann zur Bewegungsanalyse eine RGB-Kamera an der Oberseite einer Eingangstür mit einem Betrachtungswinkel angeordnet sein, der sich zu mehreren Fuß auf jeder Seite der Tür erstreckt. Die RGB-Kamera erkennt, wo eine Bewegung auf einer linearen Skala innerhalb ihres Betrachtungswinkels stattfindet, die durch die Differenz der Pixelwerte zwischen den Einzelbildern bestimmt wird. Die RGB-Kamera kann anhand der Größe der Störung erkennen, ob diese Bewegung auf ein menschliches oder auf ein anderes Objekt wie ein Paket zurückzuführen ist (Menschen sind größer und haben eine andere Form als Pakete).
In einem Aspekt werden die absoluten Tiefenwerte der Tiefenkamera für diese Bewegung gemessen, so dass die Tiefenkamera keine Tiefenwerte innerhalb ihres gesamten Sichtfeldes berechnen muss. Die Richtung der Bewegung wird dann bestimmt, indem die sequentielle Änderung der Pixel auf einer linearen Skala, die sich von der Kamera in beide Richtungen erstreckt, verglichen wird. Wenn eine Bewegung an einer Stelle außerhalb des Frachtfahrzeugs festgestellt wird, und diese von einer Bewegung gefolgt wird, die näher an der Kamera/dem Ursprung der Skala erkannt wird, weiß das System, dass sich das betreffende Objekt zur Kamera /in den Frachtraum bewegt.
Die Kombination dieser drei Sensoren überträgt das System genau dorthin, wo die Bewegung stattfindet. Zur gleichen Zeit ermöglichen Tiefenkameras, die auf die Regale zeigen, dass das System (104) die Bewegung in den Regalzonen überwachen kann, und ein Computer Vision DNN klassifiziert Objekte innerhalb dieser Bereiche entweder als Pakete oder als Nicht-Pakete (z. B. eine Hand).
Wie in Block 308 in 3A dargestellt wird, kann eine Identifikationseinheit (216) wie in 2 dargestellt konfiguriert werden, um die Position eines Objektes im Frachtraum auf der Grundlage des Modells der Bounding-Box, deren Fläche eine Pixel-Differenz aufweist, die nicht Null ist zu bestimmen. Eine detaillierte Beschreibung bezüglich der Modellierung von Bounding-Boxen wird in den folgenden Absätzen zusammen mit einer detaillierten Beschreibung von 5 gegeben.
Wie in 3B Block 310 dargestellt ist, kann dann eine Volumenschätzeinheit (214) des Systems (104) eine Fläche der Bounding-Box innerhalb des Gesamtvolumens des Frachtraums abbilden, bei der eine Schätzung des verbleibenden Ladungsvolumens bestimmt werden kann. Weitere Details zum Verfahren zur Volumenschätzung werden in den folgenden Abschnitten im Zusammenhang mit 4 aufgezeigt. Das geschätzte verbleibende Volumen kann dann unter Verwendung von Transceivern (224), z. B. einem Gerät (108), an einen Nutzer (z. B. Zusteller/Zustellmanager, Flottenmanager) übertragen werden.
Wie in Block 312, 3B dargestellt wird, ist die Fläche der Bounding-Box mit einer Position auf einem Regal des Frachtraums abgebildet. Es wird angemerkt, dass die Identifizierungseinheit (216) verwendet werden kann, um die Position der Bounding-Box und deren Fläche auf einem Regal des Frachtraums des Fahrzeugs zu identifizieren.
Wie in Block 314 dargestellt ist, kann die Identifizierungseinheit (216) ferner zur Identifizierung von Positionen neu geladener Objekte im Frachtraum verwendet werden, indem jedes Mal, wenn eine Bewegung gemäß den obigen Absätzen erfasst wird, neue aktualisierte Raummodelle des Frachtraums erzeugt werden. Darüber hinaus können Sender-Empfänger (224) verwendet werden, um einen Benutzer (z. B. einen Zusteller) über die Position eines Pakets durch Übertragen seiner Position z.B. an Geräte (108) zu informieren.
In einem Aspekt können die Techniken zum Management von Frachtfahrzeugen dieser Offenlegung verwendet werden, um Kuriere zum Zeitpunkt der Lieferung/Entladung zu dem richtigen Paket zu führen. Zum Beispiel, wenn das Zustellpersonal bei einem Kunden ankommt, identifiziert das System (104) den Kunden, bei dem gehalten wurde, basierend auf der Geolokalisierung des Fahrzeugs. Das System (104) kann dann die Position mit Geofences referenzieren, die in einem vordefinierten Radius um jeden Kundenlieferort herum gezeichnet sind. Alternativ kann das Zustellpersonal einen bestimmten Kunden aus seinem Zustellungsverzeichnis über ein mobiles Gerät (108), eine fahrzeuginterne Konsole (108) oder ein anderes Anwendungsdisplay (108) auswählen. Wenn eine Tür zum Frachtraum geöffnet wird, kann das System (104) die dem bestimmten Kunden entsprechenden Paket-IDs identifizieren und die letzte bekannte Position dieses Pakets im Frachtraum nachschlagen.
Das Lieferpersonal kann dann zu dieser Position und damit zum Paket/zu den Paketen des Kunden über Audio- und/oder visuelle Hinweise, wie zum Beispiel LED-Leuchten an Regalen, einen servogesteuerten Laserpointer oder Scheinwerfer oder Sprachanweisungen, geleitet werden.
Gemäß einer Ausführungsform kann die Kamera (208) einen Barcode auf den Paketen verwenden, um ein spezifisches Paket innerhalb des Frachtraumes zu identifizieren. Wie aus dem Stand der Technik bekannt ist, ist es möglich, über die auf den Paketen angewendeten Barcodes zu dekodieren um verschiedene Informationen zu den Paketen wie z. B. die Herkunft des Pakets, ein Zielort für das Paket und dergleichen abzurufen. In bestimmten Ausführungsformen können diese Informationen in Kombination mit dem geografischen Standort des Fahrzeugs verwendet werden, um die Position des Pakets mit dem Zusteller zu teilen. In bestimmten Beispielen können diese Barcode-Informationen in Verbindung mit der Position von Bounding-Boxes dazu beitragen, die Position des Objekts zum Zeitpunkt des Entladens genau zu identifizieren.
Die Verwendung eines Barcodes, wie oben erwähnt, umfasst einen Schritt des Aufnehmens von Standbildern mit einer hohen Einzelbildrate (zum Beispiel 21 Bilder pro Sekunde), um eine möglichst minimale Bildunschärfe zum Zeitpunkt des Erfassens des Barcodes zu gewährleisten. Dies wird zu einer genauen Erfassung eines Barcodebildes führen und eine präzise Decodierung des Barcodes unterstützen, wodurch die Effizienz verbessert wird. In einer Ausführungsform kann die Kamera (208) mehrere Rahmen des Ereignisses erfassen und sie an ein DNN-Modell senden, um das Modell darin zu trainieren, die Barcodebilder genau zu identifizieren. Dieser DNN hilft bei der weiteren Optimierung der Qualität erfasster Barcodebilder durch Unterstützung bei der Identifizierung von Barcodes in den Bildern.
Die Decodierung des Barcodes aus Bildern kann eine Auswahl von Einzelbildern, eine Verschärfung und eine Etikettenextraktion solcher ausgewählten und verschärften Einzelbilder umfassen, wie in den folgenden Absätzen erläutert wird.
Die Auswahl der Einzelbilder und das Beseitigen von Unschärfen, wie sie hier offengelegt ist, umfasst: Analysieren mehrerer Einzelbilder nach Unschärfen und Verwenden der Einzelbilder mit der geringsten Unschärfe für die Analyse.
Erstens ist es allgemein bekannt, dass Scharfeinstellungsbilder (scharfe Bilder) dazu neigen, eine große Anzahl von Hochfrequenz-Komponenten zu enthalten, während unscharfe Bilder dies nicht tun. Das System (104) kann konfiguriert werden, um zwischen scharfen und unscharfen Bildern zu unterscheiden, wofür die Anzahl von Hochfrequenz-Komponenten in jedem Bild quantifiziert wird. Danach wird ein Kernel auf jedem Einzelbild angewendet, der Hochfrequenz-Komponenten ausfiltert und eine Zählung dieser Hochfrequenz-Komponenten wiedergibt. Ein beschrifteter Datensatz von Proben, in denen die Menge an vorhandener Unschärfe bereits bekannt ist, kann einem Algorithmus zur Unschärfeerkennung unterworfen werden. Der Wert der durch den Algorithmus berechneten Unschärfe kann dann mit den bekannten Werten verglichen werden. Dieser Vergleich zwischen den Werten kann zur Erstellung einer kalibrierten Referenz-Tabelle verwendet werden um Bilder/Einzelbilder mit einer unbekannten Menge der Unschärfe zu klassifizieren.
Die Referenz-Tabelle kann weiter verstärkt werden, indem ein DNN-Modell verwendet wird, das auf eine große Anzahl von Proben trainiert wird, die verschiedene Arten und Größen von Unschärfe darstellen. Die DNN kann an nicht verschwommenen Proben trainiert werden, wobei danach verschiedene Arten von Unschärfe angewendet werden. Das DNN-Modell kann zwischen den beiden Bildern (unscharfe und scharfe Bilder) vergleichen und die verschiedenen Punktverteilungsfunktionen der verschiedenen Arten von Unschärfen lernen. Dies würde dem DNN-Modell ermöglichen, ein neuartiges Bild/Einzelbild zu korrigieren und die Unschärfe präzise zu entfernen.
Darüber hinaus muss die Bewegungsunschärfe, d.h. die durch Bewegung des Objekts zum Zeitpunkt der Bilderfassung verursachte Unschärfe, ebenfalls behoben werden. Jede Bewegungsunschärfe kann erkannt werden, indem die Bewegungsvektoren von Pixeln über mehrere Einzelbilder hinweg analysiert werden und eine Punktstreufunktion (Point Spread Function, PSF) modelliert wird, die ein Muster der Unschärfe darstellt. Die berechnete PSF kann erneut auf das Bild in einer Entfaltungsweise angewendet werden, um ein unscharfes Bild zu erhalten. Daher fungiert die PSF als Filter, der auf das Bild/die Pixel angewendet wird, um den Effekt der Unschärfe umzukehren.
Die Prämisse dieses Technologieansatzes besteht darin, Kameras (208) zu verwenden, um die Menge an Unschärfe, die in einem Bild vorhanden ist, abzuschätzen und die quantifizierte Unschärfe zu korrigieren. Ein maßgeschneidertes DNN-Modell kann verwendet werden, um diese Leistung zu erreichen. Zunächst wird ein Datensatz von Bildern mit Barcodes gesammelt, die scharf sind und keine Unschärfe enthalten. Verschiedene Arten von Unschärfe mit bekannten PSF werden diesen Bildern dann künstlich hinzugefügt.
Ein kundenspezifisches neuronales Netzwerk wird entworfen, indem eine Architektur verwendet wird, die mehrere Kombinationen von Faltungs- und Max-Pooling- Schichten enthält. Dieses neuronale Netzwerk wird dann trainiert, um die PSF vorherzusagen, die auf den Barcode angewendet werden kann, um die Unschärfe zu korrigieren. Die inneren Schichten des neuronalen Netzes schätzen die Menge/Anzahl der Hochfrequenz-Komponenten des Bildes, modellieren die PSF, und wenden das auf de-konvutionelle Weise auf das Originalbild an, um die Unschärfe zu korrigieren.
Es ist anzumerken, dass unabhängig von den in einem System verwendeten Kameras immer eine gewisse Menge an inhärenter Unschärfe vorhanden ist. Die zuvor erwähnte inhärente Unschärfe wird die Leistungsfähigkeit traditioneller Decodierer beeinträchtigen, weshalb diese Unschärfe auch über das DNN-Modell quantifiziert und korrigiert werden muss.
Der Prozess der Etikettenextraktion beginnt, nachdem ein von den Kameras (208) aufgenommenes Einzelbild vorverarbeitet wurde (d.h. das Einzelbild wird entbündelt oder durchläuft eine ähnliche Prozedur). Bei der Etikettenextraktion können die Kanten aller Objekte, Beschriftungen und andere Merkmale unter Verwendung eines Kantenerkennungsalgorithmus erkannt werden. Danach kann der Bildrahmen mit einem Schwellenwert verglichen und in ein Binärbild umgewandelt werden. Ferner können morphologische Operationen auf dem Einzelbild angewendet werden, um weiße Konturen zu erhalten, die möglicherweise zum betroffenen Objekt (z. B. einem Etikett) vor einem schwarzen Hintergrund gehören.
Ein weiteres Problem hinsichtlich der Decodierung des Barcodes besteht in der Ausrichtung des Barcodes, wenn das Bild des Barcodes erfasst wird. Zum Zeitpunkt der Beladung / Entladung des Fahrzeugs ist es z. B. möglich, dass durch die Orientierung des Pakets die korrekte Ausrichtung des Barcodes von der Kamera (208) nicht erfasst werden kann. Mit anderen Worten, in solchen Szenarien kann der Barcode mit der Kamera/den Kameras (208) sichtbar sein, aber die Ausrichtung des Barcodes ist möglicherweise nicht korrekt gegenüber der Kamera/den Kameras (208). Ferner ist die Unschärfe in solchen desorientierten Barcodes, auch desorientiert, und dies verursacht zusätzliche Probleme bei der Entfernung der Unschärfe. Aus diesem Grund muss zuerst die Ausrichtung korrigiert werden, und dann kann die damit verbundene Unschärfe entfernt werden. Folgende Absätze stellen eine Technik zur Lösung des Problems gemäß der vorliegenden Offenlegung bereit, die ein Laden/Entladen ohne solche Betriebsschwierigkeiten beim Erfassen des Barcodes ermöglicht.
Die Prämisse dieses offengelegten Ansatzes ist, Daten von Bildsensoren/ Kameras zu verwenden, um die relative Ausrichtung des Etiketts/Barcodes zu bestimmen und sie in eine optimale Position neu auszurichten, um eine erfolgreiche Decodierung des Barcodes sicherzustellen. In einem Aspekt kann ein maßgeschneidertes DNN-Modell verwendet werden, um das oben Beschriebene zu erreichen. Zuerst wird ein Datensatz von Bildern gesammelt, die unter verschiedenen Winkeln rotierte Barcodes enthalten. Jedes Bild wird manuell mit Anmerkungen versehen, um den Drehwinkel der Bodenverifikation zu erhalten, um den Barcode horizontal zu drehen (dies soll dem neuronalen Netzwerk lehren, den Winkel zu schätzen, mit dem ein Barcode gedreht werden muss, um ihn horizontal zu drehen). Ein kundenspezifisches neuronales Netzwerk wird außerdem entworfen, indem eine Architektur verwendet wird, die mehrere Kombinationen von Faltungs- und Max-Pooling- Schichten enthält. Dieses neuronale Netzwerk wird dann anhand des beschrifteten Datensatzes trainiert und validiert, um den Rotationswinkel zum Ausrichten eines Barcodes zu berechnen. Die internen Knoten dieses Netzwerks werden abhängig von den Merkmalen aktiviert, die am Ausgang jeder Zwischenschicht extrahiert werden. Die endgültige Ausgabe dieses Modells ist der geschätzte Drehwinkel, der angewendet werden muss, um den Barcode horizontal zu drehen. Diese einzigartige neuronale Netzwerkarchitektur ermöglicht es dem System, den Barcode in unbegrenztem Umfang neu auszurichten.
Diese Architektur wurde entwickelt, um unter mildernden Bildbedingungen wie Schärfe/Fokus, Bewegungsunschärfe, Unterbelichtung oder Umgebungsgeräuschen zu arbeiten. Dieses Merkmal kann mit einer Kamera mit einer Bildrate von ungefähr 30 FPS+ verwendet werden, ist aber nicht darauf beschränkt.
Ferner stellt die vorliegende Offenlegung auch Techniken bereit, die zum Zeitpunkt des Ladens/Entladens von Paketen verwendet werden können, um sicherzustellen, dass Pakete an vorher zugewiesenen Positionen basierend auf eine Ladeschein angeordnet sind, d.h. in das richtige Frachtfahrzeug einer Flotte geladen oder bei dem richtigen Kunden entladen werden. Zum Zeitpunkt des Ladens/Entladens von Paketen in den/aus dem Frachtraum, können die von der Kamera (208) aufgenommenen Bilder eine eindeutige Kennzeichnung des Paketes verwenden, um die Pakete zu identifizieren. Die eindeutigen Kennzeichnungen können die Form / Größe des Pakets oder einen auf dem Paket platzierten Barcode enthalten, der gemäß der obigen Beschreibung zum Identifizieren eines Pakets decodiert werden kann. Das System (104) kann das Paket zur Zeit des Ladens und Entladens zu einem bereits erstellten Lieferschein referenzieren, um sicherzustellen, dass die Pakete in das richtige Fahrzeug geladen werden, und, dass das korrekte Paket an dem Zeitpunkt der Entladung des Pakets entladen wird.
Das System (104) kann Sender-Empfänger (224) zum Senden einer Warnung an einen oder mehrere Benutzer verwenden. Eine Warnung kann zum Beispiel an Geräte (108) gesendet werden, wenn ein Fehler festgestellt wird. Die Warnung kann eine visuelle Warnung, ein akustischer Alarm oder eine beliebige Kombination von beiden sein. Die Art des Fehlers (wie beispielsweise das Laden eines Paket in das falsche Fahrzeug oder das Entladen des falschen Pakets in einer Geolokalisierung) kann durch verschiedene Arten von Warnungen, z. B. durch eine Reihe von verschiedenen Pieptönen, Blinken, oder verschiedenen Farben, gemeldet werden.
In einem Beispiel könnte das System den Fahrer warnen, dass er versucht, die Pakete eines anderen Kunden zu entladen, oder dass es noch Pakete für diesen Kunden gibt, die entladen werden sollen. Kuriere könnten auch über ein beliebiges mobiles Gerät, eine Smartwatch, ein Smartphone oder andere elektronische Anzeigegeräte die sie ggfls. am Körper tragen oder die sich im Fahrzeug befinden darüber informiert werden.
Wie für den Fachmann ersichtlich ist, würden die Techniken dieser Offenlegung eine Optimierung aller Prozessoren (202) und Speicher (204) (d.h. CPUs, GPUs) erfordern, um die hier beschriebenen Abtastverfahren effizient durchzuführen. Folgende Absätze beschreiben direkt die gesamte Abtast-Pipeline und -Logik des Erkennens eines Barcodes und des Dekodierens in wesentlich kürzerer Zeit, gemäß den Ausführungsformen der vorliegenden Offenlegung.
Zuerst wird ein Anfangsdatensatz, der von den Kameras (208) gesammelt wurde, durch eine CPU verarbeitet und auf eine Weise neu formatiert, die mit dem tiefen Lern GPU-Modell (GPU Modell 1) akzeptabel ist. Das GPU-Modell 1 benötigt etwa 23 Millisekunden, um den Barcode, das Etikett, den QR-Code oder die Box mithilfe von DNN zu erkennen und auszuschneiden.
Sobald das Etikett ausgeschnitten ist, fährt das System (104) dann fort, den Barcode in einem zweiten GPU-Modell zu finden. Diese Modellerkennungen (Ausgabe von Modell 1) werden auf der CPU analysiert und als Eingabe für das nächste Modell (GPU-Modelle 2 und 3) unter Einbeziehung von Programmiermethoden/-funktionen vorbereitet/formatiert. Bei Verwendung weiterer DNN-Modelle wird der Winkel, um den der Barcode gedreht werden muss, erkannt (GPU-Modell 2), und der Unschärfewert (GPU-Modell 3) wird ebenfalls erfasst.
Die Ausgaben dieser Modelle werden an die CPU gesendet, um die Funktion des Drehens und/oder des Verschärfens des Bildes (die etwa 6 ms dauert) tatsächlich auszuführen oder sie direkt an den Decoder zum Decodieren des Barcodes weiterzuleiten, wenn ein Drehen und/oder Verschärfen nicht benötigt wird. Ein Decoder kann dann verwendet werden, um den Barcode auf der CPU zu interpretieren, eine Ausgabe zu erzeugen und diese mit dem Lieferschein zu vergleichen, beispielsweise durch eine zugewiesene Verfolgungsnummer oder einen Kundennamen und/oder eine Adresse.
Wenn alle diese obigen Verfahren keinen klaren Barcode extrahieren, kann ein optisches Zeichenerkennungs-(OCR)-Modell implementiert werden, das in der Lage ist, die Verfolgungsnummer in 1-2 Sekunden zu erkennen. Mit anderen Worten, die OCR lernt das Identifizieren von verschiedenen visuellen Codes/Zahlen, um Merkmale wie eine Verfolgungsummer zu erkennen, die dann die verwendet werden können, um Informationen die sonst durch den Barcode zur Verfügung gestellt werden. Wenn der Barcode jedoch erfolgreich decodiert wurde, werden die OCR-Einzelbilder verworfen.
Es wird nun auf 4 Bezug genommen, in der ein Flussdiagramm dargestellt ist, das ein Verfahren zur Volumenbestimmung des eines Frachtraums eines Fahrzeugs in Echtzeit darstellt. Das Verfahren beginnt bei Block 402, wo ein erstes Raummodell des Frachtraums unter Verwendung von Bildern von einer Mehrzahl von Kameras (208) erzeugt wird. Das Verfahren dieses Schritts kann von der Modellerzeugungseinheit (212), wie in 2 dargestellt, durchgeführt werden. In einem Aspekt enthält die Vielzahl von Kameras Kameras, um mindestens Tiefe oder Farbe zu erfassen, und die in und rund um den Frachtraum positioniert sind. In einem Aspekt wird das Raummodell durch die Zusammenführung der aufgenommenen Bilder von der Vielzahl von Kameras (208) unter Verwendung eines DPC in ein Stichbild erstellt. Das anfängliche räumliche Modell kann unter Verwendung der Techniken erzeugt werden, die in den vorstehenden Absätzen in dieser Offenlegung diskutiert wurden.
Darüber hinaus kann das Zusammenführen von Bildern Folgendes umfassen: das Empfangen von Kalibrierungsmustern in Bezug auf jede der Vielzahl von Kameras (218), um relative Positionen jeder der Vielzahl von Kameras (218) zu identifizieren, das Identifizieren von intrinsischen und extrinsischen Mustern für die Bilder, die durch jede der Vielzahl von Kameras erfasst werden; das Erzeugen einer Punktwolke für jedes der Bilder; und das Zusammenführen der Punktwolken, um das DPC zu bilden, indem sich die gemeinsamen Teile des Frachtraums in jedem der Bilder überlappen. Im Zusammenhang mit der vorliegenden Erfindung können Teile, die zwischen den Bildern geteilt werden, auf der Basis der Kalibrierungsmuster, der intrinsischen und der extrinsischen Mustern identifiziert werden.
Wie in Block 404 gezeigt, wird ferner ein aktualisiertes Raummodell unter Verwendung der Bilder von der Vielzahl von Kameras erzeugt, nachdem festgestellt wurde, dass Pakete in den Frachtraum geladen oder aus dem Frachtraum entladen wurden. Dieser Schritt der Erzeugung des aktualisierten Raummodells kann durch die Modellgenerierungseinheit (212) in Kombination mit der Vielzahl von Kameras (208) durchgeführt werden. Ferner kann das Erkennen des Ladens und/oder Entladens von Paketen in den Frachtraum/aus dem Frachtraum auf Bewegungserkennung, wie in den vorstehenden Absätzen dieser Offenlegung beschrieben, basieren.
Danach wird in Block 406 das Volumen der geladenen Pakete im aktualisierten Raummodell unter Verwendung der Volumenschätzeinheit (214) geschätzt. In einer Ausführungsform, bei der Pakete in Regale innerhalb des Frachtraums geladen werden, kann das Volumen basierend auf einem Volumen zwischen den äußeren Kanten einer Bounding-Box entsprechend jedem geladenen Paket und einer Tiefe eines Regals, das das entsprechende geladene Paket in dem Frachtraum aufnimmt, geschätzt werden, wobei die Tiefe jedes Regals basierend auf dem ersten Raummodell berechnet wird.
Ferner wird in Block 408 ein verbleibendes Volumen des Frachtraums basierend auf dem geschätzten Volumen der beladenen Pakete und ein Gesamtvolumen des Frachtraums berechnet, wobei das Gesamtvolumen basierend auf dem ersten Raummodell berechnet wird. In einem Aspekt kann das verbleibende Volumen durch Subtrahieren des Gesamtvolumens der geladenen Pakete von dem Volumen des Gesamtvolumens des Frachtraums berechnet werden. Die Bestimmung kann unter Verwendung ähnlicher Techniken, wie in dieser Offenlegung diskutiert, durchgeführt werden.
Informationen, die die Restvolumen anzeigen, können mit Hilfe von einem Sender-Empfänger, unter Verwendung von einem Sender-Empfänger (224), an eine Vorrichtung (108) oder einen Server (102) übertragen werden. Die verbleibende Volumeninformation kann an das Gerät (108) des Zustellpersonals oder an den Flottenmanager gesendet werden. Diese verbleibenden Volumeninformationen können in Form einer absoluten Zahl, eines Prozentsatzes des gesamten Lieferwagenvolumens oder einer Schätzung der Anzahl von Paketen, die der Frachtraum noch aufnehmen kann, dargestellt werden. Die Schätzung der Anzahl der Pakete kann durch Berechnung des durchschnittlichen Paketvolumens entweder dieses spezifischen Fahrzeugs, einer bestimmten Unterklasse der Gesamtflotte oder der Gesamtflotte erfolgen.
Bei 5 handelt es sich um ein Flussdiagramm, das ein Verfahren zum Identifizieren von einer Position eines Objekts in einem Frachtraum darstellt. In Block 502 wird eine Region of Interest (ROI) aus einem Sichtfeld des Frachtraums identifiziert, das von einer oder mehreren Kameras (218) erfasst wird. Dieser Schritt kann von der Identifizierungseinheit (216) durchgeführt werden, die in 2 dargestellt ist. In einem Aspekt erfassen eine oder mehreren Kameras die Tiefe und die Farbe des Sichtfelds. Die Kamera kann eine RGB -Kamera, eine Stereo-Kamera, eine Infrarot (IR)- Tiefenkamera und dergleichen umfassen. Der betroffene Bereich kann eine Position sein, die eine hohe Wahrscheinlichkeit aufweisen, ein Objekt zu lokalisieren. Zum Beispiel kann in einem Frachtraum, in dem die Gegenstände auf Regalen geladen sind, der Regalbereich als ROI bestimmt werden, während der volle Frachtraum im Sichtfeld ist. Die ROI kann unter Verwendung der Technik des Subtrahierens von Raum identifiziert werden, wie es in den vorhergehenden Absätzen in Bezug auf die Bewegungserkennung und die Subtraktion von Pixeln von dem Modell beschrieben ist.
Ferner, wie bei Block 504 dargestellt ist, wird eine Vielzahl von Ebenen von der ROI extrahiert, wobei die Vielzahl von Flächen der Geometrie des Objekts, das identifiziert werden soll, entsprechen. Die extrahierten Ebenen können gekennzeichnet und etikettiert werden, um ein DNN-Training zu erlauben. Zum Beispiel kann der DNN trainiert werden, um Parzellen von anderen Objekten im Frachtraum basierend auf den markierten Daten zu identifizieren. Die Extraktion von Schichten kann auch auf Tiefeninformationen basieren, die von einer Tiefenkamera (wie einer IR-Kamera) bereitgestellt werden. In diesem Zusammenhang kann angemerkt werden, dass die Objekte als Pakete und Nicht-Pakete verstanden werden. Um Nicht-Pakete von den Paketen zu unterscheiden, kann ein Modell entwickelt werden, das die häufigsten Objekttypen in verschiedenen Fahrzeugen (Schraubenzieher, Hammer, Kettensägen usw.) enthält.
Um ein DNN Modell für die Identifikation zu erstellen, muss zuerst eine große, diverse Datenmenge, die alle Szenarien wie Beleuchtung, Neigung, Rotation, Ausrichtung, Material und andere Eigenschaften adressiert, gesammelt werden. Danachkann ein Recurring Convolutional Neural Network (RCNN) Modell verwendet werden, um anwendungsspezifische Schichten des neuronalen Netzwerks zu erstellen, die so angepasst sind, um eindeutige Merkmale präzise zu identifizieren, die es dem System ermöglichen, jedes Objekt eindeutig zu identifizieren. Dies gewährleistet einen höheren Genauigkeitsgrad im Vergleich zu herkömmlichen Bildverarbeitungstechniken.
Alle Objekte, die in den Transporter gelangen, könnten von dem oben beschriebenen DNN erkannt werden, und das System könnte Fahrern und Flottenmanagern eine digitale Bestandsaufnahme ihres Fahrzeugs in Echtzeit bereitstellen. Wenn ein einzelner Fahrer ein bestimmtes Fahrzeug verwendet, kann dieser DNN die spezifischen Objekte lernen, die von diesem Fahrer in dem Fahrzeugladebereich gespeichert werden, um zwischen seinem Inventar und dem Inventar seiner Kollegen zu unterscheiden.
In Block 506 werden nun ähnliche und benachbarte Flächen unter Verwendung der Gruppierungseinheit (220) zusammen gruppiert. Das Gruppieren basiert auf dem Gewicht der zwei oder mehr Flächen aus der Vielzahl von Flächen, wobei das Gewicht auf der Grundlage der Orthogonalität-Eigenschaft und der Abmessungen von zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen wird. Das Gewicht, das basierend auf der Orthogonalität zugewiesen wird, ist mehr als das Gewicht, das basierend auf der Dimensionalität der zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen wird. Mit anderen Worten, die Wahrscheinlichkeit von zwei einem Objekt entsprechenden Flächen wird als höher angesehen, wenn bestimmt wird, dass diese Flächen orthogonal angeordnet sind.
Die Blöcke 508 und 510, befassen sich mit dem Modellierungsverfahren einer mehrdimensionalen Bounding-Box, die im 3D-Format sein könnte, das den gruppierten Flächen entspricht, und die Position des Objekts im Frachtraum auf der Grundlage der Position der multi-dimensionalen Bounding-Box innerhalb des DPC oder des globalen Koordinatensystems identifizieren kann. Das Verfahren dieser Blöcke kann durch die Modellerzeugungseinheit (212) bzw. die Positionserfassungseinheit (222) durchgeführt werden. Diese Position kann dann auf einem Server gespeichert oder unter Verwendung des Sender-Empfängers (224) an Geräte (108) übertragen werden.
Das in 4 und 5 offenbarte Verfahren kann iterativ durchgeführt werden. Alternativ kann das Verfahren von 5 nach einer vorgegebenen Anzahl von Einzelbildern durchgeführt werden.
Ferner kann bei Wiederholung des Verfahrens aus 5 festgestellt werden, ob sich die Position eines Objekts gegenüber der Position, die während der vorherigen Iteration des Verfahrens identifiziert wurde, geändert hat. Zum Beispiel wird das System (104) identifizieren können, welche Bewegung zwischen den Einzelbildern aufgetreten ist, indem eine ähnliche Bounding-Box an einer anderen Position als in der vorherigen Iteration des Verfahrens identifiziert und dadurch eine Änderung der Position festgestellt wird. Das System (104) kann dann diese Informationen im Server (102) aktualisieren oder es an irgendein Gerät (108) unter Verwendung eines Sender-Empfänger (224) übertragen. Außerdem, im Falle, dass das System (104) ein neues Objekt basierend auf das Vorhandensein einer zusätzlichen Bounding-Box im Frachtraum im Vergleich zu der vorherigen Iteration des Verfahrens von 5 erfasst, kann das System (104) die Sender-Empfänger (224) verwenden, um diese im Server (102) zu aktualisieren oder um diese Information an das Gerät (108) zu übertragen.
Für den Fachmann ist klar, dass das hier offengelegte System und Verfahren entweder unabhängig oder in Kombination mit vorhandenen Technologien, die für das Management von Frachtfahrzeugen implementiert sind, verwendet werden kann.
Während hierin verschiedene Aspekte und Ausführungsformen offengelegt wurden, werden andere Aspekte und Ausführungsformen für den Fachmann offensichtlich sein. Es wird angemerkt, dass verschiedene hierin offengelegte Aspekte und Ausführungsformen dem Zweck der Veranschaulichung dienen und nicht einschränkend sein sollen, wobei der wahre Umfang durch folgende Ansprüche angegeben ist.

Claims

Verfahren zum Identifizieren der Position eines Objekts in einem Frachtraum, das Folgendes umfasst: Identifizieren eines „Bereichs von Interesse“ (ROI - Region of Interest) von einem Sichtfeld des Frachtraums, das durch eine oder mehrere Kameras erfasst wird, wobei eine oder mehrere Kameras mindestens Tiefe oder Farbe des Sichtfeldes erfassen; Extrahieren einer Vielzahl von Flächen von der ROI, wobei die Vielzahl von Flächen einer Geometrie des Objekts entsprechen; Gruppieren von ähnlichen und in der Nähe liegenden Flächen, wobei die Gruppierung auf das Gewicht von zwei oder mehr Flächen aus der Vielzahl von Flächen basiert, und wobei das Gewicht auf der Grundlage der Orthogonalität und der Abmessungen von zwei oder mehr Flächen von der Vielzahl von Flächen zugewiesen wird; Modellieren einer mehrdimensionalen Bounding-Box entsprechend dem Objekt, auf der Grundlage der gruppierten Ebenen; und Identifizieren einer Position des Objekts, basierend auf einer Position der mehrdimensionalen Bounding-Box.
Verfahren nach Anspruch 1, wobei das Gewicht, das basierend auf der Orthogonalität zugewiesen wird, mehr als das Gewicht ist, das basierend auf der Dimensionalität der zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen wird.
Verfahren nach Anspruch 1, wobei das Objekt ein Paket oder andere Objekte innerhalb des Frachtraums umfasst, und, wobei ein Deep Neural Network (DNN) das Paket von den anderen Objekten unterscheiden und identifizieren kann.
Ein System zum Identifizieren der Position eines Objekts in einem Frachtraum, das Folgendes umfasst: eine Identifizierungseinheit (216), die konfiguriert ist, um das Identifizieren eines „Bereichs von Interesse“ (ROI - Region of Interest) in einem Sichtfeld des Frachtraums zu erlauben, das von einer oder mehreren Kameras erfasst wird, wobei eine oder mehrere Kameras mindestens die Tiefe oder die Farbe des Sichtfeldes erfassen; eine Extraktionseinheit (218), die konfiguriert ist, um eine Vielzahl von Flächen aus der ROI zu extrahieren, wobei die verschiedenen Flächen einer Geometrie des Objekts entsprechen; eine Gruppierungseinheit (220), die konfiguriert ist, ähnliche und in der Nähe liegende Flächen zu gruppieren, wobei die Gruppierung auf das Gewicht von zwei oder mehr Flächen aus der Vielzahl von Flächen basiert, und wobei das Gewicht auf der Grundlage der Orthogonalität und der Abmessungen von zwei oder mehr Flächen von der Vielzahl von Flächen zugewiesen wird; eine Modellerzeugungseinheit (212), die konfiguriert ist, um eine mehrdimensionale Bounding-Box entsprechend dem Objekt, auf der Grundlage der gruppierten Ebenen zu modellieren; und eine Positionserfassungseinheit (222), die konfiguriert ist, um eine Position des Objekts basierend auf einer Position der mehrdimensionalen Bounding-Box zu identifizieren.
System nach Anspruch 4, wobei das Gewicht, das basierend auf der Orthogonalität zugewiesen wird, mehr als das Gewicht ist, das basierend auf der Dimensionalität der zwei oder mehr Flächen aus der Vielzahl von Flächen zugewiesen wird.
System nach Anspruch 4, wobei die Positionserfassungseinheit (222) konfiguriert ist, um eine Änderung der Position des Objekts basierend auf einer Modellierung der modellierten mehrdimensionalen Bounding-Box an einer anderen Position zu identifizieren.
System nach Anspruch 4, das einen Sender-Empfänger (224) umfasst, der konfiguriert ist, um Positionsinformationen entsprechend der identifizierten Position des Objekts an ein Gerät zu übertragen.