DE112017006429T5

DE112017006429T5 - Verfahren, Systeme und Vorrichtungen zum Segmentieren von Objekten

Info

Publication number: DE112017006429T5
Application number: DE112017006429.5T
Authority: DE
Inventors: Bo Fu; Yan Zhang; Ye Gu; Jay J. Williams; Kevin J. O'Connell
Original assignee: Symbol Technologies LLC
Current assignee: Symbol Technologies LLC
Priority date: 2016-12-20
Filing date: 2017-11-17
Publication date: 2019-09-05
Also published as: CN110383334B; US10354411B2; GB201904497D0; US20180174325A1; GB2571458B; WO2018118294A1; CA3037606C; CA3037606A1; MX2019005042A; GB2571458A; CN110383334A

Abstract

Verfahren, Systeme und Vorrichtungen zum Segmentieren von Objekten sind angegeben. Eine Steuerung: empfängt von einem oder mehreren Sensoren eine 3D-Darstellung einer Szene, die ein durch ein 3D-Modell dargestelltes Objekt umfasst; bestimmt eine Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleich des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; bestimmt einen ersten Teil der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen entsprechenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert ist; Segmentieren des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung.

Description

GEBIET DER OFFENBARUNG
Diese Offenbarung bezieht sich im Allgemeinen auf Bildverarbeitungssysteme und insbesondere auf Verfahren, Systeme und Vorrichtungen zur Segmentierung von Objekten.
HINTERGRUND
Transport- und Logistiksysteme umfassen Planungsvorgänge, die die Effizienz und Genauigkeit bestimmter Lieferdienste verbessern. Wenn beispielsweise eine Vielzahl von Objekten (z. B. Pakete) mit einem Gabelstapler und dergleichen in einen Container (z. B. Lieferwagen) geladen werden sollen, kann ein Transport- und Logistiksystem bestimmen, welche Objekte über welchen Container transportiert werden sollen und wie die Objekte in die Container geladen werden sollen. Solche Systeme sind besser in der Lage, die Planungsoperationen durchzuführen, indem sie Kenntnisse über eine oder mehrere Dimensionen der zu transportierenden Objekte erlangen. Eine solche Dimensionierung ist kompliziert, wenn sich die Objekte auf einem Fahrzeug befinden, wie beispielsweise einem Gabelstapler und dergleichen.
Figurenliste

1 zeigt ein beispielhaftes System zum Segmentieren eines Objekts.
2 zeigt eine beispielhafte Plattform zum Segmentieren eines Objekts.
3 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Segmentieren eines Objekts darstellt.
4 zeigt eine beispielhafte dreidimensionale Darstellung einer Szene, die ein zu segmentierendes Objekt umfasst.
5 zeigt ein beispielhaftes dreidimensionales Modell eines Fahrzeugs, das zum Segmentieren eines Objekts verwendet wird.
6 zeigt ein beispielhaftes zweidimensionales Bild, das als Vorlage für das Segmentieren eines Objekts verwendet wird.
7 zeigt einen beispielhaften Merkmalsabgleich zwischen einem beispielhaften zweidimensionalen Bild und einem beispielhaften dreidimensionalen Modell.
8 zeigt einen beispielhaften Merkmalsabgleich zwischen einem beispielhaften zweidimensionalen Bild und einer beispielhaften dreidimensionalen Darstellung einer Szene, die ein zu segmentierendes Objekt umfasst.
9 zeigt eine beispielhafte kommutative Merkmalsabstimmung eines beispielhaften dreidimensionalen Modells und einer beispielhaften dreidimensionalen Darstellung einer Szene, die ein zu segmentierendes Objekt umfasst.
10 zeigt eine beispielhafte Segmentierung eines Objekts unter Verwendung einer beispielhaften Begrenzungsbox.
11 zeigt einen beispielhaften Teil eines segmentierten Objekts, das zu dimensionierende Elemente umfasst.
12 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Bestimmen eines dreidimensionalen Modells darstellt.
13 zeigt eine beispielhafte Implementierung des Verfahrens aus 12.
14 ist ein Flussdiagramm, das ein alternatives beispielhaftes Verfahren zum Segmentieren eines Objekts darstellt.
15 ist ein Flussdiagramm, das ein alternatives beispielhaftes Verfahren zum Segmentieren eines Objekts darstellt.

DETAILLIERTE BESCHREIBUNG
Fortschritte in der Kommunikationstechnologie, wie z. B. der internetbasierte Einkauf und die Bestellung, haben die Zahl der Verbraucher und Unternehmen erhöht, die auf eine genaue und rechtzeitige Lieferung von Waren und Materialien angewiesen sind. Dementsprechend haben sich die Anforderungen an die mit der Erbringung solcher Dienste Beauftragten erhöht. Neben größeren Volumina an zu liefernden Paketen haben sich die zugeteilten Lieferzeiten zur Bedienung der Nachfrage verkürzt, da die Transport- und Logistikindustrie wächst und der Wettbewerb intensiver wird. Darüber hinaus arbeiten viele Unternehmen mit Garantien in Bezug auf die genaue und rechtzeitige Lieferung von Paketen, wodurch die Bedeutung einer genauen und rechtzeitigen Ausführung noch erhöht wird.
Um diese und andere Herausforderungen zu bewältigen, suchen Transport- und Logistikeinheiten nach Verbesserungen in verschiedenen Aspekten der verschiedenen Abläufe. Der Prozess des Verladens von Paketen in Container (z. B. Lieferwagenanhänger) umfasst beispielsweise das Bestimmen, welche Pakete in welche Container verladen werden sollen, das Bestimmen einer bevorzugten räumlichen Anordnung der Pakete in den Containern, das Übermitteln von Daten an Verlader (z. B. Personen oder Maschinen, die damit beauftragt sind, die Pakete physisch in die Container zu legen) und das Verfolgen von Informationen bezüglich der zu verladenden Pakete. Einige dieser Vorgänge umfassen das Bestimmen oder Erhalten eines oder mehrerer Merkmale der Pakete, wie beispielsweise ein Gewicht eines Pakets, eine Form eines Pakets und/oder eine oder mehrere Dimensionen eines Pakets. Das Verfahren zum Messen oder Erhalten einer oder mehrerer Dimensionen eines Objekts, wie beispielsweise eines Pakets, wird manchmal als Dimensionierung bezeichnet.
Das Dimensionieren jedes Pakets, das in einen Container geladen werden soll, kostet jedoch wertvolle Zeit. Um die Zeit für die Dimensionierung von Paketen zu verkürzen, verwenden einige Systeme Maschinen wie Scanner oder Bildgeber, um Messungen zu erhalten. In bekannten Systemen, die Maschinen zum Erhalten von Messungen verwenden, sind die abzubildenden oder zu scannenden Pakete stationär und von anderen Objekten isoliert, aufgrund der Herausforderungen und Komplexitäten, die mit dem zu dimensionierenden Objekt in der Nähe (z. B. anstoßend an oder aufliegend auf) anderer Objekte (z. B. Gabeln eines Gabelstaplers) zusammenhängen. Solche bekannten Systeme verursachen einen zusätzlichen Zeit- und Ressourcenverbrauch in Verbindung mit dem Isolieren der Pakete von anderen Objekten, bevor sie dimensioniert werden.
In einigen Systemen, die Maschinen zum Erhalten von Messungen verwenden, ist ein Objekt nicht physisch von beispielsweise einem Fahrzeug getrennt, das das Objekt trägt, bevor der Dimensionierungsprozess durchgeführt wird. Vielmehr werden erste Daten (z. B. Bilddaten), die das Objekt darstellen, von zweiten Daten (z. B. Bilddaten), die das Fahrzeug darstellen, isoliert (d. h. unterschieden). In solchen Fällen wird die Isolierung oder Trennung der ersten Daten und der zweiten Daten auf eine Segmentierung bezogen. Herausforderungen im Zusammenhang mit der Segmentierung ergeben sich beispielsweise durch den Einsatz von kostengünstigen dreidimensionalen Sensoren, die verrauschte Daten erzeugen können. So kann beispielsweise die Mehrwegeinterferenz einer dreidimensionalen Laufzeitkamera (timeof-flight three-dimensional camera) in einigen Szenarien zu ungenauen Daten (z. B. nicht repräsentativ für eine tatsächliche Szene) führen. Die Durchführung einer Segmentierung auf solchen Daten weist mit hoher Wahrscheinlichkeit Fehler auf.
Die hierin offenbarten beispielhaften Verfahren, Systeme und Vorrichtungen ermöglichen eine effiziente und genaue Dimensionierung eines Objekts, während das Objekt von einem Fahrzeug, wie beispielsweise einem Gabelstapler, getragen wird. Hierin offenbarte Beispiele umfassen insbesondere Verfahren und Systeme zum Segmentieren von Teilen einer dreidimensionalen („3D“)-Darstellung einer Szene erfasst durch Sensoren, wie beispielsweise Bildsensoren, wobei die Szene beispielsweise einen Gabelstapler umfasst, der Gegenstände wie Kästen transportiert. Wie im Folgenden näher beschrieben, handelt es sich bei den hierin offenbarten Beispielen um „vorgängerunterstützte“ Systeme, Verfahren und Vorrichtungen zum Erkennen und Segmentieren von Objekten aus einer 3D-Darstellung einer Szene, und welche die Verwendung einer 3D-Punktwolke, eines farbbasierten Merkmalsabgleichs und eines „hochauflösenden“ Bildes und/oder Farbbildes als ein Vorgänger umfassen können. In einem Offline-Prozess kann ein „hochauflösendes“ 3D-Modell, das eine Farbtexturkarte eines Objekts, wie beispielsweise eines Gabelstaplers, umfassen kann, zunächst aus Mehrfachansicht-Scans unter Verwendung eines strukturierten Lichtscanners bestimmt werden. Eine der einzelnen Ansichten (z. B. eine Einzelansicht-Modellpunktwolke) mit charakteristischen Texturinformationen wie Texten und Mustern kann ausgewählt werden, um über Merkmals-Korrespondenz (die als Modellvorgänger-Abgleich bezeichnet werden kann) das Vorgängerbild abzugleichen. Ein „Live“-Prozess kann das Erfassen einer 3D-Darstellung (z. B. einer Punktwolke und/oder einer Farbpunktwolke) einer Szene, die das Objekt umfasst, das Entfernen des Hintergrunds, so dass nur das Objekt und alle Gegenstände auf dem Objekt übrig bleiben, das Auswählen einer Einzelansicht der Szene unter Verwendung ihrer Pose und der Pose der Einzelansicht-Modellpunktwolke umfassen. Die Ausrichtung des Vorgängers in der Einzelansicht-Szene kann auch über Merkmals-Korrespondenz (die als Vorgänger-Szenenabgleich bezeichnet werden kann) bestimmt werden. Nachdem der Modellvorgänger-Abgleich und der Vorgänger-Szenenabgleich erhalten wurden, kann ein Modell-Szenenabgleich kommutativ abgeleitet werden. Die Punktwolken des 3D-Modells und die 3D-Darstellung der Szene werden dann für eine Hypothesenverifikation und eine Identifizierung der 3D-Transformation verwendet. Eine genauere Registrierung wie ICP kann auch durchgeführt werden, um die Anpassung der Modell-Szene weiter zu verfeinern. Eine Begrenzungsbox des 3D-Modells kann geschätzt und mittels einer Transformationsmatrix in die 3D-Darstellung der Szene transformiert werden. Gegenstände in der 3D-Darstellung der Szene außerhalb der transformierten Begrenzungsbox können dann dimensioniert werden.
Darüber hinaus können die hierin beschriebenen vorgängerunterstützten Systeme, Verfahren und Vorrichtungen zu einer besseren Anpassung zwischen dem 3D-Modell und der 3D-Darstellung führen, um die Segmentierung durchzuführen, was zu weniger Fehlern bei den Dimensionierungsgegenständen und damit zu einer schnelleren Dimensionierung führen kann. Tatsächlich kann es sein, dass ohne die hierin beschriebenen vorgängergestützten Systeme, Verfahren und Vorrichtungen die Segmentierung und/oder Dimensionierung von Gegenständen wiederholt werden muss, bis eine genaue Segmentierung und/oder Dimensionierung der Gegenstände erreicht ist. Daher können die hierin beschriebenen vorgängergestützten Systeme, Verfahren und Vorrichtungen zu weniger Wiederholungen bei der Segmentierung und/oder Dimensionierung von Gegenständen führen. Daher können die hierin beschriebenen vorgängergestützten Systeme, Verfahren und Vorrichtungen zu einem effizienteren Betrieb von Rechengeräten zur Segmentierung und/oder Dimensionierung von Gegenständen und/oder zu Verbesserungen an Rechengeräten zur Segmentierung und/oder Dimensionierung von Gegenständen führen.
Ein Aspekt der Offenbarung stellt ein Verfahren bereit, das umfasst: Empfangen, an einer Steuerung, von einem oder mehreren Sensoren, eine dreidimensionale (3D-)Darstellung einer Szene, die ein Objekt umfasst, das durch ein 3D-Modell dargestellt ist; Bestimmen, an der Steuerung, eine Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleichen des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; Bestimmen, an der Steuerung, einen ersten Teil der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen korrespondierenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert ist; und Segmentieren, an der Steuerung, des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung.
In einigen beispielhaften Ausführungsformen umfasst das Segmentieren des ersten Teils der 3D-Darstellung von dem zweiten Teil der 3D-Darstellung das Entfernen des ersten Teils der 3D-Darstellung, der der Teilmenge des 3D-Modells entspricht. In einigen beispielhaften Ausführungsformen umfasst das Verfahren ferner das Dimensionieren eines oder mehrerer Gegenstände, die durch den zweiten Teil der 3D-Darstellung repräsentiert werden, der nach dem Entfernen des ersten Teils der 3D-Darstellung, der dem 3D-Modell entspricht, verbleibt.
In einigen beispielhaften Ausführungsformen umfasst die 3D-Darstellung der Szene eine oder mehrere von einer Punktewolke, Farbdaten, die der Punktwolke zugeordnet sind, und eine Farbpunktwolke.
In einigen beispielhaften Ausführungsformen umfasst jedes des Bestimmens der Ausrichtung des 2D-Bildes in der 3D-Darstellung und des Bestimmens des ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht: einen 3D-Punktwolken-Merkmalsabgleich und einen Farb-Merkmalsabgleich.
In einigen beispielhaften Ausführungsformen umfasst die 3D-Darstellung der Szene eine Vielzahl von Bildern von einem oder mehreren Sensoren, und der Abgleich des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung umfasst das Durchführen eines 2D-Abgleichs zwischen dem 2D-Bild und einem Bild der Vielzahl von Bildern. In einigen beispielhaften Ausführungsformen umfasst das Verfahren ferner das Bestimmen einer Bewegungsrichtung des Objekts in der Szene und das Bestimmen des einen Bildes der Vielzahl von Bildern zur Verwendung in dem 2D-Abgleich aus der Bewegungsrichtung.
In einigen beispielhaften Ausführungsformen umfasst das Verfahren ferner ein Optimieren der 3D-Darstellung durch eine oder mehrere von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung (iterative closest point registration refinement) und einer 3D-Hypothesenprüfung.
In einigen beispielhaften Ausführungsformen umfasst das Segmentieren des ersten Teils der 3D-Darstellung aus dem zweiten Teil ein Bestimmen einer Begrenzungsbox der Teilmenge des 3D-Modells in der 3D-Darstellung und ein Entfernen von Daten aus der 3D-Darstellung, die der Begrenzungsbox entsprechen.
In einigen beispielhaften Ausführungsformen umfasst das 2D-Bild eine Darstellung von Markierungen auf dem Objekt, wobei die Markierungen ein oder mehrere von einem Logo, einem gegebenen Teil des Objekts, einem merkmalsreichen Bild und einem besonderen Teil des Objekts umfassen.
In einigen beispielhaften Ausführungsformen umfasst das 3D-Modell des Objekts ein 3D-Modell eines Gabelstaplers, und die Teilmenge des 3D-Modells schließt Gabeln des Gabelstaplers aus.
Ein weiterer Aspekt der Offenbarung stellt eine Vorrichtung bereit, umfassend: eine Steuerung und eine Kommunikationsschnittstelle, wobei die Steuerung ausgeführt ist, um: unter Verwendung der Kommunikationsschnittstelle von einem oder mehreren Sensoren eine dreidimensionale (3D-)Darstellung einer Szene zu empfangen, die ein durch ein 3D-Modell dargestelltes Objekt umfasst; eine Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleich des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung zu bestimmen; einen ersten Teil der 3D-Darstellung zu bestimmen, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen korrespondierenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert ist; und Segmentieren des ersten Teils der 3D-Darstellung aus einem zweiten Teil der 3D-Darstellung.
In einigen beispielhaften Ausführungsformen ist die Steuerung ferner ausgeführt, um den ersten Teil der 3D-Darstellung vom zweiten Teil der 3D-Darstellung zu segmentieren, indem sie den ersten Teil der 3D-Darstellung, der der Teilmenge des 3D-Modells entspricht, entfernt. In einigen beispielhaften Ausführungsformen ist die Steuerung ferner ausgeführt, um ein oder mehrere Gegenstände zu dimensionieren, die durch den zweiten Teil der 3D-Darstellung repräsentiert werden, der nach dem Entfernen des ersten Teils der 3D-Darstellung, der dem 3D-Modell entspricht, verbleibt.
In einigen beispielhaften Ausführungsformen umfasst die 3D-Darstellung der Szene eine oder mehrere Punktewolken, Farbdaten, die der Punktwolke zugeordnet sind, und eine Farbpunktwolke.
In einigen beispielhaften Ausführungsformen umfasst jedes des Bestimmens der Ausrichtung des 2D-Bildes in der 3D-Darstellung und des Bestimmens des ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht: einen 3D-Punktwolken-Merkmalsabgleich und einen Farbmerkmalsabgleich.
In einigen beispielhaften Ausführungsformen umfasst die 3D-Darstellung der Szene eine Vielzahl von Bildern von einem oder mehreren Sensoren, und die Steuerung ist ferner ausgeführt, um das 2D-Bild mit einem entsprechenden Bereich der 3D-Darstellung abzugleichen, indem ein 2D-Abgleich zwischen dem 2D-Bild und einem Bild aus der Vielzahl von Bildern durchgeführt wird. In einigen beispielhaften Ausführungsformen ist die Steuerung ferner ausgeführt, um eine Bewegungsrichtung des Objekts in der Szene zu bestimmen und das eine Bild der Vielzahl von Bildern zu bestimmen zur Verwendung in dem 2D-Abgleich aus der Bewegungsrichtung.
In einigen beispielhaften Ausführungsformen ist die Steuerung ferner ausgeführt, um die 3D-Darstellung zu optimieren durch eine oder mehrere von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenprüfung.
In einigen beispielhaften Ausführungsformen ist die Steuerung ferner ausgeführt, um den ersten Teil der 3D-Darstellung von dem zweiten Teil zu segmentieren, indem sie eine Begrenzungsbox der Teilmenge des 3D-Modells in der 3D-Darstellung bestimmt und Daten, die der Begrenzungsbox entsprechen, aus der 3D-Darstellung entfernt.
In einigen beispielhaften Ausführungsformen umfasst das 2D-Bild eine Darstellung von Markierungen auf dem Objekt, wobei die Markierungen ein oder mehrere von einem: Logo, einem gegebenen Teil des Objekts, einem merkmalsreichen Bild und einem besonderen Teil des Objekts umfassen.
In einigen beispielhaften Ausführungsformen umfasst das 3D-Modell des Objekts ein 3D-Modell eines Gabelstaplers, und die Teilmenge des 3D-Modells schließt Gabeln des Gabelstaplers aus.
Ein weiterer Aspekt der Offenbarung stellt ein computerlesbares Medium bereit, das ein Computerprogramm speichert, wobei die Ausführung des Computerprogramms eine Maschine veranlasst, Operationen durchzuführen, umfassend: Empfangen, an einer Steuerung, durch einen oder mehrere Sensoren einer dreidimensionalen (3D-)Darstellung einer Szene, die ein durch ein 3D-Modell dargestelltes Objekt umfasst; Bestimmen, an der Steuerung, einer Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleich des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; Bestimmen, an der Steuerung, eines ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die einen Abgleich des 2D-Bildes mit einem jeweiligen korrespondierenden Bereich des 3D-Modells darstellen, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert ist; und Segmentieren, an der Steuerung, des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung. In einigen beispielhaften Ausführungsformen umfasst das computerlesbare Medium ein nichtflüchtiges, computerlesbares Medium.
Während im Vorstehenden die Herausforderungen im Zusammenhang mit dem Verladen und Liefern von Paketen erläutert werden, gibt es ähnliche Herausforderungen in anderen Umgebungen und Anwendungen, die genaue und effiziente Dimensionierungen von Objekten erfordern. Beispielsweise leiden Lagerbestandvorgänge und Lagerverwaltungsvorgänge unter der Tatsache, dass Objekte nicht genau an zugewiesenen Orten platziert sind. Darüber hinaus können, während die hierin offenbarten beispielhaften Verfahren, Systeme und Vorrichtungen im Folgenden im Zusammenhang mit der Verladung von Paketen an einer Laderampe beschrieben werden, beispielhafte Verfahren, Systeme und Vorrichtungen, die hierin offenbart werden, in jedem anderen geeigneten Kontext oder in jeder anderen geeigneten Umgebung implementiert werden, wie beispielsweise in einem Lager, einer Einzelhandelseinrichtung, einem Flughafen, einem Bahnverladeplatz oder einem Schifffahrtshafen. Während im Folgenden ein Gabelstapler und Dimensionierungspakete beschrieben werden, die von einem Gabelstapler getragen werden, gelten darüber hinaus die hierin offenbarten beispielhaften Verfahren, Systeme und Vorrichtungen für zusätzliche oder alternative Objekttypen und/oder zusätzliche oder alternative Trägertypen (z. B. Container, Personen, die Objekt(e) tragen und/oder verschiedene Fahrzeugtypen).
1 zeigt eine beispielhafte Umgebung, in der die hierin offenbarten beispielhaften Verfahren, Systeme und Vorrichtungen implementiert werden können. Das Beispiel von 1 ist repräsentativ für eine Laderampe mit einem Dimensionierungssystem 100, das gemäß den Lehren dieser Offenbarung konstruiert wurde. Das beispielhafte Dimensionierungssystem 100 von 1 umfasst eine nördliche Bildgebungsstation 102-1, eine westliche Bildgebungsstation 102-2, eine südliche Bildgebungsstation 102-3 und eine östliche Bildgebungsstation 102-4. Die Bildgebungsstationen 102-1, 102-2, 102-3, 102-4 werden austauschbar im Folgenden gemeinsam als Stationen 102 und im Allgemeinen als Station 102 bezeichnet. Die Bildgebungsstationen 102 von 1 sind an einem Rahmen 110 montiert. Alternative Beispiele umfassen eine beliebige geeignete Anzahl (z. B. drei (3) oder fünf (5)) von Bildgebungsstation, die in geeigneter Weise angeordnet sind (z. B. an Wänden montiert). Die Begriffe „Nord“, „West“, „Süd“ und „Ost“ werden zur besseren Orientierung und nicht zur Einschränkung verwendet.
Jede der Stationen 102 von 1 umfasst einen entsprechenden Bildsensor 112-1, 112-2, 112-3, 112-4, der Farbdaten und Tiefendaten in einem jeweiligen Koordinatensystem erfassen kann. Die Bildsensoren 112-1, 112-2, 112-3, 112-4 werden austauschbar im Folgenden gemeinsam als Sensoren 112 und im Allgemeinen als Sensor 112 bezeichnet. In einigen beispielhaften Ausführungsformen ist beispielsweise jeder der Sensoren 112 ein RGB-D („Rot-Grün-Blau-Tiefe“) Sensor (z. B. ein Kinect®-Sensor), der für jedes Pixel in einem Koordinatensystem einen RGB-Wert und einen Tiefenwert erzeugt. In alternativen Beispielen umfasst jede der Stationen 102 einen dreidimensionalen (3D) Bildsensor, der Tiefendaten liefert, und einen separaten zweidimensionalen (2D) Bildsensor, der Farbdaten bereitstellt. In solchen Fällen ist der 2D-Bildsensor auf das Koordinatensystem des zugeordneten 3D-Bildsensors registriert oder umgekehrt, so dass die Farbdaten jedes Pixels den Tiefendaten dieses Pixels zugeordnet sind.
Jeder der Sensoren 112 von 1 ist auf einen Bildgebungsbereich 120 gerichtet. Jeder der Sensoren 112 ist geneigt (z. B. in einem Winkel von fünfundvierzig (45) Grad geneigt zu einem Boden des Bildgebungsbereichs 120. Somit erzeugt jeder der Sensoren 112 Farbdaten und Tiefendaten, die für den Bildgebungsbereich 120 repräsentativ sind.
Während ferner im System 100 von 1 vier Stationen 102 und vier Sensoren 112 dargestellt sind, umfassen andere beispielhafte Ausführungsformen mehr als vier Stationen und/oder mehr als vier Sensoren oder weniger als vier Stationen und/oder weniger als vier Sensoren. Im Allgemeinen sind die Sensoren 112 des Systems 100 jedoch ausgeführt, um gemeinsam eine 3D-Darstellung einer Szene zu erfassen, beispielsweise eine 3D-Darstellung von mindestens einem Teil des Bildgebungsbereichs 120. Wenn also ein Fahrzeug 122, das einen Gegenstand 124 trägt, in den Bildgebungsbereich 120 eintritt, erzeugen die Sensoren 112 Farbdaten und Tiefendaten, die für das Fahrzeug 122 und den Gegenstand 124 aus den jeweiligen Perspektiven repräsentativ sind, um eine 3D-Darstellung des Fahrzeugs 122 und des Gegenstands 124 zu erfassen.
Im Beispiel von 1 ist das Fahrzeug 122 ein Gabelstapler und der Gegenstand 124 ist ein Paket, das vom Dimensionierungssystem 100 zu dimensionieren ist. So kann beispielsweise das Fahrzeug 122 gerade dabei sein, den Gegenstand 124 von einem Lagerort zu einem Anhänger oder einer anderen Art von Container zu bewegen, der der in 1 dargestellten Laderampe zugeordnet ist. Im veranschaulichten Beispiel können Fahrzeuge in einer ersten Richtung 126 oder einer zweiten Richtung 128 in den Bildgebungsbereich 120 einfahren. Allerdings ist jede beliebige Anzahl von Richtungen möglich, abhängig z. B. von der umgebenden Umgebungsanordnung der Laderampe. Wie in 1 veranschaulicht, tritt das Fahrzeug 122 in den Bildgebungsbereich 120 in der ersten Richtung 126 ein, die zur westlichen Bildgebungsstation 114 hin verläuft.
In den dargestellten beispielhaften Ausführungsformen umfasst das System 100 weiterhin Sensoren 129-1, 129-2, 129-3, 129-4, die sich am Rahmen 110 in Positionen befinden, die das Erfassen einer Bewegungsrichtung des Fahrzeugs 122 unterstützen. Die Sensoren 129-1, 129-2, 129-3, 129-4 werden austauschbar im Folgenden gemeinsam als Sensoren 129 und im Allgemeinen als Sensor 129 bezeichnet. In einigen Beispielen umfasst beispielsweise jeder der Sensoren 129 einen Bewegungsdetektor und dergleichen, die in einer Höhe auf dem Rahmen 110 positioniert sind, wo eine Bewegungsrichtung des Fahrzeugs 122 erkennbar ist. Während vier Sensoren 129 im System 100 von 1 dargestellt sind, umfassen andere beispielhafte Ausführungsformen mehr als vier Sensoren zur Unterstützung bei der Erkennung einer Bewegungsrichtung oder weniger als vier Sensoren zur Erkennung einer Bewegungsrichtung. In einigen Beispielen ist das System 100 ausgeführt, um die Bewegungsrichtung des Fahrzeugs 122 mit einem oder mehreren der Sensoren 112 (z. B. mit Bildverarbeitungstechniken) zu erfassen, und dem System 100 fehlen jegliche weitere Sensoren zur Unterstützung bei der Erkennung einer Bewegungsrichtung (z. B. Sensoren 129 sind im System 100 nicht vorhanden).
Um den vom Fahrzeug 122 getragenen Gegenstand 124 effizient und genau zu dimensionieren, ohne die Bewegung des Fahrzeugs 122 zu unterbrechen und ohne dass der Gegenstand 124 vom Fahrzeug 122 physisch entfernt werden muss, umfasst das beispielhafte Dimensionierungssystem 100 von 1 ein Frachtdimensionierungssystem 130, das gemäß den Lehren dieser Offenbarung konstruiert wurde. Im veranschaulichten Beispiel von 1 ist der Frachtdimensionierer 130 auf einer Bearbeitungsplattform 132 implementiert, die an der Laderampe angeordnet ist. Wie dargestellt, umfasst die Plattform 132 einen Personalcomputer oder dergleichen, der sich an der Laderampe befindet und mit einer Anzeigevorrichtung und einer Tastatur in Verbindung steht, die Komponenten des Personalcomputers sein können und/oder in dem Personalcomputer integriert sein können.
Der hierin offenbarte beispielhafte Frachtdimensionierer 130 kann jedoch in jede geeignete Verarbeitungsplattform implementiert sein, wie beispielsweise eine Verarbeitungsplattform, die an einem entfernten Ort (z. B. einem entfernten Server), an einem oder mehreren Orten auf dem Fahrzeug 122 und/oder einer mobilen Verarbeitungsplattform angeordnet ist, die von einer dem Fahrzeug 122 oder, allgemeiner, der Laderampe zugeordneten Person getragen wird.
Die Aufmerksamkeit richtet sich als nächstes auf 2, die ein schematisches Diagramm einer beispielhaften Ausführungsform der Plattform 132 darstellt. Im Beispiel von 2 umfasst die Plattform 132 eine Steuerung 220 in Verbindung mit einem Speicher 222, der eine Anwendung 223 speichert, und eine Kommunikationsschnittstelle 224 (im Folgenden austauschbar als Schnittstelle 224 bezeichnet). In der dargestellten beispielhaften Ausführungsform ist der Frachtdimensionierer 130 eine Komponente der Steuerung 220, während in alternativen beispielhaften Ausführungsformen der Frachtdimensionierer 130 eine separate Komponente der Plattform 132 ist, oder in noch weiteren Ausführungsform ist die Steuerung 220 eine Komponente des Frachtdimensionierers 130. Während im Folgenden die Funktionalität der Plattform 132 als von der Steuerung 220 implementiert beschrieben wird, wird die Funktionalität der Plattform 132 austauschbar durch den Frachtdimensionierer 130 ausgeführt.
In einigen Beispielen umfasst die Plattform 132 alle geeigneten zusätzlichen oder alternativen Komponenten, wie z. B. eine Lagerbestands-Verfolgungsanwendung und/oder andere Datenerfassungsanwendungen und dergleichen. Im Allgemeinen ist die Plattform 132 mit den Sensoren 112 und, wenn vorhanden, den Sensoren 129 in Verbindung, beispielsweise über die Schnittstelle 224.
Wie dargestellt, speichert der Speicher 222 weiterhin: ein 3D-Modell 232 eines Objekts; ein 2D-Bild 234; und vorbestimmte Abgleichsdaten 236, die für einen Abgleich des 2D-Bildes 234 mit einem jeweiligen korrespondierenden Bereich des 3D-Modells 232 repräsentativ sind, wie im Folgenden näher beschrieben.
Die beispielhafte Steuerung 220 von 2 umfasst eine oder mehrere logische Schaltungen, die ausgeführt sind, um beispielsweise die Funktionalität der Frachtdimensionierung der Plattform 132 zu implementieren. Beispielhafte Logikschaltungen umfassen einen oder mehrere Prozessoren, einen oder mehrere Mikroprozessoren, einen oder mehrere ASIC (anwendungsspezifische integrierte Schaltungen) und ein oder mehrere FPGA (field-programmable gate arrays). Im Beispiel von 2 ist die Steuerung 220 ausgeführt, um Teile einer 3D-Darstellung einer Szene zu segmentieren, beispielsweise eine 3D-Darstellung des Bildgebungsbereichs 120. In einigen Beispielen ist die Plattform 132 keine generische Rechenvorrichtung, Plattform, die ausgeführt ist, um spezifische Funktionen zur Frachtdimensionierung zu implementieren. So kann beispielsweise die Plattform 132 und/oder die Steuerung 220 spezifisch eine computerausführbare Maschine umfassen, die für eine bestimmte Funktionalität der Frachtdimensionierung konfiguriert ist.
Der Speicher 222 von 2 ist ein maschinenlesbares Medium, das maschinenlesbare Anweisungen zur Implementierung eines oder mehrerer Programme oder Anwendungen speichert. Beispielhafte maschinenlesbare Medien umfassen eine nichtflüchtige Speichereinheit (z. B. Erasable Electronic Programmable Read Only Memory („EEPROM“), Flash Memory) und/oder eine flüchtige Speichereinheit (z. B. Random Access Memory („RAM“)). Im Beispiel von 2 werden Programmieranweisungen (z. B. maschinenlesbare Anweisungen), die die hierin beschriebenen Funktionslehren der Plattform 132 umsetzen, dauerhaft im Speicher 222 gehalten und von der Steuerung 220 verwendet, was eine Verwendung von flüchtigem Speicher während der Ausführung solcher Programmieranweisungen geeignet macht. In einigen beispielhaften Ausführungsformen ist der Speicher 222 extern zur Plattform 132. Unabhängig davon ist der Speicher 222 über einen Computerbus der Plattform 132 und/oder die Schnittstelle 224 für die Steuerung 220 zugänglich.
Der beispielhafte Speicher 222 von 2 speichert Anweisungen entsprechend der Anwendung 223, die es der Steuerung 220 bei Ausführung durch die Steuerung 220 ermöglichen, die mit der Anwendung 223 assoziierte Frachtdimensionierungs-Funktionalität zu implementieren. In dem veranschaulichten Beispiel, wenn die Steuerung 220 die Anwendung 223 ausführt, ist die Steuerung 220 konfiguriert, um: von einem oder mehreren der Sensoren 112 eine dreidimensionale (3D-)Darstellung einer Szene zu empfangen, die ein durch das 3D-Modell 232 dargestelltes Objekt umfasst; eine Ausrichtung des 2D-Bildes 234 in der 3D-Darstellung zu bestimmen, indem das 2D-Bild 234 mit einem entsprechenden Bereich der 3D-Darstellung abgeglichen wird; einen ersten Teil der 3D-Darstellung zu bestimmen, der einer Teilmenge des 3D-Modells 232 des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes 234 in der 3D-Darstellung; und den vorbestimmten Abgleichsdaten 236, die für einen Abgleich des 2D-Bildes 234 mit einem jeweiligen korrespondierenden Bereich des 3D-Modells 232 repräsentativ sind, wobei jedes des 3D-Modells 232, des 2D-Bildes 234 und der vorbestimmten Abgleichsdaten 236 in dem für die Steuerung 220 zugänglichen Speicher 222 gespeichert sind; und Segmentieren des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung. In einigen beispielhaften Ausführungsformen umfasst die Segmentierung durch die Steuerung 220 des ersten Teils der 3D-Darstellung von dem zweiten Teil der 3D-Darstellung das Entfernen des ersten Teils der 3D-Darstellung, der der Teilmenge des 3D-Modells 232 entspricht; und die Steuerung 220 ist ferner ausgeführt, um ein oder mehrere Gegenstände zu dimensionieren, die durch den zweiten Teil der 3D-Darstellung dargestellt werden, der nach dem Entfernen des ersten Teils der 3D-Darstellung, der dem 3D-Modell 232 entspricht, verbleibt.
Die beispielhafte Schnittstelle 224 von 2, die beispielsweise durch ein oder mehrere Funkvorrichtungen und/oder Stecker und/oder Netzwerkadapter implementiert ist, ist ausgeführt, um drahtgebunden und/oder drahtlos mit der Netzwerkarchitektur zu kommunizieren, die verwendet wird, um eine oder mehreren Kommunikationsverbindungen zwischen anderen Vorrichtungen und/oder einem Netzwerk zu implementieren. Beispielhafte Kommunikationsverbindungen umfassen jede geeignete Kombination von USB (Universal Serial Bus) -Kabeln, seriellen Kabeln, drahtlosen Verbindungen, Mobiltelefonverbindungen, Mobilfunknetzverbindungen (einschließlich, aber nicht beschränkt auf 2G, 2.5G, 3G, 4G+ wie UMTS (Universal Mobile Telecommunications System), GSM (Global System for Mobile Communications), CDMA (Code Division Multiple Access), FDD (Frequency Division Duplexing), LTE (Long Term Evolution), TDD (Time Division Duplexing), TDD-LTE (TDD-Long Term Evolution), TD-SCDMA (Time Division Synchronous Code Division Multiple Access) und dergleichen, drahtlose Daten, WLAN (Wireless Local Area Network) -Verbindungen, WiFi-Verbindungen, WiMax-Verbindungen, paketbasierte Verbindungen, das Internet, analoge Netzwerke, das PSTN (Public Switched Telephone Network), Zugangspunkte und dergleichen, und/oder eine Kombination.
Insbesondere ist die beispielhafte Schnittstelle 224 ausgeführt, um drahtgebunden und/oder drahtlos mit den Sensoren 112 (und, falls vorhanden, den Sensoren 129) zu kommunizieren.
Obwohl in 2 nicht explizit dargestellt, kann die beispielhafte Plattform 132 und/oder die beispielhafte Steuerung 220 weiterhin mit einer Anzeigevorrichtung und einer oder mehreren Eingabevorrichtungen, wie beispielsweise einer Tastatur, in Verbindung stehen und wird ferner durch einen oder mehrere von einem Anschluss an ein Stromnetz, eine Batterie, einem Netzteil und dergleichen mit Strom versorgt.
Die beispielhafte Plattform 132 kann zusätzliche oder alternative Komponenten umfassen, die sich beispielsweise auf Lagerwesen, Inventarisierung, Benachrichtigung, Unterhaltung und/oder andere Komponenten beziehen, die entweder mit einer festen Positionsplattform oder einer mobilen Positionsplattform verwendet werden können.
Aufmerksamkeit wird nun auf 3 gerichtet, die ein Flussdiagramm zeigt, dass ein beispielhaftes Verfahren 300 zum Segmentieren von Objekten darstellt. Die beispielhaften Operationen des beispielhaften Verfahrens 300 von 3 entsprechen maschinenlesbaren Anweisungen, die beispielsweise durch die Plattform 132 von 2, und insbesondere durch die Steuerung 220 der Plattform 132 und/oder durch den Frachtdimensionierer 130 ausgeführt werden. Im dargestellten Beispiel sind die Anweisungen, die durch die Blöcke von 3 dargestellt werden, auf dem Speicher 222 gespeichert, z. B. als Anwendung 223. Das beispielhafte Verfahren 300 von 3 ist eine Möglichkeit, wie die Plattform 132 konfiguriert sein kann. Darüber hinaus wird die folgende Diskussion des beispielhaften Verfahrens 300 aus 3 zu einem weiteren Verständnis der Plattform 132 und ihrer verschiedenen Komponenten führen. Es sei jedoch verstanden, dass die Plattform 132 und/oder das beispielhafte Verfahren 300 variiert werden können und nicht genau so zu funktionieren brauchen, wie hierin in Verbindung miteinander diskutiert, und dass solche Variationen vom Umfang der vorliegenden Ausführungsformen umfasst sind.
Das beispielhafte Verfahren 300 von 3 braucht nicht in der exakten Reihenfolge wie dargestellt durchgeführt werden, und ebenso können verschiedene Blöcke parallel ausgeführt werden, als dass sie nacheinander ausgeführt werden. Dementsprechend werden die Elemente des beispielhaften Verfahrens 300 hierin eher als „Blöcke“ als als „Schritte“ bezeichnet. Das beispielhafte Verfahren 300 von 3 kann alternativ auch auf Variationen der beispielhaften Plattform 132, der beispielhaften Steuerung 220 und/oder des beispielhaften Frachtdimensioners 130 von 2 implementiert sein.
In der folgenden Beschreibung des beispielhaften Verfahrens 300 wird weiterhin davon ausgegangen, dass dem Speicher 222 das 3D-Modell 232, das 2D-Bild 234 und die vorgegebenen Abgleichsdaten 236 bereitgestellt sind. Die Bereitstellung des Speichers 222 mit dem 3D-Modell 232, dem 2D-Bild 234 und den vorgegebenen Abgleichsdaten 236 wird im Folgenden näher beschrieben.
Bei Block 301 empfängt die Steuerung 220 von einem oder mehreren der Sensoren 112 eine 3D-Darstellung einer Szene (d. h. eine 3D-Szenendarstellung), die ein durch das 3D-Modell 232 dargestelltes Objekt (z. B. einen Gabelstapler) umfasst.
Bei Block 303 bestimmt die Steuerung 220 eine Ausrichtung des 2D-Bildes 234 (z. B. ein Bild eines Logos) in der 3D-Szenendarstellung, indem sie das 2D-Bild 234 mit einem entsprechenden Bereich der 3D-Szenendarstellung abgleicht.
Bei Block 305 bestimmt die Steuerung 220 einen ersten Teil der 3D-Szenendarstellung, der einer Teilmenge des 3D-Modells 232 des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes 234 in der 3D-Szenendarstellung; und den vorbestimmten Abgleichsdaten 236, die einen Abgleich des 2D-Bildes 234 mit einem jeweiligen korrespondierenden Bereich des 3D-Modells 232 darstellen, wobei jedes des 3D-Modells 232, des 2D-Bildes 234 und der vorbestimmten Abgleichsdaten 236 im Speicher 222 gespeichert ist, auf den die Steuerung 220 Zugriff hat.
Bei Block 307 segmentiert die Steuerung 220 den ersten Teil der 3D-Szenendarstellung von einem zweiten Teil der 3D-Szenendarstellung.
Bei Block 309 entfernt die Steuerung 220 den ersten Teil der 3D-Szenendarstellung, der der Teilmenge des 3D-Modells 232 entspricht.
Bei Block 311 ist die Steuerung 220 ferner ausgeführt, um einen oder mehrere Gegenstände zu dimensionieren, die durch den zweiten Teil der 3D-Szenendarstellung dargestellt sind, der nach dem Entfernen des ersten Teils der 3D-Szenendarstellung, der dem 3D-Modell 232 entspricht, verbleibt.
In einigen beispielhaften Ausführungsformen kann der Block 309 parallel zu und/oder in Verbindung mit Block 307 ausgeführt werden, so dass das Segmentieren des ersten Teils der 3D-Szenendarstellung vom zweiten Teil der 3D-Darstellung am Block 307 umfasst, dass die Steuerung 220 den ersten Teil der 3D-Szenendarstellung entfernt, der der Teilmenge des 3D-Modells 232 entspricht.
In einigen Ausführungsformen endet das beispielhafte Verfahren 300 auf der Plattform 132 am Block 307, und die Plattform 132 stellt einer anderen Vorrichtung und/oder Plattform, die den Rest des beispielhaften Verfahrens 300 ausführt, Zwischensegmentdaten zur Verfügung.
Das beispielhafte Verfahren 300 wird nun mit Bezug auf 4 bis 11 beschrieben.
Die Aufmerksamkeit richtet sich nun auf 4, die eine beispielhafte 3D-Darstellung 401 einer von den Sensoren 112 erfassten Szene darstellt. 4 zeigt daher ein Beispiel für den Block 301 des beispielhaften Verfahrens 300.
Insbesondere umfasst die 3D-Szenendarstellung 401 eine Datenerfassung durch die Sensoren 112, die das den Gegenstand 124 tragende Fahrzeug 122 im Bildgebungsbereich 120 darstellt. Wie dargestellt, ist das Fahrzeug 122 ein Gabelstapler und der Gegenstand 124 ist eine Vielzahl von Kästen auf den Gabeln des Gabelstaplers. Während die 3D-Szenendarstellung 401 in einer bestimmten Pose (z. B. einer gegebenen Position, eines Winkels, einer gegebenen Ausrichtung und dergleichen) dargestellt ist, umfasst die 3D-Szenendarstellung 401 Daten, die eine beliebige Oberfläche des den Gegenstand 124 tragenden Fahrzeugs 122 darstellen, die sich in einem Sichtfeld von einem der Sensoren 112 befindet. Obwohl nicht in 4 dargestellt, umfasst die 3D-Szenendarstellung 401 einen Bereich, der dem 2D-Bild 234 entspricht, wie im Folgenden näher beschrieben. Insbesondere befindet sich ein Bereich der 3D-Szenendarstellung 401, der dem 2D-Bild 234 entspricht, auf einer Rückseite des Gabelstaplers (z. B. eine Seite gegenüberliegend zum Gegenstand 124).
Darüber hinaus wird, wie im Folgenden näher beschrieben, die 3D-Szenendarstellung 401 aus einer Vielzahl von Bildern (einschließlich, aber nicht beschränkt auf, hochauflösende RGB (rot-grün-blau) -Bilder) von den Sensoren 112 erzeugt und umfasst eines oder mehrere von einer Punktwolke und einer Farbpunktwolke. Mit anderen Worten, die 3D-Szenendarstellung 401 umfasst eine Vielzahl von dreidimensionalen Punkten.
In einigen beispielhaften Ausführungsformen hat jeder Punkt in der Punktwolke einen oder mehrere Farbwert(e) (z. B. eine Farbpunktwolke). Daher umfasst die 3D-Szenendarstellung 401 in diesen beispielhaften Ausführungsformen Tiefeninformationen und Farbinformationen, einschließlich, aber nicht beschränkt auf, eine Farbtexturkarte der dargestellten Szene.
In einigen beispielhaften Ausführungsformen wird die am Block 301 empfangene 3D-Szenendarstellung 401 weiterhin einem Hintergrund-Entfernungsvorgang unterzogen, um beispielsweise Hintergrundbilder zu entfernen, die nicht Teil des Objekts sind, das durch die 3D-Szenendarstellung 401 dargestellt wird.
Die Aufmerksamkeit richtet sich nun auf 5, die eine beispielhafte visuelle Darstellung des 3D-Modells 232 eines Objekts in der 3D-Szenendarstellung 401 darstellt. Im Beispiel von 5 ist das 3D-Modell 232 ein 3D-Modell des Gabelstaplers in der 3D-Szenendarstellung 401, das unter streng kontrollierten Bedingungen vor der Erfassung der 3D-Szenendarstellung erzeugt wird.
Wie bei der 3D-Szenendarstellung 401 umfasst das 3D-Modell 232 in einigen beispielhaften Ausführungsformen Tiefeninformationen und Farbinformationen. Daher umfasst das 3D-Modell 232 in diesen beispielhaften Ausführungsformen Tiefeninformationen und Farbinformationen, einschließlich, aber nicht beschränkt auf, eine Farbtexturkarte des dargestellten Objekts.
Das 3D-Modell 232 umfasst eine erste Teilmenge 542, die einem Körper des Gabelstaplers entspricht, und eine zweite Teilmenge 550, die den Gabeln des Gabelstaplers entspricht. In einigen beispielhaften Ausführungsformen wird das 3D-Modell 232 mit den Sensoren (z. B. den Sensoren 112 von 1 oder anderen Sensoren) auf einer ähnliche Weise erzeugt, wie beim Erhalten der der 3D-Szenendarstellung 401 (z. B. wird der Gabelstapler ohne Tragen von Gegenständen abgebildet) aus Bildern (einschließlich, aber nicht beschränkt auf hochauflösende RGB-Bilder), die von den Sensoren erzeugt werden. Insbesondere wird das 3D-Modell 232 basierend auf Daten erzeugt, die unter streng kontrollierten Bedingungen (z. B. ist der Gabelstapler stationär und unter bevorzugten Lichtverhältnissen) unter Verwendung von hochauflösendem Equipment erfasst werden. Solche Ausführungsformen werden im Folgenden in Bezug auf 12 und 13 beschrieben.
In anderen beispielhaften Ausführungsformen wird das 3D-Modell 232 aus einer CAD-Zeichnung (Computer Aided Design) und/oder einem Modell des Gabelstaplers erzeugt, wie von einem Hersteller bereitgestellt und/oder mit einer CAD-Anwendung erzeugt. Unabhängig davon, wie das 3D-Modell 232 erzeugt wird, wird in der vorliegenden Offenbarung davon ausgegangen, dass das Fahrzeug 122 in der 3D-Szenendarstellung 401 durch das 3D-Modell 232 repräsentiert wird. Darüber hinaus werden in einigen beispielhaften Ausführungsformen die Teilmengen 542, 550 des 3D-Modells 232 vom Hersteller und/oder mit einer CAD-Anwendung als die Teilmengen 542, 550 geparst und/oder bezeichnet.
In einigen beispielhaften Ausführungsformen schließt das 3D-Modell 232 die zweite Teilmenge 550 aus und das 3D-Modell 232 definiert somit den Körper des Gabelstaplers.
In einigen beispielhaften Ausführungsformen umfasst das 3D-Modell 232 eine oder mehrere einer Punktwolke, Farbdaten, die der Punktwolke zugeordnet sind, und einer Farbpunktwolke, die eine Farbtexturkarte aufweist, jedoch nicht darauf beschränkt ist.
Obwohl in 5 nicht dargestellt, umfasst das 3D-Modell 232 einen Bereich, der dem 2D-Bild 234 entspricht, wie im Folgenden näher beschrieben. Insbesondere befindet sich ein Bereich des 3D-Modells 232, der dem 2D-Bild 234 entspricht, auf einer Rückseite des Gabelstaplers (z. B. eine Seite gegenüber den Gabeln), wie zumindest in 8 und 9 dargestellt, wie nachfolgend beschrieben.
Die Aufmerksamkeit richtet sich nun auf 6, die eine beispielhafte visuelle Darstellung des 2D-Bildes 234 darstellt, die einem Bereich sowohl im 3D-Modell 232 als auch in der 3D-Szenendarstellung 401 entspricht. Insbesondere entspricht das 2D-Bild 234 einem Bereich des 3D-Modells 232 und, die 3D-Szenendarstellung umfasst das durch das 3D-Modell 232 dargestellte Objekt, die 3D-Szenendarstellung 401, die sowohl innerhalb des 3D-Modells 232 als auch der 3D-Szenendarstellung 401 einzigartig ist. So wird beispielsweise ein Bereich des 3D-Modells 232, der von der Steuerung 220 und/oder dem Frachtdimensionierer 130 in der 3D-Darstellung 401 leicht identifizierbar ist, als 2D-Bild 234 ausgewählt.
Im Beispiel von 6 ist das 2D-Bild 234 repräsentativ für ein Logo, das am Gabelstapler sowohl des 3D-Modells 232 als auch der 3D-Szenendarstellung 401 vorhanden ist. Insbesondere ist das beispielhafte 2D-Bild 234 von 6 ein farbiges 2D-Bild des Logos. Das 2D-Bild 234 kann jedoch anderen Bereich(en) des 3D-Modells 232 entsprechen, die keinem Logo entsprechen, sofern der Bereich merkmalsreich und einzigartig im 3D-Modell 232 ist. Mit anderen Worten entspricht das 2D-Bild 234 einem Bereich im 3D-Modell 232, der nicht verwechselbar ist (z. B. durch die Steuerung 220 und/oder den Frachtdimensionierer 130) und/oder einzigartig im Vergleich zu anderen Bereichen des 3D-Modells 232 ist. Darüber hinaus wird das 2D-Bild 234 als ein Bereich des Fahrzeugs 122 ausgewählt, der für die Sensoren 112 sichtbar ist, wenn das Fahrzeug 122 (z. B. der Gabelstapler) den Gegenstand 124 trägt. Daher ist das 2D-Bild 234 eine Darstellung von Markierung(en) auf einem Objekt im 3D-Modell 232. In einigen Ausführungsformen bezieht sich der Begriff „merkmalsreich“ auf eine Vielzahl von Merkmalen, die sich auf dem Objekt befinden und die den zugehörigen Bereich des Objekts von anderen Bereichen des Objekts unterscheidbar und/oder einzigartig machen.
In einigen beispielhaften Ausführungsformen wird das 2D-Bild 234 aus einer CAD-Zeichnung erzeugt, während in anderen beispielhaften Ausführungsformen das 2D-Bild 234 mit einem Sensor (z. B. den Sensoren 112 von 1) und/oder einer Digitalkamera und/oder dergleichen erzeugt wird, beispielsweise durch Verwendung eines Sensors und/oder der Digitalkamera, um ein Bild eines Teils des Fahrzeugs 122 aufzunehmen, auf dem sich das Logo befindet.
In einigen beispielhaften Ausführungsformen wird das 2D-Bild 234 alternativ als „Vorgänger“ und/oder „Bildvorgänger“ bezeichnet.
Darüber hinaus umfasst das 2D-Bild 234 in einigen beispielhaften Ausführungsformen ein Farbbild und/oder eine 2D-Farbtexturkarte.
Die Aufmerksamkeit richtet sich nun auf 7, die eine visuelle Darstellung einer Bestimmung der Abgleichsdaten 236 aus 2 ist. Im Beispiel von 7 sind das 2D-Bild 234 und das 3D-Modell 232 dargestellt. Insbesondere wird das 3D-Modell 232 in einer Pose dargestellt, in der ein Bereich 734 sichtbar ist (z. B. eine Rückseite eines Gabelstaplers), der Daten entsprechend dem 2D-Bild 234 enthält. Darüber hinaus schließt das in 7 dargestellte 3D-Modell 232 in einigen beispielhaften Ausführungsformen die Gabeln des Gabelstaplers aus. Unter Verwendung von Bildverarbeitungstechniken vergleicht die Steuerung 220 das 2D-Bild 234 mit dem 3D-Modell 232 und bestimmt Entsprechungen und/oder Übereinstimmungen zwischen dem 2D-Bild 234 und dem 3D-Modell 232. Solche Entsprechungen und/oder Übereinstimmungen werden in 7 durch Linien zwischen Merkmalen im 2D-Bild 234 und entsprechenden Merkmalen im Bereich 734 visuell dargestellt. Tatsächlich werden solche Korrespondenzen und/oder Übereinstimmungen als die vorgegebenen Abgleichsdaten 236 gespeichert, die für eine Übereinstimmung des 2D-Bildes 234 mit dem jeweiligen entsprechenden Bereich 734 des 3D-Modells 232 repräsentativ sind.
In beispielhaften Ausführungsformen erfolgt die Bestimmung der Entsprechungen und/oder Übereinstimmungen zwischen dem 2D-Bild 234 und dem 3D-Modell 232 unter Verwendung von texturgesteuertem 3D-Bildabgleich, z. B. durch Abgleich von Teilen des 2D-Bildes 234 mit entsprechenden Teilen des 3D-Modells 232 unter Verwendung von Farbe, Buchstabenformen und/oder Logoformen.
Die Bestimmung der Entsprechungen und/oder Übereinstimmungen wird hierin austauschbar als Merkmalsabgleich bezeichnet, was in einigen beispielhaften Ausführungsformen unter Verwendung der jeweiligen Farbtexturkarten von jedem des 2D-Bildes 234 und des 3D-Modells 232 erfolgt.
Im Beispiel von 7 ist der durch das 3D-Modell 232 dargestellte Gabelstapler auf seiner Seite dargestellt; jedoch ist jede Pose des 3D-Modells 232 in 7 möglich.
Jedes des 3D-Modells 232, des 2D-Bildes 234 und der vorgegebenen Abgleichdaten 236 werden auf dem Speicher 222 gespeichert, bevor die 3D-Szenendarstellung 401 aufgenommen wird. Das heißt, das 3D-Modell 232, das 2D-Bild 234 und die vorgegebenen Abgleichdaten 236 werden zu einem Zeitpunkt vor der Erfassung der 3D-Szenendarstellung 401 erzeugt.
Die Aufmerksamkeit richtet sich nun auf 8, die eine visuelle Darstellung des Blocks 303 des beispielhaften Verfahrens 300 darstellt. Im Beispiel von 8 sind das 2D-Bild 234 und die 3D-Szenendarstellung 401 dargestellt. Insbesondere wird die 3D-Szenendarstellung 401 in einer Pose dargestellt, in der ein Bereich 834 sichtbar ist (z. B. eine Rückseite eines Gabelstaplers), der Daten entsprechend dem 2D-Bild 234 enthält. Die Steuerung 220 führt einen Merkmalsabgleich durch, um das 2D-Bild 234 mit der 3D-Szenendarstellung 401 zu vergleichen, und bestimmt die Entsprechungen und/oder Übereinstimmungen zwischen dem 2D-Bild 234 und der 3D-Szenendarstellung 401. Solche Entsprechungen und/oder Übereinstimmungen werden in 8 durch Linien zwischen Merkmalen im 2D-Bild 234 und entsprechenden Merkmalen im Bereich 834 visuell dargestellt. Insbesondere stellen die Linien zwischen den Merkmalen im 2D-Bild 234 und den entsprechenden Merkmalen im Bereich 834 eine Ausrichtung des 2D-Bildes 234 in der 3D-Szenendarstellung 401 dar, die durch Abgleichen des 2D-Bildes 234 mit einem entsprechenden Bereich (z. B. dem Bereich 834) der 3D-Szenendarstellung 401 bestimmt wird.
In einigen beispielhaften Ausführungsformen erfolgt die Bestimmung der Entsprechungen und/oder Übereinstimmungen zwischen dem 2D-Bild 234 und der 3D-Szenendarstellung 401 unter Verwendung von texturgesteuertem 3D-Bildabgleich, z. B. durch Abgleich von Teilen des 2D-Bildes 234 mit entsprechenden Teilen der 3D-Szenendarstellung 401 unter Verwendung von Farbe, Buchstabenformen und/oder Logoformen. Insbesondere umfasst das Bestimmen der Ausrichtung 836 des 2D-Bildes 234 in der 3D-Szenendarstellung 401 in einigen beispielhaften Ausführungsformen einen 3D-Punktwolken-Merkmalsabgleich, einen Farb-Merkmalsabgleich und/oder einen Farbtexturkarten-Merkmalsabgleich, beispielsweise zwischen dem 2D-Bild 234 und der Punktwolke der 3D-Szenendarstellung 401.
Während 8 ferner einige Entsprechungen (z. B. Linien) zwischen dem 2D-Bild 234 und Bereichen der 3D-Szenendarstellung 401 außerhalb des Bereichs 834 darstellt, werden solche Entsprechungen unter Verwendung von Filterung (z. B. Näherungsvergleiche mit einem oder mehreren Entfernungsgrenzwerten) ignoriert und/oder gefiltert, um Ausreißer zu beseitigen.
Wie vorstehend beschrieben, umfasst die 3D-Szenendarstellung 401 in einigen beispielhaften Ausführungsformen Daten aus einer Vielzahl von Bildern, die von den Sensoren 112 erzeugt werden. Daher umfasst in einigen dieser Ausführungsformen der Abgleich des 2D-Bildes 234 mit einem entsprechenden Bereich der 3D-Szenendarstellung 401 das Durchführen eines 2D-Abgleichs zwischen dem 2D-Bild 234 und einem Bild aus der Vielzahl der von den Sensoren 112 empfangenen Bilder. Ein solcher 2D-Abgleich kann schneller sein und mit weniger Verarbeitungsressourcen erfolgen als das Vergleichen des 2D-Bildes 234 mit der Gesamtheit der 3D-Szenendarstellung 401. Ein solcher 2D-Abgleich wird in Bezug auf 15 ausführlich beschrieben.
Die Auswahl eines Bildes von den Sensoren 112 zum Vergleich mit dem 2D-Bild 234 umfasst beispielsweise das Bestimmen einer Bewegungsrichtung des Objekts in der Szene (z. B. des Fahrzeugs 122 und/oder des Gabelstaplers, beispielsweise unter Verwendung von Daten von Sensoren 129) und das Bestimmen eines Bildes aus der Vielzahl von Bildern zur Verwendung im 2D-Abgleich basierend auf der Bewegungsrichtung. In einigen dieser Ausführungsformen ist die Steuerung 220 und/oder der Frachtdimensionierer 130 mit einer erwarteten Position des Bereichs 834, wie beispielsweise einer Rückseite eines Gabelstaplers, vorkonfiguriert, so dass beim Bestimmen einer Bewegungsrichtung des Fahrzeugs 122 ein Bild von den Sensoren 112 zum Vergleich mit dem 2D-Bild 234 ausgewählt wird, das wahrscheinlich den Bereich 834 umfasst. Wenn beispielsweise unter Bezugnahme auf 1 eine Bewegungsrichtung als die erste Richtung 126 bestimmt wird, wird ein Bild von den Sensoren 112 ausgewählt, das wahrscheinlich eine Rückseite des Fahrzeugs 122 umfasst (z. B. ein Bild von dem Sensor 112-4, das aufgenommen wird, wenn sich das Fahrzeug 122 innerhalb des Bildgebungsbereichs 120 befindet). In diesen Beispielen wird die erwartete Position des Bereichs 834 im Allgemeinen der Steuerung 220 und/oder dem Frachtdimensionierer 130 bereitgestellt, beispielsweise in Geometriedaten und/oder Koordinatendaten, die dem 3D-Modell 232 zugeordnet sind und/oder von einem zu abzubildenden Objekt und/oder Fahrzeug.
Die Aufmerksamkeit richtet sich nun auf 9, die eine visuelle Darstellung des Blocks 305 des beispielhaften Verfahrens 300 darstellt. Im Beispiel von 9 werden das 3D-Modell 232 und die 3D-Szenendarstellung 401 sowie die Bereiche 734, 834 und 834 dargestellt, die dem 2D-Bild 234 entsprechen. Wenn die Ausrichtung wird 836 des 2D-Bildes 234 in der 3D-Szenendarstellung 401 bestimmt ist (z. B. für den Bereich 834), und wenn die vorbestimmten Abgleichsdaten 236 repräsentativ für einen Abgleich des 2D-Bildes 234 mit einem entsprechenden Bereich 734 des 3D-Modells 232 sind, bestimmt die Steuerung 220 (und/oder der Frachtdimensionierer 130) kommutativ einen ersten Bereich der 3D-Szenendarstellung 401, der einer Teilmenge des 3D-Modells 232 des Objekts entspricht, und führt eine solche Bestimmung durch insbesondere aus: der Ausrichtung 836 des 2D-Bildes 234 in der 3D-Szenendarstellung 401 und den vorbestimmten Abgleichsdaten 236.
Wie bei der Bestimmung der Ausrichtung 836 des 2D-Bildes 234 in der 3D-Szenendarstellung 401, umfasst das Bestimmen des Teils der 3D-Szenendarstellung 401, der einer Teilmenge des 3D-Modells 232 des Objekts entspricht (z. B. in der 3D-Darstellung 401), in einigen beispielhaften Ausführungsformen, jedoch nicht beschränkt darauf: einen 3D-Punktwolken-Merkmalsabgleich, einen Farb-Merkmalsabgleich und/oder einen Farbtexturkarten-Merkmalsabgleich.
Mit anderen Worten bestimmt am Block 305 die Steuerung 220 eine Position und/oder Ausrichtung des Bereichs 834 in der 3D-Darstellung 401 und passt den entsprechenden Bereich 734 des 3D-Modells 232 an den Bereich 834 an, der wiederum das 3D-Modell 232 in Bezug auf die 3D-Szenendarstellung 401 ausrichtet. Somit ist ein erster Teil der 3D-Szenendarstellung 401 an mindestens einer Teilmenge des 3D-Modells 232 angepasst. Insbesondere stellen Linien zwischen dem Bereich 734 und dem Bereich 834 im Beispiel von 9 eine bestimmte Entsprechung 936 zwischen den Merkmalen in jedem der Bereiche 734, 834 dar.
Mit dieser Entsprechung wird das 3D-Modell 232 in die 3D-Szenendarstellung 401 transformiert (z. B. unter Verwendung einer Transformationsmatrix). Das 3D-Modell 232 ist eine sauberere (z. B. weniger verrauschte) Darstellung des Fahrzeugs 122 als die Daten der von den Sensoren 112 in Echtzeit erfassten 3D-Szenendarstellung. Die Transformation des 3D-Modells 232 in die 3D-Szenendarstellung 401 in korrekter Anpassung mit den entsprechenden Daten der 3D-Szenendarstellung 401 ermöglicht somit, dass Bildverarbeitungsoperationen (z. B. Erzeugen einer Begrenzungsbox um das Fahrzeug 122) mit sauberen, hochauflösenden Daten durchgeführt werden können. Mit anderen Worten, unter Verwendung der Entsprechungsinformationen, die durch die Identifizierung des 2D-Bildes 234 im 3D-Modell 232 und die 3D-Szenendarstellung 401 bereitgestellt werden, wird das 3D-Modell 234 in die Szene importiert, so dass die hochauflösenden Daten des 3D-Modells 232 zur Darstellung des Fahrzeugs 122 verwendet werden können, anstatt der verrauschten Informationen, die von den Sensoren 112 in Echtzeit unter nicht-idealen Bedingungen erzeugt werden. In einigen Beispielen umfasst die Transformation des 3D-Modells 232 in die 3D-Szenendarstellung 401 eine oder mehrere von einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenprüfung. Während die vorliegenden Beispiele die spezifischen Optimierungstechniken der 3D-Hough-Transformation, des Geometriekonsistenz-Clustering, der Verfeinerung durch iterative Nächster-Punkt-Registrierung und der 3D-Hypothesenprüfung umfassen, kann jede Optimierungstechnik, die die Genauigkeit der Anpassung und/oder Ausrichtung des 3D-Modells 232 in der 3D-Szenendarstellung erhöht, verwendet werden.
In einigen Ausführungsformen, wenn das 3D-Modell 232 ein 3D-Modell eines Gabelstaplers umfasst, wird die Teilmenge des 3D-Modells 232, die die Gabeln des Gabelstaplers ausschließt, in der Anpassung verwendet. Alternativ schließt das im Beispiel von 9 verwendete 3D-Modell 232 die Gabeln des Gabelstaplers aus. In Bezug auf 5 wird daher in einigen beispielhaften Ausführungsformen die erste Teilmenge 542 in der Anpassung verwendet, nicht aber die zweite Teilmenge 550. Mit Bezug zu 4 sind die Gabeln des Gabelstaplers (z. B. das Fahrzeug 122) in der 3D-Szenendarstellung 401 aufgrund der Anwesenheit des Gegenstandes 124 im Allgemeinen nicht sichtbar.
Die Aufmerksamkeit richtet sich nun auf 10, die eine beispielhafte Ausführungsform des Blocks 307 des beispielhaften Verfahrens 300 darstellt. In 10 wird ein erster Teil 1042 der 3D-Szenendarstellung 401 von einem zweiten Teil 1050 der 3D-Szenendarstellung 401 segmentiert. Der erste Teil 1042 entspricht der ersten Teilmenge 542 des 3D-Modells 232, der in der 3D-Szenendarstellung 401 bei Block 305 des beispielhaften Verfahrens 300 positioniert (z. B. in diese transformiert) ist, und der zweite Teil 1050 ist der verbleibende Teil der 3D-Szenendarstellung 401, der den zu dimensionierenden Gegenstand 124 umfasst.
In 10 ist auch eine Begrenzungsbox 1060 dargestellt, die den ersten Teil 1042 enthält. Die Begrenzungsbox 1060 wird aus den Dimensionen des Fahrzeugs 122 (z. B. des Gabelstaplers) gemäß dem 3D-Modell 232 bestimmt, welche in diesen Ausführungsformen vor dem Bestimmen der Begrenzungsbox 1060 an der Steuerung 220 bereitgestellt und/oder empfangen werden. In solchen Ausführungsformen, um die Rechenzeit und den Ressourcenverbrauch an der Steuerung 220 zu reduzieren, umfasst die Segmentierung des ersten Teils 1042 der 3D-Szenendarstellung 401 von dem zweiten Teil 1050 das Bestimmen der Begrenzungsbox 1060 unter Verwendung der ersten Teilmenge 542 des 3D-Modells 232, wie sie in der 3D-Szenendarstellung 401 positioniert ist, und das Entfernen von Daten, die beispielsweise der Begrenzungsbox 1060 entsprechen (beispielsweise darin positioniert sind), aus der 3D-Szenendarstellung 401. Mit anderen Worten, die Begrenzungsbox 1060 in der 3D-Szenendarstellung 401 positioniert und Punkte darin werden entfernt, wodurch der zweite Teil 1050 ausgelassen wird.
Während jeder des ersten Teils 1042 und des zweiten Teils 1050 in 10 umrissen dargestellt ist, sei verstanden, dass mindestens der zweite Teil 1050 ein gleiches Format wie die 3D-Szenendarstellung 401 und insbesondere eine oder mehrere von Punktwolken-Farbdaten, die der Punktwolke zugeordnet sind, und eine Farbpunktwolke umfasst.
Die Aufmerksamkeit richtet sich nun auf 11, die eine visuelle Darstellung des Blocks 309 des beispielhaften Verfahrens 300 darstellt, bei dem der erste Teil 1042 aus der 3D-Szenendarstellung 401 entfernt wurde. Insbesondere stellt 11 den zweiten Teil 1050 dar, der eine Darstellung des Gegenstandes 124 umfasst. Wie dargestellt, umfasst der durch den zweiten Teil 1050 dargestellte Gegenstand 124 drei Boxen, die sich auf einer Palette befinden. Jede der drei Boxen wird bei Block 311 des beispielhaften Verfahrens 300 dimensioniert. Insbesondere dimensioniert die Steuerung 220 (und/oder der Frachtdimensionierer 130) einen oder mehrere Gegenstände, die durch den zweiten Teil 1050 der 3D-Szenendarstellung 401 dargestellt werden, der verbleibt, nachdem der erste Teil 1042 der 3D-Szenendarstellung 401, der dem 3D-Modell 232 entspricht, entfernt wird. Eine solche Dimensionierung erfolgt unter Verwendung einer geeigneten Dimensionierungstechnik, einschließlich, aber nicht beschränkt auf, orientierte Begrenzungsboxtechniken (oriented bounding box techniques) oder 3D-Belegungsrasterabbildung (occupancy grid mapping).
In einigen beispielhaften Ausführungsformen übermittelt die Steuerung 220 und/oder der Frachtdimensionierer 130 Daten an eine oder mehrere Anzeigevorrichtungen, um die Dimensionen der durch den zweiten Teil 1050 dargestellten Gegenstände wiederzugeben.
Aufmerksamkeit wird nun auf 12 gerichtet, die ein Flussdiagramm darstellt, das ein beispielhaftes Verfahren 1200 zum Erzeugen eines 3D-Modells eines Objekts darstellt. Die beispielhaften Operationen des beispielhaften Verfahrens 1200 von 12 entsprechen maschinenlesbaren Anweisungen, die beispielsweise durch die Plattform 132 von 2, und insbesondere durch die Steuerung 220 der Plattform 132 und/oder durch den Frachtdimensionierer 130 ausgeführt werden. Im dargestellten Beispiel werden die durch die Blöcke von 12 dargestellten Anweisungen auf dem Speicher 222 gespeichert, z. B. als die Anwendung 223 und/oder als ein Modul der Anwendung 223 und/oder als separate Anwendung. Das beispielhafte Verfahren 1200 von 12 ist eine Möglichkeit, wie die Plattform 132 konfiguriert werden kann. Darüber hinaus wird die folgende Diskussion des beispielhaften Verfahrens 1200 aus 12 zu einem weiteren Verständnis der Plattform 132 und ihrer verschiedenen Komponenten führen. Es sei jedoch verstanden, dass die Plattform 132 und/oder das beispielhafte Verfahren 1200 variiert werden kann und nicht genau so zu funktionieren braucht, wie hierin in Verbindung miteinander diskutiert, und dass solche Variationen vom Umfang der vorliegenden Ausführungsformen umfasst sind.
Das beispielhafte Verfahren 1200 von 12 braucht nicht in der exakten Reihenfolge wie dargestellt durchgeführt werden, und ebenso können verschiedene Blöcke vielmehr parallel als nacheinander ausgeführt werden. Dementsprechend werden die Gegenstände des beispielhaften Verfahrens 1200 hierin eher als „Blöcke“ als als „Schritte“ bezeichnet. Das beispielhafte Verfahren 1200 von 12 kann alternativ auch auf Variationen der beispielhaften Plattform 132, der beispielhaften Steuerung 220 und/oder des beispielhaften Frachtdimensionierers 130 von 2 implementiert werden.
Darüber hinaus wird im beispielhaften Verfahren 1200 davon ausgegangen, dass einer oder mehrere der Sensoren 112 zur Abbildung des Fahrzeugs 122 verwendet werden, um das 3D-Modell 232 zu erzeugen.
In den vorliegenden beispielhaften Ausführungsformen wird weiterhin davon ausgegangen, dass die Steuerung 220 mit einem strukturierten Lichtscanner in Verbindung steht, beispielsweise einem Projektor, der ausgeführt ist, um strukturiertes Licht auf ein Objekt zu projizieren, einschließlich, aber nicht beschränkt auf das Fahrzeug 122. Ein solches strukturiertes Licht kann, ist aber nicht darauf beschränkt, ein Schachbrettmuster umfassen.
Bei Block 1201 scannt die Steuerung 220 das Objekt mit dem strukturierten Licht, beispielsweise durch Steuern des strukturierten Lichtscanners, um strukturiertes Licht auf das Objekt zu projizieren. Darüber hinaus erfolgt das Scannen des Objekts mit dem strukturierten Licht bei einer Vielzahl von Posen, z. B. einer physischen Position des Objekts relativ zu einem das Objekt scannenden Sensor und dem strukturierten Lichtscanner, der das strukturierte Licht projiziert. Im Allgemeinen wird jede Pose durch Posedaten dargestellt, die diese Geometrien definieren. Im Allgemeinen wird davon ausgegangen, dass die Posedaten bekannt sind und/oder bestimmt werden und daher austauschbar als Pose-Vorgängerdaten bezeichnet werden können. In einigen beispielhaften Ausführungsformen wird das Objekt beispielsweise in einer Vielzahl von Posen mit einer Vielzahl von Sensoren 112 unter Verwendung eines oder mehrerer strukturierter Lichtscanner gescannt (und/oder ein strukturierter Lichtscanner wird an bestimmten Positionen um das Objekt herum bewegt). In anderen Ausführungsformen wird das Objekt in Bezug auf einen einzelnen Sensor 112 und einen einzelnen strukturierten Lichtscanner gedreht, und/oder der einzelne Sensor 112 und der einzelne strukturierte Lichtscanner werden um das Objekt gedreht.
Darüber hinaus umfasst jeder Scan des Objekts bei Block 301 in jeder Pose ein partielles 3D-Modell des Objekts in der gegebenen Pose, wobei jedes partielle 3D-Modell eine Punktwolke und/oder eine Farbpunktwolke umfasst.
Unabhängig von der physischen Konfiguration, wie das Objekt gescannt wird, empfängt die Steuerung bei Block 1203 die mit den Posedaten korrelierten partiellen 3D-Modelle. Es wird weiterhin davon ausgegangen, dass sich die partiellen 3D-Modelle zumindest teilweise überlappen, so dass die partiellen 3D-Modelle in das 3D-Modell 232 des Objekts kombinierbar sind.
Bei Block 1205 empfängt die Steuerung 220 die Geometrie des Objekts, z. B. 3D-Dimensionen des Objekts. In einigen dieser Ausführungsformen umfasst die Geometrie des Objekts eine Länge, eine Breite und eine Höhe des Objekts, ohne Rücksicht auf Details von Merkmalen des Objekts (z. B. eine längste Länge von vorne nach hinten, eine breiteste Breite von Seite zu Seite und eine höchste Höhe von oben nach unten). In einigen beispielhaften Ausführungsformen wird die Geometrie des Objekts verwendet, um eine Begrenzungsbox des 3D-Modells 232 zu bestimmen. Darüber hinaus definiert in einigen dieser Ausführungsformen, wenn das Objekt (und/oder das Fahrzeug 122) einen Gabelstapler definiert, die Geometrie des Objekts eine Geometrie, die die Gabeln des Gabelstaplers ausschließt, um das 3D-Modell 232 zu vereinfachen. In einigen Ausführungsformen umfasst die Geometrie des Objekts eine Position eines Bereichs, der dem 2D-Bild 234 entspricht.
Bei Block 1207 führt die Steuerung 220 eine paarweise Anpassung der partiellen 3D-Modelle durch. In einigen dieser Ausführungsformen führt die Steuerung 220 auch eine Optimierung vor, während und/oder nach der paarweisen Anpassung durch, wobei die Optimierung umfasst, aber nicht beschränkt ist auf eine oder mehrere von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenprüfung.
So vergleicht die Steuerung 220 beispielsweise bei Block 1207 die partiellen 3D-Modelle, um Paare von Punkten in jeder entsprechenden Punktwolke zu bestimmen, die aneinander angepasst sind und/oder einander entsprechen. Diese Anpassung und/oder Entsprechung braucht keine exakte Anpassung und/oder Entsprechung sein; vielmehr umfasst diese Anpassung und/oder Entsprechung das Bestimmen von Punkten in jedem der partiellen 3D-Modelle, die aneinandergrenzen und/oder sich gegenseitig überlappen, um sie in dem 3D-Modell 232 zu kombinieren. Die jeweiligen Posedaten werden verwendet, um die relativen Positionen jedes der partiellen 3D-Modelle zueinander zu bestimmen, wenn die paarweise Anpassung durchgeführt wird.
In einigen beispielhaften Ausführungsformen führt die Steuerung 220 bei Block 1209 eine 3D-Vereinfachung und Neufärbung der Ausgabe aus dem Block 1207 durch; z. B. bei Block 1209 werden überschüssige Punkte und/oder Ausreißer entfernt, und die Farbe wird in den kombinierten Bereichen der partiellen 3D-Modelle normiert (z. B. um Farbunterschiede zwischen den partiellen 3D-Modellen zu berücksichtigen, die bei Beleuchtungsunterschieden des Objekts während des Scannens des Blocks 1201 und/oder aufgrund von Unterschieden in der Farberkennung durch die Sensoren 112 beim Scannen des Blocks 1201 auftreten können).
Bei Block 1211 wird das 3D-Modell 232 ausgegeben, z. B. durch Speichern des 3D-Modells auf dem Speicher 222, wie in 2 dargestellt.
Die Aufmerksamkeit richtet sich nun auf 13, die eine beispielhafte schematische Ausführungsform von mindestens einem Teil des beispielhaften Verfahrens 1200 darstellt. Insbesondere zeigt 13 eine Vielzahl von Bildern 1319, die jeweils einem partiellen 3D-Modell entsprechen, das am Block 1201 des Verfahrens 1200 aufgenommen wurde. Beispielsweise umfasst jedes der Bilder 1319 ein abgeflachtes 2D-Bild und ein entsprechendes partielles 3D-Modell. Darüber hinaus ist jedes der Bilder 1319 mit den jeweiligen Posedaten 1320 verknüpft, die eine Pose definieren, in der das zugehörige partielle 3D-Modell aufgenommen wurde. Wie dargestellt, umfasst jedes der abgeflachten 2D-Bilder1319 eine andere Ansicht eines Gabelstaplers. Darüber hinaus werden die zugehörigen partiellen 3D-Modelle zu dem 3D-Modell 232 zusammengefasst. Wie dargestellt, umfasst das 3D-Modell 232 nur die erste Teilmenge 542 und schließt damit die Gabeln des Gabelstaplers aus. Tatsächlich wird in einigen beispielhaften Ausführungsformen die Geometrie des am Block 1205 empfangenen Objekts verwendet, um die Gabeln des Gabelstaplers aus dem 3D-Modell 232 auszuschließen, wie vorstehend beschrieben.
Außerdem wird bei einem oder mehreren der Blöcke 1201, 1203, 1207, 1209 ein Hintergrund entfernt.
Im Allgemeinen umfasst das resultierende beispielhafte 3D-Modell 232, das in 13 dargestellt ist, ein hochauflösendes 3D-Modell zusammen mit einer Farbtexturkarte eines Gabelstaplers, der aus Mehrfachansicht-Scans unter Verwendung des strukturierten Lichtscanners konstruiert wurde.
In einigen beispielhaften Ausführungsformen umfasst das beispielhafte Verfahren 1200 ferner das Bestimmen der 2D-Abgleichsdaten 236, beispielsweise an einem der Blöcke 1203, 1207, 1209, 1211 und/oder an einem separaten Block. Beispielsweise wird der in 7 dargestellte Prozess an der Ausgabe des 3D-Modells 232 am Block 1211 und/oder an jedem anderen Block durchgeführt, bei dem ein Abgleich des 2D-Modells 232 mit den partiellen 3D-Modellen (dargestellt durch die Bilder 1319) und dergleichen erfolgen kann.
In weiteren Ausführungsformen umfassen die 2D-Abgleichsdaten 236 einen 2D-Abgleich zwischen Merkmalen im 2D-Bild 234 und einem der Bilder 1319 (z. B. das einen Bereich umfasst, der dem 2D-Bild 234 entspricht), welcher weiter auf die Punktwolke des 3D-Modells 232 angeglichen ist.
Aufmerksamkeit wird nun auf 14 gerichtet, die ein Flussdiagramm zeigt, das ein beispielhaftes Verfahren 1400 zum Segmentieren von Objekten darstellt. Die beispielhaften Operationen des beispielhaften Verfahrens 1400 von 14 entsprechen maschinenlesbaren Anweisungen, die beispielsweise durch die Plattform 132 von 2, und insbesondere durch die Steuerung 220 der Plattform 132 und/oder durch den Frachtdimensionierer 130 ausgeführt werden. Im dargestellten Beispiel werden die Anweisungen, die durch die Blöcke von 14 dargestellt werden, auf dem Speicher 222 gespeichert, z. B. als Anwendung 223. Das beispielhafte Verfahren 1400 von 14 ist eine Möglichkeit, wie die Plattform 132 konfiguriert werden kann. Darüber hinaus wird die folgende Diskussion des beispielhaften Verfahrens 1400 aus 14 zu einem weiteren Verständnis der Plattform 132 und ihrer verschiedenen Komponenten führen. Es sei jedoch verstanden, dass die Plattform 132 und/oder das beispielhafte Verfahren 1400 variiert werden kann und nicht genau so zu funktionieren braucht, wie hierin in Verbindung miteinander diskutiert, und dass solche Variationen vom Umfang der vorliegenden Ausführungsformen umfasst sind.
Das beispielhafte Verfahren 1400 von 14 braucht nicht in der exakten Reihenfolge wie dargestellt durchgeführt werden, und ebenso können verschiedene Blöcke vielmehr parallel als nacheinander ausgeführt werden. Dementsprechend werden die Elemente des beispielhaften Verfahrens 1400 hierin eher als „Blöcke“ als als „Schritte“ bezeichnet. Das beispielhafte Verfahren 1400 von 14 kann alternativ auch auf Variationen der beispielhaften Plattform 132, der beispielhaften Steuerung 220 und/oder des beispielhaften Frachtdimensioners 130 von 2 implementiert werden.
Darüber hinaus wird im beispielhaften Verfahren 1400 davon ausgegangen, dass es dem Verfahren 300 mit ähnlichen Blöcken mit gleichen Zahlen ähnlich ist, jedoch in einer „1400“-Serie und nicht in einer „300“-Serie; somit ist beispielsweise der Block 1401 des beispielhaften Verfahrens 1400 dem Block 301 des beispielhaften Verfahrens 300 ähnlich.
Bei Block 1401 erfasst die Steuerung 220 eine Punktwolke, ähnlich der 3D-Darstellung 401, die bei Block 301 erfasst wird. Darüber hinaus führt die Steuerung 220 bei Block 1401 eine Hintergrund-Entfernung durch, um Merkmale zu entfernen, die nicht dem Objekt zugeordnet sind, das durch die Punktwolke dargestellt wird. In einigen beispielhaften Ausführungsformen wird die Punktwolke in einem ähnlichen Prozess erfasst, wie er in Bezug auf 12 und 13 beschrieben ist, unter Verwendung der Sensoren 112 und, wenn sich das Objekt im Bildgebungsbereich 120 befindet.
Bei Block 1402 extrahiert die Steuerung 220 eine Einzelansicht-Punktwolke aus der am Block 1401 erfassten Punktwolke. So entspricht beispielsweise die Einzelansicht-Punktwolke den Daten eines der Sensoren 112, mit denen die Punktwolke bei Block 1401 erzeugt wurde. Es wird angenommen, dass die bei Block 1402 extrahierte Einzelansicht-Punktwolke einen Bereich umfasst, der dem 2D-Bild 234 entspricht. In einigen beispielhaften Ausführungsformen wird die Einzelansicht-Punktwolke basierend auf den am Block 1203 des beispielhaften Verfahrens 1200 aufgenommenen partiellen 3D-Modellen extrahiert. So wird beispielsweise in einigen dieser Ausführungsformen beim Generieren des 3D-Modells 232 nach dem beispielhaften Verfahren 1200 eine Pose bestimmt, in der ein Bereich, der dem 2D-Bild 234 entspricht, für einen Sensor 112 sichtbar ist, und eine dieser Pose entsprechende Einzelansicht-Punktwolke wird aus der am Block 1401 aufgenommenen Punktwolke extrahiert. Darüber hinaus erfolgt in einigen Beispielen das Extrahieren der Einzelansicht-Punktwolke in Verbindung mit dem Bestimmen der Bewegungsrichtung eines Objekts, das durch die am Block 1401 aufgenommene Punktwolke repräsentiert wird, wie vorstehend beschrieben.
Bei Block 1403 führt die Steuerung 220 einen vorgängerbasierten texturgesteuerten 3D-Abgleich durch, um beispielsweise eine Ausrichtung des 2D-Bildes 234 in der 3D-Szenendarstellung 401 zu bestimmen, ähnlich dem Block 303 des beispielhaften Verfahrens 300. Beim Block 1403 findet jedoch der vorgängerbasierte texturgesteuerte 3D-Abgleich zwischen dem 2D-Bild 234 und der beim Block 1402 extrahierten Einzelansicht-Punktwolke statt.
Insbesondere bei einigen beispielhaften Ausführungsformen beim Block 1403 fasst die Steuerung 220 die am Block 1403 extrahierte Einzelansicht-Punktwolke in eine 2D-Darstellung zusammen (z. B. ähnlich einem der Bilder 1319) und führt einen 2D-Abgleich zwischen dem 2D-Bild 234 und der 2D-Darstellung durch, um die Merkmale dazwischen abzugleichen.
Bei Block 1405 passt die Steuerung 220 das 3D-Modell 232 an die Punktwolke an, z. B. mit dem vorgängerbasierten texturgesteuerten 3D-Abgleich des Blocks 1403 und den vorbestimmten Abgleichsdaten 236. In einigen beispielhaften Ausführungsformen umfasst der Block 1405 die Verwendung einer Transformationsmatrix, um das 3D-Modell 232 in die Punktwolke zu transformieren, beispielsweise um das 3D-Modell auf die Punktwolke auszurichten. Beispielsweise werden der vorgängerbasierte texturgesteuerte 3D-Abgleich des Blocks 1403 und die vorbestimmten Abgleichsdaten 236 verwendet, um eine Transformationsmatrix zu erzeugen, die zur Durchführung der Anpassung verwendet wird.
In einigen beispielhaften Ausführungsformen führt die Steuerung 220 die Anpassung durch, indem sie zunächst einen 2D-Abgleich zwischen einem Teil des 3D-Modells 232 und der 2D-Darstellung durchführt, die aus der oben beschriebenen zusammengefassten Einzelansicht-Punktwolke erzeugt wird. Beispielsweise wird eines der Bilder 1319 verwendet, um eine 2D-Anpassung durchzuführen, welche anschließend verwendet wird, um eine 3D-Anpassung zwischen dem 3D-Modell 232 und der am Block 1401 aufgenommenen Punktwolke zu erzeugen.
Bei Block 1406-1 führt die Steuerung 220 eine Verfeinerung durch iterative Nächster-Punkt-Registrierung (ICP) durch, um die Anpassung des 3D-Modells 232 auf die Punktwolke weiter zu verfeinern. Bei Block 1406-2 schätzt die Steuerung 220 wie oben beschrieben die Begrenzungsbox 1060 ab.
Bei Block 1407 führt die Steuerung 220 eine Segmentierung unter Verwendung der Ausgabe aus der ICP-Verfeinerung des Blocks 1406-1 durch, ähnlich der Segmentierung des Blocks 307, wie in 10 dargestellt. Bei Block 1408 gibt die Steuerung 220 eine segmentierte Punktwolke aus, ähnlich der in 11 dargestellten, die anschließend dimensioniert wird.
In der Beschreibung des beispielhaften Verfahrens 1400 wurde die Anpassung zwischen dem 2D-Bild 234 und dem 3D-Modell 232 sowie die Anpassung zwischen dem 2D-Bild 234 und der 3D-Szenendarstellung 401 zumindest teilweise in Bezug auf ein 2D-Anpassungschema beschrieben. Ein solches 2D-Anpassungschema wird in Bezug auf 15 beschrieben, das ein Flussdiagramm zeigt, das ein beispielhaftes Verfahren 1500 zum Segmentieren von Objekten darstellt. Die beispielhaften Operationen des beispielhaften Verfahrens 1500 von 15 entsprechen maschinenlesbaren Anweisungen, die beispielsweise von der Plattform 132 von 2, insbesondere von der Steuerung 220 der Plattform 132 und/oder vom Frachtdimensionierer 130 ausgeführt werden. Im dargestellten Beispiel werden die Anweisungen, die durch die Blöcke von 15 dargestellt werden, auf dem Speicher 222 gespeichert, z. B. als Anwendung 223. Das beispielhafte Verfahren 1500 von 15 ist eine Möglichkeit, wie die Plattform 132 konfiguriert werden kann. Darüber hinaus wird die folgende Diskussion des beispielhaften Verfahrens 1500 aus 15 zu einem weiteren Verständnis der Plattform 132 und ihrer verschiedenen Komponenten führen. Es sei jedoch verstanden, dass die Plattform 132 und/oder das beispielhafte Verfahren 1500 variiert werden kann und nicht genau so funktionieren muss, wie hierin in Verbindung miteinander diskutiert, und dass solche Variationen vom Umfang der vorliegenden Ausführungsfirmen umfasst sind.
Das beispielhafte Verfahren 1500 von 15 muss nicht in der exakten Reihenfolge wie dargestellt durchgeführt werden, und ebenso können verschiedene Blöcke vielmehr parallel als nacheinander ausgeführt werden. Dementsprechend werden die Elemente des beispielhaften Verfahrens 1500 hierin eher als „Blöcke“ als „Schritte“ bezeichnet. Das beispielhafte Verfahren 1500 von 15 kann alternativ auch auf Variationen der beispielhaften Plattform 132, der beispielhaften Steuerung 220 und/oder des beispielhaften Frachtdimensioners 130 von 2 implementiert werden.
Bei Block 1501 extrahiert die Steuerung ein partielles 2D-Modell aus dem 3D-Modell 232, z. B. durch Auswählen eines der am Block 1203 des beispielhaften Verfahrens 1200 empfangenen partiellen 3D-Modelle und Zusammenfassen des ausgewählten partiellen 3D-Modells in ein partielles 2D-Modell, wie beispielsweise ein in 13 dargestelltes Bild 1319. Die Extraktion des partiellen 2D-Modells wird eine oder mehrere von: iterativ in Verbindung mit dem nachfolgend beschriebenen Block 1503 durchgeführt; und basierend auf einer Geometrie des durch das 3D-Modell 232 dargestellten Objekts durchgeführt, die eine Position eines Bereichs anzeigt, der einen dem 2D-Bild 234 entsprechenden Bereich umfasst.
Bei Block 1503 gleich die Steuerung 220 das am Block 1501 extrahierte partielle 2D-Modell mit dem 2D-Bild 234 unter Verwendung der zuvor beschriebenen Merkmals-Abgleichstechniken ab. In einigen beispielhaften Ausführungsformen, auch am Block 1503, erzeugt die Steuerung 220 die vorgegebenen Abgleichsdaten 236 und speichert die vorgegebenen Abgleichsdaten 236 im Speicher 222. Daher werden die Blöcke 1501, 1503 in der Regel nicht „live“, sondern vor der Abbildung eines Objekts (z. B. des Fahrzeugs 122, das den Gegenstand 124 trägt) mit den Sensoren 112 durchgeführt.
Beim Block 1505 extrahiert die Steuerung 220 aus der 3D-Darstellung 401 eine partielle 2D-Darstellung, wobei angenommen wird, dass der Block 301 des beispielhaften Verfahrens 300 durchgeführt wurde. Der Block 1505 wird ähnlich wie der Block 1501 durchgeführt. Alternativ wird der Block 1505 durch Bestimmen einer Bewegungsrichtung durchgeführt, wie vorstehend beschrieben.
Bei dem Block 1507 gleicht die Steuerung 220 die am Block 1505 extrahierte partielle 2D-Darstellung mit dem 2D-Bild 234 unter Verwendung der zuvor beschriebenen Markmals-Abgleichstechniken ab.
Am Block 1509 führt die Steuerung 220 eine 2D-Korrespondenz zwischen dem partiellen 2D-Modell und der partiellen 2D-Darstellung basierend auf den Blöcken 1503, 1507 durch. Daher wird die Anpassung des 2D-Bildes 234 mit jedem des partiellen 2D-Modells und der partiellen 2D-Darstellung verwendet, um Merkmale in den entsprechenden Bereichen jedes des partiellen 2D-Modells und der partiellen 2D-Darstellung, die dem 2D-Bild 234 entsprechen, anzupassen. Die Anpassung des 3D-Modells 232 an die 3D-Darstellung 401 ist jedoch noch nicht erfolgt.
Daher führt die Steuerung 220 bei Block 1511 eine 3D-Korrespondenz zwischen den 2D-Merkmalen des am Block 1509 angepassten partiellen 2D-Modells und dem 3D-Modell 232 durch. So bestimmt beispielsweise die Steuerung 220, wo sich die angepassten 2D-Merkmale des Blocks 1509 im 3D-Modell 232 befinden.
Ebenso führt die Steuerung 220 bei Block 1513 eine 3D-Korrespondenz zwischen den 2D-Merkmalen der am Block 1509 angepassten partiellen 2D-Darstellung und der 3D-Darstellung 401 durch. So bestimmt beispielsweise die Steuerung 220, wo sich die angepassten 2D-Merkmale des Blocks 1509 in der 3D-Darstellung 401 befinden.
Die an jedem der Blöcke 1511, 1513 bestimmten Korrespondenzen werden von der Steuerung 220 an Block 1515 verwendet, um eine 3D-Korrespondenz zwischen dem 3D-Modell 232 und der 3D-Darstellung 401 durchzuführen. Die Blöcke 1505 bis 1515 stellen somit eine bestimmte beispielhafte Ausführungsform der Blöcke 303, 305 des beispielhaften Verfahrens 300 und/oder eine bestimmte beispielhafte Ausführungsform der Blöcke 1401 bis 1405 des beispielhaften Verfahrens 1400 dar.
Bei Block 1517 optimiert die Steuerung 220 die Kombination des an die 3D-Darstellung 401 angepassten 3D-Modells 232, z. B. unter Verwendung eines oder mehrerer von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenüberprüfung und/oder jeder anderen Optimierungstechnik.
Bei Block 1519 führt die Steuerung 220 die Segmentierung, wie oben in Bezug auf die Blöcke 307, 1407, und 10 und 11 beschrieben, durch.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Offenbarung zu verlassen, wie sie in den Ansprüchen wiedergegeben ist. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten eines Nutzens, eines Vorteils, oder einer Lösung führen oder diese verstärken können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen.
In diesem Dokument kann die Sprache von „mindestens einem von X, Y und Z“ und „einem oder mehreren von X, Y und Z“ als nur X, nur Y, nur Z oder eine Kombination von zwei oder mehr Elementen X, Y und Z (z. B. XYZ, XY, XZ, YZ und dergleichen) ausgelegt werden. Eine ähnliche Logik kann für zwei oder mehrere Elemente bei jedem Auftreten einer „mindestens einer...“ und „einer oder mehreren...“ -Sprache angewendet werden.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisen“, „enthält“, „enthalten“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.
Die obige Beschreibung bezieht sich auf Blockschaltbilder der zugehörigen Zeichnungen. Alternative Ausführungsformen der in den Blockdiagrammen dargestellten Beispiele umfassen ein oder mehrere zusätzliche oder alternative Elemente, Prozesse und/oder Vorrichtungen. Zusätzlich oder alternativ kann einer oder mehrere der beispielhaften Blöcke der Diagramme kombiniert, geteilt, neu angeordnet oder weggelassen werden. Die durch die Blöcke der Diagramme dargestellten Komponenten werden durch Hardware, Software, Firmware und/oder eine beliebige Kombination aus Hardware, Software und/oder Firmware implementiert. In einigen Beispielen wird mindestens eine der durch die Blöcke dargestellten Komponenten durch eine Logikschaltung implementiert. Wie hierin verwendet, ist der Begriff „Logikschaltung“ ausdrücklich definiert als eine physikalische Vorrichtung, die mindestens eine Hardwarekomponente umfasst, die konfiguriert ist (z. B. durch Betrieb gemäß einer vorbestimmten Konfiguration und/oder durch Ausführen gespeicherter maschinenlesbarer Anweisungen), um eine oder mehrere Maschinen zu steuern und/oder Operationen an einer oder mehreren Maschinen durchzuführen. Beispiele für eine Logikschaltung können einen oder mehrere Prozessoren, einen oder mehrere Koprozessoren, einen oder mehrere Mikroprozessoren, eine oder mehrere Steuerungen, einen oder mehrere digitale Signalprozessoren (DSPs), eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs), einen oder mehrere feldprogrammierbare Gate-Arrays (FPGAs), eine oder mehrere Mikrocontroller-Einheiten (MCUs), einen oder mehrere Hardwarebeschleuniger, einen oder mehrere spezielle Computerchips und ein oder mehrere System-on-a-Chip (SoC)-Geräte umfassen. Einige beispielhafte Logikschaltungen, wie ASICs oder FPGAs, sind speziell konfigurierte Hardware zur Durchführung von Operationen (z. B. eine oder mehrere der Operationen, die durch die Flussdiagramme dieser Offenbarung dargestellt werden). Einige beispielhafte Logikschaltungen sind Hardware, die maschinenlesbare Anweisungen zur Ausführung von Operationen (z. B. eine oder mehrere der Operationen, die durch die Flussdiagramme dieser Offenbarung dargestellt werden) ausführt. Einige beispielhafte Logikschaltungen umfassen eine Kombination aus speziell konfigurierter Hardware und Hardware, die maschinenlesbare Anweisungen ausführt.
Die obige Beschreibung bezieht sich auf Flussdiagramme der zugehörigen Zeichnungen. Die Flussdiagramme sind repräsentativ für die hierin offenbarten beispielhaften Verfahren. In einigen Beispielen implementieren die durch die Flussdiagramme dargestellten Verfahren die durch die Blockdiagramme dargestellte Vorrichtung. Alternative Ausführungsformen von hierin offenbarten beispielhaften Verfahren können zusätzliche oder alternative Operationen umfassen. Darüber hinaus können Operationen alternativer Ausführungsformen der hierin offenbarten Verfahren kombiniert, geteilt, neu angeordnet oder weggelassen werden. In einigen Beispielen werden die durch die Flussdiagramme dargestellten Operationen durch maschinenlesbare Anweisungen (z. B. Software und/oder Firmware) implementiert, die auf einem Medium (z. B. einem zugreifbaren maschinenlesbaren Medium) gespeichert sind, um von einer oder mehreren Logikschaltungen (z. B. Prozessor(en)) ausgeführt zu werden. In einigen Beispielen werden die durch die Flussdiagramme dargestellten Operationen durch eine oder mehrere Konfigurationen einer oder mehrerer speziell entwickelter Logikschaltungen (z. B. ASIC(s)) implementiert. In einigen Beispielen werden die Operationen der Flussdiagramme durch eine Kombination aus speziell entwickelten Logikschaltung(en) und maschinenlesbaren Anweisungen, die auf einem Medium (z. B. einem zugreifbaren maschinenlesbaren Medium) gespeichert sind, zur Ausführung durch die Logikschaltung(en) implementiert.
Wie hierin verwendet, ist jeder der Begriffe „zugreifbares maschinenlesbares Medium“, „nichtflüchtiges maschinenlesbares Medium“ und „maschinenlesbares Speichermedium“ ausdrücklich als Speichermedium definiert (z. B. Platte einer Festplatte, eine Digital Versatile Disc, eine Compact Disc, ein Flash-Speicher, ein Nur-Lese-Speicher (read-only memory), Direktzugriffsspeicher (random-access memory) usw.), auf dem maschinenlesbare Anweisungen (z. B. Programmcode in Form von z. B. Software und/oder Firmware) gespeichert werden können. Darüber hinaus ist, wie hierin verwendet, jeder der Begriffe „zugreifbares maschinenlesbares Medium“, „nichtflüchtiges maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ ausdrücklich definiert, indem sich ausbreitende Signale ausgeschlossen sind. Das heißt, wie in irgendeinem Anspruch dieses Patents verwendet, kann keiner der Begriffe „zugreifbares maschinenlesbares Medium“, „nicht-flüchtiges maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ gelesen werden, um durch ein sich ausbreitendes Signal implementiert zu werden.
Wie hierin verwendet, ist jeder der Begriffe „zugreifbares maschinenlesbares Medium“, „nicht-flüchtiges maschinenlesbares Medium“ und „maschinenlesbares Speichermedium“ ausdrücklich als Speichermedium definiert, auf dem maschinenlesbare Anweisungen für einen geeigneten Zeitraum gespeichert werden (z. B....., dauerhaft, für einen längeren Zeitraum (z. B. während der Ausführung eines den maschinenlesbaren Anweisungen zugeordneten Programms) und/oder für einen kurzen Zeitraum (z. B. während der Zwischenspeicherung der maschinenlesbaren Anweisungen und/oder während eines Pufferungsprozesses)).
Obwohl bestimmte beispielhafte Vorrichtungen, Verfahren und Herstellungserzeugnisse hierin offenbart wurden, ist der Schutzumfang dieses Patents nicht darauf beschränkt. Im Gegenteil, dieses Patent umfasst alle Vorrichtungen, Verfahren und Herstellungserzeugnisse, die in den Schutzumfang der Ansprüche dieses Patents fallen.

Claims

Verfahren, umfassend: Empfangen, an einer Steuerung, von einem oder mehreren Sensoren, einer dreidimensionalen (3D-)Darstellung einer Szene, die ein Objekt umfasst, das durch ein 3D-Modell dargestellt ist; Bestimmen, an der Steuerung, einer Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleichen des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; Bestimmen, an der Steuerung, eines ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen entsprechenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert sind; und Segmentieren, an der Steuerung, des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung.
Verfahren nach Anspruch 1, wobei das Segmentieren des ersten Teils der 3D-Darstellung vom zweiten Teil der 3D-Darstellung ein Entfernen des ersten Teils der 3D-Darstellung umfasst, der der Teilmenge des 3D-Modells entspricht.
Verfahren nach Anspruch 2, ferner umfassend Dimensionieren eines oder mehrerer Gegenstände, die durch den zweiten Teil der 3D-Darstellung dargestellt sind, der nach dem Entfernen des ersten Teils der 3D-Darstellung, der dem 3D-Modell entspricht, verbleibt.
Verfahren nach Anspruch 1, wobei die 3D-Darstellung der Szene eine oder mehrere von einer Punktwolke, Farbdaten, die der Punktwolke zugeordnet sind, und einer Farbpunktwolke umfasst.
Verfahren nach Anspruch 1, wobei jedes des Bestimmens der Ausrichtung des 2D-Bildes in der 3D-Darstellung und des Bestimmens des ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, eine 3D-Punktwolken-Merkmalsanpassung und eine Farbmerkmalsanpassung umfasst.
Verfahren nach Anspruch 1, wobei die 3D-Darstellung der Szene eine Vielzahl von Bildern von einem oder mehreren Sensoren umfasst, und der Abgleich des 2D-Bildes mit einen entsprechenden Bereich der 3D-Darstellung ein Durchführen eines 2D-Abgleichs zwischen dem 2D-Bild und einem Bild der Vielzahl von Bildern umfasst.
Verfahren nach Anspruch 6, ferner umfassend Bestimmen einer Bewegungsrichtung des Objekts in der Szene und Bestimmen des einen Bildes der Vielzahl von Bildern zur Verwendung in dem 2D-Abgleich aus der Bewegungsrichtung.
Verfahren nach Anspruch 1, ferner umfassend Optimieren der 3D-Darstellung durch eine oder mehrere von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenprüfung.
Verfahren nach Anspruch 1, wobei das Segmentieren des ersten Teil der 3D-Darstellung von dem zweiten Teil ein Bestimmen einer Begrenzungsbox der Teilmenge des 3D-Modells in der 3D-Darstellung und ein Entfernen von Daten, die der Begrenzungsbox entsprechen, aus der 3D-Darstellung umfasst.
Verfahren nach Anspruch 1, wobei das 2D-Bild eine Darstellung von Markierungen auf dem Objekt umfasst, wobei die Markierungen ein oder mehrere von einem Logo, einem gegebenen Teil des Objekts, einem merkmalsreichen Bild und einem besonderen Abschnitt des Objekts umfassen.
Verfahren nach Anspruch 1, wobei das 3D-Modell des Objekts ein 3D-Modell eines Gabelstaplers umfasst und die Teilmenge des 3D-Modells Gabeln des Gabelstaplers ausschließt.
Vorrichtung, umfassend: eine Steuerung und eine Kommunikationsschnittstelle, wobei die Steuerung konfiguriert ist zum: Empfangen, unter Verwendung der Kommunikationsschnittstelle, von einem oder mehreren Sensoren, einer dreidimensionalen (3D-)Darstellung einer Szene, die ein durch ein 3D-Modell dargestelltes Objekt umfasst; Bestimmen einer Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleichen des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; Bestimmen eines ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen entsprechenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert sind; und Segmentieren des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung.
Vorrichtung nach Anspruch 12, wobei die Steuerung ferner ausgeführt ist, um den ersten Teil der 3D-Darstellung vom zweiten Teil der 3D-Darstellung zu segmentieren, indem der erste Teil der 3D-Darstellung entfernt wird, der der Teilmenge des 3D-Modells entspricht.
Vorrichtung nach Anspruch 13, wobei die Steuerung ferner ausgeführt ist, um ein oder mehrere Elemente zu dimensionieren, die durch den zweiten Teil der 3D-Darstellung dargestellt werden, der nach dem Entfernen des ersten Teils der 3D-Darstellung, der dem 3D-Modell entspricht, verbleibt.
Vorrichtung nach Anspruch 12, wobei jedes des Bestimmens der Ausrichtung des 2D-Bildes in der 3D-Darstellung und des Bestimmens des ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, umfasst: einen 3D-Punktwolken-Merkmlasabgleich und einen Farbmerkmalsabgleich.
Vorrichtung nach Anspruch 12, wobei die 3D-Darstellung der Szene eine Vielzahl von Bildern von einem oder mehreren Sensoren umfasst, und die Steuerung ferner ausgeführt ist, um das 2D-Bild mit einem entsprechenden Bereich der 3D-Darstellung durch Ausführen eines 2D-Abgleichs zwischen dem 2D-Bild und einem Bild aus der Vielzahl von Bildern abzugleichen.
Vorrichtung nach Anspruch 16, wobei die Steuerung ferner ausgeführt ist, um eine Bewegungsrichtung des Objekts in der Szene zu bestimmen und das eine Bild der Vielzahl von Bildern zu bestimmen zur Verwendung in dem 2D-Abgleich aus der Bewegungsrichtung.
Vorrichtung nach Anspruch 12, wobei die Steuerung ferner ausgeführt ist, um die 3D-Darstellung durch eine oder mehrere von: einer 3D-Hough-Transformation, einem Geometriekonsistenz-Clustering, einer Verfeinerung durch iterative Nächster-Punkt-Registrierung und einer 3D-Hypothesenprüfung zu optimieren.
Vorrichtung nach Anspruch 12, wobei Steuerung ist ferner ausgeführt ist, um den ersten Teil der 3D-Darstellung vom zweiten Teil zu segmentieren, indem eine Begrenzungsbox der Teilmenge des 3D-Modells in der 3D-Darstellung bestimmt wird und Daten, die der Begrenzungsbox entsprechen, aus der 3D-Darstellung entfernt werden.
Nichtflüchtiges, computerlesbares Medium, das ein Computerprogramm speichert, wobei die Ausführung des Computerprogramms eine Maschine dazu veranlasst, Operationen auszuführen, die Folgendes umfassen: Empfangen, an einer Steuerung, von einem oder mehreren Sensoren, einer dreidimensionalen (3D-)Darstellung einer Szene, die ein Objekt umfasst, das durch ein 3D-Modell dargestellt ist; Bestimmen, an der Steuerung, einer Ausrichtung eines 2D-Bildes in der 3D-Darstellung durch Abgleichen des 2D-Bildes mit einem entsprechenden Bereich der 3D-Darstellung; Bestimmen, an der Steuerung, eines ersten Teils der 3D-Darstellung, der einer Teilmenge des 3D-Modells des Objekts entspricht, aus: der Ausrichtung des 2D-Bildes in der 3D-Darstellung; und vorbestimmten Abgleichsdaten, die für einen Abgleich des 2D-Bildes mit einem jeweiligen entsprechenden Bereich des 3D-Modells repräsentativ sind, wobei jedes des 3D-Modells, des 2D-Bildes und der vorbestimmten Abgleichsdaten in einem für die Steuerung zugänglichen Speicher gespeichert sind; und Segmentieren, an der Steuerung, des ersten Teils der 3D-Darstellung von einem zweiten Teil der 3D-Darstellung.