DE102022108505A1

DE102022108505A1 - Objekterfassung durch ein neuronales netz

Info

Publication number: DE102022108505A1
Application number: DE102022108505.8A
Authority: DE
Inventors: Shubham Shrivastava; Punarjay Chakravarty; Gaurav Pandey
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-04-07
Filing date: 2022-04-07
Publication date: 2022-10-13
Also published as: US20220335647A1; US11710254B2

Abstract

Eine erste Pose in sechs Freiheitsgraden (DoF) eines Objekts wird aus einer Perspektive eines ersten Bildsensors mit einem neuronalen Netz bestimmt. Eine zweite Sechs-DoF-Pose des Objekts wird aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz bestimmt. Ein Posenversatz zwischen der ersten und der zweiten Sechs-DoF-Pose wird bestimmt. Ein erster Projektionsversatz wird für einen ersten zweidimensionalen (2D) Begrenzungsrahmen bestimmt, der anhand der ersten Sechs-DoF-Pose generiert wird. Ein zweiter Projektionsversatz wird für einen zweiten 2D-Begrenzungsrahmen bestimmt, der anhand der zweiten Sechs-DoF-Pose generiert wird. Ein Gesamtversatz wird durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes bestimmt. Parameter einer Verlustfunktion werden auf Grundlage des Gesamtversatzes aktualisiert. Die aktualisierten Parameter werden dem neuronalen Netz bereitgestellt, um einen aktualisierten Gesamtversatz zu erlangen.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft Systeme und Verfahren zur Objekterfassung durch ein neuronales Netz.
ALLGEMEINER STAND DER TECHNIK
Ein Fahrzeug kann mit elektronischen und elektromechanischen Komponenten, z. B. Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen usw., ausgestattet sein. Ein Fahrzeugcomputer kann Daten bezüglich der Umgebung des Fahrzeugs aufnehmen und kann das Fahrzeug oder zumindest einige Komponenten davon auf Grundlage der aufgenommenen Daten betreiben. Fahrzeugsensoren können Daten bezüglich zurückzulegender Routen und zu umfahrender Objekte in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann sich auf ein Aufnehmen genauer und aktueller Daten bezüglich Objekten in einer Umgebung des Fahrzeugs während des Betreibens des Fahrzeugs stützen.
KURZDARSTELLUNG
Ein Fahrzeugcomputer in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der Umgebung um das Fahrzeug aufzunehmen und die Daten dazu zu verwenden, einen Weg zu bestimmen, auf dem das Fahrzeug in einem autonomen oder teilautonomen Modus betrieben werden soll. Ein Fahrzeug kann auf Grundlage des Wegs auf einer Fahrbahn betrieben werden, indem Befehle bestimmt werden, um Antriebsstrang-, Brems- und Lenkkomponenten des Fahrzeugs zum Betreiben des Fahrzeugs zu steuern, sodass das Fahrzeug entlang des Wegs fährt. Die Daten bezüglich der Umgebung können den Standort von einem oder mehreren Objekten, wie etwa Fahrzeugen und Fußgängern usw., in der Umgebung um das Fahrzeug herum beinhalten und können durch den Fahrzeugcomputer zum Betreiben des Fahrzeugs verwendet werden.
Das Bestimmen eines Wegs kann Durchführen einer dreidimensionalen (3D) Objekterfassung beinhalten. Das heißt, der Fahrzeugcomputer erfasst Objekte im 3D-Raum um das Fahrzeug herum über Sensordaten. Typischerweise erfasst der Fahrzeugcomputer ein Objekt über Sensordaten von einer Vielzahl von Sensoren, z. B. Lidar, Radar, Kameras usw. Der Fahrzeugcomputer fusioniert dann die verschiedenen Formen von Sensordaten, um eine Pose des Objekts in sechs Freiheitsgraden (Degree-of-Freedom - DoF) im Verhältnis zu dem Fahrzeug zu bestimmen. Sechs Freiheitsgrade bezieht sich auf die Bewegungsfreiheit eines Objekts im dreidimensionalen Raum (z. B. Parallelverschiebung entlang dreier senkrechter Achsen und Drehung um jede der drei senkrechten Achsen). Mit einer Sechs-DoF-Pose eines Objekts sind eine Lage im Verhältnis zu einem Koordinatensystem (z. B. einem Satz von Koordinaten, der eine Position in dem Koordinatensystem spezifiziert, z. B. X-, Y-, Z-Koordinaten) und eine Orientierung (z. B. ein Gieren, ein Nicken und ein Rollen) um jede Achse in dem Koordinatensystem gemeint. Jedoch erfordert das Bestimmen der Sechs-DoF-Pose des Objekts auf Grundlage einer Datenfusion, d. h. Integrieren von Daten von verschiedenen Sensoren und/oder Arten von Sensoren in ein gemeinsames Koordinatensystem eines Referenzrahmens, eine Zeitsynchronisation und eine präzise Kalibrierung der Sensoren. Ferner erfordert die 3D-Objekterfassung auf Grundlage von Sensordaten eine manuelle Datenannotation, d. h. Bereitstellen von Beschriftungen, die Objekte innerhalb der Daten angeben, was arbeitsintensiv ist.
Vorteilhafterweise kann ein neuronales Netz dazu trainiert werden, ein monokulares Bild, d. h. eine zweidimensionale (2D) Darstellung des 3D-Raums, von einem Bildsensor anzunehmen und eine Ausgabe einer Sechs-DoF-Pose eines in dem Bild beinhalteten Objekts zu generieren. Hier offenbarte Techniken können das neuronale Netz unter Verwendung von Bildern trainieren, die von zwei Bildsensoren bereitgestellt werden, die unterschiedliche Perspektiven eines Objekts bereitstellen. Das neuronale Netz gibt eine jeweilige Sechs-DoF-Pose des Objekts aus der Perspektive des entsprechenden Bildsensors aus. Ein Posenversatz (wie nachstehend erörtert) wird zwischen jeweiligen 3D-Begrenzungsrahmen (wie nachstehend erörtert) bestimmt, die auf Grundlage entsprechender Sechs-DoF-Posen generiert werden. Ferner werden Projektionsversätze zwischen jeweiligen 2D-Projektionen (wie nachstehend erörtert) bestimmt, die auf Grundlage des entsprechenden 3D-Begrenzungsrahmens und eines 2D-Ground-Truth-Begrenzungsrahmens generiert werden. Der Posenversatz und die Projektionsversätze werden kombiniert und verwendet, um Parameter einer Verlustfunktion für das neuronale Netz zu aktualisieren. Die aktualisierten Parameter werden verwendet, um das neuronale Netz dazu zu trainieren, eine aktualisierte Sechs-DoF-Pose des Objekts auszugeben. Hier offenbarte Techniken verbessern die 3D-Objekterfassung durch Bestimmen einer Sechs-DoF-Pose eines Objekts anhand eines monokularen Bildes ohne Datenannotation oder Datenfusion, wodurch Rechenressourcen verringert werden können, die erforderlich sind, um Objekte im 3D-Raum um das Fahrzeug herum zu erfassen.
Ein System beinhaltet einen ersten Bildsensor, der derart positioniert ist, dass er ein erstes Bild eines Objekts erlangt. Ein zweiter Bildsensor ist derart positioniert, dass er ein zweites Bild des Objekts erlangt. Ein Computer beinhaltet einen Prozessor und einen Speicher, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um das erste Bild in ein neuronales Netz einzugeben, das eine erste Sechs-DoF-Pose des Objekts aus einer Perspektive des ersten Bildsensors ausgibt. Die Anweisungen beinhalten ferner Anweisungen zum Eingeben des zweiten Bildes in das neuronale Netz, das eine zweite Sechs-DoF-Pose des Objekts aus einer Perspektive des zweiten Bildsensors ausgibt. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen 3D-Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt werden. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes. Die Anweisungen beinhalten ferner Anweisungen zum Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Die Anweisungen zum Bestimmen des Posenversatzes können ferner Anweisungen zum Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors auf Grundlage der ersten Sechs-DoF-Pose und erster Abmessungen beinhalten. Die Anweisungen zum Bestimmen des Posenversatzes können ferner Anweisungen zum Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors auf Grundlage der zweiten Sechs-DoF-Pose und zweiter Abmessungen beinhalten. Die Anweisungen zum Bestimmen des Posenversatzes können ferner Anweisungen zum Vergleichen des ersten 3D-Begrenzungsrahmens mit dem zweiten 3D-Begrenzungsrahmen beinhalten.
Die Anweisungen zum Bestimmen des Posenversatzes können ferner Anweisungen zum Transformieren des zweiten 3D-Begrenzungsrahmens auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors beinhalten.
Der transformierte 3D-Begrenzungsrahmen kann in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt werden, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Der erste 3D-Begrenzungsrahmen kann in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt werden, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Der zweite 3D-Begrenzungsrahmen kann in Koordinaten eines zweiten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt werden, die jeweilige Ursprünge an dem zweiten Bildsensor aufweisen.
Die Anweisungen zum Bestimmen der ersten Projektion können ferner Anweisungen beinhalten, um nach dem Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors den ersten 2D-Begrenzungsrahmen für das Objekt durch Projizieren des ersten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene zu generieren. Die Anweisungen zum Bestimmen der ersten Projektion können ferner Anweisungen zum Vergleichen des ersten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt beinhalten.
Die Anweisungen zum Bestimmen der zweiten Projektion können ferner Anweisungen beinhalten, um nach dem Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors den zweiten 3D-Begrenzungsrahmen auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors zu transformieren. Die Anweisungen zum Bestimmen der zweiten Projektion können ferner Anweisungen beinhalten, um dann den zweiten 2D-Begrenzungsrahmen für das Objekt durch Projizieren des transformierten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene zu generieren. Die Anweisungen zum Bestimmen der zweiten Projektion können ferner Anweisungen zum Vergleichen des zweiten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt beinhalten.
Die erste Sechs-DoF-Pose kann in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt werden.
Die zweite Sechs-DoF-Pose kann in Koordinaten eines zweiten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem zweiten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt werden.
Die Anweisungen können ferner Anweisungen zum Aktualisieren von Parametern der Verlustfunktion, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist, beinhalten.
Das neuronale Netz kann dazu trainiert werden, eine Sechs-DoF-Pose des Objekts auszugeben, wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist.
Die Perspektive des zweiten Bildsensors kann quer und nicht orthogonal zu der Perspektive des ersten Bildsensors sein.
Der erste Bildsensor kann um mindestens einen Meter von dem zweiten Bildsensor beabstandet sein.
Ein Verfahren beinhaltet Bestimmen einer ersten Sechs-DoF-Pose eines Objekts aus einer Perspektive eines ersten Bildsensors mit einem neuronalen Netz. Das Verfahren beinhaltet ferner Bestimmen einer zweiten Sechs-DoF-Pose des Objekts aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz. Das Verfahren beinhaltet ferner Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen 3D-Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt werden. Das Verfahren beinhaltet ferner Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird. Das Verfahren beinhaltet ferner Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird. Das Verfahren beinhalten ferner Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes. Das Verfahren beinhalten ferner Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Das Verfahren kann ferner Aktualisieren von Parametern der Verlustfunktion, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist, beinhalten.
Das neuronale Netz kann dazu trainiert werden, eine Sechs-DoF-Pose des Objekts auszugeben, wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist.
Die Perspektive des zweiten Bildsensors kann quer und nicht orthogonal zu der Perspektive des ersten Bildsensors sein.
Der erste Bildsensor kann um mindestens einen Meter von dem zweiten Bildsensor beabstandet sein.
Ein System beinhaltet einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind, um eine erste Sechs-DoF-Pose eines Objekts aus einer ersten Perspektive eines ersten Bildsensors mit einem neuronalen Netz zu bestimmen. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen einer zweiten Sechs-DoF-Pose des Objekts aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen 3D-Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt werden. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird. Die Anweisungen beinhalten ferner Anweisungen zum Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes. Die Anweisungen beinhalten ferner Anweisungen zum Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Ferner ist in dieser Schrift eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Weiterhin ist in dieser Schrift ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium beinhaltet, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausführbar sind, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Figurenliste

1 ist ein Blockdiagramm, das ein beispielhaftes Fahrzeugsteuersystem für ein Fahrzeug veranschaulicht.
2 ist eine Darstellung eines beispielhaften neuronalen Netzes.
3 ist eine Darstellung eines beispielhaften Objekts und eines beispielhaften ersten und zweiten dreidimensionalen Begrenzungsrahmens für das Objekt.
4 ist eine Darstellung eines beispielhaften zweidimensionalen Ground-Truth-Begrenzungsrahmens für das Objekt und einer beispielhaften ersten und zweiten Projektion des Objekts.
5 ist ein beispielhaftes Ablaufdiagramm zum Trainieren des neuronalen Netzes.
6 ist ein beispielhaftes Ablaufdiagramm zum Betreiben eines Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die 1-4 beinhaltet ein beispielhaftes Steuersystem 100 ein Fahrzeug 105 und einen Remote-Computer 140. Ein Fahrzeugcomputer 110 in dem Fahrzeug 105 empfängt Daten von Sensoren 115. Der Fahrzeugcomputer 110 ist dazu programmiert, das Fahrzeug 105 unter Verwendung eines trainierten neuronalen Netzes zu betreiben, wie nachstehend erörtert.
Zum Trainieren des neuronalen Netzes empfängt der Remote-Computer 140 Daten, z. B. Bilddaten, von einem ersten Bildsensor 145 und einem zweiten Bildsensor 150. Der Remote-Computer 140 ist dazu programmiert, ein erstes Bild in das neuronale Netz einzugeben, das eine erste Pose eines Objekts 155 in sechs Freiheitsgraden (DoF) aus einer Perspektive des ersten Bildsensors 145 ausgibt. Der Remote-Computer 140 ist ferner dazu programmiert, ein zweites Bild in das neuronale Netz einzugeben, das eine zweite Sechs-DoF-Pose des Objekts 155 aus einer Perspektive des zweiten Bildsensors 150 ausgibt. Der Remote-Computer 140 ist ferner dazu programmiert, einen Posenversatz zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen 3D-Begrenzungsrahmen 320, 325 für das Objekt 155 zu bestimmen, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt werden. Der Remote-Computer 140 ist ferner dazu programmiert, einen ersten Projektionsversatz durch Bestimmen einer Differenz zwischen einem 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 und einem ersten 2D-Begrenzungsrahmen 410 zu bestimmen, der anhand der ersten Sechs-DoF-Pose generiert wird. Der Remote-Computer 140 ist ferner dazu programmiert, einen zweiten Projektionsversatz durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 und einem zweiten 2D-Begrenzungsrahmen 415 zu bestimmen, der anhand der zweiten Sechs-DoF-Pose generiert wird. Der Remote-Computer 140 ist ferner dazu programmiert, einen Gesamtversatz durch Kombinieren des Posenversatzes, des ersten Proj ektionsversatzes und des zweiten Projektionsversatzes zu bestimmen. Der Remote-Computer 140 ist ferner dazu programmiert, Parameter einer Verlustfunktion auf Grundlage des Gesamtversatzes zu aktualisieren und die aktualisierten Parameter an das neuronale Netz bereitzustellen, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Unter nunmehriger Bezugnahme auf 1 beinhaltet das Fahrzeug 105 den Fahrzeugcomputer 110, die Sensoren 115, Aktoren 120 zum Betätigen verschiedener Fahrzeugkomponenten 125 und ein Fahrzeugkommunikationsmodul 130. Das Kommunikationsmodul 130 ermöglicht es dem Fahrzeugcomputer 110, mit dem Remote-Computer 140 und/oder anderen Fahrzeugen zu kommunizieren, z. B. über ein Nachrichten- oder Rundrufprotokoll, wie etwa dedizierte Nahbereichskommunikation (Dedicated Short Range Communications - DSRC), ein Mobilfunk- und/oder ein anderes Protokoll, das eine Kommunikation von Fahrzeug zu Fahrzeug, von Fahrzeug zu Infrastruktur, von Fahrzeug zu Cloud oder dergleichen unterstützen kann, und/oder über ein Paketnetzwerk 135.
Der Fahrzeugcomputer 110 beinhaltet einen Prozessor und einen Speicher, wie bekannt. Der Speicher beinhaltet eine oder mehrere Formen computerlesbarer Medien und speichert durch den Fahrzeugcomputer 110 ausführbare Anweisungen zum Durchführen verschiedener Vorgänge, welche die in dieser Schrift offenbarten beinhalten. Der Fahrzeugcomputer 110 kann ferner zwei oder mehr Rechenvorrichtungen beinhalten, die gemeinsam betrieben werden, um Vorgänge des Fahrzeugs 105 auszuführen, welche die in dieser Schrift beschriebenen beinhalten. Ferner kann der Fahrzeugcomputer 110 ein Universalcomputer mit einem Prozessor und einem Speicher sein, wie vorstehend beschrieben, und/oder kann eine elektronische Steuereinheit (Electronic Control Unit - ECU) oder eine elektronische Steuerung oder dergleichen für eine spezifische Funktion oder einen Satz von Funktionen beinhalten und/oder kann eine dedizierte elektronische Schaltung beinhalten, die eine ASIC beinhaltet, die für einen konkreten Vorgang hergestellt ist, z. B. eine ASIC zum Verarbeiten von Sensordaten und/oder Kommunizieren der Sensordaten. In einem anderen Beispiel kann der Fahrzeugcomputer 110 ein FPGA (feldprogrammierbares Gate-Array) beinhalten, bei dem es sich um eine integrierte Schaltung handelt, die so hergestellt ist, dass sie durch einen Benutzer konfigurierbar ist. Typischerweise wird eine Hardwarebeschreibungssprache wie etwa VHDL (Very High Speed Integrated Circuit Hardware Description Language - Hardwarebeschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit) in der elektronischen Entwurfsautomatisierung verwendet, um digitale Systeme und Mischsignalsysteme, wie etwa FPGA und ASIC, zu beschreiben. Beispielsweise wird eine ASIC auf Grundlage einer vor der Herstellung bereitgestellten VHDL-Programmierung hergestellt, wohingegen logische Komponenten innerhalb eines FPGA auf Grundlage der VHDL-Programmierung konfiguriert sein können, z. B. in einem Speicher gespeichert, der elektrisch mit der FPGA-Schaltung verbunden ist. In einigen Beispielen kann eine Kombination aus Prozessor(en), ASIC(s) und/oder FPGA-Schaltungen in dem Fahrzeugcomputer 110 beinhaltet sein.
Der Fahrzeugcomputer 110 kann das Fahrzeug 105 in einem autonomen Modus, einem teilautonomen Modus oder einem nicht autonomen (oder manuellen) Modus betreiben und/oder überwachen, d. h., kann den Betrieb des Fahrzeugs 105 steuern und/oder überwachen, einschließlich Steuern und/oder Überwachen der Komponenten 125. Im Rahmen dieser Offenbarung ist ein autonomer Modus als einer definiert, bei dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 105 durch den Fahrzeugcomputer 110 gesteuert wird; in einem teilautonomen Modus steuert der Fahrzeugcomputer 110 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 105; in einem nicht autonomen Modus steuert ein menschlicher Fahrzeugführer jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 105.
Der Fahrzeugcomputer 110 kann Programmierung beinhalten, um eines oder mehrere von Bremsung, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 105 durch Steuern eines oder mehrerer von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Getriebe, Klimaregelung, Innen- und/oder Außenbeleuchtung, Hupe, Türen usw. des Fahrzeugs 105 zu betreiben sowie um zu bestimmen, ob und wann der Fahrzeugcomputer 110 derartige Vorgänge anstelle eines menschlichen Fahrzeugführers steuern soll.
Der Fahrzeugcomputer 110 kann mehr als einen Prozessor beinhalten, der z.B. in elektronischen Steuereinheiten (ECUs) oder dergleichen beinhaltet ist, die in dem Fahrzeug 105 beinhaltet sind, um verschiedene Fahrzeugkomponenten 125 zu überwachen und/oder zu steuern, z. B. eine Getriebesteuerung, eine Bremssteuerung, eine Lenksteuerung usw., oder kommunikativ daran gekoppelt sein, z. B. über ein Fahrzeugkommunikationsnetzwerk, wie etwa einen Kommunikationsbus, wie nachstehend näher beschrieben. Der Fahrzeugcomputer 110 ist im Allgemeinen zur Kommunikation auf einem Fahrzeugkommunikationsnetzwerk, das einen Bus in dem Fahrzeug 105 beinhalten kann, wie etwa ein Controller Area Network (CAN) oder dergleichen, und/oder anderen drahtgebundenen und/oder drahtlosen Mechanismen ausgelegt.
Über das Netzwerk des Fahrzeugs 105 kann der Fahrzeugcomputer 110 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug 105 übertragen und/oder Nachrichten (z. B. CAN-Nachrichten) von den verschiedenen Vorrichtungen, z. B. den Sensoren 115, einem Aktor 120, ECUs usw., empfangen. Alternativ oder zusätzlich kann das Fahrzeugkommunikationsnetzwerk in Fällen, in denen der Fahrzeugcomputer 110 tatsächlich eine Vielzahl von Vorrichtungen umfasst, zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Fahrzeugcomputer 110 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen und/oder Sensoren 115 dem Fahrzeugcomputer 110 Daten über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Die Sensoren 115 des Fahrzeugs 105 können eine Vielfalt an Vorrichtungen beinhalten, die bekanntermaßen dem Fahrzeugcomputer 110 Daten bereitstellen. Beispielsweise können die Sensoren 115 (einen) Sensor(en) 115 zur optischen Abstands- und Geschwindigkeitsmessung (Light Detection and Ranging -LIDAR) usw. beinhalten, der/die auf einer Oberseite des Fahrzeugs 105, hinter einer Windschutzscheibe des Fahrzeugs 105, um das Fahrzeug 105 herum usw. angeordnet ist/sind und der/die relative Standorte, Größen und Formen von Objekten in der Umgebung des Fahrzeugs 105 bereitstellen. Als ein anderes Beispiel können ein oder mehrere Radarsensoren 115, die an Stoßfängern des Fahrzeugs 105 befestigt sind, Daten bereitstellen, um Standorte der Objekte, zweiter Fahrzeuge usw. im Verhältnis zu dem Standort des Fahrzeugs 105 bereitzustellen. Die Sensoren 115 können ferner alternativ oder zusätzlich zum Beispiel einen oder mehrere Kamerasensoren 115 beinhalten, z.B. eine Frontkamera, Seitenkamera usw., die Bilder von einem Bereich um das Fahrzeug 105 bereitstellen. Im Rahmen dieser Offenbarung ist ein Objekt ein physischer, d. h. materieller, Gegenstand, der eine Masse aufweist und durch physikalische Phänomene (z. B. Licht oder andere elektromagnetische Wellen oder Schall usw.), die durch Sensoren 115 erfassbar sind, dargestellt werden kann. Somit fallen das Fahrzeug 105 sowie weitere Gegenstände, einschließlich der nachfolgend erörterten, unter die Definition von „Objekt“ in dieser Schrift.
Der Fahrzeugcomputer 110 ist dazu programmiert, Daten von einem oder mehreren Sensoren 115 im Wesentlichen kontinuierlich, periodisch und/oder auf Anweisung durch einen Remote-Computer 140 usw. zu empfangen. Die Daten können zum Beispiel einen Standort des Fahrzeugs 105 beinhalten. Standortdaten spezifizieren einen Punkt oder Punkte auf einer Bodenfläche und können in einer bekannten Form vorliegen, z. B. als Geokoordinaten, wie etwa Längengrad- und Breitengradkoordinaten, die über ein Navigationssystem erlangt werden, wie bekannt, welches das globale Positionsbestimmungssystem (GPS) verwendet. Zusätzlich oder alternativ können die Daten einen Standort eines Objekts, z. B. eines Fahrzeugs, eines Schildes, eines Baums usw., im Verhältnis zu dem Fahrzeug 105 beinhalten. Als ein Beispiel können die Daten Bilddaten der Umgebung um das Fahrzeugs 105 herum sein. In einem solchen Beispiel können die Bilddaten ein oder mehrere Objekte und/oder Markierungen, z. B. Fahrbahnmarkierungen, auf oder entlang einer Straße beinhalten. Mit Bilddaten sind in dieser Schrift digitale Bilddaten gemeint, die z. B. Pixel mit Intensitäts- und Farbwerten umfassen und durch Kamerasensoren 115 aufgenommen werden können. Die Sensoren 115 können an einer beliebigen geeigneten Stelle in oder an dem Fahrzeug 105 montiert sein, z. B. an einem Stoßfänger des Fahrzeugs 105, an einem Dach des Fahrzeugs 105 usw., um Bilder der Umgebung um das Fahrzeug 105 herum zu sammeln.
Die Aktoren 120 des Fahrzeugs 105 sind über Schaltungen, Chips oder andere elektronische und/oder mechanische Komponenten umgesetzt, die verschiedene Fahrzeugteilsysteme gemäß geeigneten Steuersignalen betätigen können, wie bekannt. Die Aktoren 120 können dazu verwendet werden, Komponenten 125, einschließlich Bremsung, Beschleunigung und Lenkung, eines Fahrzeugs 105 zu steuern.
Im Rahmen der vorliegenden Offenbarung handelt es sich bei einer Fahrzeugkomponente 125 um eine oder mehrere Hardwarekomponenten, die dazu ausgelegt sind, eine(n) mechanische(n) oder elektromechanische(n) Funktion oder Vorgang durchzuführen - wie etwa das Fahrzeug 105 zu bewegen, das Fahrzeug 105 abzubremsen oder anzuhalten, das Fahrzeug 105 zu lenken usw. Zu nicht einschränkenden Beispielen für die Komponenten 125 gehören eine Antriebskomponente (die z. B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkkomponente (die z. B. eines oder mehrere von einem Lenkrad, einer Lenkungszahnstange usw. beinhalten kann), eine Aufhängungskomponente (die z. B. eines oder mehrere von einem Stoßdämpfer, z. B. einem Achsdämpfer oder einem Federbein, einer Buchse, einer Feder, einem Steuerarm, einem Kugelgelenk, einem Gestänge usw. beinhalten kann), eine Bremskomponente, eine Einparkhilfekomponente, eine Komponente zur adaptiven Geschwindigkeitsregelung, eine Komponente zum adaptiven Lenken, ein oder mehrere passive Rückhaltesysteme (z. B. Airbags), einen beweglichen Sitz usw.
Darüber hinaus kann der Fahrzeugcomputer 110 dazu konfiguriert sein, über ein Fahrzeug-zu-Fahrzeug-Kommunikationsmodul 130 oder eine Schnittstelle mit Vorrichtungen außerhalb des Fahrzeugs 105, z. B. durch eine drahtlose Kommunikation von Fahrzeug zu Fahrzeug (Vehicle-to-Vehicle - V2V) oder von Fahrzeug zu Infrastruktur (Vehicle-to-Infrastructure - V2X) (Mobilfunk und/oder DSRC usw.) mit einem anderen Fahrzeug, und/oder mit einem Remote-Computer 140 (typischerweise über direkte Hochfrequenzkommunikation) zu kommunizieren. Das Kommunikationsmodul 130 könnte einen oder mehrere Mechanismen, wie etwa einen Sendeempfänger, beinhalten, durch welche die Computer von Fahrzeugen kommunizieren können, einschließlich einer beliebigen gewünschten Kombination aus drahtlosen Kommunikationsmechanismen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowellen und Hochfrequenz) und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn eine Vielzahl von Kommunikationsmechanismen genutzt wird). Beispielhafte über das Kommunikationsmodul 130 bereitgestellte Kommunikation beinhaltet Mobilfunk, Bluetooth, IEEE 802.11, dedizierte Nahbereichskommunikation (DSRC) und/oder Weitbereichsnetzwerke (Wide Area Networks - WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Das Netzwerk 135 stellt einen oder mehrere Mechanismen dar, durch welche ein Fahrzeugcomputer 110 mit Remote-Rechenvorrichtungen, z. B. dem Remote-Computer 140, einem anderen Fahrzeugcomputer usw., kommunizieren kann. Dementsprechend kann es sich bei dem Netzwerk 135 um einen oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen handeln, einschließlich einer beliebigen gewünschten Kombination aus drahtgebundenen Kommunikationsmechanismen (z. B. Kabel und Glasfaser) und/oder drahtlosen Kommunikationsmechanismen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowellen und Hochfrequenz) und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn mehrere Kommunikationsmechanismen genutzt werden). Zu beispielhaften Kommunikationsnetzwerke gehören drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V), wie etwa dedizierter Nahbereichskommunikation (DSRC) usw.), lokale Netzwerke (Local Area Networks - LAN) und/oder Weitverkehrsnetzwerke (WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Der Remote-Computer 140 kann eine herkömmliche Rechenvorrichtung sein, d. h., die einen oder mehrere Prozessoren und einen oder mehrere Speicher beinhaltet, die dazu programmiert sind, Vorgänge bereitzustellen, wie etwa hier offenbart. Ferner kann auf den Remote-Computer 140 über das Netzwerk 135, z. B. das Internet, ein Mobilfunknetzwerk und/oder ein anderes Weitverkehrsnetzwerk, zugegriffen werden.
Der Fahrzeugcomputer 110 kann Daten der Sensoren 115, z. B. von einer monokularen Kamera erlangte Bilddaten, der Umgebung um das Fahrzeug 105 herum empfangen. Die Bilddaten können ein oder mehrere Objekte um das Fahrzeug 105 herum beinhalten. Der Fahrzeugcomputer 110 kann eine Sechs-DoF-Pose eines Objekts 210 in einer Umgebung um das Fahrzeug 105 durch Eingeben eines monokularen Bildes, welches das Objekt beinhaltet, in ein neuronales Netz, wie etwa ein tiefes neuronales Netz (Deep Neural Network - DNN) 200 (siehe 2), bestimmen. Das DNN 200 kann dazu trainiert werden (wie nachstehend erörtert), das monokulare Bild 202 als Eingabe anzunehmen und eine Ausgabe einer Bestimmung einer Sechs-DoF-Pose des Objekts 210 zu generieren. Die Sechs-DoF-Pose des Objekts 210 kann in realen Koordinaten auf Grundlage von orthogonalen x-, y- und z-Achsen und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt werden. Die Sechs-DoF-Pose des Objekts 210 lokalisiert das Objekt in Bezug auf den Sensor 115, der das monokulare Bild erlangt hat.
Nach dem Bestimmen der Sechs-DoF-Pose des Objekts 210 kann der Fahrzeugcomputer 110 zum Beispiel einen Weg zum Umfahren des Objekts generieren. Der Fahrzeugcomputer 110 betätigt dann eine oder mehrere Fahrzeugkomponenten, um das Fahrzeug 105 entlang des Wegs zum Umfahren des Objekts zu betreiben. Im hier verwendeten Sinne ist ein „Weg“ ein Satz von Punkten, der z. B. als Koordinaten in Bezug auf ein Fahrzeugkoordinatensystem und/oder Geokoordinaten spezifiziert werden kann, zu deren Bestimmung der Fahrzeugcomputer 110 mit einem herkömmlichen Navigations- und/oder Wegplanungsalgorithmus programmiert ist. Ein Weg kann gemäß einem oder mehreren Wegpolynomen spezifiziert sein. Ein Wegpolynom ist eine Polynomfunktion dritten Grades oder geringer, welche die Bewegung eines Fahrzeugs auf einer Bodenfläche beschreibt. Die Bewegung eines Fahrzeugs auf einer Fahrbahn wird durch einen mehrdimensionalen Zustandsvektor beschrieben, der den Standort, die Orientierung, die Geschwindigkeit und die Beschleunigung des Fahrzeugs beinhaltet. Der Bewegungsvektor des Fahrzeugs kann konkret Positionen in x, y, z, Gieren, Nicken, Rollen, Gierrate, Nickrate, Rollrate, Drehwinkel und Drehbeschleunigung beinhalten, die bestimmt werden können, indem eine Polynomfunktion an aufeinanderfolgende 2D-Standorte angepasst wird, die in dem Fahrzeugbewegungsvektor eingeschlossen sind, und zwar zum Beispiel in Bezug auf die Bodenfläche.
Ferner ist das Wegpolynom p(x) zum Beispiel ein Modell, das den Weg als eine durch eine Polynomgleichung nachverfolgte Linie vorhersagt. Das Wegpolynom p(x) sagt den Weg für eine vorbestimmte bevorstehende Entfernung x vorher, indem es eine laterale Koordinate p bestimmt, die z. B. in Metern gemessen wird: $p (x) = a_{0} + a_{1} x + a_{2} x^{_{2}} + a_{3} x^{3}$
wobei a₀ ein Versatz ist, d. h. eine laterale Entfernung zwischen dem Weg und einer Mittellinie des Host-Fahrzeugs 105 bei der bevorstehenden Entfernung x, a₁ ein Kurswinkel des Wegs ist, a₂ die Krümmung des Wegs ist und a₃ die Krümmungsrate des Wegs ist.
2 ist eine Darstellung eines tiefen neuronalen Netzes (DNN) 200. Das DNN 200 kann ein Softwareprogramm sein, das auf dem Remote-Computer 140 ausgeführt wird. Nach dem Trainieren kann das DNN 200 auf den Fahrzeugcomputer 110 heruntergeladen werden. Der Fahrzeugcomputer 110 kann das DNN 200 verwenden, um das Fahrzeug 105 zu betreiben. Beispielsweise kann der Fahrzeugcomputer 110 die Sechs-DoF-Posen für Objekte um das Fahrzeug 105 herum verwenden, um einen Weg zum Betreiben des Fahrzeugs 105 zu bestimmen, wie vorstehend erörtert.
Das DNN 200 kann eine Vielzahl von Faltungsschichten (Convolutional Layers - CONV) 204 beinhalten, die Eingabebilder (Input Images - IN) 202 verarbeiten, indem die Eingabebilder 202 unter Verwendung von Faltungskernen gefaltet werden, um latente Variablen (LV) 206 zu bestimmen. Das DNN 200 beinhaltet eine Vielzahl von vollverbundenen Schichten (Fully-Connected Layers - FC) 208, welche die latenten Variablen 206 verarbeiten, um eine Sechs-DoF-Pose eines Objekts (OP) 210 zu erzeugen. Das DNN 200 kann ein Bild 202 von einem in einem Fahrzeug 105 beinhalteten Kamerasensor 115 eingeben, das ein Objekt beinhaltet, um eine Sechs-DoF-Pose des Objekts 210 zu bestimmen.
Das DNN 200 wird durch Verarbeiten eines Datensatzes trainiert, der eine Vielzahl von Sätzen von Bildern beinhaltet, die verschiedene Objekte 155 beinhaltet. Die Sätze von Bildern beinhalten ein erstes Bild, das von einem ersten Bildsensor 145 erlangt wird, und ein zweites Bild, das von einem zweiten Bildsensor 150 erlangt wird.
Der erste und der zweite Bildsensor 145, 150 können fest oder stationär eingesetzt werden, z. B. an einem Mast montiert, an einem Gebäude montiert usw. Die Sichtfelder des ersten und des zweiten Bildsensors 145, 150 bewegen und verändern sich im Wesentlichen nicht. Die Sichtfelder des ersten und des zweiten Bildsensors 145, 150 beinhalten ein Objekt 155. Das heißt, der erste und der zweite Bildsensor 145, 150 sind derart positioniert, dass sie das Objekt 155 erfassen (siehe 3). Anders ausgedrückt sind der erste und der zweite Bildsensor 145, 150 jeweils derart positioniert, dass sie ein jeweiliges Bild des Objekts 155 erlangen.
Der zweite Bildsensor 150 stellt eine Perspektive des Objekts 155 bereit, die sich von dem ersten Bildsensor 145 unterscheidet. Beispielsweise kann die Perspektive von dem zweiten Bildsensor 150 quer und nicht orthogonal zu der Perspektive von dem ersten Bildsensor 145 sein. Das heißt, während sich die Perspektiven unterscheiden, beinhaltet die Perspektive von dem zweiten Bildsensor 150 eine gleiche Seite des Objekts 155, z. B. eine Vorderseite, wie die Perspektive von dem ersten Bildsensor 145.
Der erste und der zweite Bildsensor 145, 150 sind monokulare Kameras, die derart angeordnet sind, dass sie das Objekt 155 mit seitlicher Trennung betrachten. Die seitliche Trennung, auch als die Grundlinie bezeichnet, ist eine kürzeste Entfernung zwischen dem ersten und dem zweiten Bildsensor 145, 150. Die seitliche Trennung bewirkt, dass der erste und der zweite Bildsensor 145, 150 Bilder generieren, bei denen entsprechende Punkte in jedem Bild in Bezug auf das Bild um einen Betrag verschoben sind, der von der seitlichen Trennung des ersten und des zweiten Bildsensors 145, 150 und der Entfernung des Punktes im Raum von dem ersten und zweiten Bildsensor 145, 150 abhängig ist. Beispielsweise können der erste und der zweite Bildsensor 145, 150 um mindestens einen Meter voneinander beabstandet sein.
Der erste und der zweite Bildsensor 145, 150 können digitale Bilder, z. B. als Videoeinzelbilder, in einem komprimierten Format wie etwa MPEG oder dergleichen bereitstellen. MPEG bezieht sich auf eine Reihe von Standards, die im Allgemeinen von der Internationalen Organisation für Normung / International Electrical Commission Moving Picture Experts Group (MPEG) veröffentlicht werden. Jedes Einzelbild in Videodaten von dem ersten und dem zweiten Bildsensor 145, 150 kann eine bestimmte Anzahl von Pixeln breit mal eine bestimmte Anzahl von Pixeln hoch sein. Ein Objekt 155 kann in einem Einzelbild, das (eine) Lage(n) von Pixeln in dem Bild beinhaltet, die zum Abbilden des Objekts 155 verwendet werden, gemäß verschiedenen Bild- oder Mustererkennungstechniken identifiziert werden.
Der erste und der zweite Bildsensor 145, 150 können das erste bzw. das zweite Bild an den Remote-Computer 140, z. B. über das Netzwerk 135, bereitstellen. Als ein anderes Beispiel können der erste und der zweite Bildsensor 145, 150 jeweils direkt mit dem Remote-Computer 140 verbunden sein, z. B. über eine drahtgebundene Verbindung, durch die der erste und der zweite Bildsensor 145, 150 das erste bzw. das zweite Bild bereitstellen können.
Zum Trainieren des DNN 200 empfängt der Remote-Computer 140 ein erstes Bild von dem ersten Bildsensor 145 und ein zweites Bild von dem zweiten Bildsensor 150. Nach dem Empfangen des ersten Bildes kann der Remote-Computer 140 das erste Bild in das DNN 200 eingeben, das eine erste Sechs-DoF-Pose des Objekts 155 aus der Perspektive des ersten Bildsensors 145 ausgibt. Die erste Sechs-DoF-Pose kann in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem ersten Bildsensor 145 aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt werden. Das heißt, die erste Sechs-DoF-Pose kann eine Lage in drei orthogonalen Koordinaten im Verhältnis zu dem ersten Bildsensor 145 und eine Orientierung in drei Drehungen um die Achsen jeder der drei orthogonalen Koordinaten beinhalten. Zusätzlich zum Bestimmen der ersten Sechs-DoF-Pose des Objekts 155 kann das DNN 200 erste Abmessungen (z. B. Länge, Breite, Höhe) für das Objekt 155 aus der Perspektive des ersten Bildsensors 145 ausgeben.
Ebenso kann der Remote-Computer 140 nach dem Empfangen des zweiten Bildes das zweite Bild in das DNN 200 eingeben, das eine zweite Sechs-DoF-Pose des Objekts 155 aus der Perspektive des zweiten Bildsensors 150 ausgibt. Die zweite Sechs-DoF-Pose kann in Koordinaten eines zweiten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem zweiten Bildsensor 150 aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt werden. Das heißt, die zweite Sechs-DoF-Pose kann eine Lage in drei orthogonalen Koordinaten im Verhältnis zu dem zweiten Bildsensor 150 und eine Orientierung in drei Drehungen um die Achsen jeder der drei orthogonalen Koordinaten beinhalten. Zusätzlich zum Bestimmen der zweiten Sechs-DoF-Pose des Objekts 155 kann das DNN 200 zweite Abmessungen (z. B. Länge, Breite, Höhe) für das Objekt 155 aus der Perspektive des zweiten Bildsensors 150 ausgeben.
Unter nunmehriger Bezugnahme auf 3 kann der Remote-Computer 140 einen ersten dreidimensionalen (3D) Begrenzungsrahmen 320 für das Objekt 155 auf Grundlage der ersten Sechs-DoF-Pose und der ersten Abmessungen generieren. Das heißt, der erste 3D-Begrenzungsrahmen 320 wird aus der Perspektive des ersten Bildsensors 145 generiert. Ein „Begrenzungsrahmen“ ist eine geschlossene Umgrenzung, die einen Satz von Pixeln definiert. Beispielsweise können die Pixel innerhalb eines Begrenzungsrahmens ein selbes Objekt darstellen, z. B. kann ein Begrenzungsrahmen Pixel definieren, die ein Bild eines Objekts darstellen. Anders ausgedrückt ist ein Begrenzungsrahmen typischerweise als ein kleinstes rechteckiges Prisma definiert, das sämtliche der Pixel des entsprechenden Objekts beinhaltet. Der erste 3D-Begrenzungsrahmen 320 wird durch Kontextinformationen beschrieben, die eine Mitte und acht Ecken beinhalten, die als x-, y- und z-Koordinaten in dem ersten Koordinatensystem ausgedrückt werden. Die erste Sechs-DoF-Pose kann die Mitte des ersten 3D-Begrenzungsrahmens 320 sein. Der Remote-Computer 140 kann dann die Koordinaten der acht Ecken anhand der ersten Abmessungen unter Verwendung einer geometrischen Transformation bestimmen. Da der erste 3D-Begrenzungsrahmen 320 aus der Perspektive des ersten Bildsensors 145 generiert wird, kann der erste 3D-Begrenzungsrahmen 320 im Verhältnis zu realen Koordinaten des Objekts 155 vor dem Trainieren des DNN 200 versetzt sein.
Beispielsweise kann der Remote-Computer 140 eine untere vordere rechte Ecke des ersten 3D-Begrenzungsrahmens 320 auf Grundlage von i) einer ersten Linie, die halb so lang wie das Objekt ist und sich von der Mitte entlang der x-Achse des ersten Koordinatensystems nach vorn und mit dem durch die erste Sechs-DoF-Pose spezifizierten Nickwinkel erstreckt, ii) einer zweiten Linie, die halb so breit wie das Objekt ist und sich von einem Ende der ersten Linie entlang der y-Achse des ersten Koordinatensystems nach rechts und mit dem durch die erste Sechs-DoF-Pose spezifizierten Gierwinkel erstreckt, und iii) einer dritten Linie, die halb so hoch wie das Objekt ist und sich von einem Ende der zweiten Linie entlang der z-Achse des ersten Koordinatensystems und mit dem durch die erste Sechs-DoF spezifizierten Rollwinkel erstreckt, bestimmt werden. Die Koordinaten für die untere vordere rechte Ecke werden von einem Ende der dritten Linie bestimmt. Die anderen sieben Ecken können durch Ändern der Direktionalität von mindestens einer von der ersten Linie, der zweiten Linie oder der dritten Linie (z. B. vorwärts nach hinten, links nach rechts und/oder aufwärts zu abwärts) bestimmt werden.
Der Remote-Computer 140 kann einen zweiten 3D-Begrenzungsrahmen 325 für das Objekt 155 auf Grundlage der zweiten Sechs-DoF-Pose und der zweiten Abmessungen generieren. Das heißt, der zweite 3D-Begrenzungsrahmen 325 wird aus der Perspektive des zweiten Bildsensors 150 generiert. Der zweite 3D-Begrenzungsrahmen 325 wird durch Kontextinformationen beschrieben, die eine Mitte und acht Ecken beinhalten, die als x-, y- und z-Koordinaten in dem zweiten Koordinatensystem ausgedrückt werden. Die zweite Sechs-DoF-Pose kann die Mitte des zweiten 3D-Begrenzungsrahmens sein. Der Remote-Computer 140 kann dann die Koordinaten der acht Ecken anhand der zweiten Abmessungen unter Verwendung einer geometrischen Transformation bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf den ersten 3D-Begrenzungsrahmen 320 erörtert. Da der zweite 3D-Begrenzungsrahmen 325 aus der Perspektive des zweiten Bildsensors 150 generiert wird, kann der zweite 3D-Begrenzungsrahmen 325 im Verhältnis zu realen Koordinaten des Objekts 155 vor dem Trainieren des DNN 200 versetzt sein. Wenn das DNN 200 trainiert wird, können die Koordinaten des zweiten 3D-Begrenzungsrahmens 325 innerhalb eines vorbestimmten Schwellenwerts (wie nachstehend erörtert) realen Koordinaten des Objekts 155 derart entsprechen, dass der zweite 3D-Begrenzungsrahmen 325 mit dem ersten 3D-Begrenzungsrahmen 320 innerhalb eines vorbestimmten Schwellenwerts (wie nachstehend erörtert) übereinstimmt. In dieser Situation umschließen der erste und der zweite 3D-Begrenzungsrahmen 320, 325 das Objekt 155 unabhängig von der Perspektive des Bildsensors 145, 150.
Nach dem Generieren des zweiten 3D-Begrenzungsrahmens 325 kann der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors 150 im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors 145 transformieren. Die jeweiligen Sechs-DoF-Posen des ersten und des zweiten Bildsensors 145, 150 können z. B. in einem Speicher des Remote-Computers 140 gespeichert sein. Die jeweiligen Sechs-DoF-Posen des ersten und des zweiten Bildsensors 145, 150 können z. B. manuell durch einen Benutzer eingegeben werden. Die jeweiligen Sechs-DoF-Posen lokalisieren den ersten und den zweiten Bildsensor 145, 150 in Bezug auf globale Koordinaten. Der Remote-Computer 140 kann die Sechs-DoF-Pose des ersten Bildsensors 145 mit der Sechs-DoF-Pose des zweiten Bildsensors 150 vergleichen, um einen Transformationsversatz zu bestimmen. Ein Transformationsversatz spezifiziert eine Parallelverschiebungsdifferenz, z. B. gemessen in Metern, entlang jeder der drei orthogonalen Achsen und eine Rotationsdifferenz, z. B. gemessen in Grad, um jede der drei orthogonalen Achsen zwischen der Sechs-DoF-Pose des ersten Bildsensors 145 und der Sechs-DoF-Pose des zweiten Bildsensors 150. Der Remote-Computer 140 kann dann einen transformierten 3D-Begrenzungsrahmen auf Grundlage des Transformationsversatzes generieren.
Der transformierte 3D-Begrenzungsrahmen wird durch Kontextinformationen beschrieben, die eine Mitte und acht Ecken beinhalten, die als x-, y- und z-Koordinaten in dem ersten Koordinatensystem ausgedrückt werden. Der Remote-Computer 140 bestimmt die Mitte des transformierten 3D-Begrenzungsrahmens durch Kombinieren des Transformationsversatzes und der Mitte des zweiten 3D-Begrenzungsrahmens 325, z. B. unter Verwendung einer geometrischen Transformation, um die Mitte des zweiten 3D-Begrenzungsrahmens 325 gemäß der Parallelverschiebungs- und der Rotationsdifferenz, die durch den Transformationsversatz spezifiziert sind, zu aktualisieren. Zusätzlich bestimmt der Remote-Computer 140 die Koordinaten der acht Ecken durch Kombinieren des Transformationsversatzes und der Koordinaten jeder Ecke des zweiten 3D-Begrenzungsrahmens 325, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert.
Alternativ kann der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 auf Grundlage der Sechs-DoF-Pose des ersten Bildsensors 145 im Verhältnis zu der Sechs-DoF-Pose des zweiten Bildsensors 150 transformieren, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert. In dieser Situation wird der transformierte 3D-Begrenzungsrahmen in Koordinaten des zweiten Koordinatensystems bestimmt.
Der Remote-Computer 140 kann dann einen Posenversatz zwischen dem transformierten 3D-Begrenzungsrahmen und dem ersten 3D-Begrenzungsrahmen 320 (oder dem zweiten 3D-Begrenzungsrahmen 325) bestimmen. Ein Posenversatz ist eine Differenz zwischen den Koordinaten der acht Ecken des transformierten 3D-Begrenzungsrahmens und den entsprechenden Koordinaten der acht Ecken des ersten 3D-Begrenzungsrahmens 320 (oder des zweiten 3D-Begrenzungsrahmens 325). In einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 transformiert, kann der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 mit dem transformierten 3D-Begrenzungsrahmen vergleichen, um den Posenversatz zu bestimmen. Zum Bestimmen des Posenversatzes kann der Remote-Computer 140 eine Differenz zwischen entsprechenden Koordinaten des ersten 3D-Begrenzungsrahmens 320 und des transformierten 3D-Begrenzungsrahmens bestimmen. Beispielsweise kann der Remote-Computer 140 eine Entfernung von jeder Ecke des ersten 3D-Begrenzungsrahmens 320 zu der entsprechenden Ecke des transformierten 3D-Begrenzungsrahmens bestimmen. In einem derartigen Beispiel kann der Remote-Computer 140 nach dem Bestimmen der Entfernungen zwischen jeder der entsprechenden Ecken einen mittleren quadratischen Fehler (MQF) verwenden, um eine durchschnittliche Differenz zwischen den Ecken des ersten 3D-Begrenzungsrahmens 320 und des transformierten 3D-Begrenzungsrahmens im Verhältnis zu dem ersten Koordinatensystem zu bestimmen. Der Posenversatz wird anhand der durchschnittlichen Differenz bestimmt. In einem Beispiel, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 transformiert, kann der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 mit dem transformierten 3D-Begrenzungsrahmen vergleichen, um den Posenversatz zu bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert.
Unter nunmehriger Bezugnahme auf 4 kann der Remote-Computer 140 in einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 transformiert, einen ersten 2D-Begrenzungsrahmen 410 auf Grundlage des ersten 3D-Begrenzungsrahmens 320 generieren. Zusätzlich kann der Remote-Computer 140 einen zweiten 2D-Begrenzungsrahmen 415 auf Grundlage des transformierten 3D-Begrenzungsrahmens generieren, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar nachstehend in Bezug auf ein Generieren des ersten 2D-Begrenzungsrahmens 410 erörtert. Beispielsweise kann der Remote-Computer 140 den ersten 2D-Begrenzungsrahmen 410 durch Rendern des ersten 3D-Begrenzungsrahmens 320 generieren. Durch das Rendern kann ein erster 2D-Begrenzungsrahmen 410 aus einem ersten 3D-Begrenzungsrahmen 320 erzeugt werden, indem ein virtueller Kamerablickwinkel bestimmt wird, von dem aus der erste 3D-Begrenzungsrahmen 320 auf eine 2D-Ebene projiziert werden soll. Das heißt, der erste 2D-Begrenzungsrahmen 410 und der zweite 2D-Begrenzungsrahmen 415 werden durch Kontextinformationen beschrieben, die vier Ecken beinhalten, die als x-, y- und z-Koordinaten in dem ersten Koordinatensystem ausgedrückt werden.
Eine virtuelle Kamera kann durch Programmieren des Remote-Computers 140 bereitgestellt werden, um einen ersten 2D-Begrenzungsrahmen 410 aus einem ersten 3D-Begrenzungsrahmen 320 zu generieren. Der Remote-Computer 140 kann virtuelle Lichtstrahlen generieren, die von einem virtuellen Bildsensor durch eine virtuelle Linse verlaufen und dabei den Gesetzen der Physik gehorchen, als ob der Bildsensor und die Linse physische Objekte wären. Der Remote-Computer 140 fügt Daten in den virtuellen Bildsensor ein, die dem Erscheinungsbild des Abschnitts eines ersten 3D-Bergenzungsrahmens 320 entsprechen, den ein Lichtstrahl, der durch die Merkmalspunkte des ersten 3D-Begrenzungsrahmens 320 abgegeben wird und durch eine physische Linse verläuft, auf einem physischen Bildsensor erzeugen würde. Durch Positionieren einer virtuellen Kamera in einer ausgewählten Lage und Orientierung in Bezug auf den ersten 3D-Begrenzungsrahmen 320 kann ein erster 2D-Begrenzungsrahmen 410 generiert werden, der einem ausgewählten Blickwinkel in Bezug auf ein Objekt 155 entspricht.
Der virtuelle Kamerablickwinkel beinhaltet Lage- und Orientierungsdaten für eine optische Achse der virtuellen Kamera und Daten bezüglich der Vergrößerung der virtuellen Kameralinse. Der virtuelle Kamerablickwinkel wird auf Grundlage der Lage und Orientierung einer virtuellen Kamera in Bezug auf ein Objekt 155 bestimmt. Die Lage der virtuellen Kamera wird als die Lage des ersten Bildsensors 145 ausgewählt und die Orientierung der virtuellen Kamera entspricht der Orientierung des ersten Bildsensors 145. Die Lage und die Orientierung des ersten Bildsensors 145 werden anhand der Sechs-DoF-Pose des ersten Bildsensors 145 bestimmt. Das heißt, die 2D-Ebene ist eine Bildebene, die durch den ersten Bildsensor 145 definiert ist. Das Projizieren des ersten 3D-Begrenzungsrahmens 320 auf eine 2D-Ebene entspricht einem Bestimmen, welche Merkmalspunkte des ersten 3D-Begrenzungsrahmens 320 für eine Kamera sichtbar wären, die ein Bild des ersten 3D-Begrenzungsrahmens 320 von der ausgewählten Lage und Orientierung aus aufnimmt. Da der erste 2D-Begrenzungsrahmen 410 aus einem ersten 3D-Begrenzungsrahmen 320 auf Grundlage einer virtuellen Kamera bei einer ausgewählten Lage und Orientierung generiert wurde, sind Daten bezüglich der Lage und Orientierung der in dem ersten 2D-Begrenzungsrahmen 410 veranschaulichten Merkmalspunkte bekannt.
Alternativ kann der erste 2D-Begrenzungsrahmen 410 aus dem ersten 3D-Begrenzungsrahmen 320 auf Grundlage von Koordinaten von Merkmalspunkten in dem ersten 3D-Begrenzungsrahmen 320 konstruiert werden. Insbesondere kann der Remote-Computer 140 die x- und z-Koordinaten jedes Merkmals in dem ersten 3D-Begrenzungsrahmen 320 in einer 2D-Ebene auftragen. In dieser Situation können die x-Koordinaten entlang einer horizontalen Achse aufgetragen werden und können die z-Koordinaten entlang einer vertikalen Achse aufgetragen werden. Der erste 2D-Begrenzungsrahmen 410 beinhaltet ein Sichtfeld, innerhalb dessen sämtliche der Merkmalspunkte des ersten 3D-Begrenzungsrahmens 320 aufgetragen sind. Das Sichtfeld wird durch den ersten Bildsensor 145 definiert.
In einem Beispiel, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 transformiert, kann der Remote-Computer 140 den ersten 2D-Begrenzungsrahmen 410 auf Grundlage des transformierten 3D-Begrenzungsrahmens generieren, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert. Zusätzlich kann der Remote-Computer 140 den zweiten 2D-Begrenzungsrahmen 415 auf Grundlage des zweiten 3D-Begrenzungsrahmens 325 generieren, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert. In dieser Situation ist die 2D-Ebene eine Bildebene, die durch den zweiten Bildsensor 150 definiert ist. Das heißt, der erste 2D-Begrenzungsrahmen 410 und der zweite 2D-Begrenzungsrahmen 415 werden durch Kontextinformationen beschrieben, die vier Ecken beinhalten, die als x- und z-Koordinaten in dem zweiten Koordinatensystem ausgedrückt werden.
Der Remote-Computer 140 kann einen ersten Projektionsversatz zwischen dem ersten 2D-Begrenzungsrahmen 410 und einem 2D-Ground-Truth-Begrenzungsrahmen 405 bestimmen (wie nachstehend erörtert). Ein erster Projektionsversatz ist eine Differenz zwischen den Koordinaten des ersten 2D-Begrenzungsrahmens 410 und den entsprechenden Koordinaten des 2D-Ground-Truth-Begrenzungsrahmens 405. Der Remote-Computer 140 kann den ersten 2D-Begrenzungsrahmen 410 mit dem 2D-Ground-Truth-Begrenzungsrahmen 405 vergleichen, um den ersten Projektionsversatz zu bestimmen. Zum Bestimmen des ersten Projektionsversatzes kann der Remote-Computer 140 eine Differenz zwischen entsprechenden Koordinaten des ersten 2D-Begrenzungsrahmens 410 und des 2D-Ground-Truth-Begrenzungsrahmens 405 bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Bestimmen des Posenversatzes, z. B. unter Verwendung des MQF, erörtert. Als ein anderes Beispiel kann der Remote-Computer 140 einen Jaccard-Koeffizienten (Intersection over Union - IoU) verwenden, um ein Verhältnis einer Schnittfläche zwischen dem ersten 2D-Begrenzungsrahmen 410 und dem 2D-Ground-Truth-Begrenzungsrahmen 405 zu einer Gesamtfläche des ersten 2D-Begrenzungsrahmens 410 und des 2D-Ground-Truth-Begrenzungsrahmens 405 zu bestimmen. In dieser Situation wird der erste Projektionsversatz anhand des Verhältnisses bestimmt.
Der Remote-Computer 140 kann einen zweiten Projektionsversatz zwischen dem zweiten 2D-Begrenzungsrahmen 415 und dem 2D-Ground-Truth-Begrenzungsrahmen 405 bestimmen. Ein zweiter Projektionsversatz ist eine Differenz zwischen den Koordinaten des zweiten 2D-Begrenzungsrahmens 415 und den entsprechenden Koordinaten des 2D-Ground-Truth-Begrenzungsrahmens 405. Der Remote-Computer 140 kann den zweiten 2D-Begrenzungsrahmen 415 mit dem 2D-Ground-Truth-Begrenzungsrahmen 405 vergleichen, um den zweiten Projektionsversatz zu bestimmen. Zum Bestimmen des zweiten Projektionsversatzes kann der Remote-Computer 140 eine Differenz zwischen entsprechenden Koordinaten des zweiten 2D-Begrenzungsrahmens 415 und des 2D-Ground-Truth-Begrenzungsrahmens 405 bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Bestimmen des ersten Posenversatzes erörtert.
Ein 2D-Objekterfasser kann verwendet werden, um den 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 zu generieren. Der 2D-Objekterfasser ist, wie bekannt, ein neuronales Netz, das dazu trainiert ist, Objekte in einem Bild zu erfassen und einen 2D-Begrenzungsrahmen für die erfassten Objekte zu generieren. Der 2D-Objekterfasser kann unter Verwendung von Bilddaten als Ground Truth trainiert werden. Bilddaten können durch menschliche Bediener manuell beschriftet werden. Die menschlichen Bediener können zudem 2D-Begrenzungsrahmen für die beschrifteten Objekte bestimmen. Die Ground Truth, die beschriftete 2D-Begrenzungsrahmen beinhaltet, kann mit der Ausgabe von dem 2D-Obj ekterfasser verglichen werden, um den 2D-Objekterfasser dazu zu trainieren, die Bilddaten korrekt zu beschriften. In einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 transformiert, kann der Remote-Computer 140 das erste Bild in den 2D-Objekterfasser eingeben, der dazu trainiert werden kann, den 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 aus der Perspektive des ersten Bildsensors 145 auszugeben. Das heißt, der 2D-Ground-Truth-Begrenzungsrahmen 405 wird durch Kontextinformationen beschrieben, die vier Ecken beinhalten, die als x- und z-Koordinaten in dem ersten Koordinatensystem ausgedrückt werden. In einem Beispiel, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 transformiert, kann der Remote-Computer 140 das zweite Bild in den 2D-Objekterfasser eingeben, der dazu trainiert werden kann, den 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 aus der Perspektive des zweiten Bildsensors 150 auszugeben. Das heißt, der 2D-Begrenzungsrahmen 405 wird durch Kontextinformationen beschrieben, die vier Ecken beinhalten, die als x- und z-Koordinaten in dem zweiten Koordinatensystem ausgedrückt werden.
Der Remote-Computer 140 kann einen Gesamtversatz durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes bestimmen. Das heißt, der Gesamtversatz kann eine Funktion, z. B. ein Durchschnitt, eine gewichtete Summe, ein gewichtetes Produkt usw., des Posenversatzes, des ersten Proj ektionsversatzes und des zweiten Projektionsversatzes sein. Beispielsweise kann der Gesamtversatz gemäß der nachstehenden Gleichung 1 bestimmt werden $G e s a m t v e r s a t z = λ_{1} P_{o} + \frac{λ_{2}}{2} (P_{ƒ} + P_{s})$
wobei P_o der Posenversatz ist, P_f der erste Projektionsversatz ist, P_s der zweite Projektionsversatz ist und λ₁, λ₂ Verlustgewichtungen sind, z.B. zwischen 0 und 1. Die Verlustgewichtungen λ₁, λ₂ können auf Grundlage von empirischen Tests vorbestimmt sein, um zu bestimmen, wie stark der Posenversatz, der erste Projektionsversatz und ein zweiter Projektionsversatz die Generierung einer Sechs-DoF-Pose für ein Objekt 155 beeinflussen.
Der Remote-Computer 140 kann Parameter einer Verlustfunktion auf Grundlage des Gesamtversatzes aktualisieren. Die Rückpropagierung kann eine Verlustfunktion auf Grundlage der ersten Sechs-DoF-Pose und der zweiten Sechs-DoF-Pose berechnen. Eine Verlustfunktion ist eine mathematische Funktion, die Werte, wie etwa die erste und die zweite Sechs-DoF-Pose, als reelle Zahlen abbildet, die verglichen werden können, um Kosten während des Trainings zu bestimmen. In diesem Beispiel sind die Kosten der Gesamtversatz. Die Verlustfunktion bestimmt, wie genau die erste Sechs-DoF-Pose mit der zweiten Sechs-DoF-Pose übereinstimmt, und wird verwendet, um die Parameter oder Gewichtungen einzustellen, die das DNN steuern.
Die Parameter oder Gewichtungen beinhalten Koeffizienten, die von linearen und/oder nicht linearen Gleichungen verwendet werden, die in vollverbundenen Schichten beinhaltet sind. Vollverbundene Schichten verarbeiten die latenten Variablen, die von anderen verborgenen Schichten ausgegeben werden. Nach dem Bestimmen des Gesamtversatzes kann der Remote-Computer 140 die Parameter der Verlustfunktion aktualisieren. Beispielsweise kann der Remote-Computer 140 diese Parameter oder Gewichtungen systematisch variieren und die Ausgabeergebnisse mit einem gewünschten Ergebnis vergleichen, das die Verlustfunktion minimiert. Als Ergebnis des Variierens der Parameter oder Gewichtungen über eine Vielzahl von Versuchen über eine Vielzahl von Eingabebildern hinweg kann ein Satz von Parametern oder Gewichtungen bestimmt werden, der ein Ergebnis erzielt, das die Verlustfunktion minimiert. Als ein anderes Beispiel kann der Remote-Computer 140 Parameter der Verlustfunktion durch Anwenden eines Gradientenabstiegs auf die Verlustfunktion optimieren. Der Gradientenabstieg berechnet einen Gradienten der Verlustfunktion in Bezug auf die aktuellen Parameter. Der Gradient gibt eine Richtung und einen Betrag zum Bewegen entlang der Verlustfunktion an, um einen neuen Satz von Parametern zu bestimmen. Das heißt, der Remote-Computer 140 kann einen neuen Satz von Parametern auf Grundlage des Gradienten und der Verlustfunktion bestimmen. Durch Anwenden des Gradientenabstiegs verringert sich eine Zeitdauer für das Trainieren durch Verwenden der Verlustfunktion zum Identifizieren spezifischer Einstellungen der Parameter im Gegensatz zum zufälligen Auswählen neuer Parameter.
Der Remote-Computer 140 kann dann die aktualisierten Parameter an das DNN 200 bereitstellen. Der Remote-Computer 140 kann dann einen aktualisierten Gesamtversatz auf Grundlage des ersten und zweiten Bildes und des aktualisierten DNN 200 bestimmen. Beispielsweise kann der Remote-Computer 140 das erste Bild in das aktualisierte DNN 200 eingeben, das eine aktualisierte erste Sechs-DoF-Pose des Objekts 155 aus der Perspektive des ersten Bildsensors 145 ausgeben kann. Zusätzlich kann der Remote-Computer 140 das zweite Bild in das aktualisierte DNN 200 eingeben, das eine aktualisierte zweite Sechs-DoF-Pose des Objekts 155 aus der Perspektive des zweiten Bildsensors 150 ausgeben kann. Der Remote-Computer 140 kann dann einen aktualisierten Posenversatz auf Grundlage der aktualisierten ersten und zweiten Sechs-DoF-Posen bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Bestimmen des Posenversatzes erörtert. Ferner kann der Remote-Computer 140 einen aktualisierten ersten und zweiten Projektionsversatz auf Grundlage der aktualisierten ersten und zweiten Sechs-DoF-Pose bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Bestimmen des jeweiligen Projektionsversatzes erörtert. Der Remote-Computer 140 kann dann den aktualisierten Posenversatz, den aktualisierten ersten Projektionsversatz und den aktualisierten zweiten Projektionsversatz bestimmen, z. B. gemäß der vorstehenden Gleichung 1, um den aktualisierten Gesamtversatz zu bestimmen.
Der Remote-Computer 140 kann anschließend aktualisierte Parameter bestimmen, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Aktualisieren der Parameter der Verlustfunktion erörtert, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist. Das heißt, Parameter, welche die Verarbeitung durch das DNN 200 steuern, werden variiert, bis die ausgegebenen ersten Sechs-DoF-Posen innerhalb des vorbestimmten Schwellenwerts mit den ausgegebenen zweiten Sechs-DoF-Posen für jedes der Vielzahl von Objekten in dem Trainingsdatensatz übereinstimmen. Der vorbestimmte Schwellenwert kann z. B. auf Grundlage von empirischen Tests bestimmt werden, um einen maximalen Gesamtversatz zu bestimmen, bei dem ein Fahrzeugcomputer 110 ein Fahrzeug 105 betreiben kann, ohne auf erfasste Objekte zu treffen (z. B. auf Grundlage einer Auflösung in den Daten der Sensoren 115). Nach dem Bestimmen des Gesamtversatzes kann der Remote-Computer 140 den Gesamtversatz mit dem vorbestimmten Schwellenwert vergleichen. Der vorbestimmte Schwellenwert kann z. B. in einem Speicher des Remote-Computers 140 gespeichert sein. Wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist, wird das DNN 200 dazu trainiert, ein monokulares Bild 202, das ein Objekt beinhaltet, als Eingabe anzunehmen und eine Sechs-DoF-Pose des Objekts 210 zu generieren.
5 ist ein Diagramm eines beispielhaften Prozesses 500 zum Trainieren eines neuronalen Netzes, um ein monokulares Bild als Eingabe anzunehmen und eine Sechs-DoF-Pose eines in dem monokularen Bild beinhalteten Objekts zu generieren. Der Prozess 500 beginnt in einem Block 505. Der Prozess 500 kann durch einen Remote-Computer 140 ausgeführt werden, der in einem Speicher davon gespeicherte Programmanweisungen ausführt.
In dem Block 505 empfängt der Remote-Computer 140 das erste Bild von einem ersten Bildsensor 145 und das zweite Bild von einem zweiten Bildsensor 150, z. B. über das Netzwerk 135. Das erste und das zweite Bild beinhalten jeweils ein Objekt 155. Das zweite Bild stellt eine andere Perspektive des Objekts 155 als das erste Bild bereit, wie vorstehend erörtert. Der Prozess 500 geht zu einem Block 510 über.
In dem Block 510 bestimmt der Remote-Computer 140 eine erste Sechs-DoF-Pose des Objekts 155 aus der Perspektive des ersten Bildsensors 145. Beispielsweise kann der Remote-Computer 140 das erste Bild in das DNN 200 eingeben, das die erste Sechs-DoF-Pose des Objekts 155 und erste Abmessungen für das Objekt 155 aus der Perspektive des ersten Bildsensors 145 ausgibt. Die erste Sechs-DoF-Pose kann in Koordinaten eines ersten Koordinatensystems bestimmt werden, wie vorstehend erörtert.
Darüber hinaus bestimmt der Remote-Computer 140 eine zweite Sechs-DoF-Pose des Objekts 155 aus der Perspektive des zweiten Bildsensors 150. Beispielsweise kann der Remote-Computer 140 das zweite Bild in das DNN 200 eingeben, das die zweite Sechs-DoF-Pose des Objekts 155 und zweite Abmessungen für das Objekt 155 aus der Perspektive des zweiten Bildsensors 150 ausgibt. Die zweite Sechs-DoF-Pose kann in Koordinaten eines zweiten Koordinatensystems bestimmt werden, wie vorstehend erörtert. Der Prozess 500 geht zu einem Block 515 über.
In dem Block 515 kann der Remote-Computer 140 einen ersten 3D-Begrenzungsrahmen 320 für das Objekt 155 auf Grundlage der ersten Sechs-DoF-Pose und der ersten Abmessungen generieren. Die erste Sechs-DoF-Pose kann die Mitte des ersten 3D-Begrenzungsrahmens 320 sein und der Remote-Computer 140 kann die Koordinaten der Ecken des ersten 3D-Begrenzungsrahmens 320 anhand der ersten Abmessungen bestimmen, z. B. unter Verwendung einer geometrischen Transformation, wie vorstehend erörtert.
Zusätzlich generiert der Remote-Computer 140 einen zweiten 3D-Begrenzungsrahmen 325 für das Objekt 155 auf Grundlage der zweiten Sechs-DoF-Pose und der zweiten Abmessungen. Die zweite Sechs-DoF-Pose kann die Mitte des zweiten 3D-Begrenzungsrahmens 325 sein und der Remote-Computer 140 kann die Koordinaten der Ecken des zweiten 3D-Begrenzungsrahmens 325 anhand der zweiten Abmessungen bestimmen, z. B. unter Verwendung einer geometrischen Transformation, wie vorstehend erörtert. Der Prozess 500 geht zu einem Block 520 über.
In dem Block 520 transformiert der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors 150 im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors 145. Der Remote-Computer 140 kann die Sechs-DoF-Pose des ersten Bildsensors 145 mit der Sechs-DoF-Pose des zweiten Bildsensors 150 vergleichen, um einen Transformationsversatz zu bestimmen, wie vorstehend erörtert. Der Remote-Computer 140 kann dann einen transformierten 3D-Begrenzungsrahmen durch Kombinieren des zweiten 3D-Begrenzungsrahmens 325 und des Transformationsversatzes generieren, z. B. unter Verwendung einer geometrischen Transformation, wie vorstehend erörtert. In dieser Situation wird der transformierte 3D-Begrenzungsrahmen in Koordinaten des ersten Koordinatensystems bestimmt.
Alternativ kann der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors 150 im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors 145 transformieren, wie vorstehend erörtert. In dieser Situation wird der transformierte 3D-Begrenzungsrahmen in Koordinaten des zweiten Koordinatensystems bestimmt. Der Prozess 500 geht zu einem Block 525 über.
In dem Block 525 bestimmt der Remote-Computer 140 in einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen transformiert, einen Posenversatz zwischen dem ersten 3D-Begrenzungsrahmen 320 mit dem transformierten 3D-Begrenzungsrahmen. Der Remote-Computer 140 kann eine Differenz zwischen entsprechenden Koordinaten des ersten 3D-Begrenzungsrahmens 320 und des transformierten 3D-Begrenzungsrahmens bestimmen, wie vorstehend erörtert. Der Posenversatz wird anhand der Differenz bestimmt. Alternativ bestimmt der Remote-Computer 140 in einem Beispiel, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen transformiert, den Posenversatz zwischen dem zweiten 3D-Begrenzungsrahmen und dem transformierten 3D-Begrenzungsrahmen, z. B. im Wesentlichen auf die gleiche Weise, wie unmittelbar vorstehend erörtert. Der Prozess 500 geht zu einem Block 530 über.
In dem Block 530 generiert der Remote-Computer 140 einen ersten 2D-Begrenzungsrahmen 410 auf Grundlage des ersten 3D-Begrenzungsrahmens 320 in einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 transformiert. Beispielsweise kann der Remote-Computer 140 den ersten 2D-Begrenzungsrahmen 410 durch Rendern des ersten 3D-Begrenzungsrahmens 320 generieren, wie vorstehend erörtert. Als ein anderes Beispiel kann der Remote-Computer 140 die x- und z-Koordinaten jedes Merkmals in dem ersten 3D-Begrenzungsrahmen 320 in einer 2D-Ebene auftragen, z. B. einer durch den ersten Bildsensor 145 definierten Bildebene. Alternativ kann der Remote-Computer 140 den ersten 2D-Begrenzungsrahmen auf Grundlage des transformierten 3D-Begrenzungsrahmens in einem Beispiel generieren, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 transformiert hat, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend erörtert.
Zusätzlich generiert der Remote-Computer 140 einen zweiten 2D-Begrenzungsrahmen 415 auf Grundlage des transformierten 3D-Begrenzungsrahmens in einem Beispiel, in dem der Remote-Computer 140 den zweiten 3D-Begrenzungsrahmen 325 transformiert hat, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend in Bezug auf das Generieren des ersten 2D-Begrenzungsrahmens 410 erörtert. Alternativ kann der Remote-Computer 140 den zweiten 2D-Begrenzungsrahmen auf Grundlage des zweiten 3D-Begrenzungsrahmens 325 in einem Beispiel generieren, in dem der Remote-Computer 140 den ersten 3D-Begrenzungsrahmen 320 transformiert hat, z. B. im Wesentlichen auf die gleiche Weise, wie vorstehend erörtert. Der Prozess 500 geht zu einem Block 535 über.
In dem Block 535 bestimmt der Remote-Computer 140 einen ersten Projektionsversatz zwischen dem ersten 2D-Begrenzungsrahmen 410 und einem 2D-Ground-Truth-Begrenzungsrahmen 405 anhand einer Differenz zwischen entsprechenden Koordinaten des ersten 2D-Begrenzungsrahmens 410 und des 2D-Ground-Truth-Begrenzungsrahmens 405, wie vorstehend erörtert. Ein 2D-Obj ekterfasser kann verwendet werden, um den 2D-Ground-Truth-Begrenzungsrahmen 405 für das Objekt 155 zu generieren, wie vorstehend erörtert. Zusätzlich bestimmt der Remote-Computer 140 einen zweiten Projektionsversatz zwischen dem zweiten 2D-Begrenzungsrahmen 415 und dem 2D-Ground-Truth-Begrenzungsrahmen 405, z. B. im Wesentlichen auf die gleiche Weise wie beim Bestimmen des ersten Posenversatzes. Der Prozess 500 geht zu einem Block 540 über.
In dem Block 540 bestimmt der Remote-Computer 140, ob ein Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist. Der Remote-Computer 140 bestimmt den Gesamtversatz durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes, z. B. gemäß Gleichung 1, wie vorstehend erörtert. Falls der Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist, dann geht der Prozess 500 zu einem Block 550 über. Andernfalls geht der Prozess 500 zu einem Block 545 über.
In dem Block 545 aktualisiert der Remote-Computer 140 Parameter einer Verlustfunktion auf Grundlage des Gesamtversatzes, wie vorstehend erörtert. Der Remote-Computer 140 kann dann die aktualisierten Parameter an das DNN 200 bereitstellen. Der Prozess 500 kehrt zu dem Block 510 zurück.
In dem Block 550 bestimmt der Remote-Computer 140, dass das DNN 200 dazu trainiert ist, eine Sechs-DoF-Pose für ein Objekt 210 auszugeben. Der Remote-Computer 140 kann dann das DNN 200, z. B. Daten, die das DNN 200 beschreiben, an einen Fahrzeugcomputer 110 bereitstellen, z. B. über das Netzwerk 135. Nach dem Block 550 endet der Prozess 500.
6 ist ein Diagramm eines beispielhaften Prozesses 600 zum Bestimmen einer Sechs-DoF-Pose eines Objekts um ein Fahrzeug 105 herum auf Grundlage eines monokularen Bildes. Der Prozess 600 beginnt in einem Block 605. Der Prozess 600 kann durch einen in dem Fahrzeug 105 beinhalteten Fahrzeugcomputer 110 ausgeführt werden, der in einem Speicher davon gespeicherte Programmanweisungen ausführt.
In dem Block 605 empfängt der Fahrzeugcomputer 110 Daten von einem oder mehreren Sensoren 115, z. B. über ein Fahrzeugnetzwerk. Beispielsweise kann der Fahrzeugcomputer 110 Bilddaten empfangen, z. B. von einem oder mehreren Bildsensoren 115. Die Bilddaten können Daten über die Umgebung um das Fahrzeug 105 herum beinhalten, z. B. über ein oder mehrere Objekte. Der Prozess 600 geht zu einem Block 610 über.
In dem Block 610 verwendet der Fahrzeugcomputer 110 das trainierte DNN 200, um eine Sechs-DoF-Pose eines Objekts 210 um das Fahrzeug 105 herum zu bestimmen. Beispielsweise kann der Fahrzeugcomputer 110 ein in dem Block 605 erlangtes Bild 202 in das DNN 200 eingeben. Die Bilddaten können ein Objekt um das Fahrzeug 105 herum beinhalten. Das DNN 200 kann die Sechs-DoF-Pose des Objekts 210 ausgeben. Der Prozess 600 geht zu einem Block 615 über.
In dem Block 615 betreibt der Fahrzeugcomputer 110 das Fahrzeug 105 auf Grundlage der Sechs-DoF-Pose des Objekts 210. Beispielsweise kann der Fahrzeugcomputer 110 einen geplanten Weg zum Umfahren des Objekts generieren, wie vorstehend erörtert. Der Fahrzeugcomputer 110 kann dann eine oder mehrere Fahrzeugkomponenten 125 betätigen, um das Fahrzeug entlang des geplanten Wegs zum Umfahren des Objekts zu bewegen. Nach dem Block 615 endet der Prozess 600.
Im vorliegenden Zusammenhang bedeutet das Adverb „im Wesentlichen“, dass eine Form, eine Struktur, ein Maß, eine Menge, eine Zeit usw. aufgrund von Mängeln bei Materialien, Bearbeitung, Herstellung, Datenübertragung, Rechengeschwindigkeit usw. von einer/einem genau beschriebenen Geometrie, Entfernung, Maß, Menge, Zeit usw. abweichen kann.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Zu Beispielen für Rechenvorrichtungen gehören unter anderem ein erster Bordcomputer, ein Computerarbeitsplatz, ein Server, ein Desktop-, Notebook-, Laptop- oder Handheld-Computer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Computer und Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -techniken erstellt werden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Perl, HTML usw. Einige dieser Anwendungen können auf einer virtuellen Maschine, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen, kompiliert und ausgeführt werden. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hier beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein Speicher kann ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhalten, das ein beliebiges dauerhaftes (z. B. materielles) Medium beinhaltet, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien und flüchtiger Medien. Nichtflüchtige Medien können beispielsweise optische und magnetische Platten und andere persistente Speicher beinhalten. Flüchtige Medien können zum Beispiel einen dynamischen Direktzugriffsspeicher (DRAM) beinhalten, der typischerweise einen Hauptspeicher bildet. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, aus denen ein Systembus besteht, der mit einem Prozessor einer ECU gekoppelt ist. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Datenbanken, Datendepots oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Satz von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem anwendereigenen Format, eines relationalen Datenbankverwaltungssystems (Relational Database Management System - RDBMS) usw. Jeder derartige Datenspeicher ist im Allgemeinen in einer Rechenvorrichtung beinhaltet, die ein Computerbetriebssystem einsetzt, wie etwa eines der vorstehend erwähnten, und darauf wird auf eine oder mehrere von vielfältigen Weisen über ein Netzwerk zugegriffen. Ein Dateisystem kann von einem Computerbetriebssystem aus zugänglich sein und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren, wie etwa der vorstehend erwähnten PL/SQL-Sprache, ein.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf damit assoziierten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass, auch wenn die Schritte derartiger Prozesse usw. als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden können, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge verschieden ist. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden können. Anders ausgedrückt, dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung gewisser Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, werden dem Fachmann beim Lesen der vorstehenden Beschreibung ersichtlich. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorstehende Beschreibung festgelegt werden, sondern stattdessen unter Bezugnahme auf die beigefügten Ansprüche in Verbindung mit dem vollen Äquivalenzumfang, zu dem diese Ansprüche berechtigen. Es wird erwartet und ist beabsichtigt, dass es zukünftige Entwicklungen im in dieser Schrift erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Erfindung modifiziert und variiert werden kann und ausschließlich durch die folgenden Ansprüche eingeschränkt ist.
Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen ersten Bildsensor, der derart positioniert ist, dass er ein erstes Bild eines Objekts erlangt; einen zweiten Bildsensor, der derart positioniert ist, dass er ein zweites Bild des Objekts erlangt; einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind zum: Eingeben des ersten Bildes in ein neuronales Netz, das eine erste Pose des Objekts in sechs Freiheitsgraden (DoF) aus einer Perspektive des ersten Bildsensors ausgibt; Eingeben des zweiten Bildes in das neuronale Netz, das eine zweite Sechs-DoF-Pose des Objekts aus einer Perspektive des zweiten Bildsensors ausgibt; Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen dreidimensionalen (3D) Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt wird; Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem zweidimensionalen (2D) Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird; Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird; Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes; und Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Bestimmen des Posenversatzes ferner Anweisungen zum: Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors auf Grundlage der ersten Sechs-DoF-Pose und erster Abmessungen; Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors auf Grundlage der zweiten Sechs-DoF-Pose und zweiter Abmessungen; und Vergleichen des ersten 3D-Begrenzungsrahmens mit dem zweiten 3D-Begrenzungsrahmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Bestimmen des Posenversatzes ferner Anweisungen zum Transformieren des zweiten 3D-Begrenzungsrahmens auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors.
Gemäß einer Ausführungsform wird der transformierte 3D-Begrenzungsrahmen in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Gemäß einer Ausführungsform wird der erste 3D-Begrenzungsrahmen in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Gemäß einer Ausführungsform wird der zweite 3D-Begrenzungsrahmen in Koordinaten eines zweiten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt, die jeweilige Ursprünge an dem zweiten Bildsensor aufweisen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Bestimmen der ersten Projektion können ferner Anweisungen zum: nach dem Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors Generieren des ersten 2D-Begrenzungsrahmens für das Objekt durch Projizieren des ersten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene; und Vergleichen des ersten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Bestimmen der zweiten Projektion ferner Anweisungen zum: nach dem Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors Transformieren des zweiten 3D-Begrenzungsrahmens auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors; dann Generieren des zweiten 2D-Begrenzungsrahmens für das Objekt durch Projizieren des transformierten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene; und Vergleichen des zweiten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt.
Gemäß einer Ausführungsform wird die erste Sechs-DoF-Pose in Koordinaten eines ersten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt.
Gemäß einer Ausführungsform wird die zweite Sechs-DoF-Pose in Koordinaten eines zweiten Koordinatensystems auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem zweiten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Aktualisieren von Parametern der Verlustfunktion, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist.
Gemäß einer Ausführungsform wird das neuronale Netz dazu trainiert, eine Sechs-DoF-Pose des Objekts auszugeben, wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist.
Gemäß einer Ausführungsform ist die Perspektive des zweiten Bildsensors quer und nicht orthogonal zu der Perspektive des ersten Bildsensors.
Gemäß einer Ausführungsform ist der erste Bildsensor um mindestens einen Meter von dem zweiten Bildsensor beabstandet.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Bestimmen einer ersten Pose eines Objekts in sechs Freiheitsgraden (DoF) aus einer Perspektive eines ersten Bildsensors mit einem neuronalen Netz; Bestimmen einer zweiten Sechs-DoF-Pose des Objekts aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz; Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen dreidimensionalen (3D) Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt wird; Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem zweidimensionalen (2D) Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird; Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird; Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Proj ektionsversatzes und des zweiten Projektionsversatzes; und Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
In einem Aspekt der Erfindung beinhaltet das Verfahren Aktualisieren von Parametern der Verlustfunktion, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist.
In einem Aspekt der Erfindung wird das neuronale Netz dazu trainiert, eine Sechs-DoF-Pose des Objekts auszugeben, wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist.
In einem Aspekt der Erfindung ist die Perspektive des zweiten Bildsensors quer und nicht orthogonal zu der Perspektive des ersten Bildsensors.
In einem Aspekt der Erfindung ist der erste Bildsensor um mindestens einen Meter von dem zweiten Bildsensor beabstandet.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das einen Computer beinhaltet, der einen Prozessor und einen Speicher beinhaltet, wobei der in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind zum: Bestimmen einer ersten Pose eines Objekts in sechs Freiheitsgraden (DoF) aus einer Perspektive eines ersten Bildsensors mit einem neuronalen Netz; Bestimmen einer zweiten Sechs-DoF-Pose des Objekts aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz; Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen dreidimensionalen (3D) Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt wird; Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem zweidimensionalen (2D) Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird; Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird; Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes; und Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.

Claims

Verfahren, umfassend: Bestimmen einer ersten Pose eines Objekts in sechs Freiheitsgraden (DoF) aus einer Perspektive eines ersten Bildsensors mit einem neuronalen Netz; Bestimmen einer zweiten Sechs-DoF-Pose des Objekts aus einer Perspektive eines zweiten Bildsensors mit dem neuronalen Netz; Bestimmen eines Posenversatzes zwischen der ersten und der zweiten Sechs-DoF-Pose durch Bestimmen einer Differenz zwischen jeweiligen dreidimensionalen (3D) Begrenzungsrahmen für das Objekt, die auf Grundlage der ersten und der zweiten Sechs-DoF-Pose bestimmt werden; Bestimmen eines ersten Projektionsversatzes durch Bestimmen einer Differenz zwischen einem zweidimensionalen (2D) Ground-Truth-Begrenzungsrahmen für das Objekt und einem ersten 2D-Begrenzungsrahmen, der anhand der ersten Sechs-DoF-Pose generiert wird; Bestimmen eines zweiten Projektionsversatzes durch Bestimmen einer Differenz zwischen dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt und einem zweiten 2D-Begrenzungsrahmen, der anhand der zweiten Sechs-DoF-Pose generiert wird; Bestimmen eines Gesamtversatzes durch Kombinieren des Posenversatzes, des ersten Projektionsversatzes und des zweiten Projektionsversatzes; und Aktualisieren von Parametern einer Verlustfunktion auf Grundlage des Gesamtversatzes und Bereitstellen der aktualisierten Parameter an das neuronale Netz, um einen aktualisierten Posenversatz, einen aktualisierten ersten Projektionsversatz und einen aktualisierten zweiten Projektionsversatz zu erlangen, die dann kombiniert werden, um einen aktualisierten Gesamtversatz zu erlangen.
Verfahren nach Anspruch 1, ferner umfassend: Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors auf Grundlage der ersten Sechs-DoF-Pose und erster Abmessungen; Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors auf Grundlage der zweiten Sechs-DoF-Pose und zweiter Abmessungen; und Vergleichen des ersten 3D-Begrenzungsrahmens mit dem zweiten 3D-Begrenzungsrahmen.
Verfahren nach Anspruch 2, ferner umfassend Transformieren des zweiten 3D-Begrenzungsrahmens auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors.
Verfahren nach Anspruch 3, wobei der transformierte 3D-Begrenzungsrahmen in Koordinaten eines ersten Koordinatenverfahrens auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt wird, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Verfahren nach Anspruch 2, wobei der erste 3D-Begrenzungsrahmen in Koordinaten eines ersten Koordinatenverfahrens auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt wird, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Verfahren nach Anspruch 2, wobei der zweite 3D-Begrenzungsrahmen in Koordinaten eines zweiten Koordinatenverfahrens auf Grundlage von orthogonalen x-, y- und z-Achsen bestimmt wird, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen.
Verfahren nach Anspruch 1, ferner umfassend: nach dem Generieren eines ersten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des ersten Bildsensors Generieren des ersten 2D-Begrenzungsrahmens für das Objekt durch Projizieren des ersten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene; und Vergleichen des ersten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt.
Verfahren nach Anspruch 1, ferner umfassend: nach dem Generieren eines zweiten 3D-Begrenzungsrahmens für das Objekt aus der Perspektive des zweiten Bildsensors Transformieren des zweiten 3D-Begrenzungsrahmens auf Grundlage einer Sechs-DoF-Pose des zweiten Bildsensors im Verhältnis zu einer Sechs-DoF-Pose des ersten Bildsensors; dann Generieren des zweiten 2D-Begrenzungsrahmens für das Objekt durch Projizieren des transformierten 3D-Begrenzungsrahmens in eine durch den ersten Bildsensor definierte Bildebene; und Vergleichen des zweiten 2D-Begrenzungsrahmens für das Objekt mit dem 2D-Ground-Truth-Begrenzungsrahmen für das Objekt.
Verfahren nach Anspruch 1, wobei die erste Sechs-DoF-Pose in Koordinaten eines ersten Koordinatenverfahrens auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem ersten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt wird.
Verfahren nach Anspruch 1, wobei die zweite Sechs-DoF-Pose in Koordinaten eines zweiten Koordinatenverfahrens auf Grundlage von orthogonalen x-, y- und z-Achsen, die jeweilige Ursprünge an dem zweiten Bildsensor aufweisen, und Roll-, Nick- und Gierdrehungen um die x-, y- bzw. z-Achsen bestimmt wird.
Verfahren nach Anspruch 1, ferner umfassend Aktualisieren von Parametern der Verlustfunktion, bis der aktualisierte Gesamtversatz kleiner als ein vorbestimmter Schwellenwert ist.
Verfahren nach Anspruch 11, wobei das neuronale Netz dazu trainiert wird, eine Sechs-DoF-Pose des Objekts auszugeben, wenn der aktualisierte Gesamtversatz kleiner als der vorbestimmte Schwellenwert ist.
Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-12 auszuführen.
Computerprogrammprodukt, umfassend Anweisungen zum Ausführen des Verfahrens nach einem der Ansprüche 1-12.
Fahrzeug, umfassend einen Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-12 auszuführen.