DE102019129101A1

DE102019129101A1 - Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt

Info

Publication number: DE102019129101A1
Application number: DE102019129101.1A
Authority: DE
Inventors: Srinidhi Simha
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-04-29

Abstract

Verfahren und System zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, unter Verwendung von Bilddaten, die von einer Bildaufnahmevorrichtung aufgenommen werden. Ferner zum Bestimmen der relativen Position und der relativen Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der Bilddaten unter Verwendung einer Optischer-Fluss-Technik und Bestimmen der nächsten Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand der Bilddaten berechnet werden. Ferner das Bestimmen der Marke und des Modells des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers und das Erhalten der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs. Danach das Projizieren einer Bildrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf ein Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt, unter Verwendung von Bilddaten, insbesondere bei Anwendung auf autonome und halbautonome Fahrzeuge.
Allgemeiner Stand der Technik
Ein autonomes Fahrzeug muss die Ausrichtung, Position und Größe von Fahrzeugen schätzen, die sich in der Nähe des autonomen Fahrzeugs oder Ego-Fahrzeugs befinden. Das Schätzen der Ausrichtung und Position des nahegelegenen Fahrzeugs ist beim Manövrieren des Ego-Fahrzeugs kritisch.
Es gibt hier verschiedene Schwierigkeiten bei der Zielfahrzeugschätzung. Die erste besteht darin, dass der Referenzpunkt des Zielautomobils die Begrenzungsrahmeninformationen zusammen mit Bodensegmentationsdaten verwendet, wobei letztere eine Schätzung der Länge und Breite des Zielautomobils sind.
In dem US-Patent Nummer US 9.158.972 , erteilt an IBM, werden kalibrierte dreidimensionale Standorte eines Objekts (ein nahegelegenes Fahrzeug) in Bewegung in einem zweidimensionalen Bildsichtfeld einer Videodateneingabe verwendet, um die Richtung des Objekts als Funktion der Kamerakalibrierung und bestimmten Bewegung zwischen den bestimmten dreidimensionalen Standorten zu bestimmen. Das zweidimensionale Objektbild wird bei der Videodateneingabe durch ein objektartiges dreidimensionales polygonales Modell ersetzt, das einen projizierten Begrenzungsrahmen aufweist, der am Besten zu einem Begrenzungsrahmen eines Bildflecks passt, wobei das Modell in der bestimmten Fahrtrichtung ausgerichtet ist. Der Begrenzungsrahmen des Ersetzungsmodells wird dann skaliert, um zu dem Objektbildfleckbegrenzungsrahmen zu passen, und mit extrahierten Bildmerkmalen gerendert. Ähnlich lehrt das Europäische Patent Nummer EP 2.833.086 das Bestimmen der Entfernung und/oder Geschwindigkeit eines Zielobjekts anhand von Sichtreferenzpunkten und charakteristischer Merkmale, die anhand des Bilds identifiziert werden.
Die Bodenpunktprojektions- und Referenzpunktschätzung kann jedoch mit Fehlern behaftet sein, welche möglicherweise nicht die genaue Schätzung der Ausrichtung und Position des nahegelegenen Fahrzeugs liefern. Das Ergebnis ist, dass der Begrenzungsrahmen angibt, dass ein Fahrzeug weiter entfernt oder näher als die tatsächlichen Entfernungen sein kann, unter denen der Begrenzungsrahmen gemäß der vorherigen Technik erkannt wird. Dies schafft ein Problem, wenn das autonome oder halbautonome Fahrzeug bremst oder ein Ausweichmanöver in einer Notsituation durchführt.
Daher besteht ein lange gefühlter Bedarf an einem Verfahren und System zum Schätzen eines genauen Begrenzungsrahmens, der das Zielfahrzeug unter Verwendung von Bilddaten in einem dreidimensionalen Raum einschließt.
Kurzdarstellung der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt, unter Verwendung von Bilddaten, wie in den beigefügten Ansprüchen dargelegt ist.
In einer Ausführungsform der Erfindung wird ein Verfahren zum Schätzen der Position und Größe eines Zielfahrzeugs bereitgestellt, das folgende Schritte umfasst: Aufnehmen mehrerer Bilder durch eine Bildaufnahmevorrichtung von der Umgebung eines Ego-Fahrzeugs, wobei die Bilder das Zielfahrzeug umfassen; Bestimmen der relativen Position und der relativen Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik; und Bestimmen der nächsten Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden. Vorteilhafterweise wird die Schätzung des Begrenzungsrahmens unter Verwendung von DL/CNN (Deep Learning/Convoluted Neural Networks, Deep-Learning-/faltende neuronale Netzwerke) und NFORM (Near Field Object Reconstruction Module, Nahfeldobjektrekonstruktionsmodul) oder des Optischer-Fluss-Informationsmoduls anhand der aufgenommenen Bilddaten berechnet.
In einer Ausführungsform umfasst das Verfahren ferner das Bestimmen der Marke und des Modells des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers, wobei der Neuronalnetzwerk-Klassifizierer geschult ist, um die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben.
In einer Ausführungsform umfasst der Neuronalnetzwerk-Klassifizierer eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks.
In einer Ausführungsform umfasst das Verfahren ferner das Erhalten der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs, wobei die Länge und Breite des Zielfahrzeugs anhand der Marke und des Modells des Zielfahrzeugs durch Durchsuchen einer Datenbank, die die Marke und das Modell von Fahrzeugen zusammen mit deren Länge und Breite speichert, erhalten werden.
In einer Ausführungsform umfasst das Verfahren ferner das Projizieren einer Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einer oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs.
In einer Ausführungsform wird ein System zum Schätzen der Position und Größe eines Zielfahrzeugs bereitgestellt, das eine Bildaufnahmevorrichtung, einen Prozessor, der mit der Bildaufnahmevorrichtung wirkgekoppelt ist, und einen Speicher, der mit dem Prozessor wirkgekoppelt ist, umfasst.
In einer Ausführungsform ist die Bildaufnahmevorrichtung zum Aufnehmen mehrerer Bilder von der Umgebung eines Ego-Fahrzeugs ausgelegt, wobei die Bilder das Zielfahrzeug beinhalten.
In einer Ausführungsform ist der Prozessor zum Bestimmen der relativen Position und der relativen Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik und Bestimmen der nächsten Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden, ausgelegt.
In einer Ausführungsform ist der Prozessor ferner dafür ausgelegt, die Marke und das Modell des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers zu bestimmen. Der Neuronalnetzwerk-Klassifizierer umfasst eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks, wobei das neuronale Netzwerk durch den Prozessor implementiert wird. Ferner ist der Neuronalnetzwerk-Klassifizierer geschult, um die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben.
In einer Ausführungsform ist der Prozessor ferner dafür ausgelegt, die Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs durch Durchsuchen einer Datenbank zu erhalten, die in dem Speicher gespeichert ist, um die Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs zu erhalten.
In einer Ausführungsform ist der Prozessor ferner ausgelegt zum Projizieren einer Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einer oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs.
In einer Ausführungsform ist das Nahfeldobjektrekonstruktionsmodul zur 3D-Rekonstruktion der statischen Objekte und zum Erzeugen von Flussvektoren ausgelegt.
In einer Ausführungsform stellen die erzeugten Flussvektoren eine Kennzeichnung für die Bewegungsrichtung des Fahrzeugs bereit und bestimmen die Länge und/oder Breite des Fahrzeugs.
Figurenliste
Die Erfindung wird anhand der folgenden Beschreibung einer Ausführungsform davon, die nur beispielhaft gegeben ist, unter Bezugnahme auf die beigefügten Zeichnungen deutlicher verstanden werden, in welchen:

1 beispielhaft ein Flussdiagramm eines Verfahrens zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht;
2 beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei nur die Vorderseite oder Hinterseite des Fahrzeugs sichtbar ist, gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht;
3 beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei nur eine Seite des Fahrzeugs sichtbar ist, gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht;
4 beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei die Vorderseite oder Hinterseite des Fahrzeugs und eine Seite des Fahrzeugs sichtbar sind, gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht;
5 beispielhaft ein Zielfahrzeug und dessen Begrenzungsrahmenprojektion auf der Bodenebene gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht; und
6 ein Blockdiagramm eines Systems zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, gemäß einigen der Ausführungsformen der vorliegenden Erfindung veranschaulicht.

Ausführliche Beschreibung der Zeichnungen
Die vorliegende Erfindung bezieht sich auf ein Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt, unter Verwendung von Bilddaten. Genauer wird die Schätzung des Begrenzungsrahmens unter Verwendung von DL/CNN (Deep Learning/Convoluted Neural Networks) und NFORM (Optischer-Fluss-Informationen) anhand der aufgenommenen Bilddaten berechnet.
1 veranschaulicht beispielhaft ein Flussdiagramm eines Verfahrens zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, gemäß einigen der Ausführungsformen der vorliegenden Erfindung. Das Verfahren zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, umfasst folgende Schritte: Aufnehmen 101 mehrerer Bilder durch eine Bildaufnahmevorrichtung von der Umgebung eines Ego-Fahrzeugs, wobei die Bilder das Zielfahrzeug umfassen. Danach werden die relative Position des Zielfahrzeugs und die relative Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs bestimmt 102. Die Bestimmung 102 der relativen Position des Fahrzeugs und der relativen Bewegungsrichtung basiert auf der Verarbeitung der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik oder unter Verwendung eines NFORM (Nahfeldobjektrekonstruktionsmodul). Das Nahfeldobjektrekonstruktionsmodul ist ein separates Modul und ist einem CNN-Modul ähnlich. Das NFORM ist für 3D-Rekonstruktion der statischen Objekte und das Bereitstellen von Flussvektoren für dynamische Objekte verantwortlich. Im Zusammenhang der vorliegenden Erfindung stellt das NFORM die Flussvektoren für das Zielfahrzeug bereit, um die Bewegungsrichtung des Fahrzeugs zu erhalten und wiederum die Länge/Breite des Fahrzeugs anhand dieser Informationen zu bestimmen. Wie in 2-4 gezeigt ist, ist die Bewegungsrichtung als θ gezeigt und ist die relative Position als (x, y) gezeigt. Danach wird die nächste Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden, bestimmt 103.
Das Verfahren umfasst ferner den Schritt des Bestimmens 104 der Marke und des Modells des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers, wobei der Neuronalnetzwerk-Klassifizierer dafür geschult ist, die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben. Der Neuronalnetzwerk-Klassifizierer umfasst eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks. Das Verfahren umfasst ferner das Erhalten 105 der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs, wobei die Länge und Breite des Zielfahrzeugs anhand der Marke und des Modells des Zielfahrzeugs durch Durchsuchen einer Datenbank, die die Marke und das Modell von Fahrzeugen zusammen mit deren Länge und Breite speichert, erhalten werden.
Das Verfahren umfasst den Schritt des Projizierens 106 einer Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einer oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs.
2 veranschaulicht beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei nur die Vorderseite oder Hinterseite des Fahrzeugs sichtbar ist, gemäß einigen der Ausführungsformen der vorliegenden Erfindung. Die Bewegungsrichtung ist als θ gezeigt und die relative Position ist als (x, y) der Zielfahrzeuge 201a, 201b in Bezug auf das Ego-Fahrzeug 201c, 202c gezeigt. Die Begrenzungsrahmen 202a, 202b zeigen jeweils beispielhaft die Länge und Breite der Zielfahrzeuge 201a, 201b. Der Teil der Veranschaulichung links von dem Pfeil ist ein repräsentatives Bild der Fahrzeuge 201a, 201b und der Teil der Veranschaulichung links von dem Pfeil ist eine Begrenzungsrahmendarstellung 202a, 202b auf einer dreidimensionalen Karte bezüglich des Zielfahrzeugs 202c.
3 veranschaulicht beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei nur eine Seite des Fahrzeugs sichtbar ist, gemäß einigen der Ausführungsformen der vorliegenden Erfindung. Die Bewegungsrichtung ist als θ gezeigt und die relative Position ist als (x, y) der Zielfahrzeuge 301a, 301b in Bezug auf das Ego-Fahrzeug 301c, 302c gezeigt. Die Begrenzungsrahmen 302a, 302b zeigen jeweils beispielhaft die Länge und Breite der Zielfahrzeuge 301a, 301b. Der Teil der Veranschaulichung links von dem Pfeil ist ein repräsentatives Bild der Fahrzeuge 301a, 301b und der Teil der Veranschaulichung links von dem Pfeil ist eine Begrenzungsrahmendarstellung 302a, 302b auf einer dreidimensionalen Karte bezüglich des Zielfahrzeugs 302c.
4 veranschaulicht beispielhaft Zielfahrzeuge und deren jeweilige Begrenzungsrahmen, wobei die Vorderseite oder Hinterseite des Fahrzeugs und eine Seite des Fahrzeugs sichtbar sind, gemäß einigen der Ausführungsformen der vorliegenden Erfindung. Die Bewegungsrichtung ist als θ gezeigt und die relative Position ist als (x, y) der Zielfahrzeuge 401a, 401b in Bezug auf das Ego-Fahrzeug 401c, 402c gezeigt. Die Begrenzungsrahmen 402a, 402b zeigen jeweils beispielhaft die Länge und Breite der Zielfahrzeuge 401a, 401b. Der Teil der Veranschaulichung links von dem Pfeil ist ein repräsentatives Bild der Fahrzeuge 401a, 401b und der Teil der Veranschaulichung links von dem Pfeil ist eine Begrenzungsrahmendarstellung 402a, 402b auf einer dreidimensionalen Karte bezüglich des Zielfahrzeugs 402c.
5 veranschaulicht beispielhaft ein Zielfahrzeug und dessen Begrenzungsrahmenprojektion auf der Bodenebene gemäß einigen der Ausführungsformen der vorliegenden Erfindung. Die nächste Stelle des Zielfahrzeugs 501 ist als (x, y) gezeigt, die Bodensegmentationsdaten, die auf dem Boden abgebildet sind, sind als 502 gezeigt. Die Bodenebene ist als 504 gezeigt und die Projektion der Länge L und der Breite W des Zielfahrzeugs 501 auf der Bodenebene ist als 503 gezeigt.
Das System zum Schätzen der Position und Größe eines Zielfahrzeugs umfasst eine Bildaufnahmevorrichtung 603, einen Prozessor 601, der mit der Bildaufnahmevorrichtung 603 wirkgekoppelt ist, und einen Speicher 602, der mit dem Prozessor wirkgekoppelt ist.
Die Bildaufnahmevorrichtung 603 ist zum Aufnehmen mehrerer Bilder von der Umgebung eines Ego-Fahrzeugs ausgelegt, wobei die Bilder ein Zielfahrzeug beinhalten.
Der Prozessor 601 ist zum Bestimmen der relativen Position und der relativen Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik und Bestimmen der nächsten Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden, ausgelegt.
Der Prozessor 601 ist ferner dafür ausgelegt, die Marke und das Modell des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers zu bestimmen. Der Neuronalnetzwerk-Klassifizierer umfasst eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks, wobei das neuronale Netzwerk durch den Prozessor implementiert wird. Ferner ist der Neuronalnetzwerk-Klassifizierer dafür geschult, die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben.
Der Prozessor 601 ist ferner zum Erhalten der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs durch Durchsuchen einer Datenbank, die in dem Speicher 602 gespeichert ist, um die Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs zu erhalten, ausgelegt.
Der Prozessor 601 ist ferner zum Projizieren einer Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einer oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs ausgelegt.
Ferner wird ein Fachmann erkennen, dass die verschiedenen veranschaulichenden logischen/funktionalen Blöcke, Module, Schaltungen und Prozessschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben sind, als Elektronikhardware oder eine Kombination von Hardware und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination von Hardware und Software deutlich zu veranschaulichen, sind verschiedene veranschaulichende Komponenten, Blöcke, Module, Schaltungen und Schritte zuvor allgemein hinsichtlich ihrer Funktionalität beschrieben worden. Ob solch eine Funktionalität als Hardware oder eine Kombination von Hardware und Software implementiert wird, hängt von der Gestaltungswahl eines Fachmanns ab. Solch ein Fachmann kann die beschriebene Funktionalität für jede bestimmte Anwendung auf verschiedene Arten implementieren, jedoch sollten solche offensichtlichem Gestaltungswahlen nicht derart interpretiert werden, als dass sie ein Abweichen von dem Umfang der vorliegenden Erfindung bewirken.
Der in der vorliegenden Offenbarung beschriebene Prozess kann unter Verwendung verschiedener Mittel implementiert werden. Zum Beispiel kann die in der vorliegenden Offenbarung beschriebene Vorrichtung in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden. Für eine Hardwareimplementierung kann/können die Verarbeitungseinheiten oder (der) Prozessor(en) oder die Steuerung(en) innerhalb einer oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs, Application Specific Integrated Circuits), Digitalsignalprozessoren (DSPs), Digitalsignalverarbeitungsvorrichtungen (DSPDs, Digital Signal Processing Devices), programmierbarer Logikvorrichtungen (PLDs, Programmable Logic Devices), feldprogrammierbarer Gate-Arrays (FPGA, Field Programmable Gate Arrays), Prozessoren, Steuerungen, Mikrocontrollern, Mikroprozessoren, elektronischer Vorrichtungen, sonstiger elektronischer Einheiten, die ausgestaltet sind, um die hierin beschriebenen Funktionen durchzuführen, oder einer Kombination davon implementiert werden.
Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und von einem Prozessor ausgeführt werden. Der Speicher kann innerhalb der Prozessoreinheit oder extern bezüglich der Prozessoreinheit implementiert werden. So, wie er hierin verwendet wird, bezieht sich der Begriff „Speicher“ auf eine beliebige Art von flüchtigem Speicher oder nichtflüchtigem Speicher.
In der Beschreibung werden die Begriffe „umfassen, umfasst und umfassend“ oder eine beliebige Variation davon und die Begriffe „beinhalten, beinhaltet und beinhaltend“ oder eine beliebige Variation davon derart betrachtet, dass sie vollständig untereinander austauschbar sind und ihnen allesamt die umfassendste Interpretation zukommen sollte und umgekehrt.
Ein Fachmann würde erkennen, dass die vorherige Erfindung eine robuste und wirtschaftliche Lösung für die im Stand der Technik identifizierten Probleme liefert. Die Erfindung ist nicht auf die hierin zuvor beschriebenen Ausführungsformen beschränkt, sondern kann sowohl bezüglich der Konstruktion als auch im Detail verändert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9158972 [0004]
EP 2833086 [0004]

Claims

Verfahren zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt, bei einer Automobilanwendung, umfassend: Aufnehmen von mehreren Bildern durch eine Bildaufnahmevorrichtung von der Umgebung eines Ego-Fahrzeugs, wobei die Bilder das Zielfahrzeug umfassen; gekennzeichnet durch folgende Schritte: Bestimmen der relativen Position und der relativen Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik; Bestimmen der nächsten Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden; Bestimmen der Marke und des Modells des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers; Erhalten der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs; und Projizieren einer Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einer oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs.
Verfahren nach Anspruch 1, wobei der Neuronalnetzwerk-Klassifizierer eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks umfasst.
Verfahren nach Anspruch 1 oder 2, wobei der Neuronalnetzwerk-Klassifizierer dafür geschult ist, die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben.
Verfahren nach einem vorherigen Anspruch, wobei die Länge und Breite des Zielfahrzeugs anhand der Marke und des Modells des Zielfahrzeugs durch Durchsuchen einer Datenbank, die die Marke und das Modell von Fahrzeugen zusammen mit deren Länge und Breite speichert, erhalten werden.
Verfahren nach einem der vorherigen Ansprüche, wobei die optische Flusstechnik ein Nahfeldobjektrekonstruktionsmodul umfasst.
Verfahren nach Anspruch 5, wobei das Nahfeldobjektrekonstruktionsmodul zur 3D-Rekonstruktion der statischen Objekte und zum Erzeugen von Flussvektoren ausgelegt ist.
Verfahren nach Anspruch 6, wobei die erzeugten Flussvektoren eine Kennzeichnung für die Bewegungsrichtung des Fahrzeugs bereitstellen und die Länge und/oder Breite des Fahrzeugs bestimmen.
System zum Schätzen eines Begrenzungsrahmens, der das Zielfahrzeug einschließt, bei einer Automobilanwendung, umfassend: eine Bildaufnahmevorrichtung zum Aufnehmen mehrerer Bilder durch eine Bildaufnahmevorrichtung von der Umgebung eines Ego-Fahrzeugs, wobei die Bilder das Zielfahrzeug umfassen, gekennzeichnet durch: einen Prozessor, der mit der Bildaufnahmevorrichtung wirkgekoppelt ist, wobei der Prozessor ausgelegt ist, um: die relative Position und die relative Bewegungsrichtung des Zielfahrzeugs bezüglich des Ego-Fahrzeugs auf Grundlage der mehreren Bilder unter Verwendung einer Optischer-Fluss-Technik zu bestimmen; die nächste Stelle des Zielfahrzeugs in Bezug auf das Ego-Fahrzeug unter Verwendung von Bodensegmentationsdaten, die anhand von einem oder mehreren der aufgenommenen Bilder berechnet werden, zu bestimmen; die Marke und das Modell des Zielfahrzeugs unter Verwendung eines Neuronalnetzwerk-Klassifizierers zu bestimmen; die Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs zu erhalten; und eine Begrenzungsrahmendarstellung bezüglich des Ego-Fahrzeugs auf eine dreidimensionale Karte auf Grundlage von einem oder mehreren der bestimmten relativen Position, der bestimmten relativen Bewegungsrichtung, der bestimmten nächsten Stelle und der erhaltenen Länge und Breite des Zielfahrzeugs zu projizieren.
System nach Anspruch 8, wobei der Neuronalnetzwerk-Klassifizierer eines eines Deep-Learning neuronalen Netzwerks oder eines faltenden neuronalen Netzwerks umfasst.
System nach Anspruch 8 oder 9, wobei der Neuronalnetzwerk-Klassifizierer dafür geschult ist, die Zielfahrzeugmarke und das Zielfahrzeugmodell anhand eines Bilds des Zielfahrzeugs, das anhand der aufgenommenen Bilder erhalten wird, auszugeben.
System nach Anspruch 9, 10 oder 11, ferner umfassend eine Datenbank zum Speichern der Marke und des Modells von Fahrzeugen zusammen mit deren Länge und Breite, wobei die Datenbank in einem Speicher gespeichert ist, der mit dem Prozessor wirkverbunden ist, wobei der Prozessor ferner zum Durchsuchen der Datenbank zum Erhalten der Länge und Breite des Zielfahrzeugs auf Grundlage der Marke und des Modells des Zielfahrzeugs ausgelegt ist.
System nach einem der Ansprüche 6 bis 11, wobei die optische Flusstechnik ein Nahfeldobjektrekonstruktionsmodul umfasst.
System nach Anspruch 12, wobei das Nahfeldobjektrekonstruktionsmodul zur 3D-Rekonstruktion der statischen Objekte und zum Erzeugen von Flussvektoren ausgelegt ist.
System nach Anspruch 13, wobei die erzeugten Flussvektoren eine Kennzeichnung für die Bewegungsrichtung des Fahrzeugs bereitstellen und die Länge und/oder Breite des Fahrzeugs bestimmen.
Computerlesbares Medium, wobei das computerlesbare Medium Computercodes umfasst, wobei die Computercodes bewirken, dass ein oder mehrere Prozessoren das Verfahren nach einem der Ansprüche 1-7 ausführen.