-
Die Erfindung betrifft ein Verfahren zum Ermitteln einer Orientierung eines Fahrzeugs relativ zu einem Kraftfahrzeug.
-
Die
DE 10 2012 223 121 A1 offenbart ein Verfahren zur Verfolgung wenigstens eines Objekts mittels wenigstens eines nachführbaren bildgebenden Sensors, mittels welchem das wenigstens eine Objekt erfasst wird.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, mittels welchem auf besonders einfache und somit schnelle Weise eine Orientierung eines sich in einer Umgebung eines Kraftfahrzeugs befindenden Fahrzeugs relativ zu dem Kraftfahrzeug ermittelt werden kann.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
-
Das erfindungsgemäße Verfahren zum Ermitteln einer Orientierung eines sich in einer Umgebung eines auch als Ego-Fahrzeug oder Ego-Kraftfahrzeug bezeichneten Kraftfahrzeugs befindenden Fahrzeugs relativ zu dem Ego-Fahrzeug umfasst einen ersten Schritt, bei welchem wenigstens ein Bild zumindest eines das Fahrzeug umfassenden Teilbereiches der Umgebung mittels einer Kamera des Ego-Fahrzeugs erfasst wird. Mit anderen Worten erfasst die Kamera des Ego-Fahrzeugs zumindest einen Teilbereich der Umgebung des Ego-Fahrzeugs, wobei sich das Fahrzeug in dem Teilbereich befindet. Durch das Erfassen des Teilbereichs wird mittels der Kamera des Ego-Fahrzeugs ein Bild des Teilbereichs erfasst beziehungsweise erzeugt. Die Kamera stellt beispielsweise das erfasste Bild beziehungsweise Bilddaten, welche das erfasste Bild charakterisieren, bereit.
-
Bei einem zweiten Schritt des Verfahrens wird das Bild mittels wenigstens eines künstlichen neuronalen Netzes, welches auch als künstliches neuronales Netzwerk (KNN) bezeichnet wird, analysiert. Hierdurch wird in dem Bild eine zweidimensionale erste Begrenzungsmarkierung geschätzt beziehungsweise ermittelt, wobei die zweidimensionale erste Begrenzungsmarkierung eine erste Seite des beispielsweise auf dem Bild abgebildeten Fahrzeugs umgibt beziehungsweise umhüllt oder umgrenzt. Außerdem wird durch das Analysieren des Bilds in dem Bild eine zweidimensionale zweite Begrenzungsmarkierung geschätzt beziehungsweise ermittelt, welche eine von der ersten Seite unterschiedliche zweite Seite des beispielsweise auf dem Bild abgebildeten Fahrzeugs umgibt, umhüllt beziehungsweise umgrenzt. Die jeweilige, zweidimensionale Begrenzungsmarkierung ist beispielsweise ein Rechteck und wird auch als 2D-Box oder 2D-Bounding-Box bezeichnet. Bei einem dritten Schritt des Verfahrens werden die zweidimensionalen Begrenzungsmarkierungen miteinander kombiniert, wodurch in Abhängigkeit von einem Verhältnis der miteinander kombinierten, zweidimensionalen Begrenzungsmarkierungen zueinander die Orientierung des Fahrzeugs relativ zu dem Ego-Fahrzeug ermittelt wird.
-
Mit anderen Worten werden durch das Analysieren des Bilds und somit mittels des künstlichen neuronalen Netzes in dem Bild beziehungsweise in dem das Bild charakterisierenden Bilddaten die 2D-Bounding-Boxen ermittelt, detektiert oder erzeugt, insbesondere durch Schätzen beziehungsweise Abschätzen. Die jeweilige 2D-Bounding-Box umgibt beziehungsweise umgrenzt die jeweilige Seite und beinhaltet somit zumindest einen Teil des sich in der Umgebung des Ego-Fahrzeugs befindenden Fahrzeugs. Die vorigen und folgenden Ausführungen zu dem Fahrzeug können ohne weiteres auch auf andere, sich in der Umgebung des Ego-Fahrzeugs befindende Objekte, insbesondere Verkehrsteilnehmer, übertragen werden und umgekehrt. Beispielsweise ist die erste Seite die Vorder- oder Rückseite des Fahrzeugs, wobei die zweite Seite beispielsweise die rechte oder linke Seite des Fahrzeugs ist. Diese 2D-Bounding-Boxen werden miteinander kombiniert, wodurch anschließend aus dem Verhältnis, insbesondere aus einem Seitenverhältnis, der kombinierten 2D-Bounding-Boxen die Orientierung des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, ermittelt beziehungsweise bestimmt wird.
-
Ferner ist es denkbar, dass, insbesondere durch eine Transformation, anhand der, insbesondere miteinander kombinierte, 2D-Bounding-Boxen eine auch als 3D-Box oder 3D-Bounding-Box bezeichnete, dreidimensionale und quaderförmige Begrenzungsmarkierung bestimmt, ermittelt oder detektiert wird, insbesondere in dem Bild beziehungsweise in den Bilddaten. Insbesondere wird die 3D-Bounding-Box dadurch ermittelt oder erzeugt, dass die zweidimensionalen Begrenzungsmarkierungen, insbesondere zu der dreidimensionalen, quaderförmigen Begrenzungsmarkierung, miteinander kombiniert werden. Die 3D-Bounding-Box umgibt, umgrenzt oder umhüllt beispielsweise, insbesondere in dem Bild beziehungsweise in den Bilddaten, das, insbesondere auf dem Bild abgebildete, Fahrzeug.
-
Vorzugsweise ist ferner eine Kombination mit einem, insbesondere entfernungsauflösenden, Umgebungssensor des Kraftfahrzeugs vorgesehen. Der Umgebungssensor wird einfach auch als Sensor bezeichnet und ist ein zusätzlich zu der Kamera vorgesehener Umgebungssensor, mittels welchem beispielsweise im Rahmen des erfindungsgemäßen Verfahrens das sich in der Umgebung befindende Fahrzeug erfasst wird. Beispielsweise handelt es sich bei dem Umgebungssensor um eine weitere Kamera, insbesondere um eine Stereo-Kamera. Ferner kann der Umgebungssensor als ein Laser-Sensor oder als ein Lidar-Sensor ausgebildet sein. Der Umgebungssensor stellt beispielsweise das mittels des Umgebungssensors erfasste Fahrzeug charakterisierende und einfach auch als Daten bezeichnete Sensordaten bereit, welche beispielsweise der ermittelten Orientierung beziehungsweise wenigstens einer der 2D-Bounding-Boxen zugeordnet wird. Hierdurch kann beispielsweise auch in Abhängigkeit von den Sensordaten die Orientierung des Fahrzeugs besonders präzise ermittelt werden.
-
Als weiterhin vorteilhaft hat es sich gezeigt, wenn eine Position des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, ermittelt und der Orientierung zugeordnet wird. Dadurch können mittels des erfindungsgemäßen Verfahrens auf einfache und schnelle Weise sowohl die Orientierung als auch die Position des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, ermittelt werden, sodass mittels des erfindungsgemäßen Verfahrens auf besonders einfache und schnelle Weise wenigstens oder genau eine Pose des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, ermittelt werden kann. Unter der Pose, welche auch als räumliche Lage bezeichnet wird, ist die Kombination von Position und Orientierung des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, zu verstehen. Insbesondere ist es möglich, in Abhängigkeit von den Sensordaten die Position des Fahrzeugs, insbesondere relativ zu dem Ego-Fahrzeug, besonders präzise und schnell ermitteln zu können, sodass beispielsweise die Pose besonders vorteilhaft ermittelt werden kann.
-
Als weiterhin vorteilhaft hat es sich gezeigt, wenn in Abhängigkeit von dem Verhältnis der 2D-Bounding-Boxen auch wenigstens eine, insbesondere äußere, Abmessung des Fahrzeugs ermittelt wird. Ferner ist es denkbar, dass die Abmessung in Abhängigkeit von den Sensordaten ermittelt wird, wodurch die Abmessung präzise und schnell ermittelt werden kann.
-
Der Erfindung liegen insbesondere die folgenden Erkenntnisse zugrunde: Fahrzeuge, wie beispielsweise autonom fahrende Kraftfahrzeuge beziehungsweise deren elektronische Recheneinrichtungen sollten Kenntnis über andere, sich in der jeweiligen Umgebung befindende Fahrzeuge haben. Besonders vorteilhaft ist die Kenntnis über Abmessungen, Positionen und Orientierungen der anderen Fahrzeuge relativ zu den Ego-Fahrzeugen. Dabei ist es von Vorteil, wenn zum Einsatz kommende Algorithmen zum Bestimmen der Abmessungen, Positionen und Orientierungen echtzeitfähig sind, sodass Informationen über die jeweilige Abmessung, die jeweilige Position und die jeweilige Orientierung besonders schnell und zumindest nahezu in Echtzeit ermittelt werden können. Jeder in einem Fahrzeug verbaute Sensor sollte hierbei die maximale Information liefern können. Entsprechend sollten auch aus monokularen RGB-Bildern derartige Informationen extrahiert werden. Somit ist es vorzugsweise vorgesehen, dass das im Rahmen des erfindungsgemäßen Verfahrens erfasste Bild ein RGB-Bild, insbesondere ein monokulares beziehungsweise monokular erfasstes RGB-Bild, ist.
-
Bislang wurden Objekte wie beispielsweise Fahrzeuge in Echtzeit mittels 2D-Boxen detektiert. Hierbei fehlen jedoch oben genannte Parameter wie beispielsweise die Orientierung. Weiterhin versuchen andere Methoden, 3D-Boxen im dreidimensionalen Raum zu schätzen, was aufgrund der Komplexität von N3 sehr rechenintensiv und dadurch langsam und nicht echtzeitfähig ist. Das erfindungsgemäße Verfahren ermöglicht es nun, Informationen über Orientierung sowie vorzugsweise Position und/oder Abmessung des Fahrzeugs zumindest nahezu in Echtzeit ermitteln und bereitstellen zu können. Hierzu werden beispielsweise die wenigstens zwei 2D-Bounding-Boxen geschätzt, die eine Vorder- beziehungsweise Rückseite und eine rechte oder linke Seite des Fahrzeugs detektieren. Die zwei detektierten Seiten beziehungsweise die zwei geschätzten 2D-Bounding-Boxen werden miteinander zu einer sogenannten Verschmelzungsbox kombiniert, welche auch als Merge-Box bezeichnet wird. Aus dem Verhältnis der beiden miteinander kombinierten 2D-Boxen lassen sich Rückschlüsse auf Orientierung und Abmessung des Fahrzeugs ziehen, und wenigstens eine oder mehrere 3D-Bounding-Boxen können erzeugt werden.
-
Zudem ermöglicht es das erfindungsgemäße Verfahren, wenigstens oder genau eine 3D-Bounding-Box inklusive Orientierung, insbesondere Gier-Winkel, und grober Abmessung oder Abmessungen des Fahrzeugs anhand von Vorlagen, welche auch als Templates bezeichnet werden, zu gewinnen. Beispielsweise handelt es sich bei den Templates um die zuvor genannten 2D-Boxen. Abmessungen und Lokalisierungen sind hierbei durch die fehlende Tiefe skaliert. Unter in Bezugnahme des zusätzlich des zu der Kamera vorgesehenen Umgebungssensors oder von mehreren Umgebungssensoren wie beispielsweise Lidar-Sensor und/oder Stereo-Kamera lässt sich die absolute Tiefe messen und somit eine vollständige Beschreibung, insbesondere des Fahrzeugs, realisieren.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Fig. ein Flussdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens.
-
Im Folgenden wird anhand der einzigen Fig. ein Verfahren zum Ermitteln einer Orientierung eines sich in einer Umgebung 10 eines auch als Ego-Fahrzeug oder Ego-Kraftfahrzeug bezeichneten Kraftfahrzeugs befindenden Fahrzeugs 12 relativ zu dem Ego-Fahrzeug beschrieben. Bei einem ersten Schritt S1 des Verfahrens wird mittels einer beispielsweise als Mono-Kamera ausgebildeten Kamera des Ego-Fahrzeugs wenigstens ein Bild 14 zumindest eines Teilbereichs T der Umgebung 10 erfasst beziehungsweise erzeugt, wobei sich das Fahrzeug 12 in dem Teilbereich T befindet. Somit ist das Fahrzeug 12 auf dem Bild 14 oder in dem Bild 14 abgebildet.
-
Bei einem zweiten Schritt S2 des Verfahrens wird das Bild 14 mittels wenigstens eines künstlichen neuronalen Netzes (KNN) analysiert, wodurch in dem Bild eine eine erste Seite 16 des Fahrzeugs 12 umgebende oder umgrenzende, zweidimensionale erste Begrenzungsmarkierung 18 und eine eine von der ersten Seite 16 unterschiedliche zweite Seite 20 des Fahrzeugs 12 umgebende beziehungsweise umgrenzende, zweidimensionale zweite Begrenzungsmarkierung 22, insbesondere durch Schätzen, ermittelt beziehungsweise detektiert oder erzeugt werden.
-
Bei einem dritten Schritt S3 des Verfahrens werden die auch als 2D-Boxen oder 2D-Bounding-Boxen bezeichneten, zweidimensionalen Begrenzungsmarkierungen 18 und 22 miteinander kombiniert, wodurch in Abhängigkeit von einem Verhältnis, insbesondere einem Seitenverhältnis, der miteinander kombinierten Begrenzungsmarkierungen 18 und 22 zueinander die Orientierung des Fahrzeugs 12 ermittelt wird. Durch das Kombinieren der 2D-Boxen wird, insbesondere in dem Bild 14, eine auch als Merge-Box bezeichnete Verschmelzungsbox 24, insbesondere in dem Bild 14, erzeugt, detektiert oder ermittelt. Dabei veranschaulicht in der Fig. ein Pfeil 26 das Kombinieren der 2D-Bounding-Boxen. Des Weiteren veranschaulicht in der Fig. ein Pfeil 28 eine Transformation, welche beispielsweise bei einem vierten Schritt S4 des Verfahrens durchgeführt wird. Bei dem vierten Schritt S4 wird die durch den Pfeil 28 veranschaulichte Transformation anhand der, insbesondere miteinander kombinierten, 2D-Bounding-Boxen eine auch als 3D-Box oder 3D-Bounding-Box bezeichnete, dreidimensionale und quaderförmige Begrenzungsmarkierung 30, insbesondere in dem Bild 14, ermittelt, detektiert oder erzeugt, insbesondere durch Schätzen oder Abschätzen, wobei die 3D-Bounding-Box das Fahrzeug 12, insbesondere in dem Bild 14, umgibt, umgrenzt oder umhüllt. Wie aus der Fig. erkennbar ist, ist bei dem in der Fig. gezeigten Ausführungsbeispiel die erste Seite 16 die Vorderseite des Fahrzeugs 12, wobei die zweite Seite 20 die in Vorwärtsfahrrichtung des Fahrzeugs 12 linke Seite des Fahrzeugs 12 ist. Die vorigen und folgenden Ausführungen können ohne Weiteres auch auf die Rückseite und die rechte Seite des Fahrzeugs 12 übertragen werden.
-
Bezugszeichenliste
-
- 10
- Umgebung
- 12
- Fahrzeug
- 14
- Bild
- 16
- erste Seite
- 18
- zweidimensionale erste Begrenzungsmarkierung
- 20
- zweite Seite
- 22
- zweidimensionale zweite Begrenzungsmarkierung
- 24
- Verschmelzungsbox
- 26
- Pfeil
- 28
- Pfeil
- 30
- dreidimensionale Begrenzungsmarkierung
- T
- Teilbereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012223121 A1 [0002]
