DE102018125450A1

DE102018125450A1 - Verfahren zum Ermitteln mindestens eines Relativparameters zumindest der Lage oder der Bewegung eines ersten Fahrzeugs in Relation zu einem zweiten Fahrzeug

Info

Publication number: DE102018125450A1
Application number: DE102018125450.4A
Authority: DE
Inventors: Sven Adfeldt
Original assignee: Hella GmbH and Co KGaA
Current assignee: Cariad SE
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2020-04-16
Also published as: CN111043977A; CN111043977B

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln mindestens eines Relativparameters (1) zumindest der Lage oder der Bewegung eines ersten Fahrzeugs (2) in Relation zu einem zweiten Fahrzeug (3), welches sich im Umfeld des ersten Fahrzeugs (2) befindet. Weiterhin betrifft die Erfindung ein System, ein Fahrzeug und eine Verwendung eines vordefinierten Referenzdurchmessers (7) von Fahrzeug-Rädern. Das Verfahren umfasst zumindest folgende Schritte:a) Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs (3) unter Verwendung einer Kamera (4) des ersten Fahrzeugs (2),b) Erfassen eines Maßes (5) für einen Durchmesser eines Rades (6) des zweiten Fahrzeugs (3) unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht,c) Ermitteln des Relativparameters (1) unter Verwendung des in Schritt b) erfassten Maßes (5) und eines vordefinierten Referenzdurchmessers (7) von Fahrzeug-Rädern.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln mindestens eines Relativparameters zumindest der Lage oder der Bewegung eines ersten Fahrzeugs in Relation zu einem zweiten Fahrzeug, welches sich im Umfeld des ersten Fahrzeugs befindet. Weiterhin betrifft die Erfindung ein System für ein Fahrzeug, ein Fahrzeug mit einem solchen System und eine Verwendung eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern. Die Erfindung ist insbesondere geeignet, im Zusammenhang mit dem autonomen Fahren zur Anwendung zu kommen.
Im Zusammenhang mit dem Bestreben, ein autonomes Fahren von Fahrzeugen zu ermöglichen, ist es bekannt, dass diese Fahrzeuge sich selbstständig in der Welt und insbesondere ihrer häufig auch durch andere Verkehrsteilnehmer, wie etwa weitere Fahrzeuge gekennzeichneten Umgebung, orientieren müssen. Zum Zwecke der Orientierung wurden bereits fahrzeugseitige Kamerasysteme vorgeschlagen, die häufig mindestens zwei oder sogar noch mehr Kameras umfassen. In diesem Zusammenhang sind Verfahren bekannt, um Objekte, vorzugweise andere Verkehrsteilnehmer, in von den Kameras aufgenommenen Bildern zu erkennen.
Ein wichtiger Aspekt für das (semi-)autonome Fahren und/oder Fahrerassistenzsysteme ist insbesondere die Abschätzung des Abstands zu einem vorausfahrenden Fahrzeug. Daher bezieht sich ein Großteil der im Zusammenhang mit dem autonomen Fahren bereits vorgeschlagenen Verfahren zur Ermittlung von Abständen auf Basis aufgenommener Kamerabilder auf eben diesen Aspekt, d.h. auf die Auswertung von Bildern, die eine Heckansicht des vorausfahrenden Fahrzeugs zeigen. Auch sind in diesem Zusammenhang bereits Verfahren bekannt, mit denen es möglich ist, aus einem einzelnen Bild einer Heckansicht des vorausfahrenden Fahrzeugs auf den Abstand zu diesem zu schließen.
Demgegenüber ist bis dato noch kein erfolgversprechender Ansatz bekannt, auf Basis von Bildauswertungen eines (einzelnen) Bildes, das eine seitliche Ansicht eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs zeigt, einen Abstand des eigenen Fahrzeugs zu dem weiteren Fahrzeug oder eine Dauer bis zum Zusammenstoß des eigenen Fahrzeugs mit dem weiteren Fahrzeug zu ermitteln. Auch ist noch kein erfolgversprechender Ansatz bekannt, auf Basis von Bildauswertungen eine Fahrzeuglänge eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs zu ermitteln.
Hiervon ausgehend ist es Aufgabe der vorliegenden Erfindung, die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise zu lösen. Insbesondere sollen ein Verfahren zum Ermitteln mindestens eines Relativparameters, ein System, ein Fahrzeug sowie eine Verwendung angegeben werden, die jeweils zumindest dazu beitragen, dass auf Basis eines (einzelnen) Bildes, das eine seitliche Ansicht eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs zeigt, ein Relativparameter zumindest der Lage oder der Bewegung des eigenen Fahrzeugs in Relation zu dem weiteren Fahrzeug ermitteln werden kann. Darüber hinaus soll insbesondere ermöglicht werden, dass auf Basis von Bildauswertungen eine Fahrzeuglänge eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs ermittelt werden kann. Weiter besteht der Wunsch, hierfür eine technisch relativ einfache Lösung anzugeben, bei der z. B. auch die technische Nachrüstbarkeit von Fahrzeugen ermöglicht sein soll.
Diese Aufgaben werden gelöst durch die Merkmale der unabhängigen Patentansprüche. Weitere vorteilhafte Ausgestaltungen der hier vorgeschlagenen Lösung sind in den abhängigen Patentansprüchen angegeben. Es ist darauf hinzuweisen, dass die in den abhängigen Patentansprüchen einzeln aufgeführten Merkmale in beliebiger, technologisch sinnvoller, Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung definieren. Darüber hinaus werden die in den Patentansprüchen angegebenen Merkmale in der Beschreibung näher präzisiert und erläutert, wobei weitere bevorzugte Ausgestaltungen der Erfindung dargestellt werden.
Hierzu trägt ein Verfahren zum Ermitteln mindestens eines Relativparameters zumindest der Lage oder der Bewegung eines ersten Fahrzeugs in Relation zu einem zweiten Fahrzeug, welches sich im Umfeld des ersten Fahrzeugs befindet, bei, umfassend zumindest folgende Schritte:

a) Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs unter Verwendung einer Kamera des ersten Fahrzeugs,
b) Erfassen eines Maßes für einen Durchmesser eines Rades des zweiten Fahrzeugs unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht,
c) Ermitteln des Relativparameters unter Verwendung des in Schritt b) erfassten Maßes und eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern.

Das Verfahren dient zum Ermitteln eines oder mehrerer Relativparameter der Lage und/oder der Bewegung eines ersten bzw. des eigenen (mit einer Kamera ausgerüsteten) Fahrzeugs in Relation zu einem zweiten bzw. weiteren Fahrzeug. Das zweite bzw. weitere Fahrzeug befindet sich dabei im Umfeld bzw. Kameraerfassungsbereich des ersten bzw. eigenen Fahrzeugs, beispielsweise (unmittelbar) vor, hinter oder neben dem ersten bzw. eigenen Fahrzeug. Die hier angegebene Reihenfolge der Schritte a), b) und c) stellt sich in der Regel bei einem regulären Betriebsablauf ein.
In Schritt a) erfolgt ein Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs unter Verwendung einer Kamera des ersten Fahrzeugs. Insbesondere wird in Schritt a) ein (digitales) Bild bzw. (digitales) Abbild einer seitlichen Ansicht des zweiten Fahrzeugs unter Verwendung der Kamera des ersten Fahrzeugs aufgenommen. Ein solches (digitales) Bild bzw. Abbild umfasst in der Regel eine Vielzahl von Bilddaten, die beispielsweise von einem Bildsensor der Kamera bereitgestellt, in einem Speicher vorgehalten und in einem (zumindest teilweise zeitlich) nachgelagerten Schritt, beispielsweise dem Schritt b), ausgewertet werden können.
Die seitliche Ansicht betrifft in der Regel eine Ansicht, die eine in Fahrtrichtung betrachtet linke oder rechte Fahrzeugseite des zweiten Fahrzeugs zeigt, also die sogenannte Fahrer- oder Beifahrerseite. Unter einer Fahrzeugseite wird hier regelmäßig eine von zwei (gleichartigen bzw. spiegelbildlichen) einander gegenüberliegenden Seiten des Fahrzeugs verstanden, die zwischen sich eine Längsachse des Fahrzeugs einschließen. Unter einer seitlichen Ansicht wird hier insbesondere keine reine Heckansicht oder Frontansicht des Fahrzeugs verstanden. Somit erfolgt hier in der Regel eine seitliche Aufnahme des ersten Fahrzeugs und keine reine Heckaufnahme oder Frontaufnahme. Für die seitliche Ansicht ist eine Blickrichtung der Kamera vorzugsweise im Wesentlichen senkrecht zu einer im Wesentlichen vertikalen Ebene ausgerichtet, in welcher eine Längsachse des zweiten Fahrzeugs liegt. Der Begriff „im Wesentlichen“ umfasst hierbei Abweichungen von bis zu 20%.
In der Regel erfolgt in Schritt a) ein einzelnes Aufnehmen bzw. ein Aufnehmen einer einzelnen seitlichen Ansicht des zweiten Fahrzeugs. Dies bedeutet mit anderen Worten insbesondere, dass in Schritt a) genau ein (digitales) Bild der Fahrzeugseite aufgenommen wird. Aufgrund des vordefinierten Referenzdurchmessers erlaubt die hier vorgestellte Lösung in vorteilhafter Weise, dass der mindestens eine Relativparameter bereits auf Basis einer einzigen Aufnahme ermittelt werden kann. Dies trägt insbesondere zu einem zeitlichen Vorteil gegenüber Verfahren bei, die darauf beruhen, Objekte im Umfeld der Kamera in mehreren Bilderaufnahmen zu „tracken“ und beispielsweise einen Abstand zu dem Objekt auf Basis der Änderung der Distanz zwischen vorherigem und aktuellem „Frame“ berechnen. Natürlich können aber, insbesondere wenn die Schritte a), b) und c) mehrfach wiederholt aufeinanderfolgen, um beispielsweise mehrere Relativparameter zu ermitteln und/oder den momentanen Relativparameter möglichst aktuell zu ermitteln, insgesamt mehrere seitliche Ansichten erstellt werden. Auf diese Weise lässt sich auch die zeitliche Änderung des Relativparameters ermitteln. In diesem Zusammenhang entspricht die Anzahl der aufgenommenen Bilder insbesondere der Anzahl der Wiederholungen der Schritte a), b) und c).
Die Kamera ist beispielsweise in oder an dem ersten Fahrzeug montiert. Für das hier vorgestellte Verfahren wird insbesondere eine einzelne bzw. nur eine Kamera verwendet. Bei der Kamera handelt es sich in der Regel um eine digitale Kamera. Die Kamera weist insbesondere einen Bildsensor, wie etwa einen CCD-Sensor oder einen CMOS-Sensor auf. Weiterhin bevorzugt weist die Kamera einen einzelnen bzw. nur einen Bildsensor auf. Die Kamera kann mit einer eigenen Kamerakontrolleinheit und/oder einer Fahrzeugkontrolleinheit gesteuert bzw. betrieben werden.
In Schritt b) erfolgt ein Erfassen eines Maßes für einen Durchmesser eines Rades des zweiten Fahrzeugs unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht. Das Erfassen betrifft in der Regel ein Ermitteln bzw. Messen des Maßes für den Durchmesser, insbesondere in einem in Schritt a) aufgenommen (digitalen) Bild und/oder aus Bilddaten, die in Schritt a) generiert wurden. Beispielsweise kann das Maß darüber berechnet werden, dass (unmittelbar) nebeneinander liegende Bildpunkte in einem in Schritt a) aufgenommenen (digitalen) Bild gezählt werden. In der Regel erfolgt in Schritt b) ein Erfassen eines Maßes für einen Durchmesser eines Rades des zweiten Fahrzeugs in einem in Schritt a) aufgenommenen Bild.
Das Maß für den Durchmesser kann insbesondere als eine Hilfsgröße und/oder eine Hilfsgeometrie verstanden werden, die einen unmittelbaren Rückschluss auf den Durchmesser (im Bild bzw. in der Bildebene und/oder in dem Bildkoordinatensystem) zulässt. Dies bedeutet mit anderen Worten insbesondere, dass das Maß für den Durchmesser einen direkten Rückschluss auf die Größe bzw. die Abmessung (und/oder den Wert) des Durchmessers in einem in Schritt a) aufgenommenen Bild erlaubt. Bei dem Maß für den Durchmesser kann es sich beispielsweise um eine geometrische Größe bzw. Ausdehnung handeln, die einen unmittelbaren Rückschluss auf die Größe bzw. die Abmessung (und/oder den Wert) des Durchmessers ermöglicht.
Bevorzugt wird in Schritt b) ein Durchmesser eines Rades des zweiten Fahrzeugs unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht erfasst. Dies bedeutet mit anderen Worten insbesondere, dass statt einer Hilfsgröße, wie dem Maß für den Durchmesser, auch direkt der Durchmesser aus der Aufnahme entnommen bzw. ermittelt werden kann.
Das Rad umfasst in der Regel eine Felge und einen auf die Felge aufgezogenen Reifen. Bei dem hier betrachteten Durchmesser kann es sich beispielsweise um einen (maximalen) Außendurchmesser der Felge des Rades handeln. Bevorzugt handelt es sich bei dem Durchmesser des Rades um einen (maximalen) Außendurchmesser des Reifens. Dies betrifft mit anderen Worten insbesondere einen äußersten Durchmesser bzw. (maximalen) Gesamtdurchmesser des Rades.
Vorzugsweise wird zum Erfassen des Maßes für den Durchmesser in Schritt b) eine einzelne bzw. nur eine in Schritt a) aufgenommene seitliche Ansicht verwendet. Dies bedeutet mit anderen Worten insbesondere, dass in Schritt b) ein einzelnes bzw. nur ein (digitales) Bild analysiert und/oder ausgewertet wird, um daraus das Maß für den Durchmesser zu erfassen. Insbesondere wird in Schritt b) ein Rad des zweiten Fahrzeugs, insbesondere ein Reifen und/oder eine Felge des zweiten Fahrzeugs erkannt.
In Schritt c) erfolgt ein Ermitteln des Relativparameters unter Verwendung des in Schritt b) erfassten Maßes und eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern. Insbesondere erfolgt in Schritt c) ein Berechnen des Relativparameters in Abhängigkeit des in Schritt b) erfassten Maßes und eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern. Insbesondere wird in Schritt c) ein (rechnerischer) Vergleich zwischen dem in Schritt b) erfassten Maß und dem vordefinierten Referenzdurchmesser durchgeführt.
Bei dem vordefinierten Referenzdurchmesser von Fahrzeug-Rädern handelt es sich in der Regel um einen statistischen und/oder festen Wert, der einen Durchschnitt der zurzeit im Verkehr verwendeten bzw. verfügbaren Raddurchmesser, insbesondere Reifendurchmesser und/oder Felgendurchmesser (von Autorädern) ist. Vorteilhafterweise wird für den vordefinierten Referenzdurchmesser ein Wert im Bereich von 60 cm [Zentimeter] bis 80 cm, besonders bevorzugt von ca. 70 cm verwendet. Der vordefinierte Referenzdurchmesser erlaub somit den besonderen Vorteil einer festen Bezugsgröße in der realen Welt. Mit Hilfe derer kann ein auf die reale Welt bezogener Relativparameter aus Bilddaten bzw. Bildmaßen besonders vorteilhaft ermittelt bzw. berechnet werden, insbesondere im Wege eines Vergleichs.
Der vordefinierten Referenzdurchmesser ist in der Regel fahrzeugseitig, beispielsweise in einem Speicher des Fahrzeugs, eines (Assistenz-)Systems des Fahrzeugs und/oder der Kamera hinterlegt. Darüber hinaus kann der vordefinierten Referenzdurchmesser beispielsweise auch mit einer vom Fahrzeug entfernten bzw. übergeordneten Datenbank (insbesondere in regelmäßigen zeitlichen Abständen) abgeglichen werden. Dies bedeutet mit anderen Worten insbesondere, dass der (ansonsten feste) vordefinierte Referenzdurchmesser insbesondere in vorgegebenen und/oder regelmäßigen zeitlichen Abständen, vorzugsweise über die Datenbank, aktualisiert werden kann.
Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass der Relativparameter zumindest ein Abstand des ersten Fahrzeugs zu dem zweiten Fahrzeug oder eine Dauer bis zum Zusammenstoß des ersten Fahrzeugs mit dem zweiten Fahrzeug ist. Dies erlaub in vorteilhafter Weise eine Abschätzung einer Gefahr eines seitlichen Aufpralls, d.h. eines Aufpralls der Front des eigenen Fahrzeugs auf einer linken oder rechten Seite des zweiten Fahrzeugs.
Bei dem Abstand kann es sich in diesem Zusammenhang beispielhaft um einen räumlichen Abstand und/oder einen zeitlichen Abstand handeln. Da im Zusammenhang mit der hier vorgestellten Lösung insbesondere die Abschätzung einer Gefahr eines seitlichen Aufpralls, d.h. eines Aufpralls der Front des eigenen ersten Fahrzeugs auf einer linken oder rechten Seite des zweiten Fahrzeugs, im Vordergrund steht, kann die Dauer bis zum Zusammenstoß des ersten Fahrzeugs mit dem zweiten Fahrzeug beispielsweise unter Verwendung eines ermittelten Abstandes und der in der Regel fahrzeugseitig bekannten Eigengeschwindigkeit des eigenen bzw. ersten Fahrzeugs ermittelt bzw. geschätzt werden.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass die Kamera eine Monokamera ist. Dies trägt insbesondere dazu bei, Bauraum, Gewicht und Komponentenkosten zu reduzieren. Aufgrund des vergleichsweise geringen Platzbedarfs kann die Monokamera auch dazu beitragen vergleichsweise komplexe Assistenzsysteme in einen Kompaktwagen zu integrieren.
Die Monokamera kann auch als ein monokulares System beschrieben werden. Die Monokamera umfasst in der Regel eine einzelne bzw. genau eine Kameralinse und einen einzelnen bzw. genau einen Bildsensor. Die Monokamera grenzt sich damit von einer Stereokamera ab, die üblicherweise zwei Kameralinsen sowie zwei Bildsensoren hat und aus zwei gleichzeitig aufgenommenen Bildern eine dreidimensionale Abbildung generieren kann, aus der Tiefeninformationen, wie beispielsweise Abstände, regelmäßig auch direkt entnommen werden können. Eine entsprechende Tiefeninformation fehlt üblicherweise in einer einzelnen Aufnahme mit einer Monokamera. Die hier vorgestellte Lösung trägt in vorteilhafter Weise dazu bei, dass auch aus einer Aufnahme mit einer Monokamera eine entsprechende Tiefeninformation gewonnen werden kann.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass das Maß für den Durchmesser eine Einhüllende um zumindest das Rad oder eine Felge des Rades ist. Es sind dem Fachmann auf diesem Gebiet Mittel hinlänglich bekannt, um Umrisse von Objekten in (digitalen) Bilden zu identifizieren. In dieser Hinsicht wird auch Bezug genommen auf die Anmeldung US 2018/107883 A1 , insbesondere auf den dortigen Absatz [0016], sowie auf die Anmeldung DE 10 2013 022 076 A1 , deren Inhalte hiermit in diese Anmeldung aufgenommen werden. Vorzugsweise verläuft die Einhüllende entlang eines entsprechenden (zweidimensionalen) Umrisses eines identifizierten Rades. Dies bedeutet mit anderen Worten insbesondere, dass ein (zweidimensionaler) Umriss eines Rades des zweiten Fahrzeugs in der seitlichen Aufnahme identifiziert wird und die Einhüllende (unmittelbar) entlang dieses Umrisses gelegt wird. Die geometrischen Abmessungen der Einhüllenden, wie etwa Breite, Höhe und/oder Durchmesser können über bekannte Methoden, wie beispielsweise Zählen von Bildpunkten in dem Bild, ermittelt werden.
Um eine möglichst schnelle Objektelokalisierung durchzuführen, ist es insbesondere im Zusammenhang mit dreidimensionalen Bildern bekannt, in dem Bild eine Box um das Objekt zu legen, die in diesem Zusammenhang auch als sog. Begrenzungsbox (oder mit dem englischsprachigen Begriff „bounding box“) bezeichnet wird und zunächst einen Abstand zu der Box zu ermitteln. Dabei wird die Box möglichst eng um das Objekt gelegt. Ein entsprechender Ansatz, eine Box möglichst eng um ein erkanntes Objekt zu legen, ist auch in einem zweidimensionalen Bild denkbar. Insbesondere in diesem Zusammenhang ist es bevorzugt, dass die Einhüllende eine rechteckige Form aufweist. Besonders bevorzugt wird ein Rechteck gebildet, das eine kleinstmögliche Fläche überspannt und dennoch das gesamte erkannte Objekt „Rad“ in dem Bild überspannt.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass das Ermitteln des Relativparameters unter Verwendung eines Strahlensatzes erfolgt. Dies stellt eine besonders vorteilhafte Möglichkeit dazu dar, den Relativparameter unter Verwendung eines (rechnerischen) Vergleichs zwischen dem in Schritt b) erfassten Maß und dem vordefinierten Referenzdurchmesser zu ermitteln.
In diesem Zusammenhang kann grundsätzlich der erste, zweite und/oder dritte Strahlensatz zur Anwendung kommen. Bevorzugt wird eine innere Kalibrierung der Kamera verwendet, um das Maß für den Durchmesser, beispielsweise eine Breite der Einhüllenden (von dem Bildkoordinatensystem) in ein Kamerakoordinatensystem zu projizieren bzw. umzurechnen. In diesem Kamerakoordinatensystem kann in besonders vorteilhafter Weise mittels des bekannten Referenzdurchmessers in der realen Welt, dem ermittelten Maß für den Durchmesser in der Aufnahme und dem Strahlensatz auf den Abstand in der realen Welt zwischen dem Ursprung des Kamerakoordinatensystems und dem zweiten Fahrzeug geschlossen werden.
Dies wird insbesondere auch dadurch ermöglicht, dass die innere Kalibrierung der Kamera eine Projektion erlaubt, bei welcher der Abstand zwischen dem Ursprung des Kamerakoordinatensystems und der Projektion des Ma-ßes in das Kamerakoordinatensystem bekannt und/oder vordefiniert ist. Dies kann mit anderen Worten auch so beschrieben werden, dass eine Bildebene und/oder ein Bildkoordinatensystem so in das Kamerakoordinatensystem projiziert bzw. umgerechnet wird, dass der (räumliche) Abstand zwischen der Bildebene und dem Ursprung des Kamerakoordinatensystems und/oder zwischen dem Ursprung des Bildkoordinatensystems und dem Ursprung des Kamerakoordinatensystems bekannt und/oder vordefiniert ist. Entsprechende Projektions- bzw. Umrechnungsmethoden sind dem Fachmann auf diesem Gebiet hinlänglich bekannt. In dieser Hinsicht wird auch Bezug genommen auf die Anmeldung EP 2 048 599 A1 , deren Inhalt, insbesondere dortige 3 und zugehörige Beschreibung, hiermit in diese Anmeldung aufgenommen wird.
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass weiterhin ein Ermitteln einer Fahrzeuglänge des zweiten Fahrzeugs unter Verwendung des in Schritt b) erfassten Maßes und des vordefinierten Referenzdurchmessers von Fahrzeug-Rädern erfolgt. Dieser Ansatz betrifft einen Gegenstand, welcher zumindest einen Teil der eingangs genannten Aufgaben auch unabhängig löst.
Somit wird hier unabhängig vom Gegenstand des unabhängigen Anspruchs 1 auch ein Verfahren zum Ermitteln einer Fahrzeuglänge eines zweiten Fahrzeugs, welches sich im Umfeld eines ersten Fahrzeugs befindet angegeben, umfassend zumindest folgende Schritte:

a) Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs unter Verwendung einer Kamera des ersten Fahrzeugs,
b) Erfassen eines Maßes für einen Durchmesser eines Rades des zweiten Fahrzeugs unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht,
c) Ermitteln der Fahrzeuglänge unter Verwendung des in Schritt b) erfassten Maßes und eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern.

Die im Zusammenhang mit dem Verfahren zum Ermitteln mindestens eines Relativparameters erörterten Details, Merkmale und vorteilhaften Ausgestaltungen können entsprechend auch bei dem hier vorgestellten Verfahren zum Ermitteln einer Fahrzeuglänge auftreten und umgekehrt. Insoweit wird auf die dortigen Ausführungen zur näheren Charakterisierung der Merkmale vollumfänglich Bezug genommen.
Die Fahrzeuglänge kann unter Verwendung des in Schritt b) erfassten Maßes und eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern beispielsweise über einen Dreisatz berechnet werden.
Nach einem weiteren Aspekt wird ein System für ein Fahrzeug vorgeschlagen, wobei das System zur Durchführung eines hier vorgestellten Verfahrens eingerichtet ist. Bei dem System kann es sich beispielsweise um ein Fahrerassistenzsystem, wie etwa einen Abstandwarner, handeln.
Nach einem weiteren Aspekt wird auch ein Fahrzeug mit einem hier vorgestellten System vorgeschlagen. Bei dem Fahrzeug handelt es sich vorzugsweise um ein Fahrzeugs, das für einen automatischen bzw. autonomen Betrieb eingerichtet ist. Insbesondere ist das Fahrzeug ein autonomes Automobil.
Hier auch vorgeschlagen werden soll eine Steuerung, die zur Durchführung eines hier vorgestellten Verfahrens vorgesehen und eingerichtet ist. Die Steuerung kann beispielsweise Bestandteil eines Steuergeräts für ein Fahrzeug sein. Bevorzugt ist die Steuerung Bestandteil eines Fahrzeugsteuergeräts für das automatisierte bzw. autonome Fahren.
Weiterhin soll auch ein Computerprogramm zur Durchführung eines hier vorgestellten Verfahrens vorgeschlagen werden. Dies betrifft mit anderen Worten insbesondere ein Computerprogramm(-produkt), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein hier beschriebenes Verfahren auszuführen.
Darüber hinaus kann auch ein maschinenlesbares Speichermedium angegeben werden, auf dem das hier vorgeschlagene Computerprogramm gespeichert ist. Regelmäßig handelt es sich bei dem maschinenlesbaren Speichermedium um einen computerlesbaren Datenträger.
Nach einem weiteren Aspekt wird eine Verwendung eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern zum (kamerabasierten) Ermitteln zumindest einer Dauer bis zum Zusammenstoß mit einem Fahrzeug, einem Abstand zu dem Fahrzeug oder einer Fahrzeuglänge des Fahrzeugs vorgeschlagen. Dies betrifft mit anderen Worten insbesondere eine Verwendung eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern zum (kamerabasierten) Ermitteln mindestens eines Relativparameters der Lage und/oder der Bewegung eines ersten Fahrzeugs in Relation zu einem zweiten Fahrzeug, welches sich im Umfeld des ersten Fahrzeugs befindet, und/oder einer Fahrzeuglänge des zweiten Fahrzeugs.
Bevorzugt ist eine Verwendung eines vordefinierten Referenzdurchmessers von Fahrzeug-Rädern in Kombination mit einem erfassten Maß für einen Durchmesser eines Rades eines Fahrzeugs zum (kamerabasierten) Ermitteln zumindest einer Dauer bis zum Zusammenstoß mit einem Fahrzeug, einem Abstand zu dem Fahrzeug oder einer Fahrzeuglänge des Fahrzeugs auf Basis einer (mit einer Kamera gemachten) Aufnahme, insbesondere eines einzelnen Bildes, einer seitlichen Ansicht des Fahrzeugs. Besonders bevorzugt ist in diesem Zusammenhang, dass das Maß für den Durchmesser aus der Aufnahme der seitlichen Ansicht des Fahrzeugs entnommen wird.
Die im Zusammenhang mit dem Verfahren erörterten Details, Merkmale und vorteilhaften Ausgestaltungen können entsprechend auch bei dem hier vorgestellten System, dem Fahrzeug, der Steuerung, dem Computerprogramm, dem Speichermedium und/oder der Verwendung auftreten und umgekehrt. Insoweit wird auf die dortigen Ausführungen zur näheren Charakterisierung der Merkmale vollumfänglich Bezug genommen.
Die hier vorgestellte Lösung sowie deren technisches Umfeld werden nachfolgend anhand der Figuren näher erläutert. Es ist darauf hinzuweisen, dass die Erfindung durch die gezeigten Ausführungsbeispiele nicht beschränkt werden soll. Insbesondere ist es, soweit nicht explizit anders dargestellt, auch möglich, Teilaspekte der in den Figuren erläuterten Sachverhalte zu extrahieren und mit anderen Bestandteilen und/oder Erkenntnissen aus anderen Figuren und/oder der vorliegenden Beschreibung zu kombinieren. Es zeigen schematisch:

1: einen Ablauf eines hier vorgeschlagenen Verfahrens,
2: eine beispielhafte Veranschaulichung eines möglichen Einsatzes eines hier vorgeschlagenen Verfahrens,
3: eine beispielhafte Veranschaulichung einer Aufnahme einer seitlichen Ansicht eines zweiten Fahrzeugs,
4: eine beispielhafte Veranschaulichung einer Ermittlung eines Relativparameters, und
5: eine beispielhafte Veranschaulichung eines hier vorgeschlagenen Fahrzeugs mit einem hier vorgeschlagenen System.

1 zeigt schematisch einen Ablauf eines hier vorgeschlagenen Verfahrens. Das Verfahren dient zum Ermitteln mindestens eines Relativparameters 1 zumindest der Lage oder der Bewegung eines ersten Fahrzeugs 2 in Relation zu einem zweiten Fahrzeug 3, welches sich im Umfeld des ersten Fahrzeugs 2 befindet. Die mit den Blöcken 110, 120 und 130 dargestellte Reihenfolge der Schritte a), b) und c) ergibt sich in der Regel bei einem regulären Betriebsablauf.
In Block 110 erfolgt ein Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs 3 unter Verwendung einer Kamera 4 des ersten Fahrzeugs 2. In Block 120 erfolgt ein Erfassen eines Maßes 5 für einen Durchmesser eines Rades 6 des zweiten Fahrzeugs 3 unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht. In Block 130 erfolgt ein Ermitteln des Relativparameters 1 unter Verwendung des in Schritt b) erfassten Maßes 5 und eines vordefinierten Referenzdurchmessers 7 von Fahrzeug-Rädern.
2 zeigt schematisch eine beispielhafte Veranschaulichung eines möglichen Einsatzes eines hier vorgeschlagenen Verfahrens. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorhergehenden Ausführungen zur 1 vollumfänglich Bezug genommen werden kann.
Gemäß der Darstellung nach 2 wird ein Relativparameter 1 der Lage des ersten Fahrzeugs 2 in Relation zu dem zweiten Fahrzeug 3 ermittelt. Bei dem Relativparameter 1 kann es sich hierbei beispielhaft um einen Abstand des ersten Fahrzeugs 2 zu dem zweiten Fahrzeug 3 und/oder eine Dauer bis zum Zusammenstoß des ersten Fahrzeugs 2 mit dem zweiten Fahrzeug 3 handeln.
Das zweite Fahrzeug 3 befindet sich im Umfeld des ersten Fahrzeugs 2. Genauer gesagt befindet sich das zweite Fahrzeug 3 hier unmittelbar vor dem ersten Fahrzeug 2 und die Ausrichtungen der beiden Fahrzeuge 2, 3 schließen einen Winkel von beispielhaft 90° ein. Somit blockiert das zweite Fahrzeug 3 eine Geradeausfahrt des ersten Fahrzeugs 2, wenn das zweite Fahrzeugs 3 seine Position und das erste Fahrzeug 2 seine Ausrichtung beibehalten. Folglich kann ein Zusammenstoß des ersten Fahrzeugs 2 mit dem zweiten Fahrzeug 3 drohen, wenn das erste Fahrzeug 2 kein Bremsmanöver einleitet.
In 2 ist weiterhin veranschaulicht, dass ein Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs 3 unter Verwendung einer Kamera 4 des ersten Fahrzeugs 2 erfolgt. Die Kamera 4 ist beispielsweise eine Monokamera. Diese ist hier beispielhaft in Fahrtrichtung des ersten Fahrzeugs 2 ausgerichtet und kann somit die seitliche Ansicht des zweiten Fahrzeugs 3 optisch erfassen.
Weiterhin ist in 2 beispielhaft veranschaulicht, dass ein Erfassen eines Maßes 5 für einen Durchmesser eines Rades 6 des zweiten Fahrzeugs 3 unter Verwendung der aufgenommenen seitlichen Ansicht erfolgt. Gemäß der Darstellung nach 2 ist das Maß 5 für den Durchmesser beispielhaft eine Einhüllende 8 um das Rad 6 des zweiten Fahrzeugs 3. Beispielsweise weist die Einhüllende 8 eine rechteckige Form auf.
3 zeigt schematisch eine beispielhafte Veranschaulichung einer Aufnahme einer seitlichen Ansicht eines zweiten Fahrzeugs 3. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorhergehenden Ausführungen, insbesondere zu den 1 und 2 vollumfänglich Bezug genommen werden kann.
Gemäß der Darstellung nach 3 ist die Aufnahme der seitlichen Ansicht des zweiten Fahrzeugs 3 in einer Bildebene 10 dargestellt. In der Bildebene 10 kann die Lage und Ausrichtung des zweiten Fahrzeugs 3 relativ zu einem Bildkoordinatensystem 12 bestimmt werden.
In 3 ist zudem besser zu erkennen, wie das bereits im Zusammenhang mit 2 beschriebene Erfassen des Maßes 5 für einen Durchmesser des Rades 6 des zweiten Fahrzeugs 3 unter Verwendung der aufgenommenen seitlichen Ansicht besonders vorteilhaft erfolgen kann. In diesem Zusammenhang ist in 3 veranschaulicht, dass um den (Außen-)Durchmesser des Rades 6 eine Einhüllende 8 gelegt wird, die beispielhaft eine rechteckige Form aufweist. Eine solche Einhüllende 8 kann auch als sog. Begrenzungsbox (oder mit dem englischsprachigen Begriff „bounding box“) bezeichnet werden.
Darüber hinaus ist in 3 eine Fahrzeuglänge 17 eingetragen. Die Fahrzeuglänge 17 kann hier unter Verwendung des erfassten Maßes 5 für den Durchmesser des Rades 6 des zweiten Fahrzeugs 3 und einen vordefinierten Referenzdurchmesser 7 (hier nicht dargestellt, vgl. 4) von Fahrzeug-Rädern ermittelt werden. Hierzu kann beispielsweise mit einem Dreisatz von dem im Bildkoordinatensystem 12 gemessenen Maß 5, der im Bildkoordinatensystem 12 gemessenen Fahrzeuglänge 17 und dem in der realen Welt gemessenen, vordefinierten Referenzdurchmesser 7 auf die reale Fahrzeuglänge des zweiten Fahrzeugs 3 (Fahrzeuglänge 17 in der realen Welt) rückgeschlossen werden. Das Maß 5 betrifft hierbei insbesondere die Längserstreckung bzw. Breite der Einhüllenden 8 (Begrenzungsbox) im Bildkoordinatensystem 12.
4 zeigt schematisch eine beispielhafte Veranschaulichung einer Ermittlung eines Relativparameters 1. Die Bezugszeichen werden einheitlich verwendet, sodass auf die Ausführungen zu den vorhergehenden Figuren vollumfänglich Bezug genommen werden kann.
Anhand von 4 wird ein Beispiel dafür erläutert, wie das Ermitteln des Relativparameters 1 unter Verwendung des erfassten Maßes 5 und eines vordefinierten Referenzdurchmessers 7 von Fahrzeug-Rädern erfolgen kann. 4 veranschaulicht in diesem Zusammenhang beispielhaft, wie das Ermitteln des Relativparameters unter Verwendung eines Strahlensatzes erfolgen kann.
Hierzu kann zunächst die interne Kalibrierung der Kamera 4 verwendet werden, um das Maß 5 (beispielsweise die Breite der Einhüllenden 8 bzw. der Begrenzungsbox) in ein Kamerakoordinatensystem 13 zu projizieren. Bei dem Kamerakoordinatensystem 13 kann es sich in diesem Zusammenhang beispielweise um ein normalisiertes Kamerakoordinatensystem 13 handeln. Das Maß 5 (bzw. die Breite der Einhüllenden 8 bzw. der Begrenzungsbox) kann beispielsweise von einem Detektor der Kamera 4 im Bildkoordinatensystem 12 (hier beispielhaft dargestellt in 3) erhalten und dann in das Kamerakoordinatensystem 13 übertragen (insbesondere umgerechnet) bzw. projiziert werden. Entsprechende Projektionsverfahren sind dem Fachmann auf diesem Gebiet hinlänglich bekannt und werden daher an dieser Stelle nicht weiter erläutert. Zur näheren Erläuterung entsprechender Projektionsverfahren wird beispielhaft auf den Inhalt der EP 2 048 599 A1 verwiesen.
In dem Kamerakoordinatensystem 13 entspricht der Abstand von einem Ursprung 11 zu der Bildebene 10 dem Betrag des Einheitsvektors bzw. dem Wert Eins. Dieser Abstand wird hier auch als Bildebenen-Abstand 14 bezeichnet und ist als solcher auch in 4 eingetragen. Weiterhin liegt in dem Kamerakoordinatensystem 13 das optische Zentrum im Ursprung 11.
Unter Verwendung dieser Informationen kann ein Abstand von einem Fußpunkt 15 in der Bildebene 10 zu dem Ursprung 11 berechnet werden. Dieser Abstand wird hier auch als Fußpunkt-Abstand 15 bezeichnet und bemisst sich entlang der Blickrichtung von dem Fußpunkt 15 in der Bildebene 10 zu dem Ursprung 11 oder umgekehrt entlang der Blickrichtung von dem Ursprung 11 zu dem Fußpunkt 15 in der Bildebene 10. Die Blickrichtung ist in 4 anhand der Pfeile an den Enden der mit 16 und 1 bezeichneten Abstände angedeutet.
Gemäß der hier vorgeschlagenen Lösung wird ein Referenzdurchmesser 7 von Fahrzeug-Rädern vordefiniert. Mit anderen Wort ausgedrückt, wird ein fester Wert des Durchmessers von Fahrzeug-Rädern angenommen. Bei diesem festen Wert bzw. dem Referenzdurchmesser handelt es sich in diesem Zusammenhang um einen Wert in der realen Welt bzw. die Abmessung einer räumlichen Erstreckung in der realen Welt (somit nicht um dessen in der Regel deutlich geringere Erstreckung in der Bildebene).
Unter Verwendung des angenommen festen Werts bzw. des Referenzdurchmessers 7, der gemessenen Breite der Einhüllenden 8 bzw. des Ma-ßes 5 in der Bildebene 10 sowie dem Fußpunkt-Abstand 15 entlang der Blickrichtung bis zur Bildebene 10 kann der reale Abstand (Abstand in der realen Welt) zu dem hier das Zielobjekt darstellenden Reifen 6 berechnet werden. Diese Berechnung kann anhand der allgemein bekannten Strahlensätze erfolgen, wobei grundsätzlich der Einsatz eines Strahlensatzes genügt. Der so ermittelte reale Abstand stellt ein Beispiel für einen Relativparameter 1 dar.
Ein beispielhafter Strahlensatz soll anhand der Darstellung nach 4 erläutert werden. Hierzu wird der zweite Strahlensatz verwendet. Demnach entspricht das Verhältnis von Referenzdurchmesser 7 zu Maß 5 dem Verhältnis von Abstand 1 (Gesamtabstand von Ursprung 11 bis Referenzdurchmesser 7 entlang der Blickrichtung) zu Fußpunkt-Abstand 16.
5 zeigt schematisch eine beispielhafte Veranschaulichung eines hier vorgeschlagenen Fahrzeugs 2 mit einem hier vorgeschlagenen System 9. Das System 9 ist zur Durchführung eines hier vorgestellten Verfahrens vorgesehen und eingerichtet.
Es werden somit ein Verfahren zum Ermitteln mindestens eines Relativparameters, ein System, ein Fahrzeug sowie eine Verwendung angegeben, welche die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise lösen. Insbesondere werden ein Verfahren zum Ermitteln mindestens eines Relativparameters, ein System, ein Fahrzeug sowie eine Verwendung angegeben, die jeweils zumindest dazu beitragen, dass auf Basis eines (einzelnen) Bildes, das eine seitliche Ansicht eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs zeigt, ein Relativparameter zumindest der Lage oder der Bewegung des eigenen Fahrzeugs in Relation zu dem weiteren Fahrzeug ermitteln werden kann. Darüber hinaus wird insbesondere ermöglicht, dass auf Basis von Bildauswertungen eine Fahrzeuglänge eines sich im Umfeld des eigenen Fahrzeugs befindlichen weiteren Fahrzeugs ermittelt werden kann.
Bezugszeichenliste

1: Relativparameter
2: Fahrzeug
3: Weiteres Fahrzeug
4: Kamera
5: Maß
6: Rad
7: Referenzdurchmesser
8: Einhüllende
9: System
10: Bildebene
11: Ursprung
12: Bildkoordinatensystem
13: Kamerakoordinatensystem
14: Bildebenen-Abstand
15: Fußpunkt
16: Fußpunkt-Abstand
17: Fahrzeuglänge

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2018107883 A1 [0025]
DE 102013022076 A1 [0025]
EP 2048599 A1 [0029, 0056]

Claims

Verfahren zum Ermitteln mindestens eines Relativparameters (1) zumindest der Lage oder der Bewegung eines ersten Fahrzeugs (2) in Relation zu einem zweiten Fahrzeug (3), welches sich im Umfeld des ersten Fahrzeugs (2) befindet, umfassend zumindest folgende Schritte: a) Aufnehmen einer seitlichen Ansicht des zweiten Fahrzeugs (3) unter Verwendung einer Kamera (4) des ersten Fahrzeugs (2), b) Erfassen eines Maßes (5) für einen Durchmesser eines Rades (6) des zweiten Fahrzeugs (3) unter Verwendung der in Schritt a) aufgenommenen seitlichen Ansicht, c) Ermitteln des Relativparameters (1) unter Verwendung des in Schritt b) erfassten Maßes (5) und eines vordefinierten Referenzdurchmessers (7) von Fahrzeug-Rädern.
Verfahren nach Anspruch 1, wobei der Relativparameter (1) zumindest ein Abstand des ersten Fahrzeugs (2) zu dem zweiten Fahrzeug (3) oder eine Dauer bis zum Zusammenstoß des ersten Fahrzeugs (2) mit dem zweiten Fahrzeug (3) ist.
Verfahren nach Anspruch 1 oder 2, wobei die Kamera (4) eine Monokamera ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Maß (5) für den Durchmesser eine Einhüllende (8) um zumindest das Rad (6) oder eine Felge des Rades (6) ist.
Verfahren nach Anspruch 4, wobei die Einhüllende (8) eine rechteckige Form aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ermitteln des Relativparameters (1) unter Verwendung eines Strahlensatzes erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei weiterhin ein Ermitteln einer Fahrzeuglänge (17) des zweiten Fahrzeugs (3) unter Verwendung des in Schritt b) erfassten Maßes (5) und des vordefinierten Referenzdurchmessers (7) von Fahrzeug-Rädern erfolgt.
System (9) für ein Fahrzeug (2), wobei das System (9) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Fahrzeug (2) mit einem System (9) nach Anspruch 8.
Verwendung eines vordefinierten Referenzdurchmessers (7) von Fahrzeug-Rädern zum Ermitteln zumindest einer Dauer bis zum Zusammenstoß mit einem Fahrzeug (3), einem Abstand zu dem Fahrzeug (2) oder einer Fahrzeuglänge (17) des Fahrzeugs (3).