-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung, zur Anwendung bzw. zum Einsatz in einem Fahrzeug und zur Bestimmung des Abstandes zwischen dem Fahrzeug und wenigstens einem weiteren Fahrzeug, insbesondere mittels einer Kameravorrichtung und geeigneter Bildverarbeitung.
-
Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine Kamera zur Erfassung der Fahrzeugumgebung, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs. Die Kamera ist dabei in der Regel hinter der Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Fahrbahnmarkierungen, Verkehrszeichen und anderer Objekte, sowie Nachtsichtkameras oder auch Stereokameras als optische Abstandssensoren.
-
Fahrerassistenzsysteme zur Vermeidung von Unfällen, beispielsweise Notbremsassistenten zur Vermeidung von Auffahrunfällen im Stadtverkehr, oder Systeme zur Abstandregelung, z.B. ACC (Adapative Cruise Control), benötigen möglichst genaue Informationen über das Fahrzeugumfeld. Dabei kommt insbesondere der Erfassung von vorausfahrenden oder entgegenkommenden Fahrzeugen sowie der Bestimmung der Abstände zu diesen Fahrzeugen eine wichtige Rolle zu. Bekannt ist vor allem die Verwendung von Strahlsensoren zur Abstandsmessung, beispielsweise Ultraschall-, Radar-, Laser- oder Lidar-Sensoren. Doch auch Kameras werden bereits zur Ermittlung des Abstandes zu einem anderen Fahrzeug verwendet.
-
Bei der Ermittlung von Abständen zwischen Fahrzeugen mittels einer oder mehrerer Kameras kommen spezielle Bildverarbeitungsverfahren zum Einsatz. Gängige Bildverarbeitungsalgorithmen, z.B. Mustererkennung bzw. Mustervergleichsverfahren, nutzen bei der Berechnung des Abstands zu einem anderen Fahrzeug häufig die Fahrzeugunterkante, d.h. die Schnittlinie der Fahrzeugrück- bzw. Frontansicht mit der Fahrbahnebene. Die Fahrzeugunterkante wird innerhalb des Kamerabildes z.B. über Kantendetektionsverfahren und/oder mittels einer Suche nach bestimmten Mustern bzw. Merkmalen, wie z.B. des Schattenbereichs unterhalb des Fahrzeugs, detektiert. Unter der Annahme einer flachen Welt kann anschließend unter Berücksichtigung extrinsischer und intrinsischer Kameraparameter der Abstand zum Fahrzeug geschätzt werden. Bei den extrinsischen Kameraparametern handelt es sich beispielsweise um die Position und Orientierung der Kamera im Raum bzw. im Fahrzeug, z.B. der Abstand zur Fahrzeugfront. Bei den intrinsischen Parametern handelt es sich beispielsweise um innere Orientierungen, z.B. die Brennweite der Kamera und die Position des Bildhauptpunktes. Aus dem so bestimmten Abstand zu einem anderen Fahrzeug und der Lateralposition kann über den zeitlichen Verlauf zudem die Längs- und Quergeschwindigkeit eines Fahrzeugs berechnet werden.
-
Ein wesentlicher Nachteil bei bekannten Verfahren zur Bestimmung des Abstandes zu einem anderen Fahrzeug mittels einer Kamera ist die Tatsache, insbesondere bei Verwendung der im Kamerabild detektierten Fahrzeugunterkannte zur Berechnung des Abstandes, dass die Detektion der Fahrzeugunterkante je nach Lichtbedingungen (Sonneneinstrahlung) ungenau ist und dass die Fahrzeugunterkante im absoluten Nahbereich, beispielsweise im dichten Stadtverkehr oder bei Stop-and-Go-Verkehr, sogar außerhalb des Kamerasichtbereiches liegen kann.
-
Zudem unterscheiden sich die Fahrzeugunterkanten je nach Fahrzeugtyp. Daher ist die Schätzung in der Regel relativ ungenau und im absoluten Nahbereich sogar unmöglich.
-
Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung anzugeben, wobei mittels einer Kamera und einer entsprechend ausgebildeten Bildverarbeitung der Abstand zwischen einem ersten Fahrzeug, in dem das Verfahren bzw. die Vorrichtung zum Einsatz kommt, und wenigstens einem zweiten Fahrzeug, beispielsweise einem vorausfahrenden oder einem entgegenkommenden Fahrzeug, möglichst genau und zuverlässig ermittelt werden kann. Die Ermittlung sollte dabei möglichst robust gegenüber Lichteinflüssen und im Wesentlichen unabhängig von Fahrzeugtypen möglich sein.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 und durch eine Vorrichtung mit den Merkmalen nach Anspruch 10 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Ein wesentlicher Gedanke der Erfindung besteht darin, zur Bestimmung des Abstands zu einem anderen Fahrzeug, das Fahrzeugkennzeichen des Fahrzeugs bzw. Informationen über das Fahrzeugkennzeichen bei der Berechnung des Abstandes auszuwerten. Ein wesentlicher Vorteil besteht darin, dass Fahrzeugkennzeichen in der Regel gut sichtbar am Fahrzeug angebracht und im Allgemeinen beleuchtet sind. Zudem haben Fahrzeugkennzeichen in der Regel eine vorgeschriebene Größe. Am Beispiel der Bundesrepublik Deutschland gibt es beispielweise nur vier unterschiedliche Kennzeichentypen, deren vorgeschriebene Größen in der Straßenverkehrsordnung (StVO) festgelegt sind. Ist der Kennzeichentyp bekannt, kann somit aus der Größe des Kennzeichens im Kamerabild und aus der für den jeweiligen Kennzeichentyp vorgeschriebenen Größe der Abstand zum Fahrzeug auf einfache Weise berechnet werden.
-
Das erfindungsgemäße Verfahren wird vorzugsweise in einem ersten Fahrzeug eingesetzt und verwendet zur Bestimmung des Abstands zwischen dem ersten Fahrzeug und wenigstens einem zweiten (anderen) Fahrzeug zumindest eine Kameravorrichtung. Die wenigstens eine Kameravorrichtung ist in dem ersten Fahrzeug angeordnet, vorzugsweise im Fahrzeuginnenraum hinter der Windschutzscheibe, mit Blickrichtung durch die Scheibe hindurch in einen Bereich um das Fahrzeug, beispielsweise in den in Fahrtrichtung des Fahrzeugs vorausliegenden Verkehrsraum. Erfindungsgemäß kann die Kameravorrichtung auch auf eine andere Weise im Fahrzeug angeordnet sein und/oder es können mehrere an unterschiedlichen Orten angeordnete sowie mit unterschiedlichen Beobachtungsbereichen ausgestaltete Kameravorrichtungen im Rahmen des erfindungsgemäßen Verfahrens eingesetzt werden. Denkbar ist beispielsweise auch eine Erfassung der gesamten Umgebung des Fahrzeugs, insbesondere im Sinne einer Rundumsicht bzw. 360°-Erfassung. Demnach kann das erfindungsgemäße Verfahren beispielsweise auch in Verbindung mit einem sogenannten TopView-System, welches heutzutage bereits in Fahrzeugen eingesetzt wird, zum Einsatz kommen. Bei dem wenigstens einem anderen bzw. bei dem zweiten Fahrzeug kann es sich um ein beispielsweise in der eigenen Fahrspur oder in einer Nachbarfahrspur vorausfahrendes oder um ein beispielsweise auf einer Gegenfahrspur entgegenkommendes Fahrzeug handeln. Erfindungsgemäß kann auch der Abstand zu mehreren verschiedenen Fahrzeugen bestimmt werden.
-
Das Verfahren zur Bestimmung des Abstandes zwischen dem ersten Fahrzeug und wenigstens einem zweiten Fahrzeug umfasst erfindungsgemäß die folgenden Schritte:
- – Erfassen von Bilddaten aus einem Bereich um das ersten Fahrzeug mittels zumindest einer Kameravorrichtung;
- – Erkennen eines Fahrzeugkennzeichens des zweiten Fahrzeugs;
- – Ermitteln von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs;
- – Bestimmen des Abstandes zwischen dem ersten und dem zweiten Fahrzeug anhand der Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs.
-
Das Erfassen von Bilddaten aus einem Bereich um das erste Fahrzeug erfolgt mittels der wenigstens einen im ersten Fahrzeug angeordneten Kameravorrichtung. Bei dem Bereich um das erste Fahrzeug handelt es sich vorzugsweise um den in Fahrtrichtung vorausliegenden Verkehrsraum und/oder um den entgegengesetzt zur Fahrtrichtung liegenden bzw. rückwärtigen Verkehrsraum des ersten Fahrzeugs. Die Erfassung der Bilddaten erfolgt dabei bevorzugt kontinuierlich mittels der Kameravorrichtung. Die erfassten Bilddaten werden beispielsweise Bildverarbeitungsmitteln zugeführt, die in der Kameravorrichtung selbst oder in einer separaten Einrichtung im Fahrzeug angeordnet sein können.
-
Das Erkennen eines Fahrzeugkennzeichens des zweiten Fahrzeugs erfolgt vorzugsweise mittels entsprechend ausgestalteter Bildverarbeitungsalgorithmen, die insbesondere in den Bildverarbeitungsmitteln zum Einsatz kommen, beispielsweise Mustererkennungs- bzw. Mustervergleichsverfahren und/oder Kantenfilterverfahren. Bei dem Fahrzeugkennzeichen des zweiten Fahrzeugs handelt es sich bevorzugt um das von einer Kraftfahrzeug-Zulassungsstelle eines jeweiligen Landes ausgegebene amtliche Kennzeichen des Fahrzeugs. Das Fahrzeugkennzeichen wird häufig auch als KfZ-Kennzeichen oder umgangssprachlich als Nummernschild bezeichnet.
-
Die Ermittlung von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs kann erfindungsgemäß die Ermittlung einer oder mehrerer Informationen über das Fahrzeugkennzeichen umfassen, insbesondere
- – das Seitenverhältnis des Fahrzeugkennzeichens und/oder
- – die Höhe und/oder Breite des Fahrzeugkennzeichens und/oder
- – den Typ des Fahrzeugkennzeichens
- – die Größe eines oder mehrerer Zeichen auf dem Fahrzeugkennzeichen und/oder
- – den Abstand zwischen einem oder mehreren Zeichen auf dem Fahrzeugkennzeichen.
-
Bevorzugt kommen dabei entsprechend ausgestaltete Bildverarbeitungsalgorithmen zum Einsatz.
-
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird beim Ermitteln von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs ein Seitenverhältnis, d.h. insbesondere das Verhältnis der vertikalen und horizontalen Ausdehnung, des Fahrzeugkennzeichens, im Kamerabild bestimmt. Hierzu kann mittels eines entsprechenden Bildverarbeitungsalgorithmus das Fahrzeugkennzeichen im Kamerabild segmentiert werden und/oder es können gängige Kantenfilter eingesetzt werden, d.h. die Breite und Höhe des Kennzeichens im Kamerabild wird in Pixel- oder Subpixelgenauigkeit bestimmt.
-
In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird beim Ermitteln von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs ein Typ des Fahrzeugkennzeichens bestimmt. Bei dem Typ handelt es sich dabei vorzugsweise um einen beispielsweise laut Gesetzgebung, Verkehrsordnung oder gemäß einer sonstigen amtlichen und/oder länderspezifischen Vorschrift definierten Kennzeichentyp, wobei sich die möglichen Kennzeichentypen je nach Land, in denen das erfindungsgemäße Verfahren zum Einsatz kommt, unterscheiden können. In einer vorteilhaften Ausgestaltung sind daher die Kennzeichentypen für verschiedene Länder in einem flüchtigen oder nichtflüchtigen Speicher abgelegt und im Rahmen des erfindungsgemäßen Verfahrens abrufbar.
-
Der Typ des Fahrzeugkennzeichens wird bevorzugt aus dem vorangehend bestimmten Seitenverhältnis des Fahrzeugkennzeichens abgeleitet.
-
In der Bundesrepublik Deutschland sind gemäß StVO beispielsweise nur vier unterschiedliche Typen für Fahrzeugkennzeichen vorgeschrieben, die sich in ihrem Seitenverhältnis deutlich voneinander unterscheiden. Daher lässt sich über das Seitenverhältnis auf besonders einfache Weise der Typ des Kennzeichens bestimmen. Dabei kann, beispielsweise um die Anzahl an möglichen Typen vorab einzuschränken oder um bei möglicherweise auftretenden Mehrdeutigkeiten trotzdem eine Auswahl treffen zu können, eine Information über das aktuelle Land in dem sich das Fahrzeug befindet bzw. in dem das Verfahren aktuell zum Einsatz kommt, beispielsweise durch Kopplung mit einer Navigationseinrichtung, bei dem erfindungsgemäßen Verfahren berücksichtigt werden.
-
In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird beim Ermitteln von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs eine vorgeschriebene Höhe und/oder Breite des Fahrzeugkennzeichens bestimmt. Die vorgeschriebene Höhe und/oder Breite kann insbesondere aus dem vorangehend bestimmten Typ des Fahrzeugkennzeichens abgeleitet werden, da in der Regel für jeden Kennzeichentyp, gemäß den jeweiligen landesspezifischen Vorschriften über Typen von Fahrzeugkennzeichen, eine feste Breit und Höhe für jeden Kennzeichentyp festgelegt sind. Ist das Seitenverhältnis und/oder der Typ des Fahrzeugkennzeichens bekannt, kann somit auf einfache Weise die vorgeschriebene Breite und/oder Höhe des Kennzeichens, insbesondere wenn diese in einem Speicher hinterlegt sind.
-
Beim Bestimmen des Abstandes zwischen dem ersten und dem zweiten Fahrzeug anhand der Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs wird in einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wenigstens eine der vorab ermittelten Informationen über das Fahrzeugkennzeichen berücksichtigt. Bevorzugt wird dabei aus der im Kamerabild ermittelten Höhe und/oder Breite des Fahrzeugkennzeichens und aus der vorgeschriebenen Höhe und/oder Breite des Fahrzeugkennzeichens der Abstand zwischen dem ersten und dem zweiten Fahrzeug berechnet. In einer besonderen Ausgestaltung wird dabei nur die in den Bilddaten bzw. im Kamerabild ermittelte Höhe des Fahrzeugkennzeichens und die vorgeschriebene Höhe des Fahrzeugkennzeichens bei der Berechnung berücksichtigt, da die in den Bilddaten ermittelte Höhe in der Regel nicht vom Gierwinkel bzw. Relativwinkel (z.B. bei Kurvenfahrt) zwischen Kamera und zweitem Fahrzeug abhängt.
-
In einer vorteilhaften Ausgestaltung werden bei der Bestimmung des Abstandes zwischen dem ersten und dem zweiten Fahrzeug extrinsische und/oder intrinsische Parameter der Kameravorrichtung berücksichtigt. Bei den extrinsischen Parametern handelt es sich beispielsweise im die Orientierung und Anordnung der Kameravorrichtung in dem ersten Fahrzeug, insbesondere um den Abstand eines Referenzpunktes, z.B. der Objektlinse eines Objektivs der Kameravorrichtung, zur Fahrzeugfront. Bei den intrinsischen Parametern handelt es sich beispielsweise um die Orientierung und Anordnung von Kameraelementen, beispielsweise um den Abstand der Bildebene bzw. des Bildaufnahmeelements zur Objektlinse. Aus den extrinsischen und/oder intrinsischen Parametern der Kameravorrichtung und aus den ermittelten Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs, kann auf einfache Weise der Abstand zum zweiten Fahrzeug bzw. insbesondere der Abstand der Fahrzeugfront des ersten Fahrzeugs zum Fahrzeugkennzeichen des zweiten Fahrzeug, und damit zu dessen Fahrzeugfront oder Fahrzeugrückseite, berechnet werden.
-
In einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens werden bei der Ermittlung von Informationen über das Fahrzeugkennzeichen des zweiten Fahrzeugs zusätzlich oder alternativ zu den Informationen
- – Seitenverhältnis,
- – Typ und/oder
- – vorgeschriebenen Breite und/oder Höhe des Fahrzeugkennzeichens,
die Informationen
- – zumindest eine Größe wenigstens eines Zeichens und/oder
- – zumindest ein Abstand zwischen wenigstens zwei Zeichen auf dem Fahrzeugkennzeichen des zweiten Fahrzeugs bestimmt.
-
Bei den Zeichen handelt es sich dabei insbesondere um Buchstaben oder Zahlen, die auf dem Fahrzeugkennzeichen beispielsweise eingepresst bzw. gestanzt und/oder aufgedruckt sind. Wie bereits den Kenzeichentyp betreffend, gibt es in der Regel fest definierte bzw. fest vorgeschriebene Größen für die Zeichen auf Fahrzeugkennzeichen, die in den jeweiligen länderspezifischen Vorschriften (z.B. StVO in Deutschland) festgelegt sind. Diese können, wie die Typen von Fahrzeugkennzeichen, im Rahmen des erfindungsgemäßen Verfahrens in einem Speicher hinterlegt und abrufbar sein. Bei der Größe der Zeichen handelt es sich dabei insbesondere um die Breite und/oder Höhe eines einzelnen Zeichens.
-
Die zumindest eine Größe wenigstens eines Zeichens und/oder der zumindest eine Abstand zwischen wenigstens zwei Zeichen können beispielsweise, wie bereits das Seitenverhältnis bzw. die Höhe/Breite des Kennzeichens, im Kamerabild über entsprechende Bildverarbeitungsalgorithmen, (sub-)pixelgenau bestimmt werden.
-
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens werden beim Bestimmen des Abstandes zwischen dem ersten und dem zweiten Fahrzeug die Informationen über die zumindest eine Größe wenigstens eines Zeichens und/oder der zumindest ein Abstand zwischen den wenigstens zwei Zeichen auf dem Fahrzeugkennzeichen berücksichtigt. Bevorzugt wird dabei
- – aus der vorgeschriebenen Größe und/oder dem vorgeschriebenen Abstand für Zeichen auf Fahrzeugkennzeichen und
- – aus der zumindest eine in den Bilddaten bzw. im Kamerabild bestimmten Größe wenigstens eines Zeichens und/oder aus dem zumindest eine im Kamerabild bestimmten Abstand zwischen wenigstens zwei Zeichen der Abstand zwischen dem ersten und dem zweiten Fahrzeug berechnet.
-
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird der mittels des vorangehend beschriebenen Verfahrens bestimmte Abstand zwischen dem ersten und dem zweiten Fahrzeug mit Abstandsdaten aus anderen Sensoreinrichtungen im Fahrzeug zusammengeführt, insbesondere um möglichst genaue und zuverlässige Abstandsinformationen für Assistenzsystem in einem Fahrzeug, beispielsweise für Abstandsregelungssysteme, Kollisionswarnsysteme und/oder (Not-)Bremsassistenzsysteme liefern zu können.
-
Die erfindungsgemäße Vorrichtung ist vorzugsweise in einem ersten Fahrzeug angeordnet und dient zur Bestimmung des Abstands zwischen dem ersten Fahrzeug und wenigstens einem zweiten Fahrzeug. Die Vorrichtung umfasst zumindest eine Kameravorrichtung, insbesondere eine Monokamera, die im ersten Fahrzeug angeordnet ist, vorzugsweise im Fahrzeuginnenraum hinter einer Windschutzscheibe mit Blickrichtung durch die Scheibe hindurch in einen in Fahrtrichtung vorausliegenden Bereich. Die Vorrichtung umfasst weiterhin Mittel zur Durchführung eines Verfahrens entsprechend einer der vorangehend beschrieben Ausgestaltungen. Bei den Mitteln handelt es sich dabei insbesondere um Bildverarbeitungseinrichtungen die beispielsweise in die Kameravorrichtung integriert oder separat im Fahrzeug angeordnet sein können. Die erfindungsgemäße Vorrichtung ist bevorzugt mit weiteren elektronischen Einrichtungen im Fahrzeug verbunden, insbesondere mit einem oder mehreren Fahrerassistenzsystemen, um die gewonnen Abstandsinformationen für Fahrerassistenzfunktionen zur Verfügung stellen zu können.
-
Durch die erfindungsgemäß beschriebene Auswertung von Fahrzeugkennzeichen bzw. Kennzeicheninformationen zur Abstandsermittlung, ist eine robustere und genauere Bestimmung des Abstandes beispielsweise zu vorausfahrenden und/oder entgegenkommenden Fahrzeugen möglich. Hieraus kann sich insbesondere auch eine bessere Schätzung der Längsgeschwindigkeit eines Fahrzeugs ergeben.
-
Fahrzeugkennzeichen sind insbesondere im Nahbereich deutlich länger sichtbar als beispielsweise die bei bekannten Verfahren für die Abstandermittlung verwendete Fahrzeugunterkante eines Fahrzeugs. Dadurch ergibt sich eine höhere Verfügbarkeit der Abstandsbestimmung im Nahbereich, wodurch beispielsweise eine Stop-and-Go-Assistenzfunktion im dichten Stadtverkehr mittels des erfindungsgemäßen Verfahrens auf einfache Weise realisiert werden kann.
-
Bei einer Fusion der mittels des erfindungsgemäßen Verfahrens bestimmten Abstandsinformationen mit Abstandsdaten, z.B. von Strahlsensoren, kann zudem eine bessere Datenassoziation erreicht werde und somit insbesondere in komplexen Szenarien (z.B. Stadtverkehr) eine robustere Abstandsermittlung realisiert werden.
-
Für das erfindungsgemäße Verfahren und für die erfindungsgemäße Vorrichtung ist zudem der Einsatz einer Monokamera ausreichend, d.h. es kann beispielsweise auf eine komplexe und teure Stereokamera und/oder auf andere zusätzliche Strahlsensoren verzichtet werden. Hierdurch ergeben sich insbesondere Kostenvorteile und es kann begrenzter Einbauraum im Fahrzeug eingespart werden.
-
Aufgrund der Tatsache, dass eine Kamera zur Abstandsermittlung verwendet wird, die gleichzeitig zur Objekterkennung eingesetzt werden kann, kann zudem auf eine komplizierte Fusion von Objektinformationen aus der Kamera mit Abstandinformationen, beispielsweise aus einem Stahlsensor, die in vielen Fällen für bestimmte Fahrerassistenzfunktionen notwendig ist, verzichtet werden.