DE102011001904A1

DE102011001904A1 - Verfahren zum Betrieb eines bildgeschtützten Fahrerassistenzsystems in einem Fahrzeug

Info

Publication number: DE102011001904A1
Application number: DE102011001904A
Authority: DE
Inventors: Dominik Kiefer
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2011-04-08
Filing date: 2011-04-08
Publication date: 2012-10-11
Anticipated expiration: 2031-04-09
Also published as: DE102011001904B4

Abstract

Es sind verschiedene Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems (4) in einem Fahrzeug (2), bei dem mittels einer Bildaufnahmeeinheit (6) Bilder aufgenommen und an eine Auswerteeinheit (8) übertragen werden, in der aus den Bildern eine erste Entfernungsschätzung zu nachfolgenden Fahrzeugen (14) durchgeführt wird, bekannt. Diese weisen häufig Ungenauigkeiten in der Entfernungsbestimmung zu nachfolgenden Fahrzeugen auf. Um dies zu vermeiden, wird vorgeschlagen, dass in der Auswerteeinheit (8) eine zweite Entfernungsschätzung durchgeführt wird und die beiden Ergebnisse der Entfernungsschätzungen zu einer Gesamtschätzung fusioniert werden. Bei korrekter und fehlerminimierender Gewichtung wird so die Güte der Entfernungsschätzung deutlich verbessert.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug, bei dem mittels einer Bildaufnahmeeinheit Bilder aufgenommen und an eine Auswerteeinheit übertragen werden, in der aus den Bildern eine erste Entfernungsschätzung zu nachfolgenden Fahrzeugen durchgeführt wird.
Fahrzeuge mit bildgestützten Fahrerassistenzsystemen sind bekannt. Diese Fahrerassistenzsysteme weisen eine oder mehrere Kameras auf, mit denen Bilder aufgenommen werden. Durch Auswertung zweier oder mehrerer aufeinanderfolgender Bilder mittels einer Auswerteeinheit können die Entfernungen und Geschwindigkeiten nachfolgender Fahrzeuge ermittelt werden. Diese Daten werden dazu benutzt, beispielsweise ein Warnsignal an den Fahrer auszugeben, wenn aus den ermittelten Daten auf eine Gefahr bei einem Spurwechsel geschlossen werden kann.
Die bekannten Fahrerassistenzsysteme arbeiten beispielsweise, indem über Helligkeitsfilter und zu erwartende Pixelstrukturen zunächst nachfolgende Fahrzeuge identifiziert werden und deren Umrisse vereinfacht entsprechend eines Vierecks zur Auswertung genutzt werden. So ist es bekannt, über die auf diese Weise bestimmte Breite von Pixelgruppen und einer zu erwartenden Breite eines Fahrzeugs auf dessen Abstand zum vorfahrenden Fahrzeug zu schließen. Dieses Verfahren führt insbesondere im Fernbereich zu guten Ergebnissen.
Auch ist es bekannt, einen Abstand eines nachfolgenden Fahrzeugs über den Höhenunterschied zwischen dieser Fahrzeugunterkante und dem Fluchtpunkt beziehungsweise optischen Zentrum des Bildes zu berechnen. Dieses Verfahren führt zu relativ guten Ergebnissen im Nahbereich aufgrund der trigonometrischen Beziehungen.
All diese Ermittlungen des Fahrzeugabstandes sind jedoch lediglich Schätzungen und somit fehlerbehaftet. So können derzeit ohne großen Aufwand an Hardware und hoher Rechenkapazität keine ausreichend genauen Entfernungsschätzungen durchgeführt werden.
Somit stellt sich die Aufgabe, ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems bereitzustellen, mit dem der Fehler bei der Bestimmung einer Entfernung möglichst minimiert wird, ohne den Aufwand und somit die Kosten deutlich zu erhöhen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des kennzeichnenden Teils des Anspruchs 1 gelöst.
Dadurch, dass in der Auswerteeinheit eine zweite Entfernungsschätzung durchgeführt wird und die beiden Ergebnisse der Entfernungsschätzungen zu einer Gesamtschätzung fusioniert werden, kann eine deutliche Verbesserung des Ergebnisses der Entfernungsschätzung durch entsprechende Gewichtung erzielt werden.
Vorzugsweise wird zur ersten Entfernungsschätzung eine Varianzschätzung durchgeführt, zur zweiten Entfernungsschätzung eine zweite Varianzschätzung durchgeführt und die Fusion anhand der Varianzschätzungen durchgeführt. Dabei ist die Varianz das Quadrat der Standardabweichung. Die Fusion dieser beiden Varianzschätzungen führt zu einer deutlichen Erhöhung der Güte der Entfernungsschätzung.
In einer weiterführenden Ausführungsform wird die erste Entfernungsschätzung aufgrund der trigonometrischen Beziehungen dieser Entfernung zur Anordnung der Bildaufnahmeeinheit mit ihrer Brennweite und ihrem optischen Zentrum sowie der Höhe des optischen Zentrums vorgenommen. Dieses Schätzverfahren liefert aufgrund der trigonometrischen Beziehungen in der Gleichung im Nahbereich gute Ergebnisse. Die Berechnung ist einfach durchzuführen.
In einem hierzu weiterführenden Verfahren werden die Brennweite der Bildaufnahmeeinheit und die y-Pixelkoordinate eines Hauptpunktes der Bildaufnahmeeinheit als nicht fehlerbehaftet bei der Varianzschätzung angenommen. Dies ist möglich, da es sich um relativ statische Größen handelt. Dies verkleinert den zu berechnenden Term und somit den Rechenaufwand.
Vorzugsweise wird die zweite Entfernungsschätzung mittels des Strahlensatzes aus der zu schätzenden Entfernung, einer durchschnittlichen angenommenen tatsächlichen Breite eines nachfolgenden Fahrzeugs, einer Breite des nachfolgenden Fahrzeugs im Bild sowie der Brennweite der Bildaufnahmeeinheit vorgenommen. Diese Gleichung weist rein lineare Beziehungen auf, so dass im Fernbereich gute Ergebnisse bei dieser Entfernungsschätzung erzielt werden. Auch hierbei sind die Berechnungen in üblichen Auswerteeinheiten durchführbar.
In einer bevorzugten Ausführung werden die Varianzschätzungen mittels des Gauß'schen Fehlerfortpflanzungsgesetzes ausgeführt. Dies hat sich zur Fehlerbestimmung in anderen Bereichen bei voneinander unabhängigen Messgrößen mit zufälligen Messwertabweichungen bewährt.
Es wird somit ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug zur Verfügung gestellt, mit dem Fehler bei der Berechnung von Fahrzeugabständen bei geringem Mehraufwand minimiert werden.
Die Erfindung wird nachfolgend anhand der Zeichnungen beschrieben.
1 zeigt schematisch ein Fahrzeug mit einem bildgestützten Fahrerassistenzsystem sowie nachfolgendem Verkehr und rückwärtigem Beobachtungsfeld.
2 zeigt die Strukturen eines Bildes der Bildaufnahmeeinheit
3 zeigt die sich aus dem Bild zur Entfernungsschätzung verwendeten trigonometrischen Zusammenhänge in einer Skizze.
4 zeigt die sich aus dem Bild ergebenden linearen Zusammenhänge entsprechend des Strahlensatzes in einer Skizze.
In 1 ist ein Fahrzeug 2 in Form eines Motorrades mit einem erfindungsgemäßen bildgestützten Fahrerassistenzsystem 4 dargestellt, welches eine Bildaufnahmeeinheit 6, eine mit der Bildaufnahmeeinheit 6 verbundenen Auswerteeinheit 8 sowie Warnleuchten 10 aufweist.
Die Bildaufnahmeeinheit 6 ist als Monokamera ausgeführt und fest mit dem Motorrad 2 verbunden. Über diese Monokamera 6 wird eine rückliegende Fahrzeugumgebung 12 in Form eines Winkelfeldes hinter dem Fahrzeug 2 erfasst, in welchem sich im vorliegenden Ausführungsbeispiel zwei nachfolgende Fahrzeuge 14 befinden.
In 2 ist ein Bild der nach hinten gerichteten Bildaufnahmeeinheit 6 dargestellt. In diesem Bild ist der auf einer Straße 16 sich bewegende nachfolgende Verkehr und hier insbesondere ein detektiertes nachfolgendes Fahrzeug 14 zu erkennen. Dieses Fahrzeug 14 ist mit einem Rechteck 18 markiert, welches in der Auswerteeinheit 8 zur weiteren Berechnung genutzt wird. Dies vereinfacht Breiten und Höhenmessungen, die zur Entfernungsbestimmung genutzt werden. Des Weiteren ist mit einem Kreis ein Fluchtpunkt 20 des Bildes markiert.
Es ist zu erkennen, dass die Höhe einer Unterkante 22 des Rechtecks 18 ein Maß für die Entfernung des Fahrzeugs 14 von der Bildaufnahmeeinheit 2 ist. Je näher das Fahrzeug 14 an der Bildaufnahmeeinheit 6 ist, desto weiter unten befindet sich das Fahrzeug 14 im Bild, also desto tiefer ist die Unterkante 22 des Rechtecks 18 im Bild. Diese Größen werden für eine erste Entfernungsschätzung genutzt. Die zugehörige Zeichnung ist in 3 dargestellt. Das Koordinatensystem dieser Figur hat seinen Ursprung in der linken unteren Ecke des Bildes, so dass die x-Achse nach rechts verläuft und die y-Achse nach oben gerichtet ist. Aus der 3 ergibt sich dann folgende Gleichung:
darin sind:

O_y: die y-Pixelkoordinate der Fahrzeugunterkante im Bild
FP_y: die y-Pixelkoordinate des Fluchtpunktes
h_y: die y-Pixelkoordinate des Hauptpunktes der Bildaufnahmeeinheit
f_y: die Brennweite der Bildaufnahmeeinheit in Pixeln
h: die Höhe des optischen Zentrums über der Fahrbahn.

Um eine erfindungsgemäße Datenfusion vorzunehmen, wird die Güte dieser Schätzung bestimmt. Dies erfolgt mittels des Gauß'schen Fehlerfortpflanzungsgesetzes. Dabei werden die Brennweite der Bildaufnahmeeinheit und die y-Pixelkoordinate des Hauptpunktes der Bildaufnahmeeinheit als konstante, nicht fehlerbehaftete Werte angenommen, um den Rechenaufwand zu verringern. Unter dieser Voraussetzung ergibt sich die folgende Gleichung für die Varianz der Entfernungsschätzung:
Darin ist
die Varianz und
die Standardabweichung des jeweiligen Messwertes entsprechend der Gauß'schen Normalverteilung.
Die zweite Entfernungsschätzung wird mittels des Strahlensatzes vorgenommen. Die zur Berechnung notwendigen Größen sind in 4 dargestellt. Es ergibt sich:
darin sind:

b: eine durchschnittlich angenommene Fahrzeugbreite
b_x: die Breite der Fahrzeugdetektion im Bild in Pixeln
f_y: die Brennweite der Bildaufnahmeeinheit in Pixeln

Die entsprechende Varianzschätzung zu dieser zweiten Entfernungsschätzung ergibt wiederum entsprechend des Gauß'schen Fehlerfortpflanzungsgesetzes:
Eine Fusion der beiden Entfernungsschätzungen wird nun mit entsprechender Gewichtung d = K·d₁ + (1 + K)·d₂ (5) durchgeführt:
wobei 0 < K < 1 ist und den Gewichtungsfaktor der beiden Entfernungsschätzungen bildet.
Um eine minimale Varianz zu erreichen und somit eine möglichst hohe Wahrscheinlichkeit
einer korrekten Entfernungsbestimmung, muss gelten:
Durch Einsetzen der Gleichung (6) in die Gleichung (5) wird das Ergebnis der durchgeführten Entfernungsschätzung erzielt.
Durch diese fehlerminimierende gewichtete Berechnung durch Fusion zweier Entfernungsschätzungen wird die Güte der Gesamtschätzung deutlich erhöht. Sollten die Ergebnisse der beiden unabhängigen Entfernungsschätzungen entsprechend der Gleichungen (1) und (3) sich zu sehr unterscheiden, können die Ergebnisse als Fehldetektion verworfen und die Auswertung der nachfolgenden Bilder durchgeführt werden.
Sollten sich aus den Entfernungsschätzungen Gefahren für den Fahrer des Fahrzeugs 2 aufgrund zu geringer Abstände bei erhöhter Geschwindigkeit der nachfolgenden Fahrzeuge 14 ergeben, so kann dieser in bekannter Weise beispielsweise mittels der Warnleuchten 10 hiervon in Kenntnis gesetzt werden.
Die notwendigen Rechnungen lassen sich in der Auswerteeinheit verwirklichen. Es ergibt sich somit eine einfache Möglichkeit zur Auswertung eines Bildes eines bildgestützten Fahrerassistenzsystems, bei dem Fehler bei der Entfernungsbestimmung minimiert werden.
Es sollte deutlich sein, dass der Schutzbereich der Hauptansprüche nicht auf das beschriebene Ausführungsbeispiel beschränkt ist. Auch einfache Gewichtungen zweier unabhängiger Entfernungsschätzungen sind denkbar.

Claims

Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems (4) in einem Fahrzeug (2), bei dem mittels einer Bildaufnahmeeinheit (6) Bilder aufgenommen und an eine Auswerteeinheit (8) übertragen werden, in der aus den Bildern eine erste Entfernungsschätzung zu nachfolgenden Fahrzeugen (14) durchgeführt wird, dadurch gekennzeichnet, dass in der Auswerteeinheit (8) eine zweite Entfernungsschätzung durchgeführt wird und die beiden Ergebnisse der Entfernungsschätzungen zu einer Gesamtschätzung fusioniert werden.
Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug nach Anspruch 1, dadurch gekennzeichnet, dass zur ersten Entfernungsschätzung eine Varianzschätzung durchgeführt wird, zur zweiten Entfernungsschätzung eine zweite Varianzschätzung durchgeführt wird und die Fusion anhand der Varianzschätzungen durchgeführt wird.
Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die erste Entfernungsschätzung aufgrund der trigonometrischen Beziehungen dieser Entfernung zur Anordnung der Bildaufnahmeeinheit (6) mit ihrer Brennweite und ihrem optischen Zentrum sowie der Höhe des optischen Zentrums vorgenommen wird.
Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug nach Anspruch 3, dadurch gekennzeichnet, dass die Brennweite der Bildaufnahmeeinheit (6) und die y-Pixelkoordinate eines Hauptpunktes der Bildaufnahmeeinheit (6) als nicht fehlerbehaftet bei der Varianzschätzung angenommen werden.
Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Entfernungsschätzung mittels des Strahlensatzes aus der zu schätzenden Entfernung, einer durchschnittlichen angenommenen tatsächlichen Breite eines nachfolgenden Fahrzeugs (14), einer Breite des nachfolgenden Fahrzeugs (14) im Bild sowie der Brennweite der Bildaufnahmeeinheit (6) vorgenommen wird.
Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Varianzschätzungen mittels des Gauß'schen Fehlerfortpflanzungsgesetzes ausgeführt werden.