DE102011014368A1

DE102011014368A1 - Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem

Info

Publication number: DE102011014368A1
Application number: DE102011014368A
Authority: DE
Inventors: Ralf Beuschel
Original assignee: DSP WEUFFEN GmbH; DSP-Weuffen GmbH
Current assignee: ZF Friedrichshafen AG
Priority date: 2011-03-17
Filing date: 2011-03-17
Publication date: 2012-09-20
Also published as: EP2500216A1; EP2500216B1

Abstract

Die vorliegende Erfindung beschreibt ein bildgebendes Fahrerassistenzsystem bestehend aus mindestens einer Kamera mit Weitwinkelobjektiv, einer Bildverarbeitungseinheit und einer Anzeigeeinheit. Die Bildverarbeitungseinheit generiert aus den Kamerabildern eine zusammengesetzte, virtuelle Ansicht, die einer Projektion auf einen das Fahrzeug umgebenden Zylinder mit elliptischer Grundfläche entspricht. Ein Ausschnitt dieser virtuellen Ansicht wird auf der Anzeigeeinheit dargestellt. Der auf der Anzeigeeinheit dargestellte Bildausschnitt wird in Abhängigkeit des aktuellen Lenkwinkels dynamisch angepasst, so dass jederzeit der Bildbereich dargestellt wird, auf den sich das Fahrzeug anhand einer geschätzten Bewegungsrichtung zu bzw. fort bewegt. Die Anwendung der Erfindung liegt in der Unterstützung des Fahrers bei Park- und Rangiermanövern. Durch die Anpassung der Bilddarstellung an den Lenkwinkel kann der für den Fahrer relevante Teil der Bildansicht größer auf dem Bildschirm dargestellt werden, da nicht relevante Bildteile weggelassen werden können. Somit können Objekte im Bereich der geschätzten Bewegungsrichtung des Fahrzeugs größer und deutlicher dargestellt werden.

Description

Stand der Technik
Im Bereich der Fahrzeugtechnik werden vermehrt Kameras eingesetzt um den Fahrer in verschiedenen Fahrsituationen zu unterstützen. In der Klasse der bildgebenden Systeme haben sich bereits Rückfahrkameras etabliert, die insbesondere in Einparksituationen das Unfallrisiko reduziert.
Die Rückfahrkamera wird in der Regel am Heck des Fahrzeugs angebracht, wie beispielsweise in DE 10342971 A1 beschrieben. Das Kamerabild wird meistens ohne weitere Verarbeitung oder mit Einparkhilfslinien zur Darstellung gebracht.
Sowohl im PKW- als auch im Nutzfahrzeugbereich werden inzwischen Rundumsichtsysteme verwendet, die vier oder mehr Kameras mit großem Erfassungsbereich verwenden um das Umfeld des Fahrzeugs aufzunehmen. Um diese Funktion zu erfüllen werden die Kameras mit Weitwinkelobjektiven oder speziellen Spiegeln ausgestattet, wobei die die Rohbilder in eine für den Fahrer brauchbare Darstellung transformiert werden müssen. Eine verbreitete Darstellungsform stellt die virtuelle Draufsicht in der Art einer Vogelperspektive dar, die dem Fahrer eine gute Orientierung im Nahbereich des Fahrzeugs ermöglicht wie beispielsweise in DE 60003750 T2 beschrieben. Da die Anzeigeeinheiten im Fahrzeug recht klein sind, muss bei der Darstellung der Vogelperspektive ein Kompromiss zwischen der Größe des um das Fahrzeug dargestellten Bereichs und der Bildauflösung getroffen werden. Wenn der dargestellte Bereich zu groß gewählt wird, können Details wegen der unzureichenden Auflösung nicht mehr angezeigt werden. Bei Pkws wird häufig nur ein Bereich von ca. 2 bis 3 Metern um das Fahrzeug dargestellt.
Der Nachteil dieser Darstellungsform besteht darin, dass entfernte Objekte überhaupt nicht angezeigt werden, obwohl sie von den Kameras erfasst wurden. Daher hat der Benutzer Probleme sich in der Umgebung zu orientieren, beispielsweise wenn bei einer Rückwärtsfahrt ein 5 m entferntes Garagentor angefahren werden muss, welches außerhalb des Darstellungsbereiches der Vogelperspektivendarstellung liegt. Aus diesem Grund wird häufig die Vogelperspektivendarstellung mit einer zweiten Darstellung in der Perspektive einer Rückfahrkamera kombiniert, wobei das Rückfahrkamerabild aus der Bildinformation einer der Kameras des Rundumsichtsystems berechnet wird.
Beschreibung der Erfindung
Einer der Nachteile der bekannten Verfahren besteht in der wenig zufriedenstellenden Detailauflösung der Anzeigeeinheit, da bei einer Rückwärtsfahrt immer der gesamte Erfassungsbereich der Rückfahrkamera angezeigt wird. Da die Anzeigeeinheiten im Fahrzeug bedingt durch den beschränkten Bauraum recht klein sind, können kleine Objekte nur unzureichend abgebildet werden.
Der Erfindung liegt deshalb die Aufgabe zugrunde, die Auflösung der Anzeigeeinheit bei Rückfahrtsfahrt zu verbessern.
Die Aufgabe wird durch die technische Lehre der unabhängigen Ansprüche 1 und 8 gelöst.
Entsprechend dem vorgeschlagenen Verfahren soll daher der zur Anzeige gebrachte Bildausschnitt einer Rückfahrkamera anhand der berechneten Bewegungsrichtung des Fahrzeuges dynamisch verändert werden.
Wesentliches Merkmal der Erfindung ist, dass die Bildverarbeitungseinheit eine Information über den aktuellen Lenkwinkel des Fahrzeugs erhält und den Bildausschnitt, der auf der Anzeigeeinheit dargestellt wird, dynamisch an den Lenkwinkel anpasst.
Der dargestellte Bildausschnitt stellt dabei den Bildbereich in einer vergrößerten Ansicht dar, auf den sich das Fahrzeug entsprechend der berechneten Bewegungsrichtung zu bzw. fort bewegt. Zur Berechnung der Bewegungsrichtung wird mindestens eine Lenkwinkelinformation verwendet wobei die Genauigkeit der Berechnung durch zusätzliche Parameter wie Geschwindigkeit und Fahrzeuggeometrie verbessert werden kann.
Hierbei wird eine Bildausschnittberechnungseinheit verwendet. Es wird überdies vorgeschlagen, eine gekrümmte virtuelle Projektionsfläche zu verwenden, die vorzugsweise senkrecht zur Fahrbahnebene ausgerichtet ist. Damit wird die Übersichtlichkeit verbessert.
Zur weiteren Verbesserung werden eines oder mehrere Kamerabilder entsprechend ihrer geometrischen Anordnung am Fahrzeug auf einer virtuellen Projektionsfläche angeordnet.
Die Erfindung sieht auch vor, dass eine Verzerrungskorrektur für eine Weitwinkeloptik verwendbar ist.
Ferner kann anhand einer Fahrtrichtungsinformation automatisch zwischen einer Vorderansicht und einer Rückansicht umgeschaltet werden.
Es hat sich als vorteilhaft heraus gestellt, wenn ein Zylinder mit annähernd elliptischer Grundfläche der das Fahrzeug senkrecht zur Fahrbahnebene umgibt, als virtuelle Projektionsfläche verwendbar ist.
Der Erfindungsgegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Patentansprüche, sondern auch aus der Kombination der einzelnen Patentansprüche untereinander.
Alle in den Unterlagen, einschließlich der Zusammenfassung offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte räumliche Ausbildung, werden als erfindungswesentlich beansprucht, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.
Im Folgenden wird die Erfindung anhand von einer, lediglich einen Ausführungsweg darstellenden Zeichnung näher erläutert. Hierbei gehen aus der Zeichnung und ihrer Beschreibung weitere erfindungswesentliche Merkmale und Vorteile der Erfindung hervor.
Es zeigen:
1: Typische Anordnung der Kameras im Fahrzeug
2: Prinzip der virtuellen Projektionsfläche (Draufsicht)
3: Prinzip der virtuellen Projektionsfläche (Seitenansicht)
4: Übersicht über das Bildverarbeitungssystem
5: Definition der Bewegungsrichtungsinformation
6: Bestimmung des darzustellenden Bildausschnitts, beispielhaft für eine Rückwärtsfahrt nach links.
In 1 ist eine mögliche Anordnung der Kameras am Fahrzeug dargestellt. In der bevorzugten Implementierung werden 4 Kameras verwendet, das beschriebene Verfahren kann aber generell mit 1 bis N Kameras implementiert werden. Werden zu wenige Kameras verwendet, steht in bestimmten Situationen keine Bildinformation zur Verfügung und der entsprechende Bildbereich wird beispielsweise mit schwarz oder einer Warnmarkierung gefüllt.
In der bevorzugten Implementierung sind Kamera 1 (K1) beispielsweise im Kühlergrill und Kamera 4 (K4) in der Heckklappe eingebaut. Kamera 2 (K2) auf der linken Seite und Kamera 3 (K3) auf der rechten Seite sind jeweils auf der Höhe der Fahrzeugaußenspiegel montiert. Die Kombination aus Montageposition und Optik der Kameras ermöglicht eine Rundumsicht um das Fahrzeug. In der bevorzugten Implementierung ist der vertikale Erfassungsbereich der Kameras so ausgelegt, dass der gesamte Bereich von der Unterkannte des Fahrzeugrahmens bis zum Horizont aufgenommen wird. Der horizontale Erfassungsbereich jeder Kamera beträgt ca. 180°, daher überlappen sich die Erfassungsbereiche der Kameras teilweise.
Das Prinzip der Bilderzeugung ist in 2 und 3 dargestellt. Für die Generierung der Bildansicht wird ein dreidimensionales Modell einer virtuellen Projektionsfläche verwendet. In der bevorzugten Implementierung hat diese Projektionsfläche näherungsweise die Form eines senkrechten Zylinders mit elliptischem Querschnitt, welcher das Fahrzeug in einer definierten Distanz einschließt. Die Projektionsfläche wird in 4 Teile geteilt, deren Bildinhalte jeweils mit den Bilddaten der entsprechenden Kamera texturiert werden. Mittels der bekannten optischen Parameter der Kameras und ihrer Montagepositionen im Fahrzeug wird jeweils eine Rückprojektion des aufgenommenen Bildes auf die virtuelle Projektionsebene berechnet. Auf dieser Projektionsfläche werden senkrechte Objekte senkrecht und mit wenigen Verzerrungen abgebildet. Auf der Anzeigeeinheit wird ein Ausschnitt dieser virtuellen Projektionsfläche dargestellt, der in 2 beispielhaft für eine Rückwärtsfahrt nach links dargestellt ist.
In Abhängigkeit von der berechneten Bewegungsrichtung des Fahrzeuges wird der Bereich der virtuellen Projektionsfläche ausgewählt, der auf der Anzeigeeinheit dargestellt wird. Der dargestellt Bildausschnitt wird dynamisch so angepasst, dass der Benutzer jederzeit den Bereich um das Fahrzeug sieht auf den sich das Fahrzeug zu bewegt bzw. von dem es sich fort bewegt So entsteht eine für den Betrachter verständliche und leicht zu erfassende Darstellung der Fahrzeugumgebung.
Die Erzeugung der beschriebenen Bildansicht erfolgt mit dem in 4 dargestellten Bildverarbeitungssystem. Die Bilddaten 43 mindestens einer Kamera werden in die Bildverarbeitungseinheit eingespeist. Die Bildverarbeitungseinheit empfängt außerdem mindestens eine Lenkwinkelinformation 40 vom Fahrzeugbus.
Die Richtungsberechnungseinheit berechnet aus mindestens einer Lenkwinkelinformation 40 eine Bewegungsrichtungsinformation 41 für das Fahrzeug. Die Bewegungsrichtungsinformation besteht aus mindestens einem Winkel alpha und einer Fahrtrichtungsinformation (5 und 6).
Der Winkel alpha beschreibt die Abweichung der Bewegungsrichtung von der Geradeausrichtung des Fahrzeugs wie in 5 und 6 dargestellt. Zur Erhöhung der Genauigkeit der Winkelberechnung können weitere Informationen wie die Geschwindigkeit und die Fahrzeuggeometrie mit in die Berechnung einbezogen werden.
Die Fahrtrichtungsinformation beschreibt die momentane Fahrtrichtung des Fahrzeugs und kann die Zustände „Vorwärtsfahrt” und „Rückwärtsfahrt” annehmen. In einer ersten bevorzugten Implementierung wird die Fahrtrichtungsinformation konstant auf den Wert „Rückwärtsfahrt” gesetzt und die Eingabeeinheit entfällt. In einer zweiten bevorzugten Implementierung wird die Fahrtrichtungsinformation beispielsweise aus der Schalthebelstellung oder den Kamerabildern bestimmt.
Die Bildausschnittberechnungseinheit ermittelt den Bereich der virtuellen Projektionsfläche der von der Anzeigeeinheit dargestellt werden soll. Sie verwendet die Bewegungsrichtungsinformation 41 sowie die bekannten Geometriedaten des Fahrzeugs und der virtuellen Projektionsfläche, um eine Bildausschnittinformation 42 zu berechnen. Die Bildausschnittinformation wird derart berechnet, dass der dargestellte Bildausschnitt die Umgebung anzeigt auf die sich das Fahrzeug zu oder fort bewegt. Das Verfahren ist beispielhaft für eine Rückwärtsfahrt mit Lenkeinschlag nach links in 6 illustriert.
Die Bildausschnittberechnungseinheit verarbeitet außerdem eine Betriebsartinformation die der Fahrzeugführer über eine Eingebeeinheit einstellen kann. Die Eingebeeinheit kann wie in 4 dargestellt direkt an die Bildverarbeitungseinheit angeschlossen sein, die Betriebsartinformation kann aber auch über den Fahrzeugbus bereitgestellt werden. Die Ausführung der Eingebeeinheit kann beispielhaft durch Schalter oder eine Spracheingabe erfolgen.
In einer ersten Betriebsart wird die Fahrtrichtungsinformation konstant auf „Rückwärtsfahrt” gesetzt. Die Bildausschnittberechnungseinheit ermittelt in diesem Fall immer den Bildausschnitt im hinteren Bereich des Fahrzeugs auf den es sich bei einer Rückwärtsfahrt zu bewegt und von dem es sich bei einer Vorwärtsfahrt fort bewegt. Diese Betriebsart ist besonders hilfreich beim rückwärts Einparken.
In einer zweiten Betriebsart wird die Fahrtrichtung konstant auf „Vorwärtsfahrt” gesetzt. Die Bildausschnittberechnungseinheit ermittelt in diesem Fall immer den Bildausschnitt im vorderen Bereich des Fahrzeugs auf den es sich bei einer Vorwärtsfahrt zu bewegt und von dem es sich bei einer Rückwärtsfahrt fort bewegt. Diese Betriebsart ist besonders hilfreich beim Ausparken.
In einer dritten Betriebsart wird die Fahrtrichtungsinformation von der Bewegungsrichtungseinheit verwendet um automatisch zwischen der vorderen und hinteren Ansicht zu wechseln. Erhält die Bildausschnittberechnungseinheit von der Richtungsberechnungseinheit ein „Rückwärtsfahrt” Signal, so wird ein Bildausschnitt im hinteren Bereich des Fahrzeugs ausgewählt auf den sich das Fahrzeug rückwärts zu bewegt. Erhält die Bildausschnittberechnungseinheit ein „Vorwärtsfahrt” Signal, so wird ein Bildausschnitt im vorderen Bereich des Fahrzeugs ausgewählt auf den sich das Fahrzeug vorwärts zu bewegt. In dieser Betriebsart wird dem Fahrer immer genau der Bildbereich angezeigt, auf den sich das Fahrzeug momentan zu bewegt.
In der bevorzugten Implementierung der Bildausschnittberechnungseinheit wird mindestens eine der drei genannten Betriebsarten implementiert.
Die Bildtransformationseinheit empfängt die Kameradaten 43 sowie die Bildausschnittinformation 42 und führt die Berechnungen zur Erzeugung der Bildausgabeinformation 44 durch. Die Bildtransformationseinheit erhält von jeder Kamera eine zeitliche Abfolge von Bildern und berechnet jeweils aus den zeitlich zusammen gehörigen N Bildern die Darstellung auf der virtuellen Projektionsfläche entsprechend den 2 und 3. In einem zweiten Schritt wird der darzustellende Bildbereich entsprechend der Bildausschnittsinformation 42 extrahiert und die Bildinformation 44 wird and die Anzeigeeinheit ausgegeben.
Eine Besonderheit der Erfindung besteht in der Verwendung mehrerer Kamerabilder zur Generierung der Bildinformation. Wie in 2 dargestellt kann es bei bestimmten Lenkwinkeln vorkommen, dass die Bildinformation einer Kamera nicht ausreicht um die Bildansicht aus einem Kamerabild zu generieren. In diesem Fall stellt das innovative Bilderzeugungsverfahren Bildausschnitte von zwei Kameras entsprechend ihrer geometrischen Anordnung am Fahrzeug nebeneinander dar. Entsprechend dem aktuellen Lenkwinkel verschiebt sich das Verhältnis der beiden dargestellten Bildausschnitte dynamisch, so dass der Benutzer immer ein aussagekräftiges Bild der Umgebung erhält. Der Übergang zwischen zwei Kameras kann dabei durch eine Überblendung fließend, oder durch einen harten Übergang mit einer optionalen Markierung erfolgen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10342971 A1 [0002]
DE 60003750 T2 [0003]

Claims

Bildgebendes Fahrerassistenzsystem bestehend aus mindestens einer Kamera, einer Bildverarbeitungseinheit und einer Anzeigeeinheit, dadurch gekennzeichnet dass die Bildverarbeitungseinheit eine Information über den aktuellen Lenkwinkel des Fahrzeugs erhält und den Bildausschnitt der auf der Anzeigeeinheit dargestellt wird, dynamisch an den Lenkwinkel anpasst.
Bildgebendes Fahrerassistenzsystem nach Anspruch 1, dadurch gekennzeichnet, dass eine Bildausschnittberechnungseinheit verwendet wird.
Bildgebendes Fahrerassistenzsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine gekrümmte virtuelle Projektionsfläche verwendbar ist, welche vorzugsweise senkrecht zur Fahrbahnebene ausgerichtet ist.
Bildgebendes Fahrerassistenzsystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eines oder mehrere Kamerabilder entsprechend ihrer geometrischen Anordnung am Fahrzeug auf einer virtuellen Projektionsfläche angeordnet werden.
Bildgebendes Fahrerassistenzsystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Verzerrungskorrektur für eine Weitwinkeloptik verwendbar ist.
Bildgebendes Fahrerassistenzsystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass anhand einer Fahrtrichtungsinformation automatisch zwischen einer Vorderansicht und einer Rückansicht umschaltbar ist.
Bildgebendes Fahrerassistenzsystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass ein Zylinder mit annähernd elliptischer Grundfläche der das Fahrzeug senkrecht zur Fahrbahnebene umgibt als virtuelle Projektionsfläche verwendbar ist.
Verfahren zur dynamischen Bildberechnung in einem Fahrzeug, dadurch gekennzeichnet, dass die darzustellende Bildinformation dynamisch an einen Lenkwinkel adaptiert wird.
Verfahren zur dynamischen Bildberechnung nach Anspruch 8, dadurch gekennzeichnet, dass eine gekrümmte virtuelle Projektionsfläche verwendet wird, welche vorzugsweise senkrecht zur Fahrbahnebene ausgerichtet ist.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass eines oder mehrere Kamerabilder zur Erzeugung der Bildinformation verwendet werden und diese entsprechend ihrer geometrischen Anordnung auf der virtuellen Projektionsfläche angeordnet werden.