-
STAND DER TECHNIK
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem.
-
Obwohl auf beliebige Videoassistenzsysteme anwendbar, werden die vorliegende Erfindung und die ihr zugrundeliegende Problematik im Hinblick auf einen Einsatz in Automobilen erläutert. Der Begriff monokular soll in diesem Zusammenhang auch für stereoskopische Systeme gelten, falls nur ein Bild betrachtet wird.
-
Bei der Realisierung von Fahrerassistenzsystemen ist eine genaue Kenntnis der Fahrzeugumgebung bzw. des Fahrzeugumfelds unerlässlich. Zur Erfassung der Fahrzeugumgebung werden unterschiedliche Sensortechnologien eingesetzt, beispielsweise Radarsensoren und Videosensoren. Mit einem monokularen Videosystem kann man an sich nur die Winkelrichtung zu einem sichtbaren Objekt direkt messen. Eine Entfernungsbestimmung ist dagegen nur indirekt auf Basis von Modellannahmen, d.h. unter Berücksichtigung der perspektivischen Abbildung, möglich.
-
In Gideon T. Stein, Ofer Mano, Amnon Shashua: „Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy“, Intelligent Vehicles Symposium, 2003, Proceedings IEEE, Seiten 120 - 125, wird ein Verfahren vorgeschlagen, bei dem der Kontaktpunkt des zu vermessenden Fahrzeugs mit der Fahrbahnoberfläche zur Entfernungsbestimmung verwendet wird.
-
5a,b sind schematische Darstellungen eines Videobildes (5a) und eines Abstandsverhältnisses (5b) zur Erläuterung des aus dieser Druckschrift bekannten Verfahrens zur Abstandsermittlung bei einem monokularen Videoassistenzsystem.
-
In 5a bezeichnet Bezugszeichen KB ein von einer Kamera K aufgenommenes Kamerabild mit einer Bildoberkante BO, einer Bildunterkante BU, einer linken Bildkante BL und einer rechten Bildkante BR. FB bezeichnet eine Fahrbahn, auf der sich ein Objekt O befindet, wobei die Fahrbahn FB in vertikaler Richtung bis zu einer Horizontlinie H abgebildet ist.
-
Bei dem bekannten Verfahren zur Abstandsermittlung wird der vertikale Abstand der Unterkante U des Objekts O zur Bildunterkante BU vermessen, welcher hier mit d1* bezeichnet ist. Beim vorliegenden Beispiel gemäß 5b) erscheint der Kontaktpunkt des zu vermessenden Objekts O mit der Fahrbahnoberfläche somit unter einem Winkel α zur Bildunterkante BU. Prinzipiell lässt sich aus diesem vertikalen Abstand d1* in Kamerabild KB die Objektentfernung d1 berechnen, falls der Nickwinkel der Kamera K und auch die räumliche Ausdehnung und Orientierung der Fahrbahn FB bekannt sind.
-
6,7 sind schematische Darstellungen von Abstandsverhältnissen zur Erläuterung von Problemen des bekannten Verfahrens zur Abstandsermittlung bei dem monokularen Videoassistenzsystem.
-
Dieses bekannte Verfahren zur Abstandsermittlung bei einem monokularen Videoassistenzsystem ist sehr fehleranfällig. Eine wesentliche Fehlerquelle des Verfahrens ist eine ungenaue Modellierung der Fahrbahnoberfläche, welche hier als OM bezeichnet ist. Eine nicht in der Modellierung OM der Fahrbahn FB berücksichtigte Krümmung der Fahrbahnoberfläche, in 6 als Fahrbahnverlauf OR bezeichnet, oder eine falsche Fahrbahnneigung lässt derartige Objekte O, zum Beispiel Fahrzeuge, die sich auf der Fahrbahn FB befinden, im Kamerabild KB vertikal verschoben und damit näher bzw. entfernter erscheinen als sie tatsächlich sind. In 6 ist dies durch unterschiedliche Erfassungswinkel α1, α2 dargestellt, welche unterschiedlichen Kontaktpunkten K1, K2 entsprechen, wobei die Winkeldifferenz als Δα bezeichnet ist. Diese Verschiebung macht sich als Schätzfehler Δd1 in der ermittelten Objektentfernung bemerkbar (siehe 6).
-
Eine weitere Fehlerquelle ist der Fahrzeugnickwinkel, der zeitlich stark variieren kann, beispielsweise wenn das Fahrzeug bremst, beschleunigt oder über eine Bodenwelle fährt. Während sich der stationäre Nickwinkel des Fahrzeugs bzw. der Kamera K sehr genau bestimmen lässt, ist die Messung der zeitlichen Endungen des Nickwinkels schwierig und meist sehr ungenau. In 7 ist Δα' eine Nickwinkeldifferenz, verbunden mit verschiedenen Bildunterkanten BU, BU' bzw. Bildoberkanten BO, BO' bzw. Horizonten H, H'. Aus der Winkeldifferenz Δα' ergeben sich verschiedene erfasste Kontaktpunkte K bzw. K'. Ein fehlerhafter Fahrzeugnickwinkel führt somit ebenfalls zu einem Fehler in der geschätzten Objektentfernung, welcher in 7 mit Δd1' bezeichnet ist.
-
Aus der
DE 10 2006 043 138 A1 sind ein Verfahren und eine Vorrichtung zur Gewinnung einer Tiefeninformation in Bildern, die von mindestens einer auf das Umfeld vor dem eigenen Fahrzeug gerichteten Videokamera bei Dunkelheit aufgenommen werden und einer Bildverarbeitung unterliegen, bekannt. Im Wesentlichen gerade und im Bild waagerecht verlaufende Hell/Dunkel-Grenzen werden als dem jeweiligen Fahrzeug nahe Hell/Dunkel-Grenzen von Lichtkegeln von Scheinwerfern von anderen Fahrzeugen angenommen. Aus der vertikalen Lage der Hell/Dunkel-Grenzen im aufgenommenen Bild wird die Entfernung der Hell/Dunkel-Grenzen auf der Fahrbahn vor dem eigenen Fahrzeug berechnet. Weiterhin offenbart diese Druckschrift, zur Stützung des Ergebnisses bei einer gespeicherten Modellbreite und der berechneten Berechnung eine Plausibilisierung mit dem bei aus dem aufgenommenen Bild gemessenen Ellipsenabstand durchzuführen.
-
Ein Verfahren und eine Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem ist zudem aus der
US 2007/0 154 068 A1 bekannt.
-
VORTEILE DER ERFINDUNG
-
Das in Anspruch 1 definierte erfindungsgemäße Verfahren zur Abstandsermittlung bei einem monokularen Videoassistenzsystem und die entsprechende Vorrichtung gemäß Anspruch 6 weisen den Vorteil auf, dass insbesondere dynamische, das heißt zeitlich veränderliche, Fehlereinflüsse bei der Abstandsermittlung reduziert werden können.
-
Die der vorliegenden Erfindung zugrundeliegende Idee besteht in der Verwendung der im Kamerabild erfassten Objektbreite als weiteren Parameter zur Abstandsermittlung, wobei die Erfindung sich zunutze macht, dass die reale Objektbreite als zeitlich konstant angenommen werden kann.
-
Gleichzeitig ist die Abstandsermittlung basierend auf der Objektbreite unabhängig von der Kontur der Fahrbahn und dem Nickwinkel des Fahrzeuges, so dass die damit zusammenhängenden Fehlereinflüsse weitestgehend eliminiert werden können.
-
Erfindungsgemäß wird die im Kamerabild ermittelte Objektbreite mittels einer Umrechnung fortlaufend in eine reale Objektbreite transformiert, wozu die oberflächenbezogene Entfernung, ermittelt durch den Abstand der Unterkante des Objekts im Kamerabild von der Bildunterkante verwendet wird.
-
Die derart geschätzte reale Objektbreite unterliegt einem Messrauschen, welches durch die Fehler bei der Oberflächenschätzung, der Bestimmung der Fahrzeugnickwinkels und der Objektvermessung im Bild verursacht wird. Aufgrund der Annahme, dass die tatsächliche Objektbreite konstant ist, kann die verrauschte geschätzte reale Objektbreite zweckmäßigerweise mit einer sehr kleinen Grenzfrequenz tiefpassgefiltert werden. Die so erhaltene gefilterte geschätzte reale Objektbreite ist dann weitgehend frei von dynamischen Fehlereinflüssen und lässt sich verwenden, um aus der aktuell bestimmten, bildbezogenen Objektbreite die Objektentfernung zu ermitteln. Dabei erfolgen ein Bilden einer gefilterten Kamerabildbreite des Objektes und ein Ermitteln eines zweiten Abstandes des Objektes basierend auf der gefilterten Kamerabildbreite. Somit lassen sich Fluktuationen bei der Bildauswertung ausmitteln.
-
Die in den Unteransprüchen aufgeführten Merkmale beziehen sich auf vorteilhafte Weiterbildungen und Verbesserungen des jeweiligen Gegenstandes der Erfindung.
-
Gemäß einer bevorzugten Weiterbildung erfolgt ein Bilden eines gefilterten zweiten Abstandes des Objektes. Dies erhöht die Genauigkeit weiter.
-
Gemäß einer weiteren bevorzugten Weiterbildung erfolgen ein Ermitteln einer zeitlichen Änderung der gefilterten Kamerabildbreite des Objektes und ein Ermitteln einer Kollisionszeit basierend auf der zeitlichen Änderung der gefilterten Kamerabildbreite des Objektes und der gefilterten Kamerabildbreite des Objektes.
-
Gemäß einer weiteren bevorzugten Weiterbildung erfolgen ein Ermitteln einer zeitlichen Änderung der gefilterten Kamerabildbreite des Objektes, ein Ermitteln einer Kollisionszeit basierend auf der zeitlichen Änderung der gefilterten Kamerabildbreite des Objektes und der gefilterten Kamerabildbreite des Objektes und ein Ermitteln einer Relativgeschwindigkeit basierend auf dem gefilterten zweiten Abstandes des Objektes und der Kollisionszeit.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist die vertikale Kamerabildposition ein Kamerabildabstand einer Unterkante des Objektes von einer Bildunterkante oder einer Bildoberkante des Kamerabildes.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Es zeigen:
- 1a,b schematische Darstellungen eines Videobildes (Fig. la) und eines Abstandsverhältnisses (1b) zur Erläuterung eines Verfahrens zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer ersten Ausführungsform der vorliegenden Erfindung;
- 2 ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung;
- 3 ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer dritten Ausführungsform der vorliegenden Erfindung;
- 4 ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer vierten Ausführungsform der vorliegenden Erfindung;
- 5a,b schematische Darstellungen eines Videobildes (5a) und eines Abstandsverhältnisses (5b) zur Erläuterung eines bekannten Verfahrens zur Abstandsermittlung bei einem monokularen Videoassistenzsystem; und
- 6,7 schematische Darstellungen von Abstandsverhältnissen zur Erläuterung von Problemen des bekannten Verfahrens zur Abstandsermittlung bei dem monokularen Videoassistenzsystem.
-
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche bzw. funktionsgleiche Elemente.
-
1a,b zeigen schematische Darstellungen eines Videobildes (1a) und eines Abstandsverhältnisses (1b) zur Erläuterung eines Verfahrens zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
-
Die Darstellung in Fig. a entspricht der Darstellung in 5a, wobei zusätzlich neben dem Kamerabildabstand der Unterkante U des Objekts O von der Bildunterkante, hier als d1* bezeichnet, noch die Kamerabildbreite, also die Breite des Objekts im Kamerabild KB, hier als b1* bezeichnet, ermittelt wird.
-
Fig. lb veranschaulicht die Beziehung zwischen der realen Objektbreite b1, der Kamerabildbreite b1*, dem Abstand d1 und der Brennweite f eines Okulars des monokularen Videoassistenzsystems.
-
In Fig. lb bezeichnet BE die Ebene eines nicht dargestellten Okulars, wobei sich die Bildebene BE des Kamerabildes KB im Abstand der Brennweite f davon entfernt befindet. In dieser Bildebene BE wird die Kamerabildbreite b1* des Objekts O ermittelt.
-
Bei bekannter realer Objektbreite
b1 ließe sich der Abstand
d1 aus dem Strahlensatz durch folgende Beziehung ermitteln:
-
Die reale Objektbreite
b1 ist jedoch prinzipiell unbekannt. Plausible Werte für ein vorausfahrendes Fahrzeug als Objekt O liegen im Bereich zwischen 1,5 und 3 m. Da diese Unsicherheit in einem Abstandsfehler von ca. 30% resultieren würde, muss die reale Objektbreite
b1 aber geschätzt werden. Hierzu wird Gleichung (1) nach
b1 umgestellt:
-
Zur Schätzung der Objektentfernung wird die gemäß 5a), b) ermittelte Objektentfernung d1 herangezogen. Die wesentliche Eigenschaft dieser Schätzung ist eine im Wesentlichen stationäre Genauigkeit bei allerdings hohem dynamischen Fehler.
-
Da davon ausgegangen werden darf, dass auch die Messung der Objektbreite im Kamerabild KB im wesentlichen stationär genau ist und sich die tatsächliche Objektbreite b1 mit der Zeit nicht ändert, lässt sich durch eine Kalmanfilter basierte Tiefpassfilterung die Objektbreite b1 gut schätzen. Allerdings benötigt es eine gewisse Zeit von ca. 1s, bis das Kalmanfilter ausreichend gut eingeschwungen ist. Die Einschwingzeit hängt von der Übereinstimmung von initialisierter und tatsächlicher Objektbreite ab. Die auf diese Weise ermittelte Objektbreite ist weitgehend frei von dynamischen Fehlereinflüssen. Zusammen mit der aktuell gemessenen Kamerabildbreite b1* kann nun in einem zweiten Schritt über Gleichung 1 die Objektentfernung erneut geschätzt werden, um so zu einem verfeinerten Wert d2 zu gelangen.
-
2 ist ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
-
In 2 bezeichnet Bezugszeichen 10 eine Erfassungseinrichtung zum Erfassen eines Abstands d1* der Unterkante U des Objekts O von der Bildunterkante BU im Kamerabild KB. Bezugszeichen 20 bezeichnet eine Fahrbahnoberflächenmodell-Bereitstellungseinrichtung, welche ein Fahrbahnoberflächenmodell OM in einem nicht dargestellten Speicher enthält.
-
Die Größen d1* und OM werden an eine Objektabstand-Ermittlungseinrichtung 30 geliefert, welche den Objektabstand d1 basierend auf dem ermittelten Abstand d1* im Kamerabild KB und dem Fahrbahnoberflächenmodell OM schätzt, wie beispielsweise aus der oben zitierten Druckschrift von Gideon T. Stein, Ofer Mano, Amnon Shashua: „Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy“, Intelligent Vehicles Symposium, 2003, Proceedings IEEE, Seiten 120 - 125 bekannt.
-
Mit Bezugszeichen 40 ist eine Ermittlungseinrichtung zur Ermittlung der Objektbreite b1* im Kamerabild KB bezeichnet. Die Größen b1 und b1* werden an eine Ermittlungseinrichtung 50 geliefert, welche basierend auf Gleichung (2) die reale Objektbreite b1 schätzt. Der Ermittlungseinrichtung 50 nachgeschaltet ist Tiefpassfilter F1, welches die an sich verrauschte reale Objektbreite b1 mit einer sehr kleinen Grenzfrequenz tiefpassfiltert, so dass die erhaltene gefilterte Größe b1F weitgehend frei von dynamischen Fehlereinflüssen ist.
-
Mittels einer Objektabstand-Ermittlungseinrichtung
60 wird dann aus den Größen
b1 und
b1* eine zweite Schätzung der Objektdistanz
d2 durchgeführt, und zwar basierend auf folgender Beziehung:
-
3 ist ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer dritten Ausführungsform der vorliegenden Erfindung.
-
Bei der in Zusammenhang mit 3 dargestellten dritten Ausführungsform wird die im Kamerabild KB ermittelte Objektbreite b1* einer zusätzlichen Kalmanfilterung durch einen Filter F2 unterworfen und die so gebildete gefilterte Objektbreite b1*F der Ermittlungseinrichtung 60 für den Objektabstand zugeführt.
-
Die so durch die zweite Ermittlungseinrichtung 60 ermittelte Objektbreite profitiert einerseits von der starken Glättung der Objektbreite durch das Filtern F1 und andererseits von der Glättung der bildbezogenen Objektbreite durch das Filter F2. Fehldetektionen der Fahrzeugaußenkanten können jedoch die Stabilität der gefilterten Objektbreite b1*F beinträchtigen. Diese Beeinträchtigungen machen sich in einer unplausibel hohen Dynamik der Objektdistanz d2 bemerkbar, was durch das weitere Kalmanfilter F3 modellbasiert begrenzt wird, um eine gefilterte zweite Objektdistanz d2F zu erhalten.
-
Aufgrund des nicht-linearen Zusammenhangs zwischen d2 und b1*F, berechnet durch die Ermittlungseinrichtung 60, ist es nicht zielführend, die Dynamik des zweiten Objektabstands d2 allein durch das Filter F2 vorzugeben.
-
4 ist ein Blockdiagramm zur Erläuterung einer Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem gemäß einer vierten Ausführungsform der vorliegenden Erfindung.
-
Bei der in 4 dargestellten vierten Ausführungsform wird zusätzlich die Relativgeschwindigkeit v zwischen dem Fahrzeug mit der Kamera K und dem Objekt O berechnet.
-
Dazu wird durch das Filter
F2 die zeitliche Änderung der gefilterten Objektbreite b1*F' bereitgestellt, und daraus sowie aus der gefilterten Objektbreite b1*F mittels der Ermittlungseinrichtung
70 die Kollisionszeit (time-to-collision) ttc berechnet, und zwar basierend auf der folgenden Beziehung:
-
Die Ermittlungseinrichtung 80 schließlich dividiert den gefilterten zweiten Objektabstand d2F durch die so ermittelte Kollisionszeit (time-to-collision) ttc, um zur Relativgeschwindigkeit v zu gelangen.
-
Obwohl die vorliegende Erfindung vorstehend anhand bevorzugter Ausführungsbeispiele beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Weise modifizierbar.
-
Insbesondere ist die Erfindung nicht auf Videoassistenzsysteme in Automobilen beschränkt, sondern auf beliebige Videoassistenzsysteme anwendbar.
-
Die Ermittelung des ersten Abstands basierend auf dem Kamerabildabstand einer Unterkante des Objektes von einer Bildunterkante des Kamerabildes und auf einem Fahrbahnoberflächenmodell ist nur ein mögliches Ausführungsbeispiel. Entscheidend bei der Ermittelung von des ersten Abstandes ist der Winkel α zwischen Aufstandspunkt des Fahrzeugs auf der Fahrbahnoberfläche und der Kamerahauptachse. Dieser kann beispielsweise aber auch aus dem Abstand der Unterkante des Objektes von einer Bildoberkante oder einer anderen ausgezeichneten horizontalen Richtung bestimmt werden.
