-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren für die Erfassung eines Verkehrsraums
nach dem Oberbegriff des Anspruchs 1.
-
Verfahren
für die
Erfassung des Verkehrsraums mit Hilfe von Fahrerassistenzsystemen
zugeordneten Bildsensoren werden in zunehmendem Umfang in modernen
Fahrzeugen eingesetzt. Diese Fahrerassistenzsysteme unterstützen den
Fahrer zum Beispiel bei der Einhaltung der gewählten Fahrspur, bei einem beabsichtigten
Spurwechsel, bei der Einhaltung des Sicherheitsabstands zu vorausfahrenden
Fahrzeugen und bei der Fahrt unter schlechten Sichtbedingungen,
wie beispielsweise bei Nacht oder bei schlechtem Wetter. Häufig werden
Assistenzfunktionen wie LDW (Lane Departure Warning), LKS (Lane
Keeping Support), LCA (Lane Change Assistant) und ACC (Automatic
Cruise Control) implementiert. Um das Fahrzeugumfeld zu erfassen,
ist in einem derartigen Fahrerassistenzsystem wenigstens ein Bildsensor
vorgesehen. Als Bildsensor wird bevorzugt eine Videokamera in CCD-
oder CMOS-Technik eingesetzt, die typischerweise mit Blickrichtung
nach vorn in das Fahrzeug eingebaut ist. Aus Kostengründen werden
dabei vorwiegend Monokameras eingesetzt. Da Monokameras aber nur
ein zweidimensionales Abbild des Fahrzeugumfelds liefern, sind dreidimensionale
Strukturen nicht ohne weiteres aus den von der Monokamera bereitgestellten
Videosignalen zu extrahieren. Es wird dazu bisher immer eine Modellbetrachtung
benötigt, um
dreidimensionale Objekte, wie beispielsweise andere Fahrzeuge, Verkehrszeichen,
Fußgänger, den Straßenverlauf,
usw., zu detektieren. Betrachtet man nun nicht nur ein Bild, sondern
mehrere zeitlich aufeinander folgende Bilder der Monokamera, also
eine so genannte Bildsequenz, so ergeben die dabei feststellbaren
Verschiebungen in aufeinander folgenden Bildern Aufschluss über die
dreidimensionale Anordnung der Objekte in dem Fahrzeugumfeld. Eine
derartige Vermessung ist allerdings nur bis auf eine Skalierung
genau. So ist beispielsweise die Unterscheidung, ob sich ein weit
entferntes Objekt schnell bewegt, oder ob sich ein in der Nähe befindliches
Objekt langsam bewegt, nicht ohne weiteres lösbar, da beide Objekte auf
dem Bildsensor die gleiche Information hinterlassen.
-
Es
sind bereits wissenschaftliche Untersuchungen bekannt, die sich
mit der Aufgabe befassen, räumliche
Informationen aus einer Bildfolge von zweidimensionalen Bildern
abzuleiten:
- Spoerri, Anselm:
The early Detection of
Motion Boundaries, Technical Report 1275, MIT Artificial Intelligence
Laborstory;
- Black, M.J., and Fleet, D.J.:
Probabilistic Detection and
Tracking of Motion Discontinuities
International Conference
on Computer Vision 1999, Corfu, Greece;
- H.-H. Nagel, G.Socher, H. Kollnig, and M. Otte:
Motion
Boundary Detection in Image Sequences by Local Stochastic Tests.
Proc.
Third European Conference on Computer Vision (ECCV '94), 2–6 May 1994,
Stockholm/Sweden,
J.-O. Eklundh (Ed.), Lecture Notes n Computer Science 801 (Vol.II),
Springer-Verlag Berlin, Heidelberg, New York 1994, pp. 305–315.
-
Die
meisten dieser bekannten Vorschläge sind
weder echtzeitfähig
noch robust genug für
fahrzeugtechnische Anwendungen. Vielfach werden auch vereinfachende
Annahmen gemacht, zum Beispiel werden eigenbewegte Objekte in der
Bildszene ausgeschlossen, die so in der Praxis für eine Fahrzeugumgebung nicht
zutreffen.
-
Aus
DE 43 326 12 A1 ist
weiterhin ein Außenansichtsverfahren
für Kraftfahrzeuge
bekannt, das durch folgende Schritte gekennzeichnet ist: Aufnahme
einer Außenansicht
vom eigenen Kraftfahrzeug des Fahrers aus, welches sich bewegt,
Erfassung einer Bewegung eines einzelnen Punktes in zwei Bildern
als ein optischer Fluss, wobei eines der beiden Bilder zu einem
früheren
Zeitpunkt und das andere der beiden Bilder zu einem späteren Zeitpunkt
aufgenommen wird; und Überwachung
einer Korrelation des eigenen Kraftfahrzeugs des Fahrers bezüglich zumindest
entweder einem vorausfahrenden Kraftfahrzeug, oder einem Hindernis
auf der Straße,
wobei eine Gefahrenrate beurteilt wird in Abhängigkeit von einer Größe und einem
Ort eines Vektors eines optischen Flusses, der von einem Punkt auf
zumindest entweder dem vorausfahrenden Kraftfahrzeug, dem hinterherfahrenden
Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird. Unter Berücksichtigung
der Tatsache, dass der optische Fluss desto größer wird je kleiner die Entfernung
zwischen dem eigenen Fahrzeug des Fahrers und dem vorausfahrenden
Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist,
so ist dieses bekannte Verfahren so ausgelegt, dass die Gefahr von
der Größe eines
optischen Flusses her beurteilt werden kann, der von einem Punkt auf
einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der
Straße
abgeleitet wird
-
Offenbarung der Erfindung
-
Vorteilhafte Wirkungen
-
Die
erfindungsgemäße Lösung mit
den Merkmalen des Anspruchs 1 vermeidet die Nachteile der bekannten
Lösungen.
Sie ist echtzeitfähig
und robust und eignet sich daher in besonderer Weise für fahrzeugtechnische
Anwendungen mit schnell wechselnden Bildinhalten. Da zukünftige Fahrerassistenzsysteme
dem Fahrer nicht nur ein Bild der Fahrzeugumgebung wiedergeben,
sondern auch zusätzliche Informationen
und Warnungen vermitteln sollen, eignet sich die erfindungsgemäße Lösung besonders gut
für den
Einsatz in solchen Systemen. Sie ermöglicht nämlich die Detektion statischer
und bewegter Hindernisse aus dem Bildstrom und die Segmentation
des Bildes in Straßen,
interessierende statische und bewegte Objekte und sonstige Merkmale.
Besonders vorteilhaft können
beispielsweise Baken als statische Objekte in den Bildern erkannt
werden. Damit besteht die Möglichkeit,
eine Spurerkennungsfunktion des Fahrerassistenzsystems entsprechend zu
parametrieren, um die besonders kritische Baustellensituation besser
erkennen zu können.
Weiterhin können
als statische Objekte detektierte Leitpfosten eine Spurführungsfunktion
des Fahrerassistenzsystems vorteilhaft unterstützen, falls keine gut erkennbaren
Markierungen auf der Fahrbahn vorhanden sind.
-
Die
Detektion sich bewegender Objekte und deren Einblendung in das vom
Fahrer betrachtete Display ermöglicht
eine besonders effektive Warnung auch bei schlechten Sichtverhältnissen,
wie insbesondere bei Nachtfahrt. Der segmentierte Straßenverlauf
erlaubt, basierend auf einer Flussanalyse, eine exakte Bestimmung
der Eigenbewegung des Fahrzeugs. Dadurch können an Bord befindliche andere
Sensoren in ihrer Vermessungsgenauigkeit unterstützt werden. Beispielsweise
kann dadurch bei einem Gierratensensor die Drift kompensiert werden. Besonders
vorteilhaft kann mittels der Erfindung auch die Geländebeschaffenheit
entlang der Fahrbahn modellmäßig erfasst
werden. Beispielsweise kann damit erkannt werden, ob entlang des
Fahrbahnrandes ein Graben verläuft
oder ob die Straße von
einem Steilhang begrenzt ist. Diese Fakten können bei einem ggf. notwendigen
Ausweichmanöver von
großer
Bedeutung sein, um das Risiko eines solchen Manövers abzuschätzen. Hieraus
ergeben sich wertvolle Zusatzfunktionen für künftige Fahrerassistenzsysteme.
So kann beispielsweise bei der Unterstützungsfunktion LDW(Lane Departure
Warning) oder bei einer Ausweichempfehlung im Gefahrenfall das an
die Fahrbahn angrenzende Geländeprofil
berücksichtigt
werden.
-
Weiterhin
ist die erfindungsgemäße Lösung mit
Vorteil auch bei hoch entwickelten Insassenschutzsystemen mit Precrashfunktion
einsetzbar.
-
Selbstverständlich kann
die Erfindung auch bei Kameras eingesetzt werden, die seitlich oder
im Heck des Fahrzeugs angeordnet sind, um Bilder aus diesen Bereichen
des Fahrzeugumfelds zu erfassen.
-
Kurze Beschreibung der Zeichnungen
-
Ausführungsformen
der Erfindung werden nachfolgend unter Bezug auf die Zeichnung näher erläutert. Dabei
zeigt
-
1 ein
vereinfachtes schematisches Blockdiagramm eines Fahrerassistenzsystems;
-
2 die
Darstellung von zeitlich gestaffelten Bildern eines Bildsensors;
-
3 ein
Flussdiagramm mit Verfahrensschritten;
-
4 ein
von einem Bildsensor erfasstes Bild eines Verkehrsraums;
-
5 aus
dem Bild von 4 abgeleitete Flusslinien (ISO-Flusslinien)
des optischen Flusses;
-
6 eine
erste Darstellung eines Nightview-Bildes;
-
7 eine
zweite Darstellung eines Nightview-Bildes;
-
8 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
9 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
10 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
11 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
12 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
13 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
14 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien;
-
15 ein
Bild eines Bildsensors mit eingeblendeten ISO-Flusslinien.
-
Ausführungsformen der Erfindung
-
Die
Erfindung findet bei einem Fahrassistenzsystem Anwendung, das in
einem Kraftfahrzeug für
die Unterstützung
des Fahrers vorgesehen ist. Ein vereinfachtes schematisches Blockdiagramm
eines derartigen Fahrerassistenzsystems ist in 1 dargestellt.
Das Fahrerassistenzsystem 1 umfasst mindestens einen monokularen
Bildsensor 12 für
die Erfassung des von dem Kraftfahrzeug befahrenen Verkehrsraums.
Bei diesem Bildsensor 12 handelt es sich beispielsweise
um eine auf CCD-Technik oder CMOS-Technik basierende Kamera. Neben
dem Bildsensor 12 können
zahlreiche weitere Sensoren vorgesehen sein, wie beispielsweise
Radar- Lidar- oder Ultraschallsensoren, die jedoch in 1 nicht im
Einzelnen dargestellt sondern durch den Block repräsentiert
sind. Der Bildsensor 12 ist mit einem Steuergerät 10 verbunden.
Auch die weiteren Sensoren (Block 11) sind mit dem Steuergerät 10 verbunden.
Das Steuergerät 10 verarbeitet
die Signale der Sensoren. Weiterhin ist mit dem Steuergerät 10 ein Funktionsmodul
verbunden, das insbesondere das Fahrerassistenzsystem 1 mit
weiteren Systemen des Fahrzeugs verbindet. Beispielsweise ist zur
Umsetzung der LDW-Funktion (LDW = Lane Departure Warning) eine Verbindung
des Fahrerassistenzsystems 1 zu Warnsystemen des Fahrzeugs
erforderlich. Für
die Umsetzung der LKS-Funktion (Lane Keeping Support) kann eine
Verbindung zu dem Lenksystem des Fahrzeugs erforderlich sein. Anstelle
eines aufwendigen Stereosystems wird aus Kostengründen in
einem Fahrerassistenzsystem häufig nur
ein monokularer Bildsensor 12 vorgesehen. Der Bildsensor 12 ist
typischerweise mit Blickrichtung nach vorn in dem Fahrzeug eingebaut
und erfasst somit vorzugsweise den vor dem Fahrzeug liegenden Bereich
des Verkehrsraums. Der Bildsensor 12 kann auch über eine
Nachtsichtfähigkeit
verfügen,
um die Sichtmöglichkeit
bei Dunkelheit und schlechten Witterungsbedingungen zu verbessern.
Ein Nachteil monokularer Bildsensoren besteht darin, dass dreidimensionale
Strukturen aus den von dem Bildsensor gelieferten Bildern nicht
ohne weiteres extrahiert werden können. Es ist dazu immer ein
in das Fahrerassistenzsystem implementiertes Modellwissen erforderlich,
um aus in monokularen Bildern dreidimensionale Objekte aus dem Verkehrsraum,
wie beispielsweise fremde Fahrzeuge, Verkehrszeichen, Fußgänger, und
dergleichen zu detektieren. Betrachtet man nicht nur ein monokulares
Bild, sondern so genannte, aus mehreren Bildern bestehende Bildfolgen,
dann können
von Bild zu Bild auftretende Verschiebungen Aufschluss über das
Vorhandensein und die örtliche Lage
dreidimensionaler Objekte geben. 2 zeigt beispielsweise
eine derartige Bildfolge von Bildern B0, B1, B2, B3, entlang einer
Zeitachse t, die zu verschiedenen Zeitpunkten i, i-1, i-2, i-3,
gewonnen worden sind. Die Vermessung von Objekten in diesen Bildern
ist allerdings nur bis auf eine Skalierung genau. Die Unterscheidung,
ob sich ein weit entferntes Objekt schnell oder ein nahes Objekt
langsam bewegt, lässt
sich nicht ohne weiteres treffen, da sie beide auf dem Bildsensor 12 die
gleiche Information hinterlassen. Hier setzt nun die erfinderische
Lösung an,
die auf einer Analyse des aus den Bildern abgeleiteten optischen
Flusses oder Bildflusses beruht.
-
Ein
wesentlicher Schritt bei der Analyse des Bildflusses besteht in
der Segmentierung des Bildes. Die vorliegende Erfindung befasst
sich mit einer solchen Segmentierung, die auf Diskontinuitäten im optischen
Fluss beruht. Diese Diskontinuitäten
werden im Folgenden als Flusskanten bezeichnet. Diese Flusskanten
treten besonders an erhabenen Objekten auf. Dies wird im Folgenden
unter Bezug auf 4 und 5 weiter
erläutert. 4 zeigt
ein von dem Bildsensor 12 aufgenommenes monokulares Bild
eines Verkehrsraum, in dem sich das mit dem Fahrerassistenzsystem 1 ausgerüstete Fahrzeug (Egofahrzeug)
fortbewegt. Da der Bildsensor 12 als vorausschauender Sensor
installiert ist, zeigt das in 4 dargestellte
Bild den Straßenverlauf
in Fahrtrichtung des Egofahrzeugs. Das Egofahrzeug folgt offensichtlich
gerade im Bereich einer durch Baken gesicherten Baustelle einem
vorausfahrenden Fremdfahrzeug. Auf der Gegenspur nähern sich Fahrzeuge
im Gegenverkehr. Auf der rechten Seite der eigenen Fahrspur ist
ein Baum 41 erkennbar. Auch 5 zeigt
wiederum ein von dem Bildsensor 12 erfasstes Bild des Verkehrsraums,
wobei jetzt zusätzlich
aus den monokularen Bildern abgeleitete Flusslinien (ISO-Flusslinien)
des optischen Flusses eingeblendet sind, die hier als dünn eingezeichnete unregelmäßige Linien
dargestellt sind. Von besonderem Interesse sind Diskontinuitäten des
optischen Flusses, die üblicherweise
an erhabenen Objekten auftreten, insbesondere dann, wenn sie gehäuft auftreten.
Dies ist in Bild 5 insbesondere an den Baken links und an dem Baum
rechts der Fall. Diese Bereiche werden als Flusskanten bezeichnet.
Mangels entsprechender Struktur sind in dem Bereich des Himmels
keine Flussinformationen vorhanden. In dem Zentrum des Bildes befindet
sich der so genannte FOE (Focus of Expansion). Hierbei handelt es
sich um einen Punkt, aus dessen näherer Umgebung keine zuverlässige 3D-Information
extrahierbar ist. Deshalb ist in dem Flussbild auch das vor dem
Egofahrzeug fahrende Fahrzeug nicht sichtbar.
-
Anhand
des einfachen, in 3 dargestellten Flussdiagramms
werden im Folgenden nochmals die gemäß dem erfinderischen Verfahren
durchgeführten
Schritte zusammengefasst. In einem ersten Schritt werden mittels
des Bildsensors 12 monokulare Bilder des Verkehrsraums
generiert. In einem zweiten Schritt 32 wird aus diesen
Bildern der optische Fluss extrahiert. In einem dritten Schritt 30 wird der
optische Fluss auf Diskontinuitäten
untersucht. In einem weiteren Schritt 40 findet, auf Basis
der entdeckten Diskontinuitäten
des optischen Flusses, eine Segmentierung des Bildes statt. Durch
diese Segmentierung können
Objekte des Verkehrsraums klassifiziert werden. Zu diesen Objekten
gehören
eigenbewegte Objekte, wie beispielsweise andere Verkehrsteilnehmer, statische
Objekte, wie beispielsweise verkehrslenkende Einrichtungen (siehe
Baken und Verkehrszeichen) oder auch die Straße selbst und an die Straße angrenzende
Geländebereiche.
In einem weiteren Schritt 50 kann, ggf. in Abhängigkeit von
einer Risikobewertung aufgrund der Analyse von Diskontinuitäten des
optischen Flusses, eine Steuerung des Fahrzeugs oder dessen Systeme
stattfinden. Beispielsweise kann nach der Erfassung der in 4 und 5 dargestellten
Baken der Gefahrenbereich Baustelle erkannt werden. Durch Eingriff
in das Bremssystem und/oder den Antriebsstrang des Fahrzeugs kann
dann eine angepasste Geschwindigkeit des Fahrzeugs eingestellt werden,
um die Baustellensituation risikolos zu meistern. Weiterhin können mittels
der Erfindung detektierte Leitpfosten eine sichere Spurführung des
Fahrzeugs selbst dann unterstützen,
wenn keine deutlich erkennbaren Spurmarkierungen mehr vorhanden
sein sollten. Auch Verkehrszeichen sind auf diese Weise erkennbar.
Eigenbewegte Objekte aus dem Verkehrsraum zeichnen sich dadurch
aus, dass die ihnen zugeordneten Diskontinuitäten des optischen Flusses ihre örtliche Lage
in Abhängigkeit
von der Zeit verändern.
Diese Eigenschaft wird bei der Segmentierung der Bilder ausgenutzt,
um eigenbewegte Objekte von statischen Objekten zu unterscheiden.
Erkannte eigenbewegte Objekte ermöglichen auf vorteilhafte Weise eine
Gefahrenwarnung, beispielsweise durch Einblendung in ein Nightview-Bild
eines nachtsichtfähigen
Fahrerassistenzsystems 1. Zwei Beispiele dafür sind in 6 und 7 dargestellt. 6 zeigt
ein Nightview-Bild und, in dieses eingeblendet, ein mit einem Ball
spielendes Kind, das von der rechten Seite der Fahrspur vor das
Egofahrzeug springt. 7 zeigt in einem Nightview-Bild
eine Kreuzung mit einem sich im kreuzenden Verkehr der Kreuzung
nähernden
Fremdfahrzeug.
-
Abgesehen
von den Verkehr leitenden Einrichtungen, wie Verkehrszeichen, Leitpfosten
und dergleichen, können
mit Hilfe des erfindungsgemäßen Verfahrens
auch eine Randbebauung, den Straßenverlauf begleitende Vegetation
und sogar an die Straße
angrenzende Geländformationen
erkannt und für
eine zweckentsprechende Reaktion des Fahrerassistenzsystems verwertet
werden. So zeigt als weiteres Beispiel 8 ein Bild
eines Bildsensors mit eingeblendeten ISO-Flusslinien des optischen
Flusses und dort erkennbaren Diskontinuitäten des optischen Flusses.
Das in 8 gezeigte Bild stellt eine mit einer Linkskurve
verlaufende Straße
dar. Besonders auffallende Flusskanten finden sich bei einem Leitpfosten
rechts im Vordergrund, bei Bäumen 81, 82 in
der Randbepflanzung und bei einem als Abhang 83 gestalteten
Geländeabschnitt
rechts der Straße.
In 9 und 10 sind
Bilder dargestellt und Diskontinuitäten des optischen Flusses,
die auf einen die abgebildete Straße rechts begrenzenden Graben
schließen
lassen. Die in 11 und 12 dargestellten
Bilder und mit Diskontinuitäten
des optischen Flusses zeigen jeweils einen Straßenverlauf mit steil abfallenden
Abhängen,
die die Straße
rechts bzw. links begrenzen. Das Erkennen solcher Geländeformationen
kann das Fahrerassistenzsystem bei der Auswahl einer geeigneten
Ausweichstrategie im Falle von Gefahr unterstützen. Bei der dargestellten Situation
wäre das
Verlassen der Straße
wegen der steil ansteigenden Hänge
mit einem vergleichsweise großen
Risiko verbunden. Diese Risikobetrachtung ist immens wichtig für zukünftige Fahrerassistenzsysteme,
die auch einen Eingriff in die Lenkung des Fahrzeugs vorsehen.
-
Die
segmentierte Straße
erlaubt weiterhin eine exakte Eigenbewegungsbestimmung basierend auf
der Flussanalyse. In dem Fahrzeug vorhandene andere Sensoren des
Fahrerassistenzsystems können
in ihrer Vermessungsgenauigkeit unterstützt werden. So kann beispielsweise
bei einem Gierratensensor die Drift kompensiert werden.
-
Das
erfindungsgemäße Verfahren
lässt sich vorteilhaft
auch bei Bildsequenzen anwenden, die von seitlich schauenden oder
rückschauenden Bildsensoren
bereitgestellt werden. Auch eine vorteilhafte Anwendung in Verbindung
mit einem Precrashsensor eines Insassenschutzsystems ist denkbar. 13, 14 und 15 zeigen
als Beispiel eine von einem Bildsensor 12 gelieferte Bildsequenz,
bei der Diskontinuitäten
des optischen Flusses auf ein sich dem Egofahrzeug auf Kollisionskurs
näherndes Fremdfahrzeug
schließen
lassen.