-
Die
Erfindung betrifft eine Vorrichtung und ein Verfahren zur Fahrspurerkennung
mittels einer Rückfahrtkamera eines Kraftfahrzeug gemäß dem Oberbegriff
des Anspruchs 1 bzw. des Anspruchs 20.
-
Heutzutage
sind Kraftfahrzeuge das am weitest verbreitetste Transportmittel,
wobei die Anzahl der Fahrzeuge stärker zunimmt als dies
für die Straßenkapazität der Fall ist,
was zu zwei negativen Effekten führt. Einerseits ist dies
der Komfortverlust beim Fahren und andererseits die Zunahme kritischer
Situationen und Unfälle aufgrund der zunehmenden Verkehrsdichte.
-
Klassische
passive Sicherheitssysteme, wie beispielsweise Dreipunktgurte und
Airbag-Systeme, versuchen die Wirkungen der Unfälle zu
verringern. Dem gegenüber beschäftigen sich fortgeschrittene Fahrerassistenzsysteme
mit der Verringerung der Gesamtzahl von Unfällen durch
Beeinflussung deren Ursachen. Ferner ermöglichen sie einen
besseren Verkehrsfluss, erhöhen die Straßeneffizienz
und erfüllen dem Fahrer gegenüber die Funktion
eines Copiloten.
-
Derartigen
fortgeschrittenen Fahrerassistenzsysteme ist die Notwendigkeit gemeinsam
die Fahrzeugumgebung zu erfassen. Verschiedenste Arten von Sensoren,
wie beispielsweise Radar, Laserscanner oder Kameras, können
zum Erfassen der Umgebung verwendet werden, wobei aus deren Daten
ein abstraktes Modell der Fahrzeugumgebung geschaffen wird. Jeder
Sensor basiert auf bestimmten physikalischen Prinzipien und ist
nur zur Detektion bestimmter Merkmale der Umgebung fähig.
Um daher ein möglichst genaues Abbild der Fahrzeugumgebung
zu erhalten, werden üblicherweise eine Mehrzahl unterschiedlicher
Sensoren verwendet. Mittels der Verwendung von Sensorfusionstechniken, in
welche die gemessenen Merkmale der einzelnen Sensoren mit ihren
Eigenschaften einfließen, wird die Qualität, Verlässlichkeit
und der Bereich der bearbeiteten Daten erhöht.
-
Für
einige der fortgeschrittenen Fahrerassistenzsysteme wird die Bestimmung
der Ego-Fahrspur benötigt, wie beispielsweise Systeme,
die vor dem Verlassen der Fahrspur warnen (Lane-Departure-Warning
LDW), Spurhaltsysteme (Lane-Keeping-System LKA) oder autonomes Fahren.
Damit derartige Fahrerassistenzsysteme funktionieren können,
ist eine genaue Detektion der eigenen Fahrspur notwendig.
-
So
beschreibt das Dokument
DE 10 2006 040 437 A1 eine Einrichtung und
Verfahren zur Auswertung von Bildern einer Videokamera, wobei die Videokamera
insbesondere eine Rückfahrkamera sein kann. Aus den Helligkeitssprüngen
im aufgenommenen Videobild werden rückwärtige
Fahrspurmarkierungen detektiert und es so ermöglicht, eine Warnung
an den Fahrer abzugeben, falls die Fahrspur verlassen wird.
-
In
gleicher Weise offenbart die Druckschrift
EP 1 887 541 A2 ein Kraftfahrzeug
mit einem Fahrspurerfassungssystem, welches aufgrund eines vom Fahrspurerfassungssystem
erzeugten Fahrspursignals über eine Markierungserzeugungseinrichtung ein
die erfasste Fahrspur darstellende Markierung in einer Anzeigeeinheit
anzeigt.
-
Ein
Großteil der Lösungen zur Fahrspurdetektion basiert
auf der Verwendung von Kamerabildern. Alternativ können
auch Bilder eines Umfeldlasers verwendet werden. Zusätzlich
können Navigationspositionsdaten sowie die Eigenbewegung
des Fahrzeugs und digitale Karteninformationen in die Fahrspurdetektion
einfließen. Aufgrund der visuellen Natur der Fahrspurinformation
sind jedoch Kamerabilder die erste Informationsquelle.
-
Zur
Bestimmung der Ego-Fahrspur werden die Daten mittels verschiedener
Algorithmen unter Verwendung von beispielsweise Kantenfiltern und der
Hough-Transformation angewendet, wobei eine gerade Straße
vorausgesetzt wird. Weiterhin transformieren viele Verfahren das
aufgenommene perspektivische Bild in eine Draufsicht mit den damit
verbundenen mathematischen Problemen und Fehlerquellen.
-
Der Artikel
Arata Takahashi et al.: "Image Processing Technology for
Real View Camera (1): Development of Lane Detection System" R & D Review of Toyota
CRDL, Bd. 38 (2003), 31–36, beschreibt ein Verfahren
zur Bestimmung der Fahrspur auf einer autobahnähnlichen
Straße zur Erzeugung eines an den Fahrer gerichteten Warnsignals,
falls die Fahrspur verlassen wird. Das Verfahren verwendet das Bild
einer bereits im Kraftfahrzeug eingebauten Rückfahrtkamera,
wobei dieses Bild zuerst durch eine inverse perspektivische Abbildung
in eine Draufsicht transformiert wird. In der Draufsicht werden dann
mittels der Hough-Transformation gerade Linien gesucht und so die
Fahrbahnmarkierungen bestimmt werden.
-
Nachteilig
bei dem Verfahren zur Bestimmung der Ego-Fahrbahn von Takahashi
et. al. ist, dass die Entfernung de Perspektive innerhalb
des gesamten Bildes mittels einer inversen perspektivischen Abbildung
zur Erzeugung einer Draufsicht und die darauffolgende Anwendung
einer reduzierten Hough-Transformation zum Auffinden rein vertikaler Linien
mathematische Fehler induziert. Dies ist insbesondere darin begründet,
dass die inverse perspektivische Transformation des perspektivischen
Bildes zurück in die isotrope Fahrbahnebene fehlerhafte
Diskretisierungseffekte für entfernte Punkte ergibt. Weiterhin
ist die inverse perspektivische Abbildung äußerst
empfindlich bezüglich Kalibrierungsparametern der Kamera,
was zusätzliche Fehler aufgrund der Veränderung
des Kameraneigungswinkels während der Fahrt induziert.
-
Der
Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine
Vorrichtung zur Bestimmung der Ego-Fahrbahn mittels einer Rückfahrkamera
eines Kraftfahrzeugs zu schaffen, welches eine höhere mathematische
Robustheit aufweist.
-
Die
Aufgabe wird durch ein Verfahren zur Fahrspurerkennung mittels einer
Rückfahrtkamera eines Kraftfahrzeugs mit den Merkmalen
des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des
Anspruchs 20 gelöst. Bevorzugte Ausführungsformen
des Verfahrens bzw. der Vorrichtung sind Gegenstand der Unteransprüche.
-
Das
erfindungsgemäße Verfahren zur Fahrspurerkennung
mittels einer Rückfahrtkamera eines Kraftfahrzeugs weist
die folgenden Schritte auf:
- – Aufnehmen
eines rückwärtigen Bildes,
- – Bestimmung der wesentlichen geraden Linien des aufgenommenen
Bildes mittels einer Hough-Transformation,
- – Transformation der wesentlichen geraden Linien in
eine Draufsicht durch Durchführen einer orthographischen
Projektion,
- – Validierung der transformierten Linien durch Entfernen
derjenigen transformierten Linien, deren Neigungswinkel von der
Vertikalen um einen vorgegebenen Betrag abweicht, wobei die Vertikale
durch die Hauptachse der Kamera definiert ist, und
- – Vergleich der validierten Linien mit Linien eines Modells
zur Bestimmung der Fahrspur.
-
Bei
dem erfindungsgemäßen Verfahren werden daher Bilder
einer Rückfahrtkamera einzeln betrachtet und ausgewertet,
wobei die Rückfahrtkamera vorzugsweise eine Weitwinkelkamera
ist. Dabei werden in dem Verfahren vorzugsweise Halbbilder nach
dem Halbzeilenverfahren betrachtet.
-
Da
die Farbinformation der Rückfahrtkamera im wesentlichen
keine oder nur geringe Information zur Bestimmung der Fahrbahnmarkierung
bzw. der Ego-Fahrspur enthält, wird vorzugsweise eine Umwandlung
des Bildes in Grauwerte durchgeführt, beispielsweise indem
eine Transformation des RGB-Bildes in ein YUV-Bild in bekannter
Weise durchgeführt wird und die Y-Komponente für
die weiterer Betrachtung verwendet wird.
-
Vorzugsweise
ist die Sichtweise der rückwärtigen Kamera kleiner
oder gleich einer vorgegebenen Größe, vorzugsweise
kleiner oder gleich 20 m, insbesondere kleiner oder gleich einem
Bereich von 10 m. Der Grund dieser Einschränkung liegt
im wesentlichen darin begründet, dass bei der Verwendung
einer bekannten als Weitwinkelkamera ausgelegten Rückfahrtkamera
deren Neigungswinkel so eingestellt ist, dass diese eine Sichtweite
von ca. 10 m aufweist. Innerhalb dieses Sichtweitenbereichs erscheinen
Fahrbahnmarkierungen selbst in starken Kurven im wesentlichen als
gerade Linien, was für den Gebrauch der Hough-Transformation
vorteilhaft ist.
-
Weiterhin
bietet die Hough-Transformation den Vorteil, dass sie gegenüber
teilweise verdeckten oder im Schatten liegenden Markierungen nicht
empfindlich ist, was in Fahrsituationen häufig vorkommt.
-
Vorzugsweise
wird das rückwärtige Bild einer Entzerrung unterzogen,
da die verwendete Kamera, wie bereits erwähnt, vorzugsweise
eine Weitwinkelkamera ist, wodurch gerade Linien gekrümmt dargestellt
sind.
-
Zur
Bestimmung der gerade Linien in dem entzerrten Bild wird das entzerrte
Bild einer Kantendetektion unterzogen, wodurch elf Kantenbild erzeugt
wird, welches die in dem entzerrten Bild vorhandenen Kanten aufweist.
Dieses Kantenbild enthält daher unter anderem sämtliche
geraden Linien des entzerrten Bildes. Vorzugsweise wird zur Kantendetektion
ein Sobel-Operator mit einer Schwellwertfunktionalität
verwendet, mit anderen Worten Kantensprünge unterhalb einer
gewissen Intensität treten in dem Kantenbild nicht auf.
Bekanntermaßen ist der Sobel-Operator ein Kantendetektions-Filter, der
die erste Ableitung der Bildpunkt-Helligkeitswerte berechnet, wobei
gleichzeitig orthogonal zur Ableitungsrichtung geglättet
wird. Der Algorithmus nutzt eine Faltung mittels einer 3×3-Matrix,
die aus dem Originalbild ein Gradientenbild erzeugt. Mit diesen werden
hohe Frequenzen im Bild mit Grauwerten dargestellt, wobei die Bereiche
der größten Intensität dort sind, wo
sich die Helligkeit des Originalbilds am stärksten ändert,
und somit die größten Kanten darstellt. Wird eine
Schwellwertfunktion angewendet, so werden Helligkeitssprünge
unterhalb der vorgegebenen Schwelle gelöscht.
-
Vorzugsweise
werden im Hough-Raum mit den Polarkoordinaten d und θ nach
der Transformation der aufgefundenen Kanten, d. h., nach der Transformation
des Kantenbildes, lokale Maxima gesucht, um die wesentlichen geraden
Linien zu bestimmen. Nach dem Auffinden der Maximas werden die durch die
Maximas wiedergegebenen Linien in einer Liste der aufgefundenen
Linien abgelegt.
-
Nachdem
die aufgefundenen wesentlichen geraden Linien durch eine inverse
perspektivische Abbildung in eine Draufsicht transformiert worden sind,
werden vorzugsweise sämtliche Linien im Validierungsschritt
entfernt, die nicht bzw. im wesentlichen nicht vertikal sind. Unter
vertikal ist dabei die Hauptachse der Kamera zu verstehen, die im
aufgenommenen Bild anschaulich die Vertikale bildet. Die Vertikale
entspricht daher der entgegengesetzten Fahrtrichtung des Fahrzeugs.
In der Draufsicht bedeutet dies anschaulich, dass nicht vertikale
Linien im wesentlichen keine Fahrbahnmarkierungen sein können.
-
Die
so aufgefundenen validierten Linien in der Draufsicht müssen
nun Fahrbahnmarkierungen zugeordnet werden, welches im Schritt Vergleich
der validierten Linien mit Modell-Linien zur Bestimmung der Fahrspur
durchgeführt wird. Vorzugsweise ist eine Menge von Modell-Linien
vorgegeben, die die Eigenschaften Parallelität zur Vertikalen,
einen vorgegebenen Abstand zur Vertikalen, einen vorgegebenen Überlappungsbereich
sowie einen Zustand, der jeder Modell-Linie zugeordnet ist, aufweisen.
Dabei weist die Eigenschaft Zustand eine vorgegebene Anzahl von
Zustandswerten auf.
-
Zur
Bestimmung von Fahrspurmarkierungen wird vorzugsweise für
jede validierte Linie eine Zuordnungsfunktion bezüglich
jeder Modell-Linie berechnet. Dabei ist vorzugsweise ein Zuordnungswert der
genannten Zuordnungsfunktion eine Funktion der Fläche zwischen
der Modell-Linie und der durch den Überlappungsbereich
verlaufenden validierten Linie. Mit anderen Worten, der Zuordnungswert
ist eine Funktion des Flächenintegrals zwischen Modell-Linie und
validierter Linie innerhalb des Überlappungsbereichs. Ferner
werden Flächen links und rechts der Modell-Linie unterschiedliche
Vorzeichen zugewiesen. Beispielsweise kann eine Fläche
links der Modell-Linie ein negatives Vorzeichen und eine Fläche rechts
von der Modell-Linie ein positives Vorzeichen zugewiesen werden.
-
Um
den Zuordnungswert für verschiedene Modell-Linien mit einander
vergleichen zu können, wird der Zuordnungswert durch die
auf die Fläche des Überlappungsbereichs normierte
Fläche zwischen Modell-Linie und validierter Linie gebildet.
Mit anderen Worten, die Fläche zwischen Modell-Linie und
validierter Linie innerhalb des Überlappungsbereichs wird
auf den Überlappungsbereich normiert, d. h., dividiert.
Vorzugsweise wird nun eine validierte Linie derjenigen Modell-Linie
mit dem besten Zuordnungswert zugeordnet. Mit anderen Worten, der
Zuordnungswert ist anschaulich ein Maß für den
Abstand zwischen validierter Linie und Modell-Linie.
-
Vorzugsweise
wird eine validierte Linie als neue Modell-Linie betrachtet, wenn
keine Zuordnung einer validierten Linie zu einer Modell-Linie erfolgt
ist.
-
Wie
bereits oben erwähnt, sind einer Modell-Linie Zustandswerte
der Eigenschaft Zustand zugeordnet, wobei hier vorzugsweise vier
Zustandswerte definiert sind, die mit Sporadisch, Fix, Primär und
Löschen bezeichnet werden. Der Zustandswert Sporadisch
bedeutet, dass die Modell-Linie nur sporadisch auftritt, der Zustandswert
Fix, dass die Modell-Linie oft auftritt, der Zustandswert Primär,
dass die Linie als Ego-Fahrspurmarkierung ausgebildet ist, und die
Bedeutung des Zustandwertes Löschen ist, dass die Linie
aus der Menge der Modell-Linien zu entfernen ist, da sie beispielsweise über
einen längeren Zeitraum keiner validierten Linie zugeordnet werden
konnte.
-
Vorzugsweise
wird für jedes rückwärtige Bild die Hauptmarkierungen
ausgewählt und gespeichert, indem diejenigen Modell-Linien
als primär ausgewählt werden, die jeweils links
und rechts von der Vertikalen liegen, die daraus resultierende Fahrspurbreite
ermittelt und mit einer vorgegebenen Breite verglichen wird.
-
Eine
erfindungsgemäße Vorrichtung zur Durchführung
des Verfahrens in einem Kraftfahrzeug umfasst
eine am Kraftfahrzeug
angeordneten Rückfahrtkamera,
ein Mittel zum Speichern
und Bearbeiten der aufgenommenen Bilder,
ein Mittel Detektion
von Kanten in dem aufgenommenen Bild,
ein Mittel zum Hough-Transformieren
der detektierten Kanten in einen Hough-Raum,
ein Mittel zur
Bestimmung der wesentlichen Linien im Hough-Raum,
ein Mittel
zum Transformieren der wesentlichen Linien in eine Draufsicht,
ein
Mittel zum Validieren der wesentlichen Linien in der Draufsicht,
ein
Mittel zur Zuordnung Bestimmung eines Maßes zwischen den
validierten Linien und vorgegebenen Linien einer Modell-Menge, und
ein
Mittel zur Bestimmung der Fahrbahn aus zugeordneten Modell-Linien.
-
Eine
bevorzugte Ausführungsform der Erfindung wird nachfolgend
anhand der Zeichnungen erläutert. Dabei zeigt
-
1 eine Übersicht
des erfindungsgemäßen Verfahrens,
-
2 das
Rohbild der rückwärtigen Kamera,
-
3 das
rückwärtige Bild nach der Entzerrung als Grauwert-Bild,
-
4 das
kantengefilterte Bild,
-
5 die
Hough-Transformation des kantengefilterten Bildes,
-
6 die
lokalen Maxima der Hough-Transformation,
-
7 die
Entfernung der Perspektive in schematischer Darstellung,
-
8 die
beobachteten Linien,
-
9 die
Validierung der beobachteten Linien,
-
10 die
Liste der Straßenlinien,
-
11 die
validierten Linien mit Modell-Linien und deren Überlappungsbereich,
-
12 die
Fläche zwischen Modell-Linie und validierter Linie im Überlappungsbereich,
-
13 die
sich zugeordneten Modell-Linien, dargestellt innerhalb des entzerrten
rückwärtigen Bildes, und
-
14 die
Funktion des morphologischen Operators Flut.
-
1 zeigt
einen Übersicht des Ablaufs des erfindungsgemäßen
Verfahrens mit den Komponenten Bilderfassung und Vorverarbeitung
A, Hough-Transformation B, Entfernung der Perspektive C, Modellierung
und Tracking D sowie Ausgabe und/oder Verwendung der Ergebnisse
E. Dabei werden die einzelnen Komponenten A–E anhand der
Figuren genauer erläutert werden.
-
Die
vorgeschlagene Lösung bezüglich des Problems der
Fahrspurerkennung und Nachverfolgens besteht daher aus der Kombination
einer optimierten Hough-Transformation des Blocks B mit einer schnellen
Entfernung der Perspektive C und einem Modellierungs- und Treckingsverfahrens
D. Dabei hat die Hough-Transformation den Vorteil, dass bei den
verwendeten Bildern mit hinreichend kurzer Sichtweite von ≤ 20
m, insbesondere kleiner oder gleich 10 m, Fahrbahnmarkierungen selbst
in scharfen Kurven im Bild als gerade Linien erscheinen. Ferner
hat die Hough-Transformation den Vorteil, dass sie relativ unempfindlich
ist zu partiell verdeckten oder beschatteten Fahrbahnmarkierungen,
welches bei Fahrsituationen oft vorkommt. Allerdings werden durch
die Hough-Transformation alle geraden Linien im Bild ermittelt,
und nicht alle dieser geraden Linien stammen von Fahrbahnmarkierungen,
sondern sie können auch durch andere Fahrzeuge, straßenseitige
Objekte oder Schatten oder Unebenheiten oder ungleichmäßige
Färbung der Fahrbahnoberfläche hervorgerufen werden.
-
Das
Auffinden von geraden Linien in dem Bild der Kamera ist daher nicht
ausreichend zum Detektieren von Fahrspuren bzw. von Fahrspurbegrenzungen.
Es wird daher eine Komponente benötigt, welche die beobachteten
Linien validiert. Dies wird im erfindungsgemäßen
Verfahren durch die Komponente C bewerkstelligt, in welchem perspektivische
Effekte entfernt werden und danach die Position, Winkel und relative
Abstände der aufgefundenen Linien betrachtet werden. Dieser
Verfahrensschritt kann parametrisch durchgeführt werden
und ist sehr schnell, da nicht die perspektivischen Effekte der
gesamten Ebene, sondern nur des Kantenbildes, d. h., der aufgefunden
Linien, in eine Draufsicht transformiert wird.
-
Für
die Komponente D, Modellierung und Trecking, wird für Nachverfolgungszwecke
und Robustheit ein Modell der Straße benötigt.
Einerseits muss die Bewegung der Modell-Linien nachverfolgt werden,
damit Rauschen heraus gefiltert und Änderungen im Fahrspurmarkierungsverlauf
detektiert werden können. Ferner könne unterbrochene
Markierungen von Bild zu Bild verschwinden und wieder auftauchen,
so dass das Modell das Vorhandensein von Markierungen speichern
muss und deren Bewegung nachverfolgen kann, was auch als Tracking
bezeichnet wird. Zu guter Letzt muss das Modell aus allen Modell-Linien
diejenige finden, die denjenigen der Ego-Fahrspur entsprechen. Das
Modell stellt dann Information über die Fahrspurbreite,
die laterale Position des Kraftfahrzeugs auf der Fahrspur und dessen
Bewegungen und Fahrspurwechsel bereit. Ein Kalmann-Filter wird nicht
für die Tracking-Aufgabe verwendet, da dieser gegenüber
Rauschen empfindlich ist und eine lange Initialisierungsperiode
benötigt. Anstelle dessen wurde ein empirisches Modellierungs-
und Tracking-System D entwickelt. Die Komponente E betrifft die
Ausgabe der Ergebnisse, d. h. der detektierten Ego-Fahrspur, an
den Fahrer und/oder die Verwendung der Ergebnisse in dem entsprechenden
Fahrerassistenzsystem.
-
2 zeigt
ein Bild einer Rückfahrtkamera. Wie aus 2 ersichtlich,
bewirkt die Rückfahrtkamera, die üblicherweise
eine Weitwinkelkamera ist, starke Störungen bzw. Verzerrungen
in den Bildern, so dass diese Störungen zuerst beseitigt
werden müssen, bevor der Bildinhalt bewertet werden kann. Im
Fall einer Halbbilder erzeugenden Videokamera werden in der folgenden
Betrachtung nur Halbbilder betrachtet, da bei der Betrachtung von
Gesamtbildern Interlacing-Effekte von dem Glättungs- oder Entzerrungsvorgang
der Vorverarbeitung in Komponente A verstärkt werden würden.
Da ferner zur Auffindung von Fahrspurmarkierungen keine Farbinformationen
benötigt werden, wird als erster Verfahrensschritt eine
Konvertierung des Fahrtbildes der Rückfahrtkamera in Grauwerte
durchgeführt. Dies kann beispielsweise bei einer RGB-Kamera
durch Konversion der RGB-Werte in eine YUV-Beschreibung und Weiterbearbeiten
der Y-Komponente erzielt werden.
-
3 zeigt
ein rückwärtiges Bild der Rückfahrtkamera
nach der Entzerrung der tangentialen und radialen Verzerrungen.
Wie bereits erwähnt, ist das verzerrte Bild der 2 für
die weitere Bearbeitung nicht geeignet. Durch den Entzerrungsvorgang der
Vorverarbeitung des Bildmaterials in Komponente A werden die radialen
und tangentialen Verzerrungen der Weitwinkelkamera heraus gerechnet,
wobei die Rückfahrtkamera in erster Näherung durch
ein Loch-Kamera-Modell beschrieben wird. Dabei benötigt
der Entzerrungsvorgang eine präzise Kalibrierung der Rückfahrtkamera,
die jedoch nur einmal durchgeführt werden muss. Ferner
kann der Entzerrungsvorgang als eine Look-up-Table implementiert sein,
um die Berechnung zu beschleunigen.
-
Das
in 3 dargestellte entzerrte Bild wird anschließend
einer Kantenfilterung mit Schwellwertfunktion unterzogen, und es
ergibt sich das in 4 dargestellte Kantenbild. Dieses
Kantenbild enthält die Kanteninformation der 3,
d. h., die im Graubild der 3 auftretenden
Intensitätssprünge, wobei in der vorliegenden
Darstellung hohe Grauwerte einem großen Intensitätssprung
entsprechen. Wie aus 4 ersichtlich, werden die auftretenden
Kanten nicht ausschließlich von den Fahrbahnmarkierungen
gebildet, sondern auch von Fahrzeugumrissen etc. Vorzugsweise wird
als Kantenfilter ein Sobel-Filter verwendet, der in der Bildverarbeitung
häufig Anwendung findet, und dort mit Hilfe der Faltung
als Algorithmus eingesetzt wird. Dieser Sobel-Operator berechnet
letztlich die erste Ableitung der Bildpunkt-Helligkeitswerte, wobei
gleichzeitig die Orthogonalableitungsrichtung geglättet
wird.
-
5 zeigt
die Hough-Transformation des Kantenbildes der 4.
Der Hough-Raum ist in Polarkoordinaten anstelle von kartesischen
Koordinaten definiert, so dass der Hough-Raum für jede
Richtung und Abstand zum Ausgangspunkt homogen ist. Daher wird eine
Gerade dargestellt durch den Vektor (θ, d), d. h., deren
Winkel und Abstand zum Ursprung dargestellt, mit anderen Worten
durch die Gleichung x·cosθ + y·sinθ =
d. Jeder Punkt (x, y) des Kantenbildes der 4 wird daher
auf allen möglichen Geraden (θ, d) abgebildet,
denen er angehören kann.
-
Eine
wichtige Optimierung besteht darin, die Sobel-Kanteninformation
als ein Zweikomponenten-Grauvektor sowohl in X- als auch in Y-Richtung auszuwerten.
Dadurch trägt ein Punkt nur zu Linien bei, die nahe an
dem senkrechten Winkel dieses Vektors liegen, wodurch eine Vielzahl
von unwichtigen Möglichkeiten ausgeschlossen werden. Die
Richtung des Grau-Gradienten an den Kantenpunkten zeigt ferner an,
ob der Helligkeitsübergang von hell nach dunkel oder von
dunkel nach hell erfolgt ist. Dies ist später zur Bestimmung
der Art der Linien wichtig.
-
Anschließend
werden, wie in 6 dargestellt, lokale Maxima
im Hough-Raum gesucht, welche die unterscheidbarsten oder wesentlichen
Linien in dem Bild darstellen. Ein Kriterium zur Auswahl eines Elements
des Hough-Raums als lokales Maximum ist die Überprüfung
des Elements relativ zu seiner Umgebung. Durch die Verwendung eines
geeigneten Schwellwerts werden unwesentliche Linien entfernt. Die
in 6 dargestellten lokalen Maxima stellen daher im
Bildraum die beobachteten wesentlichen Linien dar. Der Anteil an
Rauschen innerhalb dieser beobachteten Linien ist jedoch noch sehr hoch,
so dass eine weitere Filterung notwendig ist.
-
7 zeigt
in schematischer Darstellung die Transformation der beobachteten
Linien der 6 im Hough-Raum in eine Draufsicht
zur Entfernung perspektivischer Effekte. Das von der schematisch
dargestellten Kamera 1 aufgenommene Bild 2, welches
in eine perspektivischen Koordinatensystem mit den Koordinaten (xp, yp) dargestellt
ist, werden in eine Draufsicht 3 mit den Koordinaten xw, yw und zw transformiert. In der Draufsicht 3 wird
dann entschieden, ob die transformierten beobachteten Linien einer Fahrspurmarkierung
entsprechen können oder nicht, wobei das Auswahlkriterium
die Position und der Winkel der beobachteten Linie ist.
-
Um
diese Transformation in die Draufsicht 3 durchführen
zu können, müssen die inneren und äußeren
Kameraparameter der Rückfahrtkamera bekannt sein. Dabei
sind die inneren Parameter gegeben durch die Position des Zentralpunkts
und der fokalen Länge, während die äußeren
Parameter gegeben sind durch die Position der Kamera in dem Koordinatensystem
des Fahrzeugs und deren Orientierungswinkel. Eine genaue Kalibrierung
der Kamera, die einmal vorgenommen werden muss, bestimmt die Genauigkeit
dieser Verarbeitungsstufe.
-
Das
Ergebnis dieser Transformation der in 6 ermittelten
wesentlichen beobachteten Linien in die Draufsicht ist in 8 zu
sehen. Dargestellt ist die Fahrbahnebene xw–zw, wobei zw, wie
aus 7 ersichtlich ist, letztlich die negative Fahrtrichtung
des Kraftfahrzeugs darstellt, mit anderen Worten, die Richtung der
Hauptachse der Kamera 1 in der Draufsicht.
-
8 zeigt
nun die wesentlichen beobachteten Linien der 6 in Draufsicht,
d. h., in der Fahrbahnebene mit dem Koordinatensystem xw–zw. Nachdem der perspektivische Effekt entfernt
worden ist, kann eine Validierung der beobachteten Linien vorgenommen
werden, indem angenommen wird, dass nur solche Linie eine Fahrbahnmarkierung
darstellen können, die im wesentlichen parallel zur negativen Fahrtrichtung,
d. h. parallel zur Hauptachse der Kamera 1 liegen, was
im vorliegenden Fall der zw-Richtung entspricht.
Diese Richtung in der Draufsicht wird auch als Vertikale bezeichnet.
Im wesentlichen parallel zur Vertikalen bedeutet nun, dass der Winkel
der beobachteten Linie innerhalb eines vorgegebenen Bereichs um
die zw-Koordinatenachse liegt. Alle diejenigen
Linien, die diese Bedingung nicht erfüllen, werden gelöscht.
Ferner ist in 8 die Hauptachse der Kamera,
d. h. die Vertikale, mit Bezugszeichen 4 bezeichnet.
-
Als
Ergebnis der Validierung zeigt 9 diejenigen
Linien, die im wesentlichen parallel zur zw-Achse
liegen. Diese sind durchgezogen dargestellt und können
Fahrbahnmarkierungen darstellen, während die gestrichelt
dargestellten Linien aufgrund ihrer Winkellage keine Fahrbahnmarkierungen
sein können und daher entfernt werden. Zu erkennen ist links
von der Vertikalen 4 eine Linienbündel 5 und rechts
von der Hauptachse ein Linienbündel 6.
-
10 zeigt
das Ergebnis der Validierung, wobei links und rechts von der Vertikalen 4 jeweils
ein Bündel validierter Linien 5 und 6 zu
sehen ist. Eine weitere Optimierung des Validierungsvorgangs besteht
darin, die Abweichung der Linien von der Vertikalen 4 als
Funktion des Abstands von der Vertikalen 4 festzulegen,
da Linien, die weiter entfernt von der die Kameraachse repräsentierenden
Vertikalen 2 sind, einen größeren Fehlerbereich
aufweisen. Mit anderen Worten, je geringer die beobachtete wesentliche
Linie von der Vertikalen 4 beabstandet ist, um so geringer
sind die durch die Entzerrung auftretenden Ungenauigkeiten.
-
Anhand
von 11 wird nun die Komponente D, Modellierung und
Tracking, beschrieben. Die in 10 dargestellten
validierten Linien müssen nun in ein Modell eingebracht
werden, um die gewünschte Fahrspurinformation zu erhalten.
Dazu wird ein Schema einer im wesentlichen darauf basierenden Datenfusion
verwendet, die Beobachtungen gewissen Modellkomponenten zuordnet,
nach der Zuordnung das Ergebnis des Modells schätzt, das
Modell aktualisiert sowie verwaltet und Voraussagen für
den nächsten Datenfusionsschritt trifft.
-
Um
dieses Schema anzuwenden wird ein Modell definiert als eine Menge
von Modellelementen, die im vorliegenden Fall durch Modell-Linien
realisiert sind. Dabei hat eine Modell-Linie eine Anzahl vorgegebener
Eigenschaften, im vorliegenden Fall vier Eigenschaften. Eine Modell-Linie
ist eine vertikale Linie, d. h., sie ist parallel zur Fahrtrichtung,
eine Modell-Linie hat eine gegebene laterale Position, und eine
Modell-Linie weist einem Überlappungsbereich auf, der dazu
dient Modell-Linien mit validierten Linien zu assoziieren, d. h.,
eine Zuordnung zu schaffen. Schließlich hat jede Modell-Linie
eine Eigenschaft Zustand, wobei ein Zustand eine vorgegebene Anzahl
von Zustandwerten annehmen kann. Im vorliegenden Fall hat eine Modell-Linie
vier Zustandswerte, nämlich
- Sporadisch – die
Modell-Linie wird nur sporadisch gesehen,
- Fix – die entsprechende Modell-Linie taucht oft auf,
- Primär – die Modell-Linie ist als Ego-Fahrspurmarkierung
ausgewählt, und
- Löschen – die Modell-Linie soll gelöscht
werden.
-
Die
Definition des Überlappungsbereichs kann in verschiedenen
Arten bewerkstelligt werden und bestimmt das ganze Modell. Anstatt
eines festen Überlappungsbereichs für jede Modell-Linie
kann ein individueller, adaptiver Überlappungsbereich für
jede Modell-Linie für die Frage der Zugehörigkeit
verwendet werden, was angesichts der verwendeten Weitwinkelkamera
vorteilhafter ist. Daher wird der Überlappungsbereich als
eine Funktion der lateralen Position der Modell-Linie von der Kameraachse
gesetzt. Je weiter weg in lateraler Richtung die Modell-Linie von
der Fahrzeugachse, d. h., der Kamera-Hauptachse, ist, um so weiter
entfernt wird der Überlappungsbereich in longitudinaler
Richtung von dem Kraftfahrzeug gesetzt. Gleiches gilt für
die Größe des Überlappungsbereichs.
-
Die
Zugehörigkeitsfunktion misst den Abstand zwischen einer
validierten Linie und einer Modell-Linie, wobei diese Funktion eine
Funktion des vorgegebenen Überlappungsbereichs der Modell-Linie
ist. Es wird eine Näherung der zwischen der Modell-Linie
und der validierten Linie angeordneten Fläche innerhalb
des Überlappungsbereichs berechnet, wobei die Fläche
mit einem Vorzeichen als Funktion der Anordnung links oder rechts
von der Modell-Linie versehen ist. In der bevorzugten Ausführungsform
ist das Vorzeichen positiv für Flächen links und
negativ für Flächen rechts der Modell-Linie. Mit
anderen Worten, es wird das Flächenintegral zwischen den
beiden Linien innerhalb des Überlappungsbereichs bestimmt.
Aufgrund der Adaptivität des Überlappungsbereichs
wird die erhaltene Fläche durch die Größe des
jeweiligen Überlappungsbereichs dividiert, d. h., normiert,
um einen Zuordnungswert zu erhalten, der vergleichbar mit Zuordnungswerten
der anderen Modell-Linien mit entsprechend anderen Überlappungsbereichen
ist. Letztendlich wird auf diese Weise ein Maß für
den Abstand zwischen der Modell-Linie und der validierten Linie
definiert.
-
Dies
ist in 11 dargestellt mit den Modell-Linien 7 und 8,
jeweils links und rechts von der Vertikalen 2. Zu erkennen
ist, dass die Modell-Linien 7, 8 nahe an den Bündeln 5 und 6 validierter
Linien liegen. Ferner ist für die Modell-Linien 7, 8 der
jeweilige Überlappungsbereich 9 und 10 graphisch
dargestellt.
-
12 zeigt
beispielhaft einen Überlappungsbereich in vergrößerter
Darstellung. Eine Modell-Linie 12 sowie eine validierte
Linie 13 durchlaufen den Überlappungsbereich 11 der
Modell-Linie 12. Die Fläche 14 ist die
zwischen der Modell-Linie 12 und der validierten Linie 13 durch
den Überlappungsbereich 14 begrenzte Fläche.
-
Anschließend
wird der Vorgang des Modellierens und Trackings die folgenden Schritte
für jedes Bild ausführen:
- – Datenzuordnung:
Für
jede validierte, beobachtete Linie wird ein Zuordnungswert bezüglich
jeder Modell-Linie berechnet. Die jeweilige validierte Linie wird
dann derjenigen Modell-Linie mit den besten Zuordnungswerten zugeordnet.
Falls keine Modell-Linie einen gültigen Zuordnungswert
ergab, wird diese validierte Linie als eine neue Modell-Linie durch ein
Modell-Management-Modul der Menge der Modell-Linien für
das nächste Bild hinzugefügt.
- – Modell-Linien Aktualisierung 1:
Nachdem alle
validierten Linien zugeordnet sind, wird jede Modell-Linie gemäß ihren
Beobachtungen aktualisiert. Dies ist notwendig, da eine Modell-Linie
beispielsweise mehreren validierten Linien zugeordnet werden kann.
Das Aktualisieren kann in einfachster Form dadurch bewerkstelligt werden,
dass ein Mittelwert für alle Zuordnungswerte in diesem
Schritt berechnet wird. Weiterhin muss der Überlappungsbereich
neu bestimmt werden.
- – Modell-Linien Aktualisierung 2:
Nicht nur die
Position der Modell-Linie muss an die Messung angepasst werden,
sondern auch deren Zustand. Um dies zu bewerkstelligen, wurde ein
finiter Automat mit den in vorgegangenen erläuterten Zuständen
Sporadisch, Fix, Primär und Löschen entwickelt.
Die Übergänge hängen von zwei Werten
ab und zwar einerseits von der Frequenz des Auftretens der Modell-Linie
den letzten Bildern und andererseits in wie vielen Bildern in der
Vergangenheit die Modell-Linie aufgetreten ist. Daraus werden empirisch
Gewichte errechnet und in das Modell eingefügt.
- – Modell-Management:
Falls eine validierte Linie
nicht irgendeiner der existierenden Modell-Linien zugeordnet werden kann,
muss eine neue entsprechende Modell-Linie mit entsprechendem Überlappungsbereich und
Statuswert Sporadisch hinzugefügt werden. Falls eine Modell-Linie
den Status löschen hat, wird sie aus der Menge der Modell-Linien
gelöscht.
- – Bestimmen von primären Linien und Output
1:
Bezüglich jedes Bilds müssen die Hauptmarkierungen
ausgewählt und die entsprechende Fahrspurbreite und die
laterale Kraftfahrposition bestimmt werden. Für diese Aufgabe
gibt es verschiedene Kriterien:
i) zuerst werden die Markierungen
links und rechts der Vertikalen in Betracht gezogen.
ii) Anschließend
wird die Art der Linie geprüft. Übergänge
von dunkel nach hell und wieder zurück nach dunkel werden
bevorzugt, wodurch Schattierungen oder Kraftfahrzeugschatten heraus
gefiltert werden. Linien mir derartigen Übergängen
werden als BWB-Linien bezeichnet.
ii) Ein weiteres Kriterium
wird durch die Dicke der Modell-Linien gegeben, die nur für
BWB-Linien berechnet werden kann. Die Linien, die zu dick sind oder
zu dünn sind, werden ebenfalls ausgefiltert.
iii)
Das letzte Kriterium vermeidet falsche Markierungen, indem die sich
ergebende Fahrspurbreite berechnet wird. Zwei Zonen sind definiert,
eine mit einer bevorzugten Breite und eine mit einer erlaubten Breite.
Liegt die berechnete Breite außerhalb eines vernünftigen
Maßes, wo werden die Markierungen nicht in Betracht gezogen.
- – Bestimmen von Primären Linien und Output
2:
- – Zusätzlich werden noch die Art der Fahrspurmarkierungen
geprüft. Der Algorithmus besteht darin, einen Bildpunkt
der Markierung zu berechnen und es wird die Markierung mit einem
morphologischen Operator morphologisch geflutet, solange die Farbe ”hell” beibehalten
wird. Schließlich wird die geflutete Markierung von einer
kontinuierlichen durch die Höhe unterschieden, die durch
das Fluten des Bildes erzielt wird.
-
Diese
Schritte werden bezüglich jedes aufgenommenen Bildes ausgeführt.
Da die oben erwähnten Auswahlkriterien in modularen Schritten aufgebaut
sind, können einige Schritte in einem Bild ausgelassen
werden, um eine gute Performance beizubehalten.
-
Das
Ergebnis ist in Bild 13 anschaulich dargestellt. Die Vertikale 4 sowie
die Modell-Linien 7 und 8 entsprechen in dem davor
angeordneten entzerrten Bild der negativen Fahrtrichtung sowie den
linken und rechten Markierungen der Ego-Fahrspur.
-
14 schließlich
zeigt das Fluten der Markierungen mittels eines morphologischen
Operators, wobei der Algorithmus einen zu einer Markierung gehörenden
Punkt berechnet und dessen Umgebung morphologisch flutet, solange
der Grauwert hell beigehalten wird.
-
- A
- Bilderfassung
und Vorverarbeitung
- B
- Hough-Transformation
- C
- Perspektivenentfernung
und Validierung
- D
- Modellierung
und Tracking
- E
- Tracing
der Resultate
- 1
- Kamera
- 2
- perspektivisches
Bild
- 3
- Draufsicht
- 4
- Vertikale,
d. h. Kameraachse
- 5
- Bündel
validierter Linien
- 6
- Bündel
validierter Linien
- 7
- Modell-Linie
- 8
- Modell-Linie
- 9
- Überlappungsbereich
- 10
- Überlappungsbereich
- 11
- Überlappungsbereich
- 12
- Modell-Linie
- 13
- validierte
Linie
- 14
- eingeschlossene
Fläche
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102006040437
A1 [0006]
- - EP 1887541 A2 [0007]
-
Zitierte Nicht-Patentliteratur
-
- - Artikel Arata
Takahashi et al.: ”Image Processing Technology for Real
View Camera (1): Development of Lane Detection System” R & D Review of Toyota
CRDL, Bd. 38 (2003), 31–36 [0010]
- - Takahashi et. al. [0011]