DE102008050456B4 - Verfahren und Vorrichtung zur Fahrspurerkennung - Google Patents

Verfahren und Vorrichtung zur Fahrspurerkennung Download PDF

Info

Publication number
DE102008050456B4
DE102008050456B4 DE102008050456.4A DE102008050456A DE102008050456B4 DE 102008050456 B4 DE102008050456 B4 DE 102008050456B4 DE 102008050456 A DE102008050456 A DE 102008050456A DE 102008050456 B4 DE102008050456 B4 DE 102008050456B4
Authority
DE
Germany
Prior art keywords
lines
line
model
image
validated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102008050456.4A
Other languages
English (en)
Other versions
DE102008050456A1 (de
Inventor
Dr. Graf Thorsten
Alvaro Catalá-Prat
Dr. Philipps Holger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102008050456.4A priority Critical patent/DE102008050456B4/de
Publication of DE102008050456A1 publication Critical patent/DE102008050456A1/de
Application granted granted Critical
Publication of DE102008050456B4 publication Critical patent/DE102008050456B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

Ein Verfahren zur Fahrspurerkennung mittels einer Rückfahrtkamera eines Kraftfahrzeugs umfasst die folgenden Schritte: – Aufnehmen eines rückwärtigen Bildes, – Bestimmung der wesentlichen geraden Linien des aufgenommenen Bildes mittels einer Hough-Transformation, – Transformation der wesentlichen geraden Linien in eine Draufsicht durch Durchführen einer orthographischen Projektion, – Validierung der transformierten Linien durch Entfernen derjenigen transformierten Linien, deren Neigungswinkel von der Vertikalen um einen vorgegebenen Betrag abweicht, wobei die Vertikale durch die Hauptachse der Kamera definiert ist, und – Vergleich der validierten Linien mit Linien eines Modells zur Bestimmung der Fahrspur.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Fahrspurerkennung mittels einer Rückfahrtkamera eines Kraftfahrzeug gemäß dem Oberbegriff des Anspruchs 1 bzw. des Anspruchs 20.
  • Heutzutage sind Kraftfahrzeuge das am weitest verbreitetste Transportmittel, wobei die Anzahl der Fahrzeuge stärker zunimmt als dies für die Straßenkapazität der Fall ist, was zu zwei negativen Effekten führt. Einerseits ist dies der Komfortverlust beim Fahren und andererseits die Zunahme kritischer Situationen und Unfälle aufgrund der zunehmenden Verkehrsdichte.
  • Klassische passive Sicherheitssysteme, wie beispielsweise Dreipunktgurte und Airbag-Systeme, versuchen die Wirkungen der Unfälle zu verringern. Dem gegenüber beschäftigen sich fortgeschrittene Fahrerassistenzsysteme mit der Verringerung der Gesamtzahl von Unfällen durch Beeinflussung deren Ursachen. Ferner ermöglichen sie einen besseren Verkehrsfluss, erhöhen die Straßeneffizienz und erfüllen dem Fahrer gegenüber die Funktion eines Copiloten.
  • Derartigen fortgeschrittenen Fahrerassistenzsysteme ist die Notwendigkeit gemeinsam die Fahrzeugumgebung zu erfassen. Verschiedenste Arten von Sensoren, wie beispielsweise Radar, Laserscanner oder Kameras, können zum Erfassen der Umgebung verwendet werden, wobei aus deren Daten ein abstraktes Modell der Fahrzeugumgebung geschaffen wird. Jeder Sensor basiert auf bestimmten physikalischen Prinzipien und ist nur zur Detektion bestimmter Merkmale der Umgebung fähig. Um daher ein möglichst genaues Abbild der Fahrzeugumgebung zu erhalten, werden üblicherweise eine Mehrzahl unterschiedlicher Sensoren verwendet. Mittels der Verwendung von Sensorfusionstechniken, in welche die gemessenen Merkmale der einzelnen Sensoren mit ihren Eigenschaften einfließen, wird die Qualität, Verlässlichkeit und der Bereich der bearbeiteten Daten erhöht.
  • Für einige der fortgeschrittenen Fahrerassistenzsysteme wird die Bestimmung der Ego-Fahrspur benötigt, wie beispielsweise Systeme, die vor dem Verlassen der Fahrspur warnen (Lane-Departure-Warning LDW), Spurhaltsysteme (Lane-Keeping-System LKA) oder autonomes Fahren. Damit derartige Fahrerassistenzsysteme funktionieren können, ist eine genaue Detektion der eigenen Fahrspur notwendig.
  • So beschreibt das Dokument DE 10 2006 040 437 A1 eine Einrichtung und Verfahren zur Auswertung von Bildern einer Videokamera, wobei die Videokamera insbesondere eine Rückfahrkamera sein kann. Aus den Helligkeitssprüngen im aufgenommenen Videobild werden rückwärtige Fahrspurmarkierungen detektiert und es so ermöglicht, eine Warnung an den Fahrer abzugeben, falls die Fahrspur verlassen wird.
  • In gleicher Weise offenbart die Druckschrift EP 1 887 541 A2 ein Kraftfahrzeug mit einem Fahrspurerfassungssystem, welches aufgrund eines vom Fahrspurerfassungssystem erzeugten Fahrspursignals über eine Markierungserzeugungseinrichtung ein die erfasste Fahrspur darstellende Markierung in einer Anzeigeeinheit anzeigt.
  • Ein Großteil der Lösungen zur Fahrspurdetektion basiert auf der Verwendung von Kamerabildern. Alternativ können auch Bilder eines Umfeldlasers verwendet werden. Zusätzlich können Navigationspositionsdaten sowie die Eigenbewegung des Fahrzeugs und digitale Karteninformationen in die Fahrspurdetektion einfließen. Aufgrund der visuellen Natur der Fahrspurinformation sind jedoch Kamerabilder die erste Informationsquelle.
  • Zur Bestimmung der Ego-Fahrspur werden die Daten mittels verschiedener Algorithmen unter Verwendung von beispielsweise Kantenfiltern und der Hough-Transformation angewendet, wobei eine gerade Straße vorausgesetzt wird. Weiterhin transformieren viele Verfahren das aufgenommene perspektivische Bild in eine Draufsicht mit den damit verbundenen mathematischen Problemen und Fehlerquellen.
  • Der Artikel Arata Takahashi et al.: ”Image Processing Technology for Real View Camera (1): Development of Lane Detection System”, R&D Review of Toyota CRDL, Bd. 38 (2003), 31–36, beschreibt ein Verfahren zur Bestimmung der Fahrspur auf einer autobahnähnlichen Straße zur Erzeugung eines an den Fahrer gerichteten Warnsignals, falls die Fahrspur verlassen wird. Das Verfahren verwendet das Bild einer bereits im Kraftfahrzeug eingebauten Rückfahrtkamera, wobei dieses Bild zuerst durch eine inverse perspektivische Abbildung in eine Draufsicht transformiert wird. In der Draufsicht werden dann mittels der Hough-Transformation gerade Linien gesucht und so die Fahrbahnmarkierungen bestimmt werden.
  • Nachteilig bei dem Verfahren zur Bestimmung der Ego-Fahrbahn von Takahashi et. al. ist, dass die Entfernung de Perspektive innerhalb des gesamten Bildes mittels einer inversen perspektivischen Abbildung zur Erzeugung einer Draufsicht und die darauffolgende Anwendung einer reduzierten Hough-Transformation zum Auffinden rein vertikaler Linien mathematische Fehler induziert. Dies ist insbesondere darin begründet, dass die inverse perspektivische Transformation des perspektivischen Bildes zurück in die isotrope Fahrbahnebene fehlerhafte Diskretisierungseffekte für entfernte Punkte ergibt. Weiterhin ist die inverse perspektivische Abbildung äußerst empfindlich bezüglich Kalibrierungsparametern der Kamera, was zusätzliche Fehler aufgrund der Veränderung des Kameraneigungswinkels während der Fahrt induziert.
  • Die Druckschrift DE 10 2004 003 850 A1 beschreibt ein Verfahren zur Erkennung von Markierungen auf einer Fahrbahn, bei welchem auf der Basis von in zeitlicher Folge von wenigstens einem an einem Fahrzeug gehaltenen Sensor für elektromagnetische Strahlung, insbesondere einem Laserscanner, erfassten Abstandsbildern eines Erfassungsbereichs des Sensors, den eine Oberfläche der Fahrbahn schneidet, wenigstens einer der Markierungen entsprechende Abstandsbildpunkte wenigstens eines der Abstandsbilder ermittelt und eine Lage und/oder Form der Markierung auf der Basis der der Markierung entsprechenden Abstandsbildpunkte geschätzt werden.
  • Die Druckschrift EP 1 221 643 A2 betrifft ein Verfahren und eine Vorrichtung zum Ermitteln von Fahrbahnmarkierungen für Kraftfahrzeuge. Dabei werden eine Vielzahl von Detektionsfenstern in einem Kamerabild derart angeordnet, dass die Fahrbahnmarkierung in den Fenstern verläuft. Die Fahrbahnmarkierung wird anhand der Leuchtintensität innerhalb jedes Detektionsfensters für jeden Koordinatenpunkt bestimmt. Aus der ermittelten Fahrbahnmarkierung kann die Kontur der Fahrbahn bestimmt werden.
  • Die Veröffentlichung WINTER, H., HOLZ, Th.: ”Schnelle Hough-Transformation unter Nutzung eines modifizierten Ansatzes zur Geradenparametrisierung”, Mustererkennung 1994, 16. DAGM Symposium und 18. Workshop der ÖAGM, Wien, 21.–23.09.1994, S. 438–448, beschreibt die Anwendung der schnellen Hough-Transformation zur Erkennung von Geraden in komplexen oder gestörten Bildern bzw. in ausgewählten Bildfenstern.
  • Die Veröffentlichung LENG, S.-S., et al.: ”A new multi-lanes detection using multi-camera for robust vehicle location”, Intelligent Vehicles Symposium, 2005, Proceedings IEEE, S. 700–705, beschreibt ein Verfahren zur Detektion von Fahrbahnmarkierungen mehrspuriger Fahrbahnen unter Verwendung von mehreren Kameras, die am Fahrzeug unterschiedlich angeordnet sind, wobei das Verfahren eine robuste Kalman Filterung mit einem Assoziierungsverfahren kombiniert.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Bestimmung der Ego-Fahrbahn mittels einer Rückfahrkamera eines Kraftfahrzeugs zu schaffen, welches eine höhere mathematische Robustheit aufweist.
  • Die Aufgabe wird durch ein Verfahren zur Fahrspurerkennung mittels einer Rückfahrtkamera eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 20 gelöst. Bevorzugte Ausführungsformen des Verfahrens bzw. der Vorrichtung sind Gegenstand der Unteransprüche.
  • Das erfindungsgemäße Verfahren zur Fahrspurerkennung mittels einer Rückfahrtkamera eines Kraftfahrzeugs weist die folgenden Schritte auf:
    • – Aufnehmen eines rückwärtigen Bildes,
    • – Bestimmung der wesentlichen geraden Linien des aufgenommenen Bildes mittels einer Hough-Transformation,
    • – Transformation der wesentlichen geraden Linien in eine Draufsicht durch Durchführen einer orthographischen Projektion,
    • – Validierung der transformierten Linien durch Entfernen derjenigen transformierten Linien, deren Neigungswinkel von der Vertikalen um einen vorgegebenen Betrag abweicht, wobei die Vertikale durch die Hauptachse der Kamera definiert ist, und
    • – Vergleich der validierten Linien mit Linien eines Modells zur Bestimmung der Fahrspur.
  • Bei dem erfindungsgemäßen Verfahren werden daher Bilder einer Rückfahrtkamera einzeln betrachtet und ausgewertet, wobei die Rückfahrtkamera vorzugsweise eine Weitwinkelkamera ist. Dabei werden in dem Verfahren vorzugsweise Halbbilder nach dem Halbzeilenverfahren betrachtet.
  • Da die Farbinformation der Rückfahrtkamera im wesentlichen keine oder nur geringe Information zur Bestimmung der Fahrbahnmarkierung bzw. der Ego-Fahrspur enthält, wird vorzugsweise eine Umwandlung des Bildes in Grauwerte durchgeführt, beispielsweise indem eine Transformation des RGB-Bildes in ein YUV-Bild in bekannter Weise durchgeführt wird und die Y-Komponente für die weiterer Betrachtung verwendet wird.
  • Vorzugsweise ist die Sichtweise der rückwärtigen Kamera kleiner oder gleich einer vorgegebenen Größe, vorzugsweise kleiner oder gleich 20 m, insbesondere kleiner oder gleich einem Bereich von 10 m. Der Grund dieser Einschränkung liegt im wesentlichen darin begründet, dass bei der Verwendung einer bekannten als Weitwinkelkamera ausgelegten Rückfahrtkamera deren Neigungswinkel so eingestellt ist, dass diese eine Sichtweite von ca. 10 m aufweist. Innerhalb dieses Sichtweitenbereichs erscheinen Fahrbahnmarkierungen selbst in starken Kurven im wesentlichen als gerade Linien, was für den Gebrauch der Hough-Transformation vorteilhaft ist.
  • Weiterhin bietet die Hough-Transformation den Vorteil, dass sie gegenüber teilweise verdeckten oder im Schatten liegenden Markierungen nicht empfindlich ist, was in Fahrsituationen häufig vorkommt.
  • Vorzugsweise wird das rückwärtige Bild einer Entzerrung unterzogen, da die verwendete Kamera, wie bereits erwähnt, vorzugsweise eine Weitwinkelkamera ist, wodurch gerade Linien gekrümmt dargestellt sind.
  • Zur Bestimmung der gerade Linien in dem entzerrten Bild wird das entzerrte Bild einer Kantendetektion unterzogen, wodurch ein Kantenbild erzeugt wird, welches die in dem entzerrten Bild vorhandenen Kanten aufweist. Dieses Kantenbild enthält daher unter anderem sämtliche geraden Linien des entzerrten Bildes. Vorzugsweise wird zur Kantendetektion ein Sobel-Operator mit einer Schwellwertfunktionalität verwendet, mit anderen Worten Kantensprünge unterhalb einer gewissen Intensität treten in dem Kantenbild nicht auf. Bekanntermaßen ist der Sobel-Operator ein Kantendetektions-Filter, der die erste Ableitung der Bildpunkt-Helligkeitswerte berechnet, wobei gleichzeitig orthogonal zur Ableitungsrichtung geglättet wird. Der Algorithmus nutzt eine Faltung mittels einer 3×3-Matrix, die aus dem Originalbild ein Gradientenbild erzeugt. Mit diesen werden hohe Frequenzen im Bild mit Grauwerten dargestellt, wobei die Bereiche der größten Intensität dort sind, wo sich die Helligkeit des Originalbilds am stärksten ändert, und somit die größten Kanten darstellt. Wird eine Schwellwertfunktion angewendet, so werden Helligkeitssprünge unterhalb der vorgegebenen Schwelle gelöscht.
  • Vorzugsweise werden im Hough-Raum mit den Polarkoordinaten d und θ nach der Transformation der aufgefundenen Kanten, d. h., nach der Transformation des Kantenbildes, lokale Maxima gesucht, um die wesentlichen geraden Linien zu bestimmen. Nach dem Auffinden der Maximas werden die durch die Maximas wiedergegebenen Linien in einer Liste der aufgefundenen Linien abgelegt.
  • Nachdem die aufgefundenen wesentlichen geraden Linien durch eine inverse perspektivische Abbildung in eine Draufsicht transformiert worden sind, werden vorzugsweise sämtliche Linien im Validierungsschritt entfernt, die nicht bzw. im wesentlichen nicht vertikal sind. Unter vertikal ist dabei die Hauptachse der Kamera zu verstehen, die im aufgenommenen Bild anschaulich die Vertikale bildet. Die Vertikale entspricht daher der entgegengesetzten Fahrtrichtung des Fahrzeugs. In der Draufsicht bedeutet dies anschaulich, dass nicht vertikale Linien im wesentlichen keine Fahrbahnmarkierungen sein können.
  • Die so aufgefundenen validierten Linien in der Draufsicht müssen nun Fahrbahnmarkierungen zugeordnet werden, welches im Schritt Vergleich der validierten Linien mit Modell-Linien zur Bestimmung der Fahrspur durchgeführt wird. Vorzugsweise ist eine Menge von Modell-Linien vorgegeben, die die Eigenschaften Parallelität zur Vertikalen, einen vorgegebenen Abstand zur Vertikalen, einen vorgegebenen Überlappungsbereich sowie einen Zustand, der jeder Modell-Linie zugeordnet ist, aufweisen. Dabei weist die Eigenschaft Zustand eine vorgegebene Anzahl von Zustandswerten auf.
  • Zur Bestimmung von Fahrspurmarkierungen wird vorzugsweise für jede validierte Linie eine Zuordnungsfunktion bezüglich jeder Modell-Linie berechnet. Dabei ist vorzugsweise ein Zuordnungswert der genannten Zuordnungsfunktion eine Funktion der Fläche zwischen der Modell-Linie und der durch den Überlappungsbereich verlaufenden validierten Linie. Mit anderen Worten, der Zuordnungswert ist eine Funktion des Flächenintegrals zwischen Modell-Linie und validierter Linie innerhalb des Überlappungsbereichs. Ferner werden Flächen links und rechts der Modell-Linie unterschiedliche Vorzeichen zugewiesen. Beispielsweise kann eine Fläche links der Modell-Linie ein negatives Vorzeichen und eine Fläche rechts von der Modell-Linie ein positives Vorzeichen zugewiesen werden.
  • Um den Zuordnungswert für verschiedene Modell-Linien mit einander vergleichen zu können, wird der Zuordnungswert durch die auf die Fläche des Überlappungsbereichs normierte Fläche zwischen Modell-Linie und validierter Linie gebildet. Mit anderen Worten, die Fläche zwischen Modell-Linie und validierter Linie innerhalb des Überlappungsbereichs wird auf den Überlappungsbereich normiert, d. h., dividiert. Vorzugsweise wird nun eine validierte Linie derjenigen Modell-Linie mit dem besten Zuordnungswert zugeordnet. Mit anderen Worten, der Zuordnungswert ist anschaulich ein Maß für den Abstand zwischen validierter Linie und Modell-Linie.
  • Vorzugsweise wird eine validierte Linie als neue Modell-Linie betrachtet, wenn keine Zuordnung einer validierten Linie zu einer Modell-Linie erfolgt ist.
  • Wie bereits oben erwähnt, sind einer Modell-Linie Zustandswerte der Eigenschaft Zustand zugeordnet, wobei hier vorzugsweise vier Zustandswerte definiert sind, die mit Sporadisch, Fix, Primär und Löschen bezeichnet werden. Der Zustandswert Sporadisch bedeutet, dass die Modell-Linie nur sporadisch auftritt, der Zustandswert Fix, dass die Modell-Linie oft auftritt, der Zustandswert Primär, dass die Linie als Ego-Fahrspurmarkierung ausgebildet ist, und die Bedeutung des Zustandwertes Löschen ist, dass die Linie aus der Menge der Modell-Linien zu entfernen ist, da sie beispielsweise über einen längeren Zeitraum keiner validierten Linie zugeordnet werden konnte.
  • Vorzugsweise wird für jedes rückwärtige Bild die Hauptmarkierungen ausgewählt und gespeichert, indem diejenigen Modell-Linien als primär ausgewählt werden, die jeweils links und rechts von der Vertikalen liegen, die daraus resultierende Fahrspurbreite ermittelt und mit einer vorgegebenen Breite verglichen wird.
  • Eine erfindungsgemäße Vorrichtung zur Durchführung des Verfahrens in einem Kraftfahrzeug umfasst
    eine am Kraftfahrzeug angeordneten Rückfahrtkamera,
    ein Mittel zum Speichern und Bearbeiten der aufgenommenen Bilder,
    ein Mittel Detektion von Kanten in dem aufgenommenen Bild,
    ein Mittel zum Hough-Transformieren der detektierten Kanten in einen Hough-Raum,
    ein Mittel zur Bestimmung der wesentlichen Linien im Hough-Raum,
    ein Mittel zum Transformieren der wesentlichen Linien in eine Draufsicht,
    ein Mittel zum Validieren der wesentlichen Linien in der Draufsicht,
    ein Mittel zur Zuordnung Bestimmung eines Maßes zwischen den validierten Linien und vorgegebenen Linien einer Modell-Menge, und
    ein Mittel zur Bestimmung der Fahrbahn aus zugeordneten Modell-Linien.
  • Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
  • 1 eine Übersicht des erfindungsgemäßen Verfahrens,
  • 2 das Rohbild der rückwärtigen Kamera,
  • 3 das rückwärtige Bild nach der Entzerrung als Grauwert-Bild,
  • 4 das kantengefilterte Bild,
  • 5 die Hough-Transformation des kantengefilterten Bildes,
  • 6 die lokalen Maxima der Hough-Transformation,
  • 7 die Entfernung der Perspektive in schematischer Darstellung,
  • 8 die beobachteten Linien,
  • 9 die Validierung der beobachteten Linien,
  • 10 die Liste der Straßenlinien,
  • 11 die validierten Linien mit Modell-Linien und deren Überlappungsbereich,
  • 12 die Fläche zwischen Modell-Linie und validierter Linie im Überlappungsbereich,
  • 13 die sich zugeordneten Modell-Linien, dargestellt innerhalb des entzerrten rückwärtigen Bildes, und
  • 14 die Funktion des morphologischen Operators Flut.
  • 1 zeigt einen Übersicht des Ablaufs des erfindungsgemäßen Verfahrens mit den Komponenten Bilderfassung und Vorverarbeitung A, Hough-Transformation B, Entfernung der Perspektive C, Modellierung und Tracking D sowie Ausgabe und/oder Verwendung der Ergebnisse E. Dabei werden die einzelnen Komponenten A–E anhand der Figuren genauer erläutert werden.
  • Die vorgeschlagene Lösung bezüglich des Problems der Fahrspurerkennung und Nachverfolgens besteht daher aus der Kombination einer optimierten Hough-Transformation des Blocks B mit einer schnellen Entfernung der Perspektive C und einem Modellierungs- und Treckingsverfahrens D. Dabei hat die Hough-Transformation den Vorteil, dass bei den verwendeten Bildern mit hinreichend kurzer Sichtweite von ≤ 20 m, insbesondere kleiner oder gleich 10 m, Fahrbahnmarkierungen selbst in scharfen Kurven im Bild als gerade Linien erscheinen. Ferner hat die Hough-Transformation den Vorteil, dass sie relativ unempfindlich ist zu partiell verdeckten oder beschatteten Fahrbahnmarkierungen, welches bei Fahrsituationen oft vorkommt. Allerdings werden durch die Hough-Transformation alle geraden Linien im Bild ermittelt, und nicht alle dieser geraden Linien stammen von Fahrbahnmarkierungen, sondern sie können auch durch andere Fahrzeuge, straßenseitige Objekte oder Schatten oder Unebenheiten oder ungleichmäßige Färbung der Fahrbahnoberfläche hervorgerufen werden.
  • Das Auffinden von geraden Linien in dem Bild der Kamera ist daher nicht ausreichend zum Detektieren von Fahrspuren bzw. von Fahrspurbegrenzungen. Es wird daher eine Komponente benötigt, welche die beobachteten Linien validiert. Dies wird im erfindungsgemäßen Verfahren durch die Komponente C bewerkstelligt, in welchem perspektivische Effekte entfernt werden und danach die Position, Winkel und relative Abstände der aufgefundenen Linien betrachtet werden. Dieser Verfahrensschritt kann parametrisch durchgeführt werden und ist sehr schnell, da nicht die perspektivischen Effekte der gesamten Ebene, sondern nur des Kantenbildes, d. h., der aufgefunden Linien, in eine Draufsicht transformiert wird.
  • Für die Komponente D, Modellierung und Trecking, wird für Nachverfolgungszwecke und Robustheit ein Modell der Straße benötigt. Einerseits muss die Bewegung der Modell-Linien nachverfolgt werden, damit Rauschen heraus gefiltert und Änderungen im Fahrspurmarkierungsverlauf detektiert werden können. Ferner könne unterbrochene Markierungen von Bild zu Bild verschwinden und wieder auftauchen, so dass das Modell das Vorhandensein von Markierungen speichern muss und deren Bewegung nachverfolgen kann, was auch als Tracking bezeichnet wird. Zu guter Letzt muss das Modell aus allen Modell-Linien diejenige finden, die denjenigen der Ego-Fahrspur entsprechen. Das Modell stellt dann Information über die Fahrspurbreite, die laterale Position des Kraftfahrzeugs auf der Fahrspur und dessen Bewegungen und Fahrspurwechsel bereit. Ein Kalmann-Filter wird nicht für die Tracking-Aufgabe verwendet, da dieser gegenüber Rauschen empfindlich ist und eine lange Initialisierungsperiode benötigt. Anstelle dessen wurde ein empirisches Modellierungs- und Tracking-System D entwickelt. Die Komponente E betrifft die Ausgabe der Ergebnisse, d. h. der detektierten Ego-Fahrspur, an den Fahrer und/oder die Verwendung der Ergebnisse in dem entsprechenden Fahrerassistenzsystem.
  • 2 zeigt ein Bild einer Rückfahrtkamera. Wie aus 2 ersichtlich, bewirkt die Rückfahrtkamera, die üblicherweise eine Weitwinkelkamera ist, starke Störungen bzw. Verzerrungen in den Bildern, so dass diese Störungen zuerst beseitigt werden müssen, bevor der Bildinhalt bewertet werden kann. Im Fall einer Halbbilder erzeugenden Videokamera werden in der folgenden Betrachtung nur Halbbilder betrachtet, da bei der Betrachtung von Gesamtbildern Interlacing-Effekte von dem Glättungs- oder Entzerrungsvorgang der Vorverarbeitung in Komponente A verstärkt werden würden. Da ferner zur Auffindung von Fahrspurmarkierungen keine Farbinformationen benötigt werden, wird als erster Verfahrensschritt eine Konvertierung des Fahrtbildes der Rückfahrtkamera in Grauwerte durchgeführt. Dies kann beispielsweise bei einer RGB-Kamera durch Konversion der RGB-Werte in eine YUV-Beschreibung und Weiterbearbeiten der Y-Komponente erzielt werden.
  • 3 zeigt ein rückwärtiges Bild der Rückfahrtkamera nach der Entzerrung der tangentialen und radialen Verzerrungen. Wie bereits erwähnt, ist das verzerrte Bild der 2 für die weitere Bearbeitung nicht geeignet. Durch den Entzerrungsvorgang der Vorverarbeitung des Bildmaterials in Komponente A werden die radialen und tangentialen Verzerrungen der Weitwinkelkamera heraus gerechnet, wobei die Rückfahrtkamera in erster Näherung durch ein Loch-Kamera-Modell beschrieben wird. Dabei benötigt der Entzerrungsvorgang eine präzise Kalibrierung der Rückfahrtkamera, die jedoch nur einmal durchgeführt werden muss. Ferner kann der Entzerrungsvorgang als eine Look-up-Table implementiert sein, um die Berechnung zu beschleunigen.
  • Das in 3 dargestellte entzerrte Bild wird anschließend einer Kantenfilterung mit Schwellwertfunktion unterzogen, und es ergibt sich das in 4 dargestellte Kantenbild. Dieses Kantenbild enthält die Kanteninformation der 3, d. h., die im Graubild der 3 auftretenden Intensitätssprünge, wobei in der vorliegenden Darstellung hohe Grauwerte einem großen Intensitätssprung entsprechen. Wie aus 4 ersichtlich, werden die auftretenden Kanten nicht ausschließlich von den Fahrbahnmarkierungen gebildet, sondern auch von Fahrzeugumrissen etc. Vorzugsweise wird als Kantenfilter ein Sobel-Filter verwendet, der in der Bildverarbeitung häufig Anwendung findet, und dort mit Hilfe der Faltung als Algorithmus eingesetzt wird. Dieser Sobel-Operator berechnet letztlich die erste Ableitung der Bildpunkt-Helligkeitswerte, wobei gleichzeitig die Orthogonalableitungsrichtung geglättet wird.
  • 5 zeigt die Hough-Transformation des Kantenbildes der 4. Der Hough-Raum ist in Polarkoordinaten anstelle von kartesischen Koordinaten definiert, so dass der Hough-Raum für jede Richtung und Abstand zum Ausgangspunkt homogen ist. Daher wird eine Gerade dargestellt durch den Vektor (θ, d), d. h., deren Winkel und Abstand zum Ursprung dargestellt, mit anderen Worten durch die Gleichung x·cosθ + y·sinθ = d. Jeder Punkt (x, y) des Kantenbildes der 4 wird daher auf allen möglichen Geraden (θ, d) abgebildet, denen er angehören kann.
  • Eine wichtige Optimierung besteht darin, die Sobel-Kanteninformation als ein Zweikomponenten-Grauvektor sowohl in X- als auch in Y-Richtung auszuwerten. Dadurch trägt ein Punkt nur zu Linien bei, die nahe an dem senkrechten Winkel dieses Vektors liegen, wodurch eine Vielzahl von unwichtigen Möglichkeiten ausgeschlossen werden. Die Richtung des Grau-Gradienten an den Kantenpunkten zeigt ferner an, ob der Helligkeitsübergang von hell nach dunkel oder von dunkel nach hell erfolgt ist. Dies ist später zur Bestimmung der Art der Linien wichtig.
  • Anschließend werden, wie in 6 dargestellt, lokale Maxima im Hough-Raum gesucht, welche die unterscheidbarsten oder wesentlichen Linien in dem Bild darstellen. Ein Kriterium zur Auswahl eines Elements des Hough-Raums als lokales Maximum ist die Überprüfung des Elements relativ zu seiner Umgebung. Durch die Verwendung eines geeigneten Schwellwerts werden unwesentliche Linien entfernt. Die in 6 dargestellten lokalen Maxima stellen daher im Bildraum die beobachteten wesentlichen Linien dar. Der Anteil an Rauschen innerhalb dieser beobachteten Linien ist jedoch noch sehr hoch, so dass eine weitere Filterung notwendig ist.
  • 7 zeigt in schematischer Darstellung die Transformation der beobachteten Linien der 6 im Hough-Raum in eine Draufsicht zur Entfernung perspektivischer Effekte. Das von der schematisch dargestellten Kamera 1 aufgenommene Bild 2, welches in eine perspektivischen Koordinatensystem mit den Koordinaten (xp, yp) dargestellt ist, werden in eine Draufsicht 3 mit den Koordinaten xw, yw und zw transformiert. In der Draufsicht 3 wird dann entschieden, ob die transformierten beobachteten Linien einer Fahrspurmarkierung entsprechen können oder nicht, wobei das Auswahlkriterium die Position und der Winkel der beobachteten Linie ist.
  • Um diese Transformation in die Draufsicht 3 durchführen zu können, müssen die inneren und äußeren Kameraparameter der Rückfahrtkamera bekannt sein. Dabei sind die inneren Parameter gegeben durch die Position des Zentralpunkts und der fokalen Länge, während die äußeren Parameter gegeben sind durch die Position der Kamera in dem Koordinatensystem des Fahrzeugs und deren Orientierungswinkel. Eine genaue Kalibrierung der Kamera, die einmal vorgenommen werden muss, bestimmt die Genauigkeit dieser Verarbeitungsstufe.
  • Das Ergebnis dieser Transformation der in 6 ermittelten wesentlichen beobachteten Linien in die Draufsicht ist in 8 zu sehen. Dargestellt ist die Fahrbahnebene xw–zw, wobei zw, wie aus 7 ersichtlich ist, letztlich die negative Fahrtrichtung des Kraftfahrzeugs darstellt, mit anderen Worten, die Richtung der Hauptachse der Kamera 1 in der Draufsicht.
  • 8 zeigt nun die wesentlichen beobachteten Linien der 6 in Draufsicht, d. h., in der Fahrbahnebene mit dem Koordinatensystem xw–zw. Nachdem der perspektivische Effekt entfernt worden ist, kann eine Validierung der beobachteten Linien vorgenommen werden, indem angenommen wird, dass nur solche Linie eine Fahrbahnmarkierung darstellen können, die im wesentlichen parallel zur negativen Fahrtrichtung, d. h. parallel zur Hauptachse der Kamera 1 liegen, was im vorliegenden Fall der zw-Richtung entspricht. Diese Richtung in der Draufsicht wird auch als Vertikale bezeichnet. Im wesentlichen parallel zur Vertikalen bedeutet nun, dass der Winkel der beobachteten Linie innerhalb eines vorgegebenen Bereichs um die zw-Koordinatenachse liegt. Alle diejenigen Linien, die diese Bedingung nicht erfüllen, werden gelöscht. Ferner ist in 8 die Hauptachse der Kamera, d. h. die Vertikale, mit Bezugszeichen 4 bezeichnet.
  • Als Ergebnis der Validierung zeigt 9 diejenigen Linien, die im wesentlichen parallel zur zw-Achse liegen. Diese sind durchgezogen dargestellt und können Fahrbahnmarkierungen darstellen, während die gestrichelt dargestellten Linien aufgrund ihrer Winkellage keine Fahrbahnmarkierungen sein können und daher entfernt werden. Zu erkennen ist links von der Vertikalen 4 eine Linienbündel 5 und rechts von der Hauptachse ein Linienbündel 6.
  • 10 zeigt das Ergebnis der Validierung, wobei links und rechts von der Vertikalen 4 jeweils ein Bündel validierter Linien 5 und 6 zu sehen ist. Eine weitere Optimierung des Validierungsvorgangs besteht darin, die Abweichung der Linien von der Vertikalen 4 als Funktion des Abstands von der Vertikalen 4 festzulegen, da Linien, die weiter entfernt von der die Kameraachse repräsentierenden Vertikalen 2 sind, einen größeren Fehlerbereich aufweisen. Mit anderen Worten, je geringer die beobachtete wesentliche Linie von der Vertikalen 4 beabstandet ist, um so geringer sind die durch die Entzerrung auftretenden Ungenauigkeiten.
  • Anhand von 11 wird nun die Komponente D, Modellierung und Tracking, beschrieben. Die in 10 dargestellten validierten Linien müssen nun in ein Modell eingebracht werden, um die gewünschte Fahrspurinformation zu erhalten. Dazu wird ein Schema einer im wesentlichen darauf basierenden Datenfusion verwendet, die Beobachtungen gewissen Modellkomponenten zuordnet, nach der Zuordnung das Ergebnis des Modells schätzt, das Modell aktualisiert sowie verwaltet und Voraussagen für den nächsten Datenfusionsschritt trifft.
  • Um dieses Schema anzuwenden wird ein Modell definiert als eine Menge von Modellelementen, die im vorliegenden Fall durch Modell-Linien realisiert sind. Dabei hat eine Modell-Linie eine Anzahl vorgegebener Eigenschaften, im vorliegenden Fall vier Eigenschaften. Eine Modell-Linie ist eine vertikale Linie, d. h., sie ist parallel zur Fahrtrichtung, eine Modell-Linie hat eine gegebene laterale Position, und eine Modell-Linie weist einem Überlappungsbereich auf, der dazu dient Modell-Linien mit validierten Linien zu assoziieren, d. h., eine Zuordnung zu schaffen. Schließlich hat jede Modell-Linie eine Eigenschaft Zustand, wobei ein Zustand eine vorgegebene Anzahl von Zustandwerten annehmen kann. Im vorliegenden Fall hat eine Modell-Linie vier Zustandswerte, nämlich
    Sporadisch – die Modell-Linie wird nur sporadisch gesehen,
    Fix – die entsprechende Modell-Linie taucht oft auf,
    Primär – die Modell-Linie ist als Ego-Fahrspurmarkierung ausgewählt, und
    Löschen – die Modell-Linie soll gelöscht werden.
  • Die Definition des Überlappungsbereichs kann in verschiedenen Arten bewerkstelligt werden und bestimmt das ganze Modell. Anstatt eines festen Überlappungsbereichs für jede Modell-Linie kann ein individueller, adaptiver Überlappungsbereich für jede Modell-Linie für die Frage der Zugehörigkeit verwendet werden, was angesichts der verwendeten Weitwinkelkamera vorteilhafter ist. Daher wird der Überlappungsbereich als eine Funktion der lateralen Position der Modell-Linie von der Kameraachse gesetzt. Je weiter weg in lateraler Richtung die Modell-Linie von der Fahrzeugachse, d. h., der Kamera-Hauptachse, ist, um so weiter entfernt wird der Überlappungsbereich in longitudinaler Richtung von dem Kraftfahrzeug gesetzt. Gleiches gilt für die Größe des Überlappungsbereichs.
  • Die Zugehörigkeitsfunktion misst den Abstand zwischen einer validierten Linie und einer Modell-Linie, wobei diese Funktion eine Funktion des vorgegebenen Überlappungsbereichs der Modell-Linie ist. Es wird eine Näherung der zwischen der Modell-Linie und der validierten Linie angeordneten Fläche innerhalb des Überlappungsbereichs berechnet, wobei die Fläche mit einem Vorzeichen als Funktion der Anordnung links oder rechts von der Modell-Linie versehen ist. In der bevorzugten Ausführungsform ist das Vorzeichen positiv für Flächen links und negativ für Flächen rechts der Modell-Linie. Mit anderen Worten, es wird das Flächenintegral zwischen den beiden Linien innerhalb des Überlappungsbereichs bestimmt. Aufgrund der Adaptivität des Überlappungsbereichs wird die erhaltene Fläche durch die Größe des jeweiligen Überlappungsbereichs dividiert, d. h., normiert, um einen Zuordnungswert zu erhalten, der vergleichbar mit Zuordnungswerten der anderen Modell-Linien mit entsprechend anderen Überlappungsbereichen ist. Letztendlich wird auf diese Weise ein Maß für den Abstand zwischen der Modell-Linie und der validierten Linie definiert.
  • Dies ist in 11 dargestellt mit den Modell-Linien 7 und 8, jeweils links und rechts von der Vertikalen 2. Zu erkennen ist, dass die Modell-Linien 7, 8 nahe an den Bündeln 5 und 6 validierter Linien liegen. Ferner ist für die Modell-Linien 7, 8 der jeweilige Überlappungsbereich 9 und 10 graphisch dargestellt.
  • 12 zeigt beispielhaft einen Überlappungsbereich in vergrößerter Darstellung. Eine Modell-Linie 12 sowie eine validierte Linie 13 durchlaufen den Überlappungsbereich 11 der Modell-Linie 12. Die Fläche 14 ist die zwischen der Modell-Linie 12 und der validierten Linie 13 durch den Überlappungsbereich 14 begrenzte Fläche.
  • Anschließend wird der Vorgang des Modellierens und Trackings die folgenden Schritte für jedes Bild ausführen:
  • – Datenzuordnung:
  • Für jede validierte, beobachtete Linie wird ein Zuordnungswert bezüglich jeder Modell-Linie berechnet. Die jeweilige validierte Linie wird dann derjenigen Modell-Linie mit den besten Zuordnungswerten zugeordnet. Falls keine Modell-Linie einen gültigen Zuordnungswert ergab, wird diese validierte Linie als eine neue Modell-Linie durch ein Modell-Management-Modul der Menge der Modell-Linien für das nächste Bild hinzugefügt.
  • – Modell-Linien Aktualisierung 1:
  • Nachdem alle validierten Linien zugeordnet sind, wird jede Modell-Linie gemäß ihren Beobachtungen aktualisiert. Dies ist notwendig, da eine Modell-Linie beispielsweise mehreren validierten Linien zugeordnet werden kann. Das Aktualisieren kann in einfachster Form dadurch bewerkstelligt werden, dass ein Mittelwert für alle Zuordnungswerte in diesem Schritt berechnet wird. Weiterhin muss der Überlappungsbereich neu bestimmt werden.
  • – Modell-Linien Aktualisierung 2:
  • Nicht nur die Position der Modell-Linie muss an die Messung angepasst werden, sondern auch deren Zustand. Um dies zu bewerkstelligen, wurde ein finiter Automat mit den in vorgegangenen erläuterten Zuständen Sporadisch, Fix, Primär und Löschen entwickelt. Die Übergänge hängen von zwei Werten ab und zwar einerseits von der Frequenz des Auftretens der Modell-Linie den letzten Bildern und andererseits in wie vielen Bildern in der Vergangenheit die Modell-Linie aufgetreten ist. Daraus werden empirisch Gewichte errechnet und in das Modell eingefügt.
  • – Modell-Management:
  • Falls eine validierte Linie nicht irgendeiner der existierenden Modell-Linien zugeordnet werden kann, muss eine neue entsprechende Modell-Linie mit entsprechendem Überlappungsbereich und Statuswert Sporadisch hinzugefügt werden. Falls eine Modell-Linie den Status löschen hat, wird sie aus der Menge der Modell-Linien gelöscht.
  • – Bestimmen von primären Linien und Output 1:
  • Bezüglich jedes Bilds müssen die Hauptmarkierungen ausgewählt und die entsprechende Fahrspurbreite und die laterale Kraftfahrposition bestimmt werden. Für diese Aufgabe gibt es verschiedene Kriterien:
    • i) zuerst werden die Markierungen links und rechts der Vertikalen in Betracht gezogen.
    • ii) Anschließend wird die Art der Linie geprüft. Übergänge von dunkel nach hell und wieder zurück nach dunkel werden bevorzugt, wodurch Schattierungen oder Kraftfahrzeugschatten heraus gefiltert werden. Linien mir derartigen Übergängen werden als BWB-Linien bezeichnet.
    • ii) Ein weiteres Kriterium wird durch die Dicke der Modell-Linien gegeben, die nur für BWB-Linien berechnet werden kann. Die Linien, die zu dick sind oder zu dünn sind, werden ebenfalls ausgefiltert.
    • iii) Das letzte Kriterium vermeidet falsche Markierungen, indem die sich ergebende Fahrspurbreite berechnet wird. Zwei Zonen sind definiert, eine mit einer bevorzugten Breite und eine mit einer erlaubten Breite. Liegt die berechnete Breite außerhalb eines vernünftigen Maßes, wo werden die Markierungen nicht in Betracht gezogen.
  • – Bestimmen von Primären Linien und Output 2:
    • – Zusätzlich werden noch die Art der Fahrspurmarkierungen geprüft. Der Algorithmus besteht darin, einen Bildpunkt der Markierung zu berechnen und es wird die Markierung mit einem morphologischen Operator morphologisch geflutet, solange die Farbe ”hell” beibehalten wird. Schließlich wird die geflutete Markierung von einer kontinuierlichen durch die Höhe unterschieden, die durch das Fluten des Bildes erzielt wird.
  • Diese Schritte werden bezüglich jedes aufgenommenen Bildes ausgeführt. Da die oben erwähnten Auswahlkriterien in modularen Schritten aufgebaut sind, können einige Schritte in einem Bild ausgelassen werden, um eine gute Performance beizubehalten.
  • Das Ergebnis ist in Bild 13 anschaulich dargestellt. Die Vertikale 4 sowie die Modell-Linien 7 und 8 entsprechen in dem davor angeordneten entzerrten Bild der negativen Fahrtrichtung sowie den linken und rechten Markierungen der Ego-Fahrspur.
  • 14 schließlich zeigt das Fluten der Markierungen mittels eines morphologischen Operators, wobei der Algorithmus einen zu einer Markierung gehörenden Punkt berechnet und dessen Umgebung morphologisch flutet, solange der Grauwert hell beigehalten wird.
  • Bezugszeichenliste
  • A
    Bilderfassung und Vorverarbeitung
    B
    Hough-Transformation
    C
    Perspektivenentfemung und Validierung
    D
    Modellierung und Tracking
    E
    Tracing der Resultate
    1
    Kamera
    2
    perspektivisches Bild
    3
    Draufsicht
    4
    Vertikale, d. h. Kameraachse
    5
    Bündel validierter Linien
    6
    Bündel validierter Linien
    7
    Modell-Linie
    8
    Modell-Linie
    9
    Überlappungsbereich
    10
    Überlappungsbereich
    11
    Überlappungsbereich
    12
    Modell-Linie
    13
    validierte Linie
    14
    eingeschlossene Fläche

Claims (20)

  1. Verfahren zur Fahrspurerkennung mittels einer Rückfahrtkamera eines Kraftfahrzeugs mit den folgenden Schritten: – Aufnehmen eines rückwärtigen Bildes, – Bestimmung der wesentlichen geraden Linien des aufgenommenen Bildes mittels einer Hough-Transformation, – Transformation der wesentlichen geraden Linien in eine Draufsicht durch Durchführen einer orthographischen Projektion, – Validierung der transformierten Linien durch Entfernen derjenigen transformierten Linien, deren Neigungswinkel von der Vertikalen um einen vorgegebenen Betrag abweicht, wobei die Vertikale durch die Hauptachse der Kamera definiert ist. und – Vergleich der validierten Linien mit Linien eines Modells zur Bestimmung der Fahrspur.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das rückwärtige Bild ein Weitwinkel-Bild ist.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Sichtweite des rückwärtigen Bildes kleiner oder gleich einer vorgegebenen Größe ist, insbesondere kleiner oder gleich 10 m ist.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Konversion des rückwärtigen Bildes in ein Grauwert-Bild vorgenommen wird.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das rückwärtige Bild einer Entzerrung unterzogen wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Bestimmung der geraden Linien das entzerrte Bild einer Kantendetektion unterzogen wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Kantendetektion ein Sobel-Filter mit Schwellwertfunktionalität verwendet wird.
  8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass nach der Transformation der aufgefundenen Kanten in den Hough-Raum lokale Maximas im Hough-Raum zur Bestimmung wesentlicher gerader Linien bestimmt werden.
  9. Verfahren nach einem der vorangegangenen Ansprüchs, dadurch gekennzeichnet, dass zur Validierung der in die Draufsicht transformierten Linien alle im wesentlichen nichtvertikalen Linien entfernt werden, wobei vertikal die Richtung der Kamera-Hauptachse in der Draufsicht angibt.
  10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Modell-Linie die Eigenschaften Parallelität zur Vertikalen, vorgegebener Abstand zur Vertikalen, Überlappungsbereich und einen Zustand aufweist.
  11. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Eigenschaft Zustand eine vorgegeben Anzahl von Werten aufweist.
  12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass für jede validierte Linie eine Zuordnungsfunktion bezüglich jeder Modell-Linie berechnet wird, wobei ein Zuordnungswert der Zuordnungsfunktion eine Funktion der Fläche zwischen der Modell-Linie und der durch den Überlappungsbereich verlaufenden validierten Linie ist, und Flächen links und rechts der Modell-Linie unterschiedliche Vorzeichen zugewiesen werden.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Zuordnungswert durch die auf die Fläche des Überlappungsbereichs normierte berechnete Fläche zwischen Modell-Linie und validierter Linie gebildet wird.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass eine validierte Linie derjenigen Modell-Linie mit dem besten Zuordnungswert zugeordnet wird.
  15. Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass eine validierte Linie als neue Modell-Linie betrachtet wird, wenn keine Zuordnung der validierten Linie zu einer Modell-Linie erfolgt ist.
  16. Verfahren nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass eine Modell-Linie die Zustandswerte sporadisch, fix, primär und löschen aufweist, mit den Bedeutungen: Sporadisch – die Modell-Linie tritt sporadisch auf, Fix – die Modell-Linie tritt oft auf, Primär – die Linie ist als Ego-Fahrspurmarkierung ausgewählt, und Löschen – die Linie ist aus der Menge der Modell-Linien zu entfernen.
  17. Verfahren nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass eine neue Modell-Linie zur Menge der Modell-Linien hinzugefügt wird, falls eine validierte Linie keiner Modell-Linie zugeordnet werden kann.
  18. Verfahren nach einem der Ansprüche 16 bis 17, dadurch gekennzeichnet, dass für jedes rückwärtige Bild die Hauptmarkierungen ausgewählt und gespeichert werden, indem diejenigen Modell-Linien als Primär ausgewählt werden, die jeweils links und rechts von der Vertikalen liegen, die daraus resultierende Fahrspurbreite ermittelt und mit einer vorgegebenen Breite verglichen wird.
  19. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als rückwärtige Bilder Halbbilder der Kamera verwendet werden.
  20. Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche in einem Kraftfahrzeug mit einer am Kraftfahrzeug angeordneten Rückfahrtkamera, einem Mittel zum Speichern und Bearbeiten der aufgenommenen Bilder, einem Mittel Detektion von Kanten in dem aufgenommenen Bild, einem Mittel zum Hough-Transformieren der detektierten Kanten in einen Hough-Raum, einem Mittel zur Bestimmung der wesentlichen Linien im Hough-Raum, einem Mittel zum Transformieren der wesentlichen Linien in eine Draufsicht, einem Mittel zum Validieren der wesentlichen Linien in der Draufsicht, einem Mittel zur Zuordnung Bestimmung eines Maßes zwischen den validierten Linien und vorgegebenen Linien einer Modell-Menge, und einem Mittel zur Bestimmung der Fahrbahn aus zugeordneten Modell-Linien.
DE102008050456.4A 2008-10-08 2008-10-08 Verfahren und Vorrichtung zur Fahrspurerkennung Active DE102008050456B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008050456.4A DE102008050456B4 (de) 2008-10-08 2008-10-08 Verfahren und Vorrichtung zur Fahrspurerkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008050456.4A DE102008050456B4 (de) 2008-10-08 2008-10-08 Verfahren und Vorrichtung zur Fahrspurerkennung

Publications (2)

Publication Number Publication Date
DE102008050456A1 DE102008050456A1 (de) 2010-04-15
DE102008050456B4 true DE102008050456B4 (de) 2018-03-15

Family

ID=41821125

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008050456.4A Active DE102008050456B4 (de) 2008-10-08 2008-10-08 Verfahren und Vorrichtung zur Fahrspurerkennung

Country Status (1)

Country Link
DE (1) DE102008050456B4 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718916A (zh) * 2016-01-27 2016-06-29 大连楼兰科技股份有限公司 一种基于霍夫变换的车道线检测方法
US10210403B2 (en) 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for pixel based lane prediction
CN108038826B (zh) * 2017-12-28 2021-12-07 上海小零网络科技有限公司 透视变形的搁架图像的校正方法和装置
CN113763419B (zh) * 2021-04-29 2023-06-20 腾讯科技(深圳)有限公司 一种目标跟踪方法、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221643A2 (de) 2000-12-27 2002-07-10 Nissan Motor Company, Limited Vorrichtung und Verfahren zur Erkennung von Fahrbahnmarkierungen
DE102004003850A1 (de) 2004-01-26 2005-08-18 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Markierungen auf einer Fahrbahn

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006036515A1 (de) 2006-08-04 2008-02-14 Audi Ag Kraftfahrzeug mit einem Fahrspurerfassungssystem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221643A2 (de) 2000-12-27 2002-07-10 Nissan Motor Company, Limited Vorrichtung und Verfahren zur Erkennung von Fahrbahnmarkierungen
DE102004003850A1 (de) 2004-01-26 2005-08-18 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Markierungen auf einer Fahrbahn

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LENG,S.-S.,et.al.: A new multi-lanes detection using multi-camera for robust vehicle location. Intelligent Vehicles Symposium,2005. Proceedings,IEEE, S.700-705
WINTER,H.,HOLZ,Th.: Schnelle Hough-Transormation unter Nutzung eines modifizierten Ansatzes zur Geradenparametrisierung. Mustererkennung 1994,16.DAGM Symposium und 18.Workshop der ÖAGM,Wien,21.-23.09.1994,S.438-448

Also Published As

Publication number Publication date
DE102008050456A1 (de) 2010-04-15

Similar Documents

Publication Publication Date Title
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE102011119767A1 (de) Erscheinungsbild-gestützte vereinigung von kamera- undentfernungssensordaten für mehrere objekte
DE102011055458A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mittels verlässlicher lokaler Modellkalibrierung
DE102013220005A1 (de) Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
DE10324895A1 (de) Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE10138641A1 (de) Verfahren zur Bestimmung einer Modellfahrbahn
DE102015115012A1 (de) Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102006036402A1 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102018129993A1 (de) Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür
EP1642770A2 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP1306690A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
EP1419402A1 (de) Verfahren zur erkennung und verfolgung von objekten
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
OR8 Request for search as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: TEGEL & MEYER, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000