DE102013103952B4

DE102013103952B4 - Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem

Info

Publication number: DE102013103952B4
Application number: DE102013103952.9A
Authority: DE
Inventors: Wende Zhang; Bakhtiar Litkouhi; Kent S. Lybecker
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-05-02
Filing date: 2013-04-18
Publication date: 2020-07-09
Anticipated expiration: 2033-04-19
Also published as: CN103383728A; CN103383728B; DE102013103952A1

Abstract

Verfahren zum Erkennen einer Spur in einer Fahrbahn, in welcher ein Fahrzeug fährt, wobei das Fahrzeug eine vorwärts gerichtete Kamera, die an einer Vorderseite des Fahrzeugs befestigt ist, eine linksseitig ausgerichtete Kamera, die an einer linken Seite des Fahrzeugs befestigt ist, eine rechtsseitig ausgerichtete Kamera, die an einer rechten Seite des Fahrzeugs befestigt ist, und eine rückwärts gerichtete Kamera, die an einer Rückseite des Fahrzeugs befestigt ist, aufweist, wobei die Fahrbahn eine linksseitige Fahrbahn-Begrenzungslinie auf einer linken Seite der Spur und eine rechtsseitige Fahrbahn-Begrenzungslinie auf einer rechten Seite der Spur aufweist, wobei das Verfahren aufweist:- Bereitstellen von Bilddaten von der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera als aufeinanderfolgende Einzelbilder der Vorderseite des Fahrzeugs, der linken Seite des Fahrzeugs, der rechten Seite des Fahrzeugs und der Rückseite des Fahrzeugs;- Erstellen eines Draufsicht-Bildes des Fahrzeugs für jedes der aufeinanderfolgenden Einzelbilder, das sämtliche der Bilddaten der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera kombiniert, wobei das Fahrzeug in der Mitte des Draufsicht-Bildes dargestellt wird;- Ermitteln einer Darstellung der linksseitigen Begrenzungslinie und der rechtsseitigen Begrenzungslinie in dem Draufsicht-Bild;- Kalibrieren einer Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera unter Verwendung der Darstellung der linksseitigen Fahrbahn-Begrenzungslinie und der rechtsseitigen Fahrbahn-Begrenzungslinie in dem Draufsicht-Bild;- Durchführen eines Kameradiagnose-Verfahrens, um eine zeitliche Bedingungsanalyse und eine räumliche Bedingungsanalyse bereitzustellen, wobei die zeitliche Bedingungsanalyse ermittelt, ob aufeinanderfolgende Draufsicht-Einzelbilder kollinear sind, in dem gleichen Winkel sind und den gleichen Versatz innerhalb eines zeitlichen Bedingungs-Schwellenwerts besitzen und wobei die räumliche Bedingungsanalyse ermittelt, dass die Darstellungen der Spurlinien in dem Draufsicht-Bild, die sich über Grenzen zwischen einem, von einer Kamera erzeugten Bild und einem weiteren Bild, das durch eine andere Kamera erzeugt wurde, erstrecken, geradlinig sind und den gleichen Winkel innerhalb eines räumlichen Bedingungs-Schwellenwerts besitzen;- Rekalibrieren der Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert nicht eingehalten werden; und- Verwenden eines Modellanpassungs-Verfahrens, um Begrenzungslinien in dem Draufsicht-Bild zu identifizieren, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert eingehalten werden.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Prioritätstag der US Provisional Patent Application No. 61/641,479 mit dem Titel „Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem“, angemeldet am 02. Mai 2012.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die Erfindung bezieht sich allgemein auf ein System und ein Verfahren zum Bereitstellen einer Erkennung einer Spur einer Fahrbahn für ein Fahrzeug, das in der Spur fährt, und insbesondere auf ein System und ein Verfahren zum Bereitstellen einer Erkennung einer Spur einer Fahrbahn in einem Fahrzeug, das innerhalb der Spur fährt, wobei das Spurerkennungssystem einen Algorithmus verwendet, der ein Draufsicht-Bild verwendet, das von vier Kameras, die Bilder um das ganze Fahrzeug herum bereitstellen, erzeugt wurde.
Diskussion des Standes der Technik
Moderne Fahrzeuge werden autonomer, d.h., die Fahrzeuge sind in der Lage, eine Fahrkontrolle mit weniger Intervention des Fahrers bereitzustellen. Geschwindigkeitsregelsysteme (Cruise control systems) existieren in Fahrzeugen seit einer Mehrzahl von Jahren, wobei der Fahrzeugführer eine bestimmte Geschwindigkeit des Fahrzeugs einstellen kann und das Fahrzeug diese Geschwindigkeit aufrecht erhält, ohne dass der Fahrer das Fahrpedal betätigt. Abstandsregelsysteme (adaptive cruise control systems) wurden kürzlich im Stand der Technik entwickelt, wobei das System nicht nur die eingestellte Geschwindigkeit aufrechterhält, sondern das Fahrzeug auch automatisch verlangsamt für den Fall, dass ein langsamer fahrendes Fahrzeug vor dem betreffenden Fahrzeug unter Verwendung verschiedener Sensoren, wie beispielsweise Radar und Kameras, ermittelt wird. Moderne Fahrzeugkontrollsysteme können zudem autonomes Parken beinhalten, wobei das Fahrzeug automatisch die Lenkkontrolle zum Parken des Fahrzeugs bereitstellt und wobei das Kontrollsystem interveniert, falls der Fahrer harsche Lenkänderungen ausführt, die die Fahrzeugstabilität und die Spurzentrierungsfähigkeiten beeinträchtigen könnten, wobei das Fahrzeugsystem versucht, das Fahrzeug in der Nähe der Mitte der Fahrspur zu halten.
Mit der Verbesserung der Fahrzeugsysteme werden Fahrzeuge autonomer werden, wobei das Ziel ein vollständig autonom gefahrenes Fahrzeug ist. Künftige Fahrzeuge werden voraussichtlich autonome Systeme zum Spurwechsel, Überholen, Abwenden vom Verkehr, dem Verkehr Zuwenden etc. einsetzen. Nachdem diese Systeme in der Fahrzeugtechnologie immer mehr verbreitet werden, wird es ebenfalls erforderlich sein, zu ermitteln, welche Rolle der Fahrer in Kombination mit diesen Systemen zum Kontrollieren der Fahrzeuggeschwindigkeit, Lenkung und Aufheben der autonomen Systeme spielen wird.
Gegenwärtige Fahrzeug-Spurerkennungssysteme verwenden typischerweise Sicht-Systeme, um die Fahrzeug-Eigenfahrspur zu erkennen und das Fahrzeug in der Spurmitte zu fahren. Viele dieser bekannten Spurerkennungssysteme ermitteln Spurmarkierungen auf der Fahrbahn für zahlreiche Anwendungen, wie beispielsweise eine Spurverlassens-Warnung (LDW, lane departure warning), ein Spurhalten (LK, lane keeping), eine Spurzentrierung (LC, lane centering), etc. und haben typischerweise eine einzige Kamera verwendet, entweder auf der Vorderseite oder der Rückseite des Fahrzeugs, um die Bilder bereitzustellen, die verwendet werden, um die Spurmarkierungen zu ermitteln. Jedoch gibt es zahlreiche Situationen, in welchen eine einzige Kamera nicht in der Lage sein kann, die Spurmarkierungen zu ermitteln, einschließlich eines niedrigen Sonnenwinkels, nichtsichtbarer Spurmarkierungen als Ergebnis von Fahrzeugen in unmittelbarer Nähe, wie beispielsweise in Stausituationen, einem Kameraausfall, etc. Beispielsweise kann, wenn ein vorausfahrendes Fahrzeug aufgrund eines Verkehrsstaus oder anderer Verkehrssituationen zu nahe an dem eigenen Fahrzeug ist, die Kamera die Spurmarkierungen nicht ermitteln, da die Spurmarkierungen durch das vorausfahrende Fahrzeug verdeckt sind, und daher wird die Spurmarkierungs-Ermittlung der Spur ausfallen.
Es wurde in dem Gebiet vorgeschlagen, ein Rundumsicht-Kamerasystem in einem Fahrzeug bereitzustellen, das eine Frontkamera, eine Rückkamera und linke und rechte Seitenkameras beinhaltet und das eine Draufsicht auf das Fahrzeug und umliegende Bereiche unter Verwendung der Bilder von den Kameras erzeugt, wobei die Bilder sich an den Ecken des Fahrzeugs überlappen würden. Die Draufsicht kann angezeigt werden, damit der Fahrer des Fahrzeugs sehen kann, was das Fahrzeug umgibt, für eine Rückwärtsfahrt, zum Parken, etc.
Die Druckschrift DE 10 2011 102 744 A1 beschreibt ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, wobei Kamerabilddaten an einer vom Kraftfahrzeug separaten Recheneinrichtung verarbeitet werden, und wobei ein Kamerakalibrierungsalgorithmus ausgeführt wird und das Ergebnis an das Kamerasystem übertragen wird. Die Druckschrift DE 10 2009 001 742 A1 beschreibt ein Verfahren zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs, wobei die Position der Fahrerassistenzsystem-Kamera zu einem Kalibriertarget bestimmt wird, und wobei die Ausrichtung der Fahrerassistenzsystem-Kamera bezüglich der geometrischen Fahrachse des Fahrzeugs bestimmt wird. Die Druckschrift DE 10 2008 026 876 A1 beschreibt ein Stereokamerasystem und Verfahren zum Ermitteln eines Kalibrierfehlers eines Stereokamerasystems, wobei der Verlauf eines Fahrbahnrandes ermittelt wird, und wobei der Kalibrierfehler anhand des Verlaufs des Fahrbahnrandes ermittelt wird. Die Druckschrift DE 10 2004 033 468 A1 beschreibt ein Verfahren zur Kalibrierung einer Kamera, die in einem Kraftfahrzeug angeordnet ist, wobei über ein Kamerabild eines außerhalb des Kraftfahrzeuges angeordneten rechteckigen Kalibriermusters näherungsweise die Abweichungswinkel der Kamera zu den Sollanordnungswinkeln ermittelt werden.
ZUSAMMENFASSUNG DER ERFINDUNG
In Übereinstimmung mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Bereitstellen einer Spurerkennung in einem Fahrzeug durch Ermitteln von Fahrbahn-Spurmarkierungen offenbart, wobei das System ein Rundumsicht-Kamerasystem verwendet, das ein Draufsicht-Bild um das Fahrzeug bereitstellt. Das Verfahren beinhaltet ein Ermitteln von linksseitigen und rechtsseitigen Spurbegrenzungslinien in dem Draufsicht-Bild und ein anschließendes Ermitteln, ob die Spurbegrenzungslinien in dem Bild von einem Einzelbild zu einem nächsten Einzelbild ausgerichtet sind und ob sie von Bild zu Bild in dem Draufsicht-Bild ausgerichtet sind. Falls die Begrenzungslinien nicht ausgerichtet sind, wird anschließend ein Kalibrieren einer oder mehrerer der Kameras durchgeführt und, falls die Linien ausgerichtet sind, wird anschließend ein Modelanpassungs-Verfahren verwendet, um eigens die Position der Begrenzungslinien auf der Fahrbahn zu identifizieren.
Weitere Merkmale der vorliegenden Erfindung werden aus der vorliegenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den beigefügten Figuren ersichtlich.
Figurenliste

1 ist eine Darstellung eines Fahrzeugs, das ein Rundumsicht-Kamerasystem mit mehreren Kameras beinhaltet;
2 ist ein Draufsicht-Bild des in 1 gezeigten Fahrzeugs, das unter Verwendung der Kameras erzeugt wurde;
3 ist ein Flussdiagramm, das ein Verfahren mit einem einfachen Ansatz zum Ermitteln von Fahrbahn-Spurmarkierungen unter Verwendung des Rundumsicht-Kamerasystems und eines Draufsicht-Bildes zeigt;
4 ist eine Darstellung von Spurmarkierungs-Bildpunkten in Fahrzeugkoordinaten, die durch das Rundumsicht-Kamerasystem unter Verwendung des Draufsicht-Bildes ermittelt wurden;
5 ist ein Flussdiagramm, das ein Verfahren zum Bereitstellen einer Kameradiagnose in dem in 3 gezeigten Verfahren zeigt;
6 ist eine Darstellung von Spurmarkierungs-Bildpunkten, die durch das in 4 gezeigte Rundumsicht-Kamerasystem ermittelt wurden, und die Spurmarkierungslinien beinhaltet, die an die Punkte unter Verwendung eines Modells angepasst wurden;
7 ist ein Flussdiagramm, das ein Verfahren mit einem High-End-Ansatz zum Ermitteln von Fahrbahn-Spurmarkierungen, das Bilder von einer Mehrzahl an Fahrzeug-Kameras getrennt verwendet, zeigt;
8 ist eine Darstellung von Spurmarkierungs-Bildpunkten in Fahrzeugkoordinaten, die durch die separaten Kameras ermittelt wurden;
9 ist ein Flussdiagramm, das ein Verfahren zum Bereitstellen einer Kameradiagnose in dem in 7 gezeigten Verfahren zeigt; und
10 ist eine Darstellung der in 8 gezeigten Spurmarkierungs-Bildpunkte und die Spurmarkierungslinien beinhaltet, die an die Punkte unter Verwendung eines Modells angepasst wurden.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Diskussion der Ausführungsformen der auf ein System und ein Verfahren zum Bereitstellen einer Fahrzeug-Spurerkennung durch Ermitteln von Spurmarkierungen unter Verwendung eines Rundumsicht-Kamerasystems gerichteten Erfindung ist lediglich exemplarischer Natur und ist in keiner Weise dazu bestimmt, die Erfindung oder ihre Anwendungen oder Verwendungen zu beschränken.
1 ist eine Darstellung eines Fahrzeugs 10, das auf einer Fahrspur 12 einer Fahrbahn fährt, die durch Spurmarkierungen festgelegt ist, die auf der Fahrspur 12 der Fahrbahn aufgemalt oder anderweitig fixiert sind und die eine durchgezogene äußere Spurbegrenzungslinie 14 und eine unterbrochene Spurmittenlinie 16 beinhalten. Das Fahrzeug 10 beinhaltet eine Kamera 18 innerhalb des Fahrzeugs 10, wie beispielsweise hinter dem Rückspiegel (nicht gezeigt), aus Gründen, die aus den unten stehenden Erläuterungen ersichtlich werden. Das Fahrzeug 10 beinhaltet zudem ein Rundumsicht-Kamerasystem mit einer vorwärts gerichteten Kamera 20, einer rückwärts gerichteten Kamera 22, einer rechtsseitig ausgerichteten Kamera 24 und einer linksseitig ausgerichteten Kamera 26. Die Kameras 20-26 können jegliche Kamera sein, die für die hierin beschriebenen Zwecke geeignet ist, wobei viele davon im Automobilbereich bekannt sind, wobei die Kameras zum Empfangen von Licht oder anderer Strahlung und zum Konvertieren der Lichtenergie in elektrische Signale in einem Pixel-Format unter Verwendung von beispielsweise ladungsgekoppelten Bauelementen (CCD, charged coupled devices) fähig sind. Die Kameras 20-26 erzeugen Einzelbild-Daten bei einer bestimmten Einzelbild-Datenrate, die für eine weitere Verarbeitung gespeichert werden können. Die Kameras 20-26 können innerhalb oder auf jeder geeigneten Struktur, die Teil des Fahrzeugs 10 ist, beispielsweise Stoßfänger, Facie, Kühlergrill, Seitenspiegeln, Türpanelen, etc., befestigt sein, wie von Fachleuten in dem Gebiet verstanden wird. In einer nicht-beschränkenden Ausführungsform sind die Seitenkameras 24 und 26 unter den Seitenspiegeln befestigt und sind nach unten gerichtet. Bilddaten von den Kameras 20-26 werden an einen Prozessor 28 gesendet, der die Bilddaten verarbeitet, um Bilder zu erzeugen, die in einer Fahrzeug-Anzeigevorrichtung 30 angezeigt werden können. Beispielsweise ist es, wie oben erwähnt, in dem Gebiet bekannt, eine Draufsicht auf ein Fahrzeug bereitzustellen, die Bilder nahe und auf allen Seiten des Fahrzeugs 10 bereitstellt.
2 ist eine allgemeine Darstellung eines Draufsicht-Bildes 32, das aus Bilddaten von den Kameras 20-26 erstellt wurde und das in der Anzeigevorrichtung 30 angezeigt werden kann und welches das Fahrzeug 10 in der Mitte oder einem anderen Bereich des Bildes 32 zeigt. Das Draufsicht-Bild 32 beinhaltet ein kombiniertes vorderseitiges Bild 34, das durch die vorwärts gerichtete Kamera 20 bereitgestellt ist, ein rückseitiges Bild 36, das durch die rückwärts gerichtete Kamera 22 bereitgestellt ist, ein rechtsseitiges Bild 38, das durch die rechtsseitig ausgerichtete Kamera 24 bereitgestellt ist, und ein linksseitiges Bild 40, das durch die linksseitig ausgerichtete Kamera 26 bereitgestellt ist. Die Bilder von den Kameras 20-26 werden durch den Prozessor 28 verarbeitet, so dass sie als das kombinierte Bild zusammenpassen, wobei eine Linie 42 die Grenze zwischen den Bildern 34 und 40 ist, eine Linie 44 die Grenze zwischen den Bildern 34 und 38 ist, eine Linie 46 die Grenze zwischen den Bildern 36 und 40 ist und eine Linie 48 die Grenze zwischen den Bildern 36 und 38 ist. Eine unterbrochene Linie 50 in dem Bild 32 definiert die Spurmittenlinie 16 und erstreckt sich durch das Bild 40 und in die Bilder 34 und 36 und eine durchgezogene Linie 52 kennzeichnet die Spurbegrenzungslinie 14, die sich durch das Bild 38 und die Bilder.34 und 36 erstreckt.
Die vorliegende Erfindung schlägt eine Technik zum Bereitstellen einer Spurerkennung für die Verwendung in mehreren Systemen, wie beispielsweise LDW-Systemen, LK-Systemen, LC-Systemen, etc., vor, die das Rundumsicht-Kamerasystem verwendet, um Spurmarkierungen oder Spurenspurbegrenzungen auf beiden Seiten des Fahrzeugs 10 zu ermitteln. Wie im Detail unten stehend erläutert wird, schlägt die vorliegende Erfindung zwei Spurerkennungs-Ansätze vor einschließlich eines weniger komplexen, einfachen Ansatzes, der das Draufsicht-Bild 32, das durch das Kamerasystem erzeugt ist, verwendet und eines High-End-Ansatzes, der die Bilder von dem Kameras 20-26 individuell verwendet. In dem einfachen Ansatz wird die integrierte Erkennung und Kameradiagnose nahtlos bereitgestellt und ist einfach und schnell. Jedoch besitzt der einfache Ansatz eine eingeschränkte Ermittlungsreichweite, beruht auf einer genauen Kamera-Kalibrierung und besitzt eingeschränkte Diagnosefähigkeiten und eine eingeschränkte selbsttätige Kamera-Kalibrierung. Der High-End-Ansatz erfordert mehr Prozessorleistung und ist daher langsamer. Jedoch ergeben sich durch das Bereitstellen der vier getrennten Rohbilder eine Bereitstellung einer Analyse in überlappenden Bereichen der Bilder 34-40, eine größere Ermittlungsreichweite und robuste Ermittlungsergebnisse. Es wird angemerkt, dass, obwohl sich die vorliegende Erfindung vier Kameras, die ein Rundumsicht-Bild des Fahrzeugs 10 bereitstellen, zu Nutze macht, die Techniken und Verfahren der vorliegenden Erfindung, die im Detail unten stehend erläutert werden, auf jede Zahl an Kameras anwendbar sein wird, beispielsweise, falls eine der Kameras 20-26 ausfällt, oder falls mehr als vier Kameras in dem Fahrzeug 10 bereitgestellt werden.
3 ist ein Flussdiagramm 60, das ein Verfahren zum Durchführen des oben beschriebenen einfachen Ansatzes zeigt. Das Draufsicht-Bild 32 wird bei Kasten 62 bereitgestellt und der Spurerkennungs-Algorithmus in dem Prozessor 28 führt bei Kasten 64 eine Licht-Normierung des Bildes 32 aus. Eine Licht-Normierung ist ein Verfahren, das den Bereich von Pixel-Intensitätswerten des Bildes verändert, um die Bild-Intensität in einen Bereich zu bringen, der für das Verarbeiten geeigneter ist. US Patentanmeldung Nummer US 2013 / 0 141 520 A1 , angemeldet am 20. August 2012, mit dem Titel Spurnachverfolgungssystem, dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart ein Fahrzeug-Spurnachverfolgungssystem, das eine einzige Kamera zum Ermitteln von Fahrbahnmarkierungen zum Zwecke einer Spurerkennung verwendet. Die '214-Anmeldung offenbart ein Verfahren zum Durchführen einer Licht-Normierung eines Kamerabildes, das für die hierin erläuterte Licht-Normierung geeignet ist. Dieses Verfahren beinhaltet ein Verwenden eines Histogramm-Ausgleichs (histogram equalization) zur Erhöhung der Klarheit des Bildes bei Bedingungen mit wenig Licht und zum Bereitstellen einer Saturierung von hellen Flecken (bright spot saturation).
Der Algorithmus führt anschließend bei Kasten 66 ein Spurermittlungs-Verfahren durch, um zu ermitteln, ob das Fahrzeug 10 auf einer Spur einer Fahrbahn fährt, wie beispielsweise der Fahrspur 12. US-Patentanmeldung Nummer US 2010 / 0 014 714 A1 von Zhang et al., dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart eine beispielhafte Technik zum Bereitstellen einer Spurermittlung, die für das hierin beschriebene Verfahren geeignet ist. Andere Techniken können ebenso anwendbar sein, einschließlich bekannter Techniken, bei denen Objekte, die durch die Kameras 20-26 abgebildet werden, Bildpunkte erzeugen, wie unten stehend detaillierter beschrieben, die anschließend verarbeitet werden, um die Spurbegrenzungen zu identifizieren. Die Bildpunkte werden in Bildkoordinaten aus der Pixilation der Kameras 20-26 für jedes erzeugte Einzelbild während sich das Fahrzeug 10 auf der Fahrspur 12 der Fahrbahn fortbewegt, produziert.
Die Bildpunkte werden anschließend verwendet, um bei Kasten 68 linke und/oder rechte Begrenzungslinien in dem Bild 32, wie beispielsweise die Spurlinien 50 und 52, aus den mehreren Bildpunkten, die durch das Spurerkennungsverfahren erzeugt wurden, zu identifizieren. Mit anderen Worten wählt der Algorithmus diejenigen Punkte in dem Bild aus, die Punkte sein können, die durch das Abbilden der Spurlinien 14 und 16 ermittelt wurden. Die linken und rechten Spurlinien 50 und 52 können aus den Bildpunkten in dem Bild 32 durch jedes geeignete Fachleuten in dem Gebiet bekannte Verfahren identifiziert werden. Beispielsweise offenbart die '214-Anmeldung eine geeignete Technik, wobei die Begrenzungslinien-Bildpunkte durch die Bilder von den Kameras 20-26 während sich das Fahrzeug 10 bewegt identifiziert werden.
Die Bildpunkte in den Bildkoordinaten werden anschließend verwendet, um die Ausrichtung der Kameras 20-26 bei Kasten 80 zu Kalibrieren, bevor die Bildpunkte in das Fahrzeug-Koordinatensystem konvertiert werden. US-Patentanmeldung Nummer US 2010 / 0 201 814 A1 angemeldet am 06. Februar 2009, mit dem Titel Kamera-Selbstkalibrierung durch horizontale Abschätzung, dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart ein Selbstkalibrierungs-Verfahren für eine Fahrzeugkamera, das für diesen Zweck geeignet ist. Wie in der '814-Anmeldung beschrieben, ist die Kenntnis der Position und Ausrichtung (Winkel) einer Fahrzeugkamera erforderlich, um die Bilddaten von der Kamera in Fahrzeugkoordinaten zu verarbeiten. Jedoch können zahlreiche Faktoren wie beispielsweise eine Beladung des Fahrzeugs, ein Fahren über rauen Untergrund, Abnutzung, etc., eine Änderung der Ausrichtung einer Fahrzeugkamera verursachen, wobei die neue Kameraposition und - ausrichtung auf eine bekannte Orientierung kalibriert werden müssen, so dass die Bilder davon in der Bildverarbeitung für die entsprechende Verwendung korrekt verarbeitet werden. Obwohl jedes geeignete Kamera-Kalibrierungsverfahren für das hierin beschriebene Verfahren verwendet werden kann, bietet die '814-Anmeldung eine Technik an, die anwendbar ist und die eine Randermittlungs-Analyse und ein Bewegung-Mapping verwendet, um die Fahrzeugkameras 20-26 unter Verwendung der Bildpunkte zu kalibrieren.
Nachdem die Kameras 20-26 kalibriert sind, werden die kalibriert Bildpunkte in den Bildkoordinaten anschließend bei Kasten 58 in das Fahrzeug-Koordinatensystem unter Verwendung eines geeigneten Verfahrens konvertiert. 4 ist eine Darstellung 70, die die Bildpunkte zeigt, die in ein Fahrzeug-Koordinatensystem 76 konvertiert wurden. Insbesondere wird eine Serie von Bildpunkten 72 in Fahrzeugkoordinaten gezeigt, die durch das Konversionsverfahren aus den Bildpunkten erzeugt werden, die die Spurmittenlinie 50 in dem Bild 32 identifizieren, und eine Serie von Bildpunkten 74 in Fahrzeugkoordinaten wird gezeigt, die durch das Konversionsverfahren aus den Bildpunkten erzeugt werden, die die Spurlinie 52 in dem Bild 32 identifizieren.
Bei Kasten 82 kann eine Fahrzeugbewegungs-Kompensation verwendet werden, um die Identifikation der Spurlinien 50 und 52 in dem Bild 32 zu verbessern. Insbesondere können die Bildpunkte 72 und 74 in den Fahrzeugkoordinaten Bildpunkte aus den vorherigen Einzelbildern beinhalten, die durch die Fahrzeugbewegungs-Kompensation bereitgestellt wurden. Jedes Verfahren zum Ermitteln einer Fahrzeugbewegung, das für die hierin beschriebenen Zwecke geeignet ist, kann verwendet werden. Ein geeignetes Verfahren zum Verwenden einer Fahrzeugbewegungs-Kompensation für diesen Zweck wird ebenfalls in der '042-Anmeldung beschrieben und kann ein Verfahren zum Erkennen der Fahrzeugposition unter Verwendung von Sensoren (nicht gezeigt), d.h. einem Fahrzeug-Geschwindigkeitssensor und einem Gierratensensor, in dem Fahrzeug 10 und einem Verschieben der ermittelten Bildpunkte in den vorherigen Einzelbildern in einer Richtung der Fahrzeugbewegung zum Kompensieren einer erkannten Vorwärtsbewegung des Fahrzeugs 10 von vorherigen Einzelbildern zu den momentanen Fahrzeugkoordinaten beinhalten. Während das Fahrzeug 10 sich bewegt und jedes Set von Bildpunkten 72 und 74 in darauf folgenden Bildern bereitgestellt wird, können diese Punkte anschließend durch die Fahrzeugbewegungs-Kompensation verwendet werden. Mit anderen Worten betrachtet das Fahrzeugbewegungs-Kompensationsverfahren die Bildpunkte 72 und 74 in aufeinanderfolgenden Einzelbildern, wobei doppelt oder mehr Bildpunkte 72 und 74 in den zwei oder mehr Einzelbildern für eine Spurgeometrieanalyse verfügbar sind, um die Bildpunkte 72 und 74 von einem Einzelbild zu dem nächsten Einzelbild basierend auf der Bewegung des Fahrzeugs 10 auszurichten.
Der Algorithmus verwendet anschließend in einem Kameradiagnose-Verfahren bei Kasten 84 die bewegungskompensierten Bildpunkte 72 und 74 in den Fahrzeug-Koordinaten um zu ermitteln, ob die Kameras 20-26 zueinander ausgerichtet sind, um das Bild 32 bereitzustellen. Falls das Kameradiagnose-Verfahren ermittelt, dass die Ausrichtung der Bildpunkte 72 und 74 von einem Einzelbild zu dem nächsten Einzelbild nicht geeignet für eine Spurerkennung ist, fährt das Verfahren anschließend mit Kasten 86 fort, um eine Kamera-Rekalibrierung bereitzustellen, vorzugsweise in der gleichen Art wie bei Kasten 80 ausgeführt, unter Verwendung der Bildpunkte in den Bildkoordinaten und anschließend wird das Draufsicht-Bild 32 erneut bei dem Kasten 62 erzeugt. Falls das Kameradiagnose-Verfahren ermittelt, dass die Kameras 20-26 korrekt ausgerichtet sind und das Draufsicht-Bild 32 geeignet ist, führt der Algorithmus bei Kasten 88 ein Modelanpassungs-Verfahren durch, um spezifisch die Position der Linien 50 und 52 in der Fahrspur 12 der Fahrbahn zu identifizieren, die anschließend in dem bestimmten LDW-, LK- oder LC-System verwendet werden kann. Sowohl das Kameradiagnose-Verfahren als auch das Modelanpassungs-Verfahren werden im Detail unten stehend erläutert.
Während des Kameradiagnose-Verfahrens bei dem Kasten 84 stellt der Algorithmus eine zeitliche Analyse bereit durch das Ausrichten der Linien 50 und 52 von einem Einzelbild zu dem nächsten Einzelbild während sich das Fahrzeug 10 entlang der Fahrspur 12 der Fahrbahn bewegt. Aufeinanderfolgende Einzelbilder müssen zueinander passen, wobei die Liniensegmente der Linien 50 und 52 für die Vorder-, Seiten- und Rück-Kameras kollinear sein müssen und für jede Linie den gleichen Winkel und den gleichen Versatz relativ zueinander besitzen müssen. Weiterhin stellt das Kameradiagnose-Verfahren eine räumliche Analyse bereit, wobei in den Bildern 34-40, die das Draufsicht-Bild 32 ergeben, die Linien 50 und 52 von einem der Bilder 34-40 zu dem nächsten Bild 34-40 miteinander verbunden sein sollen und den gleichen Winkel besitzen sollen. Daher gleicht das Kameradiagnose-Verfahren aufeinanderfolgende Einzelbilder auf die zeitlichen Bedingungen ab und gleicht die unterschiedlichen Bilder in jedem Einzelbild auf die räumlichen Bedingungen ab.
5 ist ein Flussdiagramm 90, das ein Verfahren zum Durchführen der Kameradiagnose, auf welche oben Bezug genommen wurde, zeigt. Abhängig davon, ob das Fahrzeug 10 vorwärts oder rückwärts fährt, wird die vorwärts gerichtete Kamera 20, die rückwärts gerichtete Kamera 22 oder eine zusätzliche interne Kamera, wie beispielsweise die Kamera 18, hinter der Windschutzscheibe verwendet, um zu identifizieren, ob Spurbegrenzungen vorhanden sind, die verwendet werden können, um zu ermitteln, ob die Kameras 20-26 korrekt kalibriert sind. Bei Kasten 92 wird ein Kamerabild von der Kamera 20, der Kamera 22 oder der internen Kamera für eine Texturanalyse bei Kasten 94 abhängig davon, in welcher Richtung das Fahrzeug 10 fährt, bereitgestellt. Das Texturanalyse-Verfahren stellt eine Kanten- und Spur-Ermittlung bereit, um zu ermitteln, ob Spurbegrenzungslinien, wie beispielsweise die Linien 50 und 52, entweder auf der linken Seite des Fahrzeugs 10 oder der rechten Seite des Fahrzeugs 10 existieren.
Der Algorithmus ermittelt anschließend bei Entscheidungs-Raute 96, ob eine der linken oder rechten Spurlinie, die ermittelt wurden, eine durchgezogene lange Linie ist, und, falls ja, fährt fort zu Kasten 98 zum Bereitstellen einer Spurmarkierungs- oder Linien-Ermittlung unter Verwendung des Draufsicht-Bildes 32. Unter Verwendung der Fahrzeugbewegungs-Kompensationsbilder von dem Kasten 82 stellt der Algorithmus bei Entscheidungs-Raute 100 die räumliche Bedingungsanalyse bereit durch Ermitteln, ob die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 in dem Draufsicht-Bild 32 verbunden sind und den gleichen Winkel zwischen den Bildern für jede Linie in dem Draufsicht-Bild 32 innerhalb eines gewissen vorbestimmten Schwellenwerts besitzen. Falls bei der Entscheidungs-Raute 100 die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 nicht verbunden sind oder falls diese nicht den gleichen Winkel innerhalb des Schwellenwerts besitzen, fährt der Algorithmus fort mit dem Kamera-Rekalibrierungs-Kasten 86. Falls die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 verbunden sind und den gleichen Winkel für jede Linie innerhalb des Schwellenwerts besitzen, fährt der Algorithmus fort zu Entscheidungs-Raute 102 zum Bereitstellen der zeitlichen Bedingungsanalyse zum Ermitteln, ob die Linien 50 und 52 in aufeinanderfolgenden Einzelbildern wie oben erläutert zueinander passen. Falls bei der Entscheidungs-Raute 102 die aufeinanderfolgenden Einzelbilder nicht zueinander passen, fährt der Algorithmus anschließend wieder mit dem Kamera-Rekalibrierungs-Kasten 86 fort. Falls sowohl die zeitlichen als auch die räumlichen Bedingungen erfüllt wurden, sind die Kameras 20-26 relativ zueinander kalibriert und der Algorithmus fährt mit dem Modellanpassungs-Kasten 88 fort.
Falls der Algorithmus bei der Entscheidungs-Raute 96 ermittelt, dass eine der beiden Linien 50 und 52 keine durchgezogene lange Linie ist, wobei die Linie 50 keine durchgezogene Linie ist, ermittelt der Algorithmus anschließend bei Entscheidungs-Raute 110, ob die Linien kurze (unterbrochene) Linien sind und, falls nicht, existieren keine Linien in der Fahrspur 12 der Fahrbahn und der Algorithmus fährt mit Kasten 112 fort, um auf den nächsten Bildzyklus zu warten. Falls der Algorithmus an der Entscheidungs-Raute 110 ermittelt, dass die ermittelten Linien kurze Linien sind, stellt der Algorithmus anschließend bei Kasten 114 eine Spurmarkierungs-Ermittlung in der gleichen Weise wie bei dem Kasten 98 bereit. Da die Linien kurze Linien sind, überspringt der Algorithmus den räumlichen Bedingungs-Schritt des Ermittelns, ob die Liniensegmente verbunden sind und den gleichen Winkel aufweisen, führt jedoch an Entscheidungs-Raute 116 den zeitlichen Einzelbild-Abgleich in der gleichen Weise wie oben für den Kasten 102 erläutert durch. In entsprechender Weise fährt, falls die aufeinanderfolgenden Einzelbilder bei der Entscheidungs-Raute 116 nicht zueinander passen, der Algorithmus anschließend mit dem Rekalibrierungs-Kasten 86 fort und, falls sie zueinander passen, fährt der Algorithmus mit dem Modellanpassungs-Kasten 88 fort.
Falls die Kameras 20-26 kalibriert sind, verwendete der Algorithmus anschließend in dem Modellanpassungs-Kasten 88 die Bildpunkte 72 und 74 von aufeinanderfolgenden Einzelbildern, um die Position und Ausrichtung des Fahrzeugs 10 mit Bezug auf die Fahrspur 12 der Fahrbahn zu identifizieren. Mit anderen Worten verwendet der Algorithmus die Bildpunkte 72 und 74, um die genaue Anordnung der Linien 50 und 52 relativ zu der Position des Fahrzeugs 10 zu ermitteln, so dass die genaue Position und Ausrichtung des Fahrzeugs 10 in der Fahrspur 12 der Fahrbahn ermittelt werden können. In dem Modellanpassungs-Verfahren für den einfachen Ansatz passt der Algorithmus ein lineares Modell unter Verwendung von Gewichtungen basierend auf den ermittelten Spur-Bildpunkten 72 und 74 für beide Seiten des Fahrzeugs 10 an. Insbesondere identifiziert der Modellanpassungs-Algorithmus geeignete Gewichtungen für jeden der Bildpunkte 72 und 74 für ein bestimmtes System oder eine bestimmte Bedingung und passt diese Gewichtungen in das gewünschte Spurmodell an, um die Position der Linien 50 und 52 festzulegen. Jede Gewichtung wird sorgfältig basierend auf mehreren Parametern wie beispielsweise der Kameraperspektiven, Fahrzeugdynamik-Fehlern, Kamerakalibrierungs-Fehlern, Kamera-Sichtverhältnisse und Verlässlichkeit in das Bild 32 zugeordnet. Bildpunkte von einer seitlich ausgerichteten Kamera besitzen typischerweise eine höhere Gewichtung für Spurverlassens-Warn- (LDW-) Anwendungen. Ferner besitzen Bildpunkte von vorherigen Einzelbildern mit einer genauen Bewegungskompensation größere Gewichtungen als diejenigen mit einer verrauschten Bewegungskompensation, Bildpunkte mit einem kleineren Kamera-Kalibrierungsfehler und Bildpunkte mit besseren Sichtverhältnissen und besserer Verlässlichkeit in das Bild besitzen größere Gewichtungen, wobei näheren Punkten in dem Bild höhere Gewichtungen gegeben werden. Für ein geradliniges Spurmodell werden Versatz- und Winkel-Parameter abgeschätzt, wobei Punkte, die am nächsten zu den Vorderrädern des Fahrzeugs sind, größere Gewichtungen für das Abschätzen des Versatzes besitzen und robust ermittelte Punkte in den vorherigen Einzelbildern, die weit entfernt von dem Fahrzeug 10 sind, größere Gewichtungen für das Abschätzen des Winkels besitzen.
Das Bildpunkt-Gewichtungsverfahren kann jegliches geeignete Gewichtungsverfahren sein, das versucht, die Bildpunkte 72 und 74 derart zu positionieren, dass diese an das Modell angepasst sind. Beispielsweise kann das Modell auf der Funktion f(x, y)=0 basierend sein, wobei jeder Bildpunkt 72 und 74 in die Funktion eingesetzt wird und wobei x_S
1 und y_S
1 die Position x und die y-Werte für diesen Bildpunkt kennzeichnen. Durch das zuordnen einer Gewichtungw zu jedem bestimmten Bildpunkt 72 und 74 für die Funktion f wird eine Optimierung der Funktion f bereitgestellt, so dass sie das gewünschte Ergebnis liefert. Sämtliche der Funktionen für jeden Bildpunkt 72 und 74 werden zusammen mit ihrer entsprechenden Gewichtung addiert, um optimale Modellparameter durch beispielsweise die folgende Zielfunktion (objective function) bereitzustellen. $O p t i m a l e M o d e l l p a r a m e t e r = a r g m i n {\sum w_{s_{1}} ‖ f (x_{s_{1}}, y_{s_{1}}) ‖}^{2}$
Jede seitliche Spurmarkierung wird in dem Draufsicht-Bild 32 durch drei Kameras erfasst, während das Fahrzeug 10 sich vorwärts bewegt, nämlich die vorwärts gerichtete Kamera 20, die entsprechende seitlich ausgerichtete Kamera 24 oder 26 und die rückwärts gerichtete Kamera 22. Abhängig von der bestimmten Spurerkennungs-Anwendung wie beispielsweise einer Spurzentrierung oder einer Spurhaltung, wird jeder Bildpunkt 72 und 74 basierend auf den Parametern unterschiedlich gewichtet. Beispielsweise ist eine Spurerkennung für Spurzentrierungs-Zwecke stärker an der vor dem Fahrzeug 10 liegenden Spur interessiert und daher wird den Bildpunkten, die durch die vorwärts gerichtete Kamera 20 bereitgestellt werden, eine größere Gewichtung gegeben. Für eine Spurerkennung in einer LDW- oder LK-Anwendung wird die Bildpunkt-Gewichtung an der Position der Vorderräder des Fahrzeugs bestimmt und daher wird den Bildpunkten der seitwärts gerichteten Kameras eine größere Gewichtung gegeben. Die Gewichtungen können einer Vielzahl an Verlässlichkeits-Faktoren entsprechen, die einen Verlässlichkeitsgrad, dass ein bestimmter Bildpunkt die Spurbegrenzungslinie identifizieren kann, kennzeichnen können. Derartige Verlässlichkeits-Faktoren können die Sichtverhältnisse in der Umgebung, eine Bildauflösung, Beleuchtungs-Bedingungen, etc. beinhalten.
Sobald eine Gewichtung zu jedem Bildpunkt 72 und 74 zugeordnet wurde, wird eine Modell-Spurlinie an diese Punkte gemäß den gewichteten Positionen der Punkte 72 und 74 angepasst, um die Spurlinie zu bilden. Die Spurlinien 50 und 52 können ferner in jeglichen geeigneten Weise modelliert werden, wie beispielsweise einem gewichteten Mittel, einem gleitenden besten Fit (rolling best fit), einer Kalman-Filterung, etc. 6 ist eine Darstellung der gewichteten Bildpunkte 72 und 74 in den Fahrzeugkoordinaten wie in 4 gezeigt und beinhaltet Spurmarkierungs-Linien 120 und 122, die an die gewichteten Bildpunkte 72 bzw. 74 in der oben beschriebenen Weise modellbasiert angepasst wurden.
Für den High-End-Ansatz, bei welchem die Spurerkennung unter Verwendung der individuellen Bilder von jeder der Kameras 20-26 bereitgestellt wird, durchläuft jedes separate Bild eine ähnliche Verarbeitung wie sie für das Draufsicht-Bild 32 durchgeführt wurde, um die Spurmarkierungs-Ermittlung bereitzustellen. Da die separaten Bilder in dem Draufsicht-Bild 32 abgeschnitten sind, um das Draufsicht-Bild 32 bereitzustellen, kann das getrennte Verwenden der einzelnen Bilder die Reichweite der Spurerkennung erhöhen. Zudem kann das Verarbeiten der individuellen Bilder von jeder der Kameras 20-26 einen Nutzen aus dem überlappenden Bereich zwischen diesen Bildern ziehen.
7 ist ein Flussdiagramm 130, das ein Verfahren zum Ermitteln der Fahrbahn-Spurlinien 14 und 16 für den High-End-Ansatz, der jedes der Bilder von den Kameras 20-26 separat verwendet, zeigt, wobei Elemente, die ähnlich zu dem Flussdiagramm 80 sind, durch die gleichen Bezugszeichen gekennzeichnet sind. Obwohl in dieser Ausführungsform vier Kameras verwendet werden, wird angemerkt, dass dies im Wege eines nicht-beschränkenden Beispiels gemacht wird und dass jegliche Zahl an Kameras für die hierin beschriebenen Zwecke geeignet eingesetzt werden kann. In dem Flussdiagramm 130 ist die Bildanalyse in vier separate Zweige aufgeteilt mit einem Zweig für jede der Kameras 20-26, wobei ein erster Zweig 132 das vorderseitige Bild 34, das durch die vorwärts gerichtete Kamera 20 bereitgestellt ist und welches an Kasten 134 bereitgestellt wird, analysiert, ein zweiter Pfad 136 das seitliche Bild 40, das durch die linksseitig ausgerichtete Kamera 26 bereitgestellt ist und welches an Kasten 138 bereitgestellt wird, analysiert, ein dritter Pfad 140 das seitliche Bild 38, das durch die rechtsseitig ausgerichtete Kamera 24 bereitgestellt ist und welches an Kasten 142 bereitgestellt wird, analysiert und eine vierter Pfad 144 das rückseitige Bild 36, das durch die rückwärts gerichtete Kamera 22 bereitgestellt ist und welches an Kasten 146 bereitgestellt wird, analysiert.
Jeder Pfad 132, 136, 140 und 144 analysiert das entsprechende Kamerabild in der gleichen oder einer ähnlichen Weise wie oben beschrieben, wobei bei dem Kasten 64 eine Licht-Normierung bereitgestellt wird und bei dem Kasten 66 eine Spurermittlung bereitgestellt wird. Eine Identifikation der links- und rechtsseitigen Spurbegrenzungen wird bei dem Kasten 68 für das vorderseitige und das rückseitige Bild in dem Pfad 132 und 144 bereitgestellt, jedoch nicht für die seitlichen Bilder in den Pfaden 136 und 140, obwohl dies möglich wäre. Unter Verwendung des geeigneten Sets von Bildpunkten für die entsprechende Kamera wird diese Kamera anschließend in jedem der Pfade 132, 134, 136 und 138 bei dem Kasten 80 separat kalibriert. Sämtliche der Bildpunkte in jedem der Pfade 132, 136, 140 und 144 werden in Kombination in Fahrzeugkoordinaten für die Kameras 20-26 bei dem Kasten 58 konvertiert.
8 ist eine Darstellung 148 eine Gruppe von in Fahrzeugkoordinaten konvertierter Bildpunkte ähnlich der in 4 gezeigten Bildpunkte 72 und 74, wobei eine Serie von Bildpunkten 150 durch die vorwärts gerichtete Kamera 20 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 152 durch die vorwärts gerichtete Kamera 20 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 154 durch die linksseitig ausgerichtete Kamera 26 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 156 von der rechtsseitig ausgerichteten Kamera 24 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 158 von der rückwärts gerichteten Kamera 22 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist und eine Serie von Bildpunkten 160 von der rechtsseitig ausgerichteten Kamera 24 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist. Die Darstellung 148 kann durch das Bereitstellen von Kamerabildern von einer innerhalb des Fahrzeugs 10 angeordneten Frontkamera, wie beispielsweise der Kamera 18 hinter der Windschutzscheibe des Fahrzeugs, bei Kasten 162 verbessert werden.
Der Algorithmus akkumuliert anschließend bei dem Kasten 82 weitere Bildpunkte von vorherigen Einzelbildern durch eine Fahrzeugbewegungs-Kompensation, stellt eine Kameradiagnose bei dem Kasten 84 bereit, stellt eine Kamera-Rekalibrierung bei dem Kasten 86 bereit und stellt eine Modellanpassung bei dem Kasten 88 bereit.
9 ist ein Flussdiagramm 170, das ein Verfahren für eine Kameradiagnose zeigt, die in dem Verfahren, das in dem Flussdiagramm 130 gezeigt ist, verwendet wird, um die zeitliche Bedingung für Liniensegmente in aufeinanderfolgenden Einzelbildern für Kollinearität, gleichen Winkel und gleichen Versatz, und die räumlichen Bedingungen zum Ermitteln, dass die Spurmarkierungs-Linien in den Bildern geradlinig sind, bereitzustellen. In dem Flussdiagramm 170 sind die zugehörigen Verfahren, die in dem Kameradiagnose-Flussdiagramm 130 für das Draufsicht-Bild 32 ausgeführt werden, die gleichen. Bei Kasten 172 führt, falls bei der Entscheidungs-Raute 96 lange durchgezogene Linien ermittelt wurden, der Algorithmus anschließend die Spurmarkierungs-Ermittlung in jedem der vier separaten Bilder separat aus anstatt für das Draufsicht-Bild 32, was an dem Kasten 98 gemacht wurde. Sobald die Spurmarkierungen in jedem der separaten Bilder ermittelt wurden, führte der Algorithmus bei Kasten 174 einen zusätzlichen Schritt eines Transformierens der ermittelten Linien in ein Draufsicht-Koordinatensystem aus. Falls bei der Entscheidungs-Raute 110 i kurze Linien ermittelt werden, führte der Algorithmus anschließend die Spurmarkierungs-Ermittlung in jedem der vier Bilder separat in einer ähnlichen Weise aus wie dies bei dem Kasten 172 gemacht wurde. Entsprechend führt der Algorithmus bei Kasten 178 den zusätzlichen Schritt des Transformierens der ermittelten Linien in ein Draufsicht-Koordinatensystem aus.
Falls der Algorithmus ermittelt, dass die Kameras 20-26 korrekt kalibriert sind und eine Modellanpassung an die Bildpunkte 150, 152, 154, 156, 158 und 160 ausgeführt werden soll, passte der Algorithmus ein Polynom-Modell mit Gewichtungen für die Bildpunkte auf jeder Seite des Fahrzeugs 10 statt des linearen Modells, das in dem einfachen Ansatz verwendet wurde, an. Der Prozess des Zuweisens der Gewichtungen zu jedem Bildpunkt ist der gleiche wie oben beschrieben, wobei dies abhängt von den Faktoren und Parametern, die verfügbar sind und von i dem System, in welchem die Spurerkennungs-Technik verwendet wird. 10 ist eine Darstellung der Bildpunkte aus den individuellen Bildern wie in 8 gezeigt, wobei die Linien 180 und 182 an die linksseitigen Bildpunkte bzw. die rechtsseitigen Bildpunkte unter Verwendung des Polynom-Modells ange) passt wurden.
Wie von Fachleuten erkannt werden kann, können die einzelnen und verschiedenen Schritte und Prozesse, die hier beschrieben sind, um die Erfindung zu beschreiben, auf Operationen gerichtet sein, die von einem Computer, einem Prozessor oder anderen elektronischen Rechenvorrichtungen ausgeführt werden, die Daten auf elektronische Art und Weise manipulieren und/oder transformieren. Diese Computer und elektronischen Geräte können verschiedene flüchtige und/oder nichtflüchtige Speicher beinhalten, einschließlich nichtvergänglicher computerlesbarer Medien mit einem ausführbaren Programm, das darauf abgespeichert ist, mit verschiedenem Code oder ausführbaren Instruktionen, die von einem Computer oder einem Prozessor ausgeführt werden können, wobei der Speicher und/oder das computerlesbare Medium alle Arten und Weisen von speicher- und anderen computerlesbaren Medien beinhalten kann.
Die vorhergehende Diskussion offenbart und beschreibt lediglich exemplarische Ausführungsformen der vorliegenden Erfindung. Ein Fachmann wird sofort anhand dieser Diskussion und anhand der beigefügten Figuren und Ansprüche erkennen, dass unterschiedliche Änderungen, Modifikationen und Variationen durchgeführt werden können, ohne von dem Geist und dem Rahmen der Erfindung, der in den nachfolgenden Ansprüchen definiert ist, abzuweichen.

Claims

Verfahren zum Erkennen einer Spur in einer Fahrbahn, in welcher ein Fahrzeug fährt, wobei das Fahrzeug eine vorwärts gerichtete Kamera, die an einer Vorderseite des Fahrzeugs befestigt ist, eine linksseitig ausgerichtete Kamera, die an einer linken Seite des Fahrzeugs befestigt ist, eine rechtsseitig ausgerichtete Kamera, die an einer rechten Seite des Fahrzeugs befestigt ist, und eine rückwärts gerichtete Kamera, die an einer Rückseite des Fahrzeugs befestigt ist, aufweist, wobei die Fahrbahn eine linksseitige Fahrbahn-Begrenzungslinie auf einer linken Seite der Spur und eine rechtsseitige Fahrbahn-Begrenzungslinie auf einer rechten Seite der Spur aufweist, wobei das Verfahren aufweist: - Bereitstellen von Bilddaten von der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera als aufeinanderfolgende Einzelbilder der Vorderseite des Fahrzeugs, der linken Seite des Fahrzeugs, der rechten Seite des Fahrzeugs und der Rückseite des Fahrzeugs; - Erstellen eines Draufsicht-Bildes des Fahrzeugs für jedes der aufeinanderfolgenden Einzelbilder, das sämtliche der Bilddaten der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera kombiniert, wobei das Fahrzeug in der Mitte des Draufsicht-Bildes dargestellt wird; - Ermitteln einer Darstellung der linksseitigen Begrenzungslinie und der rechtsseitigen Begrenzungslinie in dem Draufsicht-Bild; - Kalibrieren einer Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera unter Verwendung der Darstellung der linksseitigen Fahrbahn-Begrenzungslinie und der rechtsseitigen Fahrbahn-Begrenzungslinie in dem Draufsicht-Bild; - Durchführen eines Kameradiagnose-Verfahrens, um eine zeitliche Bedingungsanalyse und eine räumliche Bedingungsanalyse bereitzustellen, wobei die zeitliche Bedingungsanalyse ermittelt, ob aufeinanderfolgende Draufsicht-Einzelbilder kollinear sind, in dem gleichen Winkel sind und den gleichen Versatz innerhalb eines zeitlichen Bedingungs-Schwellenwerts besitzen und wobei die räumliche Bedingungsanalyse ermittelt, dass die Darstellungen der Spurlinien in dem Draufsicht-Bild, die sich über Grenzen zwischen einem, von einer Kamera erzeugten Bild und einem weiteren Bild, das durch eine andere Kamera erzeugt wurde, erstrecken, geradlinig sind und den gleichen Winkel innerhalb eines räumlichen Bedingungs-Schwellenwerts besitzen; - Rekalibrieren der Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert nicht eingehalten werden; und - Verwenden eines Modellanpassungs-Verfahrens, um Begrenzungslinien in dem Draufsicht-Bild zu identifizieren, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert eingehalten werden.
Verfahren nach Anspruch 1, wobei die Darstellungen der linksseitigen und rechtsseitigen Begrenzungslinien eine Serie von Bildpunkten sind.
Verfahren nach Anspruch 2, wobei das Verwenden eines Modellanpassungs-Verfahrens ein Verwenden eines linearen Modells basierend auf Gewichtungen, die jedem der separaten Bildpunkte gegeben werden, beinhaltet.
Verfahren nach Anspruch 3, wobei die Gewichtungen basierend auf einer Mehrzahl von Faktoren zugeordnet werden, einschließlich Kameraperspektiven, Fahrzeugdynamik-Fehlern, Kalibrierungs-Fehlern, Sichtverhältnissen und Verlässlichkeit in das Bild und einer Spurerkennungs-Anwendung.
Verfahren nach Anspruch 2, wobei das Ermitteln einer Darstellung der Begrenzungslinien ein Konvertieren der Bildpunkte in Fahrzeugkoordinaten beinhaltet.
Verfahren nach Anspruch 1, weiterhin aufweisend ein Bereitstellen eines Licht-Normierungs-Verfahrens für das Draufsicht-Bild, bevor das Draufsicht-Bild verwendet wird, um die Darstellungen der linksseitigen und der rechtsseitigen Begrenzungslinien zu ermitteln.
Verfahren nach Anspruch 1, wobei das Durchführen eines Kameradiagnose-Verfahrens ein Ermitteln beinhaltet, ob die Darstellungen der linksseitigen und der rechtsseitigen Begrenzungslinien durchgezogene lange Linien oder kurze unterbrochene Linien sind.
Verfahren nach Anspruch 7, wobei das Durchführen der Kameradiagnose ein Verwenden der vorwärts gerichteten Kamera, falls das Fahrzeug in einer Vorwärtsrichtung fährt, und ein Verwenden der rückwärts gerichteten Kamera, falls das Fahrzeug in einer Rückwärtsrichtung fährt, um zu ermitteln, ob die Darstellungen der Begrenzungslinien lange durchgezogene Linien oder kurze unterbrochene Linien sind, beinhaltet.
Verfahren nach Anspruch 1, weiterhin aufweisend ein Verwenden einer Fahrzeugbewegungs-Kompensation, um die Darstellung der linksseitigen Fahrbahn-Begrenzungslinie und der rechtsseitigen Fahrbahn-Begrenzungslinie in dem Draufsicht-Bild zu verbessern, bevor das Kameradiagnose-Verfahren ausgeführt wird.
System zum Erkennen einer Spur in einer Fahrbahn, in welcher ein Fahrzeug fährt, wobei das Fahrzeug eine vorwärts gerichtete Kamera, die an einer Vorderseite des Fahrzeugs befestigt ist, eine linksseitig ausgerichtete Kamera, die an einer linken Seite des Fahrzeugs befestigt ist, eine rechtsseitig ausgerichtete Kamera, die an einer rechten Seite des Fahrzeugs befestigt ist, und eine rückwärts gerichtete Kamera, die an einer Rückseite des Fahrzeugs befestigt ist, aufweist, wobei die Fahrbahn eine linksseitige Fahrbahn-Begrenzungslinie auf einer linken Seite der Spur und eine rechtsseitige Fahrbahn-Begrenzungslinie auf einer rechten Seite der Spur aufweist, wobei das System folgendes aufweist: - Mittel zum Bereitstellen von Bilddaten von der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera als aufeinanderfolgende Einzelbilder der Vorderseite des Fahrzeugs, der linken Seite des Fahrzeugs, der rechten Seite des Fahrzeugs und der Rückseite des Fahrzeugs; - Mittel zum Erstellen eines Draufsicht-Bildes des Fahrzeugs für jedes der aufeinanderfolgenden Einzelbilder, das sämtliche der Bilddaten der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera kombiniert, wobei das Fahrzeug in der Mitte des Draufsicht-Bildes dargestellt wird; - Mittel zum Ermitteln einer Darstellung der linksseitigen Begrenzungslinie und der rechtsseitigen Begrenzungslinie in dem Draufsicht-Bild; - Mittel zum Kalibrieren einer Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera unter Verwendung der Darstellung der linksseitigen Fahrbahn-Begrenzungslinie und der rechtsseitigen Fahrbahn-Begrenzungslinie in dem Draufsicht-Bild; - Mittel zum Durchführen eines Kameradiagnose-Verfahrens, um eine zeitliche Bedingungsanalyse und eine räumliche Bedingungsanalyse bereitzustellen, wobei die zeitliche Bedingungsanalyse ermittelt, ob aufeinanderfolgende Draufsicht-Einzelbilder kollinear sind, in dem gleichen Winkel sind und den gleichen Versatz innerhalb eines zeitlichen Bedingungs-Schwellenwerts besitzen und wobei die räumliche Bedingungsanalyse ermittelt, dass die Darstellungen der Spurlinien in dem Draufsicht-Bild, die sich über Grenzen zwischen einem, von einer Kamera erzeugten Bild und einem weiteren Bild, das durch eine andere Kamera erzeugt wurde, erstrecken, geradlinig sind und den gleichen Winkel innerhalb eines räumlichen Bedingungs-Schwellenwerts besitzen; - Mittel zum Rekalibrieren der Ausrichtung jeder der vorwärts gerichteten Kamera, der linksseitig ausgerichteten Kamera, der rechtsseitig ausgerichteten Kamera und der rückwärts gerichteten Kamera, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert nicht eingehalten werden; und - Mittel zum Verwenden eines Modellanpassungs-Verfahrens, um Begrenzungslinien in dem Draufsicht-Bild zu identifizieren, falls der zeitliche Bedingungs-Schwellenwert und der räumliche Bedingungs-Schwellenwert eingehalten werden.