-
Die vorliegende Erfindung bezieht sich auf eine Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, die weiße Straßenlinien bzw. Straßenmarkierungslinien auf der Basis von Bildern erkennt, die mittels einer an Bord des Fahrzeugs vorgesehenen Kamera aufgenommen werden.
-
Für die Verbesserung der Fahrzeugsicherheit sind in letzter Zeit Fahrunterstützungsvorrichtungen entwickelt worden, welche die von einem Fahrer ausgeführten Betätigungen aktiv unterstützen. Zum Erzielen einer solchen Funktion, wie etwa dem Verhindern des Abkommens von einer Fahrspur, erkennt eine Fahrunterstützungsvorrichtung im allgemeinen eine Straßenmarkierungslinie auf der Basis eines aufgenommenen Bildes von dem vor dem eigenen Fahrzeug liegenden Bereich und dergleichen, wobei die Fahrunterstützungsvorrichtung eine Schätzung hinsichtlich einer eigenen Fahrspur auf der Basis der aufgenommenen Straßenmarkierungslinie vornimmt.
-
Als eine Technologie zum Erkennen von Straßenmarkierungslinien offenbart z. B. die ungeprüfte japanische Patentanmeldungsveröffentlichung
JP-A-1999-085 999 (die im folgenden als Patentdokument 1 bezeichnet wird) eine Technologie, die eine Straßenmarkierungslinie mit komplizierter Formgebung erkennt, beispielsweise eine multiple Straßenmarkierungslinie (doppelte Straßenmarkierungslinie), die eine durchgehende Linie zum Unterteilen bzw. Trennen von Fahrspuren sowie eine gestrichelte bzw. unterbrochene Linie zur visuellen Führung aufweist.
-
Diese Technologie erkennt in einem Bild von einer Straße einen Kantenpunkt, an dem sich die Helligkeit von dunkel nach hell ändert (positiver Kantenpunkt) sowie einen Kantenpunkt, an dem sich die Helligkeit von hell nach dunkel ändert (negativer Kantenpunkt) und führt eine Hough-Transformation an dem positiven bzw. dem negativen Kantenpunkt aus, um einen Hough-Raum zu suchen, der dem positiven bzw. dem negativen Kantenpunkt entspricht.
-
Die visuelle Führungslinie der doppelten Straßenmarkierungslinie, bei der es sich um die innere Linie von dieser handelt, ist gelegentlich durch rautenförmige Markierungen gebildet, die in bestimmten Intervallen angeordnet sind und in einer gestrichelten Linie vorliegen. Wenn diese spezielle Art der doppelten Straßenmarkierungslinie oder dergleichen erkannt wird, sind Kantenpunkte der visuellen Führungslinie (Rautenmarkierungen) in diskontinuierlicher Weise in einer anderen Richtung als der Erstreckungsrichtung der doppelten Straßenmarkierungslinie angeordnet.
-
Wenn bei der Erkennung der doppelten Straßenmarkierungslinie oder dergleichen nur die Hough-Transformation an den Kantenpunkten der inneren visuellen Führungslinie ausgeführt wird, ist die Erstreckungsrichtung einer resultierenden Linie möglicherweise von der Erstreckungsrichtung der tatsächlichen Fahrspur verschieden.
-
Wie andererseits in dem Patentdokument 1 offenbart ist, kann bei der Erkennung der doppelten Straßenmarkierungslinie oder dergleichen eine in einer entsprechenden Richtung verlaufende Linie als doppelte Straßenmarkierungslinie mit der speziellen Führungslinie oder dergleichen ermittelt werden, indem positive Kantenpunkte und negative Kantenpunkte sowohl für die innere Linie als auch für die äußere Linie (visuelle Führungslinie und Fahrspurbegrenzungslinie) detektiert werden. Die Erfassung von Kantenpunkten für die mehreren Linien bei der Erkennung der doppelten Straßenmarkierungslinie kann jedoch die Rechenlast in exzessiver Weise erhöhen.
-
Die vorliegende Erfindung ist in Anbetracht der vorstehend geschilderten Situation erfolgt, und eine Aufgabe der vorliegenden Erfindung besteht in der Angabe einer Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, die ein stabiles Erkennungsresultat auch für multiple Straßenmarkierungslinien oder dergleichen ausführt, ohne daß ein Rechenvorgang, wie z. B. eine Kantenpunkt-Erfassung, kompliziert wird.
-
Gelöst wird diese Aufgabe mit einer Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, wie sie im Anspruch 1 angegeben ist. Vorteilhafte Weiterbildungen der erfindungsgemäßen Vorrichtung sind in den Unteransprüchen angegeben.
-
Eine Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge weist gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
eine Straßenmarkierungslinien-Begrenzungspunkt-Erfassungseinrichtung, die ein Paar aus einem Straßenmarkierungslinien-Anfangspunkt und einem Straßenmarkierungslinien-Endpunkt für jeweilige Abfragelinien, die in der horizontalen Richtung in einem aufgenommenen Bild von einer Fahrumgebung eines eigenen Fahrzeugs vorgegeben sind, auf der Basis einer Helligkeitsänderung an den Abfragelinien erfaßt;
eine Mittelpunkt-Berechnungseinrichtung, die einen Mittelpunkt des auf den jeweiligen Abfragelinien erfaßten Straßenmarkierungslinien-Anfangspunkts und Straßenmarkierungslinien-Endpunkts berechnet;
eine Punktgruppen-Auswähleinrichtung, die eine Punktgruppe mit einer geringsten Streuung zumindest aus einer von einer Punktgruppe, die aus Straßenmarkierungslinien-Anfangspunkten besteht, oder einer Punktgruppe, die aus Straßenmarkierungslinien-Endpunkten besteht, und einer Punktgruppe, die aus Mittelpunkten besteht, in Abhängigkeit von einer vorbestimmten Bedingung auswählt; und
eine Straßenmarkierungslinien-Berechnungseinrichtung, die eine Straßenmarkierungslinie auf der Basis der ausgewählten Punktgruppe berechnet.
-
Gemäß einem Aspekt der vorliegenden Erfindung kann die Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge ein Erkennungsresultat für eine mehrfache bzw. aus mehreren Einzellinien bestehende Straßenmarkierungslinie oder dergleichen in stabiler Weise erzielen, ohne daß ein Rechenvorgang, wie z. B. eine Kantenpunkt-Erfassung, kompliziert ist.
-
Bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
-
Die Erfindung und Weiterbildungen der Erfindung werden im folgenden anhand der zeichnerischen Darstellungen eines Ausführungsbeispiels noch näher erläutert.
-
In den Zeichnungen zeigen:
-
1 eine allgemeine schematische Darstellung zur Erläuterung einer Fahrunterstützungsvorrichtung für Fahrzeuge gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 ein Flußdiagramm zur Erläuterung einer Routine einer Straßenmarkungslinienerkennung;
-
3 ein Diagramm zur Erläuterung eines Übergangs in der Helligkeit und dem Differenzwert davon bei einem Straßenmarkierungslinien-Anfangspunkt und einem Straßenmarkierungslinien-Endpunkt;
-
4A eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs;
-
4B eine Ansicht zur Erläuterung eines Straßenmarkierungslinien-Anfangspunkts und eines Straßenmarkierungslinien-Endpunkts, die aus dem Bild gemäß 4A erfaßt werden;
-
4C eine Ansicht zur Erläuterung eines Mittelpunkts, der auf der Basis der Darstellung gemäß 4B berechnet wird;
-
5A eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs;
-
5B eine Ansicht zur Erläuterung eines Straßenmarkierungslinien-Anfangspunkts und eines Straßenmarkierungslinien-Endpunkts, die aus dem Bild gemäß 5A erfaßt werden;
-
5C eine Ansicht zur Erläuterung eines Mittelpunkts, der auf der Basis der Darstellung gemäß 5B berechnet wird;
-
6 ein Diagramm zur Erläuterung eines Berechnungsverfahrens einer Hough-Transformation;
-
7 eine Ansicht zur Erläuterung eines Hough-Raums; und
-
8 eine Ansicht zur Erläuterung einer Modifizierung eines Punktgruppen-Auswahlverfahrens.
-
Im folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
Dabei zeigt 1 eine allgemeine schematische Darstellung zur Erläuterung einer Fahrunterstützungsvorrichtung für Fahrzeuge gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 zeigt ein Flußdiagramm zur Erläuterung einer Routine einer Straßenmarkierungslinien-Erkennung; 3 zeigt eine Ansicht zur Erläuterung eines Übergangs hinsichtlich der Helligkeit und des Differenzwerts von dieser bei einem Straßenmarkierungslinien-Anfangspunkt und einem Straßenmarkierungslinien-Endpunkt.
-
4A zeigt eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs; 4B zeigt eine Ansicht zur Erläuterung eines Straßenmarkierungslinien-Anfangspunkts und eines Straßenmarkierungslinien-Endpunkts, die aus dem Bild gemäß 4A erfaßt werden; und 4C zeigt eine Ansicht zur Erläuterung eines Mittelpunkts, der auf der Basis der Darstellung gemäß 4B berechnet wird.
-
5A zeigt eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs; 5B zeigt eine Ansicht zur Erläuterung eines Straßenmarkierungslinien-Anfangspunkts und eines Straßenmarkierungslinien-Endpunkts, die aus dem Bild gemäß 5A erfaßt werden; 5C zeigt eine Ansicht zur Erläuterung eines Mittelpunkts, der auf der Basis der Darstellung gemäß 5B berechnet wird; 6 zeigt ein Diagramm zur Erläuterung eines Berechnungsverfahrens einer Hough-Transformation; 7 zeigt eine Ansicht zur Erläuterung eines Hough-Raums; und 8 zeigt eine Ansicht zur Erläuterung einer Modifizierung eines Punktgruppen-Auswählverfahrens.
-
In 1 bezeichnet das Bezugszeichen 1 ein Fahrzeug (eigenes Fahrzeug) oder dergleichen, in dem eine Fahrunterstützungsvorrichtung 2 angebracht ist. Die Fahrunterstützungsvorrichtung 2 ist in erster Linie zum Beispiel aus einer Stereokamera 3, einer Stereobild-Erkennungsvorrichtung 4 und einer Steuereinheit 5 gebildet.
-
Das eigene Fahrzeug 1 ist ausgestattet mit einem Fahrzeuggeschwindigkeitssensor 11 zum Erfassen einer Geschwindigkeit V des eigenen Fahrzeugs, einem Gierratensensor 12 zum Erfassen einer Gierrate γ, einem Hauptschalter 13 zum Einschalten und Ausschalten einer Fahrsteuerfunktion, einem Lenkwinkelsensor 14, der gepaart mit einer mit einem Lenkrad verbundenen Lenkwelle angebracht ist und einen Lenkwinkel θst detektiert, sowie mit einem Gaspedal-Öffnungssensor 15 zum Erfassen eines Niederdrückausmaßes eines Gaspedals durch einen Fahrer bzw. eines Gaspedal-Öffnungsausmaßes θacc.
-
Die Stereokamera 3 ist gebildet aus einem Paar von CCD-Kameras, die eine Festkörper-Abbildungsvorrichtung, wie zum Beispiel eine ladungsgekoppelte Vorrichtung (CCD) für ein stereooptisches System, verwenden. Die rechte und die linke CCD-Kamera sind in einem vorderen Deckenbereich des Innenraums des eigenen Fahrzeugs mit einer bestimmten Beabstandung voneinander angebracht, nehmen ein Stereobild eines Objekts außerhalb des eigenen Fahrzeugs von verschiedenen Blickpunkten auf und geben Bilddaten an eine Stereobild-Erkennungsvorrichtung 4 aus. In der nachfolgenden Beschreibung wird das eine Bild eines Paares von aufgenommenen Stereobildern (beispielsweise das rechte Bild) als Referenzbild bezeichnet, während das andere Bild (beispielsweise das linke Bild) als Vergleichsbild bezeichnet wird.
-
Die Stereobild-Erkennungsvorrichtung 4 unterteilt als erstes das Referenzbild in kleine Bereiche von beispielsweise 4×4 Pixeln und vergleicht das Referenzbild und das Vergleichsbild hinsichtlich der Helligkeit oder des Farbmusters von jedem kleinen Bereich, um einen entsprechenden Bereich aufzufinden, und schafft eine Distanzverteilung über das gesamte Referenzbild.
-
Außerdem stellt die Stereobild-Erkennungsvorrichtung 4 eine Helligkeitsdifferenz zwischen jedem Pixel des Referenzbildes und benachbarten Pixeln von diesem fest, extrahiert die Helligkeitsdifferenzen, die einen Schwellenwert übersteigen, als Kante, und versieht die extrahierten Pixel (Kanten) mit Distanzinformation, um ein Verteilungsbild der Kanten mit Distanzinformation (Distanzbild) zu generieren.
-
Auf der Basis des generierten Distanzbildes ordnet die Stereobild-Erkennungsvorrichtung 4 dann einer Straßenmarkierungslinie, einer Seitenwand bzw. Seitenbegrenzung und einem dreidimensionalen Objekt oder dergleichen vor dem eigenen Fahrzeug unterschiedliche Identifikationen zu und überwacht diese dann in Abhängigkeit von der betreffenden Identifikation in kontinuierlicher Weise innerhalb von Rahmen.
-
Bei dem vorliegenden Ausführungsbeispiel handelt es sich bei dem Begriff weiße Straßenlinie oder Straßenmarkierungslinie um eine allgemeine Bezeichnung für Linien, die sich entlang einer Straße erstrecken, um eine eigene Fahrspur abzugrenzen, wie zum Beispiel eine einzelne Fahrspurbegrenzungslinie bzw. Mittellinie, und eine Mehrfachlinie, die eine visuelle Führungslinie innenseitig von der Fahrspurbegrenzungslinie (Doppellinie usw.) aufweist.
-
Bei der Form jeder Linie kann es sich um eine durchgehende Linie oder um eine gestrichelte bzw. unterbrochene Linie handeln, wobei jede Linie auch als gelbe Linie, Bott-Punkte oder dergleichen vorhanden sein kann.
-
Bei der Straßenmarkierungslinienerkennung gemäß dem vorliegenden Ausführungsbeispiel werden ferner, selbst wenn es sich bei einer tatsächlichen Straßenmarkierungslinie um eine Doppellinie handelt, sowohl die rechte als auch die linke Linie jeweils unter Annäherung an eine einzige durchgezogene Linie, eine einzige gekrümmte Linie usw. erkannt.
-
Bei der Straßenmarkierungslinienerkennung dieses Typs erfaßt die Stereobild-Erkennungsvorrichtung 4 Kanten, an denen sich die Helligkeit über ein vorbestimmtes Ausmaß hinaus ändert, an einer Vielzahl von Abfragelinien L, die in der horizontalen Richtung (Fahrzeugbreitenrichtung) in einem Straßenmarkierungslinien-Erfassungsbereich vorgegeben sind, um auf diese Weise ein Paar aus einem Straßenmarkierungslinien-Anfangspunkt Ps und einem Straßenmarkierungslinien-Endpunkt Pe für jede Abfragelinie zu erfassen.
-
Mit anderen Worten, es erfaßt die Straßenmarkierungslinien-Erkennungsvorrichtung 4 in jedem von dem rechten und linken Straßenmarkierungslinien-Erfassungsbereich, die in dem Referenzbild vorgegeben sind, die Kantenpunkte durch Überprüfen der Helligkeitsänderung jedes Pixels auf jeder Abfragelinie L von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung. Dann erfaßt die Stereobild-Erkennungsvorrichtung 4 das Paar aus einem Straßenmarkierungs-Anfangspunkt Ps und einem Straßenmarkierungs-Endpunkt Pe sowohl an der rechten als auch an der linken Seite jeder Abfragelinie L.
-
Ferner berechnet die Stereobild-Erkennungsvorrichtung 4 einen Mittelpunkt Pm aus dem Straßenmarkierungslinien-Anfangspunkt Ps und dem Straßenmarkierungslinien-Endpunkt Pe, die an jeder Abfragelinie L erfaßt worden sind. Außerdem wählt die Stereobild-Erkennungsvorrichtung 4 eine Punktgruppe mit einer geringeren Streuung aus einer Punktgruppe, die aus den Straßenmarkierungslinien-Anfangspunkten Ps besteht, und einer Punktgruppe, die aus den Mittelpunkten Pm besteht, gemäß einer vorbestimmten Bedingung aus, um dadurch eine Straßenmarkierungslinie auf der Basis der ausgewählten Punktgruppe zu berechnen.
-
Wie vorstehend beschrieben worden ist, besitzt die Stereobild-Erkennungsvorrichtung 4 bei dem vorliegenden Ausführungsbeispiel die Funktion einer Straßenmarkierungslinien-Erkennungsvorrichtung, wobei sie ferner die Funktionen einer Straßenmarkierungslinien-Begrenzungspunkt-Erfassungseinrichtung, einer Mittelpunkt-Berechnungseinrichtung, einer Punktgruppen-Auswähleinrichtung sowie einer Straßenmarkierungslinien-Berechnungseinrichtung aufweist.
-
Information über die Fahrumgebung vor dem eigenen Fahrzeug 1, die von der Stereobild-Erkennungsvorrichtung 4 erkannt worden ist, wird in die Steuereinheit 5 eingegeben. Ferner werden die eigene Fahrzeuggeschwindigkeit V von dem Fahrzeuggeschwindigkeitssensor 11, die Gierrate γ von dem Gierratensensor 12 und dergleichen als Fahrinformation des eigenen Fahrzeugs 1 in die Steuereinheit 5 eingegeben, und ein Betriebssignal von dem Hauptschalter 13, der Lenkwinkel Ost von dem Lenkwinkelsensor 14 und das Gaspedalöffnungsausmaß θacc von dem Gaspedalöffnungssensor 15 und dergleichen werden als Eingabeinformationen hinsichtlich einer von dem Fahrer ausgeführten Betätigung in die Steuereinheit 5 eingegeben.
-
Wenn zum Beispiel die Ausführung einer adaptiven Cruise-Control-Funktion (ACC) bzw. einer adaptiven Geschwindigkeitsregelungsfunktion, bei der es sich um eine der Fahrunterstützungs-Steuerfunktionen handelt, durch die Betätigung des Hauptschalters 13 von dem Fahrer angewiesen wird, liest die Steuereinheit 15 eine Richtung eines vorausfahrenden Fahrzeugs, das von der Stereokamera-Erkennungsvorrichtung 4 erkannt worden ist, um dadurch festzustellen, ob ein vorausfahrendes Fahrzeug, dem auf einer Fahrroute des eigenen Fahrzeugs nachgefolgt werden kann, vorhanden ist oder nicht.
-
Wenn infolgerdessen kein zu verfolgendes vorausfahrendes Fahrzeug erfaßt wird, so wird eine Fahrsteuerung mit konstanter Geschwindigkeit durch eine Öffnungs- und Schließsteuerung einer Drosselklappe 16 (Motorausgangssteuerung) ausgeführt, um dadurch die Geschwindigkeit V des eigenen Fahrzeugs 1 beizubehalten.
-
Wenn dagegen ein zu verfolgendes vorausfahrendes Fahrzeug erfaßt wird und die Geschwindigkeit des vorausfahrenden Fahrzeugs gleich der oder höher als die vorgegebene Fahrzeuggeschwindigkeit ist, so wird eine Fahrzeugnachfolgesteuerung ausgeführt, bei der das eigene Fahrzeug dem vorausfahrenden Fahrzeug mit einem Fahrzeugabstand von dem vorausfahrenden Fahrzeug folgt, der auf einen Ziel-Fahrzeugabstand konvergiert ist.
-
Während dieser Fahrzeugnachfolgesteuerung konvergiert die Steuereinheit 5 den Fahrzeugabstand von dem vorausfahrenden Fahrzeug auf den Ziel-Fahrzeugabstand im Großen und Ganzen durch Öffnungs- und Schließsteuerung der Drosselklappe 16 (Motorausgangssteuerung). Wenn die Steuereinheit 5 feststellt, daß durch die Steuerung der Drosselklappe 16 allein keine ausreichende Geschwindigkeitsreduzierung erzielt wird, verwendet die Steuereinheit 5 ferner in Kombination eine Steuerung eines Ausgangsfluiddrucks von einem aktiven Bremskraftverstärker 17 (automatische Bremsintervention) zum Konvergieren des Abstands zwischen den Fahrzeugen auf den Zielabstand zwischen den Fahrzeugen.
-
Wenn die Ausführung einer Funktion zum Verhindern des Abkommens von einer Fahrspur, bei der es sich um eine der Fahrunterstützungs-Steuerfunktionen handelt, durch den von dem Fahrer betätigten Hauptschalter 13 angewiesen wird, gibt die Steuereinheit 5 zum Beispiel eine Warnungsbestimmungslinie auf der Basis der rechten und der linken Straßenmarkierungslinie vor, die die eigene Fahrspur definieren, und schätzt eine Fahrtroute des eigenen Fahrzeugs auf der Basis der Geschwindigkeit V und der Gierrate γ des eigenen Fahrzeugs 1.
-
Wenn die Steuereinheit 5 dann zum Beispiel feststellt, daß die Fahrtroute des eigenen Fahrzeugs eine von der rechten und der linken Warnungsbestimmungslinie innerhalb einer vorgegebenen Distanz des eigenen Fahrzeugs nach vorn (zum Beispiel von 10–16 m) kreuzt, trifft die Steuereinheit 5 die Feststellung, daß bei dem eigenen Fahrzeug 1 eine hohe Wahrscheinlichkeit zu einem Abkommen von der aktuellen eigenen Fahrspur besteht, und die Steuereinheit 5 veranlaßt eine Warnung hinsichtlich des Verlassens der Fahrspur.
-
Als nächstes wird eine von der vorstehend beschriebenen Stereobild-Erkennungsvorrichtung 4 ausgeführte Straßenmarkierungslinienerkennung unter Bezugnahme auf das in 2 gezeigte Flußdiagramm einer Routine der Straßenmarkierungslinienerkennung beschrieben.
-
Wenn diese Routine beginnt, führt die Stereobild-Erkennungsvorrichtung 4 in einem Schritt S101 zuerst die Erfassung eines Straßenmarkierungslinien-Anfangspunkts Ps aus. Mit anderen Worten, es erfaßt die Stereobild-Erkennungsvorrichtung 4 in dem rechten und dem linken Straßenmarkierungslinien-Erfassungsbereich, die in dem Referenzbild vorgegeben sind, eine Kante an den Abfragelinien L von der Innenseite zur Außenseite in Fahrzeugbreiten-richtung, die auf einer Mittellinie des Bildes basieren (oder einer Bewegungsrichtung des eigenen Fahrzeugs, die in Abhängigkeit von dem Lenkwinkel Ost oder dergleichen geschätzt wird), und sucht einen Kantenpunkt, der einen Straßenmarkierungslinien-Anfangspunkt Ps anzeigt.
-
Wie in 3 gezeigt, wird insbesondere beispielsweise bei der Suche von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung dann, wenn ein Punkt (Kantenpunkt) vorliegt, bei dem die Helligkeit eines Pixels an der Außenseite in Fahrzeugbreitenrichtung relativ höher ist als die Helligkeit eines Pixels an der Innenseite und ein Helligkeits-Differenzwert, der einen Änderungsbetrag der Helligkeit anzeigt, gleich einem vorgegebenen Schwellenwert ist oder diesen in positiver Weise übersteigt, der Kantenpunkt von der Stereobild-Erkennungsvorrichtung 4 als Straßenmarkierungslinien-Anfangspunkt Ps erfaßt.
-
Für eine schnelle Berechnung bei der Suche an den Abfragelinien L von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung erfaßt die Stereobild-Erkennungsvorrichtung 4 als Straßenmarkierungs-Anfangspunkt Ps nur einen Kantenpunkt, der zuerst gemäß den vorstehend genannten Erfordernissen erfaßt worden ist (d. h. einen Kantenpunkt, der gemäß den vorstehend genannten Erfordernissen an der am weitesten innen liegenden Seite in Fahrzeugbreitenrichtung erfaßt worden ist).
-
Wenn es sich bei einem Erkennungsgegenstand z. B. um eine doppelte Straßenmarkierungslinie handelt und eine innere Straßenmarkierungslinie (visuelle Führungslinie) von dieser aus rautenförmigen Markierungen (vgl. 4A) gebildet ist, werden bei dieser Suche Straßenmarkierungslinien-Anfangspunkte Ps, die sowohl auf der rechten als auch auf der linken Seite des eigenen Fahrzeugs erkannt werden, in erster Linie auf der Basis der inneren visuellen Führungslinie erfaßt und in diskontinuierlicher Weise in der Erstreckungsrichtung der Straßenmarkierungslinien angeordnet (vgl. 4B).
-
Wenn es sich dagegen bei einem Erkennungsgegenstand beispielsweise um eine doppelte Straßenmarkierungslinie handelt, bei der eine innere Straßenmarkierungslinie (visuelle Führungslinie) gestrichelt ausgeführt ist (vgl. 5A), werden Anfangspunkte Ps, die sowohl auf der rechten als auch der linken Seite des eigenen Fahrzeugs erkannt werden, in erster Linie auf der Basis der inneren visuellen Führungslinie erfaßt und in erster Linie kontinuierlich in der Erstreckungsrichtung der Straßenmarkierungslinien angeordnet (vgl. 5B).
-
Anschließend führt die Stereobild-Erkennungsvorrichtung 4 in dem Schritt S102 die Erkennung eines Endpunkts Pe aus. Mit anderen Worten, es erfaßt die Stereobild-Erkennungsvorrichtung 4 in einem rechten und einem linken Straßenmarkierungslinien-Erfassungsbereich, die in dem Referenzbild vorgegeben sind, eine Kante auf den Abfragelinien L von der Innenseite zur Außenseite in der Fahrzeugbreitenrichtung, die auf einer Mittellinie des Bildes (oder einer Fahrtrichtung des eigenen Fahrzeugs, die in Abhängigkeit von dem Lenkwinkel Ost oder dergleichen geschätzt wird) basieren, und sucht nach einem Kantenpunkt, der einen Straßenmarkierungslinien-Endpunkt Pe anzeigt.
-
Insbesondere wird in der in 3 gezeigten Weise beispielsweise bei der Suche von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung dann, wenn ein Punkt (Kantenpunkt) vorhanden ist, bei dem die Helligkeit eines Pixels an der Außenseite in Fahrzeugbreitenrichtung relativ niedriger ist als die Helligkeit eines Pixels an der Innenseite und ein Helligkeits-Differenzwert, der einen Änderungsbetrag der Helligkeit anzeigt, gleich einem vorgegebenen Schwellenwert ist oder diesen in negativer Richtung überschreitet, der Kantenpunkt von der Stereobild-Erkennungsvorrichtung 4 als Straßenmarkierungslinien-Endpunkt Ps erfaßt.
-
Für eine schnelle Berechnung bei der Suche an den Abfragelinien L von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung erfaßt die Stereobild-Erkennungsvorrichtung 4 als Straßenmarkierungs-Endpunkt Pe nur einen Kantenpunkt, der zuerst gemäß den vorstehend genannten Erfordernissen erfaßt worden ist (d. h. einen Kantenpunkt, der gemäß den vorstehend genannten Erfordernissen an der am weitesten innen liegenden Seite in Fahrzeugbreitenrichtung erfaßt worden ist).
-
Wenn es sich bei einem Erkennungsgegenstand z. B. um eine doppelte Straßenmarkierungslinie handelt und eine innere Straßenmarkierungslinie (visuelle Führungslinie) von dieser aus rautenförmigen Markierungen (vgl. 4A) gebildet ist, werden bei dieser Suche Straßenmarkierungslinien-Endpunkte Pe, die sowohl auf der rechten als auch auf der linken Seite des eigenen Fahrzeugs erkannt werden, in erster Linie auf der Basis der inneren visuellen Führungslinie erfaßt und in diskontinuierlicher Weise in der Erstreckungsrichtung der Straßenmarkierungslinien angeordnet (vgl. 4B).
-
Wenn es sich dagegen bei einem Erkennungsgegenstand beispielsweise um eine doppelte Straßenmarkierungslinie handelt, bei der eine innere Straßenmarkierungslinie (visuelle Führungslinie) gestrichelt ausgeführt ist (vgl. 5A), werden Endpunkte Pe, die sowohl auf der rechten als auch der linken Seite des eigenen Fahrzeugs erkannt werden, in erster Linie auf der Basis der inneren visuellen Führungslinie erfaßt und in erster Linie kontinuierlich in der Erstreckungsrichtung der Straßenmarkierungslinien angeordnet (vgl. 5B).
-
Es ist darauf hinzuweisen, daß in dem in 5A gezeigten Beispiel innere und äußere Linien s der Straßenmarkierungslinien in der fernen Distanz aufgrund der Auflösung zusammengeführt sind. Somit werden Straßenmarkierungslinien-Endpunkte jenseits einer bestimmten Distanz auf der Basis der Außenlinie der doppelten Straßenmarkierungslinie (Fahrspurbegrenzungslinie) erfaßt und in der Erstreckungsrichtung der Straßenmarkierungslinien kontinuierlich angeordnet, und zwar in einer Position, die in der Fahrzeugbreitenrichtung um einen bestimmten Betrag zur Außenseite relativ versetzt ist (vgl. 5B).
-
Bei dem vorliegenden Ausführungsbeispiel wird den in den Schritten S101 und S102 erfaßten Straßenmarkierungslinien-Anfangspunkten und Straßenmarkierungslinien-Endpunkten Distanzinformation zugeordnet. Alternativ hierzu kann die Distanzinformation für die Straßenmarkierungslinien-Anfangspunkte und die Straßenmarkierungslinien -Endpunkte direkt ermittelt werden, indem die Straßenmarkierungslinien-Anfangspunkte und -Endpunkte in dem Distanzbild anstatt dem Referenzbild erfaßt werden.
-
Anschließend führt die Stereobild-Erkennungsvorrichtung 4 in einem Schritt S103 die Berechnung eines Mittelpunks Pm für das Paar aus dem Straßenmarkierungslinien-Anfangspunkt Ps und dem Straßenmarkierungslinien-Endpunkt Pe aus, die an der jeweiligen Abfragelinie L erfaßt worden sind. Insbesondere berechnet die Stereobild-Erkennungsvorrichtung 4 eine Breite der Straßenmarkierungslinie an jeder Abfragelinie L auf der Basis der Anzahl von Pixeln von dem Straßenmarkierungslinien-Anfangspunkt Ps bis zu dem Straßenmarkierungslinien-Endpunkt Pe (sowie Distanzinformation).
-
Anschließend gibt die Stereobild-Erkennungsvorrichtung 4 einen Punkt, der die Breite der Straßenmarkierungslinie in zwei Hälften teilt, als Mittelpunkt Pm aus.
-
Da in diesem Fall hinsichtlich der in 4A gezeigten doppelten Straßenmarkierungslinien die Straßenmarkierungslinien-Anfangspunkte Ps und die Straßenmarkierungslinien-Endpunkte Pe größtenteils auf den inneren visuellen Führungslinien erfaßt werden, sind die meisten der berechneten Mittelpunkte Pm in der Erstreckungsrichtung der Straßenmarkierungslinien kontinuierlich angeordnet (vgl. 4C).
-
Dagegen sind hinsichtlich der in 5A gezeigten doppelten Straßenmarkierungslinie aufgrund der Tatsache, daß die meisten der Straßenmarkierungslinien-Anfangspunkte Ps auf den inneren visuellen Führungslinien erfaßt werden und einige der Straßenmarkierungslinien-Endpunkte Pe auf der Basis der Außenlinien (Fahrspurbegrenzungslinien) erfaßt werden, die berechneten Mittelpunkte diskontinuierlich angeordnet, insbesondere in der nahen und der fernen Distanz des eigenen Fahrzeugs (vgl. 5C).
-
In einem Schritt S104 nimmt die Stereobild-Erkennungsvorrichtung 4 z. B. eine Einschätzung einer aus den Straßenmarkierungslinien-Anfangspunkten Ps bestehenden Punktgruppe und einer aus den Mittelpunkten Pm bestehenden Punktgruppe vor und wählt die Punktgruppe mit einer geringeren Streuung auf der Basis einer vorbestimmten Bedingung aus.
-
Insbesondere ermittelt die Stereobild-Erkennungsvorrichtung 4 bei dem vorliegenden Ausführungsbeispiel eine Approximationsformel, die eine Punktgruppe zum Ausdruck bringt (z. B. lineare Approximationsformel), unter Verwendung einer Hough-Transformation, und wählt diejenige Gruppe aus, in der die Fehler der Punkte zu der ermittelten Approximationsformel für die Straßenmarkierungslinienberechnung kleiner sind.
-
Es folgt nun eine ausführlichere Beschreibung unter Bezugnahme auf ”P”, wobei es sich um eine Abkürzung für den Straßenmarkierungslinien-Anfangspunkt Ps und den Mittelpunkt Pm handelt. 6 zeigt ein Beispiel für die Auswahl der Punktgruppe. Für jeden die Punktgruppe bildenden Punkt P ändert die Stereobild-Erkennungsvorrichtung 4 die Neigung θ einer Linie h, die durch den Punkt P(x, y) von 0° bis 180° hindurchgeht, um einen vorbestimmten Winkel Δθ, um eine Distanz ρ von dem Nullpunkt O zu der Linie h (Länge der Senkrechten) für jeden Wert θ gemäß dem nachfolgenden Ausdruck (1) zu erhalten. ρ = x·cosθ + y·sinθ (1).
-
Anschließend nimmt die Stereobild-Erkennungsvorrichtung 4 z. B. ein Votieren bzw. Projizieren der ermittelten Beziehung zwischen θ und ρ jedes Punktes P auf einen entsprechenden Punkt einer in 7 gezeigten Hough-Ebene (θ, ρ) beispielsweise als Häufigkeit vor. Weiterhin extrahiert die Stereobild-Erkennungsvorrichtung 4 eine Kombination von θ und ρ, die die größte Häufigkeit in der Hough-Ebene (θ, ρ) aufweist, und gibt die Linie, die durch den Ausdruck (1) mit dem extrahierten Wert θ und ρ (Hough-Linie H) definiert ist, als Approximationsformel für die Punktgruppen vor.
-
Anschließend berechnet die Stereobild-Erkennungsvorrichtung 4 den Durchschnittswert der Fehler der Punkte zu der Approximationsformel (Hough-Linie H) und wählt diejenige Punktgruppe, die einen geringeren Durchschnittswert der berechneten Fehler aufweist, für die Straßenmarkierungslinienberechnung aus.
-
Als Ergebnis des vorstehend geschilderten Vorgangs wird z. B. hinsichtlich der in 4A gezeigten doppelten Straßenmarkierungslinien die aus den Mittelpunkten Pm bestehende Punktgruppe für die Straßenmarkierungslinienberechnung in dem Straßenmarkierungslinien-Erfassungsbereich sowohl auf der linken aus auch auf der rechten Seite ausgewählt.
-
Dagegen wird z. B. hinsichtlich der in 5A gezeigten doppelten Straßenmarkierungslinien die aus den Straßenmarkierungslinien-Anfangspunkten Ps bestehende Punktgruppe für die Straßenmarkierungslinienberechnung in dem Straßenmarkierungslinien-Erfassungsbereich sowohl auf der linken als auch auf, der rechten Seite ausgewählt.
-
Zum Vereinfachen des Auswahlvorgangs können z. B. die maximalen Werte (Spitzenwerte) der Häufigkeiten in der Hough-Ebene (θ, ρ), die den auswählbaren Punktgruppen entsprechen, verglichen werden, so daß eine Punktgruppe mit dem größten Spitzenwert für die Straßenmarkierungslinienberechnung ausgewählt wird.
-
In einem Schritt S105 berechnet die Stereobild-Erkennungsvorrichtung 4 dann eine Straßenmarkierungslinie auf der Basis der in dem Schritt S104 ausgewählten Punktgruppe. Wenn bei dem vorliegenden Ausführungsbeispiel beispielsweise eine Punktgruppe, die aus Straßenmarkierungslinien-Anfangspunkten Ps besteht, für die Straßenmarkierungslinienberechnung ausgewählt wird, gibt die Stereobild-Erkennungsvorrichtung 4 einfach die Hough-Linie H auf der Basis der ausgewählten Punktgruppe als Straßenmarkierungslinie vor, die die eigene Linie teilt.
-
Wenn dagegen bei einem anderen Beispiel eine Punktgruppe, die aus Mittelpunkten Pm besteht, für die Straßenmarkierungslinienberechnung ausgewählt wird, verlagert die Stereobild-Erkennungsvorrichtung 4 die Hough-Linie H auf der Basis der ausgewählten Punktgruppe um den halben Wert der Distanz von dem Straßenmarkierungslinien-Anfangspunkt Ps bis zu dem Straßenmarkierungslinien-Endpunkt Pe auf die Innenseite in Fahrzeugbreitenrichtung und gibt die resultierende Linie als Straßenmarkierungslinie vor, die die eigene Linie teilt.
-
Gemäß dem vorliegenden Ausführungsbeispiel wird in dem Straßenmarkierungslinien-Erfassungsbereich auf der rechten und der linken Seite ein Paar aus einem Straßenmarkierungslinien-Anfangspunkt Ps und einem Straßenmarkierungslinien-Endpunkt für die jeweiligen in der horizontalen Richtung vorgegebenen Abfragelinien L auf der Basis der Helligkeitsänderung der Abfragelinien L erfaßt, und es wird ein Mittelpunkt für das jeweilige Paar aus einem Straßenmarkierungslinien-Anfangspunkt Ps und einem Straßenmarkierungslinien-Endpunkt Pe berechnet.
-
Aus der Punktgruppe, die aus den Straßenmarkierungslinien-Anfangspunkten Ps besteht, und der Punktgruppe, die aus den Mittelpunkten Pm besteht, wird dann die Punktgruppe mit einer geringeren Streuung ausgewählt, und eine Straßenmarkierungslinie wird auf der Basis der ausgewählten Punktgruppe berechnet.
-
Selbst bei multiplen Straßenmarkierungslinien kann somit ein stabiles Erkennungsresultat erzielt werden, ohne daß ein Rechenvorgang, wie z. B. die Kantenerfassung, kompliziert ist.
-
Insbesondere wird aus der Punktgruppe der Straßenmarkierungslinien-Anfangspunkte Ps, die man durch tatsächliche Kantenerfassung erhält, und der Punktgruppe der Mittelpunkte Pe zwischen den Straßenmarkierungslinien-Anfangspunkten Ps und den Straßenmarkierungslinien-Endpunkten Pe die geeignetere Punktgruppe ausgewählt, um die Straßenmarkierungslinie zu berechnen.
-
Auf diese Weise kann ein günstiges Erkennungsresultat selbst für eine spezielle doppelte Straßenmarkierungslinie erzielt werden, deren innere Linie (z. B. eine visuelle Führungslinie) aus Rautenmarkierungen oder dergleichen gebildet ist, wie dies in 4A gezeigt ist, sowie auch für eine Straßenmarkierungslinie, deren innere und äußere Linie in der fernen Distanz auf einem Bild zusammentreffen, wie dies in 5A gezeigt ist.
-
In diesem Fall wird die für die Straßenmarkierungslinienberechnung geeignetere Punktgruppe in akkurater Weise ausgewählt, indem die Streuung der Punktgruppe auf der Basis einer Hough-Linie ausgewertet wird, die durch die Hough-Transformation approximiert wird.
-
In einem Schritt S104 wird gemäß dem vorstehenden Ausführungsbeispiel die Hough-Linie für die Punktgruppenauswahl verwendet, jedoch ist die Erfindung nicht darauf beschränkt. Zum Beispiel kann die Streuung einer Punktgruppe auch auf der Basis der Verlagerung der Punkte, die die Punktgruppe bilden, hin und her in Fahrzeugbreitenrichtung ausgewertet werden.
-
Wie in 8 gezeigt ist, werden in diesem Fall z. B. hinsichtlich eines Punktes P(j) ein Punkt P(j – 2) auf einer Abfragelinie L, die zwei Linien vor der Linie liegt, auf der sich der Punkt P befindet (um zwei Linien näher bei dem eigenen Fahrzeug), und ein Punkt P(j – 1) auf einer Abfragelinie L, die sich eine Linie vor der Linie befindet, auf der der Punkt P liegt (um eine Linie näher bei dem eigenen Fahrzeug), betrachtet. Ein entlang der X-Achse vorhandener Änderungsbetrag E(j – 1) zwischen dem Punkt P(j – 2) und dem Punkt (P(j – 1) auf dem Bild wird mit einem Änderungsbetrag E(j) entlang der X-Achse zwischen dem Punkt P(j – 1) und dem Punkt PC) verglichen.
-
Wenn die Vorzeichen der Änderungsbeträge E(j – 1) und E(j) verschieden sind, wird der entsprechende Änderungsbetrag E(j) extrahiert, als Abweichung der Punktgruppe integriert und anschließend durch die Anzahl der Punkte in der Punktgruppe dividiert, um den Mittelwert der Abweichung zu erhalten. Die Mittelwerte der Abweichung der Punktgruppen, die durch die vorstehende Berechnung erzielt werden, werden verglichen, und die Punktgruppe mit dem geringsten Mittelwert der Abweichung kann als Punktgruppe mit der geringsten Streuung ausgewählt werden. Diese Technik führt zu einer ganz erheblichen Reduzierung der Rechenlast für die Punktgruppenauswahl im Vergleich zu dem vorstehend beschriebenen Vorgang, bei dem die Hough-Transformation verwendet wird.
-
Die Punktgruppe mit der geringsten Streuung kann z. B. durch Bilden einer Approximationsformel, die die Punktgruppen zum Ausdruck bringt, mittels einer Methode der kleinsten Quadrate sowie Auswählen einer Punktgruppe mit der geringsten Abweichung oder einer Punktgruppe mit dem größten Korrelationskoeffizienten als Punktgruppe mit der geringsten Streuung ausgewählt werden.
-
In diesem Fall werden zum Beispiel Punktgruppen mittels eines quadratischen Ausdrucks (y = a·x2 + b·x + c) approximiert, und es kann eine Punktgruppe, die die geringste Abweichung oder den größten Korrelationskoeffizienten in dem Bild oder im realen Raum aufweist, als Punktgruppe mit der geringsten Streuung ausgewählt werden. Diese Technik sorgt für eine drastische Reduzierung der Rechenlast für die Punktgruppenauswahl im Vergleich zu der Vorgehensweise, bei der die Hough-Transformation verwendet wird.
-
In dem vorstehenden Ausführungsbeispiel ist ein Fall beschrieben worden, in dem die Punktgruppe mit einer geringeren Streuung für die Straßenmarkierungslinienberechnung aus der Punktgruppe, die aus Straßenmarkierungslinien-Anfangspunkten Ps besteht, und der Punktgruppe, die aus Straßenmarkierungslinien-Mittelpunkten Pm besteht, ausgewählt wird. Die vorliegende Erfindung ist nicht hierauf beschränkt. Es kann auch eine Kombination aus mindestens einer von der Punktgruppe, die aus Straßenmarkierungslinien-Anfangspunkten Ps besteht, oder der Punktgruppe, die aus Straßenmarkierungslinien-Endpunkten Pe besteht, und der Punktgruppe, die aus Mittelpunkten Pm besteht, als auswählbare Gruppe für die Straßenmarkierungslinienberechnung vorgegeben werden.
-
Mit anderen Worten, es kann z. B. die Punktgruppe, die aus Straßenmarkierungslinien-Anfangspunkten Ps besteht, die Punktgruppe, die aus Straßenmarkierungslinien-Endpunkten Pe besteht, und die Punktgruppe, die aus Straßenmarkierungslinien-Mittelpunkten Pm besteht, vorgegeben werden, und unter diesen kann die Punktgruppe mit der geringsten Streuung für die Straßenmarkierungslinienberechnung ausgewählt werden.
-
Alternativ hierzu könnten die Punktgruppe, die aus Straßenmarkierungslinien-Endpunkten Pe und die Punktgruppe, die aus Mittelpunkten Pm besteht, als auswählbare Punktgruppen vorgegeben werden, und unter diesen kann wiederum die Punktgruppe mit der geringeren Streuung für die Straßenmarkierungslinienberechnung ausgewählt werden.
-
Weiterhin ist bei dem vorliegenden Ausführungsbeispiel ein Fall beschrieben worden, in dem die Straßenmarkierungslinienerkennung auf der Basis eines Paares von aufgenommenen Stereobildern ausgeführt wird, jedoch ist die vorliegende Erfindung nicht darauf beschränkt, und selbstverständlich kann die Straßenmarkierungslinienerkennung auch auf der Basis eines mittels einer einäugigen Kamera aufgenommenen Bildes ausgeführt werden.
-
Bezugszeichenliste
-
- 1
- eigenes Fahrzeug
- 2
- Fahrunterstützungsvorrichtung
- 3
- Stereokamera
- 4
- Stereobild-Erkennungsvorrichtung
- 5
- Steuereinheit
- 11
- Geschwindigkeitssensor
- 12
- Gierratensensor
- 13
- Hauptschalter
- 14
- Lenkwinkelsensor
- 15
- Gaspedalöffnungssensor
- 16
- Drosselklappe
- 17
- aktiver Bremskraftverstärker
- h
- Linie
- L
- Abfragelinie
- O
- Nullpunkt
- Pe
- Endpunkt
- Pm
- Mittelpunkt
- Ps
- Anfangspunkt
- V
- Fahrzeuggeschwindigkeit Neigung
- Δθ
- vorbestimmter Winkel
- θacc
- Gasgedal-Öffnungsausmaß
- θst
- Lenkwinkel Distanz von Nullpunkt
- γ
- Gierrate
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
