DE102015109564B4

DE102015109564B4 - Bildverarbeitungsvorrichtung

Info

Publication number: DE102015109564B4
Application number: DE102015109564.5A
Authority: DE
Inventors: c/o FUJI JUKOGYO KABUSHIK Tamura Yuichiroh; c/o FUJI JUKOGYO KABUSHIKI Natsume Kensaku
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2014-06-18
Filing date: 2015-06-16
Publication date: 2019-06-13
Anticipated expiration: 2035-06-17
Also published as: US9690995B2; CN105282498B; DE102015109564A1; US20150371093A1; JP2016004459A; CN105282498A; DE102015109564B9; JP5908946B2

Abstract

Es wird eine Bildverarbeitungsvorrichtung bereitgestellt. In der Vorrichtung detektiert, als Fahrspurliniedetektionsprozesse, ausgerichtet auf einen Fahrspurliniesuchbereich, gesetzt für ein aufgenommenes Bild, erhalten durch Abbildung der Fahrtrichtung eines Fahrzeugs, ein Fahrspurliniedetektionsprozess gemäß einem ersten Modus ein Fahrspurlinienteil basierend auf einem Luminanzbild für mehr als die Hälfte von Reihen innerhalb des Fahrspurliniesuchbereichs und detektiert ein Fahrspurlinienteil basierend auf einem Farbdifferenzbild für die anderen Reihen, während ein Fahrspurliniedetektionsprozess gemäß einem zweiten Modus ein Fahrspurlinienteil detektiert basierend auf dem Farbdifferenzbild für eine größere Anzahl von Reihen als in dem ersten Modus. Daraufhin führt ein Modusumschaltsteuerungsprozess eine Modusumschaltbestimmung durch zwischen dem ersten Modus und dem zweiten Modus auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinienteil einer vorbestimmten Breite oder breiter detektiert wurde, aus den Reihen, in denen ein Fahrspurlinienteil detektiert wurde basierend auf dem Farbdifferenzbild, und führt die Modusumschaltsteuerung durch basierend auf dem Bestimmungsergebnis.

Description

Die vorliegende Erfindung betrifft das technische Gebiet von Bildverarbeitungsvorrichtungen, die eine Fahrspurlinie, projiziert als ein Subjekt, detektieren auf der Basis eines aufgenommenen Bildes, das erhalten wird durch Abbilden der Fahrtrichtung eines Fahrzeugs mit der Vorrichtung.
Fahrzeugsysteme, die eine Fahrzeugaußenumgebung erkennen, beinhalten Systeme, die ein Subjekt erkennen auf der Basis eines aufgenommenen Bildes, das erhalten wird durch Stereoabbildung der Fahrtrichtung eines Fahrzeugs, das mit dem System ausgerüstet ist, durch ein Paar Kameras. Systeme, die so ein Subjekt erkennen, das in der Fahrtrichtung des Fahrzeugs vorhanden ist, beinhalten Systeme, die dreidimensionale Positionsinformation (Information bezüglich der Position im tatsächlichen Raum) des Subjekts erzeugen, einschließlich Information bezüglich des Abstandes zu dem Subjekt. In solchen Systemen werden insbesondere aufgenommene Bilder von unterschiedlichen Perspektiven erhalten durch Stereoabbildung, die Parallaxe des Subjekts wird berechnet auf der Basis der aufgenommenen Bilder und dreidimensionale Positionsinformation bezüglich des Subjekts wird erzeugt auf der Basis der Parallaxe.
Erkennungsschemata der Fahrzeugaußenumgebung beinhalten Schemata, die Fahrspurlinien, die auf einer Straßenoberfläche ausgebildet sind, wie beispielsweise weiße Fahrspurlinien, detektieren und Kurven, die in der Fahrtrichtung des Verlaufs der Straßenoberfläche vorhanden sind, auf der Basis eines dreidimensionalen Modells der Fahrspurlinien detektieren.
Fahrspurliniedetektion wird typischerweise erreicht auf der Basis von Luminanzbildern durch Auswerten eines vergleichsweise großen Unterschiedes zwischen der Straßenoberfläche und weißen Fahrspurlinien.
Der Begriff „Fahrspurlinie“, wie er hierin verwendet wird, bezeichnet eine Linie, die eine Grenze darstellt zwischen Fahrtfahrspuren, und wird gebildet durch Farbe oder dergleichen auf der Straßenoberfläche.
Fahrspurlinien beinhalten ebenfalls farbige Fahrspurlinien wie beispielsweise orangene Fahrspurlinien (gelbe Fahrspurlinien), anders als weiße Fahrspurlinien. Die Luminanz von farbigen Fahrspurlinien ist geringer als diejenige von weißen Fahrspurlinien. Dementsprechend kann eine Fahrspurlinie nicht detektiert werden, abhängig von den Fahrtumständen wie beispielsweise einer Fahrt über eine Betonstraße von vergleichsweise hoher Luminanz, bei der ein ausreichender Luminanzunterschied zwischen der Straßenoberfläche und der Fahrspurlinie nicht erhalten werden kann oder die Luminanz der Fahrspurlinie niedriger ist als die Luminanz der Straßenoberfläche.
Hierbei ist eine Detektion basierend auf einem Farbdifferenzbild effektiv, um farbige Fahrspurlinien stabil zu detektieren. Beispielsweise ist es effektiv, orangene Fahrspurlinien zu detektieren basierend auf einem V-Bild (R-G) oder einem U-Bild (B-G).
Obwohl die Präzision der Detektion von farbigen Fahrspurlinien erhöht werden kann durch Detektion basierend auf einem Farbdifferenzbild, ist die Detektionspräzision von weißen Fahrspurlinien in diesem Fall niedriger als wenn die Fahrspurlinie basierend auf einem Luminanzbild detektiert wird. Es wäre daher denkbar, beide Detektionen, das heißt eine Detektion basierend auf einem Luminanzbild und eine Detektion basierend auf einem Farbdifferenzbild, für einen gemeinsamen Bildabschnitt auszuführen, um in geeigneter Weise sowohl eine weiße Fahrspurlinie als auch eine farbige Fahrspurlinie zu detektieren (siehe beispielsweise das japanische Patent Nr. 4365350 ).
Das Durchführen von zwei Arten von Fahrspurliniedetektion für einen gemeinsamen Bildabschnitt bringt jedoch einen Anstieg der Prozesslast mit sich, welcher unerwünscht ist.
Das Auftreten von farbigen Fahrspurlinien ist normalerweise geringer als dasjenige von weißen Fahrspurlinien und dementsprechend würde das Durchführen einer Fahrspurliniedetektion basierend auf einem Farbdifferenzbild zusammen mit einer Fahrspurliniedetektion basierend auf einem Luminanzbild zu jedem Zeitpunkt zudem einen unerwünschten Anstieg der Prozesslast mit sich bringen.
Die US 2011 / 0 019 000 A1 offenbart eine Fahrzeug-Bildverarbeitungsvorrichtung und ein Fahrzeug-Bildverarbeitungsprogramm. Aus der US 2009 / 0 284 597 A1 sind ein Fahrzeug-Bildverarbeitungssystem, ein Fahrzeug-Bildverarbeitungsverfahren, ein Fahrzeug-Bildverarbeitungsprogramm und ein Struktursystem eines Fahrzeug-Bildverarbeitungssystems bekannt. Die US 2009 / 0 245 582 A1 offenbart eine Fahrspurerkennungsvorrichtung für ein Fahrzeug und ein Fahrspurerkennungsprogramm für ein Fahrzeug und die US 2009 / 0 123 065 A1 offenbart eine Fahrzeug- und Fahrspurerkennungsvorrichtung.
Die vorliegende Erfindung wurde gemacht im Hinblick auf die oben beschriebenen Umstände und eine Aufgabe hiervon ist es, eine Bildverarbeitungsvorrichtung bereitzustellen, die dazu in der Lage ist, in geeigneter Weise sowohl weiße Fahrspurlinien als auch farbige Fahrspurlinien zu detektieren, wobei die Prozesslast reduziert wird.
Ein Aspekt der vorliegenden Erfindung stellt eine Bildverarbeitungsvorrichtung bereit mit einer Bilderzeugungseinheit, die zumindest ein aufgenommenes Bild erhält, als ein Farbbild, durch Abbilden einer Fahrtrichtung eines Fahrzeugs, das mit der Bildverarbeitungsvorrichtung ausgerüstet ist, und einer Fahrspurliniedetektionseinrichtung, die eine Fahrspurlinie, projiziert als ein Subjekt, auf der Basis des aufgenommenen Bildes, erhalten von der Bilderzeugungseinheit, detektiert. Die Fahrspurliniedetektionseinrichtung ist dahingehend konfiguriert, Fahrspurliniedetektionsprozesse auszuführen, ausgerichtet auf einen Fahrspurliniesuchbereich, gesetzt beziehungsweise ausgewählt für das aufgenommene Bild, wobei die Fahrspurliniedetektionsprozesse beinhalten einen Fahrspurliniedetektionsprozess gemäß einem ersten Modus und einen Fahrspurliniedetektionsprozess gemäß einem zweiten Modus, wobei der Fahrspurliniedetektionsprozess gemäß dem ersten Modus dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf einem Luminanzbild für mehr als die Hälfte von Reihen innerhalb des Fahrspurliniesuchbereichs und einen Fahrspurlinieteil zu detektieren basierend auf einem Farbdifferenzbild für die anderen Reihen, und wobei der Fahrspurliniedetektionsprozess gemäß dem zweiten Modus dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf dem Farbdifferenzbild für eine größere Anzahl von Reihen als in dem ersten Modus. Die Fahrspurliniedetektionseinrichtung führt einen Modusumschaltsteuerungsprozess aus des Durchführens einer Modusumschaltbestimmung zwischen dem ersten Modus und dem zweiten Modus basierend auf der Anzahl von Reihen, in denen ein Fahrspurlinieteil beziehungsweise -bereich einer vorbestimmten Breite oder breiter detektiert wird von den Reihen, in denen ein Fahrspurlinieteil beziehungsweise -bereich detektiert wurde auf der Basis des Farbdifferenzbildes und die Modusumschaltsteuerung durchführt basierend auf dem Bestimmungsergebnis.
Zwei der Fahrspurliniesuchbereiche können gesetzt werden so, dass sie voneinander beabstandet sind, auf der linken und rechten Seite innerhalb des aufgenommenen Bildes und die Fahrspurliniedetektionseinrichtung kann den Modusumschaltsteuerungsprozess für jeden Fahrspurliniesuchbereich ausführen.
Der Abstand zwischen den Reihen, in denen ein Fahrspurliniebereich detektiert wird basierend auf dem Farbdifferenzbild in dem ersten Modus, kann gesetzt werden auf einen Abstand, der einem konstanten Abstand in dem tatsächlichen Raum entspricht.
In dem zweiten Modus können die Reihen, in denen ein Fahrspurliniebereich detektiert wird basierend auf dem Luminanzbild, und die Reihen, in denen ein Fahrspurliniebereich detektiert wird basierend auf dem Farbdifferenzbild, jeweils alternierend angeordnet sein.
Die Bilderzeugungseinheit kann ein Paar aufgenommener Bilder erhalten durch Stereoabbildung der Fahrtrichtung des Fahrzeugs. Die Bildverarbeitungsvorrichtung kann weiterhin eine Parallaxeberechnungseinrichtung aufweisen, die eine Parallaxe des Subjekts berechnet auf der Basis des Paars aufgenommener Bilder, erhalten von der Bilderzeugungseinheit. Die Fahrspurliniedetektionseinrichtung kann die Modusumschaltbestimmung ausführen in dem Modusumschaltsteuerungsprozess auf der Basis der Anzahl von Reihen, in denen ein Fahrspurliniebereich einer vorbestimmten Breite oder breiter detektiert wird und in denen ein Wert der Parallaxe des detektierten Fahrspurliniebereichs innerhalb eines vordefinierten Bereichs liegt, aus beziehungsweise unter den Reihen, in denen ein Fahrspurliniebereich detektiert wurde basierend auf dem Farbdifferenzbild.
Als den Modusumschaltsteuerungsprozess kann die Fahrspurliniedetektionseinrichtung durchführen: die Modusumschaltbestimmung für jedes Einzelbild; Umschaltsteuerung von dem ersten Modus in den zweiten Modus als Reaktion auf ein Bestimmungsergebnis des der Umschaltung Zustimmens, wobei das Bestimmungsergebnis erhalten wird in der Modusumschaltbestimmung; und Umschaltsteuerung von dem zweiten Modus zu in den ersten Modus als Reaktion dann, wenn die Anzahl von Malen, dass das Bestimmungsergebnis des der Umschaltung Zustimmens erhalten wurde in der Modusumschaltbestimmung, eine vorbestimmte Anzahl der Anzahl von Malen erreicht, wobei das Bestimmungsergebnis des der Umschaltung Zustimmens erhalten wurde in der Modusumschaltbestimmung.
Die Fahrspurliniedetektionseinrichtung kann die Modusumschaltbestimmung durchführen in dem Modusumschaltsteuerungsprozess auf der Basis der Anzahl von Reihen, in denen ein Fahrspurliniebereich einer vorbestimmten Breite oder breiter detektiert wurde und in denen ein Inhalt einer vorbestimmten Farbkomponente in dem detektierten Fahrspurliniebereich ein vorbestimmte Anteilist oder höher ist, aus den Reihen, in denen ein Fahrspurliniebereich detektiert wurde basierend auf dem Farbdifferenzbild.
Die Erfindung wird im Folgenden weiter erläutert anhand von Ausführungsbeispielen unter Bezug auf die beigefügten Zeichnungen, in denen

1 eine Darstellung ist, die die Konfiguration eines Fahrzeugsteuerungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt,
2 eine Darstellung ist, die einen Bildverarbeitungsprozess zeigt, der ausgeführt wird entsprechend der Ausführungsform,
3A und 3B einen Fahrspurliniesuchbereich zeigen,
4A und 4B jeweils ein aufgenommenes Bild zeigen in dem Fall, wenn eine weiße Fahrspurlinie auf der linken Seite ausgebildet ist und eine farbige Fahrspurlinie ausgebildet ist auf der rechten Seite auf einer Straßenoberfläche,
5A und 5B einen Luminanzbetonungs- beziehungsweise Luminanzschwerpunktmodus und einen Farbdifferenz/Luminanzmodus zeigen,
6 eine Doppellinie zeigt, in der eine weiße Fahrspurlinie und eine farbige Fahrspurlinie dicht beieinander ausgebildet sind,
7 ein Flussdiagramm eines Prozesses ist, der einem Luminanzschwerpunktmodus entspricht, und
8 ein Flussdiagramm eines Prozesses ist, der einem Farbdifferenz/Luminanzmodus entspricht.

Gesamtkonfiguration des Systems
1 zeigt die Konfiguration eines Fahrzeugsteuerungssystems 1 mit einer Bildverarbeitungsvorrichtung entsprechend einer Ausführungsform gemäß der vorliegenden Erfindung. 1 zeigt lediglich die relevanten Teile der Konfiguration des Fahrzeugsteuerungssystems 1, die hauptsächlich zu der Ausführungsform gehören beziehungsweise diese betreffen.
Das Fahrzeugsteuerungssystem 1 weist auf eine Bilderzeugungseinheit 2, einen Bildprozessor 3, einen Speicher 4, eine Fahrtunterstützungssteuerungseinrichtung 5, eine Anzeigesteuerungseinrichtung 6, eine Motorsteuerungseinrichtung 7, eine Getriebesteuerungseinrichtung 8, eine Bremssteuerungseinrichtung 9, Sensoren/Operatoren 10, eine Anzeige 11, motorbezogene Aktuatoren 12, getriebebezogene Aktuatoren 13, bremsbezogene Aktuatoren 14 und einen Bus 15, die in einem Fahrzeug vorgesehen beziehungsweise bereitgestellt sind (im Folgenden bezeichnet als „Subjektfahrzeug“).
Der Bildprozessor 3 führt eine vordefinierte Bildverarbeitung aus betreffend der Erkennung einer Fahrzeugaußenumgebung auf der Basis von aufgenommenen Bilddaten, die erhalten werden aufgenommen durch die Bilderzeugungseinheit 2, der Fahrtrichtung des Subjektfahrzeugs (in dieser Ausführungsform nach vorne). Der Bildprozessor 3 führt eine Bildverarbeitung durch unter Verwendung von beispielsweise dem Speicher 4, konfiguriert als ein nicht flüchtiger beziehungsweise Permanentspeicher oder dergleichen. Die interne Konfiguration der Bilderzeugungseinheit 2 und der konkrete Prozess, der von dem Bildprozessor 3 ausgeführt wird, werden später detailliert beschrieben.
Die Fahrtunterstützungssteuerungseinrichtung 5 beinhaltet einen Mikrocomputer, der versehen ist mit beispielsweise einer Zentraleinheit (CPU), einem Festspeicher beziehungsweise Nur-Lese-Speicher (ROM) und einem Arbeitsspeicher beziehungsweise Direktzugriffsspeicher (Schreib-Lese-Speicher) (RAM). Die Fahrtunterstützungssteuerungseinrichtung 5 führt verschiedene Steuerungsprozesse aus zur Fahrtunterstützung (im Folgenden bezeichnet als „Fahrtunterstützungssteuerungsprozess“) auf der Basis von beispielsweise den Ergebnissen von Bildverarbeitung durch den Bildprozessor 3 und auf der Basis von Detektionsinformation und Betriebseingabeinformation, erhalten von den Sensoren/Operatoren 10.
Die Fahrtunterstützungssteuerungseinrichtung 5 ist verbunden, durch den Bus 15, mit verschiedenen Steuerungseinrichtungen, die einen Mikrocomputer beinhalten, nämlich der Anzeigesteuerungseinrichtung 6, der Motorsteuerungseinrichtung 7, der Getriebesteuerungseinrichtung 8 und der Bremssteuerungseinrichtung 9, so dass diese Steuerungseinrichtungen Daten miteinander austauschen können. Die Fahrtunterstützungssteuerungseinrichtung 5 führt Funktionen aus betreffend die Fahrtunterstützung durch Ausgeben von Befehlen an die erforderlichen Steuerungseinrichtungen aus den oben genannten Steuerungseinrichtungen.
Die Sensoren/Operatoren 10 bezeichnen kollektiv verschiedene Sensoren und Operatoren, die in dem Subjektfahrzeug bereitgestellt sind. Sensoren unter den Sensoren/Operatoren 10 schließen ein einen Geschwindigkeitssensor 10A, der die Geschwindigkeit des Subjektfahrzeugs detektiert, einen Bremsschalter 10B, der auf EIN oder AUS geschaltet ist als Reaktion auf die Betätigung oder Nicht-Betätigung eines Bremspedals, einen Gaspedalpositionssensor 10C, der eine Gaspedalposition detektiert auf der Basis des Maßes an Niederdrücken eines Gaspedals, einen Lenkwinkelsensor 10D, der einen Lenkwinkel detektiert, einen Gierratesensor 10E, der eine Gierrate detektiert, und einen G-Sensor 10F, der Beschleunigung detektiert. Obwohl in den Figuren nicht dargestellt, beinhalten die Sensoren/Operatoren 10 zudem andere Sensoren wie beispielsweise einen Motordrehzahlsensor, einen Lufteinlassmengesensor, der die Menge an Einlassluft detektiert, einen Drosselklappenöffnungssensor, der in einem Einlassdurchtritt zwischengefügt ist und den Grad an Öffnung einer Drosselklappe beziehungsweise eines Drosselventils detektiert, die beziehungsweise das die Menge an Einlassluft, die zu den Zylindern des Motors zugeführt wird, einstellt, einen Wassertemperatursensor, der die Temperatur von Kühlwasser detektiert, als eine Anzeigeeinrichtung der Motortemperatur und einen Außenlufttemperatursensor, der die Temperatur von Luft außerhalb des Fahrzeugs detektiert.
Operatoren unter den Sensoren/Operatoren 10 beinhalten beispielsweise einen Zündschalter zum Instruieren von Start oder Stopp des Motors, einen Wählhebel zum Instruieren der Auswahl von einem Automatikgetriebemodus/Handschaltgetriebemodus in einem Automatikgetriebe-(AT)-Fahrzeug und zum Instruieren von Heraufschalten/Herunterschalten während eines Manuell-Getriebemodus, und einen Anzeige-Umschaltschalter zum Umschalten von Anzeigeinformation in einer Multifunktionsanzeige (MFD), die in der unten beschriebenen Anzeige 11 bereitgestellt ist.
Die Anzeige 11 umfasst kollektiv verschiedene MFDs und Anzeigeinstrumente wie beispielsweise einen Tachometer, einen Drehzahlmesser und dergleichen, die in einem Armaturenblatt beziehungsweise -brett angeordnet sind vor dem Fahrer, sowie andere Anzeigevorrichtungen, um dem Fahrer Information zu präsentieren. Hierbei kann das MFD verschiedene Informationen darstellen wie beispielsweise eine Gesamtfahrtdistanz des Subjektfahrzeugs, Außenlufttemperatur, momentaner Kraftstoffverbrauch und dergleichen, simultan oder durch hin- und herschalten zwischen den Informationselementen.
Die Anzeigesteuerungseinrichtung 6 steuert die Anzeigefunktion durch die Anzeige 11 auf der Basis von beispielsweise Detektionssignalen von vordefinierten Sensoren und Betätigungseingangsinformationen durch die Operatoren unter den Sensoren/Operatoren 10. Eine vordefinierte Erinnerungsbotschaft kann beispielsweise angezeigt werden auf der Anzeige 11 (zum Beispiel in einem vordefinierten Bereich des MFD) als einen Teil von Fahrtunterstützung auf der Basis eines Befehls von der Fahrtunterstützungssteuerungseinrichtung 5.
Die Motorsteuerungseinrichtung 7 steuert verschiedene Aktuatoren, die als die motorbezogenen Aktuatoren 12 bereitgestellt sind, auf der Basis von beispielsweise Detektionssignalen von vordefinierten Sensoren und Betätigungseingangsinformationen von Operatoren unter den Sensoren/Operatoren 10. Die motorbezogene Aktuatoren 12 beinhalten Aktuatoren bezüglich der Motorsteuerung wie beispielsweise einen Drosselklappenaktuator, der ein Drosselklappenventil antreibt, und eine Einspritzdüse für Kraftstoffeinspritzung.
Beispielsweise führt die Motorsteuerungseinrichtung 7 eine Start/Stopp-Steuerung des Motors aus als Reaktion auf die Betätigung des oben beschriebenen Zündschalters. Die Motorsteuerungseinrichtung 7 steuert beispielsweise Kraftstoffeinspritzzeitpunkt, Kraftstoffeinspritzpulsbreite, Drosselklappenöffnung und dergleichen auf der Basis von Detektionssignalen von vordefinierten Sensoren wie beispielsweise dem Motordrehzahlsensor und dem Gaspedalpositionssensor 10C.
Die Getriebesteuerungseinrichtung 8 steuert verschiedene Aktuatoren, die als die getriebebezogenen Aktuatoren 13 bereitgestellt sind, auf der Basis von beispielsweise Detektionssignalen von vordefinierten Sensoren und Betätigungseingangsinformation von Operatoren unter den Sensoren/Operatoren 10. Die getriebebezogenen Aktuatoren 13 beinhalten Aktuatoren, die sich auf das Getriebe beziehen, wie beispielsweise ein Steuerventil, das eine Schaltsteuerung durchführt in einem Automatikgetriebe, und einen Sperraktuator, der eine Sperrkupplung betätigt.
Die Getriebesteuerungseinrichtung 8 führt beispielsweise eine Schaltsteuerung durch durch Ausgeben eines Schaltsignals an ein Steuerventil entsprechend einem vordefinierten Schaltmuster, wenn ein Automatik-Getriebemodus gewählt ist mit dem zuvor beschriebenen Wählhebel.
Wenn ein manueller Getriebemodus gewählt ist, führt die Getriebesteuerungseinrichtung 8 eine Schaltsteuerung durch durch Ausgabe, an das Steuerventil, eines Schaltsignals entsprechend einem Heraufschalt-/Herabschaltbefehl durch den Wählhebel.
Die Bremssteuerungseinrichtung 9 steuert verschiedene Aktuatoren, die als die bremsbezogenen Aktuatoren 14 bereitgestellt sind, auf der Basis von beispielsweise Detektionssignalen von vordefinierten Sensoren und Betätigungseingangsinformation von Operatoren unter den Sensoren/Operatoren 10. Die bremsbezogenen Aktuatoren 14 beinhalten Aktuatoren, die das Bremsen betreffen, beispielsweise ein Hydrauliksteuerungsaktuator zum Steuern des Ausgabefluiddrucks von einem Bremsverstärker an einen Hauptzylinder, und zum Steuern von Fluiddruck innerhalb der Bremsfluidleitungen. Die Bremssteuerungseinrichtung 9 bremst beispielsweise das Subjektfahrzeug durch Steuern von dem hydraulischen Steuerungsaktuator, wenn die Fahrtunterstützungssteuerungseinrichtung 5 einen Brems-EIN-Befehl ausgibt. Des Weiteren realisiert die Bremssteuerungseinrichtung 9 eine sogenannte Antiblockiersystem-(ABS)-Steuerung durch Berechnen eines Schlupfverhältnisses der Räder auf der Basis von Detektionsinformation über einen vordefinierten Sensor (beispielsweise einen Achsrotationsgeschwindigkeitssensor oder den Fahrzeuggeschwindigkeitssensor 10A) und durch Erhöhen und Reduzieren von Fluidbeziehungsweise Flüssigkeitsdruck mit dem zuvor beschriebenen hydraulischen Steuerungsaktuator entsprechend dem berechneten Schlupfverhältnis.
Bildverarbeitung, ausgeführt in der Ausführungsform
Die in der Ausführungsform ausgeführte Bildverarbeitung wird unter Bezug auf 2 beschrieben.
Zur Beschreibung der Bildverarbeitung zeigt 2 die interne Konfiguration der Bilderzeugungseinheit 2 und des Speichers 4, die in 1 gezeigt sind, zusammen mit der Konfiguration des Bildprozessors 3. Die Bilderzeugungseinheit 2 zum Erhalten der aufgenommenen Bilddaten, die bei der Bildverarbeitung verwendet werden, wird als Erstes kurz beschrieben.
Die Bilderzeugungseinheit 2 verfügt über eine erste Kamera 20-1, eine zweite Kamera 20-2, einen A/D-Wandler 21-1, einen A/D-Wandler 21-2 und eine Bildkorrektureinrichtung 22.
Die erste Kamera 20-1 und die zweite Kamera 20-2 sind jede konfiguriert mit einem Kamera-Optiksystem und einem Bildgebungselement wie beispielsweise einer ladungsgekoppelten Vorrichtung (CCD) und einem Komplementärmetalloxidhalbleiter (CMOS). Subjektbilder werden gebildet von dem Kamera-Optiksystem auf der Bildgebungsebene des Bildgebungselements und elektrische Signale entsprechend der Intensität des empfangenen Lichtes werden erhalten in Pixeleinheiten in dem Bildgebungselement.
Die erste Kamera 20-1 und die zweite Kamera 20-2 sind so angeordnet, dass sie dazu in der Lage sind, durch sogenannte Stereoabbildung zu vermessen. Das heißt, die Kameras sind in einer solchen Weise angeordnet, dass mehrere aufgenommene Bilder aus unterschiedlichen Perspektiven erhalten werden. Die erste Kamera 20-1 und die zweite Kamera 20-2 sind in dieser Ausführungsform in der Nähe des oberen Endes der Windschutzscheibe des Subjektfahrzeugs angeordnet und voneinander beabstandet um einen vorbestimmten Abstand in der Fahrzeugbreitenrichtung. Die optischen Achsen der ersten Kamera 20-1 und der zweiten Kamera 20-2 verlaufen parallel und die Brennweiten sind im Wesentlichen auf den gleichen Wert gesetzt. Die Einzelbildperioden der Kameras sind synchron und die Einzelbildraten stimmen miteinander ebenfalls überein.
Das von dem Bildgebungselement der ersten Kamera 20-1 erhaltene elektrische Signal wird dem A/D-Wandler 21-1 zugeführt und darin einer A/D-Wandlung unterzogen und das von dem Bildgebungselement der zweiten Kamera 20-2 erhaltene elektrische Signal wird dem A/D-Wandler 21-2 zugeführt und darin einer A/D-Wandlung unterzogen. Als Ergebnis werden digitale Bildsignale (Bilddaten) erhalten, die Luminanzwerte bezeichnen, entsprechend einer vordefinierten Abstufung, in Pixeleinheiten. Bei der Ausführungsform können die erste Kamera 20-1 und die zweite Kamera 20-2 Farbbilder aufnehmen in R (rot), G (grün) und B (blau). Die obigen Luminanzwerte werden erhalten in der Form eines Wertes entsprechend jeweils R, G und B. Im Falle der Ausführungsform wird die effektive Pixelzahl des Bildgebungselements der ersten Kamera 20-1 und der zweiten Kamera 20-2 beispielsweise gesetzt auf etwa 1280 Pixel in der horizontalen Richtung x etwa 960 Pixel in der senkrechten Richtung.
Die Bildkorrektureinrichtung 22 empfängt Bilddaten (im Folgenden bezeichnet als „erste aufgenommene Bilddaten“) basierend auf Bildern, die aufgenommen werden von der ersten Kamera 20-1 und erhalten über den A/D-Wandler 21-1, und Bilddaten (nachfolgend bezeichnet als „zweite aufgenommene Bilddaten“) basierend auf Bildern, aufgenommen von der zweiten Kamera 20-2 und erhalten über den A/D-Wandler 21-2. Die Bildkorrektureinrichtung 22 korrigiert in den ersten aufgenommenen Bilddaten und den zweiten aufgenommenen Bilddaten einen Versatz, verursacht durch Montagepositionsfehler der ersten Kamera 20-1 und der zweiten Kamera 20-2, beispielsweise durch affine Umwandlung. Die Bildkorrektureinrichtung 22 führt zudem die Korrektur der Luminanzwerte der ersten aufgenommenen Bilddaten und der zweiten aufgenommenen Bilddaten durch, einschließlich Rauschentfernung und dergleichen.
Der Bildprozessor 3 nimmt auf und speichert, in dem Speicher 4, die ersten aufgenommenen Bilddaten und die zweiten aufgenommenen Bilddaten, erhalten von der Bilderzeugungseinheit 2.
Der Bildprozessor 3 ist beispielsweise konfiguriert mit einem Mikrocomputer und führt aus, entsprechend einem aufgerufenen Programm, verschiedene Bildverarbeitungsvorgänge basierend auf den ersten aufgenommenen Bilddaten und den zweiten aufgenommenen Bilddaten.
2 zeigt die Bildverarbeitungsvorgänge, die von dem Bildprozessor 3 ausgeführt werden, in der Form von entsprechenden separaten Blöcken für jede Funktion. Grob in Funktionen aufgeteilt, wie in der Figur gezeigt, weist der Bildprozessor 3 einen Dreidimensionale-Positionsinformation-Erzeugungsprozessor 3A, einen Fahrspurliniedetektionsprozessor 3B, einen Fahrspurliniemodel-Bildungsprozessor 3C und einen Vorausfahrendes-Fahrzeug-Detektionsprozessor 3D auf.
Der Dreidimensionale-Positionsinformation-Erzeugungsprozessor 3A führt einen Dreidimensionale-Positionsinformation-Erzeugungsprozess aus, um dreidimensionale Positionsinformation zu erzeugen auf der Basis der ersten aufgenommenen Bilddaten und der zweiten aufgenommenen Bilddaten, die in dem Speicher 4 gespeichert sind. Genauer gesagt, der Dreidimensionale-Positionsinformation-Erzeugungsprozess beinhaltet: Detektieren, durch Musterabgleich, korrespondierender Punkte zwischen den ersten aufgenommenen Bilddaten und den zweiten aufgenommenen Bilddaten (das heißt Paare von stereoaufgenommenen Bilddatensätzen), Berechnen, als eine Parallaxe dp, einer Koordinatenverschiebung zwischen detektierten korrespondierenden Punkten und Erzeugen, als dreidimensionale Positionsinformation, von Information bezüglich der Position der korrespondierenden Punkte im tatsächlichen Raum, unter Verwendung der Parallaxe dp, entsprechend den Prinzipien der Triangulation.
Um die Koordinatenverschiebung als derartige Parallaxe dp zu berechnen, wird ein Datensatz von den ersten aufgenommenen Bilddaten und den zweiten aufgenommenen Bilddaten zuerst als ein „Referenzbild“ erstellt und das andere als ein „Vergleichsbild“. Um die Berechnung der Parallaxe dp zu ermöglichen für ein Objekt, das an einem Ende in horizontaler Richtung des Referenzbildes positioniert ist, wird das Vergleichsbild erzeugt in der Form eines Bildes mit einer größeren Anzahl von Pixeln in der horizontalen Richtung als derjenigen des Referenzbildes.
Hierbei wird die dreidimensionale Positionsinformation ausgedrückt durch einen Punkt (X, Y, Z) im Raum, wobei der Punkt unmittelbar unterhalb der Mitte zwischen dem Paar Kameras (erste Kamera 20-1 und zweite Kamera 20-2) als der Ursprung genommen wird, die X-Achse die Richtung ist, in der das Kamerapaar verbunden ist, die Y-Achse die Richtung von oben nach unten ist und die Z-Achse die Richtung von vorne nach hinten ist.
Die Werte X, Y, Z der dreidimensionalen Positionsinformation werden repräsentiert durch (i, j) als Pixelkoordinaten, wobei die i-Achse eine Achse parallel zu der Horizontalrichtung in dem Referenzbild ist und die j-Achse eine Achse parallel zu der vertikalen Richtung, und ausgearbeitet auf der Basis einer Koordinatenumwandlung gegeben durch die nachfolgenden Gleichungen (1) bis (3), wobei CD den Abstand des Kamerapaars bezeichnet, PW den Blickwinkel pro Pixel bezeichnet, CH die Montagehöhe des Paars Kamera bezeichnet und IV und JV entsprechend die i-Koordinate und die j-Koordinate, auf dem Referenzbild, eines Punktes in unendlicher Entfernung vor jeder Kamera bezeichnet. $X = CD/2 + Z \times PW \times (i - IV)$
$Y = CH + Z \times PW (j - JV)$
$Z = CD / {PW \times (dp - DP)}$
Der Term „DP“ in Gleichung (3), der bezeichnet wird als Fluchtpunktparallaxe oder Unendlichkeitentsprechungspunkt, ist in Essenz ein Wert, der so erstellt wird, dass die Parallaxe dp der korrespondierenden Punkte zwischen dem Referenzbild und dem Vergleichsbild und ein entsprechender Abstand Z zu dem korrespondierenden Punkt im tatsächlichen Raum die obige Gleichung (3) erfüllen. Im Folgenden wird „DP“ bezeichnet als ein „Parallaxeversatzwert DP“.
Ein von dem Fahrspurliniedetektionsprozessor 3B ausgeführter Fahrspurliniedetektionsprozess detektiert eine Fahrspurlinie (Fahrspurlinie projiziert als das Subjekt), die gebildet ist auf der Straßenoberfläche und längs derer das Subjektfahrzeug fährt, auf der Basis des Referenzbildes (das heißt der Bilddaten, vorab gesetzt von den ersten aufgenommenen Bilddaten und den zweiten aufgenommenen Bilddaten) und dreidimensionaler Positionsinformation, erzeugt in dem Dreidimensionale-Positionsinformation-Erzeugungsprozess (einschließlich des Abstands Z von jedem Pixel als dem korrespondierenden Punkt).
Die Ausführung des Fahrspurliniedetektionsprozesses wird nachfolgend detailliert beschrieben.
Ein von dem Fahrspurliniemodellbildungsprozessor 3C ausgeführter Fahrspurliniemodellbildungsprozess bildet ein Fahrspurliniemodell in einem dreidimensionalen Raum, definiert durch die X-, Y- und Z-Achsen, auf der Basis von Information (Fahrspurliniekandidatpunkte) auf einer Fahrspurlinie, wie sie in dem obigen Fahrspurliniedetektionsprozess detektiert wird. Genauer gesagt, das Fahrspurliniemodell in dem dreidimensionalen Raum wird gebildet durch lineare Approximation, beispielsweise durch kleinste Quadrate, von zumindest der Startposition ds von einer Startposition ds und einer Endposition de (jede detektiert in dreidimensionaler Positionsinformation durch (X, Y, Z)) einer Fahrspurlinie, die detektiert wird für jede Reihe (jede horizontale Linie) in dem nachfolgend beschriebenen Fahrspurliniedetektionsprozess. Höheninformation bezüglich der Straßenoberfläche, auf der das Subjektfahrzeug fährt, wird ebenfalls von dem so gebildeten Fahrspurliniemodell erhalten.
Ein von dem Vorausfahrendes-Fahrzeug-Detektionsprozessor 3D ausgeführter Vorausfahrendes-Fahrzeug-Detektionsprozess detektiert ein vorausfahrendes Fahrzeug, das sich vor dem Subjektfahrzeug befindet, auf der Basis des Referenzbildes und der dreidimensionalen Positionsinformation. Als Erstes führt der Vorausfahrendes-Fahrzeug-Detektionsprozess einen Objektdetektionsprozess durch auf der Basis der dreidimensionalen Positionsinformation, um das Objekt, das sich in dem Bild befindet, zu detektieren, einschließlich Information bezüglich des Abstandes Z zu dem Objekt. Der Objektdetektionsprozess erzeugt beispielsweise ein Abstandsbild, in dem korrespondierende Punkte, detektiert in dem vorhergehenden Berechnungsprozess der Parallaxe dp, auf dem Bild wiedergegeben werden, kartiert beziehungsweise abgebildet werden in den entsprechenden Werten des Abstands Z, teilt das Abstandsbild in eine Vielzahl vertikaler Bereiche auf, die das Abstandsbild in der vertikalen Richtung unterteilen, erzeugt ein Abstandhistogramm, das die Abstandsverteilung in der Bildvertikalrichtung (j-Richtung) bezeichnet für jeden vertikalen Bereich, so dass der Abstand Z einer Position (korrespondierender Punkt) von maximaler Frequenz einen repräsentativen Abstand des Objekts darstellt, das sich innerhalb des entsprechenden vertikalen Bereichs befindet. Für korrespondierende Punkte einer maximalen Frequenz, in denen ein repräsentativer Abstand erhalten wird, werden Pixelbereiche, die als zu dem gleichen Objekt gehörig angesehen werden, gruppiert auf der Basis einer Beziehung wie der Richtung und des Abstandes Z zu den zusammenhängenden korrespondierenden Punkten, um einen Bereich von jedem dreidimensionalen Objekt zu spezifizieren, das sich in dem Bild befindet. Als ein Ergebnis wird das Objekt, das sich in dem Bild befindet, detektiert, einschließlich Information bezüglich des Abstands Z zu dem Objekt.
Das Abstandsbild wird sequentiell erhalten für jedes Einzelbild. In dem Vorausfahrendes-Fahrzeug-Detektionsprozess wird Information bezüglich des Abstandes Z zu dem Objekt, das zu detektieren ist, über eine Mehrzahl von Einzelbildern überwacht, um hierdurch, als ein vorausfahrendes Fahrzeug, ein Objekt zu extrahieren, das sich auf der befahrenen Straße des Subjektfahrzeugs befindet und das mit einer vordefinierten Geschwindigkeit in im Wesentlichen der gleichen Richtung fährt wie das Subjektfahrzeug. Dies wird durchgeführt in Verbindung mit Musterabgleich, zurückgreifend auf das Referenzbild (zum Beispiel Musterabgleich basierend auf Merkmalen eines Fahrzeugs wie einer Bremsleuchte), um eine irrtümliche Detektion von anderen Objekten als dem Fahrzeug zu unterdrücken.
Wenn ein vorausfahrendes Fahrzeug detektiert wird, wird Vorausfahrendes-Fahrzeug-Erkennungsinformation berechnet und gespeichert in der Form des Vorausfahrendes-Fahrzeug-Abstandes (= Fahrzeug-zu-Fahrzeug-Abstand in Bezug auf das Subjektfahrzeug), Vorausfahrendes-Fahrzeug-Geschwindigkeit (= Änderungsrate des Fahrzeug-zu-Fahrzeug-Abstandes + Subjektfahrzeuggeschwindigkeit) und Vorausfahrendes-Fahrzeug-Beschleunigung (= Differenzialwert der Vorausfahrendes-Fahrzeug-Geschwindigkeit).
Die in den Vorausfahrendes-Fahrzeug-Detektionsprozess involvierten Techniken sind identisch mit denjenigen, die beschrieben sind in der japanischen ungeprüften Patentanmeldungsveröffentlichung (JP-A) Nr. 2012-66759, in der relevante Details gefunden werden können.
Der Vorausfahrendes-Fahrzeug-Detektionsprozessor 3D kann ein Ersetzen des vorausfahrenden Fahrzeugs detektieren. Das Merkmal Ersetzen des vorausfahrenden Fahrzeugs bezeichnet hierbei einen Fall, bei dem ein anderes Fahrzeug, das ein vorausfahrendes Fahrzeug, das detektiert wurde, ersetzt, nunmehr detektiert wird als das vorausfahrende Fahrzeug, zum Beispiel wenn ein vorausfahrendes Fahrzeug, das detektiert wurde, von vor dem Fahrzeug wegfährt, und, als ein Ergebnis, ein anderes Fahrzeug, das vor dem vorherigen vorausfahrenden Fahrzeug war, nunmehr als ein vorausfahrendes Fahrzeug detektiert wird, oder in einem Fall, in dem ein drittes Fahrzeug zwischen einem vorausfahrenden Fahrzeug, das detektiert wurde, und dem Subjektfahrzeug zwischenfährt, woraufhin das dritte Fahrzeug nunmehr neu als ein vorausfahrendes Fahrzeug detektiert wird.
Ausführen eines Fahrspurliniedetektionsprozesses in einer Ausführungsform
Der von dem Fahrspurliniedetektionsprozessor 3B ausgeführte Fahrspurliniedetektionsprozess wird als Nächstes im Detail beschrieben.
Grob in Funktionen aufgeteilt, weist der Fahrspurliniedetektionsprozessor 3B einen Suchbereichsetzprozessor 30, einen Luminanzschwerpunktmodusprozessor 31, einen Farbdifferenz/Luminanzmodusprozessor 32 und einen Modusumschaltsteuerungsprozessor 33 auf, wie in 2 gezeigt.
Der Suchbereichsetzprozessor 30 führt einen Suchbereichsetzprozess aus, um einen Fahrspurliniesuchbereich sa als einen Bereich zu setzen, innerhalb dessen eine Fahrspurlinie zu suchen ist innerhalb des Referenzbildes. In der Ausführung werden zwei Fahrspurliniesuchbereiche sa gesetzt, nämlich ein rechter Fahrspurliniesuchbereich saR, angeordnet auf der rechten Seite innerhalb des Bildes, und ein linker Fahrspurliniesuchbereich saL, angeordnet auf der linken Seite.
In dem Fall, in dem keine Fahrspurlinie detektiert wird, werden der rechte Fahrspurliniesuchbereich saR und der linke Fahrspurliniesuchbereich saL so gesetzt in dem Suchbereichsetzprozess, wie in 3A gezeigt. In dem Fall, in dem keine Fahrspurlinie detektiert wird, wird ein vergleichsweise breiter Bereich gesetzt für den rechten Fahrspurliniesuchbereich saR und den linken Fahrspurliniesuchbereich saL, um so einen Bereich zu umfassen, innerhalb dessen erwartet werden kann, dass die rechte Fahrspurlinie projiziert wird, und einen Bereich, innerhalb dessen erwartet werden kann, dass die linke Fahrspurlinie projiziert werden kann. Genauer gesagt, eine vergleichsweise große Breite von einer Suchstartposition isR bis zu einer Suchendposition ieR wird gesetzt als der rechte Fahrspurliniesuchbereich saR und eine vergleichsweise große Breite von einer Suchstartposition isL zu einer Suchendposition ieL wird gesetzt als der linke Fahrspurliniesuchbereich saL.
Der Grund dafür, dass die linke Seite als die Suchstartposition isR und die rechte Seite als die Suchendposition ieR für den rechten Fahrspurliniesuchbereich saR gesetzt wird, liegt darin, dass die Fahrspurliniesuche (Suche eines Spitzenwertes, der nachfolgend beschrieben wird) in dem rechten Fahrspurliniesuchbereich saR von links nach rechts durchgeführt wird. Der Grund, warum die rechte Seite des linken Fahrspurliniesuchbereichs saL als die Suchstartposition isL bezeichnet wird und die linke Seite als die Suchendposition ieL bezeichnet wird, liegt darin, dass umgekehrt die Fahrspurliniesuche in dem linken Fahrspurliniesuchbereich saL durchgeführt wird von rechts nach links. Wie somit verstanden werden kann, sind die Suchrichtungen in den entsprechenden Fahrspurliniesuchbereichen sa Richtungen, die sich von der Mitte des Subjektfahrzeugs weg bewegen.
In dem Fall, wenn eine Fahrspurlinie detektiert wird, wird jeder Fahrspurliniesuchbereich sa in dem Suchbereichsetzprozess so gesetzt, dass die Startposition ds und die Endposition de der Fahrspurlinien als Referenz gewählt werden.
3B zeigt ein Beispiel, in dem der rechte Fahrspurliniesuchbereich saR und der linke Fahrspurliniesuchbereich saL gesetzt werden entsprechend einem Fall, in dem Fahrspurlinien für beide, die rechte Seite und die linke Seite, detektiert werden.
In diesem Fall wird in dem rechten Fahrspurliniesuchbereich saR eine Position, die um eine vordefinierte Anzahl von Pixeln nach links versetzt ist, von der Startposition dsR der detektierten Fahrspurlinie, auf der rechten Seite, gesetzt als die Suchstartposition isR, und eine Position, die nach rechts um eine vordefinierte Anzahl von Pixeln versetzt ist, von einer Endposition deR der detektierten Fahrspurlinie, auf der rechten Seite, wird gesetzt als die Suchendposition ieR.
In dem linken Fahrspurliniesuchbereich saL, der in diesem Fall gesetzt wird, wird eine Position, die nach rechts versetzt ist um eine vordefinierte Anzahl von Pixeln, von einer Startposition dsL der detektierten Fahrspurlinie, auf der linken Seite, gesetzt als die Suchstartposition isL, und eine Position, die nach links versetzt ist um eine vordefinierte Anzahl von Pixeln, von einer Endposition deL der detektierten Fahrspurlinie, auf der linken Seite, wird gesetzt als die Suchendposition ieL.
Die Breite von jedem Fahrspurliniesuchbereich sa wird so gesetzt, dass sie im Wesentlichen konstant ist im tatsächlichen Raum, und daher wird der Versatz, der auf die Startposition ds und die Endposition de einer Fahrspurlinie aufgebracht wird, so gesetzt, dass er variabel ist in Bezug auf den Abstand Z (enger wird mit zunehmendem Abstand). Genauer gesagt, der Versatz tendiert dazu, abzunehmen, wenn der j-Wert der Reihe (horizontale Linie) ansteigt.
Bezugnehmend auf 2 führt der Luminanzschwerpunktmodusprozessor 31 einen Luminanzschwerpunktmodusprozess aus, um einen Fahrspurlinieteil beziehungsweise - bereich zu detektieren basierend auf einem Luminanzbild für mehr als die Hälfte der Reihen innerhalb des Fahrspurliniesuchbereichs sa und um einen Fahrspurliniebereich zu detektieren basierend auf einem Farbdifferenzbild für die anderen Reihen.
Wie zuvor beschrieben, schließen Fahrspurlinien nicht nur weiße Fahrspurlinien ein, sondern auch farbige Fahrspurlinien wie beispielsweise orangene Fahrspurlinien (gelbe Fahrspurlinien). 4A und 4B zeigen Beispiele von aufgenommenen Bildern in Fällen, in denen eine weiße Fahrspurlinie auf der Straßenoberfläche ausgebildet ist auf der linken Seite und eine farbige Fahrspurlinie, wie beispielsweise eine orangene Fahrspurlinie, auf der rechten Seite ausgebildet ist. In dem in 4A gezeigten Beispiel ist beispielsweise die Luminanz der weißen Fahrspurlinie größer als die Straßenoberflächenluminanz, während die Luminanz der farbigen Fahrspurlinie mit der Luminanz der Straßenoberfläche vergleichbar ist. In dem in 4B gezeigten Beispiel ist die Luminanz der weißen Fahrspurlinie größer als die Luminanz der Straßenoberfläche, die Luminanz der farbigen Fahrspurlinie ist jedoch geringer als die Luminanz der Straßenoberfläche.
Somit werden farbige Fahrspurlinien in einigen Fällen so aufgenommen, dass die Luminanz der farbigen Fahrspurlinie mit der Luminanz der Straßenoberfläche vergleichbar ist, oder in denen sie niedriger ist. Die Fälle in den 4A und 4B können in nennenswertem Maße unter tatsächlichen Fahrtumgebungen auftreten, bei denen beispielsweise die Luminanz der Straßenoberfläche relativ hoch ist, zum Beispiel während der Fahrt auf Betonstraßen, oder Fahrtumgebungen, bei denen der Farbton der farbigen Fahrspurlinie vergleichsweise dunkel ist (zum Beispiel in Fällen, in denen dort keine Farbe ist) und die Luminanz der farbigen Fahrspurlinie somit vergleichsweise niedrig ist.
Wenn die Fahrspurliniedetektion durchgeführt wird auf der Basis eines Luminanzbildes, kann eine weiße Fahrspurlinie in einer Fahrtumgebung derart detektiert werden, dass die Luminanz der farbigen Fahrspurlinie mit der Luminanz der Straßenoberfläche vergleichbar oder niedriger ist, wie in den 4A und 4B gezeigt, es ist jedoch nicht möglich, eine farbige Fahrspurlinie in einem solchen Fall in geeigneter Weise zu detektieren.
Wie zuvor beschrieben, ist das Detektieren einer farbigen Fahrspurlinie basierend auf einem Farbdifferenzbild effektiv, das Ausführen sowohl einer Detektion basierend auf einem Luminanzbild als auch einer Detektion basierend auf einem Farbdifferenzbild für einen gemeinsamen Bildbereich, um sowohl eine weiße Fahrspurlinie als auch eine farbige Fahrspurlinie in geeigneter Weise zu detektieren, führt jedoch zu einer größeren Prozesslast und ist dementsprechend nicht wünschenswert.
Das Auftreten von farbigen Fahrspurlinien ist gewöhnlich seltener als das von weißen Fahrspurlinien und, dementsprechend, ist das ständige Durchführen von Fahrspurliniedetektion basierend auf einem Farbdifferenzbild zusammen mit Fahrspurliniedetektion basierend auf einem Luminanzbild in gleicher Weise nicht wünschenswert im Hinblick auf das Ansteigen der Prozesslast, das hierdurch hervorgerufen wird.
In der Ausführungsform wird ein Fahrspurliniedetektionsprozess durch einen Luminanzschwerpunktmodus, wie der zuvor beschriebene, als ein anfänglicher Modus in dem Fahrspurliniedetektionsprozess durchgeführt.
5A zeigt den Luminanzschwerpunktmodus.
In dem Luminanzschwerpunktmodus werden zuerst Reihen, in denen ein Fahrspurlinieteil detektiert wird auf der Basis eines Luminanzbildes, gesetzt als Luminanzschwerpunkt-Luminanzreihen Lbvb (gekennzeichnet durch dicke durchgezogene Linien in der Figur) und Reihen, in denen ein Fahrspurlinieteil detektiert wird auf der Basis eines Farbdifferenzbildes, werden gesetzt als Luminanzschwerpunkt-Farbdifferenzreihen Lbvc (gekennzeichnet durch dicke gestrichelte Linien in den Figuren) für den rechten Fahrspurliniesuchbereich saR und für den linken Fahrspurliniesuchbereich saL.
In dem Fall der Ausführungsform sind die Luminanzschwerpunkt-Farbdifferenzreihen Lbvc angeordnet in einer solchen Weise, dass die Abstände zwischen Reihen einem konstanten Abstand (zum Beispiel 2 m Abstände) im tatsächlichen Raum entsprechen. Das heißt, die Abstände zwischen den Luminanzschwerpunkt-Farbdifferenzreihen Lbvc tendieren dazu, enger zu werden, je höher die Reihen in dem Bild sind.
Andererseits werden die Luminanzschwerpunkt-Luminanzreihen Lbvb gesetzt als Reihen, die von den Reihen, die als die Luminanzschwerpunkt-Farbdifferenzreihen Lbvc gesetzt sind, verschieden sind. In diesem Fall werden die Abstände der Luminanzschwerpunkt-Farbdifferenzreihen Lbvc gesetzt in einer solchen Weise, dass zumindest die Anzahl der Luminanzschwerpunkt-Luminanzreihen Lbvb größer ist als die Anzahl der Luminanzschwerpunkt-Farbdifferenzreihen Lbvc.
In der Ausführungsform wird ein Randbild von irgendeinem von einem R-Bild, einem G-Bild und einem B-Bild verwendet, um einen Fahrspurlinieteil zu detektieren basierend auf einem Luminanzbild, so wie dieses für die Luminanzschwerpunkt-Luminanzreihen Lbvb durchgeführt wird. Ein Randbild des G-Bildes wird in dieser Ausführungsform verwendet.
Um einen Fahrspurlinieteil zu detektieren basierend auf einem Luminanzbild, wird eine Spitzendetektion eines Randwertes durchgeführt von einer Suchstartposition is bis zu einer Suchendposition ie für eine Zielreihe innerhalb des Randbildes des G-Bildes. Genauer gesagt, in dem Fall, in dem der rechte Fahrspurliniesuchbereich saR das Ziel ist, wird eine entsprechende Spitzenposition eines Randwertes detektiert von der Suchstartposition isR bis zu der Suchendposition ieR, in einer Zielreihe. In dem Fall, in dem der linke Fahrspurliniesuchbereich saL das Ziel ist, wird eine Spitzenposition eines entsprechenden Randwertes detektiert von der Suchstartposition isL zu der Suchendposition ieL in einer Zielreihe.
In diesem Fall, wenn ein Teil (Fahrspurlinieteil) der weißen Fahrspurlinie projiziert wird innerhalb eines Bereichs, der sich von der Suchstartposition is zu der Suchendposition ie in der Zielreihe erstreckt, werden die Startposition ds und die Endposition de des Fahrspurlinieteils detektiert durch Detektion der relevanten Spitzenposition. Bei der Detektion von Fahrspurlinieteilen basierend auf einem Luminanzbild wird Information bezüglich der entsprechenden Startposition ds und Endposition de berechnet in Form von dreidimensionaler Positionsinformation.
Der Fahrspurliniemodellbildungsprozessor 3C, oben beschrieben, bildet ein Fahrspurliniemodell unter Verwendung von Information von zumindest der Startposition ds aus der Startposition ds und der Endposition de, derart berechnet.
Ein Randbild von einem von Farbdifferenzbildern U(B-G) und V(R-G) wird verwendet, um einen Fahrspurlinieteil zu detektieren, basierend auf einem Farbdifferenzbild. In der Ausführungsform wird ein Randbild eines U-Bildes (B-G) verwendet.
Das Verfahren zum Detektieren eines Fahrspurlinieteils basierend auf einem Farbdifferenzbild ist identisch mit dem Verfahren zum Detektieren eines Fahrspurlinieteils basierend auf einem Luminanzbild, das zuvor beschrieben wurde, mit der Ausnahme, dass nunmehr die Detektion der Spitzenposition eines Randwertes angewandt wird auf die Luminanzschwerpunkt-Farbdifferenzreihen Lbvc in einem Farbdifferenzbild. Dementsprechend wird eine erneute Beschreibung dieses Verfahrens weggelassen.
Durch einen solchen Luminanzschwerpunktmodus wird es möglich, einen Fahrspurlinieteil einer weißen Fahrspurlinie mittels Durchführung der Detektion basierend hauptsächlich auf einem Luminanzbild zu detektieren. Gleichzeitig wird es möglich, das Vorhandensein oder Nichtvorhandensein eines Fahrspurlinieteils einer farbigen Fahrspurlinie zu überprüfen, wenn eine solche auftritt, durch Kombinieren der Fahrspurliniedetektion mit Detektion basierend auf einem Farbdifferenzbild in einem Teil des Fahrspurliniesuchbereichs.
Die Information bezüglich der Startposition ds und der Endposition de der Fahrspurlinie, erhalten durch Detektion in den Luminanzschwerpunkt-Farbdifferenzreihen Lbvc in dem Luminanzschwerpunktmodus, wird verwendet zur Modusumschaltbestimmung durch den Modusumschaltsteuerungsprozessor 33, der nachfolgend beschrieben wird.
Ein Farbdifferenz/Luminanzmodusprozess, der von dem Farbdifferenz/Luminanzmodusprozessor 32 durchgeführt wird, wird als Nächstes beschrieben.
Der Farbdifferenz/Luminanzmodusprozess detektiert einen Fahrspurlinieteil basierend auf einem Farbdifferenzbild für eine größere Anzahl von Reihen als während des Luminanzschwerpunktmodus.
5B zeigt den Farbdifferenz/Luminanzmodus und stellt einen Fall dar, in dem ein Fahrspurliniedetektionsprozess entsprechend dem Farbdifferenz/Luminanzmodus durchgeführt wird auf der Seite des rechten Fahrspurliniesuchbereichs saR.
In dem Farbdifferenz/Luminanzmodus werden Reihen, in denen ein Fahrspurlinieteil detektiert wird auf der Basis eines Luminanzbildes, gesetzt als Luminanzreihen bei Farbdifferenz/Luminanz Lcbb (gekennzeichnet durch dicke durchgezogene Linien in der Figur) und Reihen, in denen ein Fahrspurlinieteil detektiert wird auf der Basis eines Farbdifferenzbildes, werden gesetzt als Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc (gekennzeichnet durch dicke gestrichelte Linien in der Figur) für den rechten Fahrspurliniesuchbereich saR und für den linken Fahrspurliniesuchbereich saL.
In dem Farbdifferenz/Luminanzmodus der Ausführungsform sind Luminanzreihen bei Farbdifferenz/Luminanz Lcbb und die Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc bei jeder zweiten Reihe alternativ angeordnet, wie in der Figur gezeigt. Dementsprechend ist die Anzahl von Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Farbdifferenzbild, nunmehr größer als in dem Luminanzschwerpunktmodus.
Das Verfahren zum Detektieren eines Fahrspurlinieteils beziehungsweise -bereichs basierend auf einem Luminanzbild und das Verfahren zum Detektieren eines Fahrspurlinieteils beziehungsweise -bereichs basierend auf einem Farbdifferenzbild sind in dem Farbdifferenz/Luminanzmodus identisch mit den Verfahren, die für den Luminanzschwerpunktmodus beschrieben wurden, und werden daher nicht nochmals beschrieben.
Durch einen Farbdifferenz/Luminanzmodus kann eine farbige Fahrspurlinie somit gut detektiert werden durch Erhöhen der Anzahl von Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Farbdifferenzbild.
In der Ausführungsform kann eine weiße Fahrspurlinie ebenfalls detektiert werden, zusammen mit einer farbigen Fahrspurlinie, durch alternierendes Anordnen der Luminanzreihen bei Farbdifferenz/Luminanz Lcbb und den Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc bei jeder zweiten Reihe. Der Zweck hiervon ist es, Detektion von beiden Fahrspurlinien zu ermöglichen (Ermöglichen der Bildung von beiden Fahrspurliniemodellen), wenn eine Doppellinie auftritt, in der eine weiße Fahrspurlinie und eine farbige Fahrspurlinie nahe nebeneinander angeordnet sind, wie in 6 gezeigt.
Der Luminanzschwerpunktmodusprozess und der Farbdifferenz/Luminanzmodusprozess, wie zuvor beschrieben, werden wiederholt ausgeführt für jedes Einzelbild auf dem zuvor beschriebenen Referenzbild als Ziel.
Als Nächstes wird ein Modusumschaltsteuerungsprozess beschrieben, der von dem Modusumschaltsteuerungsprozessor 33 ausgeführt wird.
Der Modusumschaltsteuerungsprozess führt eine Modusumschaltbestimmung durch zwischen dem Luminanzschwerpunktmodus und dem Farbdifferenz/Luminanzmodus auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vordefinierten Breite oder breiter detektiert wurde, aus den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf einem Farbdifferenzbild, und führt eine Modusumschaltsteuerung durch basierend auf dem Bestimmungsergebnis.
Genauer gesagt, in dem Fall, in dem der derzeitige Modus der Luminanzschwerpunktmodus ist, bestimmt der Modusumschaltsteuerungsprozess als eine Modusumschaltbestimmung, ob oder ob nicht auf den Farbdifferenz/Luminanzmodus umgeschaltet wird, auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil der vordefinierten Breite oder breiter detektiert wurde aus den Luminanzschwerpunkt-Farbdifferenzreihen Lbvc.
In der Ausführungsform wird bestimmt, ob die Anzahl von Reihen, die beide Bedingungen unten erfüllen, gleich oder größer ist als eine vorbestimmte Rate α (zum Beispiel gleich oder größer als 80%) der gesamten Anzahl von Luminanzschwerpunkt-Farbdifferenzreihen Lbvc innerhalb des Zielfahrspurliniesuchbereichs sa:

(1) Die Breite im tatsächlichen Raum von der detektierten Startposition ds zu der Endposition de ist eine vordefinierte Breite oder breiter und
(2) der Wert der Parallaxe dp liegt innerhalb eines vordefinierten Bereichs.

Die „vordefinierte Breite“ in Bedingung (1) wird auf einen Wert gesetzt, der der Breite der Fahrspurlinie im tatsächlichen Raum entspricht. Als Bedingung (1) in der Ausführungsform wird nicht nur ein unterer Grenzwert, sondern auch ein oberer Grenzwert der Breite gesetzt, um eine Bedingung „Breite im tatsächlichen Raum von der detektierten Startposition ds bis zu der Endposition de liegt in einem vordefinierten Bereich“ zu erzielen.
In dem Modusumschaltsteuerungsprozess wird eine Steuerung in einer solchen Weise durchgeführt, dass der Modus des Fahrspurliniedetektionsprozesses umgeschaltet wird von dem Luminanzschwerpunktmodus in den Farbdifferenz/Luminanzmodus als Reaktion auf ein bestätigendes Ergebnis, das in der zuvor beschriebenen Bestimmung erhalten wird.
In der Ausführungsform wird die Modusumschaltbestimmung durchgeführt für jedes Einzelbild, so dass, wenn ein bestätigendes Ergebnis erhalten wird, der Modus umgeschaltet wird auf den Fahrspurliniedetektionsprozess entsprechend dem Farbdifferenz/Luminanzmodus von dem nächsten Einzelbild.
In dem Fall, in dem der derzeitige Modus der Farbdifferenz/Luminanzmodus ist, bestimmt der Modusumschaltsteuerungsprozess, ob oder ob nicht in den Luminanzschwerpunktmodus umzuschalten ist, auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil der vordefinierten Breite oder breiter detektiert wurde aus den Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc. Genauer gesagt, in der Ausführungsform wird die Bestimmung, ob oder ob nicht die Anzahl von Reihen, die die beiden obigen Bedingungen (1) und (2) erfüllen, kleiner ist als eine vorbestimmte Rate α (zum Beispiel kleiner als 80%) der gesamten Anzahl von Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc, durchgeführt für die Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc.
Eine derartige Umschaltbestimmung in dem Farbdifferenz/Luminanzmodus wird ebenfalls wiederholt ausgeführt für jedes Einzelbild des Referenzbildes.
Um ein Hin- und Herpendeln im Modusumschalten zu vermeiden, wird bei der Ausführungsform das Modusumschalten von dem Farbdifferenz/Luminanzmodus in den Luminanzschwerpunktmodus unterdrückt über mehrere Einzelbilder, selbst wenn ein Bestimmungsergebnis des Zulassens des Modusumschaltens in der Modusumschaltbesitmmung erhalten wird. Genauer gesagt, bei der Modusumschaltbestimmung in dem Farbdifferenz/Luminanzmodus wird das Umschalten in den Luminanzschwerpunktmodus gesteuert als Reaktion darauf, wenn die Anzahl von Malen des bestätigenden Ergebnisses eine vordefinierte Anzahl erreicht hat.
Ablauf
Der spezifische Ablauf des Prozesses, der von dem Bildprozessor 3 auszuführen ist, um die Funktionen des Luminanzschwerpunktmodusprozesses, des Farbdifferenz/Luminanzmodusprozesses und des Modusumschaltsteuerungsprozesses zu realisieren, wird nachfolgend unter Bezug auf die Flussdiagramme der 7 und 8 beschrieben.
7 zeigt einen dem Luminanzschwerpunktmodus entsprechenden Prozess, der für den Luminanzschwerpunktmodus auszuführen ist, und 8 zeigt einen dem Farbdifferenz/Luminanzmodus entsprechenden Prozess, der für den Farbdifferenz/Luminanzmodus auszuführen ist.
Der in 7 dargestellte Prozess wird wiederholt ausgeführt für jedes Einzelbild des Referenzbildes während des Luminanzschwerpunktmodus und der in 8 gezeigte Prozess wird wiederholt ausgeführt für jedes Einzelbild des Referenzbildes während des Farbdifferenz/Luminanzmodus. Die in den 7 und 8 gezeigten Prozesse werden sowohl für den rechten Fahrspurliniesuchbereich saR als auch den linken Fahrspurliniesuchbereich saL durchgeführt.
Bezugnehmend auf 7, detektiert in Schritt S101 der Bildprozessor 3 zuerst einen Fahrspurlinieteil basierend auf einem Luminanzbild für die Luminanzschwerpunkt-Luminanzreihen Lbvb. Genauer gesagt, mit dem Randbild des G-Bildes als ein Ziel wird eine entsprechende Spitzenposition an einem Randwert detektiert innerhalb des Bereichs von der Suchstartposition is zu der Suchendposition ie für die Luminanzschwerpunkt-Luminanzreihen Lbvb, die innerhalb des Fahrspurliniesuchbereichs sa liegen, in jedem von dem rechten Fahrspurliniesuchbereich saR und dem linken Fahrspurliniesuchbereich saL. Wie zuvor beschrieben, wenn ein Fahrspurlinieteil einer weißen Fahrspurlinie vorhanden ist, werden die entsprechende Startposition ds und Endposition de der Fahrspurlinie detektiert als die Spitzenpositionen des Randwertes.
Im anschließenden Schritt S102 detektiert der Bildprozessor 3 ein Fahrspurlinieteil basierend auf einem Farbdifferenzbild für die Luminanzschwerpunkt-Farbdifferenzreihen Lbvc. Genauer gesagt, mit dem Randbild des U-Bildes als Ziel wird eine Spitzenposition eines Randwertes detektiert innerhalb eines Bereichs von der Suchstartposition is zu der Suchendposition ie für Luminanzschwerpunkt-Farbdifferenzreihen Lbvc, die in dem Fahrspurliniesuchbereich sa auf der interessierenden Seite liegen. Wie zuvor beschrieben, wenn ein Fahrspurlinieteil einer farbigen Fahrspurlinie vorhanden ist, werden die entsprechende Startposition ds und Endposition de der Fahrspurlinie detektiert als die Spitzenpositionen des Randwertes.
Der Schritt S102 kann vor dem Schritt S101 ausgeführt werden.
Im anschließenden Schritt S103 bestimmt der Bildprozessor 3 für die Luminanzschwerpunkt-Farbdifferenzreihen Lbvc, ob oder ob nicht die Anzahl von Reihen, die beide Bedingungen erfüllen, das heißt, dass eine Breite (Breite im tatsächlichen Raum) einer Fahrspurlinie, von der Startposition ds bis zu der Endposition de, innerhalb eines vordefinierten Bereichs (Bedingung entsprechend der obigen Bedingung (1)) liegt und dass die Parallaxe dp innerhalb eines vorbestimmten Bereichs liegt (obige Bedingung (2)), gleich oder größer ist als eine vorbestimmte Rate α (zum Beispiel 80%) der totalen Anzahl von Luminanzschwerpunkt-Farbdifferenzreihen Lbvc.
Wenn in Schritt S103 die Anzahl von Reihen, die beide obigen Bedingungen erfüllen, gleich oder größer ist als die vorbestimmte Rate α der Gesamtanzahl von Luminanzschwerpunkt-Farbdifferenzreihen Lbvc, geht der Bildprozessor 3 weiter zu Schritt S104, um einen Prozess zum Ausführen des Farbdifferenz/Luminanzmodusprozesses von dem nächsten Einzelbild als den Farbdifferenz/Luminanzmodusumschaltprozess durchzuführen.
Im anschließenden Schritt S105 setzt der Bildprozessor 3 „N“ als einen Modusrückkehrzählwert und beendet den in der Figur dargestellten Prozess. Der Modusrückkehrzählwert ist ein Zählwert zum Verhindern des zuvor beschriebenen Hin- und Herpendeins. Hierin wird der Wert von „N“ gesetzt auf eine natürliche Zahl gleich oder größer als 2.
Wenn in Schritt S103 die Anzahl von Reihen, die die beiden obigen Bedingungen erfüllt, nicht gleich oder größer ist als die vorbestimmte Rate α der gesamten Anzahl von Luminanzschwerpunkt-Farbdifferenzreihen Lbvc, übergeht der Bildprozessor 3 die Schritte S104 und S105 und beendet den in der Figur gezeigten Prozess. Der Luminanzschwerpunktmodus wird somit beibehalten.
Als Nächstes wird der in 8 gezeigte Prozess für den Farbdifferenz/Luminanzmodus beschrieben.
Bezugnehmend auf 8 detektiert der Bildprozessor 3 zuerst in Schritt S201 von 8 einen Fahrspurlinieteil basierend auf einem Luminanzbild für die Luminanzreihen bei Farbdifferenz/Luminanz Lcbb und im anschließenden Schritt S202 detektiert er einen Fahrspurlinieteil basierend auf einem Farbdifferenzbild für die Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc.
Der Prozess in Schritt S201 ist identisch zu dem Prozess in dem früheren Schritt S101 mit der Ausnahme, dass nunmehr der Prozess angewandt wird auf die Luminanzreihen bei Farbdifferenz/Luminanz Lcbb. Der Prozess in Schritt S202 ist identisch zu dem Prozess des früheren Schritts S102 mit der Ausnahme, dass nun der Prozess angewandt wird auf die Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc. Daher wird eine wiederholte Beschreibung weggelassen.
Der Schritt S202 kann vor dem Schritt S201 ausgeführt werden.
Im anschließenden Schritt S203 bestimmt der Bildprozessor 3 für die Farbdifferenzreihen bei Farbdifferenz/Luminanz Lebe, ob oder ob nicht die Anzahl von Reihen, die beide Bedingungen erfüllen, das heißt eine Bedingung, dass eine Breite (Breite im tatsächlichen Raum) einer Fahrspurlinie, von der Startposition ds zu der Endposition de, innerhalb eines vordefinierten Bereichs liegt (Bedingung entsprechend der obigen Bedingung (1)), und eine Bedingung, dass die Parallaxe dp innerhalb eines vorbestimmten Bereichs liegt (obige Bedingung (2)), gleich oder größer ist als eine vorbestimmte Rate α (zum Beispiel 80%) der gesamten Anzahl von Farbdifferenzreihen bei Farbdifferenz/Luminanz Lcbc.
Wenn in Schritt S203 die Anzahl von Reihen, die beide obigen Bedingungen erfüllen, gleich oder größer ist als die vorbestimmte Rate α der Gesamtenanzahl von Farbdifferenzreihen bei Farbdifferenz/Luminanz Lebe, beendet der Bildprozessor 3 den in der Figur gezeigten Prozess. Das heißt, der Farbdifferenz/Luminanzmodus wird beibehalten.
Andererseits, wenn in Schritt S203 die Anzahl von Reihen, die beide obigen Bedingungen erfüllt, nicht gleich oder größer ist als die vorbestimmte Rate α der gesamten Anzahl von Farbdifferenzreihen bei Farbdifferenz/Luminanz Lebe, geht der Bildprozessor 3 weiter zu Schritt S204, um den Modusrückkehrzählwert auf -1 zu setzen, und geht dann weiter zu Schritt S205, um zu bestimmen, ob der Modusrückkehrzählwert gleich 0 ist oder nicht.
Wenn der Modusrückkehrzählwert nicht 0 ist, beendet der Bildprozessor 3 den in der Figur gezeigten Prozess. Andererseits, wenn der Modusrückkehrzählwert 0 ist, geht der Bildprozessor 3 weiter zu Schritt S206, um einen Prozess zum Ausführen des Luminanzschwerpunktmodusprozesses von dem nächsten Einzelbild als den Luminanzschwerpunktmodusumschaltprozess durchzuführen, und beendet dann den in der Figur gezeigten Prozess.
Dementsprechend wird ein Modusumschalten unterdrückt ohne Umschalten auf den Luminanzschwerpunktmodus, bis ein Bestimmungsergebnis des Bestätigens des Modusumschaltens in der Modusumschaltbestimmung in Schritt S203 N Male erhalten wird (N Einzelbilder in der Ausführungsform).
Zum Verhindern des Hin- und Herpendeins des Modusumschaltens kann das Modusumschalten unterdrückt werden, bis das Bestimmungsergebnis des Zustimmens des Modusumschaltens in der Modusumschaltbestimmung in Schritt S203 aufeinanderfolgend für eine vordefinierte Anzahl von Malen erhalten wird.
Zusammenfassung der Ausführungsform
Wie zuvor beschrieben, weist die Bildverarbeitungsvorrichtung (Bildprozessor 3) der Ausführungsform eine Bilderzeugungseinheit (Bilderzeugungseinheit 2) auf, die ein aufgenommenes Bild erhält, als ein Farbbild, durch Abbilden der Fahrtrichtung eines Subjektfahrzeugs, und eine Fahrspurliniedetektionseinrichtung (Fahrspurliniedetektionsprozessor 3B), die eine Fahrspurlinie, projiziert als ein Subjekt, detektiert auf der Basis des aufgenommenen Bildes, erhalten von der Bilderzeugungseinheit.
Die Fahrspurliniedetektionseinrichtung ist dahingehend konfiguriert, Fahrspurliniedetektionsprozesse auszuführen, ausgerichtet auf einen Fahrspurliniesuchbereich (sa), der gesetzt wird für das aufgenommene Bild, wobei die Fahrspurliniedetektionsprozesse einschließen einen Fahrspurliniedetektionsprozess entsprechend einem ersten Modus (Luminanzschwerpunktmodus) und einen Fahrspurliniedetektionsprozess entsprechend einem zweiten Modus, wobei der Fahrspurliniedetektionsprozess gemäß dem ersten Modus (Farbdifferenz/Luminanzmodus) dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf einem Luminanzbild für mehr als die Hälfte der Reihen innerhalb eines Fahrspurliniesuchbereichs und einen Fahrspurlinieteil zu detektieren basierend auf einem Farbdifferenzbild für die anderen Reihen, wobei der Fahrspurliniedetektionsprozess gemäß dem zweiten Modus dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf dem Farbdifferenzbild für eine größere Anzahl von Reihen als in dem ersten Modus. Die Fahrspurliniedetektionseinrichtung führt einen Modusumschaltsteuerungsprozess aus zum Durchführen einer Modusumschaltbestimmung zwischen dem ersten Modus und dem zweiten Modus auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wurde, aus den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf dem Farbdifferenzbild, und zum Durchführen einer Modusumschaltsteuerung basierend auf dem Bestimmungsergebnis.
In dem ersten Modus ist es möglich, ein Fahrspurlinieteil einer weißen Fahrspurlinie zu detektieren mittels Durchführen einer Detektion basierend hauptsächlich auf einem Luminanzbild, und es ist gleichzeitig möglich, das Vorhandensein oder Nichtvorhandensein eines Fahrspurlinieteils einer farbigen Fahrspurlinie zu überprüfen, wenn eine solche auftritt, durch Kombinieren von Fahrspurliniedetektion mit Detektion basierend auf einem Farbdifferenzbild. In dem Fall, in dem eine farbige Fahrspurlinie auftritt, kann die farbige Fahrspurlinie korrekt detektiert werden durch Erhöhen der Anzahl von Reihen der Detektion basierend auf einem Farbdifferenzbild durch Modusumschalten von dem ersten Modus in den zweiten Modus als ein Ergebnis des Modusumschaltsteuerungsprozesses.
Als Ergebnis können sowohl weiße Fahrspurlinien als auch farbige Fahrspurlinien richtig detektiert werden ohne, für eine gleiche Reihe, sowohl Detektion basierend auf einem Luminanzbild als auch Detektion basierend auf einem Farbdifferenzbild durchzuführen.
Daher wird es möglich, sowohl weiße Fahrspurlinien als auch farbige Fahrspurlinien richtig zu detektieren, während die Prozesslast reduziert wird.
Bei der Bildverarbeitungsvorrichtung der Ausführungsform werden zwei Fahrspurliniesuchbereiche gesetzt, die voneinander getrennt sind, auf der linken und der rechten Seite innerhalb des aufgenommenen Bildes. Die Fahrspurliniedetektionseinrichtung führt den Modusumschaltsteuerungsprozess für jeden Fahrspurliniesuchbereich aus.
Dementsprechend ist es möglich, mit beiden Fällen umzugehen, in denen eine farbige Fahrspurlinie auf der rechten Seite in der Fahrtrichtung vorhanden ist und Fällen, in denen eine farbige Fahrspurlinie auf der linken Seite vorhanden ist.
Bei der Bildverarbeitungsvorrichtung der Ausführungsform wird der Abstand zwischen Reihen (Lbvc), in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Farbdifferenzbild, in dem ersten Modus gesetzt auf einen Abstand entsprechend einem konstanten Abstand im tatsächlichen Raum.
Dementsprechend kann ein geeignetes Abtastintervall der farbigen Fahrspurlinie durchgeführt werden, verglichen mit beispielsweise dem Fall, in dem ein konstantes Intervall in dem Bildraum gesetzt wird.
Als Ergebnis wird es möglich, ein sachgerechtes Modusumschalten durchzuführen auf der Basis von geeigneten Abtastergebnissen.
In dem zweiten Modus der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform werden die Reihen (Lcbb), in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Luminanzbild, und die Reihen (Lcbc), in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Farbdifferenzbild, bei jeder zweiten Reihe alternierend angeordnet.
Als ein Ergebnis wird es möglich, sowohl eine weiße Fahrspurlinie als auch eine farbige Fahrspurlinie richtig zu detektieren in Fällen, in denen beide Arten von Fahrspurlinien innerhalb eines gleichen Fahrspurliniesuchbereichs vorhanden sind.
Es wird daher möglich, sowohl eine weiße Fahrspurlinie als auch eine farbige Fahrspurlinie richtig zu detektieren in dem Fall, in dem beispielsweise eine Doppellinie erscheint, wie diejenige, die in 6 gezeigt ist.
In der Ausführungsform erhält die Bilderzeugungseinheit ein Paar aufgenommener Bilder durch Stereoabbildung der Fahrtrichtung des Subjektfahrzeugs und die Bildverarbeitungsvorrichtung weist fernerhin eine Parallaxeberechnungseinrichtung (Dreidimensionale-Positionsinformation-Erzeugungsprozessor 3A) auf, die die Parallaxe eines Subjekts auf der Basis des Paars aufgenommener Bilder, erhalten von der Bilderzeugungseinheit, berechnet. Die Fahrspurliniedetektionseinrichtung führt die Modusumschaltbestimmung in dem Modusumschaltsteuerungsprozess aus auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wurde, und in denen ein Wert der Parallaxe dp des detektierten Fahrspurlinieteils innerhalb eines vorbestimmten Bereichs liegt, von den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf dem Farbdifferenzbild.
Es wird angenommen, dass der Fahrspurlinieteil ebenso projiziert ist auf dem anderen aufgenommenen Bild von der Stereobilderzeugung (das andere aufgenommene Bild, das nicht das Referenzbild ist), bei dem der Wert der Parallaxe dp des detektierten Fahrspurlinieteils innerhalb eines vorbestimmten Bereichs liegt. Wenn dementsprechend, wie zuvor beschrieben, die Bedingung, dass der Wert der Parallaxe dp die Bedingung erfüllt, dass er in einem vorbestimmten Bereich liegt, gesetzt ist als die Bedingung der Modusumschaltbestimmung, wird es möglich, zu verhindern, dass ein bestätigendes Ergebnis erhalten wird in der Modusumschaltbestimmung durch Reaktion auf eine irrtümliche Detektion eines Fahrspurlinieteils infolge von beispielsweise Schmutz oder dergleichen, der auf einer Kamera auf nur einer Seite anhaftet (auf der Referenzbildseite).
Das heißt, es wird möglich, ungeeignetes Modusumschalten infolge einer irrtümlichen Detektion eines Fahrspurlinieteils zu verhindern.
Bei der Bildverarbeitungsvorrichtung gemäß der Ausführungsform führt die Fahrspurliniedetektionseinrichtung als einen Modusumschaltsteuerungsprozess die Modusumschaltbestimmung für jedes Einzelbild durch, führt eine Umschaltsteuerung von dem ersten Modus in den zweiten Modus durch als Reaktion auf ein Bestimmungsergebnis des Zustimmens des Umschaltens, das in der Modusumschaltbestimmung erhalten wird, und führt eine Umschaltsteuerung von dem zweiten Modus in den ersten Modus durch als Reaktion darauf, dass die Anzahl von Malen, bei denen das Bestimmungsergebnis des zustimmenden Umschaltens erhalten wurde in der Modusumschaltbestimmung, eine vordefinierte Anzahl erreicht.
Als Ergebnis tritt keine unmittelbare Rückkehr zu dem ersten Modus auf nach dem Umschalten in den zweiten Modus. Dementsprechend ist es möglich, ein Hin- und Herpendeln des Modusumschaltens zu verhindern.
Abwandlungen
Beispielsweise sind in dem zweiten Modus der Ausführungsform (Farbdifferenz/Luminanzmodus) Reihen (Lcbb), in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Luminanzbild, und Reihen (Lebe), in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Farbdifferenzbild, bei jeder zweiten Reihe abwechselnd angeordnet. Es können jedoch Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf dem Farbdifferenzwert, angeordnet sein bei allen Reihen innerhalb des Fahrspurliniesuchbereichs sa in Fällen, in denen es beispielsweise ausreichend ist, nur die farbige Fahrspurlinie zu detektieren bei einer Doppellinie wie derjenigen, die in 6 gezeigt ist. Hierbei ist es ausreichend, als die Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf dem Farbdifferenzbild in dem zweiten Modus, eine Anzahl von Reihen gleich oder größer als die Anzahl von Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf einem Luminanzbild, vorzusehen und derart, dass eine farbige Fahrspurlinie detektiert werden kann (ein Fahrspurliniemodell gebildet werden kann).
Des Weiteren kann beispielsweise die Modusumschaltbestimmung eine Farbkomponente des Fahrspurlinieteils als einen Bezug verwenden anstatt der Breite des Fahrspurlinieteils oder der Parallaxe dp, wie zuvor beschrieben. Genauer gesagt, die Modusumschaltbestimmung kann durchgeführt werden auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wird, und in denen der detektierte Fahrspurlinieteil einen Inhalt aufweist einer vorbestimmten Farbkomponente, die ein vorbestimmtes Verhältnis oder höher aufweist, von den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf dem Farbdifferenzbild. Hierin kann das Merkmal „Inhalt einer vorbestimmten Farbkomponente“ den Inhalt einer charakteristischen Farbkomponente der interessierenden farbigen Fahrspurlinie bezeichnen, beispielsweise den Inhalt der R-Komponente in einer orangenen Fahrspurlinie. Um zu bestimmen, ob der „Inhalt einer vorbestimmten Farbkomponente in dem detektierten Fahrspurliniebereich ein vorbestimmtes Verhältnis ist oder höher“, genügt es, zu bestimmen, ob die Anzahl von Pixeln mit irgendeinem Wert von R-Wert, G-Wert und B-Wert gleich oder größer ist als ein vordefinierter Wert oder nicht, aus den Pixeln, die den Fahrspurlinieteil darstellen, gleich oder größer ist als ein vordefinierter numerischer Wert.
Durch Erfüllen der Bedingung, dass der Inhalt einer vorbestimmten Farbkomponente des Fahrspurlinieteils ein vordefiniertes Verhältnis oder höher ist, wird so eine Modusumschaltbestimmung realisiert, in der Charakteristiken der Farbe der farbigen Fahrspurlinie ebenfalls Einfluss nehmen.
Die Präzision der Modusumschaltbestimmung kann dementsprechend nochmals weiter erhöht werden.

Claims

Bildverarbeitungsvorrichtung, aufweisend: eine Bilderzeugungseinheit, die zumindest ein aufgenommenes Bild erhält, als ein Farbbild, durch Abbilden einer Fahrtrichtung eines Fahrzeugs, das mit der Bildverarbeitungsvorrichtung ausgerüstet ist, und eine Fahrspurliniedetektionseinrichtung, die eine Fahrspurlinie detektiert, die projiziert wird als ein Subjekt, auf der Basis des aufgenommenen Bildes, erhalten von der Bilderzeugungseinheit, wobei die Fahrspurliniedetektionseinrichtung dahingehend konfiguriert ist, Fahrspurliniedetektionsprozesse auszuführen, ausgerichtet auf einen Fahrspurliniesuchbereich, gesetzt für das aufgenommene Bild, wobei die Fahrspurliniedetektionsprozesse einen Fahrspurliniedetektionsprozess gemäß einem ersten Modus und einen Fahrspurliniedetektionsprozess gemäß einem zweiten Modus einschließen, wobei der Fahrspurliniedetektionsprozess gemäß dem ersten Modus dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf einem Luminanzbild für mehr als die Hälfte von Reihen innerhalb des Fahrspurliniesuchbereichs und einen Fahrspurlinieteil zu detektieren basierend auf einem Farbdifferenzbild für die anderen Reihen, wobei der Fahrspurliniedetektionsprozess gemäß dem zweiten Modus dahingehend konfiguriert ist, einen Fahrspurlinieteil zu detektieren basierend auf dem Farbdifferenzbild für eine größere Anzahl von Reihen als in dem ersten Modus, und wobei die Fahrspurliniedetektionseinrichtung einen Modusumschaltsteuerungsprozess des Durchführens einer Modusumschaltbestimmung zwischen dem ersten Modus und dem zweiten Modus ausführt auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wurde, unter den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf dem Farbdifferenzbild, und die Modusumschaltsteuerung durchführt basierend auf dem Bestimmungsergebnis.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei zwei der Fahrspurliniesuchbereiche voneinander beabstandet gesetzt sind auf der linken und rechten Seite innerhalb des aufgenommenen Bildes und die Fahrspurliniedetektionseinrichtung den Modusumschaltsteuerungsprozess für jeden Fahrspurliniesuchbereich ausführt.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei der Abstand zwischen den Reihen, in denen ein Fahrspurlinieteil detektiert wird basierend auf dem Farbdifferenzbild in dem ersten Modus, gesetzt wird auf einen Abstand, der einem konstanten Abstand im tatsächlichen Raum entspricht.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei in dem zweiten Modus die Reihen, in denen ein Fahrspurlinieteil detektiert wird auf der Basis des Luminanzbildes, und die Reihen, in denen ein Fahrspurlinieteil detektiert wird auf dem Farbdifferenzbild, alternierend angeordnet sind.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Bilderzeugungseinheit ein Paar aufgenommener Bilder erhält durch Stereoabbildung der Fahrtrichtung des Fahrzeugs, die Bildverarbeitungsvorrichtung weiterhin aufweist eine Parallaxeberechnungseinrichtung, die eine Parallaxe des Subjekts berechnet auf der Basis des Paars aufgenommener Bilder, erhalten von der Bilderzeugungseinheit, und wobei die Fahrspurliniedetektionseinrichtung die Modusumschaltbestimmung in dem Modusumschaltsteuerungsprozess durchführt auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wurde und in denen ein Wert der Parallaxe des detektierten Fahrspurlinieteils innerhalb eines vordefinierten Bereichs liegt, unter den Reihen, in denen ein Fahrspurlinieteil detektiert wurde auf der Basis des Farbdifferenzbildes.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei, als der Modusumschaltsteuerungsprozess, die Fahrspurliniedetektionseinrichtung durchführt: die Modusumschaltbestimmung für jedes Einzelbild, Umschaltsteuerung von dem ersten Modus in den zweiten Modus als Reaktion auf ein Bestimmungsergebnis des der Umschaltung Zustimmens, wobei das Bestimmungsergebnis erhalten wird in der Modusumschaltbestimmung, und Umschaltsteuerung von dem zweiten Modus in den ersten Modus als Reaktion darauf, dass die Anzahl von Malen, dass das Bestimmungsergebnis des der Umschaltung Zustimmens erhalten wurde in der Modusumschaltbestimmung, eine vordefinierte Anzahl erreicht.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Fahrspurliniedetektionseinrichtung die Modusumschaltbestimmung in dem Modusumschaltsteuerungsprozess durchführt auf der Basis der Anzahl von Reihen, in denen ein Fahrspurlinieteil einer vorbestimmten Breite oder breiter detektiert wurde und in denen ein Inhalt einer vorbestimmten Farbkomponente in dem detektierten Fahrspurlinieteil ein vorbestimmter Anteil oder höher ist, aus den Reihen, in denen ein Fahrspurlinieteil detektiert wurde basierend auf dem Farbdifferenzbild.