-
Die
vorliegende Anmeldung geht zurück
auf die
japanische Patentanmeldung
Nr. 2006-247125 , angemeldet am 12. September 2006; auf
den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
-
Hintergrund der Erfindung
-
(Gebiet der Erfindung)
-
Die
vorliegende Erfindung betrifft eine Vorrichtung zur Bestimmung,
ob in einer Umgebung um ein Fahrzeug herum Nebel vorhanden ist oder
nicht, wobei Bilder verwendet werden, die von einer am Fahrzeug
angeordneten Kamera aufgenommen werden.
-
(Beschreibung des Standes der Technik)
-
Es
ist eine Vorrichtung zur Durchführung
einer Bildverarbeitung an einem Bild bekannt, das von einer fahrzeugseitigen
Kamera aufgenommen wurde, um das Vorhandensein von Nebel zu bestimmten (wie
beispielsweise in der
JP-PS 3444192 beschrieben).
In der
JP-PS 3444192 wird
das Vorhandensein von Nebel auf der Grundlage des Grads einer Bildunschärfe bestimmt.
Wenn Nebel vorhanden ist, wird das Bild verschwommen. Somit wird
das Vorhandensein von Nebel aufgrund des geschätzten Grads der Bildverschwommenheit
bestimmt. Bei der Schätzung
des Grads der Bildverschwommenheit wird zunächst eine Differenzialberechnung
für jedes Pixel
an einem Gesamtbild durchgeführt,
um eine Änderungsrate
der Helligkeit (die Menge an Kanten) in jedem Pixel des Bilds zu
berechnen. Die Helligkeitsänderungen
werden verwendet, um den Grad der Bildverschwommenheit zu schätzen.
-
Bei
der Vorrichtung gemäß der
JP-PS 3444192 wird das Bestimmungsergebnis
hinsichtlich des Vorhandenseins von Nebel bei der Erkennung einer
weißen
Linie auf einer Fahrbahn verwendet. Bei der Erkennung der weißen Linie
auf der Fahrbahn, auf der das Fahrzeug fährt, basierend auf einem von der
fahrzeugseitigen Kamera aufgenommenen Bild, wird, wenn Nebel in
der Atmosphäre
oberhalb der Fahrbahn vorhanden ist, das Bild verschwommen, was
dazu führt,
dass die weiße
Linie schwer zu erkennen ist. Daher wird das Vorhandensein von Nebel vor
der Erkennung der weißen
Linie bestimmt. Es ist auch beschrieben, dass, wenn das Vorhandensein von
Nebel bestimmt wird, Nebelscheinwerfer eingeschaltet werden.
-
Eine
Vorrichtung, wie sie in der
JP-PS 3312729 beschrieben
ist, ist nicht von dem Typ, der nur das Vorhandensein von Nebel
bestimmt. Wenn ein Bild aufgrund schlechter Sichtverhältnisse
durch Nebel oder dergleichen oder durch Schmutz auf der Fahrzeugwindschutzscheibe
verschwommen wird, wird es schwierig, das Fahrzeugäußere richtig
zu überwachen
(d. h. eine Überwachung
einer Distanz zwischen dem eigenen Fahrzeug und einem von dem Fahrzeug
beabstandeten Objekt durchzuführen,
d.h. dem Äußeren des
Fahrzeugs). Um dem zu begegnen, erfolgt eine Bestimmung dahingehend,
ob das Bild verschwommen ist oder nicht.
-
Bei
dem Verfahren zur Bestimmung der Bildverschwommenheit gemäß der
JP-PS 3312729 wird ein repräsentativer
Wert der Helligkeitsänderung
des Bilds basierend auf einer Helligkeitsänderung in einem festgelegten
Abschnitt des Bilds berechnet, wobei der festgelegte Abschnitt in
einen oberen mittigen Abschnitt des Bildes gelegt wird. Genauer
gesagt, der repräsentative
Wert der Helligkeitsänderung
des Bilds wird basierend auf ein Verhältnis der Anzahl von Pixeln,
bei denen die Helligkeitsänderung
einen bestimmten Schwellenwert übersteigt,
geschätzt.
-
Beide
Vorrichtungen gemäß der
JP-PS 3444192 und der
JP-PS 3312729 bestimmen,
ob ein von der fahrzeugseitigen Kamera aufgenommenes Bild verschwommen
wird oder nicht, um damit eine Beurteilung hinsichtlich des Vorhandenseins
von Nebel zu machen. Wenn die Helligkeitsänderungen eines jeden Pixels
in dem Gesamtbild berechnet werden, tritt der Fall auf, dass die
Verarbeitungszeit oder -belastung zur Durchführung der Bildverarbeitung etwa
gemäß dem
JP-PS 3444192 zunimmt. Bei
der Vorrichtung gemäß der
JP-PS 3312729 werden nur Helligkeitsänderungen
in dem festgelegten Bereich, der in einem oberen mittigen Abschnitt
liegt, berechnet, was zu einer geringeren Belastung oder kürzeren Prozesszeit
als bei der Vorrichtung gemäß der
JP-PS 344192 führt. Jedoch
wird ein Bildobjekt in dem Bild eines Nahbereichsobjekts bezüglich des
Eigenfahrzeug auch beim Vorhandensein von Nebel klar aufgenommen.
Wenn daher das Objekt in dem festgelegten Bereich des Bildes in
einem Nahbereich zum Eigenfahrzeug aufgenommen wird, tritt der Fall auf,
dass es schwierig wird, das Vorhandensein von Nebel präzise zu
bestimmen.
-
Angesichts
der obigen Umstände
hat die vorliegende Anmelderin eine Vorrichtung entwickelt, die dahingehend
arbeitet, das Vorhandensein von Nebel zu bestim men, in dem ein Bild
eines weit entfernten Fahrbahnbereichs verwendet wird, bestimmt
anhand des Bilds, das von einer fahrzeugseitigen Kamera aufgenommen
wird, um einen Bereich entlang einer Straße in großer Entfernung von dem Fahrzeug
darzustellen; hierzu wurde eine Patentanmeldung eingereicht (
japanische offengelegte Veröffentlichung
Nr. 2006-349492 ). Wenn somit der Bildbereich, für den das
Vorhandensein von Nebel bestimmt wird, dem Bereich oberhalb der
Fahrbahn zugewiesen wird, ist es sehr wahrscheinlich, dass aufgrund
der Fahrbahn, die normalerweise bis in eine weitere Entfernung fortläuft, ein
derartiger weit entfernter Bereich ein aufgenommenes Bild eines
weit entfernten Bereichs enthält.
Dies ermöglicht,
dass das Vorhandensein von Nebel präzise bestimmt wird.
-
Weiterhin
beschreibt die
WO 03/069275 Mittel
zur Bestimmung, ob Nebel in der Umgebungsluft vorhanden ist oder
nicht, welche das Gesichtsfeld um einen Fahrersitz und ein Fahrzeug
herum umgibt, wobei ein Bild von einer fahrzeugseitigen Kamera aufgenommen
wird.
-
Bei
diesem Verfahren werden ein Fahrbahnabschnitt und ein Abschnitt
des Himmels basierend auf Helligkeiten des Bildes bestimmt, das
von der fahrzeugseitigen Kamera aufgenommen wird. Danach wird eine
Berechnung durchgeführt,
um Löschungskoeffizienten
in beiden Bereichen mittels des Koschmieder'schen Gesetzes zu erhalten, woraufhin das
Gesichtsfeld erzeugt wird und das Vorhandensein oder Nichtvorhandensein
von Nebel basierend auf den sich ergebenden Löschungskoeffizienten bestimmt
wird.
-
Bei
den Vorrichtungen gemäß der
japanischen Patentveröffentlichung
Nr. 2006-349492 oder der
WO 03/069275 zur Bestimmung
des Vorhandenseins von Nebel ist es wahrscheinlich, dass, wenn eine
Aufnahme durch eine fahrzeugseitige Kamera erfolgt, die in einem
Fahrzeug angeordnet ist, welches auf einer durch einen Wald führenden
Straße
fährt,
beispielsweise in einem Bergtal, dann ein weit entfernter Fahrbahnbereich
im Wald enthalten ist und daher ein Unterbelichtungsphänomen in
dem aufgenommenen Bild auftritt. Wenn solche Unterbelichtungsphänomene in
dem weit entfernten Fahrbahnbereich vorhanden sind, besteht die
Möglichkeit,
dass fälschlicherweise
bestimmt wird, das Bild in Nebel gehüllt ist.
-
Die
vorliegende Erfindung wurde gemacht, um die genannten Probleme anzugehen
und hat als Aufgabe, präzise
das Vorhandensein von Nebel zu bestimmen, auch wenn ein Unterbelichtungsphänomen in
einem weit entfernten Fahrbahnbereich eines Bilds auftritt.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Zur
Lösung
der obigen Aufgabe wird eine fahrzeugseitige Nebelbestimmungsvorrichtung
geschaffen mit Bild-in-Nebel-Bestimmungsmitteln, ob ein von einer
fahrzeugseitigen Kamera aufgenommenes Bild ein in Nebel gehülltes Bild
ist, wobei die Vorrichtung weit-entfernt-Helligkeitsermittlungsmittel zum
Ermitteln der Helligkeit in einem weit entfernten Fahrbahnbereich,
der einen Bereich über
einer Fahrbahn in einer bestimmten weit entfernten Distanz vom Eigenfahrzeug
darstellt, aus dem von der fahrzeugseitigen Kamera aufgenommenen
Bild und Himmelhelligkeitsermittlungsmittel aufweist, um eine Helligkeit
eines Himmels um das Fahrzeug herum zu ermitteln, wobei die Bild-in-Nebel-Bestimmungsmittel eine
Bestimmung unter Verwendung eines Bilds von dem weit entfernten
Fahrbahnbereich während
eines Nichtauftretens eines Unterbelichtungsphänomens in dem weit entfernten
Fahrbahnbereich haben, wobei eine Bestimmung unter Verwendung einer
Helligkeit des weit entfernten Fahrbahnbereichs und eine Helligkeit
des Himmels während
des Auftretens eines Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich
gemacht wird.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
1 ist
ein Blockdiagramm, das den Aufbau einer in ein Fahrzeug eingebauten
Nebelerkennungsvorrichtung 10 zeigt, bei der die vorliegende
Erfindung angewendet wird.
-
2 ist
ein Flussdiagramm, welches den wesentlichen Inhalt einer Steuerfunktion
zur Durchführung
durch eine Bildverarbeitungs-ECU 14 zeigt;
-
3 ist
ein Beispiel eines Bilds, das von einer fahrzeugseitigen Kamera 12 aufgenommen
wird.
-
4 ist
ein anderes Beispiel eines Bilds, das von der fahrzeugseitigen Kamera 12 aufgenommen
wird.
-
5 ist
ein Flussdiagramm, das ein Detail eines Fahrbahnverlaufbestimmungsvorgangs
im Schritt S100 von 2 zeigt.
-
6 ist
ein Flussdiagramm, das ein Detail eines Bestimmungsvorgangs für einen
weit entfernten Fahrbahnbereich im Schritt S200 von 2 zeigt.
-
7 ist
eine Ansicht einer 100m-Linie LF, die vorläufig in einem von der fahrzeugseitigen
Kamera 12 aufgenommenen Bild festgelegt wird.
-
8 ist
eine Ansicht eines festen Fahrbahnabschnitts 30, der vorläufig gesetzt
wird.
-
9 ist
ein Flussdiagramm, das ein Detail einer Bildverarbeitung zur Bestimmung
des Vorhandenseins von Nebel im Schritt S300 zeigt.
-
10 ist
eine Ansicht einer Helligkeitsverhältniswahrscheinlichkeitsverteilungsmappe,
die ein Verhältnis
einer Helligkeit des weit entfernten Fahrbahnbereichs zu einer Helligkeit
eines Himmelbereichs darstellt.
-
DETAILLIERTE BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Eine
in ein Fahrzeug eingebaute Nebelerkennungsvorrichtung einer Ausführungsform
gemäß der vorliegenden
Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung
beschrieben. 1 ist ein Blockdiagramm, das
den Aufbau der in das Fahrzeug eingebauten Nebelerkennungsvorrichtung 10 zeigt,
bei der die vorliegenden Erfindung angewendet wird.
-
Die
in das Fahrzeug eingebaute Nebelerkennungsvorrichtung 10 enthält eine
fahrzeugseitige Kamera 12, eine Bildverarbeitungs-ECU 14,
einen Gierratensensor 16, einen Lenksensor 18,
ein Millimeterwellenradar 20, einen Beleuchtungsstärkensensor 21 und
einen Fahrzeuggeschwindigkeitssensor 22, die untereinander
mittels eines Fahrzeug-LAN 24 verbunden sind. Mit dem Fahrzeug-LAN 24 sind
eine Fahrunterstützungs-ECU 26 und
eine Lichtsteuer-ECU 28 verbunden.
-
Die
fahrzeugseitige Kamera 12 ist aufgebaut aus einer CCD-Kamera,
die im Innenraum angeordnet ist, beispielsweise am Dachhimmel in
einem Bereich nahe des Fahrersitzes. Die fahrzeugseitige Kamera 12 nimmt
ein Bild vorderhalb des Fahrzeugs auf, um zu ermöglichen, dass aufgenommene
Bilddaten der Bildverarbeitungs-ECU 14 übermittelt
und dort verarbeitet werden.
-
Die
Bildverarbeitungs-ECU 14 ist aufgebaut aus einem Computer,
der intern eine CPU, ein ROM, ein RAM, etc. aufweist. Das RAM speichert
vorübergehend
Daten der kontinuierlich von der fahrzeugseitigen Kamera 12 aufgenommenen
Bilder für
eine bestimmte Zeit. Dann führt
die CPU eine Grundsequenz von Abläufen gemäß 2 durch,
um im ROM gespeicherte Daten zu verarbeiten. Die Arbeitsweisen der
CPU werden später
noch beschrieben.
-
Der
Gierratensensor erkennt sequenziell Gierraten des Fahrzeugs und
der Lenksensor 18 erkennt sequenziell Lenkwinkel eines
Lenkrads. Weiterhin gibt das Millimeterwellenradar 20 Millimeterwellen
in Richtung Fahrzeugvorderseite aus und empfängt reflektierte Wellen, die
von einem Objekt zurückgeworfen
werden. Die Fahrunterstützungs-ECU 26 arbeitet
als Fahrzeugfronterkennungsmittel. Die Fahrunterstützungs-ECU 26 bestimmt
kontinuierlich das Vorhandensein oder Nichtvorhandensein eines vorderen
Fahrzeugs (ein auf der gleichen Fahrspur vorderhalb des Eigenfahrzeugs
fahrendes Fahrzeugs) basierend auf reflektierten Wellen des Millimeterwellenradars 20.
Wenn ein vorderes Fahrzeug erkannt wird, wird ein Ablauf durchgeführt, um
eine Distanz zwischen dem vorderen Fahrzeug und dem Eigenfahrzeug
zu berechnen, sowie einen relativen Azimut und eine Relativgeschwindigkeit.
Zusätzlich
wird eine Fahrunterstützungssteuerung,
beispielsweise eine Fahrzeuggeschwindigkeitssteuerung basierend
auf den berechneten Informationen durchgeführt.
-
Die
Lichtsteuer-ECU 28 führt
eine Steuerung zum automatischen Ein- oder Ausschalten von Nebelscheinwerfern
und Fahrlichtern (nicht gezeigt) basierend auf einem ausgegebenen
Helligkeitswert eines Leuchtstärkensensors
vom Leuchtstärkensensor 21 durch.
Selbst wenn die Bildverarbeitungseinheit-ECU 14 den Vorgang
durchführt,
um zu bestimmen, dass Nebel vorhanden ist, wird der Vorgang zur Steuerung
des Ein- und Ausschaltens von Nebellampen und Fahrscheinwerfern
durchgeführt.
-
2 ist
ein Flussdiagramm, das das Wesentliche einer Steuerfunktion zeigt,
die von der Bildverarbeitungs-ECU 14 durchgeführt wird.
Die in 2 gezeigte Steuerung wird in einem bestimmten Zyklus
während
der Fahrt des Fahrzeugs durchgeführt
und während
der Steuerungsdurchführung nimmt
die fahrzeugseitige Kamera 12 kontinuierlich ein Bild eines
Fahrzeugs vorderhalb des Eigenfahrzeugs auf. Die 3 und 4 sind
Beispielbilder, die von der fahrzeugseitigen Kamera 12 aufgenommen
werden.
-
Gemäß 2 führt die
Bildverarbeitungs-ECU 14 einen Fahrbahnverlaufbestimmungsvorgang
(Schritt S100) entsprechend Fahrbahnverlaufbestimmungsmitteln durch.
Nachfolgend erfolgt ein Ablauf eines Bestimmungsvorgangs für einen weit entfernten
Bereich entsprechend Bestimmungsmitteln für einen weit entfernten Bereich
(Schritt S200). Danach erfolgt ein Bildverarbeitungsvorgang zur
Bestimmung des Vorhandenseins von Nebel entsprechend Bildnebelzustandbestimmungsmitteln (Schritt
S300).
-
Der
Fahrbahnverlaufbestimmungsvorgang im Schritt S100 ist in 5 im
Detail gezeigt. Zuerst wird im Schritt S110 ein Weißlinienerkennungsvorgang
durchgeführt,
um eine weiße
Linie zu erkennen, die eine Art Verkehrszeichen entlang einer Fahrspur ist,
was basierend auf einer Reihe von Bildern erfolgt, die fortlaufend
von der fahrzeugseitigen Kamera 12 aufgenommen werden.
Der Weißlinienerkennungsvorgang
kann durch verschiedene bekannte Verarbeitungstechniken erfolgen.
Beispielsweise wird das von der fahrzeugseitigen Kamera 12 aufgenommene Bild
einer binären
Bildverarbeitung unterworfen, um einen Weißlinienanteil aus dem Bild
zu entnehmen, das von der binären
Bildverarbeitung herrührt,
und damit die weiße
Linie zu erkennen. Der hier benutzte Begriff „weiße Linie" bezieht sich nicht nur auf eine weiße Linie,
sondern auch beispielsweise auf eine gelbe Linie, die auf ähnliche
Weise wie durch einen normalen Weißlinienerkennungsvorgang erkannt wird.
-
Es
trifft nicht immer zu, dass der Weißlinienerkennungsvorgang von
Schritt S110 wirksam dahingehend ist, zu allen Zeiten eine weiße Linie
zu erkennen. Es besteht die Wahrscheinlichkeit, dass eine weiße Linie
nicht erkannt werden kann, da beispielsweise keine weiße Linie
auf die Fahrbahn gezeichnet ist. Im folgenden Schritt S120 wird
daher ein Vorgang durchgeführt,
um zu bestimmen, ob die weiße
Linie erkannt werden kann oder nicht. Die Bestimmung erfolgt hierbei,
um eine Beurteilung machen zu können,
ob die weiße
Linie soweit erkannt werden kann, dass im folgenden Schritt S130
der Fahrbahnverlauf bestimmbar ist. Es besteht somit keine Notwendigkeit,
dass beide weißen
Linien erkannt werden müssen.
Auch besteht keine Notwendigkeit, dass die weiße Linie durchgängig entlang
einer Länge
vom Eigenfahrzeug bis zu einem Fluchtpunkt erkannt werden muss.
Das heißt,
im Schritt S120 erfolgt der Vorgang dahingehend, zu bestimmen, ob wenigstens
eine der weißen
Linien durchgängig über eine
bestimmte Länge
oder intermittierend erkannt werden kann.
-
Wenn
die Bestimmung im Schritt S120 positiv ist, wird in einem folgenden
Schritt S130 der Fahrbahnverlauf bestimmt. Der hier verwendete Begriff „Fahrbahnverlauf" bezieht sich auf
eine einzelne Linie, die ein gewundenes Muster auf der Fahrbahn darstellt,
die sich vom Eigenfahrzeug in einen vorderhalb liegenden Bereich
erstreckt und die beispielsweise eine Strichpunktlinie gemäß den 3 und 4 ist.
Die Strichpunktlinie der 3 und 4 stellt
eine in Breitenrichtung gesehene Mittellinie der Verkehrsspur dar,
auf der sich das Eigenfahrzeug bewegt. Anstelle der Strichpunktlinie
kann der Fahrbahnverlauf auch eine der beiden weißen Linien
enthalten, die auf beiden Seiten der Verkehrsspur liegen, auf der
sich das Eigenfahrzeug bewegt. In einer Alternative kann, wenn die
Fahrbahn eine Mehrzahl von Verkehrsspuren hat, der Fahrbahnverlauf
die in Breitenrichtung mittig liegende Linie der gesamten Straße enthalten.
-
Wenn
die Bestimmung im Schritt S120 negativ ist, wird im Schritt S140
ein Vorgang durchgeführt, um
zu bestimmen, ob die Fahrunterstützungs-ECU 26 ein
vorderhalb liegendes Fahrzeug erkennt oder nicht. Wenn eine solche
Bestimmung positiv ist, berechnet die Fahrunterstützungs-ECU 26 eine
Distanz zu dem vorderhalb liegenden Fahrzeug und einen relevanten
relativen Azimut. Somit wird im Schritt S150 ein Vorgang durchgeführt, um
eine Lage des relevanten vorderhalb liegenden Fahrzeugs in dem Bild
basierend auf der Distanz zu dem berechneten vorderhalb liegenden
Fahrzeug und dem relativen Azimut zu bestimmen.
-
In
einem folgenden Schritt S160 wird ein Ablauf durchgeführt, um
einen Lenkwinkel eines Lenkrads in Antwort auf ein Signal vom Lenksensor 18 zu bestimmen.
Im Schritt S170 wird ein Vorgang durchgeführt, um den Fahrbahnverlauf
durch Verbindung eines gegebenen Punkts (d. h. beispielsweise einen in
Breitenrichtung gesehen mittleren Punkt einer Motorhaube an einer
Grenzlinie hierzu mit dem Bild) in dem Bild des Eigenfahrzeugs,
der vorläufig
als Endpunkt einer Linie zur Darstellung des Fahrbahnverlaufs bestimmt
wurde und der Lage des vorderhalb liegenden Fahrzeugs in dem Bild
aus Schritt S150 miteinander unter Verwendung eines Kreisbogens mit
einem Krümmungsradius
gemäß dem Lenkwinkel aus
Schritt S160 zu bestimmen.
-
Wenn
die Bestimmung in Schritt S140 negativ ist, werden die Abläufe in den
Schritten S180 bis S190 durchgeführt.
Zunächst
wird im Schritt S180 der Lenkwinkel basierend auf dem Signal vom
Lenksensor 18 bestimmt. Im folgenden Schritt S190 wird der
Kreisbogen an der Linie, die den Fahrbahnverlauf angibt, so bestimmt,
dass eine Tangentiallinie parallel zu einer Vorwärts/Rückwärts-Richtung des Fahrzeugs
an dem gegebenen Punkt im Bild des gegebenen Punkts ist, der vorläufig als
Endpunkt der Linie bestimmt wurde, die den Fahrbahnverlauf für das Eigenfahrzeug
darstellt. Auch kann in einem oder in beiden Schritten S160 und
S180 die Gierrate in Antwort auf ein Signal vom Gierratensensor 16 anstelle der
Erkennung des Lenkwinkels erkannt werden.
-
In
den Schritten S130, S170 und S190, wo die jeweils bestimmten Fahrbahnverläufe verglichen werden,
erlaubt die Durchführung
des Ablaufs in Schritt S130 die Bestimmung des Fahrbahnverlaufs basierend
auf der angegebenen weißen
Linie entlang der Fahrbahn. Somit kann der Fahrbahnverlauf mit sehr
hoher Genauigkeit bestimmt werden. Zusätzlich wird der Ablauf in Schritt
S170 durchgeführt,
wobei zusätzlich
zum Lenkwinkel die Lage des vorderhalb fahrenden Fahrzeugs verwendet
wird. Dies ermöglicht,
dass der Fahrbahnverlauf genauer bestimmt werden kann als im Schritt
S190, der nur auf dem Lenkwinkel basiert. Wenn im Gegensatz hierzu
keine weiße
Linie im Schritt S130 erkannt wird, wird auch kein Fahrbahnverlauf
bestimmt. Wenn weiterhin kein vorausfahrendes Fahrzeug erkannt wird,
wird im Schritt S170 kein Fahrbahnverlauf bestimmt. Jedoch kann
der Fahrbahnverlauf mit Sicherheit im Schritt S190 bestimmt werden.
-
Mit
dem so bestimmten Fahrbahnverlauf wird der Bestimmungsvorgang für den weit
entfernten Bereich (im Schritt S200 in 2) durchgeführt. Der
Bestimmungsvorgang für
den weit entfernten Bereich ist ein Ablauf, wie er in 6 dargestellt
ist.
-
In 6 wird
zunächst
im Schritt 210 ein Ablauf durchgeführt, um einen Punkt in weiter
Entfernung in dem Bild in einer bestimmten weit entfernten Distanz
vom Eigenfahrzeug auf der Fahrbahn zu bestimmen, auf der sich das
Eigenfahrzeug bewegt. Der Begriff „bestimmte weit entfernte
Distanz" bezieht
sich auf eine auf 100m gesetzte Distanz. Die vorliegende Erfindung
ist jedoch nicht auf eine derartige Distanz von 100m beschränkt und
es kann ausreichend sein, eine weit entfernte Distanz heran zu ziehen,
ab der ein Bild verschwimmt, wenn der Nebel eine gewisse Dichte
annimmt.
-
Wenn
die fahrzeugseitige Kamera 12 fest an dem Fahrzeug angeordnet
ist, ist es möglich,
vorläufig
eine echte Distanz zu einem Oberflächenpunkt auf einer flachen
Bodenfläche
zu bestimmen und wo in dem Bild der Oberflächenpunkt liegt. Folglich wird
es möglich,
vorläufig
eine 100m-Linie zu bestimmen, auf der der Oberflächenpunkt vorderhalb des Eigenfahrzeugs
in einem Abstand von 100m auf der flachen Bodenfläche liegt. 7 zeigt
eine derartige 100m-Linie LF in dem Bild. Bei der vorliegenden Ausführungsform
stellt die 100-Linie LF eine weit entfernte Distanzlinie dar und
wird im ROM in der Bildverarbeitungs-ECU 14 oder in einer
anderen Speichervorrichtung gespeichert.
-
Nachfolgend
wird im Schritt 210 ein Ablauf durchgeführt, um einen Schnittpunkt
zwischen der 100m-Linie und einer Linie zu bestimmen, welche den
im Schritt S100 bestimmten Fahrbahnverlauf darstellt und der ein
weit entfernter Distanzpunkt (d. h. ein Punkt 100m voraus) auf der
Fahrbahn sein soll, auf der sich das Eigenfahrzeug bewegt.
-
Im
folgenden Schritt S220 wird ein äußerer Rahmen
OF des weit entfernten Fahrbahnbereichs mit Bezug auf den weit entfernten
Distanzpunkt aus Schritt S210 bestimmt. Die äußeren Rahmen OF der weit entfernten
Fahrbahnbereiche werden gemäß den 3 und 4 so
gesetzt, dass der weit entfernte Distanzpunkt aus Schritt S210 mittig
in einer unteren Seite eines jeden äußeren Rahmens OF liegt. Zusätzlich hat
der äußere Rahmen
OF eine Größe, welche
auf eine passend geringe Größe bezüglich der
Größe des gesamten
von der fahrzeugseitigen Kamera 12 aufgenommenen Bilds
aufgesetzt ist.
-
Die 3 und 4 zeigen
festgesetzte Beispiele von äußeren Rahmen
AF von Bereichen (nachfolgend als „Himmelbereich" bezeichnet) entsprechend
dem Himmel in der Nähe
des Fahrzeugs. Entsprechende Positionen der äußeren Rahmen AF in solchen
Himmelbereichen auf den Bildern werden im ROM der Bildverarbeitungs-ECU 14 oder
in einer anderen Speichervorrichtung gespeichert.
-
Die
vorliegende Erfindung ist nicht auf die in den 3 und 4 gezeigten
Beispiele beschränkt und
die Positionen der äußeren Rahmen
OF können so
bestimmt werden, dass der weit entfernte Distanzpunkt die Mitte
des weit entfernten Fahrbahnbereichs bildet. Weiterhin kann die
Lage des weit entfernten Distanzpunkts relativ zu dem äußeren Rahmen
OF des weit entfernten Fahrbahnbereichs abhängig davon geändert werden,
ob: der Fahrbahnverlauf auf einer in Breitenrichtung mittig liegenden
Linie einer Fahrspur basiert; ob der Fahrbahnverlauf auf einer in Breitenrichtung
mittig liegenden Linie einer gesamten Fahrbahn basiert; und welche
der weißen
Linien der Fahrspur für
den Fahrbahnverlauf angewendet wird. Beispielsweise in dem Fall,
wo der Fahrbahnverlauf (einen diesen anzeigende Linie) auf der weißen Linie an
der rechten Seite der Fahrspur basiert, kann die Lage des äußeren Rahmens
OF so bestimmt werden, dass der äußere Rahmen
OF, der den weit entfernten Fahrbahnbereich bildet, an seiner unteren Seite
einen Punkt auf ¼ der
Länge hiervon
von rechts her gesehen hat, der als weit entfernter Distanzpunkt gesetzt
wird.
-
In
einem folgenden Schritt S230 wird der Fahrbahnabschnitt aus dem
Bereich des äußeren Rahmens
OF des in Schritt S220 bestimmten weit entfernten Fahrbahnbereichs
entfernt. Bei der vorliegenden Ausführungsform wird der Vorgang
durchgeführt,
um einen festgelegten Fahrbahnabschnitt 30 zu entfernen,
der vorab festgesetzt wird, wie in 8 gezeigt.
Der Fahrbahnabschnitt 30 enthält einen dreieckförmigen Abschnitt
mit einer Mitte „O" des äußeren Rahmens
OF an der Spitze und einer unteren Seite des äußeren Rahmens OF als Bodenseite.
-
Der
Fahrbahnabschnitt, der in dem äußeren Rahmen
OF des Bilds tatsächlich
aufgenommen wird, hat unterschiedliche Form abhängig von einer Breite der Fahrbahn,
auf der gefahren wird und dem Fahrbahnverlauf (gerade Fahrbahn oder
gekrümmte Fahrbahn).
Angesichts dessen wird es, wenn der Fahrbahnabschnitt 30 in
einem solchen festen Bereich gebildet wird, schwierig, den Fahrbahnabschnitt aus
dem äußeren Rahmen
OF des tatsächlich
aufgenommenen Bilds genau zu entfernen. Wenn die Fahrbahn jedoch
irgendeinen Verlauf hat, wird der Fahrbahnabschnitt mit zunehmendem
Abstand von der unteren Seite zur oberen Seite in dem weit entfernten
Bereich schmäler.
Selbst wenn daher der Fahrbahnabschnitt 30, der zu entfernen
ist, festgelegt ist, kann ein wesentlicher Teil des Fahrbahnabschnitts
entfernt werden. Zusätzlich,
wenn der Fahrbahnabschnitt 30 derart festgelegt ist, kann
die Belastung hinsichtlich Rechenvorgängen gemindert werden. Wenn
der Fahrbahnabschnitt 30 im Schritt S230 entfernt wird,
hat der sich ergebende Bereich nach der Entfernung einen relativ
großen
fahrbahnseitigen Anteil.
-
Weiterhin
kann der Fahrbahnabschnitt basierend auf einem Fahrbahnverlauf aus
Schritt S100 bestimmt werden, ohne den Fahrbahnabschnitt 30 festzulegen.
Wenn in einem solchen Fall beispielsweise die Linie, die den Fahrbahnverlauf
anzeigt und der äußere Rahmen
OF des weit entfernten Fahrbahnbereichs sich nur in einem Punkt
schneiden (siehe 3), wird dem Fahrbahnabschnitt
eine Dreiecksform zugewiesen mit einem Scheitelpunkt an dem Fluchtpunkt
und der unteren Seite des äußeren Rahmens
OF an der Bodenseite. Wenn die Linie, die den Fahrbahnverlauf angibt
und der äußere Rahmen OF
des weit entfernten Fahrbahnbereichs sich an zwei Schnittpunkten
schneiden (siehe 4), kann es ausreichend sein,
dem Fahrbahnabschnitt ein rechtwinkliges Dreieck mit einer Spitze
an einem Schnittpunkt (oder einem Punkt in einem Bereich über dem
Schnittpunkt in Form einer gegebenen Koordinate), der einen Abschnitt
des äußeren Rahmens OF,
der keine Unterseite bildet, nicht schneidet, zuzuweisen, wobei
die untere Seite des äußeren Rahmens
OF einer Bodenseite zugewiesen wird. Zusätzlich kann der Fahrbahnabschnitt
anhand der weißen Linie
bestimmt werden, die bei Verarbeitung des Bilds erkannt wird.
-
In
dem folgenden Schritt S240 wird ein Ablauf durchgeführt, zu
bestimmen, ob ein Fahrzeugabschnitt in dem äußeren Rahmen OF des weit entfernten
Fahrbahnbereichs aus Schritt S220 vorhanden ist oder nicht. Eine
solche Bestimmung wird ge macht, um das Fahrzeug in einem kurzen
Bereich aus dem Bild des weit entfernten Fahrbahnbereichs zu entfernen,
da, wenn das Fahrzeug in dem Kurzbereich in dem Bild enthalten ist,
das als weit entfernter Fahrbahnbereich bestimmt wird, es schwierig
wird, das Vorhandensein von Nebel zu bestimmen. Folglich wird zunächst im
Schritt S240 ein Ablauf durchgeführt,
zu bestimmen, ob oder nicht die Fahrunterstützungs-ECU 26 das Vorhandensein irgendeines
Fahrzeugs vorderhalb erkennt. Wenn das Vorhandensein eines vorausfahrenden
Fahrzeugs erkannt wird, wird ein weiterer Ablauf durchgeführt, um
einen Bildverarbeitungsbereich zu bestimmen, von dem angenommen
wird, dass er das Fahrzeug enthält,
was basierend auf Lage und relativem Abstand des vorausfahrenden
Fahrzeugs erfolgt, welche beziehungsweise welche von der Fahrunterstützungs-ECU 26 bestimmt
wird, wenn eine bekannte Bildverarbeitung an dem sich ergebenden
Bildverarbeitungsbereich durchgeführt wird, um eine Fahrzeugkonturlinie
zu bestimmen, beispielsweise auf einer Helligkeitsänderung.
Dann wird der bestimmte Fahrzeugabschnitt mit dem Außenrahmen
OF des weit entfernten Fahrbahnbereichs verglichen.
-
Wenn
die Bestimmung im Schritt S240 negativ ist, wird der vorliegende
Ablauf gemäß 6 abgeschlossen.
In diesem Fall stellt ein Bereich, in welchem der Fahrbahnabschnitt 30 aus
dem Bereich des äußeren Rahmens
OF aus Schritt 220 entfernt worden ist, den weit entfernten Fahrbahnbereich
dar. Wenn die Bestimmung in Schritt S240 positiv ist, wird im Schritt
S250 der Bereich, in welchem der Fahrbahnabschnitt aus der Bestimmung
im Schritt S240 aus dem Bereich des äußeren Rahmens OF aus Schritt
S220 entfernt worden ist, als weit entfernter Fahrbahnbereich bestimmt.
-
An
dem wie oben beschrieben bestimmten weit entfernten Fahrbahnbereich
für das
Bild wird eine Bestimmungsbildverarbeitung im Schritt S300 für den bestimmten
weit entfernten Fahrbahnbereich und den Himmelbereich durchgeführt, um
das Vorhandensein von Nebel zu bestimmen. Folglich kann festgehalten
werden, dass der weit entfernte Fahrbahnbereich und der Himmelbereich
einen Bildverarbeitungsbereich darstellen, der für die Bestimmungsbildverarbeitung
benutzt wird, um das Vorhandensein von Nebel zu bestimmen. Die Bestimmungsbildverarbeitung
im Schritt S300 zur Bestimmung des Vorhandenseins von Nebel wird
anhand des Grundablaufs von 9 durchgeführt. In 9 erfolgt
im Schritt S310 zuerst ein Ablauf, um ein Bild des weit entfernten
Fahrbahnbereichs und ein Bild des Himmelbereichs zu extrahieren.
Was den Himmelbereich betrifft, ist es vorteilhaft, ein Bild eines
Himmelbereichs hoher Helligkeit zu extrahieren, der eine betont
hohe Helligkeit im Himmelbereich darstellt. Mit anderen Worten,
manchmal gibt das Bild des Himmelbereichs alleine Him mel wieder
und gibt ein Bild einschließlich fahrbahnseitiger
Objekte wieder, beispielsweise Laternenmasten oder Bäume am Straßenrand.
Daher ermöglicht
das Extrahieren oder Entnehmen des Bildes eines Himmelbereichs hoher
Helligkeit, der betont hohe Helligkeit im Himmelbereich darstellt,
die Entnahme eines Bildes eines Bereichs, wo nur Himmel wiedergegeben
wird.
-
Im
Schritt S320 erfolgt ein Ablauf, um eine typifizierte Helligkeit
des weit entfernten Fahrbahnbereichs und des Himmelbereichs basierend
auf den Bildern des weit entfernten Fahrbahnbereichs und des Himmelbereichs
zu berechnen. Beispielsweise wird ein Helligkeitsmittelwert von
Pixeln, die in den jeweiligen Bereichen enthalten sind, als typifizierte
Helligkeit berechnet. Dieser Vorgang führt zu der Fähigkeit,
die Helligkeit des Himmels aus dem Bild zu erhalten, das von der
fahrzeugseitigen Kamera 12 aufgenommen wird.
-
Im
Schritt 330 erfolgt eine Beurteilung dahingehend, ob ein Unterbelichtungsphänomen in
dem weit entfernten Fahrbahnbereich enthalten ist oder nicht, was
auf dem typifizierten Helligkeitswert des weit entfernten Fahrbahnbereichs
basiert. Wenn die Beurteilung im Schritt S330 positiv ist, werden
die Abläufe
im Schritt S340 und S350 durchgeführt, um das Vorhandensein von
Nebel unter Verwendung der typifizierten Helligkeit des weit entfernten
Fahrbahnbereichs und der typifizierten Helligkeit des Himmelbereichs
zu beurteilen. Wenn die Beurteilung im Schritt S330 negativ ist,
wird der Ablauf im Schritt S360 durchgeführt, um die Beurteilung des
Vorhandenseins von Nebel basierend auf einer Kantenintensität des weit
entfernten Fahrbahnbereichs zu beurteilen, das heißt basierend
auf einer Rate einer Helligkeitsänderung
in dem weit entfernten Fahrbahnbereich des Bilds.
-
Das
heißt,
mit dem im Schritt S350 durchgeführten
Ablauf einer Beurteilung des Vorhandenseins von Nebel unter Verwendung
der Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit
des weit entfernten Fahrbahnbereichs kann, selbst wenn das Unterbelichtungsphänomen in
dem weit entfernten Fahrbahnbereich auftritt, das Vorhandensein
von Nebel präzise
bestimmt werden. Wenn kein Unterbelichtungsphänomen in dem weit entfernten
Fahrbahnbereich enthalten ist (d. h. während des Nichtauftretens des
Unterbelichtungsphänomens),
macht die Verwendung dieses weit entfernten Fahrbahnbereichs es
möglich,
das Vorhandensein von Nebel zu bestimmen.
-
Aus
diesem Grund kann bei der Bildverarbeitung zur Bestimmung des Vorhandenseins
von Nebel das Vorhandensein von Nebel unter Verwendung des Bilds
des weit entfernten Fahrbahnbereichs während des Nichtauftretens eines
Unterbelichtungsphänomens
in dem weit entfernten Fahrbahnbereich bestimmt werden. Während des
Auftretens des Unterbelichtungsphänomens in dem weit entfernten
Fahrbahnbereich kann das Vorhandensein von Nebel unter Verwendung
der Helligkeit des weit entfernten Fahrbahnbereichs und der Helligkeit
des Himmelbereichs bestimmt werden. Somit wird der Bereich des Bildes,
das von der fahrzeugseitigen Kamera 12 aufgenommen wird,
zur Verwendung bei der Bestimmung des Vorhandenseins von Nebel ausgewählt (umgeschaltet).
Dies erlaubt die Bestimmung des Vorhandenseins von Nebel unter Verwendung
der Helligkeit des weit entfernten Fahrbahnbereichs und der Helligkeit
des Himmelbereichs zu jedem Zeitpunkt. Dies führt zu einer Verringerung der
Belastung in der Bildbearbeitung, die durchgeführt werden muss.
-
Der
Ablauf im Schritt S360 wird auf gleiche Weise wie in der offengelegten
japanischen Patentveröffentlichung
Nr. 2006-349492 in dortiger
9 beschrieben;
diese Anmeldung geht auf die gleiche Anmelderin zurück und eine
entsprechende Beschreibung erfolgt hier nicht.
-
Im
Schritt S340 wird ein Ablauf durchgeführt, um einen Anteil (Helligkeitsverhältnis) einer
typifizierten Helligkeit des weit entfernten Fahrbahnbereichs relativ
zur Helligkeit des Himmelbereichs zu berechnen, wie in Formel 1
ausgedrückt.
-
(Formel 1)
-
Helligkeitsverhältnis =
typifizierte Helligkeit des weit entfernten Fahrbahnbereichs/typifizierte Helligkeit
des Himmelbereichs.
-
Im
Schritt S350 wird das Helligkeitsverhältnis aus der Berechnung im
Schritt S340 bei einer Wahrscheinlichkeitsverteilungsmappe gemäß 10 angewendet.
Dies erlaubt die Bestimmung eine Wahrscheinlichkeit, mit der das
Bild, das von der fahrzeugseitigen Kamera 12 aufgenommen
wird in Nebel gehüllt
ist. Unter Bezugnahme auf 10 erfolgt
nachfolgend eine Beschreibung der Wahrscheinlichkeitsverteilungsmappe.
-
Wenn
sich Nebel um das Fahrzeug herum bildet, haben die Helligkeit des
Himmelbereichs und die Helligkeit des weit entfernten Fahrbahnbereichs angenäherte Werte.
Damit verteilt sich das Verhältnis (Helligkeitsverhältnis) der
Helligkeit des weit entfernten Fahrbahnbereichs zur Helligkeit des
Himmelbereichs groß in
einem Bereich zwischen 0,5 bis 1,0.
-
In
diesem Fall wird davon ausgegangen, dass, wenn sich kein Nebel bildet,
die Helligkeit des Himmelbereichs und die Helligkeit des weit entfernten
Fahrbahnbereichs keine angenäherten
Wert haben und die Helligkeitsverhältnisse in einem Bereich weit
verteilt sind, der vom Bereich zwischen 0,5 und 1,0 abweicht. Vom
vorliegenden Erfinder durchgeführte
Experimente haben jedoch gezeigt, dass sich das Helligkeitsverhältnis beim
Fehlen von Nebel in einem weiten Bereich einschließlich eines
Bereichs in der Größenordnung
von annähernd
0,5 bis 1,0 verteilt, da es Ungleichförmigkeitsschwankungen in den verteilten
Bewegungsszenarien des Fahrzeugs gibt.
-
Es
ist offensichtlich aus einer Verteilung des Helligkeitsverhältnisses
beim Vorhandensein von Nebel und einer Verteilung des Helligkeitsverhältnisses
beim Nichtvorhandensein von Nebel, dass das Helligkeitsverhältnis beim
Nichtvorhandensein von Nebel in einem weiten Bereich verteilt ist,
der einen Bereich in der Größenordnung
von ungefähr
0,5 bis 1,0 abdeckt. Somit kann der Bereich in der Größenordnung
von annähernd
0,5 bis 1,0, wo das Helligkeitsverhältnis beim Vorhandensein von
Nebel weit verteilt ist, nicht klar sicherstellen, ob Nebel sich
bildet oder nicht (wie in 10 gezeigt
haben bei einem Helligkeitsverhältnis
im Bereich von annähernd
0,5 bis 1,0 die von der fahrzeugseitigen Kamera 12 aufgenommenen
Bilder die gleichen Beträge
(mit eine Wahrscheinlichkeit von annähernd 50%) von Wahrscheinlichkeiten,
derart, dass die Wahrscheinlichkeit des Bildes beim Vorhandensein
von Nebel nahezu gleich einer Wahrscheinlichkeit des Bildes beim Nichtvorhandensein
von Nebel ist wie in 10 gezeigt). Zusätzlich kann
gesagt werden, dass das Helligkeitsverhältnis beim Vorhandensein von
Nebel in einem Bereich (d. h. einem Bereich in der Größenordnung
von annähernd
0 bis 0,5 gemäß 10) weit
verteilt ist, der von dem Bereich von annähernd 0,5 bis 1,0 abweicht.
-
Folglich
wird im Schritt 350 ein Ablauf durchgeführt, um eine Bestimmung unter
Verwendung der Wahrscheinlichkeitsverteilungsmappe (siehe 10)
zu machen, wobei, je geringer das Helligkeitsverhältnis ist,
um so größer die
Wahrscheinlichkeit ist, dass das von der fahrzeugseitigen Kamera 12 aufgenommene
Bild nicht in Nebel gehüllt
ist (sich in einem nicht-Nebel-Zustand befindet) und je größer das
Helligkeitsverhältnis
wird, um so geringer wird die Wahrscheinlichkeit, dass das von der
fahrzeugseitigen Kamera 12 aufgenommene Bild nicht in Nebel
gehüllt
ist, bis zu einem Scheitelwert der Wahrscheinlichkeit (von annähernd 50%),
wo die Wahrscheinlichkeit des Nichtvorhandenseins von Nebel im Bild
und die Wahrscheinlichkeit des Vorhandenseins von Nebel nahezu gleich
sind. Dies ermöglicht,
dass das Vorhandensein von Nebel ungeachtet der Umgebungssituation
des Fahrzeugs präzise
bestimmbar wird.
-
Im
Schritt S350 wird das Beurteilungsergebnis hinsichtlich der Wahrscheinlichkeit,
ob das von der fahrzeugseitigen Kamera 12 aufgenommene
Bild sich in Nebel befindet oder nicht, über das fahrzeugseitige LAN 24 ausgegeben.
-
Bei
der oben beschriebenen Ausführungsform
erlaubt die Verwendung der Helligkeit des Himmels als Vergleichsobjekt
für die
Helligkeit des weit entfernten Fahrbahnbereichs die Bestimmung des Vorhandenseins
von Nebel. Das heißt,
bei Tag und beim Nichtvorhandensein von Nebel zeigt der weit entfernte
Fahrbahnbereich eine geringere Helligkeit als der Himmel um das
Fahrzeug herum, ungeachtet des Unterbelichtungsphänomens,
das in dem weit entfernten Bereich auftritt. Bei Tag und beim Vorhandensein
von Nebel streuen die Nebelpartikel das Sonnenlicht, was bewirkt,
dass die fahrzeugseitige Kamera 12 ein Bild aufnimmt, das
einen insgesamt weißen
Bereich zeigt. Folglich haben die Helligkeit des weit entfernten
Fahrbahnbereichs und die Helligkeit des Himmels annähernd gleiche
Werte. Somit kann durch Bestimmung des Vorhandenseins von Nebel
mit Verwendung der Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit
des weit entfernten Fahrbahnbereichs das Vorhandensein von Nebel präzise bestimmt
werden.
-
Mit
dem oben beschriebenen Aufbau hat die Nebelerkennungsvorrichtung
für Kraftfahrzeuge
gemäß der vorliegenden
Erfindung die folgenden Vorteile:
Die vorliegende Erfindung
befasst sich mit einer Nebelerkennungsvorrichtung für Fahrzeuge
mit den Bild-in-Nebel-Bestimmungsmitteln zur Bestimmung, ob das
von der fahrzeugseitigen Kamera 12 aufgenommene Bild in
Nebel gehüllt
ist oder nicht, den weit-entfernt-Helligkeitsermittlungsmitteln
zum Ermitteln der Helligkeit des weit entfernten Fahrbahnbereichs,
der den Bereich über
der Fahrbahn in einer bestimmten weit entfernten Distanz vom Fahrzeug aus
in dem von der fahrzeugseitigen Kamera 12 aufgenommenen
Bild darstellt und die Himmelhelligkeitsermittlungsmittel zum Ermitteln
der Helligkeit des Himmels um das Fahrzeug herum. Die Bild-in-Nebel-Bestimmungsmittel
machen die Beurteilung unter Verwendung der Helligkeit in dem weit entfernten
Fahrbahnbereich und der Helligkeit des Himmels.
-
Wenn
während
des Tags kein Nebel aufzieht, hat der weit entfernte Fahrbahnbereich
eine geringere Helligkeit als der Himmel um das Fahrzeug herum, ungeachtet
des Unterbelichtungsphänomens,
das in dem weit entfernten Fahrbahnbereich auftritt.
-
Wenn
während
des Tags Nebel vorhanden ist, streuen die Nebelpartikel das Sonnenlicht,
was bewirkt, dass die fahrzeugseitige Kamera ein Bild aufnimmt,
das insgesamt weißlich
ist. Somit haben der weit entfernte Fahrbahnbereich und der Himmel annähernd den
gleichen Helligkeitswert.
-
Indem
somit die Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit
des weit entfernten Fahrbahnbereichs verwendet wird, kann das Vorhandensein
von Nebel präzise
bestimmt werden.
-
Wenn
weiterhin kein Unterbelichtungsphänomen in dem weit entfernten
Fahrbahnbereich auftritt (während
eines Nichtauftretens des Unterbelichtungsphänomens), kann das Vorhandensein
von Nebel bestimmt werden, indem nur der weit entfernte Fahrbahnbereich
verwendet wird. Die Bild-in-Nebel-Bestimmungsmittel können daher
die Bestimmung unter Verwendung des Bilds des weit entfernten Fahrbahnbereichs
während
des Nichtauftretens des Unterbelichtungsphänomens machen, wohingegen während des
Auftretens des Unterbelichtungsphänomens die Bestimmung gemacht
wird, indem die Helligkeit des weit entfernten Fahrbahnbereichs und
die Helligkeit des Himmels verwendet werden.
-
Durch
Auswählen
(Umschalten) des Bereichs des von der fahrzeugseitigen Kamera aufgenommenen
Bildes abhängig
von der Existenz oder Nichtexistenz des Unterbelichtungsphänomens in dem
weit entfernten Fahrbahnbereich bei der Bestimmung des Vorhandenseins
von Nebel besteht somit keine Notwendigkeit, das Vorhandensein von
Nebel unter Verwendung der Helligkeit des weit entfernten Fahrbahnbereichs
und der Helligkeit des Himmels zu allen Zeiten zu bestimmen. Dies
führt zu
einer Verringerung der Belastung durch die durchzuführende Bildbearbeitung.
-
Weiterhin
enthält
bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung für Kraftfahrzeuge
die Fahrbahnverlaufbestimmungsmittel zur Bestimmung des Verlaufs
der Fahrbahn, auf der sich das Fahrzeug bewegt, in dem von der fahrzeugseitigen
Kamera aufgenommenen Bild und die weit-entfernt-Fahrbahnbereichsbestimmungsmittel
zur Bestimmung des weit entfernten Fahrbahnbereichs in dem Bild
basierend auf dem Verlauf der Fahrbahn, der durch die Fahrbahnverlaufsbestimmungsmittel bestimmt
worden ist. Dies ermöglicht,
dass der weit entfernte Fahrbahnbereich in dem Bild bestimmbar wird.
-
Weiterhin
enthält
bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung für Kraftfahrzeuge
die Himmelbereichsbildextrahiermittel zum Extrahieren oder Entnehmen
des Bilds, das den Himmelbereich angibt, der den Bereich entsprechend dem
Himmel um das Fahrzeug herum darstellt, aus dem von der fahrzeugseitigen
Kamera aufgenommenen Bild, wobei die Himmelhelligkeitsermittlungsmittel
die Helligkeit des Himmelbereichs ermitteln.
-
Weiterhin
können
die Himmelbereichsbildextrahiermittel bevorzugt das Bild eines Himmelbereichs
hoher Helligkeit extrahieren, der eine betont hohe Helligkeit des
Himmelbereichs zeigt. Es ist wahrscheinlich, dass manchmal das Bild
des Himmelbereichs alleine den Himmel wiedergibt und manchmal das
Bild des Himmelbereichs das Bild einschließlich fahrbahnseitiger Objekte
wiedergibt, wie Laternenmasten und Bäumen am Straßenrand. Durch
Extrahieren des Bildes des Bereichs betont hoher Helligkeit in dem
Himmelbereich ermöglicht, dass
das Bild für
den Bereich extrahiert wird, der nur den Himmel wiedergibt.
-
Weiterhin
können
die Himmelhelligkeitsermittlungsmittel bevorzugt die Helligkeit
des Himmels um das Fahrzeug herum unter Verwendung des Ausgangshelligkeitswerts
eines Helligkeitssensors im Fahrzeug ermitteln. Da das Fahrzeug
mit dem Helligkeitssensor zum automatischen Ein- oder Ausschalten
der Scheinwerfer ausgestattet ist, beseitigt die Verwendung des
Ausgangshelligkeitswerts vom Helligkeitssensor die Notwendigkeit,
eine Bildverarbeitung zum Erlangen der Helligkeit des Himmelbereichs
durchzuführen.
-
Wenn
Nebel aufzieht, haben die Helligkeit des Himmels und die Helligkeit
des weit entfernten Fahrbahnbereichs angenäherte Werte. Somit wird das
Verhältnis
der Helligkeit des weit entfernten Fahrbahnbereichs zum Verhältnis der
Helligkeit des Himmels (d.h. Helligkeit von weit entfernten Fahrbahnbereich/Helligkeit
des Himmels wird als "Helligkeitsverhältnis" bezeichnet) eine
starke Verteilung im Bereich von annähernd 0,5 bis 1,0.
-
In
diesem Fall haben, wenn kein Nebel aufzieht, die Helligkeit des
Himmels und die Helligkeit des weit entfernten Bereichs keine angenäherten Werte
und das Helligkeitsverhältnis
ist in einem Bereich, der von dem Bereich von annähernd 0,5
bis 1,0 abweicht, stark verteilt. Von dem Erfinder der vorliegenden
Patentanmeldung durchgeführte
Experimente haben jedoch gezeigt, dass das Helligkeitsverhältnis beim
Nichtauftreten von Nebel sich in einem weiten Bereich verteilt,
einschließlich
des Bereichs von annähernd
0,5 bis 1,0, da die Szenerie, in der sich das Fahrzeug bewegt, nicht
gleichförmig
ist.
-
Man
erkennt aus der Verteilung des Helligkeitsverhältnisses beim Auftreten von
Nebel und der Verteilung des Helligkeitsverhältnisses beim Nichtauftreten
von Nebel, dass das Helligkeitsverhältnis beim Nichtauftreten von
Nebel sich in einem weiten Bereich einschließlich des Bereichs von annähernd 0,5
bis 1,0 verteilt. Damit stellt der Bereich von annähernd 0,5
bis 1,0, wo die Verteilung des Helligkeitsverhältnisses beim Auftreten von
Nebel liegt, nicht völlig
sicher, ob Nebel vorhanden ist oder nicht. Somit kann gesagt werden,
dass der Bereich, der vom Bereich von annähernd 0,5 bis 1,0 abweicht,
wo das Helligkeitsverhältnis
beim Auftreten von Nebel stark verteilt ist, eine hohe Wahrscheinlichkeit
hat, dass Nebel nicht vorhanden ist.
-
Weiterhin
konzentriert sich bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung
für Kraftfahrzeuge
auf die oben beschriebenen Unterscheidungspunkte. Die Bild-in-Nebel-Bestimmungsmittel
führen
eine Beurteilung unter Verwendung der Wahrscheinlichkeitsverteilungsmappe
durch. Die Wahrscheinlichkeitsverteilungsmappe hat eine charakteristische
Funktion, bei der, je kleiner das Helligkeitsverhältnis wird,
das den Anteil der Helligkeit im weit entfernten Fahrbahnbereich
zur Helligkeit des Himmels darstellt, umso größer die Wahrscheinlichkeit
wird, dass das von der fahrzeugseitigen Kamera 12 aufgenommene
Bild nicht Nebel zeigt. Im Gegensatz hierzu, wenn die Helligkeit
niedriger als ein Schwellenwert ist, an dem die Wahrscheinlichkeit
eines Bildes ohne Nebel und eine andere Wahrscheinlichkeit des Bildes
im Nebel nahezu gleich zueinander sind und je größer das Helligkeitsverhältnis ist, umso
kleiner das Helligkeitsverhältnis
ist, das den Anteil der Helligkeit des weit entfernten Fahrbahnbereichs
zur Helligkeit des Himmels ohne Nebel darstellt, umso kleiner die
Wahrscheinlichkeit ist, das das von der fahrzeugseitigen Kamera 12 aufgenommene
Bild sich nicht im Nebel befindet. Dies ermöglicht, dass das Vorhandensein
von Nebel ungeachtet der Szenerie präzise bestimmbar wird, in der
sich das Fahrzeug bewegt.
-
(Abwandlungen)
-
Voranstehend
wurde die vorliegende Erfindung unter Bezugnahme auf eine Ausführungsform beschrieben,
jedoch ist die vorliegende Erfindung nicht auf diese darstellende
Ausführungsform
beschränkt.
Die nachfolgenden Ausführungsformen
fallen unter den technischen Umfang der vorliegenden Erfindung und
weiterhin kann die vorliegende Erfindung in Form verschiedener Abwandlungen
neben den nachfolgenden Ausführungsformen
abgewandelt werden, ohne vom Wesen und Umfang der Erfindung abzuweichen.
-
Beispielsweise
wird in der oben genannten dargestellten Ausführungsform im Schritt S330
ein Ablauf durchgeführt,
um zu bestimmen, ob das Unterbelichtungsphänomen in dem weit entfernten Fahrbahnbereich
auftritt oder nicht und beim Nichtauftreten des Unterbelichtungsphänomens wird
das Vorhandensein von Nebel unter Verwendung nur des Bildes des
weit entfernten Bereichs mit dem Nichtauftreten von Unterbelichtungsphänomen-Bereichen bestimmt.
In einer Alternative kann der Ablauf durchgeführt werden, um das Vorhandensein
von Nebel im Schritt S350 bei Berechnung des Helligkeitsverhältnisses
im Schritt S340 zu allen Zeiten mit Ausnahme des Bestimmungsvorgangs
im Schritt S330 und des Vorgangs im Schritt S360 zur Bestimmung
des Vorhandenseins von Nebel zu bestimmen.
-
Weiterhin
wird in der dargestellten Ausführungsform
während
des Bildbearbeitungsvorgangs bei der Bestimmung des Vorhandenseins
von Nebel in 9 der Ablauf durchgeführt, um
die Helligkeit des Himmels basierend auf der typifizierten Helligkeit des
Himmelbereichs zu erlangen. In dem Fall, wo der Helligkeitssensor
am Fahrzeug wie in der dargestellten Ausführungsform angeordnet ist,
kann der Vorgang durchgeführt
werden, um die Helligkeit des Himmels um das Fahrzeug herum unter
Verwendung des Ausgangshelligkeitswertes des Helligkeitssensors
zu erlangen. Dies deshalb, als der Ausgangshelligkeitswert des Helligkeitssensors
dazu führt,
dass keine Notwendigkeit für
eine Bildverarbeitung vorliegt, die zur Erlangung der Helligkeit
des Himmelbereichs notwendig ist. In der dargestellten Ausführungsform
wird weiterhin die weiße
Linie als sich auf der Fahrbahn befindliches Verkehrszeichen zur
Bestimmung des Verlaufs der Fahrbahn erkannt. Ein fahrbahnseitiges
Verkehrszeichen umfasst neben der weißen Linie auch vorstehende
Segmente (halbkugelförmige
Höcker,
pfostenartige Segmente etc.), Mittelstreifen, Spurrillen etc. Somit
kann der Verlauf der Fahrbahn auch unter Erkennung dieser Faktoren bestimmt
werden.
-
In
der dargestellten Ausführungsform
wird weiterhin der Fahrbahnabschnitt aus dem äußeren Rahmen OF des weit entfernten
Fahrbahnbereichs entfernt, wobei, wenn ein Fahrzeugabschnitt vorhanden
ist, dann der Bereich, aus dem der Fahrzeugabschnitt entfernt worden
ist, dem weit entfernten Fahrbahnbereich zugewiesen wird. Es ist
jedoch nicht wesentlich, dass der Fahrbahnabschnitt oder der Fahrzeugabschnitt
entfernt werden und das Vorhandensein von Nebel kann bestimmt werden,
indem das gesamte Bild des weit entfernten Fahrbahnbereichs verwendet
wird.
-
In
der dargestellten Ausführungsform
wird weiterhin der Verlauf der Fahrbahn bestimmt, indem ein gegebener
Endpunkt des Eigenfahrzeugs im Bild und die Lage des vorausfahrenden
Fahrzeugs mit dem Kreisbogen verbunden wird, dessen Krüm mungsradius
aus dem Lenkwinkel gebildet wird. Für den Fall, dass das Millimeterwellenradar 20 nur
ein Fahrzeug innerhalb eines relativ kurzen Bereichs vorderhalb
und hinterhalb des Fahrzeugs erkennen kann, kann der Verlauf der
Fahrbahn bestimmt werden, indem der gegebene Endpunkt des Eigenfahrzeugs
und das vorausfahrende Fahrzeug mit einer geraden Linie verbunden
werden. In einem solchen Fall muss der Vorgang vom Schritt S160
(zur Erkennung des Lenkwinkels) nicht durchgeführt werden. Zusätzlich kann
zum Zweck der Erkennung des vorausfahrenden Fahrzeugs das Millimeterwellenradar 20 durch
ein Laserradar ersetzt werden. Weiterhin kann die Erkennung einer
unterscheidbaren Form, beispielsweise der Rücklichter oder eines Kennzeichens
des Fahrzeugs auf dem Bild die Erkennung des vorausfahrenden Fahrzeugs
ermöglichen.
-
Die
voranstehende Ausführungsform
wurde unter Bezugnahme auf ein Beispiel beschrieben, bei dem der äußere Rahmen
OF und der nahe liegende fahrbahnseitige Bereich 32 rechteckförmig sind;
es besteht keine Notwendigkeit für
eine derartige Form und andere Formen wie ein Kreis oder dergleichen können verwendet
werden.