-
Die
vorliegende Erfindung betrifft eine On-Board-Nebelbestimmungsvorrichtung
zur Nebelbestimmung in Übereinstimmung
mit einem von einer On-Board-Kamera aufgenommenen Bild.
-
Die
JP-3444192 B2 (
JP-H11-326541 A )
offenbart eine Vorrichtung, die ein von einer On-Board-Kamera aufgenommenes
Bild zur Nebelbestimmung verarbeitet. Das darin offenbarte Bestimmungsverfahren
basiert auf dem Bildverschwommenheitsgrad. Da Nebel ein verschwommenes
Bild verursacht, schätzt
das Verfahren den Bildverschwommenheitsgrad zur Nebelbestimmung. Zum
Schätzen
des Bildverschwommenheitsgrads führt
das Verfahren zunächst
eine differentielle Verarbeitung (oder differentielle Berechnung)
für jedes
Pixel auf einem gesamten Bild aus, um den Kantenhelligkeitsbetrag
bzw. die Kantenbeleuchtungsstärke
zu berechnen. Auf der Grundlage des Kantenbetrags schätzt das
Verfahren den Bildverschwommenheitsgrad. Da ein verschwommenes Bild
insgesamt einen geringen Kantenbetrag anzeigt, kann der Bildverschwommenheitsgrad
auf der Grundlage des Kantenbetrags geschätzt werden.
-
Die
in der
JP-3444192 B2 offenbarte
Vorrichtung verwendet ein Ergebnis der Nebelbestimmung zur Erkennung
einer weißen
Fahrbahnmarkierung (nachstehend als Fahrbahnmarkierungserkennung bezeichnet).
Wird ein von der On-Board-Kamera aufgenommenes Bild zur Fahrbahnmarkierungserkennung
verwendet, so trübt
Nebel dieses Bild und erschwert die Fahrbahnmarkierungserkennung.
Folglich wird die Nebelbestimmung vor der Fahrbahnmarkierungserkennung
ausgeführt.
Die
JP-3444192 B2 offenbart
ferner, dass ein Nebelscheinwerfer einschaltet, wenn bestimmt wird,
dass es neblig ist.
-
Die
JP-3312729 B2 (
JP-2001-28746 A )
offenbart eine Vorrichtung, die nicht einzig Nebel, sondern ebenso
eine Bildverschwommenheit bestimmt. Der Grund hierfür besteht
darin, dass es dann, wenn eine schlechte Sicht aufgrund von Nebel
und dergleichen oder Schmutz auf einer Windschutzscheibe das Bild
trübt,
schwierig wird, einen Bereich außerhalb des Fahrzeugs richtig
zu überwachen
(z.B. einen Abstand zwischen einem Subjektfahrzeug und einem Objekt
außerhalb
des Subjektfahrzeugs).
-
Gemäß der
JP-3312729 B2 berechnet
das Verfahren zur Bestimmung der Bildverschwommenheit eine Beleuchtungsstärkekante
bzw. Helligkeitskante für
ein Bild in einem festen Bereich in der oberen Mitte eines Bildes.
Der Bildverschwommenheitsgrad wird auf der Grundlage eines Verhältnisses
bestimmt, bei dem die Kante einen bestimmten Wert überschreitet.
-
Sowohl
in der
JP-3444192 B2 als
auch in der
JP-3312729
B2 wird die Nebelbestimmung ausgeführt, indem bestimmt wird, ob
ein von der On-Board-Kamera aufgenommenes Bild verschwommen ist
oder nicht. Bei dem in der
JP-3444192
B2 offenbarten Verfahren wird der Rechenaufwand zur Bildbearbeitung
dadurch erhöht, dass
der Kantenbetrag für
das gesamte Bild berechnet wird. Bei dem in der
JP-3312729 B2 offenbarten Verfahren
wird eine Kante einzig in dem festgelegten Bereich in der obigen
Mitte des Bildes berechnet, wodurch der Rechenaufwand für die Bildbearbeitung verglichen
mit dem anderen Verfahren verringert wird. Wenn sich ein Objekt
nahe dem Subjektfahrzeug befindet, wird das Objekt jedoch selbst
bei Nebel relativ deutlich erfasst. Wenn ein sich nahe dem Subjektfahrzeug
befindliches Objekt in dem festgelegten Bereich erfasst wird, wird
die Nebelbestimmung ungenau. Es können einige Fälle auftreten,
bei denen ein sich nahe dem Subjektfahrzeug befindendes Objekt in
dem festgelegten Bereich in der oberen Mitte des Bildes erfasst
wird. Beispielsweise dann, wenn ein vorausfahrendes Fahrzeug mit
geringem Fahrzeug-zu-Fahrzeug-Abstand
auf der Fahrspur des Subjektfahrzeugs fährt. Ferner wird in dem festgelegten
Bereich dann, wenn das Fahrzeug in einer relativ scharfen Kurve
fährt,
ein verhältnismäßig nahe
liegender Ort am Straßenrand
erfasst.
-
Es
ist angesichts der vorstehend beschriebenen Probleme im Stand der
Technik Aufgabe der vorliegenden Erfindung, einen Rechenaufwand
für eine Bildverarbeitung
zum Bestimmen, ob ein Bild Nebel aufweist oder nicht, zu verringern
und eine Nebelbestimmungsgenauigkeit zu gewährleisten.
-
Gemäß einer
Ausgestaltung der vorliegenden Erfindung weist eine On-Board-Nebelbestimmungsvorrichtung
in einem Fahrzeug mit einer On-Board-Kamera auf: ein Nebelbildbestimmungsmittel
zum Bestimmen, ob ein von der On-Board-Kamera aufgenommenes Bild
Nebel aufweist oder nicht; ein Straßenformbestimmungsmittel zum
Bestimmen einer Form einer mit dem Fahrzeug zu befahrenden Straße in dem
Bild; ein Fernstraßenbereichsbestimmungsmittel
zum Bestimmen eines entfernten Straßenbereich, der einem Bereich
auf einer Straße
in einer bestimmten Entfernung von dem Fahrzeug entspricht, auf
der Grundlage der Form der Straße
in dem Bild. Das Nebelbildbestimmungsmittel verwendet einen dem
entfernten Straßenbereich
entsprechenden Bildabschnitt aus dem Bild, um die Bestimmung auszuführen.
-
Gemäß dem obigen
Aufbau analysiert das Nebelbildbestimmungsmittel nicht ein gesamtes
von einer On-Board-Kamera aufgenommenes Bild, sondern einen Bildabschnitt,
der einem von dem Fernstraßenbereichsbestimmungsmittel
bestimmten entfernten Straßenbereich
entspricht. Die Bildverarbeitungslast bzw. der Rechenaufwand zur
Bildverarbeitung verringert sich verglichen mit einer Analyse des
gesamten von der On-Board-Kamera aufgenommenen Bildes. Ferner wird
ein Bereich auf einer Straße
in einer bestimmten Entfernung von einem Fahrzeug in dem Bild verwendet,
um zu bestimmen, ob das Bild Nebel aufweist oder nicht. Gewöhnlich führt eine
Straße
in der Entfernung fort. Wenn der Bereich für ein zu analysierendes Bild
auf der Straße
bestimmt wird, enthält
bzw. nimmt der Bereich mit hoher Wahrscheinlichkeit einen entfernten
bzw. in der Ferne gelegenen Anteil, der eine Bestimmung durch das Nebelbildbestimmungsmittel
gewährleistet.
-
Gemäß einer
weiteren Ausgestaltung der vorliegenden Erfindung umfasst ein Verfahren
zur Verwendung in einer Nebelbestimmungsvorrichtung in einem Fahrzeug
mit einer On-Board-Kamera die folgenden Schritte: Bestimmen einer
Form einer mit dem Fahrzeug zu befahrenden Straße in einem von der On-Board-Kamera
aufgenommenen Bild; Bestimmen eines entfernten Straßenbereichs,
der einem Bereich auf einer Straße in einer bestimmten Entfernung
von dem Fahrzeug entspricht, auf der Grundlage der Form der Straße in dem
Bild; und Bestimmen, ob ein von der On-Board-Kamera aufgenommenes Bild Nebel
aufweist oder nicht, indem ein dem entfernten Straßenbereich
entsprechender Bildabschnitt aus dem Bild verwendet wird.
-
Die
obige und weitere Aufgaben, Eigenschaften und Vorteile der vorliegenden
Erfindung werden aus der nachfolgenden detaillierten Beschreibung,
die unter Bezugnahme auf die beigefügte Zeichnung gemacht wurde,
näher ersichtlich
sein. In der Zeichnung zeigt:
-
1 ein
Blockdiagramm eines Aufbaus einer On-Board-Nebelbestimmungsvorrichtung
gemäß einer
Ausführungsform
der vorliegenden Erfindung;
-
2 ein
Ablaufdiagramm eines Hauptteils einer von einer Bildverarbeitungs-ECU der 1 ausgeführten Steuerfunktion;
-
3 ein
Beispiel für
ein von einer On-Board-Kamera aufgenommenes Bild;
-
4 ein
Beispiel für
ein von der On-Board-Kamera aufgenommenes Bild;
-
5 ein
detailliertes Ablaufdiagramm eines Straßenformbestimmungsprozesses
der 2;
-
6 ein
detailliertes Ablaufdiagramm eines Prozesses zur Bestimmung eines
entfernten Straßenbereichs
der 2;
-
7 eine
in einem von der On-Board-Kamera aufgenommenen Bild vorbestimmte
100 m-Linie;
-
8 einen
vorbestimmten festen Straßenanteil;
und
-
9 ein
detailliertes Ablaufdiagramm eines Nebelbestimmungsbildprozesses
der 2.
-
1 zeigt
ein Blockdiagramm eines Aufbau einer On-Board-Nebelbestimmungsvorrichtung 10 gemäß einer
Ausführungsform
der vorliegenden Erfindung.
-
Die
On-Board-Nebelbestimmungsvorrichtung 10 in einem Subjektfahrzeug
weist eine On-Board-Kamera 12, eine Bildverarbeitungs-ECU (elektronische
Steuereinheit) 14, einen Gierratensensor 16, einen
Lenksensor 18, ein Millimeterwellenradar 20 und
einen Fahrzeuggeschwindigkeitssensor 22 auf. Ein fahrzeuginternes
LAN 24 verbindet diese Komponenten miteinander. Das fahrzeuginterne
LAN 24 ist ebenso mit einer Fahrunterstützungssteuerungs-ECU 26 und
einer Lichtsteuerungs-ECU 28 verbunden.
-
Die
On-Board-Kamera 12 weist eine CCD-Kamera auf und ist in
dem Fahrzeug, wie beispielsweise an einer Dachinnenverkleidung nahe dem
Fahrersitz, installiert. Die On-Board-Kamera 12 nimmt fortlaufend
Bilder vor dem Fahrzeug auf. Die Bildverarbeitungs-ECU 14 verarbeitet
die Daten des aufgenommenen Bildes.
-
Die
Bildverarbeitungs-ECU 14 ist ein Computer mit einer CPU,
einem ROM, einem RAM und dergleichen (nicht gezeigt). Das RAM speichert
temporär
Daten für
eine bestimmte Zeitspanne an Bildern, die fortlaufend von der On-Board-Kamera 12 aufgenommen
werden. Die CPU folgt einem in dem ROM gespeicherten Programm und
führt einen
in der 2 gezeigten Prozess für die in dem RAM gespeicherten
Bilddaten aus. Der in der CPU ausgeführte Prozess wird nachstehend
noch beschrieben.
-
Der
Gierratensensor 16 erfasst sukzessiv eine Gierrate des
Fahrzeugs. Der Lenksensor 18 erfasst sukzessiv einen Lenkwinkel.
Das Millimeterwellenradar 20 strahlt eine Millimeterwelle
mit einer bestimmten Frequenz in einem Bereich vor dem Fahrzeug
und empfängt
eine von einem Objekt reflektierte Welle.
-
Die
Fahrunterstützungssteuerungs-ECU 26 dient
ebenso als Mittel zur Erfassung eines vorderen bzw. vorausfahrenden
Fahrzeugs (auf der gleichen Fahrspur (oder Gegenfahrbahn) vor dem
Subjektfahrzeug fahrendes Fahrzeug). Auf der Grundlage der von dem
Millimeterwellenradar 20 empfangenen reflektierten Welle
bestimmt die Fahrunterstützungssteuerungs-ECU 26 fortlaufend,
ob ein vorderes Fahrzeug vorhanden oder nicht vorhanden ist. Wenn ein
vorderes Fahrzeug erfasst wird, berechnet die Fahrunterstützungssteuerungs-ECU 26 einen
Abstand zwischen dem Subjektfahrzeug und dem vorderen Fahrzeug,
eine relative Ausrichtung und eine relative Geschwindigkeit. Ferner
steuert die Fahrunterstützungssteuerungs-ECU 26 eine
Fahrunterstützungssteuerung,
wie beispielsweise eine Fahrzeuggeschwindigkeitsregelung, auf der
Grundlage der berechneten Information.
-
Wenn
die Bildverarbeitungs-ECU 14 bestimmt, dass es neblig ist,
sieht die Lichtsteuerungs-ECU 28 eine Steuerung zum Ein-
und Ausschalten eines Nebelscheinwerfers (nicht gezeigt) vor.
-
2 zeigt
ein Ablaufdiagramm eines Hauptteils der von der Bildverarbeitungs-ECU
ausgeführten
Steuerfunktion. Die in der 2 gezeigte Steuerung
wird in einem bestimmten Zyklus während der Fahrt ausgeführt. Wenn
die Steuerung ausgeführt
wird, nimmt die On-Board-Kamera 12 fortlaufend Bilder vor
dem Fahrzeug auf. Die 3 und 4 zeigen
Beispiele der von der On-Board-Kamera aufgenommenen Bilder.
-
Die
Bildverarbeitungs-ECU führt
zunächst, wie
in 2 gezeigt, einen Straßenformbestimmungsprozess aus,
der gleichbedeutend mit einem Straßenformbestimmungsmittel ist
(Schritt S100). Die Bildverarbeitungs-ECU 14 führt anschließend einen
Prozess zur Bestimmung eines entfernten Straßenbereichs aus, der gleichbedeutend
mit einem Mittel zur Bestimmung eines entfernten Straßenbereichs
(nachstehend auch als Fernstraßenbereichbestimmungsmittel
bezeichnet) ist (Schritt S200). Anschließend führt die Bildverarbeitungs-ECU 14 einen Nebelbestimmungsbildprozess
aus, der gleichbedeutend mit einem Mittel zur Bestimmung eines Nebel
aufweisenden Bildes (nachstehend auch als Nebelbildbestimmungsmittel
bezeichnet) ist (S300).
-
5 zeigt
die Details des Straßenformbestimmungsprozesses
von Schritt S100. In Schritt S110 der 5 führt der
Prozess einen Fahrbahnmarkierungserkennungsprozess zur Erkennung
einer weißen
Fahrbahnmarkierung (weißen
Linie) auf der Grundlage eines fortlaufend von der On-Board-Kamera
aufgenommenen Bildes aus. Die weiße Fahrbahnmarkierung ist ein
Verkehrszeichen, das entlang einer Straße vorgesehen ist. Es können verschiedene
bekannte Verarbeitungsverfahren zur Erkennung der weißen Fahrbahnmarkierung
angewandt werden. Eine Möglichkeit
besteht darin, ein von der On-Board-Kamera 12 aufgenommenes
Bild zu digitalisieren und zur Erkennung der weißen Fahrbahnmarkierung einen
weißen
Abschnitt aus dem digitalisierten Bild zu extrahieren. Der gewöhnliche Prozess
zur Erkennung einer weißen
Fahrbahnmarkierung ist nicht auf die weiße Fahrbahnmarkierung beschränkt, sondern
kann ebenso eine gelbe Fahrbahnmarkierung umfassen.
-
Es
kann passieren, dass der Fahrbahnmarkierungserkennungsprozess in
Schritt S110 keine weiße
Fahrbahnmarkierung erkennt, wie beispielsweise dann, wenn auf der
Straße
keine weiße
Fahrbahnmarkierung vorgesehen ist. In Schritt S120 bestimmt der
Prozess, ob eine weiße
Fahrbahnmarkierung erkannt oder nicht erkannt ist. Diese Bestimmung
wird vorgenommen, um zu bestimmen, ob eine weiße Fahrbahnmarkierung derart
erkannt oder nicht erkannt ist, dass in dem folgenden Schritt S130
eine Straßenform
bestimmt werden kann. Es ist nicht erforderlich, weiße Fahrbahnmarkierungen
bzw. Linien auf beiden Seiten zu erkennen. Es ist ferner nicht erforderlich,
eine weiße
Fahrbahnmarkierung fortlaufend von der Position des Subjektfahrzeugs
zu einem Fluchtpunkt zu erkennen. D.h., der Prozess bestimmt in
Schritt S120, ob eine weiße
Fahrbahnmarkierung für
eine bestimmte fortlaufende oder intermittierende Länge auf
wenigstens einer Seite erkannt ist oder nicht.
-
Wenn
die Bestimmung in Schritt S120 positiv ist, schreitet der Prozess
zu Schritt S130 voran, um eine Straßenform zu bestimmen. Die Straßenform entspricht
einer Linie, die den Krümmungszustand (Form)
einer sich vor dem Subjektfahrzeug erstreckenden Straße anzeigt.
Die Straßenform
wird beispielsweise, wie in den 3 und 4 gezeigt, durch
eine Strichpunktlinie dargestellt. Die in den 3 und 4 gezeigte
Strichpunktlinie entspricht einer Linie quer zur Breite einer von
dem Subjektfahrzeug befahrenen Fahrspur. Die Straßenform
kann ferner direkt einer weißen
Fahrbahnmarkierungen auf der linken oder auf der rechten Seite einer
von dem Subjektfahrzeug befahrenen Fahrspur entsprechen. Ferner
kann die Straßenform
einer Mittellinie quer zur Breite einer gesamten Straße entsprechen, wenn
diese eine Mehrzahl von Fahrspuren aufweist. Die obigen Schritte
S110 bis S130 sind gleichbedeutend mit einem ersten Bestimmungsmittel.
-
Wenn
die Bestimmung von Schritt S120 negativ ist, schreitet der Prozess
zu Schritt S140 voran, um zu bestimmen, ob die Fahrunterstützungssteuerungs-ECU 26 ein
vorderes Fahrzeug erfasst oder nicht. Wenn die Bestimmung positiv
ist, berechnet die Fahrunterstützungssteuerungs-ECU 26 bereits
einen Abstand zu dem vorde ren Fahrzeug und eine relative Ausrichtung
des vorderen Fahrzeugs. In Schritt S150 bestimmt der Prozess eine
Position des vorderen Fahrzeugs in dem Bild auf der Grundlage des
von der Fahrunterstützungssteuerungs-ECU 26 berechneten Abstandes
zu dem vorderen Fahrzeug und der relativen Ausrichtung.
-
In
Schritt S160 erfasst der Prozess einen Lenkwinkel auf der Grundlage
eines Signals des Lenksensors 18. In Schritt S170 bestimmt
der Prozess die Straßenform
wie folgt. Das Bild enthält
als Endpunkt für
die die Straßenform
anzeigende Linie einen vorbestimmten Punkt bei dem Subjektfahrzeug (z.B.
einen Mittelpunkt einer Grenzlinie einer Motorhaube über die
Fahrzeugbreitenrichtung in dem Bild). Schritt S150 bestimmt die
Position des vorderen Fahrzeugs in dem Bild. Der Prozess verbindet
diesen Endpunkt der die Straßenform
anzeigenden Linie und die Position des vorderen Fahrzeugs mit Hilfe
eines Bogens, der einen Krümmungsradius
entsprechend des in Schritt S160 bestimmten Lenkwinkels aufweist.
Die Schritte S140 bis S170 sind gleichbedeutend mit einem zweiten
Bestimmungsmittel.
-
Wenn
die Bestimmung in Schritt S140 negativ ist, führt der Prozess die Schritte
S180 und S190 aus, die gleichbedeutend mit einem dritten Bestimmungsmittel
sind, um die Straßenform
zu bestimmen. In Schritt S180 erfasst der Prozess einen Lenkwinkel
auf der Grundlage des Signals von dem Lenksensor 18. In
Schritt S190 bestimmt der Prozess die Straßenform wie folgt. Das Bild
enthält
als Endpunkt für
die die Straßenform
anzeigende Linie einen vorbestimmten Punkt bei dem Subjektfahrzeug.
Der Prozess nimmt eine bogenförmige
Tangente zu dem vorbestimmten Punkt in dem Bild derart an, dass
die Tangente parallel zu der Fahrzeuglängsrichtung (oder der Fahrtrichtung
des Fahrzeugs) verläuft.
Der Prozess bestimmt den Bogen derart, dass er eine die Straßenform
anzeigende Linie ist. Der Prozess kann in Schritt S160 und/oder
S180 eine Gierrate von dem Gierratensensor 16 anstelle
eines Lenkwinkels von dem Lenkwinkelsensor 18 erfassen.
-
Die
in den Schritten S130, S170 und S190 bestimmten Straßenformen
unterscheiden wie folgt. Schritt S130 kann die Straßenform
am genauesten bestimmen, und zwar auf der Grundlage der entlang der
Straße
vorgesehenen weißen
Fahrbahnmarkierung. Schritt S170 verwendet die Position des vorderen
Fahrzeugs zusätzlich
zu dem Lenkwinkel. Die Straßenform
kann genauer als in Schritt S190 be stimmt werden, der einzig auf
dem Lenkwinkel basiert. Schritt S130 kann die Straßenform
demgegenüber
nicht bestimmen, wenn keine weiße
Fahrbahnmarkierung erkannt wird. Schritt S170 kann die Straßenform
nicht bestimmen, wenn kein vorderes Fahrzeug erfasst wird. Schritt
S190 kann die Straßenform ausnahmslos
bestimmen.
-
Wenn
die Straßenform
auf diese Weise bestimmt wird, wird der Fernstraßenbereichbestimmungsprozess
(Schritt S200 in der 2) ausgeführt. 6 zeigt
die Details des Fernstraßenbereichbestimmungsprozesses.
-
In
Schritt S210 der 6 bestimmt der Prozess einen
entfernten Punkt in dem von der On-Board-Kamera 12 aufgenommen
Bild. Der entfernte Punkt befindet sich in einer bestimmten Entfernung
von dem Subjektfahrzeug aus auf der von dem Subjektfahrzeug befahrenen
Straße.
Schritt S210 ist gleichbedeutend mit einem Mittel zur Bestimmung
eines entfernten Punkts (nachstehend auch als Entfernungspunktbestimmungsmittel
bezeichnet). Bei diesem Beispiel ist der bestimmte Abstand auf 100
m festgelegt, jedoch nicht hierauf beschränkt. Der Abstand kann lang
genug sein, um das Bild bei Nebel mit einem gewissen Dichtegrad
zu trüben.
-
Da
die On-Board-Kamera 12 in dem Fahrzeug befestigt ist, können ein
aktueller Abstand zu einem gegebenen Punkt auf dem flachen Gelände und eine
Position zu diesem Punkt in dem Bild vorher bestimmt werden. Folglich
kann eine 100 m-Linie in dem Bild zur Positionierung eines 100 m
vor dem Subjektfahrzeug in dem flachen Gelände liegenden Punkts vorher
festgelegt werden. 7 zeigt die 100 m-Linie Lf in
dem Bild. Gemäß dieser
Ausführungsform
ist die 100 m-Linie Lf gleichbedeutend mit einer Entfernungslinie.
Die 100 m-Linie Lf ist in dem ROM der Bildverarbeitungs-ECU 14 oder
einer anderen Speichervorrichtung gespeichert. In Schritt S210 ermittelt
der Prozess einen Schnittpunkt zwischen der 100 m-Linie Lf und der
die in Schritt S100 bestimmte Straßenform anzeigenden Linie.
Der Schnittpunkt wird als der Entfernungspunkt (d.h. der in diesem Beispiel
100 m im Voraus liegende Punkt) auf der von dem Subjektfahrzeug
befahrenen Straße
bestimmt.
-
In
Schritt S220 bestimmt der Prozess einen Außenrahmen OF für einen
entfernten Straßenbereich
bezüglich
des in Schritt 210 bestimmten Entfernungspunkts innerhalb
des gesamten von der On-Board-Kamera 12 aufgenommenen Bildes.
Die 3 und 4 zeigen den Außenrahmen
OF für den
entfernten Straßenbereich
innerhalb des gesamten Bildes. D.h., aus dem gesamten Bild wird
ein dem entfernten Straßenbereich
entsprechender Bildabschnitt von dem Außenrahmen OF umgeben. Der Außenrahmen
OF ist derart festgelegt, dass der in Schritt S210 bestimmte Entfernungspunkt
mittig auf der Unterseite des Außenrahmens OF liegt. Der Außenrahmen
OF ist derart bemessen, dass er in die Gesamtgröße des von der On-Board-Kamera 12 aufgenommen
Bildes passt.
-
Die
Position des Außenrahmens
OF ist nicht auf die in den 3 und 4 gezeigten
Beispiele beschränkt,
sondern kann derart bestimmt werden, dass der Entfernungspunkt mittig
in dem entfernten Bereich liegt. Der Entfernungspunkt kann in Abhängigkeit
davon, ob die Straßenform
einer Mittellinie über
die Breite der Fahrspur, einer Mittellinie über die Breite der gesamten
Straße
oder der weißen
Fahrbahnmarkierung der linken oder der rechten Fahrbahn entspricht,
bezüglich
des Außenrahmens
OF für
den entfernten Straßenbereich
positioniert werden. Es soll beispielsweise angenommen werden, dass
die Straßenform
(oder die diese anzeigende Linie) der weißen Fahrbahnmarkierung der
rechten Fahrspur entspricht. Der Außenrahmen OF kann derart angeordnet
werden, dass der Entfernungspunkt ein Viertel des Außenrahmens
OF für
den entfernten Straßenbereich
von dessen unteren rechten Ecke anzeigt.
-
In
Schritt S230 entfernt der Prozess einen Straßenanteil aus dem Bereich in
dem Außenrahmen OF
für den
in Schritt S200 bestimmten entfernten Straßenbereich. Die Ausführungsform
entfernt, wie in 8 gezeigt, einen vorbestimmten
festen Straßenanteil 30.
Der Straßenanteil
ist ein Dreieck, dessen Spitze einer Mitte 0 des Außenrahmens
OF und dessen Basis der Unterseite des Außenrahmens OF entspricht.
-
Der
aktuell in dem Außenrahmen
OF enthaltene Straßenanteil
kann in Abhängigkeit
von der Breite der befahrenen Straße oder der Straßenform,
je nachdem, ob sie gerade oder kurvenförmig verläuft, verschieden geformt sein.
In Anbetracht dieser Tatsache macht es der Straßenanteil 30 als festgesetzter
Bereich schwierig, den Straßenanteil
genau aus dem aktuell in dem Außenrahmen
OF enthaltenen Bild zu entfernen. Der Straßenanteil verjüngt sich
jedoch unabhängig
von der Straßenform
von dem unteren Ende zu dem oberen Ende des entfernten Straßenbereichs.
Der größte Teil
des Straßenanteils 30 kann,
obgleich er festgesetzt ist, entfernt werden. Ferner kann ein Festsetzen
des Straßenanteils 30 die
Rechenbelastung verringern. Wenn der Straßenanteil in Schritt S230 entfernt
wird, nimmt der relative Anteil des Straßenrandes in dem Bereich auf
die Entfernung hin zu.
-
Es
ist ferner möglich,
den Straßenanteil 30 auf
der Grundlage der in Schritt S100 bestimmten Straßenform
zu bestimmen, ohne den Straßenanteil 30 festzusetzen.
Es kann beispielsweise vorkommen, dass sich die die Straßenform
anzeigende Linie mit dem Außenrahmen
OF des entfernten Straßenbereiches
an einzig einem Punkt schneidet (siehe 3). In diesem
Fall kann angenommen werden, dass der Straßenanteil ein Dreieck bildet,
dessen Spitze dem Fluchtpunkt und dessen Basis der Unterseite des
Außenrahmens
OF entspricht. Es kann ferner vorkommen, dass die die Straßenform
anzeigende Linie den Außenrahmen
OF des entfernten Straßenbereiches
an zwei Punkten schneidet (der untere Schnittpunkt befindet sich
an der Unterseite des Außenrahmens
OF, und der obere Schnittpunkt befindet sich nicht an der Unterseite)
(siehe 4). In diesem Fall kann angenommen werden, dass
der Straßenanteil
ein Dreieck bildet, dessen Spitze dem oberen Schnittpunkt (oder
einem Punkt, der eine bestimmte Koordinate höher als der obere Schnittpunkt
liegt) und dessen Basis der Unterseite des Außenrahmens OF entspricht. Der
Bildprozess kann eine weiße Fahrbahnmarkierung
erkennen und den Straßenanteil
auf der Grundlage der weißen
Fahrbahnmarkierung bestimmen.
-
In
Schritt S240 bestimmt der Prozess, ob ein Fahrzeugteil bzw. Fahrzeuganteil
in dem in Schritt S220 bestimmten Außenrahmen OF für den entfernten
Straßenbereich
enthalten ist oder nicht. Die Nebelbestimmung ist dann schwierig,
wenn ein Fahrzeug dicht in einem als der entfernte Straßenbereich bestimmten
Bild enthalten ist. Die Bestimmung in S240 dient dazu, solch ein
Fahrzeug in einem nahen Bereich aus dem Bild in dem entfernten Straßenbereich
zu entfernen. In Schritt S240 bestimmt der Prozess zunächst, ob
die Fahrunterstützungssteuerungs-ECU 26 ein
vorderes Fahrzeug erfasst oder nicht. Wenn das vordere Fahrzeug
erfasst wird, bestimmt der Prozess einen Bildverarbeitungsbereich, der
das Fahrzeug beinhalten soll, auf der Grundlage der Position und
des relativen Abstands, die von der Fahrun terstützungssteuerungs-ECU 26 für das vordere
Fahrzeug bestimmt werden. Der Prozess bestimmt den Fahrzeuganteil,
indem er einen bekannten Bildverarbeitungsprozess für den Bildverarbeitungsbereich
ausführt,
wie beispielsweise ein Bestimmen eines Fahrzeugumrisses auf der
Grundlage von beispielsweise Helligkeitsänderungen. Der Prozess vergleicht
den bestimmten Fahrzeuganteil mit dem in Schritt S220 für den entfernten
Straßenbereich
bestimmten Außenrahmen
OF.
-
Wenn
die Bestimmung in Schritt S240 negativ ist, endet die in der 6 gezeigte
Routine. In diesem Fall entspricht der entfernte Straßenbereich dem
Bereich in dem in Schritt S220 bestimmten Außenrahmen OF mit Ausnahme des
Straßenanteils 30.
Wenn die Bestimmung in Schritt S240 positiv ist, schreitet der Prozess
zu Schritt S250 voran. Der Prozess bestimmt den entfernten Straßenbereich
als den Bereich in dem in Schritt S220 bestimmten Außenrahmen
OF mit Ausnahme des Straßenanteils 30 und
des in Schritt S240 bestimmten Fahrzeuganteils.
-
In
Schritt S300 führt
der Prozess den Nebelbestimmungsbildprozess für den auf diese Weise bestimmten
entfernten Straßenbereich
aus. Folglich kann der entfernte Straßenbereich einen Bildverarbeitungsbereich
zum Ausführen
des Nebelbestimmungsbildprozesses anzeigen.
-
9 zeigt
die Details des Nebelbestimmungsbildprozesses von Schritt S300.
In Schritt S310 der 9 führt der Prozess fortlaufend
eine differentielle Verarbeitung für ein Bild in dem in Schritt S200
bestimmten entfernten Straßenbereich
aus, um ein zweidimensionales Verteilungsdiagramm für Kantenstärken zu
erzeugen. In Schritt S320 berechnet der Prozess einen Betrag für eine deutliche
bzw. starke Kante. Dieser kennzeichnet ein Verhältnis, das eine bestimmte Kantenstärke (Referenzstärke) in dem
in Schritt S310 erzeugten zweidimensionalen Verteilungsdiagramm überschreitet.
-
In
Schritt S330 erfasst der Prozess eine Fahrzeuggeschwindigkeit von
dem Fahrzeuggeschwindigkeitssensor 22. In Schritt S340
berechnet der Prozess auf der Grundlage der erfassten Fahrzeuggeschwindigkeit
eine Fahrzeit für
einen Straßenrandanteil
in dem entfernten Straßenbereich,
um sich zu einem vorbestimmten nahen Straßenrandbereich 32 zu
bewegen. Der nahe Straßenrandbereich 32 ist
ein festge setzter Bereich, der so nahe einen Straßenrand
enthalten soll, dass das Bild selbst bei Nebel nicht getrübt bzw.
verschwommen ist. Der nahe Straßenbereich 32 weist,
wie in den 3 und 4 gezeigt,
eine bestimmte Größe auf und
ist in der vertikalen Mitte an dem linken oder an dem rechten Ende
eines von der On-Board-Kamera 12 aufgenommenen Bildes angeordnet.
-
Der
nahe Straßenrandbereich 32 ist,
wie vorstehend erwähnt,
ein festgesetzter Bereich. Der entfernte Straßenbereich befindet sich in
einer vorbestimmten Entfernung von dem Subjektfahrzeug. Folglich
kann eine von einem Objekt, das sich bei dem Straßenrandanteil
in dem entfernten Straßenbereich
befindet, gefahrene Fahrstrecke (zu dem nahen Straßenrandbereich 32),
die von einem Objekt gefahren wird, vorher bestimmt werden. In Schritt
S340 verwendet der Prozess die vorbestimmte Fahrstrecke und die
in Schritt S330 erfasste Fahrzeuggeschwindigkeit, um die Fahrzeit
für den
Straßenrandanteil
in dem entfernten Straßenbereich
zum Bewegen zu dem nahen Straßenrandbereich 32 zu
bestimmen.
-
In
Schritt S350 erzeugt der Prozess, gleich wie in Schritt S310, ein
zweidimensionales Verteilungsdiagramm der Beleuchtungskantenstärken für ein Bild
in dem nahen Straßenrandbereich,
und zwar nach Ablauf einer vorgegebenen Zeitspanne. Dieser Ablauf
der vorgegebenen Zeitspanne ist ein Ablauf der in Schritt S340 berechneten
Fahrzeit nach einem Aufnehmen des zum Erzeugen des zweidimensionalen
Verteilungsdiagramms der Kantenstärken in Schritt S310 verwendeten
Bildes.
-
In
Schritt S360 berechnet der Prozess, gleich wie in Schritt S320,
einen Betrag für
eine deutliche Kante für
das in Schritt S350 erzeugte zweidimensionale Verteilungsdiagramm.
In Schritt S370 bestimmt der Prozess einen in einem nachfolgenden
Schritt S380 zu verwendenden Schwellenwert auf der Grundlage des
in Schritt S360 für
das Bild in dem nahen Straßenrandbereich
berechneten Betrags für eine
deutliche Kante. Beispielsweise bestimmt der Prozess den Schwellenwert,
indem er den in Schritt S360 berechneten Betrag für eine deutliche
Kante mit einem bestimmten Wert α kleiner
1 (z.B. 0,7) multipliziert. Der Schwellenwert wird in Abhängigkeit
davon geändert,
ob in Schritt S395 (nachstehend beschrieben) während der vorherigen Nebelbestimmung,
d.h. der vorherigen Ausführung
der sich wiederholenden Routine der 9, ein Nebel
zu bestimmen war. Wenn die vorherige Bestimmung angenommen hat,
dass es nicht neblig ist, wird der bestimmte Wert α auf 0,7
gesetzt. Wenn die vorherige Bestimmung angenommen hat, dass es neblig
ist, wird der bestimmte Wert auf 0,6 gesetzt.
-
In
Schritt S380 vergleicht der Prozess den in Schritt S320 für das Bild
in dem entfernten Straßenbereich
berechneten Betrag für
eine deutliche Kante mit dem in Schritt S370 bestimmten Schwellenwert. Wenn
der in Schritt S320 berechnete Betrag für eine deutliche Kante größer als
der Schwellenwert ist, bestimmt der Prozess, dass das Bild keinen
Nebel aufweist. Wenn der in Schritt S320 berechnete Betrag für eine deutliche
Kante kleiner oder gleich dem Schwellenwert ist, bestimmt der Prozess,
dass das Bild Nebel aufweist. Der Schwellenwert wird, wie vorstehend
erwähnt,
auf der Grundlage des vorherigen Bestimmungsergebnisses geändert. Ein
Nebel kann dann sicherer angenommen werden, wenn er bei der vorherigen
Bestimmung bestimmt wurde, als wenn er bei der vorherigen Bestimmung
nicht bestimmt wurde. Folglich hilft der Vergleich selbst bei einem
leichten Nebel dabei, dass Bestimmungsergebnisse innerhalb einer
kurzen Zeitspanne geändert
werden.
-
In
Schritt S390 bestimmt der Prozess, ob ein endgültiges Bestimmungsintervall
erreicht ist oder nicht, wobei der Ausführungszeitpunkt der ersten
Nebelbestimmung (S380) als Anfang der Zeiterfassung angenommen wird.
Das endgültige
Bestimmungsintervall ist beispielsweise auf eine Minute gesetzt. Wenn
die Bestimmung negativ ist, wird der Prozess in Schritt S310 und
den folgenden Schritten wiederholt.
-
Wenn
die Bestimmung in Schritt S390 positiv ist, schreitet der Prozess
zu Schritt S395 fort und führt
die endgültige
Nebelbestimmung aus. Die endgültige
Nebelbestimmung basiert auf einer Mehrzahl von Bestimmungsergebnissen
von Schritt S380 auf eine Wiederholung der Schritte S310 bis S390
hin. Wenn die Bestimmungsergebnisse ein Nebelbestimmungsverhältnis größer oder
gleich einem vorbestimmten Verhältnis
anzeigen, bestimmt der Prozess, dass es neblig ist. Wenn die Bestimmungsergebnisse ein
Nebelbestimmungsverhältnis
kleiner einem vorbestimmten Verhältnis
anzeigen, bestimmt der Prozess, dass es nicht neblig ist. Auf diese
Weise verwendet die endgültige
Bestimmung eine Mehrzahl von Bestimmungsergebnissen in Schritt S380,
um die Bestimmungsgenauigkeit zu verbessern. Hierdurch kann die
endgültige
Bestimmung eine fehlerhafte Bestimmung selbst dann verhindern, wenn
ein Bild an einem gegebenen Zeitpunkt eine fehlerhafte bzw. ungenaue
Bestimmung verursacht.
-
Wenn
das vorbestimmte Verhältnis
bei 50% liegt, kann der Prozess sicher bestimmen, dass ein Nebel
auftreten kann, oder dass kein Nebel auftritt. Das vorbestimmte
Verhältnis
ist nicht auf die 50% beschränkt.
Wenn der Prozess weder bestimmt, dass Nebel auftreten kann, noch
bestimmt, dass Nebel nicht auftreten kann, wird das vorherige Bestimmungsergebnis
beibehalten.
-
Gemäß der vorstehend
beschriebenen Ausführungsform
analysiert der Prozess in Schritt S300 (Nebelbildbestimmungsmittel)
nicht ein gesamtes von der On-Board-Kamera 12 aufgenommenes Bild. Der
Prozess in Schritt S300 analysiert ein in Schritt S200 bestimmtes
Bild eines entfernten Straßenbereichs
(Fernstraßenbereichsbestimmungsmittel). Eine
Rechenbelastung zur Verarbeitung des Bildes wird verglichen mit
der Analyse des gesamten von der On-Board-Kamera 12 aufgenommen
Bildes verringert. Ferner wird der entfernte Straßenbereich
zur Analyse, ob das Bild Nebel aufweist oder nicht, auf der Straße in einer
bestimmten Entfernung von dem Fahrzeug in dem Bild angeordnet. Gewöhnlich führt eine
Straße
in der Entfernung fort. Wenn sich der Bereich für ein zu analysierendes Bild
auf der Straße befindet,
enthält
der Bereich mit hoher Wahrscheinlichkeit einen entfernten Anteil.
Die Bestimmung in Schritt S300 (Nebelbildbestimmungsmittel) kann
gewährleistet
werden.
-
Die
Ausführungsform
vergleicht ein Bild für den
in dem Bild vorbestimmten nahen Straßenrandbereich 32 mit
einem Bild für
den entfernten Straßenbereich
und bestimmt, ob das Bild für
den entfernten Straßenbereich
Nebel aufweist oder nicht. Hierdurch kann eine fehlerhafte Bestimmung
eines Nebels verhindert werden. Da das Fahrzeug in einem ebenen Landschaftsraum
fährt,
kann die Verwendung von nur einem entfernten Straßenbereichsbild
fehlerhafte Nebel bestimmen, obgleich kein Nebel vorhanden ist.
-
(Ausgestaltungen)
-
Obgleich
die vorliegende Erfindung in Verbindung mit ihrer bevorzugten Ausführungsform
beschrieben wurde, ist sie nicht auf diese beschränkt. Der
Schutzumfang der vorliegenden Erfindung umfasst die nachstehend
beschriebenen Ausführungsformen.
Die vorliegende Erfindung kann zusätzlich zu den hierin aufgezeigten
Ausführungsformen
auf verschiedene Weisen geändert
und ausgestaltet werden, ohne ihren Schutzumfang zu verlassen.
-
Beispielsweise
erkennt die vorstehend beschriebene Ausführungsform die weiße Fahrbahnmarkierung
als Verkehrszeichen (oder Straßenreferenz)
auf einer Straße
zum Bestimmen der Straßenform.
Zusätzlich
zu der weißen
Fahrbahnmarkierung umfassen Verkehrszeichen an Straßen angrenzend angeordnete
Projektionen (halbkugelig oder stangenförmig) zum Teilen von Fahrspuren,
gleich wie die weiße
Fahrbahnmarkierung, Mittelteiler, Straßenrandrinnen und Spurrillen.
Diese werden gegebenenfalls vorzugsweise erkannt, um die Straßenform
zu bestimmen.
-
Die
vorstehend beschriebene Ausführungsform
berechnet die Fahrzeit für
den Straßenrandanteil
in dem entfernten Straßenbereich,
um zu dem nahen Straßenrandbereich
zu gelangen. Das Bild mit dem entfernten Straßenbereich wird mit einem Bild mit
einem nahen Straßenrandbereich
verglichen, das nach einem Ablauf der Fahrzeit nach Aufnahme des Bildes
mit dem entfernten Straßenbereich
aufgenommen wurde. Das Bild mit dem entfernten Straßenbereich
kann mit einem Bild mit einem nahen Straßenrandbereich verglichen werden,
das zur gleichen Zeit wie das Bild mit dem entfernten Straßenbereich
aufgenommen wird. In diesem Fall wird der gleiche Anteil (Hintergrund)
nicht verglichen. Obwohl der gleiche Anteil nicht verglichen wird,
kann die vorstehend erwähnte
fehlerhafte Bestimmung verhindert werden, die während einer Fahrt in einer
ebenen Landschaftsform auftreten kann.
-
Gemäß der vorstehend
beschriebenen Ausführungsform
berechnet der Prozess den Betrag für eine deutliche Kante für jeden
entfernten Straßenbereich
an einem gegebenen Zeitpunkt (S320). Auf der Grundlage des Betrags
für eine
deutliche Kante führt der
Prozess an einem gegebenen Zeitpunkt die Nebelbestimmung für jedes
entfernte Straßenbild (S380)
aus. Mit Hilfe des Bestimmungsergebnisses führt der Prozess die endgültige Bestimmung
aus (S395). Ferner kann der Prozess die für die Bilder an gegebenen Zeitpunkten
berechneten Beträge
für eine
deutliche Kante mitteln und ein Bestimmungsergebnis (endgültige Bestimmung)
auf der Grundlage des gemittelten Betrags für eine deutliche Kante bereitstellen.
-
Gemäß der vorstehend
beschriebenen Ausführungsform
wird ein Straßenanteil
aus dem Außenrahmen
OF für
den entfernten Straßenbereich
entfernt. Wenn der Fahrzeuganteil verfügbar ist, wird dieser ebenso
aus dem Außenrahmen
OF entfernt, um den entfernten Straßenbereich bereitzustellen. Der
Prozess zum Entfernen des Straßenanteils
oder des Fahrzeuganteils ist jedoch nicht zwingend erforderlich.
Die Nebelbestimmung kann mit Hilfe des gesamten Bildes in dem Außenrahmen
OF für
den entfernten Straßenbereich
ausgeführt
werden. Es ist ferner möglich,
nur einen der beiden Anteile (Straßenanteil oder Fahrzeuganteil)
zu entfernen.
-
Das
zweite Bestimmungsmittel (S140 bis S170) gemäß der Ausführungsform bestimmt eine Straßenform,
indem sie einen bestimmten Endpunkt bei dem Subjektfahrzeug in dem
Bild mit der Position des vorderen Fahrzeugs mit Hilfe eines Bogens
mit einem Krümmungsradius
gleich dem Lenkwinkel verbindet. Das Millimeterwellenradar 20 kann
derart konfiguriert sein, dass es ein Fahrzeug einzig innerhalb
eines relativ schmalen Bereichs bezüglich der die Fahrzeuglängsrichtung
anzeigenden Linie erfasst. In solch einem Fall wird die Straßenform
eventuell vorzugsweise bestimmt, indem ein bestimmter Endpunkt bei
dem Subjektfahrzeug mit Hilfe einer geraden Linie mit einem vorderen
Fahrzeug verbunden wird. In diesem Fall kann der Schritt S160 (Lenkwinkelerfassung)
ausgelassen werden. Um ein vorderes Fahrzeug zu erfassen, kann ein
Laser-Radar bzw. Ladar anstelle des Millimeterwellenradars 20 vorgesehen
werden. Ein vorderes Fahrzeug kann erfasst werden, indem eine Form,
die für
das Fahrzeug spezifisch ist, wie beispielsweise ein Rücklicht
oder ein Nummernschild, in dem Bild erfasst wird.
-
Gemäß der vorstehend
beschriebenen Ausführungsform
sind der Außenrahmen
OF des entfernten Straßenbereichs
und des nahen Straßenrandbereichs 32 rechteckig.
Die Bereiche sind jedoch nicht auf eine solche Form beschränkt, sondern
kreisrund oder dergleichen ausgebildet sein.
-
Jede
beliebige Kombination der vorstehend beschriebenen Prozesse, Schritte
oder Mittel kann als Softwareeinheit (z.B. Unterprogramm) und/oder Hardwareeinheit
(z.B. Schaltung oder IC), die eine Funktion einer betreffenden Vorrichtung
beinhalten oder nicht beinhalten, realisiert werden; die Hardwareeinheit
kann ferner innerhalb eines Mikrocomputers aufgebaut sein.
-
Ferner
kann die Softwareeinheit oder eine beliebige Kombination mehrerer
Softwareeinheiten in einem Softwareprogramm enthalten sein, das
auf einem computerlesbaren Speichermedium gespeichert sein kann
oder über
ein Kommunikationsnetz auf einem Computer installiert werden kann.
-
Fachleuten
wird ersichtlich sein, dass die vorstehend beschriebenen Ausführungsformen
der vorliegenden Erfindung auf verschiedene Weisen geändert werden
können.
Der Schutzumfang der vorliegenden Erfindung sollte jedoch durch
die folgenden Ansprüche
bestimmt werden.
-
Vorstehend
wurde eine On-Board-Nebelbestimmungsvorrichtung offenbart.
-
Ein
Bildverarbeitungsprozess zum Bestimmen, ob ein Bild Nebel aufweist
oder nicht, bestimmt auf der Grundlage einer Erkennung für eine weiße Fahrbahnmarkierung
eine Form einer mit einem Fahrzeug zu befahrenden Straße in einem
von einer On-Board-Kamera aufgenommenen Bild S100. Auf der Grundlage
der Straßenform
bestimmt der Prozess anschließend
einen entfernten Straßenbereich in
einer bestimmten Entfernung von dem Fahrzeug auf der zu befahrenden
Straße
in dem Bild S200. Der Prozess verarbeitet einen dem entfernten Straßenbereich
entsprechenden Bildabschnitt aus dem gesamten von der Kamera aufgenommenen
Bild, um zu bestimmen, ob ein Bild Nebel aufweist oder nicht S300.
Auf diese Weise kann der Rechenaufwand für die Bildverarbeitung verglichen
mit einer Analyse des gesamten Bildes verringert werden. Der entfernte Straßenbereich
befindet sich in der bestimmten Entfernung von dem Fahrzeug auf
der Straße
in dem Bild. Gewöhnlich
führt eine
Straße
in der Entfernung fort. Da der entsprechende Bereich möglicherweise einen
entfernten Anteil enthält,
kann die Nebelbestimmungsgenauigkeit gewährleistet werden.