DE102008003948A1

DE102008003948A1 - Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird

Info

Publication number: DE102008003948A1
Application number: DE102008003948A
Authority: DE
Inventors: Naoki Kariya Kawasaki
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-01-11
Filing date: 2008-01-11
Publication date: 2008-07-17
Anticipated expiration: 2028-01-12
Also published as: JP2008170283A; JP4241834B2; US20080170754A1; US8077921B2; DE102008003948B4

Abstract

Es wird eine Vorrichtung geschaffen, die das Vorhandensein eines Elements, wie z.B. Nebel, das die Sichtbarkeit einer vorderen Sicht eines Fahrers in einem Fahrzeug stört, in einer Umgebungsatmosphäre vor dem Fahrzeug, das mit der Vorrichtung ausgestattet ist, während der Tageszeit bestimmt. In dieser Vorrichtung wird die Bestimmung bezüglich des Vorhandenseins des Elements auf der Grundlage einer Abbildung bestimmt, die von einer in ein Fahrzeug eingebauten Kamera erfasst wird und in welcher ein Bild eines Hindernisses, das sich auf einer Straße befindet, über welche das Fahrzeug fährt, markiert ist. Bei der Bestimmung wird eine Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements durch Messen des Effekts eines Markierens des Hindernisses betrachtet.

Description

QUERVERWEIS AUF EINE VERWANDTE ANMELDUNG
C₀Die vorliegende Erfindung bezieht sich auf die japanische Patentanmeldung Nr. 2007-3927 , eingereicht am 11. Januar 2007, und schließt diese durch Verweise ein.
HINTERGRUND DER ERFINDUNG
(Das Gebiet der Erfindung)
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Bestimmen, ob Nebel in der Umgebung um ein Fahrzeug vorhanden ist oder nicht, auf der Grundlage einer Abbildung, welche von einer in ein Fahrzeug eingebauten Abbildungsvorrichtung, wie zum Beispiel einer Kamera, erfasst wird. Zum Beispiel betrifft die vorliegende Erfindung ein System und ein Verfahren zum Bestimmen, ob eine Abbildung, die von einer in ein Fahrzeug eingebauten Abbildungsvorrichtung erfasst wird, durch das Vorhandensein von Nebel in einer Umgebung um ein sich bewegendes Fahrzeug getrübt ist oder nicht, unter Verwendung eines Abbildungs-Verarbeitungsverfahrens, in welchem die Zuverlässigkeit des Bestimmens berechnet wird.
(Beschreibung des Standes der Technik
Führer von Kraftfahrzeugen in nebligen Bereichen treffen auf gefährliche Bedingungen einer schlechten Sichtbarkeit. Unter normalen Umständen erlangt ein Fahrer in einem Kraftfahrzeug Wissen über die Straßenausrichtung durch die Anordnung von Markierungen oder der Landschaft voraus. Jedoch führen Bedingungen einer schlechten Sichtbarkeit häufig zu Verkehrsunfällen, die menschliche Todesfälle und Sachbeschädigungen verursachen. Obgleich die Genauigkeit einer Wettervorhersage stetig verbessert worden ist, wird eine genaue Vorhersage von Sichtbarkeitsbedingungen als äußerst schwierig erachtet. Eine der Schwierigkeiten liegt darin, dass eine schlechte Sichtbarkeit häufig in örtlich begrenzten Bereichen als ein Ergebnis von Mikroklimaänderungen in diesem Bereich auftritt und sich die Bedingung in einer Weise von Minuten oder Sekunden ändert. Mit dem Ziel eines Verringerns der Anzahl der Verkehrsunfälle sind Kraftfahrzeuge erhöht mit aktiven Sicherheitssystemen ausgestattet worden. Viele der aktiven Sicherheitssysteme, die in die Kraftfahrzeuge eingebaut sind, beinhalten Wahrnehmungssensoren, wie zum Beispiel Kameras, einen Laser, einen Radar und dergleichen.
Eine Information, die durch diese Wahrnehmungssensoren erzielt wird, wird verwendet, um automatische Beruhigungsaufgaben wie zum Beispiel ein Einschalten von Nebelscheinwerfern oder ein Warnen des Fahrers, dass das Sicherheitssystem, das in sein Fahrzeug eingebaut ist, aufgrund eines Mangels einer ausreichenden Information aus den Sensoren unbrauchbar ist, durchzuführen. Daher ist in einem bestimmten Sinne eine Information, die von einem System oder einem Block erzielt wird, das bzw. der imstande ist, ein Vorhandensein des Nebels zu erfassen, eine grundlegende für eine Fahrunterstützung. Tatsächlich neigt der Fahrer in einer nebligen Umgebung dazu, einen Sichtbarkeitsabstand zu überschätzen und sein Fahrzeug mit einer übermäßigen Geschwindigkeit zu fahren. Daher ist es wichtig, das Vorhandensein von Nebel um das Fahrzeug zu erfassen.
Die Nebeleffekte bezüglich der atmosphärischen Sichtbarkeit werden durch das Gesetz von Koschmieder bezüglich der sichtbaren Helligkeit von untersuchten Objekten gegenüber einem Hintergrundhimmel auf dem Horizont modelliert. In dem Gesetz von Koschmieder ist einer der Parameter der Absorptionskoeffizient k von Nebel. In Nebel wird ein Anteil des Lichts durch Wassertröpfchen gestreut. Da die Absorption von sichtbarem Licht durch Wassertröpfchen vernachlässigbar sein kann, werden der Streu- und Absorptionskoeffizient als austauschbar erachtet. Das Gesetz von Koschmieder stellt eine einfache Beziehung zwischen dem Abstand d eines Objekts mit einer Eigenhelligkeit L₀ und seiner sichtbaren Helligkeit L wie folgt dar: L = L0e–kd + L∞(1 – e–kd), wobei L_∞ die Helligkeit der Atmosphäre, wie zum Beispiel die Helligkeit des Himmels, bezeichnet, und k den Absorptionskoeffizienten der Atmosphäre bezeichnet. Dieser Ausdruck zeigt an, dass die Helligkeit des Objekts, das durch Nebel beobachtet wird, mit e^–kd abgeschwächt wird und eine Helligkeit, die durch Tageslicht verstärkt wird, das von den Atmosphärenpartikeln zwischen dem Objekt und dem Beobachter gestreut wird, eine Form von L_∞(1 – e^–kd) aufweist.
Zusätzlich zu einer Helligkeit kann ein Kontrast durch die folgende Gleichung definiert werden:
wobei L₀ und L_∞ die gleiche Bedeutung wie in der Gleichung des Gesetzes von Koschmieder aufweisen. Wenn das Objekt dunkler als sein Hintergrund ist, das heißt, L₀ kleiner als L_∞ ist. ist der Kontrast C negativ. Durch die Definition des Kontrasts kann ein Dämpfungsgesetz eines Atmosphärenkontrasts wie folgt abgeleitet werden: C = C0e–kd,wobei C der sichtbare Kontrast im Abstand d ist und C₀ der Eigenkontrast des Objekts gegen seinen Hintergrund ist.
In der Praxis wird die Tatsache, dass das Objekt sichtbar ist, identifiziert, wenn der Wert des sichtbaren Kontrasts C größer oder gleich einem Schwellwert C_th ist. Im Allgemeinen ist der sichtbare Bereich V als der größte Abstand definiert, an welchem ein schwarzes Objekt (C₀ = 1) im Himmel auf dem Horizont mit dem Schwellwert C_th = 0,05 gesehen werden kann:
Die zuvor erwähnte Theorie ist verwendet worden, um unter Verwendung einer Abbildung, die von einer in ein Fahrzeug eingebauten Kamera erfasst wird, zu bestimmen, ob Nebel in der Außenatmosphäre vorhanden ist oder nicht, die das Sichtfeld des Fahrersitzes in einem Fahrzeug umgibt, obgleich das Gesetz von Koschmieder unter der Annahme abgeleitet ist, dass eine Atmosphärenbeleuchtung gleichmäßig ist.
Zum Beispiel offenbaren in der WO 03/069275 Lavenant et al. ein Verfahren zum Bestimmen, ob die Umgebung eines Fahrzeugs neblig ist. Das Verfahren von Lavenant et al. beinhaltet mindestens vier Schritte zum Bestimmen des Vorhandenseins von Nebel: Der erste Schritt ist ein Aufzeichnen mindestens einer ersten Abbildung der Umgebung, in welcher ein Fahrzeug fährt, von dem Fahrzeug in der Richtung einer Fahrt des Fahrzeugs, der zweite Schritt ist ein Schritt eines Aufzeichnens einer Helligkeit an jedem Punkt der ersten Abbildung, der dritte Schritt ist ein Schritt eines Suchens eines Bereichs in der ersten Abbildung, der eine minimale Linie-zu-Linie-Gradientenänderung anzeigt, wenn von unten nach oben gekreuzt wird, in einem Aufbau, der eine Kompatibilität mit dem Gesetz von Koschmieder zulässt, das heißt, eine vertikale Helligkeitskurve entlang der vertikalen Achse des Bereichs weist mindestens einen Wendepunkt auf, und der vierte Schritt ist ein Schritt eines Berechnens eines Absorptionskoeffizienten für den Nebel aus der vertikalen Helligkeitskurve. Wenn eine derartige vertikale Helligkeitskurve festgestellt wird, wird das Vorhandensein von Nebel in der Umgebung des Fahrzeugs erfasst. Es ist anzumerken, dass in dem Verfahren von Lavenant et al. der dritte Schritt Schritte eines Schätzens der Ähnlichkeit eines Bildelements zu dem einen, das sich genau darunter befindet, unter Verwendung eines Filters beinhaltet, das einige unterschiedliche Masken auf die erste Abbildung anwendet, und einen Mittelwert und eine Streuung der Helligkeit für die maskierten Abbildungen berechnet, um den kleinsten Pegel einer Streuung zu bieten.
Jedoch gibt es in dem Verfahren von Lavenant et al. eine Notwendigkeit zum Identifizieren eines Bereichs des Himmels in einer Abbildung, die von einer in ein Fahrzeug eingebauten Kamera erfasst wird, da die sichtbare Helligkeit eines Objekts gegen seinen Hintergrund erforderlich ist, um das Gesetz von Koschmieder anzuwenden.
Weiterhin offenbaren Schechner et al. in der WO 2007/083307 ein System und ein Verfahren zum Schätzen und Korrigieren von Außenabbildungen, die von einer Kamera erfasst werden und aufgrund einer Atmosphärenstreuung, insbesondere einer Trübung, unter Bedingungen einer schlechten Sichtbarkeit leiden, die implizit das Gesetz von Koschmieder verwenden. Um die Abbildungen zu korrigieren, die durch Bedingungen einer schlechten Sichtbarkeit verursacht werden, sollten eine Subtraktion von Luftlicht und eine Korrektur einer Atmosphärendämpfung durch Trübung durchgeführt werden. In dem Verfahren von Schechner et al. werden Luftlicht- und Dämpfungsparameter durch Analysieren von polarisationsgefilterten Abbildungen, insbesondere ohne Identifizieren von Himmelbereichen in den Abbildungen, berechnet. Das heißt, in herkömmlichen Verfahren sind diese Parameter durch Messen von Bildelementen in Himmelbereichen geschätzt worden. Da das Verfahren von Schechner et al. die Tatsache verwendet, dass das Luftlicht oft teilweise in einer Trübung polarisiert ist, wird es erachtet, dass das Verfahren von Schechner et al. zum Schätzen dieser Parameter und zum Bestimmen des Vorhandenseins von Nebel, zum Beispiel des Vorhandenseins von abgeschwächtem Nebel, aus erfassten Abbildungen durch eine Kamera anwendbar ist, wenn der Himmel nicht zu sehen ist. Jedoch muss das Verfahren von Schechner et al. mindestens zwei Abbildungen an unterschiedlichen Polarisationszuständen verwenden.
Schechner et al. nehmen an, dass sich die Kamera zum Erfassen der Abbildungen nicht bewegt, sondern an irgendeiner Position fest ist. Daher sollte, wenn es beabsichtigt ist, dass das System von Schechner et al. in ein Fahrzeug eingebaut wird, eine Mehrzahl der in ein Fahrzeug eingebauten Kameras erforderlich sein, um gleichzeitig mindestens zwei Abbildungen zu erfassen. Diese Tatsache führt zu einem komplexeren System, wenn das Verfahren von Schechner et al. an einem in ein Fahrzeug eingebauten Nebel-Erfassungssystem angewendet wird, welches für praktische Zwecke nicht geeignet ist.
Weiterhin kann das Verfahren von Schechner et al. weniger wirksam sein, wenn eine Beleuchtung weniger gerichtet ist. Der Polarisationsgrad von Luftlicht wird durch Depolarisation verringert, welche durch mehrere Streuungen verursacht wird, wie es im Nebel auftritt. Weiterhin wird im Allgemeinen eine Trübung aus einem Schwebstoff gebildet, welcher aus Molekülen besteht, die im Gegensatz zu Nebel, der Wassertröpfchen aufweist, die einen Radius von 10⁰∼10¹ μm aufweisen, einen Radius von 10^–2∼10⁰ μm aufweisen. Ein Verringern einer Polarisation wird ebenso durch Streuung von großen Partikeln, auch Streuung von großen Trübungspartikeln, verursacht. Deshalb ist zum Beispiel in dichtem Nebel ein genaues Bestimmen bezüglich dessen, ob Nebel vorhanden ist, schwierig.
Weiterhin offenbaren Leleve et al. in der französischen Patentanmeldung 2 847 367 ein Verfahren und ein System zum Bestimmen des Bereichs einer Sichtbarkeit für einen Fahrer in einem Fahrzeug bei dem Vorhandensein eines Elements, das die Sichtbarkeit des Fahrers stört, und zum Bestimmen des Vorhandenseins von Nebel. Das Verfahren von Leleve et al. beinhaltet die folgenden sechs Schritte. Der erste Schritt ist ein Schritt eines Erfassens von mindestens einer Abbildung eines Raumfelds, das sich vor dem Fahrzeug befindet, wobei die Abbildung durch eine Gruppe von Bildelementen und Durchlauflinien definiert ist. Der zweite Schritt ist ein Schritt eines Trennens der Abbildung in zwei Teile durch eine erste vertikale Linie, die durch einen im Voraus festgelegten Punkt geht. Der dritte Schritt ist ein Schritt eines Bestimmens der Helligkeit der Bildelemente der ersten vertikalen Linie, um eine Helligkeitskurve zu erzielen. Der vierte Schritt ist ein Schritt eines Bestimmens einer ersten Tangente zu der Helligkeitskurve, die tangential zu einem Ort der Kurve ist, der einen Bereich einer Helligkeit darstellt, der im Wesentlichen unabhängig von dem störenden Element ist, wie zum Beispiel dem Himmel. Der fünfte Schritt ist ein Schritt eines Bestimmens einer zweiten Tangente, die parallel zu der ersten Tangente an der Helligkeitskurve ist, die zu einem Ort der Kurve tangential ist, die eine Stabilisierung der Helligkeit darstellt, wie zum Beispiel auf der Straße. Der sechste Schritt ist ein Schritt eines Bestimmens einer Durchlauflinie gemäß der ersten Tangente und der zweiten Tangente, wobei die Durchlauflinie den Abstand einer Sichtbarkeit darstellt. In dem zuvor erwähnten zweiten Schritt wird der im Voraus festgelegte Punkt durch die folgenden Schritte bestimmt: einen Schritt eines Suchens von Bereichen der Abbildung, wobei jeder Bereich auf die Homogenitätsvoraussage reagiert, eines Bestimmens des Schwerpunkts für jeden der Bereiche und eines Bestimmens des globalen Schwerpunkts von jedem der Schwerpunkte für die Bereiche, wobei die globale Mitte der im Voraus festgelegte Punkt ist. Daher ist der globale Schwerpunkt das Ergebnis von Schwerpunkten für zwei homogene Bereiche auf der Straße und im Himmel. Die Durchlauflinie wird gemäß einem Schnittpunkt zwischen der Helligkeitskurve und einer Linie berechnet, die parallel zu der ersten Tangente an einem Mittelpunkt zwischen der ersten Tangente und der zweiten Tangente ist. Der Bereich einer Sichtbarkeit wird gemäß der Durchlauflinie bestimmt.
Das heißt, das Verfahren von Leleve et al. basiert auf der Suche nach einem Gradienten von vertikalem Licht. Leleve et al. erachten, dass das störende Element Nebel ist. Wie es zuvor erläutert worden ist, basiert das Verfahren von Leleve et al. auf der Suche nach einem homogenen Bereich in einer Abbildung der Straßenszene und auf der Suche nach einem Gradienten von vertikalem Licht. Diese Suchen machen es möglich, eine Beziehung zwischen dem Bereich einer Sichtbarkeit für den Führer in dem Fahrzeug und dem Wendepunkt (der Durchlauflinie) in der Abbildung zu suchen und zu bestimmen, ob Nebel vorhanden ist oder nicht.
Das Verfahren von Leleve et al. ist an dem Fall anwendbar, in dem es ein Hindernis auf der Straße gibt, über welche das Fahrzeug fährt, zum Beispiel eine Brücke und dergleichen. Jedoch stellt ihre Lösung die folgenden Nachteile dar. Zuerst ist es, um das Verfahren durchzuführen, erforderlich, dass die Abbildung, die von der Kamera genommen wird, mit welcher ein Fahrzeug ausgestattet ist, einen homogenen Bereich im Himmel enthält. Als Zweites ist es, wenn es ein anderes Fahrzeug vor dem Fahrzeug gibt und das andere Fahrzeug Licht aus dem Rücklicht abgibt, schwierig, die Helligkeitskurve zu bestimmen.
Es ist eine weitere Vorrichtung zum Ausführen einer Abbildungsverarbeitung bezüglich einer erfassten Abbildung aus einer in ein Fahrzeug eingebauten Kamera zum Bestimmen des Vorhandenseins von Nebel bekannt, wie sie von Akutagawa in dem japanischen Patent Nr. 3444192 offenbart ist. In dem japanischen Patent Nr. 344419 wird das Vorhandensein von Nebel auf der Grundlage eines Abbildungsunschärfegrads bestimmt. Wenn Nebel vorhanden ist, wird die Abbildung gemäß dem Gesetz von Koschmieder unscharf. Daher wird das Vorhandensein von Nebel auf dem geschätzten Abbildungsunschärfegrad bestimmt. Beim Bestimmen des Abbildungsunschärfegrads wird zuerst eine Differenzialanalyse für jedes Bildelement auf der gesamten Abbildung ausgeführt, um einen Änderungsgrad an Randintensitäten in jedem Bildelement des gesamten Bilds zu berechnen. Die Randintensitäten an jedem der Bildelemente in der gesamten Abbildung werden verwendet, um den Abbildungsunschärfegrad zu schätzen.
Mit der in dem japanischen Patent Nr. 3444192 offenbarten Vorrichtung wird das Bestimmungsergebnis des Vorhandenseins von Nebel beim Erkennen einer weißen Linie auf einer Straße verwendet. Beim Erkennen der weißen Linie auf der Straße, auf welcher ein Fahrzeug fährt, auf der Grundlage einer Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird, wird, wenn Nebel in einer Atmosphäre auf der Straße vorhanden ist, die Abbildung mit einer sich ergebenden Schwierigkeit beim Erkennen der weißen Linie unscharf. Deshalb wird das Vorhandensein von Nebel vor dem Erkennen der weißen Linie bestimmt. Es ist ebenso offenbart, dass, wenn das Vorhandensein von Nebel bestimmt wird, Nebelscheinwerfer eingeschaltet werden.
Die Vorrichtung von Akutagawa, die in ein Fahrzeug eingebaut ist, beinhaltet eine Einrichtung zum Erfassen einer Abbildung auf der Straße, über welche das Fahrzeug fährt, eine Einrichtung zum Erfassen einer weißen Linie auf der Straße aus der Abbildung, eine Einrichtung zum Berechnen von Abständen von dem Fahrzeug zu jedem Punkt der weißen Linie, eine Einrichtung zum Bestimmen eines Unschärfegrads an jedem Punkt der weißen Linie, eine Einrichtung zum Erzielen einer Kurve eines Unschärfegrads an jedem Punkt der weißen Linie als eine Funktion des Abstands von dem Fahrzeug, eine Einrichtung zum Vergleichen der Kurve eines Unschärfegrads an jedem Punkt der weißen Linie mit einer gegebenen Kurve, die erzielt wird, wenn eine Sichtbarkeit des Fahrers in dem Fahrzeug normal ist, und eine Einrichtung zum Bestimmen, wie schlecht die Sichtbarkeit für den Fahrer ist.
Es gibt ein weiteres bekanntes Verfahren zum Identifizieren einer schlechten Sichtbarkeit unter nachteiligen Wetterbedingungen durch Verarbeiten von digitalen Abbildungen, wie es von Hagiwara in der ungeprüften japanischen Patentanmeldung Nr. 2006-221467 offenbart ist. In dem Verfahren von Hagiwara wird die gewichtete Intensität des Leistungsspektrums für eine Abbildung als ein Wert zum Identifizieren einer schlechten Sichtbarkeit berechnet. Die Amplitude der gewichteten Intensität des Leistungsspektrums stellt die Differenz von Ortsfrequenzen in der Abbildung auf der Grundlage einer menschlichen Kontrastempfindlichkeit dar. Die gewichtete Intensität des Leistungsspektrums wird unter Verwendung eines Frequenzanalyseverfahrens berechnet, in welchem die Abbildung durch eine Fourier-Transformation in sinusförmige Gitter von unterschiedlichen Ortsfrequenzen aufgespaltet wird. Aus der Fourier-Transformation entspricht der Leistungsspektrumswert der Amplitude einer Ortsfrequenz. Jede Komponente der Ortsfrequenzen der Abbildung zeigt ein entsprechendes sinusförmiges Beugungsgitter, das Muster von Graustufen in der Abbildung anzeigt. Das Leistungsspektrum der Ortsfrequenz zeigt Amplituden von jedem sinusförmigen Beugungsgitter an. Wenn sich eine Sichtbarkeit in der Straße während der Tageszeit im Nebel verringert, verringert sich die Anzahl von sinusförmigen Beugungsgittern einer hohen Ortsfrequenz in der Straßenabbildung und wird die Amplitude von allen sinusförmigen Beugungsgittern in der Straßenabbildung klein.
Das Verfahren von Hagiwara beinhaltet die Schritte: einen Eingabeschritt eines Eingebens einer digitalen Abbildung, einen Fourier-Transformationsschritt eines Durchführens einer Fourier-Transformation bezüglich der digitalen Abbildung, um das entsprechende Leistungsspektrum von jeder Komponente von Ortsfrequenzen in der digitalen Abbildung zu erzielen, einen Filterschritt eines Filterns von vorbestimmten Komponenten von Ortsfrequenzen auf der Grundlage einer menschlichen Kontrastempfindlichkeitsfunktion, um eine Verteilung von Intensitäten des Leistungsspektrums einer gefilterten digitalen Abbildung zu erzielen, und einen Bestimmungsschritt eines Bestimmens bezüglich dessen, ob eine schlechte Sichtbarkeit realisiert ist oder nicht oder ob Nebel vorhanden ist oder nicht, in Übereinstimmung mit der Verteilung der Intensitäten des Leistungsspektrums. In diesem Verfahren ist es auch dann, wenn ein Sichtwinkel oder eine Auflösung eines Abbildungs-Erfassungsblocks, wie zum Beispiel einer Kamera oder eines ladungsgekoppelten Blocks (CCD), geändert werden können, möglich, genau zu bestimmen, ob Nebel vorhanden ist oder nicht. Deshalb gibt es einen Vorteil in dem Verfahren, in welchem ein Ortsfrequenz-Analyseverfahren verwendet wird, gegenüber dem Verfahren zum Bestimmen, ob Nebel vorhanden ist oder nicht, auf der Grundlage des Abbildungsunschärfegrads, der aus der Rate einer Änderung von Randintensitäten von jedem Bildelement der gesamten Abbildung berechnet wird.
Jedoch müssen, wenn es beabsichtigt ist, entweder unter Verwendung der Vorrichtung von Akutagawa, in welcher ein Abbildungsunschärfegrad berechnet wird, oder unter Verwendung des Verfahrens von Hagiwara, in welchem ein Ortsfrequenz-Analyseverfahren verwendet wird, zu bestimmen, ob Nebel vorhanden ist oder nicht, die Effekte von Hindernissen, die in einem Rahmen des Abbildungs-Erfassungsblocks enthalten sind, weggelassen werden, um Rauschkomponenten aus der zu untersuchenden Abbildung in der Randintensitätsanalyse oder der Ortsfrequenzanalyse durch Maskieren der Hindernisse in der Abbildung auszuschließen. Die Hindernisse, die Rauschen in der Randintensitätsanalyse oder der Ortsfrequenzanalyse erzeugen, beinhalten eine Lampe, die neben der Straße steht, ein vorausfahrendes Fahrzeug vor dem Fahrzeug, dessen Abbildung nicht wesentlich unscharf ist, und einen Pfosten neben der Straße, wie zum Beispiel einen Strommasten, und dergleichen. Die Bilder von diesen Hindernissen können auch, wenn sie im Nebel sind, deutlich erkannt werden, und sie müssen maskiert werden.
Jedoch wird es, wenn ein maskierter Abschnitt der Abbildung erhöht wird, schwierig, ein genaues Berechnen in der Randintensitätsanalyse oder der Ortsfrequenzanalyse aufgrund eines Fehlens einer ausreichenden Information in der maskierten Abbildung durchzuführen. In einem derartigen Fall kann eine Genauigkeit beim Bestimmen, ob Nebel vorhanden ist oder nicht, nicht sichergestellt werden.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung schafft eine Vorrichtung und ein Verfahren, durch welche ein Fehler bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, verringert wird und eine Genauigkeit des Bestimmens verbessert wird.
Gemäß einer Aspekt der vorliegenden Erfindung wird eine Vorrichtung geschaffen, die das Vorhandensein eines Bestandteils erfasst, der eine Raumsicht beeinträchtigt, welche vor einem Fahrzeug vorhanden ist, wobei sich der Bestandteil aus einer natürlichen Erscheinung in dem Raum ergibt, die eine Einrichtung zum Erfassen der Abbildung des Raums, eine Einrichtung zum Extrahieren einer Referenzabbildung, eine Einrichtung zum Schätzen der Helligkeitswerte, eine Einrichtung zum Erfassen eines Hindernisses, eine Einrichtung zum Maskieren, eine Einrichtung zum Berechnen einer Zuverlässigkeit, eine Einrichtung zum Berechnen einer Gesamthelligkeitsintensität und eine Einrichtung zum Bestimmen beinhaltet. Die Einrichtung zum Erfassen der Abbildung eines Raums wird angewendet, um die Abbildung zu erfassen, die von dem Fahrzeug gesehen wird und aus Gruppen von Bildelementen besteht, die Helligkeitswerte aufweisen. Die Einrichtung zum Extrahieren der Referenzabbildung wird angewendet, um die Referenzabbildung aus der Abbildung zu extrahieren, die von der Einrichtung zum Erfassen der Abbildung erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand entfernt von dem Fahrzeug befindet. Die Einrichtung zum Schätzen der Helligkeitswerte wird angewendet, um die Helligkeitswerte der Gruppen der Bildelemente in der Referenzabbildung zu schätzen. Die Einrichtung zum Schätzen des Hindernisses wird angewendet, um das Hindernis von der Referenzabbildung zu erfassen, um eine Kontur des Hindernisses in der Referenzabbildung zu erzielen. Die Einrichtung zum Maskieren wird angewendet, um einen Bereich, der das Bild des Hindernisses in der Referenzabbildung beinhaltet, in Übereinstimmung mit der Kontur des Hindernisses zu maskieren, das von dem Hindernis-Erfassungsblock erfasst wird, um eine maskierte Referenzabbildung zu erzeugen. Die Einrichtung zum Berechnen der Zuverlässigkeit wird angewendet, um die Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage des Bereichs zu berechnen, welcher beim Erzeugen der maskierten Referenzabbildungen maskiert wird. Die Einrichtung zum Berechnen der Gesamthelligkeitsintensität wird angewendet, um die Gesamthelligkeitsintensität als eine Funktion der Helligkeitswerte der Gruppen der Bildelemente in der maskierten Referenzabbildung zu berechnen, um die Gesamthelligkeitsintensität zu erzielen. Die Einrichtung zum Bestimmen wird angewendet, um das Vorhandensein des Bestandteils in Übereinstimmung mit der Gesamthelligkeitsintensität, die von dem Gesamthelligkeits-Berechnungsblock berechnet wird, und die Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils zu bestimmen, die von dem Zuverlässigkeits-Berechnungsblock berechnet wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung geschaffen, die das Vorhandensein eines Bestandteils, der eine Raumsicht beeinträchtigt, welche vor einem Fahrzeug vorhanden ist, erfasst, wobei der Bestandteil sich aus einer natürlichen Erscheinung in dem Raum ergibt, die einen Abbildungs-Erfassungsblock, einen Referenzabbildungs-Extraktionsblock, einen Helligkeits-Schätzblock, einen Block zum Erfassen eines Hindernisses einer hohen Helligkeit, einen Maskierungsblock, einen Gesamthelligkeits-Berechnungsblock und einen Bestimmungsblock beinhaltet. Der Abbildungs-Erfassungsblock erfasst eine Abbildung des Raums vor dem Fahrzeug, wobei die Abbildung durch Werte einer Helligkeit von Gruppen von Bildelementen ausgedrückt ist. Der Referenzabbildungs-Extraktionsblock extrahiert eine Referenzabbildung aus der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand vor dem Fahrzeug befindet. Der Helligkeits-Schätzblock schätzt die Werte einer Helligkeit der Gruppen der Bildelemente in der Referenzabbildung. Der Block zum Erfassen eines Hindernisses einer hohen Helligkeit erfasst ein Hindernis einer hohen Helligkeit, welches sich vor dem Fahrzeug befindet und dessen Bild in der Referenzabbildung beinhaltet ist, um einen Bereich zu bestimmen, der das Bild des Hindernisses einer hohen Helligkeit in der Referenzabbildung beinhaltet, wobei das Hindernis einer hohen Helligkeit als ein Hindernis definiert ist, das eine höhere Helligkeit als ein vorbestimmter Wert aufweist. Der Maskierungsblock maskiert den Bereich, der das Bild des Hindernisses einer hohen Helligkeit beinhaltet, das von dem Block zum Erfassen eines Hindernisses einer hohen Helligkeit in der Referenzabbildung bestimmt wird, um eine maskierte Referenzabbildung zu erzeugen, um einen Effekt eines Vorhandenseins des Hindernisses beim Bestimmen des Vorhandenseins des Elements auf der Grundlage der Abbildung zu vernachlässigen, die von dem Abbildungs-Erfassungsblock erfasst wird. Der Gesamthelligkeits-Berechnungsblock berechnet eine Gesamthelligkeitsintensität als eine Funktion der Werte der Helligkeit der Gruppen der Bildelemente in der maskierten Referenzabbildung als eine Gesamthelligkeitsintensität. Der Bestimmungsblock bestimmt das Vorhandensein des Elements in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit der Gesamthelligkeitsintensität, die von dem Gesamthelligkeits-Berechnungsblock berechnet wird, unter Verwendung einer Tatsache, dass das Element in der Atmosphäre ein Licht von der Sonne streut, das einen kleineren Wert einer Helligkeit als den ergibt, der in dem Fall erzielt wird, in dem das Element nicht in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bestimmen des Vorhandenseins eines Elements geschaffen, das die Sichtbarkeit einer vorderen Sicht eines Fahrers in einem Fahrzeug in einer Umgebungsatmosphäre vor dem Fahrzeug, das mit der Vorrichtung ausgestattet ist, während der Tageszeit stört, das Schritte eines Erfassens einer Abbildung eines Raums vor dem Fahrzeug, wobei die Abbildung durch Werte einer Helligkeit von Gruppen von Bildelementen ausgedrückt ist, eines Extrahierens einer Referenzabbildung aus der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand vor dem Fahrzeug befindet; eines Schätzens der Werte einer Helligkeit der Gruppen der Bildelemente in der Referenzabbildung, eines Erfassens eines Hindernisses einer hohen Helligkeit, welches sich vor dem Fahrzeug befindet und dessen Bild in der Referenzabbildung beinhaltet ist, um eine Fläche zu bestimmen, die das Bild eines Objekts einer hohen Helligkeit beinhaltet, in der Referenzabbildung, wobei das Objekt einer hohen Helligkeit als ein Hindernis definiert ist, das eine höhere Helligkeit als ein vorbestimmter Wert aufweist, eines Maskierens des Bereichs, der das Bild des Hindernisses einer hohen Helligkeit beinhaltet, das durch den Block zum Erfassen eines Hindernisses einer hohen Helligkeit in der Referenzabbildung bestimmt wird, um eine maskierte Referenzabbildung zu erzeugen, um einen Effekt eines Vorhandenseins des Hindernisses beim Bestimmen des Vorhandenseins des Elements auf der Grundlage der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, zu vernachlässigen, eines Berechnens einer Gesamthelligkeitsintensität als eine Funktion der Werte der Helligkeit der Gruppen der Bildelemente in der maskierten Referenzabbildung als eine Gesamthelligkeitsintensität und eines Bestimmens des Vorhandenseins des Elements in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit der Gesamthelligkeitsintensität, die von dem Block zum Berechnen einer Gesamthelligkeit unter Verwendung einer Tatsache berechnet wird, dass das Element in der Umgebung ein Licht von der Sonne streut, was einen kleineren Wert einer Helligkeit als den ergibt, der in dem Fall erzielt wird, in dem das Element in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist, beinhaltet.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Programm zur Verwendung mit einem Computersystem geschaffen, wobei das Programm konkret in einem computerlesbaren Medium realisiert ist und zum Erfassen des Vorhandenseins eines Bestandteils vorgesehen ist, der eine Raumsicht beeinträchtigt, welche vor einem Fahrzeug vorhanden ist, wobei sich der Bestandteil aus einer natürlichen Erscheinung in dem Raum ergibt, wobei das Programm zulässt, dass der Computer funktional das zuvor erwähnte Verfahren realisiert.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 ist eine schematische Darstellung eines Fahrzeugs, das mit einer Vorrichtung gemäß der vorliegenden Erfindung ausgestattet ist;
2 ist ein Blockschaltbild, das eine Struktur einer in ein Fahrzeug eingebauten Vorrichtung zeigt, die das Vorhandensein von Nebel bestimmt, gemäß der vorliegenden Erfindung;
3 ist ein Blockschaltbild, das eine Struktur einer Abbildungs-Verarbeitungseinheit zeigt, die einen Ortsfrequenz-Analyseblock beinhaltet, gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung;
4 ist ein Flussdiagramm, das ein Wesentliches einer Steuerfunktion zeigt, die von der Vorrichtung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung auszuführen ist;
5 ist ein Flussdiagramm, das ein Detail eines Referenzabbildungs-Extraktionsvorgangs eines Extraktionsvorgangs zeigt, in welchem ein Abschnitt des Bilds, das bei dem Bestimmen zu verwenden ist, ob Nebel vorhanden ist oder nicht, in Schritt S100 in 4 extrahiert wird;
6 ist eine schematische Erläuterung zum Bestimmen eines Raums, der sich in einem vorbestimmten Abstand vor dem Fahrzeug befindet, unter Verwendung der in ein Fahrzeug eingebauten Kamera, die in die Vorrichtung gemäß der vorliegenden Erfindung eingebaut ist;
7 ist eine beispielhafte Vorderansicht oder eine beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera gemäß der vorliegenden Erfindung in Schritt S120 in 5 erfasst wird, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form eine Straße, über welche das Fahrzeug fährt, in einem Sichtbarkeitsbereich eines Fahrers in dem Fahrzeug gerade ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist;
8 ist eine weitere beispielhafte Vorderansicht oder eine weitere Referenzabbildung, die von dem Abbildungs-Erfassungsblock der Vorrichtung gemäß der vorliegenden Erfindung in Schritt S120 in 5 erfasst wird, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form eine Straße, über welche das Fahrzeug fährt, in einem Sichtbarkeitsbereich eines Fahrers in dem Fahrzeug kurvig ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist;
9 ist eine beispielhafte Abbildung, die ein Ergebnis eines Bestimmens eines Außenrahmens in Schritt S130 in 5 zeigt, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form der Straße, die in Schritt S110 in 5 erfasst wird, gerade ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist;
10 ist eine weitere beispielhafte Abbildung, die ein Ergebnis eines Bestimmens eines Außenrahmens in Schritt S130 in 5 zeigt, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form der Straße, die in Schritt S110 in 5 erfasst wird, kurvig ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist;
11 ist ein Flussdiagramm, das ein Detail eines Maskierungsvorgangs zeigt, in welchem ein Bild in der Abbildung, das eine Möglichkeit aufweist, Rauschen in einer Abbildungsverarbeitung zum Bestimmen des Vorhandenseins von Nebel zu verursachen, in diesem Maskierungsvorgang beseitigt wird, wobei das Bild das eines vorausfahrenden Fahrzeugs beinhaltet;
12 ist eine beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird, in welcher ein Bild eines vorausfahrenden Fahrzeugs in dem Außenrahmen beinhaltet ist, wie es in Schritt S210 in 11 erfasst wird;
13 ist eine weitere beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird, in welcher ein Bild eines vorausfahrenden Fahrzeugs in dem Außenrahmen beinhaltet ist, wie es in Schritt S210 in 11 erfasst wird;
14 ist eine beispielhafte Abbildung., die von der in ein Fahrzeug eingebauten Kamera erfasst wird, in welcher ein Bild eines Heckteils, das eine höhere Helligkeit in der Abbildung aufweist, in dem Außenrahmen beinhaltet ist;
15 ist eine weitere beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird, in welcher ein Bild eines Heckteils, das eine höhere Helligkeit in der Abbildung aufweist, in dem Außenrahmen beinhaltet ist;
16 ist ein Flussdiagramm, das ein Detail eines Berechnens einer Zuverlässigkeit des Bestimmens des Vorhandenseins von Nebel in Schritt S300 in 2 zeigt;
17 ist eine beispielhafte Abbildung, die durch den Maskierungsvorgang erzielt wird, in welchem das Bild des vorausfahrenden Fahrzeugs in Schritt S200 in 4 maskiert wird, in welchem es zwei Abschnitte der maskierten Abbildung gibt, die null bzw. zwei diskontinuierliche Bereiche aufweisen;
18 ist eine weitere beispielhafte Abbildung, die durch den Maskierungsvorgang erzielt wird, in welchem nicht nur das Bild des vorausfahrenden Fahrzeugs, sondern ebenso das Bild des Heckteils des vorausfahrenden Fahrzeugs in Schritt S200 in 4 maskiert werden, in welchem es zwei Abschnitte der maskierten Abbildung gibt, die null bzw. zwei diskontinuierliche Bereiche aufweisen;
19 ist ein Graph, der eine Beziehung zwischen einem Gesamtdiskontinuitätsgrad und einer Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel zeigt, wobei die Beziehung in Schritt S330 in 16 verwendet wird;
20 ist ein Graph, der eine Beziehung zwischen einem Maskierungsgradindex der Abbildung und der Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel zeigt, wobei die Beziehung in Schritt S350 in 16 verwendet wird;
21 ist ein Flussdiagramm, das ein detailliertes Verfahren zum Durchführen einer Ortsfrequenzanalyse bezüglich der maskierten Referenzabbildung zeigt, die in Schritt S200 in 4 erzielt wird;
22 ist eine schematische Erläuterung der Ortsfrequenzanalyse, die Schritte eines Auswählens von Durchgangslinien in der maskierten Referenzabbildung und eines Anwendens einer Fourier-Transformationsanalyse an sequenziellen Daten einer Helligkeit von Bildelementen in jeder einzelnen Durchlauflinie in der maskierten Referenzabbildung beinhaltet;
23 ist eine Seitenansicht der in ein Fahrzeug eingebauten Kamera, die eine Berechnung des Sichtwinkels darstellt, der einem Bildelement der in ein Fahrzeug eingebauten Kamera entspricht;
24 ist ein Flussdiagramm eines detaillierten Verfahrens zum Durchführen eines bestimmten Vorgangs bezüglich dessen, ob Nebel in dem Raum vorhanden ist oder nicht, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, auf der Grundlage eines Ergebnisses der Ortsfrequenzanalyse bezüglich der maskierten Referenzabbildung, die in Schritt S400 in 4 erzielt wird;
25 ist ein Blockschaltbild, das eine Struktur einer in ein Fahrzeug eingebauten Vorrichtung, die das Vorhandensein von Nebel bestimmt, die einen Ortsfrequenz-Analyseblock beinhaltet, gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
26 ist ein Flussdiagramm eines Wesentlichen einer Steuerfunktion, die von der Vorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung auszuführen ist;
27 ist eine schematische Erläuterung der Randintensitätsanalyse, die einen Schritt eines Anwendens eines Randoperators an jedem einzelnen Bildelement beinhaltet, das die maskierte Referenzabbildung bildet, die in Schritt S200 in 4 erzielt wird;
28 ist ein Flussdiagramm, das ein detailliertes Verfahren zum Durchführen eines bestimmten Vorgangs bezüglich dessen zeigt, ob Nebel in den Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, vorhanden ist oder nicht, auf der Grundlage eines Ergebnisses der Randintensitätsanalyse bezüglich der maskierten Referenzabbildung, die in Schritt S400 in 4 erzielt wird;
29 ist ein Flussdiagramm, das ein Detail eines Maskierungsvorgangs gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt, in welchem ein Bild in der Abbildung, das eine Möglichkeit aufweist, Rauschen in der Bildverarbeitung zum Bestimmen des Vorhandenseins von Nebel zu verursachen, in diesem Maskierungsvorgang beseitigt wird, wobei das Bild nicht nur das eines vorausfahrenden Fahrzeugs, sondern ebenso ein Hindernis beinhaltet, das eine höhere Helligkeit als die des Himmels aufweist;
30 ist ein Flussdiagramm, das ein Wesentliches einer Steuerfunktion zeigt, die von der Vorrichtung gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung auszuführen ist;
31 ist ein Blockschaltbild, das eine Struktur einer in ein Fahrzeug eingebauten Vorrichtung, die das Vorhandensein von Nebel bestimmt, die einen Ortsfrequenz-Analyseblock beinhaltet, gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung zeigt; und
32 ist ein Blockschaltbild, das eine Struktur einer in ein Fahrzeug eingebauten Vorrichtung, die das Vorhandensein von Nebel bestimmt, die einen Ortsfrequenzanalyseblock beinhaltet, gemäß einer Ausgestaltung des fünften Ausführungsbeispiels der vorliegenden Erfindung zeigt.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die beiliegende Zeichnung erläutert. Identische Teile sind durchgängig durch die Zeichnung mit den gleichen Bezugszeichen bezeichnet.
(Erstes Ausführungsbeispiel)
Unter Bezugnahme auf die 1 bis 24 wird eine Vorrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung, welche das Vorhandensein eines Elements bestimmt, das die Sichtbarkeit einer vorderen Sicht eines Fahrers in einem Fahrzeug in einer Umgebungsatmosphäre vor dem Fahrzeug, das mit der Vorrichtung ausgestattet ist, während der Tageszeit stört, nachstehend im Detail beschrieben.
1 ist eine schematische Darstellung eines Fahrzeugs, das mit der Vorrichtung 10 gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung ausgestattet ist.
Die Vorrichtung 10 ist in das Fahrzeug eingebaut. Das Vorhandensein eines Elements, wie zum Beispiel von Nebel, führt zu einer schlechten Sichtbarkeit einer Straßenszene eines Fahrers des Fahrzeugs. Nebel ist eine Anhäufung von Wassertröpfchen oder Eiskristallfeinanteilen, die von mit Wasser gesättigten Feinanteilpartikeln begleitet werden, die wirken, um eine Sichtbarkeit zu verringern.
Daher ist eine Zusammensetzung von Nebel identisch zu der einer Wolke. Bei dem Vorhandensein von Nebel muss sichtbares Licht, das eine Wellenlänge aufweist, die zwischen 400 und 700 nm beträgt, in einem Schwebstoff übertragen werden, der eine große Anzahl von Wassertröpfchen enthält. Während seines Bewegungsablaufs wird das sichtbare Licht durch Absorptions- und Diffusionserscheinungen abgeschwächt. In der Realität ist jedoch die Absorptionserscheinung in dem Typ eines Schwebstoffs vernachlässigbar, durch welchen Nebel zusammengesetzt ist. Deshalb erweist sich die vorherrschende Erscheinung als Diffusion, welche wirkt, um Lichtstrahlen von ihrer Ursprungsrichtung abweichen zu lassen. Diese ist der Ursprung einer Nebelbeleuchtung oder einer trüben Helligkeit, einer Erscheinung, die höchst charakteristisch für einen Nebel bei Tageszeit ist.
Die Vorrichtung 10 beinhaltet eine in ein Fahrzeug eingebaute Kamera 12, eine Abbildungsverarbeitungs-ECU 14, einen Gierratensensor 16, einen Lenksensor 18, ein Millimeterwellenradar 20, einen Fahrzeuggeschwindigkeitssensor 22, einen Helligkeitssensor 23, welche durch ein in ein Fahrzeug eingebautes LAN 24 miteinander verbunden sind. Mit dem in ein Fahrzeug eingebauten LAN 24 sind eine Fahrunterstützungs-ECU 26 und eine Lichtsteuer-ECU 28 verbunden.
2 ist ein Blockschaltbild, das eine Struktur der Vorrichtung 10 zeigt, in welcher Verbindungen zwischen der in ein Fahrzeug eingebauten Kamera, der Abbildungsverarbeitungs-ECU 14, dem Gierratensensor 16, dem Lenksensor 18, dem Millimeterwellenradar 20, dem Fahrzeuggeschwindigkeitssensor 22, dem Helligkeitssensor 23 und dem in ein Fahrzeug eingebauten LAN 24 hervorgehoben sind.
Die in ein Fahrzeug eingebaute Kamera 12 besteht auf einer CCD-Kamera, welche auf ein Inneres, wie zum Beispiel den Himmel an einem Bereich, der sich in der Fahrersitzes befindet, montiert ist. Die in ein Fahrzeug eingebaute Kamera 12 nimmt eine Abbildung eines Fahrzeugsvorderen auf, um zuzulassen, dass aufgenommene Abbildungsdaten zu der Abbildungsverarbeitungs-ECU 14 geliefert und in dieser verarbeitet werden.
Die Abbildungsverarbeitungs-ECU 14 besteht aus einem Computer, der intern darin eine CPU, einen ROM und einen RAM usw. beinhaltet. Der RAM speichert vorübergehend darin Daten der Abbildungen, die kontinuierlich von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, für eine bestimmte Zeitdauer. Dann führt die CPU eine Grundfolge von Vorgängen aus, die in 2 gezeigt sind, um Abbildungsdaten zu verarbeiten, die in mindestens einem des ROM und des RAM gespeichert sind. Die Vorgänge der CPU werden später beschrieben.
Der Gierratensensor 16 erfasst sequenziell die Gierrate des Fahrzeugs und ein Lenksensor 18 erfasst sequenziell die Lenkwinkel eines Lenkrads. Weiterhin gibt das Millimeterwellenradar 20 Millimeterwellen zu dem Fahrzeugvorderen aus und empfängt reflektierte Wellen, die von einem Objekt kommen. Die Fahrunterstützungs-ECU 26 wirkt als eine Einrichtung zum Erfassen eines Fahrzeugvorderen. Die Fahrunterstützungs-ECU 26 bestimmt kontinuierlich ein Vorhandensein oder Nichtvorhandensein eines vorderen Fahrzeugs (ein Fahrzeug, das vor dem eigenen Fahrzeug auf der gleichen Fahrspur fährt) auf der Grundlage der reflektierten Wellen, die mit dem Millimeterwellenradar 20 empfangen werden. Wenn das vordere Fahrzeug erfasst wird, wird dann ein Abstand zwischen dem vorderen Fahrzeug und dem eigenen Fahrzeug, ein relativer Azimut und eine relative Geschwindigkeit berechnet. Weiterhin wird ein Fahrunterstützungssteuern, wie zum Beispiel ein Fahrzeuggeschwindigkeitssteuern, auf der Grundlage einer berechneten Information ausgeführt.
Die Lichtsteuer-ECU 28 führt ein Steuern zum automatischen Einschalten oder Ausschalten von Nebelscheinwerfern und Scheinwerfern (nicht gezeigt) auf der Grundlage eines ausgegebenen Helligkeitswerts eines Helligkeitssensors von dem Helligkeitssensor 21 aus. Weiterhin wird mit der Abbildungsverarbeitungseinheits-ECU 14, die den Vorgang ausführt, um zu bestimmen, ob Nebel vorhanden ist oder nicht, der Vorgang ausgeführt, um das Einschalten und Ausschalten von Nebelscheinwerfern und Scheinwerfern zu steuern.
3 ist ein weiteres Blockschaltbild, das eine Struktur der Abbildungsverarbeitungseinheits-ECU 14 gemäß diesem Ausführungsbeispiel zeigt. Wie es in 3 gezeigt ist, werden Ausgaben der in ein Fahrzeug eingebauten Kamera 12, des Gierratensensors 16, des Lenksensors 18, des Millimeterwellenradars 20 und des Fahrzeuggeschwindigkeitssensors 22 von der Abbildungsverarbeitungseinheits-ECU 14 empfangen.
Die Abbildungsverarbeitungseinheits-ECU 14 beinhaltet einen Referenzabbildungs-Extraktionsblock 14a, einen Maskierungsblock 14b, einen Zuverlässigkeits-Berechnungsblock 14c, einen Ortsfrequenz-Analyseblock 14d und einen Bestimmungsblock 14e.
Der Referenzabbildungs-Extraktionsblock beinhaltet weiterhin einen Hindernis-Erfassungsblock 14aα, der mit dem Lenksensor 18, dem Millimeterwellenradar 20 und dem Fahrzeuggeschwindigkeitssensor 22 verbunden ist.
Der Referenzabbildungs-Extraktionsblock 14a extrahiert eine Referenzabbildung aus der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Die Referenzabbildung beinhaltet einen Abschnitt der Abbildung des Raums, der sich in einem vorbestimmten Abstand vor dem Fahrzeug befindet.
Der Hindernis-Erfassungsblock 14aα des Referenzabbildungs-Extraktionsblocks 14a erfasst ein Hindernis, welches sich vor dem Fahrzeug befindet und dessen Bild in der Referenzabbildung beinhaltet ist, um eine Kontur des Hindernisses in der Referenzabbildung zu erzielen.
Der Maskierungsblock 14b maskiert einen Bereich, der das Bild des Hindernisses beinhaltet, in der Referenzabbildung in Übereinstimmung mit der Kontur des Hindernisses, das von dem Hindernis-Erfassungsblock erfasst wird, um eine maskierte Referenzabbildung auf der Grundlage der Abbildung zu erzeugen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird.
Der Zuverlässigkeits-Berechnungsblock 14c berechnet eine Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements auf der Grundlage des Bereichs, welcher beim Erzeugen der maskierten Referenzabbildung maskiert wird.
Genauer gesagt berechnet der Zuverlässigkeits-Berechnungsblock 14c eine erste Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements auf der Grundlage einer Form der Kontur des Hindernisses in der Referenzabbildung, welche sich auf jede einzelne Anzahl von nicht maskierten kontinuierlichen Teilen der entsprechenden Gruppe der Bildelemente bezieht, wobei die Gruppe der Bildelemente die maskierte Referenzabbildung bildet.
Weiterhin berechnet der Zuverlässigkeits-Berechnungsblock 14c eine zweite Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements auf der Grundlage eines Bereichs, der von der Kontur des Hindernisses umgeben ist, welche sich auf einen Bruch einer Fläche von nicht maskierten Bereichen zu einer Fläche eines maskierten Bereichs in der Referenzabbildung bezieht.
Die Zuverlässigkeit, welche letztlich aus dem Zuverlässigkeits-Berechnungsblock 14c ausgegeben wird, wird auf der Grundlage der ersten und der zweiten Zuverlässigkeit bestimmt.
Der Ortsfrequenz-Analyseblock 14d transformiert Helligkeitsdaten, die sequenzielle Werte einer Helligkeit der Bildelemente in jeder einzelnen Gruppe beinhalten, als eine Summe von Basisfunktionen mit jeweiligen Koeffizienten und berechnet ein Gesamtortsleistungsspektrum der Abbildung auf der Grundlage der Koeffizienten, die bei der Transformation der Helligkeitsdaten berechnet werden.
Der Bestimmungsblock 14e bestimmt das Vorhandensein des Elements in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl dem Gesamtortsleistungsspektrum, das von dem Ortsfrequenz-Analyseblock 14d berechnet wird, als auch der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements, die von dem Zuverlässigkeits-Berechnungsblock 14c berechnet wird.
4 ist ein Flussdiagramm, das das Wesentliche einer Steuerfunktion zeigt, die von der Abbildungsverarbeitungs-ECU 14 auszuführen ist. Das Steuern, das in 4 gezeigt ist, wird während des Fahrens eines Fahrzeugs auf einem gegebenen Zyklus ausgeführt, und während des Ausführens des Steuern nimmt die in ein Fahrzeug eingebaute Kamera 12 kontinuierlich eine Abbildung des Fahrzeugs vor dem eigenen Fahrzeug auf.
Wie es in 4 gezeigt ist, führt die Abbildungsverarbeitungs-ECU 14 einen Extraktionsvorgang durch, in welchem ein zu verwendender Abschnitt der gesamten Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird, in Schritt S100 extrahiert wird. Der Abschnitt der gesamten Abbildung, der bei dem Bestimmen zu verwenden ist, wird als eine Referenzabbildung bezeichnet. Dieser Extraktionsvorgang wird durch eine Einrichtung zum Extrahieren des Abschnitts des Bilds, das bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, zu verwenden ist, aus der Abbildung durchgeführt, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Als Nächstes wird in Schritt S200 ein Maskierungsvorgang durch eine Einrichtung zum Maskieren durchgeführt, um Teile in der Referenzabbildung zurückzuweisen, die Rauschen während einer Abbildungsverarbeitung zum Bestimmen des Vorhandenseins von Nebel verursachen könnten.
Dann wird in Schritt S300 die Zuverlässigkeit des Bestimmens des Vorhandenseins von Nebel auf der Grundlage der maskierten Referenzabbildung berechnet, die in Schritt S200 erzielt wird. In einem nachfolgenden Schritt S400 wird eine Ortsfrequenzanalyse auf der maskierten Referenzabbildung ausgeführt, die in Schritt S200 erzielt wird. In Schritt S500, der der nächste Schritt nach dem Schritt S400 ist, wird ein Bestimmen bezüglich dessen, ob Nebel in der Umgebung des eigenen Fahrzeugs vorhanden ist oder nicht, auf der Grundlage des Ergebnisses der Ortsfrequenzanalyse durchgeführt, die in Schritt S400 ausgeführt wird. Die Schritte S100, S200, S300, S400 und S500 werden im Detail unter Bezugnahme auf die 5, 11, 16 bzw. 22 beschrieben.
Unter Bezugnahme auf die 5 bis 10 wird der Referenzabbildungs-Extraktionsvorgang im Detail erläutert.
Der Straßenform-Bestimmungsvorgang in Schritt S100 ist in 5 im Detail gezeigt. Zuerst wird in Schritt S110 in 5 ein Vorgang zum Erkennen einer weißen Linie zum Erkennen einer weißen Linie, die ein Verkehrszeichen anzeigt, das entlang einer Fahrspur vorgesehen ist, auf der Grundlage einer Reihe von Abbildungen ausgeführt, die kontinuierlich von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden. Der Vorgang zum Erkennen einer weißen Linie kann in verschiedenen bekannten Verarbeitungsverfahren realisiert sein. Zum Beispiel wird die Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, einer binären Abbildungsverarbeitung unterzogen, um einen Abschnitt einer weißen Linie aus der Abbildung zu extrahieren, die sich aus der binären Abbildungsverarbeitung ergibt, um dadurch die weiße Linie zu erkennen. Wie es hierin verwendet wird, bezieht sich der Ausdruck "weiße Linie" nicht nur auf die weiße Linie, sondern ebenso auf eine gelbe Linie, wie sie ähnlich in einem normalen Vorgang zum Erkennen einer weißen Linie erkannt wird.
Wenn der Vorgang zum Erkennen einer weißen Linie erfolgreich ist, wird die Straßenform bestimmt. Wie es hierin verwendet wird, bezieht sich der Ausdruck "Straßenform" auf eine einzelne Linie, die ein Kurvenmuster auf der Straße darstellt, die sich von dem eigenen Fahrzeug zu einem vorderen Bereich ausdehnt. Die gestrichelte Linie stellt eine breitenweise Mittellinie einer Fahrspur dar, auf welcher das eigene Fahrzeug fährt. Jedoch kann die Straßenform anstelle der gestrichelten Linie irgendeine der weißen Linien beinhalten, die auf beiden Seiten der Fahrspur angeordnet sind, auf welcher das eigene Fahrzeug fährt. In einer Alternative kann die Straßenform bei der Straße, die mehrere Fahrspuren aufweist, die breitenweise Mittellinie der gesamten Straße beinhalten.
Die Fahrunterstützungs-ECU 26 berechnet den Abstand von dem vorderen Fahrzeug und einen relevanten relativen Azimut. Daher wird entweder, wenn der Vorgang zum Erkennen einer weißen Linie nicht erfolgreich ist oder wenn ein unterschiedlicher Vorgang zu dem Vorgang zum Erkennen einer weißen Linie anwendbar ist, der Abstand von dem vorderen Fahrzeug und der relevante relative Azimut nützlich sein, um die Straßenform zu bestimmen.
In diesem Fall wird der Ort des relevanten vorderen Fahrzeugs in der Abbildung auf der Grundlage des Abstands von dem berechneten vorderen Fahrzeug und dem relativen Azimut bestimmt. Als Nächstes wird der Vorgang ausgeführt, um den Lenkwinkel des Lenkrads als Reaktion auf ein Signal aus dem Lenksensor 18 zu bestimmen. Dann wird die Straßenform durch Verbinden eines gegebenen Punkts (zum Beispiel eines breitenweisen Fahrzeugmittelpunkts einer Motorhaube an einer Grenzlinie davon auf der Abbildung) in der Abbildung des eigenen Fahrzeugs, welcher vorübergehend als ein Endpunkt einer Linie zum Darstellen der Straßenform bestimmt wird, und des Orts des vorderen Fahrzeugs in der Abbildung miteinander unter Verwendung eines kreisförmigen Bogens mit einem Krümmungsradius bestimmt, der den Lenkwinkel anzeigt.
Weiterhin ist es möglich, die Straßenform auf der Grundlage lediglich des Signals aus dem Lenksensor 18 zu bestimmen. In diesem Fall wird zuerst der Lenkwinkel auf der Grundlage des Signals aus dem Lenksensor 18 bestimmt. in einem nachfolgenden Schritt wird ein kreisförmiger Bogen auf der Linie, die die Straßenform anzeigt, derart bestimmt, dass eine Tangentiallinie parallel zu der vorderen und hinteren Richtung des Fahrzeugs an dem gegebenen Punkt in der Abbildung auf dem gegebenen Punkt ist, der vorübergehend als der Endpunkt der Linie bestimmt wird, die die Straßenform für das eigene Fahrzeug darstellt. Ebenso kann die Gierrate als Reaktion auf ein Signal aus dem Gierratensensor 16 anstelle eines Erfassens des Lenkwinkels erfasst werden.
Als Nächstes wird in Schritt S110 ein Schnittpunkt zwischen der Linie von 100 m und einer Linie, die die Straßenform anzeigt, die in Schritt S120 bestimmt wird, als ein Punkt eines fernen Abstands (das heißt ein Punkt 100 m voraus) auf der Straße bestimmt, auf welcher das eigene Fahrzeug fährt.
Mit der Straßenform, die auf eine derartige Weise in Schritt S110 bestimmt worden ist, wird der Fernbereich-Bestimmungsvorgang (in Schritt S120 in 5) ausgeführt, um einen Fernabstandspunkt auf der Abbildung in einem gegebenen Fernabstand von dem eigenen Fahrzeug auf der Straße zu bestimmen, auf welcher das eigene Fahrzeug fährt. Wie es hierin verwendet wird, bezieht sich der Ausdruck "gegebener Fernabstand" auf einen Abstand 100 m entfernt. Jedoch ist die vorliegende Erfindung nicht auf einen derartigen Abstand von 100 m beschränkt und es kann ausreichend sein, einen Fernabstand mit einem unterschiedlichen Ausmaß zu beinhalten, unter welchem eine Abbildung trüb wird, wenn Nebel einigermaßen dicht ist.
Das Berechnungsverfahren zum Erzielen des Fernabstandspunkts basiert auf einer simplen geometrischen Berechnung, wie sie in 6 gezeigt ist. Die in ein Fahrzeug eingebaute Kamera 12 befindet sich an einem Punkt einer vorbestimmten Höhe, wobei die vorbestimmte Höhe durch eine Abmessung des Fahrzeugs und einen Neigungswinkel α der in ein Fahrzeug eingebauten Kamera 12 von dem Horizont bestimmt wird, wie es in 6 gezeigt ist.
Mit der in ein Fahrzeug eingebauten Kamera 12, die fest an dem Fahrzeug befestigt ist, ist es möglich, vorübergehend einen realen Abstand zu einem Oberflächenpunkt auf einer flachen Bodenoberfläche, auf welcher sich die Abbildung des Oberflächenpunkts befindet, zu bestimmen. Demgemäß wird es möglich, vorübergehend eine Linie von 100 m zu bestimmen, auf welcher sich der Oberflächenpunkt von 100 m vor dem eigenen Fahrzeug auf der flachen Bodenoberfläche auf der Abbildung befindet. Mit dem vorliegenden Ausführungsbeispiel stellt die Linie Lf von 100 m eine Fernabstandslinie dar und ist in mindestens einem des ROM und des RAM in der Abbildungsverarbeitungs-ECU 14 oder einem anderen Speicherblock gespeichert.
7 ist eine beispielhafte Vorderansicht oder eine beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, in welcher die Linie Lf von 100 m bestimmt worden ist, wie es durch eine Linie LF gezeigt ist.
8 ist eine weitere beispielhafte Vorderansicht oder eine weitere beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form einer Straße, über welche das Fahrzeug fährt, in einem Sichtbarkeitsbereich eines Fahrers in dem Fahrzeug kurvig ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist.
In einem nachfolgenden Schritt S130 wird ein Außenrahmen OF in dem Fernstraßenbereich durch Bezugnahme auf den Fernabstandspunkt bestimmt, der in Schritt S210 bestimmt wird. Die Außenrahmen OF in den Fernstraßenbereichen, die in den 9 und 10 gezeigt sind, werden derart festgelegt, dass der Fernabstandspunkt, der in Schritt S210 bestimmt wird, an der Mitte auf einer unteren Seite von jedem Außenrahmen OF angeordnet ist. Weiterhin weist der Außenrahmen OF eine Abmessung auf, die bezüglich der Abmessung einer gesamten Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, auf eine ausreichend kleine Abmessung festgelegt wird.
9 ist eine beispielhafte Abbildung, die ein Ergebnis eines Bestimmens eines Außenrahmens OF in Schritt S130 in 5 zeigt, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form der Straße, die in Schritt S110 in 5 erfasst wird, gerade ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist.
10 ist eine weitere beispielhafte Abbildung, die ein Ergebnis eines Bestimmens eines Außenrahmens OF in Schritt S130 in 5 zeigt, in welcher der Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, in dem Fall, in dem die Form der Straße, die in Schritt S110 in 5 erfasst wird, kurvig ist, wie es in Schritt S110 in 5 erfasst wird, bestimmt worden ist, wie es durch eine Linie LF gezeigt ist.
Die vorliegende Erfindung ist nicht auf die in den 9 und 10 gezeigten Beispiele beschränkt und die Positionen der Außenrahmen OF können derart bestimmt werden, dass der Fernabstandspunkt eine Mitte des Fernstraßenbereichs ausbildet. Weiterhin kann ein Ort des Fernabstandspunkts relativ zu dem Außenrahmen OF des Fernstraßenbereichs davon abhängig geändert werden: ob die Straßenform auf der breitenweisen Mittellinie einer Fahrspur basiert; ob die Straßenform auf einer breitenweisen Mittellinie einer gesamten Straße basiert; und welche der weißen Linien der Fahrspur an der Straßenform angewendet wird. Zum Beispiel kann unter einem Umstand, in dem die Straßenform (eine Linie, die diese anzeigt) auf der weißen Linie auf der rechten Seite der Fahrspur basiert, der Ort des Außenrahmens OF derart bestimmt werden, dass der Außenrahmen OF, der den Fernstraßenbereich ausbildet, die untere Seite mit einem Punkt auf 1/4 der Länge davon von der rechten Seite aufweist, um für den Fernabstandspunkt festgelegt zu werden.
In Schritt S140 wird ein Bereich in dem Außenrahmen OF in der Abbildung, der als der Abschnitt der Abbildung bestimmt wird, die bei dem Bestimmen zu verwenden ist, ob Nebel vorhanden ist oder nicht, extrahiert.
Unter Bezugnahme auf die 11 bis 15 wird der Maskierungsvorgang im Detail erläutert.
11 ist ein Flussdiagramm, das ein Detail eines Maskierungsvorgangs in Schritt S200 in 2 zeigt. In dem Maskierungsvorgang wird ein Bild in der Abbildung, das eine Möglichkeit aufweist, Rauschen zu verursachen, in der Abbildungsverarbeitung zum Bestimmen des Vorhandenseins von Nebel in diesem Maskierungsvorgang beseitigt, wobei das Bild das eines vorausfahrenden Fahrzeugs beinhaltet.
Der Maskierungsvorgang wird in Schritt S210 durch Bestimmen gestartet, ob mindestens ein Teil eines vorausfahrenden Fahrzeugs in der Abbildung vorhanden ist oder nicht, die in Schritt S100 erzielt wird. Dieses Verfahren muss aus dem folgenden Grund ausgeführt werden. Das heißt, wenn das vorausfahrende Fahrzeug vor dem Fahrzeug auf der Straße vorhanden ist, über welche das Fahrzeug fährt, ist ein Abstand zu dem vorausfahrenden Fahrzeug von dem Fahrzeug, das mit der in ein Fahrzeug eingebauten Kamera 12 ausgestattet ist, einer des kürzesten Abstands zwischen einem Hindernis auf der Straße und dem Fahrzeug. In vielen Fällen ist der Abstand zwischen dem vorausfahrenden Fahrzeug und dem Fahrzeug, das mit der in ein Fahrzeug eingebauten Kamera 12 ausgestattet ist, kürzer als der gegebene Fernabstand, der in Schritt S110 erwähnt wird. Wenn es vorhanden ist, ist das vorausfahrende Fahrzeug eine der Quellen eines Fehlers während der Ortsfrequenzanalyse zum Bestimmen des Vorhandenseins von Nebel. Daher sollte das Merkmal des vorausfahrenden Fahrzeugs in der Referenzabbildung beseitigt werden, wenn es vorhanden ist.
Daher wird es in Schritt S210 beurteilt, ob die Fahrunterstützungs-ECU 26 das vorausfahrende Fahrzeug erfasst. Wenn das vorausfahrende Fahrzeug vorhanden ist und auf der Straße fährt, bestimmt die Fahrunterstützungs-ECU 26 auf der Grundlage der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, einen Fahrzeugbereich in der Abbildung auf der Grundlage der Position in der Abbildung und des Abstands in dem realen Raum zwischen dem vorausfahrenden Fahrzeug und dem Fahrzeug, der von dem Millimeterwellenradar 20 gemessen wird. Dann werden in dem Bereich, in welchem das Merkmal von mindestens einem Teil des vorausfahrenden Fahrzeugs beinhaltet ist, eine Kontur und ein Bereich CR des Teils des vorausfahrenden Fahrzeugs des Fahrzeugbereichs auf der Grundlage einer Analyse bezüglich einer Helligkeit von Bildelementen bestimmt, die die Abbildung bilden, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Der Bereich CR in der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, wird mit der Referenzabbildung verglichen, die in dem Extraktionsvorgang herausgeschnitten wird, um das Vorhandensein eines Teils oder einer gesamten Überlappung zwischen dem Bereich CR und der Referenzabbildung zu bestimmen, die in Schritt S100 in 2 erzielt wird. In den 3 und 4, welche beispielhafte Abbildungen sind, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, sind die jeweiligen Bereiche CR des Bilds des vorausfahrenden Fahrzeugs, die durch die zuvor beschriebenen Schritte bestimmt werden, gezeigt. In sowohl 3 als auch 4 sind der Bereich CR des Bilds des vorausfahrenden Fahrzeugs und die Referenzabbildung teilweise überlappt.
Wenn das Bestimmen in Schritt S210 "NEIN" ist, wird der Maskierungsvorgang beendet. Im Gegensatz zu diesem Fall, das heißt, wenn das Bestimmen in Schritt S210 "JA" ist, schreitet das Verfahren zu Schritt S220 fort. In Schritt S220 wird ein überlappter Bereich, in welchem der Bereich CR des Bilds des vorausfahrenden Fahrzeugs und die Referenzabbildung in der Referenzabbildung überlappen, beseitigt und wird dann der Maskierungsvorgang beendet.
12 ist eine beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, in welcher das Bild eines vorausfahrenden Fahrzeugs in dem Außenrahmen beinhaltet ist, wie er in Schritt S210 in 11 erfasst wird.
13 ist eine weitere beispielhafte Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, in welcher das Bild eines vorausfahrenden Fahrzeugs in dem Außenrahmen beinhaltet ist, wie er in Schritt S210 in 11 erfasst wird.
Es ist bevorzugt, dass der Hindernis-Erfassungsblock 14aα einen Block zum Erfassen eines Hindernisses einer hohen Helligkeit beinhaltet, der ein Hindernis einer hohen Helligkeit erfasst, welches sich vor dem Fahrzeug befindet und dessen Bild in der Referenzabbildung beinhaltet ist, um einen Bereich zu bestimmen, der das Bild eines Hindernisses einer hohen Helligkeit in der Referenzabbildung beinhaltet. Das Objekt einer hohen Helligkeit ist als ein Hindernis definiert, das eine höhere Helligkeit als ein vorbestimmter Wert aufweist. Wenn das Hindernis einer hohen Helligkeit vorhanden ist, maskiert der Maskierungsblock 14b ebenso den Bereich, der das Bild des Hindernisses einer hohen Helligkeit beinhaltet, zusätzlich zu dem Bild eines vorausfahrenden Fahrzeugs, wie es in den 14 und 15 gezeigt ist.
Die 14 und 15 sind beispielhafte Abbildungen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, in welcher das Bild eines Heckteils in dem Außenrahmen beinhaltet ist. Das Heckteil des vorausfahrenden Fahrzeugs ist ein Beispiel eines Hindernisses einer hohen Helligkeit.
Als Nächstes wird unter Bezugnahme auf die 16 bis 20 der Zuverlässigkeits-Berechnungsvorgang, in welchem die Zuverlässigkeit des Bestimmens des Vorhandenseins von Nebel in Schritt S300 in 4 berechnet wird, erläutert. Die Zuverlässigkeit des Bestimmens des Vorhandenseins von Nebel wird auf der Grundlage der maskierten Referenzabbildung berechnet, die in Schritt S200 erzielt wird.
Zuerst wird in Schritten S310 und S320 ein Gesamtdiskontinuitätsgrad berechnet. Diese Schritte S310 und S320 definieren eine Diskontinuitätsgrad-Berechnungseinrichtung.
In Schritt S310 wird ein erster Diskontinuitätsgrad in der maskierten Referenzabbildung, die in Schritt S200 in 4 erzielt wird, berechnet. Der erste Diskontinuitätsgrad ist als eine Anzahl n von Diskontinuitäten definiert, die in jedem von Eingangssignalen, wie zum Beispiel jeder von Durchlauflinien in der maskierten Referenzabbildung, die in Schritt S200 in 4 erzielt wird, zu finden sind, während die Ortsfrequenzanalyse in Schritt S400 in 4 durchgeführt wird. Der Maskierungsvorgang in Schritt S200 in 4 teilt die Referenzabbildung, die in Schritt S100 in 4 erzielt wird, in mehrere Bereiche, während der Diskontinuitätsgrad erzeugt wird.
Im Detail beinhaltet ein Eingangssignal, das in der Ortsfrequenzanalyse in Schritt S400 in 4 verwendet wird, eine Information über eine Gruppe von Bildelementen in einer Durchlauflinie in entweder horizontalen oder vertikalen Richtungen. Daher kann der erste Diskontinuitätsgrad als eine Anzahl n von Diskontinuitäten definiert sein, die jedem der Eingangssignale zugewiesen sind.
17 ist eine beispielhafte Abbildung, die durch den Maskierungsvorgang erzielt wird, in welchem das Bild des vorausfahrenden Fahrzeugs in Schritt S200 in 4 maskiert wird. In 17 gibt es zwei Abschnitte der maskierten Abbildung, die null bzw. zwei Diskontinuitätsbereiche aufweisen.
18 ist eine weitere beispielhafte Abbildung, die durch den Maskierungsvorgang erzielt wird, in welchem nicht nur das Bild des vorausfahrenden Fahrzeugs, sondern ebenso das Bild des Heckteils des vorausfahrenden Fahrzeugs in Schritt S200 in 4 maskiert wird, in welchem es zwei Abschnitte der maskierten Abbildung gibt, die null bzw. zwei Diskontinuitätsbereiche aufweisen. In 18 gibt es drei Abschnitte der maskierten Referenzabbildung, die null, einen bzw. zwei Diskontinuitätsbereiche aufweisen, die den ersten Diskontinuitätsgrad von null, eins bzw. zwei anzeigen, wenn Durchlauflinien horizontale Linien sind. In 18 ist eine Kontur, die durch durchgezogene Linien dargestellt ist, die Kontur der maskierten Referenzabbildung, die in Schritt S200 in 4 erzielt wird.
In Schritt S320 wird ein Gesamtdiskontinuitätsgrad erzielt. Der Gesamtdiskontinuitätsgrad ist als Teil von Durchlauflinien definiert, deren Diskontinuitätsgrad größer als ein vorbestimmter Wert, zum Beispiel n = 2, ist.
Als Nächstes wird in Schritt S330 eine erste Zuverlässigkeit auf der Grundlage des Gesamtdiskontinuitätsgrads berechnet, der in Schritt S320 erzielt wird. Die erste Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel hängt von dem Gesamtdiskontinuitätsgrad als eine Kurve ab, die in 19 gezeigt ist.
19 ist ein beispielhafter Graph, der eine Beziehung zwischen dem Gesamtdiskontinuitätsgrad und der ersten Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel zeigt.
Wie es in 19 gezeigt ist, ist in der Beziehung zwischen dem Gesamtdiskontinuitätsgrad und der ersten Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel, wenn der Gesamtdiskontinuitätsgrad gleich oder kleiner als ein vorbestimmter Kriterienwert ST1 ist, die erste Zuverlässigkeit perfekt, das heißt. 100%. Wenn der Gesamtdiskontinuitätsgrad größer als der vorbestimmte Kriterienwert ST1 wird, wird die erste Zuverlässigkeit allmählich auf einen Minimalwert verringert. Es ist anzumerken, dass die erste Zuverlässigkeit in einem kleinen Bereich des Gesamtdiskontinuitätsgrads plötzlich von 100% zu 0% verringert wird. Die erste Zuverlässigkeitskurve gegen den Gesamtdiskontinuitätsgrad ist als eine in 19 dargestellt, da die Zuverlässigkeit der Genauigkeit der Ortsfrequenzanalyse im Wesentlichen proportional zu der Länge eines Eingangssignals aufgrund der inhärenten Charakteristiken der Ortsfrequenzanalyse ist. Anders ausgedrückt wird die Zuverlässigkeit der Ortsfrequenzanalyse verringert, wenn die Anzahl von Diskontinuitäten in einer Durchlauflinie oder in der Länge von einem Eingangssignal erhöht wird. In der Ortsfrequenzanalyse ist eine größere Informationsmenge verglichen mit einem Schwellwert in dem Eingangssignal erforderlich, um ein genaues Ergebnis davon zu erzielen.
In Schritt S340 wird ein Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet. Der Vorgang in diesem Schritt wird durch einen Index einer Maskierungsbruch-Berechnungseinrichtung ausgeführt. In diesem Schritt wird ein Bruch des Bereichs der beseitigten Fläche HBR zu einer Fläche der Referenzabbildung berechnet. Der Bruch bestimmt den Index eines Maskierungsbereichs der maskierten Referenzabbildung. In dem Fall, in dem der Index des Maskierungsbruchs der maskierten Referenzabbildung auf die nachstehend beschriebene Weise berechnet wird, wird, wenn der Index eines Maskierungsbruchs der maskierten Referenzabbildung größer wird, der Bereich des beseitigten Bereichs HBR, das heißt ein Bereich, der aus der Referenzabbildung durch den Maskierungsvorgang beseitigt wird, erhöht. In diesem Ausführungsbeispiel ist der Index eines Maskierungsbruchs der maskierten Referenzabbildung wie zuvor definiert. Jedoch ist es zugelassen, dass der Index eines Maskierungsburchs der maskierten Referenzabbildung als ein Kehrwert des Index eines Maskierungsbruchs der maskierten Referenzabbildung definiert sein kann. Das heißt, der Index eines Maskierungsbruchs der maskierten Referenzabbildung ist als ein Bruch der Fläche der Referenzabbildung zu der Fläche des beseitigten Bereichs HBR definiert. In diesem Fall wird, wenn der Index eines Maskierungsbruchs der maskierten Referenzabbildung größer wird, die Fläche des beseitigten Bereichs HBR, das heißt eine Fläche, die aus der Referenzabbildung durch einen Maskierungsvorgang beseitigt ist, verringert und wird die Fläche, die nach dem Maskierungsvorgang verbleibt, erhöht.
In Schritt S350 wird eine zweite Zuverlässigkeit auf der Grundlage des Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet. Diese Berechnung wird unter Bezugnahme auf eine vorbestimmte Beziehung zwischen dem Index eines Maskierungsbruchs der maskierten Referenzabbildung und der zweiten Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel durchgeführt, wie es in 20 gezeigt ist. 20 ist ein Graph, der die Beziehung zwischen dem Index eines Maskierungsbruchs der maskierten Referenzabbildung und der zweiten Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel zeigt.
Wie es in 20 gezeigt ist, ist in der Beziehung zwischen dem Index eines Maskierungsbruchs der maskierten Referenzabbildung und der zweiten Zuverlässigkeit eines Bestimmens des Vorhandenseins von Nebel, wenn der Index eines Maskierungsbruchs der maskierten Referenz gleich oder kleiner als ein vorbestimmter Kriterienwert ST2 ist, die erste Zuverlässigkeit perfekt, das heißt 100%. Wenn der Index eines Maskierungsbruchs der maskierten Referenz größer als der vorbestimmte Kriterienwert ST2 wird, verringert sich die Zuverlässigkeit allmählich zu einem Minimalwert. Es ist anzumerken, dass die erste Zuverlässigkeit in einem kleinen Bereich des Index eines Maskierungsbruchs der maskierten Referenz plötzlich von 100% zu 0% verringert wird. Die erste Zuverlässigkeitskurve gegen den Gesamtdiskontinuitätsgrad ist als eins in 20 dargestellt, da die Zuverlässigkeit einer Genauigkeit der Ortsfrequenzanalyse aufgrund der inhärenten Charakteristiken der Ortsfrequenzanalyse im Wesentlichen proportional zu einer Länge eines Eingangssignals ist. Anders ausgedrückt ist die Zuverlässigkeit der Ortsfrequenzanalyse verringert, wenn der Bruch der Fläche des beseitigten Bereichs HBR zu der Gesamtfläche der Referenzabbildung erhöht wird. In der Ortsfrequenzanalyse ist eine größere Informationsmenge verglichen mit einem Schwellwert in dem Eingangssignal erforderlich, um ein genaues Ergebnis davon zu erzielen. Deshalb ist, wenn der Index eines Maskierungsbruchs der maskierten Referenz den vorbestimmten Kriterienwert ST2 überschreitet, die Informationsmenge, die in der maskierten Referenzabbildung enthalten ist, nicht genug, um genau zu bestimmen, ob Nebel vorhanden ist oder nicht.
In Schritt 360 wird eine Gesamtzuverlässigkeit auf der Grundlage der ersten Zuverlässigkeit, die in Schritt S330 erzielt wird, und der zweiten Zuverlässigkeit berechnet, die in Schritt S350 erzielt wird. Die Gesamtzuverlässigkeit ist in diesem Ausführungsbeispiel als ein Produkt der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit definiert. Weiterhin ist es zugelassen, dass die Gesamtzuverlässigkeit eine komplexere Funktion der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit, zum Beispiel eine gewichtete Summe der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit, eine gewichtete Summe und dergleichen, ist.
Unter Bezugnahme auf die 21 bis 23 wird der Ortsfrequenz-Analysevorgang im Detail erläutert.
Nachdem die Gesamtzuverlässigkeit eines Bestimmens, ob Nebel vorhanden ist oder nicht, in Schritt S300 in 4 berechnet worden ist, werden die Ortsfrequenzanalyse in Schritt S400 in 4 und das Bestimmen bezüglich dessen, ob Nebel vorhanden ist oder nicht, in Schritt S500 in 4 aufeinanderfolgend ausgeführt. Diese Schritte definieren eine Einrichtung zum Bestimmen des Vorhandenseins von Nebel.
In Schritt S410 werden aus den Eingangssignalen, die eine Information über Gruppen von Bildelementen beinhalten, die in Durchlauflinien der maskierten Referenzabbildung enthalten sind, nützliche Eingangssignale ausgewählt, um in der Ortsfrequenzanalyse verwendet zu werden. Um die nützlichen Eingangssignale auszuwählen, wird es beurteilt, ob die Eingangssignale eine vorbestimmte Bedingung erfüllen oder nicht. Gemäß dieser Beurteilung werden die nützlichen Eingangssignale extrahiert. Zum Beispiel ist die Bedingung, die von den nützlichen Eingangssignalen erfüllt wird, dass der Diskontinuitätsgrad von diesen kleiner oder gleich dem vorbestimmten Wert, zum Beispiel n = 2, ist und der Bruch der Fläche des beseitigten Bereichs HBR zu der Gesamtfläche der Referenzabbildung kleiner als ein vorbestimmter Wert ist. In diesem Fall wird, wenn der Diskontinuitätsgrad von jeder der Durchlauflinien 0 oder 1 ist, das Eingangssignal zugelassen, das der Durchlauflinie entspricht.
In Schritt S420 wird eine schnelle Fourier-Transformation an den nützlichen Eingangssignalen angewendet, die in Schritt S410 erzielt werden. Dann wird ein Gesamtleistungsspektrum durch Aufsummieren der Intensität von jeder von Fourier-Komponenten berechnet, die als ein Nebenprodukt in der schnellen Fourier-Transformation erzielt werden. Das Gesamtleistungsspektrum zeigt in den Fouriertransformierten Eingangssignalen an, welche der Fourier-Komponenten beinhaltet ist und wie groß eine Intensität der Fourier-Komponente ist, wenn sie beinhaltet ist. Das Gesamtleistungsspektrum kann in einem zweidimensionalen Graph gezeigt werden, der eine Ortsfrequenzachse einer Abszisse und eine Leistungsachse einer Ordinate aufweist.
22 ist eine schematische Erläuterung der Ortsfrequenzanalyse, die Schritte eines Auswählens von Durchlauflinien in der maskierten Referenzabbildung und eines Anwendens einer Fourier-Transformationsanalyse an sequenziellen Daten einer Helligkeit von Bildelementen jeder einzelnen Durchlauflinie in der maskierten Referenzabbildung beinhaltet.
In dieser Stufe ist die Einheit der Ortsfrequenzachse Zyklen pro Bildelement (ccp), die unberücksichtigt einer menschlichen Wahrnehmung ist. Dann sollte ccp in Zyklen per Grad (cpd) transformiert werden. Diese Transformation erfordert die Auflösung und Abmessung der in ein Fahrzeug eingebauten Kamera 12 und die Brennweite der Kameralinse der in ein Fahrzeug eingebauten Kamera 12. Eine menschliche Wahrnehmung bezieht sich auf die Einheit von Zyklen per Grad.
23 ist eine Seitenansicht der in ein Fahrzeug eingebauten Kamera, die eine Berechnung des Sichtwinkels darstellt, der einem Bildelement der in ein Fahrzeug eingebauten Kamera 12 entspricht.
Im Detail wird zuerst der Sichtwinkel der in ein Fahrzeug eingebauten Kamera 12 aus der Abmessung der in ein Fahrzeug eingebauten Kamera 12 und der Brennweite der Kamera 12 wie folgt berechnet:
In der vorhergehenden Gleichung ist der Sichtwinkel in Grad und sind die Abmessung der in ein Fahrzeug eingebauten Kamera 12 und die Brennweite der Linse in Millimeter. Der nächste Schritt besteht darin, den Sichtwinkel für jedes Bildelement unter Verwendung der folgenden Gleichung zu berechnen:
Der letzte Schritt besteht darin, ccp wie folgt zu cpd zu transformieren:
Nachdem der Schritt S430 beendet ist, wird das Bestimmen bezüglich dessen, ob Nebel vorhanden ist oder nicht, in Schritt S500 in 4 ausgeführt.
Unter Bezugnahme auf 24 wird der Bestimmungsvorgang im Detail erläutert. 24 ist ein Flussdiagramm, das ein detailliertes Verfahren zum Durchführen eines Bestimmungsvorgangs bezüglich dessen, ob Nebel in dem Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, vorhanden ist oder nicht, auf der Grundlage eines Ergebnisses der Ortsfrequenzanalyse bezüglich der maskierten Referenzabbildung zeigt, die in Schritt S400 in 4 erzielt wird.
In Schritt S510 wird eine Summe von Intensitäten von Ortsfrequenzen in einem Bereich von 1,5 cpd bis 18 cpd berechnet, da allgemein gilt, dass die menschliche Kontrastempfindlichkeit in Zyklen per Grad auf diesen Bereich beschränkt ist. In diesem Ausführungsbeispiel wird die Summe der Intensitäten der Ortsfrequenzen in dem Bereich von 1,5 cpd bis 18 cpd berechnet, die zum Bestimmen, ob Nebel vorhanden ist oder nicht, in dem nächsten Schritt S520 zu verwenden ist. Jedoch ist es anwendbar, dass die Ortsfrequenzen in einem schmäleren Bereich oder eine besondere Frequenz an einer cpd in dem Bereich von 1,5 cpd bis 18 cpd, zum Beispiel ein Wert der besonderen Frequenz an 6 cpd, anstelle der Summe der Intensitäten der Ortsfrequenzen in dem Bereich von 1,5 cpd bis 18 cpd verwendet werden können.
In dem nachfolgenden Schritt S520 wird die Summe von Intensitäten von Ortsfrequenzen, die in Schritt S510 berechnet worden sind, mit einem vorbestimmten Referenzwert verglichen. Wenn die Summe von Intensitäten von Ortsfrequenzen kleiner als der vorbestimmte Referenzwert ist, schreitet das Verfahren zu Schritt S530 fort. Im Gegensatz dazu schreitet, wenn die Summe von Intensitäten von Ortsfrequenzen größer oder gleich dem vorbestimmten Referenzwert ist, das Verfahren zu Schritt S540 fort.
In Schritt S530 wird die Gesamtzuverlässigkeit, die in Schritt S360 berechnet worden ist, mit einem vorbestimmten Wert verglichen. Wenn ein Ergebnis des Vergleichs in Schritt S530 "JA" ist, das heißt die Gesamtzuverlässigkeit größer als der vorbestimmte Wert ist, wird das Bestimmen des Vorhandenseins von Nebel erzielt. Dann schreitet das Verfahren zu Schritt S550 fort.
In Schritt S550 wird das Ergebnis ausgegeben, das in Schritt S530 erzielt wird.
In Schritt S540 wird die Gesamtzuverlässigkeit, die in Schritt S360 berechnet wird, mit einem vorbestimmten Wert verglichen. Wenn ein Ergebnis des Vergleichs in Schritt S540 "JA" ist, das heißt die Gesamtzuverlässigkeit größer als der vorbestimmte Wert ist, wird das Bestimmen des Nichtvorhandenseins von Nebel erzielt. Dann schreitet das Verfahren zu Schritt S570 fort.
In Schritt S570 wird das Ergebnis ausgegeben, das in Schritt S540 erzielt wird.
Wenn irgendeiner der Vergleiche in den Schritten S530 oder S540 "NEIN" ist, schreitet das Verfahren zu Schritt S560 fort.
In Schritt S560 wird das Bestimmen der Unmöglichkeit zum Bestimmen des Vorhandenseins von Nebel ausgegeben.
Weiterhin ist es möglich, dass das Ergebnis, das in Schritt S530 oder S540 erzielt wird, mit der Gesamtzuverlässigkeit, die in Schritt S360 berechnet wird, zu einem Block ausgegeben wird, in welchem die endgültige Entscheidung bezüglich dessen, ob Nebel vorhanden ist oder nicht, durchgeführt wird. Die Bestimmungen, die in den Schritten S520, S530 und S540 ausgeführt werden, werden auf der Grundlage lediglich der Abbildung durchgeführt, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Daher ist es nicht möglich, genau zu bestimmen, ob Nebel in der Umgebung um das fahrende Fahrzeug auf der Straße vorhanden ist oder nicht. In dem Block, in welchem die endgültige Entscheidung bezüglich dessen, ob Nebel vorhanden ist oder nicht, durchgeführt wird, werden Ergebnisse einer Mehrzahl von Blöcken, die die Abbildungsverarbeitungs-ECU 14 beinhalten, kombiniert. In diesem Fall kann eine komplexere Beurteilung bezüglich dessen, ob Nebel vorhanden ist, auf der Grundlage der Summe von Intensitäten von Ortsfrequenzen und der Gesamtzuverlässigkeit durchgeführt werden.
Jedoch kann das Ergebnis, das in den Schritten S530 oder S540 erzielt wird, als die letztliche Beurteilung verwendet werden, ob Nebel in der Umgebung um das fahrende Fahrzeug auf der Straße vorhanden ist oder nicht. In diesem Fall wird das Ergebnis, das in Schritt S520 erzielt wird, in der Fahrunterstützungs-ECU 26 oder in der Lichtsteuer-ECU 28 verwendet. In welchen Block das Ergebnis, das in den Schritten S530 oder S540 erzielt wird, eingegeben wird, kann von dem Ergebnis der Schritte S530 oder S540 selbst abhängen.
In diesem Ausführungsbeispiel wird der Maskierungsvorgang in Schritt S200 durchgeführt, um die Effekte von Hindernissen zu beseitigen, die Rauschen in der Ortsfrequenzanalyse erzeugen können. Weiterhin wird der Gesamtdiskontinuitätsgrad in der maskierten Referenzabbildung in Schritt S320 erzielt. Wenn der Gesamtdiskontinuitätsgrad gleich oder kleiner als ein vorbestimmter Kriterienwert ST1 ist, wird die erste Zuverlässigkeit auf perfekt, das heißt 100%, festgelegt. Wenn der Gesamtdiskontinuitätsgrad größer als der vorbestimmte Kriterienwert ST1 wird, wird die erste Zuverlässigkeit allmählich auf einen Minimalwert verringert. Weiterhin wird in Schritt S340 ein Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet. Wenn der Index eines Maskierungsbruchs der maskierten Referenz gleich oder kleiner als ein vorbestimmter Kriterienwert ST2 ist, ist die erste Zuverlässigkeit perfekt, das heißt 100%. Wenn der Index eines Maskierungsbruchs der maskierten Referenz größer als der vorbestimmte Kriterienwert ST2 wird, wird die Zuverlässigkeit allmählich auf einen Minimalwert verringert. Weiterhin wird in Schritt S360 eine Gesamtzuverlässigkeit auf der Grundlage der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit berechnet. Die Gesamtzuverlässigkeit ist in diesem Ausführungsbeispiel als Produkt der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit definiert. In dem Schritt S520 wird die Summe von Intensitäten von Ortsfrequenzen mit einem vorbestimmten Referenzwert verglichen. Auch dann, wenn die Summe von Intensitäten von Ortsfrequenzen kleiner als der vorbestimmte Referenzwert ist, wird es nicht endgültig bestimmt, dass Nebel vorhanden ist. In Schritten S530 und S540 wird die Gesamtzuverlässigkeit, die in Schritt S360 berechnet wird, mit einem vorbestimmten Wert verglichen. Daher ist es möglich, auf der Grundlage eines Ergebnisses, das in der Abbildungsverarbeitungs-ECU 14, die die Gesamtzuverlässigkeit berücksichtigt, erzielt wird, zu beurteilen, ob Nebel in der Umgebung um das fahrende Fahrzeug auf der Straße vorhanden ist oder nicht. Deshalb wird ein Fehler bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, verringert und wird eine Genauigkeit des Bestimmens verbessert.
(Zweites Ausführungsbeispiel)
Unter Bezugnahme auf die 25 bis 28 wird ein zweites Ausführungsbeispiel der vorliegenden Erfindung erläutert. Die mechanischen Bestandteile des zweiten Ausführungsbeispiels sind die gleichen Teile wie diejenigen des ersten Ausführungsbeispiels, aber die Steuervorgänge dieses Ausführungsbeispiels unterscheiden sich von denjenigen des ersten Ausführungsbeispiels.
25 zeigt ein Blockschaltbild einer Struktur einer in Fahrzeug eingebauten Vorrichtung 14A gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
In der Vorrichtung 14A ist der Ortsfrequenz-Analyseblock 14d in dem ersten Ausführungsbeispiel durch einen Randintensitäts-Analyseblock 14d' ersetzt.
Die Randintensitätsanalyse ist eines der Verfahren zum Berechnen einer Gesamtrandintensität einer Abbildung. Eine einzelne Randintensität des entsprechenden Bildelements in der Abbildung kann durch eine Differenzialanalyse entlang einer vertikalen oder horizontalen Richtung in der Abbildung erzielt werden.
Es ist anzumerken, dass in der Randintensitätsanalyse der Diskontinuitätsgrad in einer Durchlauflinie, im Gegensatz zu der Tatsache, dass der Index eines Maskierungsbruchs der maskierten Referenzabbildung die Zuverlässigkeit beeinträchtigt, irgendeine Zuverlässigkeit nicht beeinträchtigen kann. Daher ist es in diesem Ausführungsbeispiel, in dem die Randintensitätsanalyse anstelle der Ortsfrequenzanalyse in dem ersten Ausführungsbeispiel verwendet wird, nicht erforderlich, dass Schritte S310, S320 und S330 durchgeführt werden. Daher ist die erste Zuverlässigkeit gleich der Gesamtzuverlässigkeit.
Der Randintensitäts-Analyseblock 14d' wendet einen Randoperator an jedem der Bildelemente in der maskierten Referenzabbildung zum Führen zu jeder einzelnen Randintensität des entsprechenden des Bildelements an und berechnet eine Gesamtrandintensität als eine Summe der einzelnen Randintensitäten des Bildelements in der maskierten Referenzabbildung.
26 ist ein Flussdiagramm, das eine Hauptroutine in den Steuervorgängen zeigt, die von der Abbildungsverarbeitungs-ECU 14 gemäß dem zweiten Ausführungsbeispiel auszuführen sind.
Wie es in 26 gezeigt ist, ist der Ortsfrequenz-Analysevorgang S400 in dem ersten Ausführungsbeispiel der vorliegenden Erfindung durch den Randintensitäts-Analysevorgang S700 ersetzt.
27 ist eine schematische Erläuterung der Randintensitätsanalyse, die einen Schritt eines Anwendens eines Randoperators an jedem einzelnen Bildelement, das die maskierte Referenzabbildung bildet, die in Schritt S200 in 4 erzielt wird, beinhaltet.
Es ist bekannt, dass das menschliche visuelle System inhärent eine Randinformation zur Objekterkennung verwendet. Daher ist es einigem Sinn logischer, den Grad einer Randinformation für eine Sichtbarkeitsbewertung als eine andere Information über das Objekt, wie zum Beispiel einen Kontrast pro Helligkeit, zu verwenden. Ein bekannter Randoperator, der erfolgreich und weit verbreitet verwendet worden ist, ist der Sobel-Operator, welcher gegeben ist durch
wobei dx = [p(m – 1, n – 1) + 2p(m, n – 1) + p(m + 1, n – 1)] – [p(m – 1, n + 1)) + 2p(m, n + 1) + p(m + 1, n + 1)] dy = [p(m + 1, n – 1) + 2p(m + 1, n) + p(m + 1, n + 1)] – [p(m – 1, n – 1) + 2p(m – 1, n) + p(m – 1, n + 1)]wenn eine zweidimensionale diskrete Koordinate auf der Abbildung definiert ist und p(m, n) den Bildelementwert an einem Ort (m, n) bezeichnet, wie es in 27 gezeigt ist. Es sollte erwähnt werden, dass andere Randoperatoren gleichermaßen wählbar sind. Anders ausgedrückt ist der Wirkungsgradunterschied durch die Wahl eines unterschiedlichen Randoperators vernachlässigbar. Die Sobel-Operatoren nähern im Wesentlichen den Gradienten der Abbildung durch einen Differenzoperator an.
Die Gesamtrandintensität S_total, die in dem Randintensitäts-Analyseblock 14d' in 25 und dem Randintensitäts-Analysevorgang S700 in 26 berechnet wird, ist gegeben durch
Die Summe von Argumenten m und n wird über die gesamten Bildelemente der maskierten Referenzabbildung ausgeführt.
28 ist ein Flussdiagramm, das ein detailliertes Verfahren zum Durchführen eines Bestimmungsvorgangs bezüglich dessen, ob Nebel in dem Raum, der sich in dem vorbestimmten Abstand vor dem Fahrzeug befindet, vorhanden ist oder nicht, auf der Grundlage eines Ergebnisses der Randintensitätsanalyse bezüglich der maskierten Referenzabbildung zeigt, die in Schritt S400 in 4 erzielt wird.
In dem Bestimmungsvorgang, der in 28 gezeigt ist, wird eine Berechnung der Summe der Randintensitäten in Schritt S510A durchgeführt.
In dem nachfolgenden Schritt S520A wird die Summe von Intensitäten von Ortsfrequenzen, die in Schritt S510A berechnet werden, mit einem vorbestimmten Referenzwert verglichen. Wenn die Summe von Intensitäten von Ortsfrequenzen kleiner als der vorbestimmte Referenzwert ist, schreitet das Verfahren zu Schritt S530 fort. Im Gegensatz dazu schreitet, wenn die Summe von Intensitäten von Ortsfrequenzen größer oder gleich dem vorbestimmten Referenzwert ist, das Verfahren zu Schritt S540 fort.
Die Vorgänge in anderen Schritten als S510A und S520A sind die gleichen funktionalen wie diejenigen in dem ersten Ausführungsbeispiel.
In diesem Ausführungsbeispiel wird der Maskierungsvorgang in Schritt S200 durchgeführt, um die Effekte von Hindernissen zu beseitigen, die Rauschen in der Randintensitätsanalyse erzeugen können. Weiterhin wird der Gesamtdiskontinuitätsgrad in der maskierten Referenzabbildung in Schritt S320 erzielt. Wenn der Gesamtdiskontinuitätsgrad gleich oder kleiner als ein vorbestimmter Kriterienwert ST1 ist, wird die erste Zuverlässigkeit als perfekt, das heißt 100%, festgelegt. Wenn der Gesamtdiskontinuitätsgrad größer als der vorbestimmte Kriterienwert ST1 wird, wird die erste Zuverlässigkeit allmählich auf einen Minimalwert verringert. Weiterhin wird in Schritt S340 ein Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet. Wenn der Index eines Maskierungsbruchs der maskierten Referenz gleich oder kleiner als ein vorbestimmter Kriterienwert ST2 ist, ist die erste Zuverlässigkeit perfekt, das heißt 100%. Wenn der Index eines Maskierungsbruchs der maskierten Referenz größer als der vorbestimmte Kriterienwert ST2 wird, wird die Zuverlässigkeit allmählich auf einen Minimalwert verringert. Weiterhin wird in Schritt S360 eine Gesamtzuverlässigkeit auf der Grundlage der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit berechnet. Die Gesamtzuverlässigkeit ist in diesem Ausführungsbeispiel als ein Produkt der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit definiert. In dem Schritt S520A wird die Summe von Randintensitäten über die Bildelemente in der maskierten Referenzabbildung mit einem vorbestimmten Referenzwert verglichen. Auch dann, wenn die Summe von Randintensitäten kleiner als der vorbestimmte Referenzwert ist, wird es nicht endgültig bestimmt, dass Nebel vorhanden ist. In Schritten S530 und S540 wird die Gesamtzuverlässigkeit, die in Schritt S360 berechnet wird, mit einem vorbestimmten Wert verglichen. Daher ist es möglich, auf der Grundlage eines Ergebnisses, das in der Abbildungsverarbeitungs-ECU 14 unter Berücksichtigung der Gesamtzuverlässigkeit erzielt wird, zu beurteilen, ob Nebel in der Umgebung um das fahrende Fahrzeug auf der Straße vorhanden ist oder nicht. Deshalb wird ein Fehler bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, verringert und wird eine Genauigkeit des Bestimmens verbessert.
(Drittes Ausführungsbeispiel)
Unter Bezugnahme auf 29 wird ein drittes Ausführungsbeispiel der vorliegenden Erfindung erläutert. Die mechanischen Bestandteile des zweiten Ausführungsbeispiels sind die gleichen Teile wie diejenigen des ersten Ausführungsbeispiels, aber die Steuervorgänge dieses Ausführungsbeispiels sind zu denjenigen der ersten und zweiten Ausführungsbeispiele unterschiedlich.
In diesem Ausführungsbeispiel ist der Maskierungsvorgang in Schritt S200 in 4 unterschiedlich zu den vorhergehenden Ausführungsbeispielen. Deshalb ist die Struktur der Vorrichtung 10 die gleiche zu entweder der des ersten Ausführungsbeispiels, das in 3 gezeigt ist, oder der des zweiten Ausführungsbeispiels, das in 25 gezeigt ist.
Unter Bezugnahme auf 29 wird der Maskierungsvorgang gemäß diesem Ausführungsbeispiel im Detail erläutert.
29 ist ein Flussdiagramm, das ein Detail eines Maskierungsvorgangs zeigt, in welchem Bilder in der Abbildung, die die Möglichkeit aufweisen, Rauschen während einer Abbildungsverarbeitung zum Bestimmen des Vorhandenseins von Nebel zu verursachen, in Schritt S200 in 4 beseitigt werden.
Der Maskierungsvorgang wird durch Bestimmen, ob mindestens ein Teil eines vorausfahrenden Fahrzeugs in der Abbildung vorhanden ist oder nicht, die in Schritt S100 erzielt wird, gestartet. Dieses Verfahren muss aus dem folgenden Grund ausgeführt werden. Das heißt, wenn das vorausfahrende Fahrzeug vor dem Fahrzeug auf der Straße vorhanden ist, auf welcher das Fahrzeug fährt, ist ein Abstand zu dem vorausfahrenden Fahrzeug von dem Fahrzeug, das mit der in ein Fahrzeug eingebauten Kamera 12 ausgestattet ist, einer des kürzesten Abstands zwischen einem Hindernis auf der Straße und dem Fahrzeug. In vielen Fällen ist der Abstand zwischen dem vorausfahrenden Fahrzeug und dem Fahrzeug, das mit der in ein Fahrzeug eingebauten Kamera 12 ausgestattet ist, kürzer als der gegebene Fernabstand, der in Schritt S110 erwähnt ist. Wenn er vorhanden ist, gibt das vorausfahrende Fahrzeug eine der Quellen, die ein Rauschen während der Ortsfrequenzanalyse zum Bestimmen des Vorhandenseins von Nebel verursachen. Daher sollte das Merkmal des vorausfahrenden Fahrzeugs in der Referenzabbildung beseitigt werden, wenn es vorhanden ist.
Daher wird es in Schritt S210 beurteilt, ob die Fahrunterstützungs-ECU 26 das vorausfahrende Fahrzeug vor dem Fahrzeug auf der Straße erfasst oder nicht. Wenn das vorausfahrende Fahrzeug vorhanden ist und auf der Straße fährt, bestimmt die Fahrunterstützungs-ECU 26 auf der Grundlage der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, einen Fahrzeugbereich in der Abbildung auf der Grundlage der Position der Abbildung und des Abstands in dem realen Raum zwischen dem vorausfahrenden Fahrzeug und dem Fahrzeug, der von dem Millimeterwellenradar 20 gemessen wird. Dann werden eine Kontur und ein Bereich CR des vorausfahrenden Fahrzeugteils des Fahrzeugbereichs auf der Grundlage einer Analyse bezüglich einer Helligkeit von Bildelementen bestimmt, die die Abbildung bilden, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Der Bereich CR in der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, wird mit der Referenzabbildung verglichen, die in dem Extraktionsvorgang ausgeschnitten worden ist, um das Vorhandensein einer teilweisen oder einer gesamten Überlappung zwischen dem Bereich CR und der Referenzabbildung zu bestimmen, die in Schritt S100 in 2 erzielt wird. In 3 und 4, welche beispielhafte Abbildungen sind, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, werden die jeweiligen Bereiche CR des Bilds des vorausfahrenden Fahrzeugs, die durch die Schritte bestimmt werden, die zuvor beschrieben worden sind, gezeigt. In beiden der 3 und 4 sind der Bereich CR des Bilds des vorausfahrenden Fahrzeugs und die Referenzabbildung teilweise überlappt.
Wenn das Bestimmen in Schritt S210 "NEIN" ist, schreitet das Verfahren direkt zu Schritt S230 fort. Im Gegensatz zu diesem Fall, das heißt, wenn das Bestimmen in Schritt S210 "JA" ist, schreitet das Verfahren zu Schritt S220 fort. In Schritt S220 wird ein überlappender Bereich, in welchem der Bereich CR des Bilds des vorausfahrenden Fahrzeugs und die Referenzabbildung in der Referenzabbildung überlappen, beseitigt und schreitet dann das Verfahren zu Schritt S230 fort.
Entweder, nachdem der Schritt S220 beendet worden ist, oder in dem Fall, in dem das Bestimmen in Schritt S210 "NEIN" ist, werden Schritte S230 bis S280 ausgeführt, um Merkmale von leuchtenden Objekten, genauer gesagt Merkmale von Objekten, deren Merkmale in der Abbildung eine hohe Helligkeit von der Referenzabbildung aufweisen, in dem Extraktionsvorgang in Schritt S100 ausgeschnitten. Zum Beispiel ist das Objekt, das eine hohe Helligkeit aufweist, als eines definiert, das eine Helligkeit aufweist, die größer oder gleich der des Himmels ist. Wie es in dem Gesetz von Koschmieder gesehen werden kann, ist ein Objekt, das eine Helligkeit aufweist, die größer oder gleich der des Himmels ist, ein künstliches Objekt, dessen Merkmal ein Ursprung von Rauschen in der Ortsfrequenzanalyse zum Bestimmen des Vorhandenseins von Nebel ist, da das Objekt, das die Helligkeit aufweist, die größer oder gleich der des Himmels ist, nicht ausreichend getrübt ist und die Kontur des Objekts in der Abbildung deutlich gezogen ist, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird.
In Schritt S230 wird eine Ist-Helligkeit des Himmels an einem Ort bestimmt, an dem das Fahrzeug fährt. Die Einheit einer Helligkeit ist Candela pro Einheitsfläche (cd/m²). Es gibt Verfahren zum Bestimmen der Ist-Helligkeit des Himmels. Ein Verfahren basiert auf der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird. Ein weiteres Verfahren basiert auf Werten einer Beleuchtung, die von dem Beleuchtungssensor 23 erfasst wird. Obgleich beide Verfahren zugelassen sind, um die Ist-Helligkeit des Himmels an dem Ort zu bestimmen, an der das Fahrzeug fährt, ist eines der Verfahren vorbestimmt.
Im Folgenden wird die detaillierte Beschreibung in dem Fall gegeben, in dem das erstere Verfahren angewendet wird, in welchem die Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, verwendet wird. Wenn es einen Bereich eines Himmels gibt, der in der Abbildung enthalten ist, belegt der Bereich des Himmels einen oberen Abschnitt der Abbildung. Diese Tatsache führt zu einem Verfahren, das die Schritte beinhaltet: Identifizieren des Bereichs des Himmels in der Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, durch Extrahieren eines oberen vorbestimmten Teils der Abbildung, Berechnen von Mittelwerten einer Helligkeit von jedem der Bildelemente, die den Bereich des Himmels in der Abbildung bilden, und Schätzen der Ist-Helligkeit des Himmels auf der Grundlage der berechneten Mittelwerte einer Helligkeit von jedem der Bildelemente in dem Bereich des Himmels durch sich Beziehen auf eine vorbestimmte Beziehung zwischen dem Wert der Helligkeit von einem Bildelement und der Ist-Helligkeit des Himmels.
Die vorbestimmte Beziehung zwischen dem Wert der Helligkeit von einem Bildelement und der Ist-Helligkeit des Himmels wird detaillierter erläutert. Wie es bereits zuvor beschrieben worden ist, erfasst die in ein Fahrzeug eingebaute Kamera 12 digitale Graustufenabbildungen, die durch Bildelemente gebildet sind, von denen jedes einen Wert einer Helligkeit davon aufweist. Daher gibt es Korrelationen zwischen den Werten einer Helligkeit der Bildelemente der Abbildungen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, und der Ist-Helligkeit des Himmels. Diese Korrelationen werden als eine Korrelationsfunktion oder eine Abbildung gespeichert. Die in ein Fahrzeug eingebaute Kamera 12 weist Belichtungsparameter, wie zum Beispiel eine Belichtungszeit, einen Wert eines digitalen Verstärkungsfaktors, auf, welche die Korrelationen zwischen den Werten einer Helligkeit der Bildelemente der Abbildungen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, und der Ist-Helligkeit des Himmels bewirken. Daher sollten diese Belichtungsparameter in der Korrelationsfunktion oder der Abbildung berücksichtigt werden.
Weiterhin wird die Ist-Helligkeit des Himmels unter Verwendung lediglich des oberen Abschnitts der Abbildung erzielt, welcher eine hohe Wahrscheinlichkeit zum Enthalten des Bereichs des Himmels aufweist. Zum Beispiel ist ein Bruch einer Fläche des vorbestimmten oberen Abschnitts der Abbildung zu der Gesamtfläche der Abbildung 30 Prozent. Auch dann, wenn die Abbildung, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst wird, andere Objekte als den Himmel, zum Beispiel Wald, ein großes Gebäude und dergleichen, enthält, welche eine niedrigere Helligkeit als die des Himmels aufweisen, kann der Effekt von diesen Objekten unter Verwendung des vorbestimmten oberen Abschnitts der Abbildung verringert werden, um die Mittelwerte einer Helligkeit von jedem der Bildelemente zu berechnen, die den Bereich des Himmels in der Abbildung bilden. Der Effekt dieser Objekte kann ebenso durch Anwenden von einem der bekannten Abbildungs-Verarbeitungsverfahren verringert werden. Jedoch ist es einfaches Verfahren zum Verringern des Effekts von diesen Objekten unter Verwendung des vorbestimmten oberen Abschnitts der Abbildung zum Berechnen der Mittelwerte einer Helligkeit von jedem der Bildelemente, die den Bereich des Himmels in der Abbildung bilden. In diesem Fall ist es vorteilhaft, dass der Bruch der Fläche des vorbestimmten oberen Abschnitts zu der Gesamtfläche der Abbildung nicht zu klein ist, da, wenn die Mittelwerte einer Helligkeit von jedem der Bildelemente, die den Bereich des Himmels in der Abbildung bilden, auf der Grundlage einer kleinen Anzahl der Bildelemente berechnet werden, der Effekt von Objekten, die eine höhere Helligkeit als die Helligkeit des Himmels aufweisen, nicht vernachlässigbar sein kann.
Als Nächstes wird das letztere Verfahren auf der Grundlage von Werten einer Beleuchtung, die von dem Beleuchtungssensor 23 erfasst wird, erläutert, um die Ist-Helligkeit des Himmels zu berechnen. Im Allgemeinen kann der klare Himmel während eines Tags gesehen werden, wenn es eine große Menge einer Sonnenstrahlung gibt. Daher werden, wenn Werte einer Beleuchtung, die von dem Beleuchtungssensor 23 erfasst werden, verwendet werden, um die Ist-Helligkeit des Himmels zu erzielen, Beziehungen zwischen den Werten einer Beleuchtung und den Werten der Ist-Helligkeit des Himmels im Voraus bestimmt. Daher ist es möglich, die Ist-Helligkeit des Himmels aus den erfassten Werten einer Beleuchtung des Beleuchtungssensors 23 unter Bezugnahme auf die Beziehungen zwischen den Werten einer Beleuchtung und den Werten der Ist-Helligkeit des Himmels zu erzielen.
In Schritt S240 werden Werte der Ist-Helligkeit (cd/m²) von jedem Bildelement, das den Bereich des Himmels in der Abbildung bildet, auf der Grundlage von Werten einer Helligkeit von jedem der Bildelemente der Referenzabbildung sich auf die Korrelationen zwischen den Werten einer Helligkeit der Bildelemente der Abbildungen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, und der Ist-Helligkeit des Himmels beziehend berechnet. Wenn der Schritt S220 ausgeführt wird, wird der Bereich CR des Bilds des vorausfahrenden Fahrzeugs aus der Referenzabbildung beseitigt.
Als Nächstes wird in Schritt S250 ein Kriterium einer hohen Helligkeit auf der Grundlage der Ist-Helligkeit des Himmels bestimmt, die in Schritt S250 berechnet wird. Wie es zuvor erläutert worden ist, ist ein Objekt, das eine hohe Helligkeit aufweist, als ein Objekt definiert, das die Helligkeit aufweist, die größer oder gleich der des Himmels ist. Daher wird der typische Wert des Kriteriums einer hohen Helligkeit zum Beispiel durch Multiplizieren eines vorbestimmten Faktors mit der Ist-Helligkeit des Himmels erzielt. Der vorbestimmte Faktor ist eine Anzahl, die kleiner oder gleich 1 und nahe 1 ist. Das Objekt, das eine hohe Helligkeit aufweist, beinhaltet einen Scheinwerfer oder ein anderes Beleuchtungsobjekt und einen Reflektor und ein anderes Objekt, das ein hohes Lichtreflexionsvermögen aufweist. Das Objekt, das eine hohe Helligkeit aufweist, kann während einer Abbildungsverarbeitung zum Bestimmen des Vorhandenseins von Nebel, insbesondere in der Ortsfrequenzanalyse zum Bestimmen des Vorhandenseins von Nebel, Rauschen verursachen.
In Schritt S260 werden das Kriterium einer hohen Helligkeit, die in Schritt S250 erzielt wird, und Werte der Ist-Helligkeit von jedem von Bildelementen, die den Bereich des Himmels in der Abbildung bilden, in Schritt S240 verglichen. Als ein Ergebnis dieses Vergleichs ist ein Bereich einer hohen Helligkeit, in welchem das Objekt, das eine hohe Helligkeit aufweist, beinhaltet ist, bestimmt. Alle Bildelemente des Bereichs einer hohen Helligkeit in der Abbildung weisen eine höhere Helligkeit als die des Himmels auf.
In Schritt S270 werden ein beseitigter Bereich HBR, der den Bereich einer hohen Helligkeit und eine größere Fläche als der Bereich einer hohen Helligkeit bedeckt, bestimmt. Der Bereich einer hohen Helligkeit, der in Schritt S260 erzielt wird, befindet sich weitestgehend in der Mitte des beseitigten Bereichs HBR. Das heißt, der beseitigte Bereich HBR wird durch Erweitern des Bereichs einer hohen Helligkeit entlang beiden der horizontalen und vertikalen Richtungen erzielt. In 14 und 15 sind beispielhafte beseitigte Bereiche HBR gezeigt, die von dem zuvor erwähnten Verfahren bestimmt werden. In diesen Beispielen ist, wenn der Bereich einer hohen Helligkeit eine höhere Helligkeit aufweist, ein Erweiterungsfaktor des beseitigten Bereichs HBR aus dem Bereich einer hohen Helligkeit größer festgelegt. Es ist ebenso zugelassen, dass ein konstanter Erweiterungsfaktor an dem Bereich einer hohen Helligkeit angewendet wird, um den beseitigten Bereich HBR unberücksichtigt des Werts einer Helligkeit in dem Bereich einer hohen Helligkeit zu erzeugen.
Als Nächstes wird in Schritt S280 der beseitigte Bereich, der in Schritt S270 bestimmt wird, aus der Referenzabbildung beseitigt. Deshalb ist der Maskierungsvorgang beendet, der in Schritt S200 in 4 durchgeführt wird.
In diesem Ausführungsbeispiel wird zusätzlich zu dem Bild eines vorausfahrenden Fahrzeugs in der Referenzabbildung ein Bild eines Hindernisses einer hohen Helligkeit ebenso maskiert. Weiterhin ist das Hindernis einer hohen Helligkeit explizit als ein Hindernis definiert, das eine höhere Helligkeit als die des Himmels aufweist. Deshalb wird ein Fehler bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, verringert und wird eine Genauigkeit des Bestimmens verbessert.
(Viertes Ausführungsbeispiel)
Unter Bezugnahme auf 30 wird ein viertes Ausführungsbeispiel der vorliegenden Erfindung erläutert. Die mechanischen Bestandteile des zweiten Ausführungsbeispiels sind die gleichen Teile wie diejenigen des ersten Ausführungsbeispiels, aber die Steuervorgänge dieses Ausführungsbeispiels sind unterschiedlich zu denjenigen der vorhergehenden Ausführungsbeispiele.
In diesem Ausführungsbeispiel unterscheidet sich der Maskierungsvorgang in Schritt S200 in 4 zu dem vorhergehenden Ausführungsbeispiel. Deshalb ist die Struktur der Vorrichtung 10 die gleiche wie die des ersten Ausführungsbeispiels, das in 3 gezeigt ist, oder die des zweiten Ausführungsbeispiels, das in 25 gezeigt ist.
Unter Bezugnahme auf 30 wird der Maskierungsvorgang gemäß diesem Ausführungsbeispiel im Detail erläutert.
Wie es 30 gezeigt ist, werden gemäß dem vorliegenden Ausführungsbeispiel die neuen Schritte S600, S610, S620 und S630 in den Steuervorgängen ausgeführt, obgleich der Schritt S300 in 2 nicht ausgeführt wird. Andere Schritte als die Schritte S600, S610, S620 und S630 in 13 weisen die gleichen Vorgänge wie die Schritte in 2 auf. Daher wird irgendeine detaillierte Beschreibung bezüglich den Schritten S100, S200, S400 und S500 weggelassen werden.
In Schritt S600 werden ein erster Diskontinuitätsgrad und ein Gesamtdiskontinuitätsgrad wie in Schritten S310 und S320 in Vorgängen, die in 7 gezeigt sind, gemäß dem ersten Ausführungsbeispiel berechnet.
In Schritt S610 wird der erste Diskontinuitätsgrad, der in Schritt S610 erzielt wird, mit einem dritten vorbestimmten Kriterienwert ST3 verglichen. Wenn der erste Diskontinuitätsgrad größer als der dritte vorbestimmte Kriterienwert ST3 ist, wird das Verfahren direkt ohne Bestimmen beendet, ob Nebel vorhanden ist oder nicht. Im Gegensatz zu diesem Fall, das heißt, in dem Fall, in dem der erste Diskontinuitätsgrad kleiner oder gleich dem vorbestimmten Kriterienwert ST3 ist, schreitet das Verfahren zu Schritt S620 fort. Es ist bevorzugt, dass der vorbestimmte Kriterienwert ST3 gleich oder geringfügig kleiner als der erste vorbestimmte Kriterienwert ST1 festgelegt ist, auf welchen sich in Schritt S330 bezogen wird.
In Schritt S620 wird ein Index eines Maskierungsbruchs der maskierten Referenzabbildung auf die gleiche Weise wie in Schritt S340 in 7 berechnet.
Als Nächstes wird es in Schritt S630 beurteilt, ob der Index eines Maskierungsbruchs, der in Schritt S620 berechnet wird, größer als ein vierter vorbestimmter Kriterienwert ST4 ist oder nicht. Wenn die Beurteilung in Schritt S630 "JA" ist, das heißt, der Index eines Maskierungsbruchs, der in Schritt S620 berechnet wird, sicher größer als der vierte vorbestimmte Kriterienwert ST4 ist, werden die Vorgänge, die von der Vorrichtung 10 gemäß der vorliegenden Erfindung durchgeführt werden, augenblicklich beendet. Im Gegensatz dazu schreitet, wenn die Beurteilung in Schritt S630 "NEIN" ist, das heißt, der Index eines Maskierungsbruchs, der in Schritt S620 berechnet wird, kleiner oder gleich dem vierten vorbestimmten Kriterienwert ST4 ist, das Verfahren zu Schritt S400 und dann zu Schritt S500 fort. In Schritt S400 wird die Ortsfrequenzanalyse bezüglich der maskierten Referenzabbildung durchgeführt. In Schritt S500 wird der Bestimmungsvorgang zum Bestimmen bezüglich des Vorhandenseins von Nebel durchgeführt.
Der vierte vorbestimmte Kriterienwert ST4 ist mit dem vorbestimmten Kriterienwert ST2 vergleichbar, der in dem ersten Ausführungsbeispiel verwendet wird. Genauer gesagt ist der vierte vorbestimmte Kriterienwert ST4 geringfügig kleiner oder gleich dem vorbestimmten Kriterienwert ST2.
Gemäß dem vorliegenden Ausführungsbeispiel wird ein Fehler des Bestimmens, ob Nebel vorhanden ist oder nicht, verringert und wird eine Genauigkeit des Bestimmens verbessert, da, wenn entweder der erste Diskontinuitätsgrad, der in Schritt S610 erzielt wird, größer als der dritte vorbestimmte Kriterienwert ST3 ist oder der Index eines Maskierungsbruchs, der in Schritt S620 berechnet wird, sicher größer als der vierte vorbestimmte Kriterienwert ST4 ist, die Vorgänge, die von der Vorrichtung 10 gemäß der vorliegenden Erfindung durchgeführt werden, augenblicklich beendet werden. Daher folgert die Vorrichtung 10, dass das Bestimmen bezüglich dessen, ob Nebel vorhanden ist oder nicht, unmöglich ist, wenn eine Informationsmenge nicht ausreichend ist, die in der maskierten Referenzabbildung enthalten ist.
(Ausgestaltung des vierten Ausführungsbeispiels)
Es ist anwendbar, dass die Randintensitätsanalyse anstelle der Ortsfrequenzanalyse verwendet werden kann. In diesem Fall wird Schritt S700 in 26 anstelle von Schritt S400 in 30 durchgeführt. Weiterhin ist es nicht erforderlich, Schritte S600 und S610 in 30 durchzuführen. Daher wird, nachdem der Schritt S200 beendet ist, der Schritt S620 durchgeführt.
(Fünftes Ausführungsbeispiel)
Unter Bezugnahme auf 31 wird ein fünftes Ausführungsbeispiel der vorliegenden Erfindung erläutert.
In diesem Ausführungsbeispiel ist die Abbildungsverarbeitungs-ECU 14B durch die Abbildungsverarbeitungs-ECU 14 oder 14A in dem vorhergehenden Ausführungsbeispiel ersetzt. Die Abbildungsverarbeitungs-ECU 14B gemäß dem vorliegenden Ausführungsbeispiel beinhaltet eine zentrale Verarbeitungseinheit (CPU) 14α, einen Speicher 14β, einen Treiber 14γ der in ein Fahrzeug eingebauten Kamera, einen Sensortreiber 14δ und einen Millimeterwellenradartreiber 14ε.
In dem Speicher 14β ist ein Computerprogramm 30, das hauptsächlich von der zentralen Verarbeitungseinheit (CPU) 14α ausgeführt wird, um die Schritte S100, S200, S300, S400 und S500 in 4 durchzuführen, gespeichert.
Das Computerprogramm 30 weist ein Referenzabbildungs-Extraktionsmodul 30a, ein Maskierungsmodul 30b, ein Zuverlässigkeits-Schätzmodul 30c, ein Ortsfrequenz-Analysemodul 30d und ein Bestimmungsmodul 30e auf. Das Referenzabbildungs-Extraktionsmodul 30a wird ausgeführt, um den Schritt S100 in 4 durchzuführen. Das Maskierungsmodul 30b wird ausgeführt, um den Schritt S200 in 4 durchzuführen. Das Zuverlässigkeits-Schätzmodul 30c wird ausgeführt, um den Schritt S300 in 4 durchzuführen. Das Ortsfrequenz-Analysemodul 30d wird ausgeführt, um den Schritt S400 in 4 durchzuführen. Das Bestimmungsmodul 30e wird ausgeführt, um den Schritt S500 in 4 durchzuführen. Diese Module bilden ein Programm zur Verwendung mit einem Computersystem, wobei das Programm konkret in einem computerlesbaren Medium realisiert ist und zum Erfassen des Vorhandenseins eines Bestandteils vorgesehen ist, der eine Sicht eines Raums beeinträchtigt, welcher vor einem Fahrzeug vorhanden ist, wobei sich der Bestandteil aus einer natürlichen Erscheinung in dem Raum ergibt, wobei das Programm zulässt, dass der Computer funktional das zuvor offenbarte Verfahren realisiert.
In dem vorliegenden Ausführungsbeispiel kann das Verfahren gemäß der vorliegenden Erfindung einfach und konkret von einem Fahrzeug zu einem anderen Fahrzeug übertragen werden.
(Ausgestaltung des fünften Ausführungsbeispiels)
Unter Bezugnahme auf 32 wird ein fünftes Ausführungsbeispiel der vorliegenden Erfindung erläutert.
In der Ausgestaltung des fünften Ausführungsbeispiels wird ein Randintensitäts-Analysemodul 30d' anstelle des Ortsfrequenz-Analysemoduls 30d in dem fünften Ausführungsbeispiel verwendet.
Obgleich die Erfindung zuvor unter Bezugnahme auf mehrere Ausführungsbeispiele der vorliegenden Erfindung beschrieben worden ist, ist die Erfindung nicht auf die zuvor beschriebenen Ausführungsbeispiele beschränkt. Ausgestaltungen und Änderungen der zuvor beschriebenen Ausführungsbeispiele werden auftreten.
(Hauptsächliche Vorteile der Erfindung)
Gemäß dem zuvor beschriebenen Ausführungsbeispiel werden die folgenden hauptsächlichen Vorteile erzielt.
In der herkömmlichen Vorrichtung, die bestimmt, ob Nebel vorhanden ist oder nicht, ist es erforderlich, die Bilder von Hindernissen, die Rauschen in der Referenzabbildung in der Ortsfrequenzanalyse oder in der Randintensitätsanalyse verursachen, zu maskieren. Dies führt zu einem Erzeugen der diskontinuierlichen Teile in der Durchlauflinie in der maskierten Referenzabbildung. Wenn der Diskontinuitätsgrad erhöht wird, wird die Genauigkeit der Ortsfrequenzanalyse oder der Randintensitätsanalyse verringert, da eine Information, die in der maskierten Referenzabbildung enthalten ist, unzureichend wird. Daher kann ein Fehler bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, erhöht werden. Jedoch wird in der Vorrichtung gemäß der vorliegenden Erfindung die Zuverlässigkeit der Ortsfrequenzanalyse oder der Randintensitätsanalyse auf der Grundlage der Information berücksichtigt, die die maskierte Referenzabbildung enthält. Deshalb ist es möglich, den Fehler bei dem Bestimmen zu verringern, ob Nebel vorhanden ist oder nicht.
Weiterhin beinhaltet in der Vorrichtung gemäß der vorliegenden Erfindung die Vorrichtung die Einrichtung zum Klassifizieren eines Ergebnisses eines Bestimmens in drei Kategorien, das heißt, die Bestandteile sind vorhanden, der Bestandteil ist nicht vorhanden, und das Bestimmen, ob das Vorhandensein des Bestandteils unmöglich ist, auf der Grundlage der Zuverlässigkeit. Deshalb ist es möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist oder nicht.
Weiterhin beinhaltet die Zuverlässigkeit die erste Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, wobei die erste Zuverlässigkeit auf der Grundlage einer Form der Kontur des Hindernisses in der Referenzabbildung berechnet wird, welche sich auf jede einzelne Anzahl von nicht maskierten kontinuierlichen Bereichen der entsprechenden Gruppe der Bildelemente bezieht, wobei die Gruppen der Bildelemente die maskierte Referenzabbildung bilden. Bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, wird die erste Zuverlässigkeit berücksichtigt. Deshalb ist es möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist oder nicht.
Weiterhin beinhaltet die Zuverlässigkeit die zweite Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage einer Fläche, die von der Kontur des Hindernisses umgeben ist, welches sich auf einen Bruch einer Fläche von nicht maskierten Bereichen zu einer Fläche eines maskierten Bereichs in der Referenzabbildung bezieht. Bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, wird die zweite Zuverlässigkeit berücksichtigt. Deshalb ist es möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist oder nicht.
Weiterhin ist es bevorzugt, dass bei dem Bestimmen, ob Nebel vorhanden ist oder nicht, die ersten und zweiten Zuverlässigkeiten betrachtet werden, um den Fehler bei dem Bestimmen zu verringern, ob Nebel vorhanden ist oder nicht.
In einigen Ausführungsbeispielen, die zuvor beschrieben worden sind, wird das Bestimmen, ob das Vorhandensein eines Bestandteils, wie zum Beispiel von Nebel, eine Sicht eines Raums beeinträchtigt, auf der Grundlage der maskierten Referenzabbildung durchgeführt, in welcher das Bild des Hindernisses einer hohen Helligkeit maskiert worden ist. Dies führt zu dem Verringern eines Fehlers bei dem Bestimmen, wobei der Fehler durch das klarere Bild des Hindernisses einer hohen Helligkeit auch im Nebel verursacht wird. Deshalb ist es möglich, genau das Vorhandensein von Nebel in der Umgebungsatmosphäre um das Fahrzeug zu bestimmen.
Weiterhin beinhaltet in dem Maskierungsvorgang das Hindernis einer hohen Helligkeit ein Beleuchtungsobjekt, das Licht abgibt, zum Beispiel das Heckteil des vorausfahrenden Fahrzeugs, das Nebelschlusslicht des vorausfahrenden Fahrzeugs, das Licht, das neben der Straße steht, und dergleichen. Die Bilder dieser Beleuchtungsobjekte, die das Licht abgeben, weisen manchmal klarere Kanten in einer Abbildung, die von der Kamera erfasst wird, auf, auch wenn die Abbildung im Nebel erfasst wird. Das Bestimmen bezüglich des Vorhandenseins eines Bestandteils, wie zum Beispiel von Nebel, der eine Sicht eines Raums beeinträchtigt, wird auf der Grundlage der maskierten Referenzabbildung durchgeführt, in welcher das Bild eines Hindernisses einer hohen Helligkeit maskiert worden ist. Deshalb ist es möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist.
Weiterhin beinhaltet in dem Referenzabbildungs-Extraktionsvorgang die Referenzabbildung lediglich einen Abschnitt der Abbildung, die von der Abbildungs-Erfassungseinrichtung, wie zum Beispiel der in ein Fahrzeug eingebauten Kamera, einer CCD Kamera und dergleichen, erfasst wird. Dies führt zu einem Verringern der Berechnungsmenge, um zu bestimmen, ob Nebel vorhanden ist, der die Abbildung ausbildet. Weiterhin ist das Bild des Hindernisses einer hohen Helligkeit maskiert, um die maskierte Referenzabbildung zu erzeugen. Das endgültige Bestimmen wird auf der Grundlage der maskierten Referenzabbildung durchgeführt. Deshalb ist es möglich, mit einer kleineren Berechnungsmenge genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist.
Weiterhin ist das Hindernis einer hohen Helligkeit als ein Hindernis definiert, das entweder eine höhere Helligkeit als ein vorbestimmter Helligkeitswert in der Abbildung oder eine höhere Helligkeit als die des Himmels aufweist. In dem letzteren Fall kann ein genaueres Bestimmen als in dem ersteren Fall durchgeführt werden, da es nicht irgendein Bild eines Hindernisses, das eine höhere Helligkeit als die des Himmels aufweist, ohne das Hindernis geben kann, das irgendeine Beleuchtungsfunktion aufweist. Deshalb ist es möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist.
Weiterhin wird die Ausgabe des Beleuchtungssensors, der in das Fahrzeug eingebaut ist, verwendet, um jede einzelne Helligkeit der Bildelemente zu schätzen, die die Abbildung bilden, die von der Abbildungs-Erfassungsvorrichtung erfasst wird. Wenn die Beziehung zwischen der Ausgabe des Beleuchtungssensors und der Ist-Helligkeit des Hindernisses oder des Himmels im Voraus geschätzt worden ist, ist es möglich, die Fläche zu bestimmen, welche das Bild des Hindernisses einer hohen Helligkeit in der Abbildung aufweist. Daher ist es auch in dem Fall, in dem die Dichte des Bestandteils, wie zum Beispiel von Nebel, mit dem kleinen Bereich in dem Raum geändert wird, möglich, genau zu bestimmen, ob Nebel in der Umgebungsatmosphäre um das Fahrzeug vorhanden ist, da die Ausgabe des Beleuchtungssensors und die Dichte des Bestandteils, wie zum Beispiel von Nebel, korreliert werden.
Weiterhin wird in dem Maskierungsvorgang die breitere Fläche in der Abbildung, die nicht nur das Bild des Hindernisses einer hohen Helligkeit, sondern ebenso eine Fläche aufweist, in der das Licht, das von dem Hindernis einer hohen Helligkeit abgegeben wird, beeinflusst wird, maskiert. Daher kann der Effekt des Hindernisses einer hohen Helligkeit beseitigt werden. Deshalb ist es möglich, genau zu bestimmen, ob Nebel vorhanden ist.
Obgleich die Erfindung zuvor unter Bezugnahme auf mehrere Ausführungsbeispiele der Erfindung beschrieben worden ist, ist die Erfindung nicht auf die zuvor beschriebenen Ausführungsbeispiele begrenzt. Ausgestaltungen und Änderungen der zuvor beschriebenen Ausführungsbeispiele werden auftreten.
Zum Beispiel wird in dem ersten Ausführungsbeispiel die schnelle Fourier-Analyse als das Ortsfrequenz-Analyseverfahren verwendet. Jedoch ist eine Wavelet-Analyse ebenso anwendbar.
Weiterhin ist eines der Eingangssignale, auf welche die Ortsfrequenzanalyse angewendet wird, durch Werte einer Helligkeit von Bildelementen gebildet, die eine Durchlauflinie oder Abtastlinie in der horizontalen Richtung ausbilden. Es ist zugelassen, dass die Durchlauflinie oder Abtastlinie die vertikale Richtung in der Abbildung aufweist. Weiterhin ist es zugelassen, dass das Eingangssignal eine Information über Werte einer Helligkeit von Bildelementen enthält, welche einen beliebigen Abschnitt der Abbildung, wie zum Beispiel einen quadratischen Abschnitt, ausbilden, der 16 × 16 Bildelemente aufweist.
Weiterhin wird in den zuvor beschriebenen Ausführungsbeispielen die Gesamtzuverlässigkeit auf der Grundlage der ersten Zuverlässigkeit und der zweiten Zuverlässigkeit berechnet. Jedoch ist es zugelassen, dass lediglich eine der ersten und zweiten Zuverlässigkeiten bei dem Bestimmungsvorgang in Schritt S500 in 4 verwendet wird.
Weiterhin ist in den zuvor beschriebenen Ausführungsbeispielen der Gesamtdiskontinuitätsgrad als ein Bruch von Durchlauflinien definiert, deren Diskontinuitätsgrad größer als ein vorbestimmter Wert ist. Jedoch ist es zulässig, dass der Gesamtdiskontinuitätsgrad als eine Anzahl der Durchlauflinien definiert ist, die den Grad von Diskontinuitäten aufweisen, der größer als ein vorbestimmter Wert ist.
Weiterhin wird in den zuvor beschriebenen Ausführungsbeispielen der Bruch der Fläche des beseitigten Bereichs zu der Gesamtfläche der maskierten Referenzabbildung als der Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet. Jedoch ist es zulässig, dass ein Bruch der Fläche des beseitigten Bereichs, welcher in dem Maskierungsvorgang nicht maskiert wird, zu der Gesamtfläche der maskierten Referenzabbildung als der Index eines Maskierungsbruchs der maskierten Referenzabbildung berechnet wird. Weiterhin wird der Index eines Maskierungsbruchs der maskierten Referenzabbildung auf der Grundlage einer Informationsmenge über die maskierte Fläche und die nicht maskierte Fläche in der maskierten Referenzabbildung berechnet.
Weiterhin kann der Referenzabbildungs-Extraktionsvorgang, der in Schritt S100 von 1 durchgeführt wird, weggelassen werden, um durchgeführt zu werden. In diesem Fall ist die Referenzabbildung gleich der Abbildung, die von der in ein Fahrzeug eingebauten Kamera erfasst wird.
Weiterhin wird in dem zuvor beschriebenen dritten Ausführungsbeispiel, um das Bild des Hindernisses einer hohen Helligkeit zu maskieren, die Ist-Helligkeit des Himmels an dem Ort des vorbestimmten Vorderen des Fahrzeugs in Schritt S230 in 29 bestimmt, werden die Werte der Ist-Helligkeit (cd/m²) von jedem von Bildelementen, die den Bereich des Himmels in der Abbildung bilden, auf der Grundlage von Werten einer Helligkeit von jedem der Bildelemente der Referenzabbildung unter Bezugnahme auf die Korrelation zwischen den Werten einer Helligkeit der Bildelemente der Abbildungen, die von der in ein Fahrzeug eingebauten Kamera 12 erfasst werden, und der Ist-Helligkeit des Himmels in Schritt S240 berechnet. Jedoch ist es zulässig, die folgenden Schritte durchzuführen, um das Bild des Hindernisses einer hohen Helligkeit zu maskieren: Erfassen eines Werts einer Beleuchtung des Fahrzeugs, Schätzen der Werte einer Helligkeit, um eine Ist-Helligkeit des Raums vor dem Fahrzeug zu schätzen, auf der Grundlage der Werte einer Helligkeit der Gruppe der Bildelemente in der Referenzabbildung, die von dem Abbildungs-Erfassungsblock unter Bezugnahme auf den Wert einer Beleuchtung des Fahrzeugs erfasst wird, und Erfassen eines Hindernisses einer hohen Helligkeit, um das Hindernis einer hohen Helligkeit zu erfassen, welches sich vor dem Fahrzeug befindet und dessen Bild in der Referenzabbildung beinhaltet ist, um eine Fläche zu bestimmen, die das Bild des Objekts einer hohen Helligkeit in der Referenzabbildung beinhaltet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 20073927 [0001]
- WO 03/069275 [0009]
- WO 2007/083307 [0011]
- FR 2847367 [0014]
- JP 3444192 [0017, 0018]
- JP 344419 [0017]
- JP 2006-221467 [0020]

Claims

Vorrichtung, die das Vorhandensein eines Bestandteils erfasst, der eine Sicht eines Raums beeinträchtigt, welcher vor einem Fahrzeug vorhanden ist, wobei der Bestandteil in dem Raum enthalten ist, die aufweist: eine Einrichtung zum Erfassen der Abbildung eines Raums, wobei die Abbildung von dem Fahrzeug betrachtet wird und aus Gruppen von Bildelementen besteht, die Helligkeitswerte aufweisen; eine Einrichtung zum Extrahieren einer Referenzabbildung aus der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand entfernt von dem Fahrzeug befindet; eine Einrichtung zum Schätzen der Helligkeitswerte der Gruppen der Bildelemente in der Referenzabbildung; eine Einrichtung zum Erfassen eines Hindernisses aus der Referenzabbildung, um eine Kontur des Hindernisses in der Referenzabbildung zu erzielen; eine Einrichtung zum Maskieren eines Bereichs, der das Bild des Hindernisses in der Referenzabbildung beinhaltet, in Übereinstimmung mit der Kontur des Hindernisses, das von der Einrichtung zum Erfassen des Hindernisses erfasst wird, um eine maskierte Referenzabbildung zu erzeugen; eine Einrichtung zum Berechnen einer Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage des Bereichs, welcher beim Erzeugen der maskierten Referenzabbildung maskiert wird; eine Einrichtung zum Berechnen einer Gesamthelligkeitsintensität als eine Funktion der Helligkeitswerte der Gruppen der Bildelemente in der maskierten Referenzabbildung, um eine Gesamthelligkeitsintensität zu erzielen; und eine Einrichtung zum Bestimmen eines Vorhandenseins des Bestandteils in Übereinstimmung mit der Gesamthelligkeitsintensität, die von der Einrichtung zum Berechnen der Gesamthelligkeitsintensität berechnet wird, und der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die von der Einrichtung zum Berechnen der Zuverlässigkeit berechnet wird.
Vorrichtung nach Anspruch 1, wobei eine Einrichtung zum Berechnen der Zuverlässigkeit eine erste Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage einer Form der Kontur des Hindernisses in der Referenzabbildung berechnet, welche sich auf eine einzelne Anzahl von nicht maskierten kontinuierlichen Teilen der entsprechenden Gruppe der Bildelemente bezieht, wobei die Gruppen der Bildelemente die maskierte Referenzabbildung bilden, und eine Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl der Gesamthelligkeitsintensität als auch der ersten Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils bestimmt.
Vorrichtung nach Anspruch 1, wobei die Einrichtung zum Berechnen einer Zuverlässigkeit eine zweite Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage einer Fläche berechnet, die von der Kontur des Hindernisses umgeben ist, welche sich auf einen Bruch einer Fläche von nicht maskierten Bereichen zu einer Fläche eines maskierten Bereichs in der Referenzabbildung bezieht, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl der Gesamthelligkeitsintensität als auch der zweiten Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils bestimmt.
Vorrichtung nach Anspruch 2, wobei die Einrichtung zum Berechnen einer Zuverlässigkeit eine zweite Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage einer Fläche berechnet, die von der Kontur des Hindernisses umgeben ist, welche sich auf einen Bruch einer Fläche von nicht maskierten Bereichen zu einer Fläche eines maskierten Bereichs in der Referenzabbildung bezieht, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl der Gesamthelligkeitsintensität als auch der zweiten Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils bestimmt.
Vorrichtung nach Anspruch 1, wobei die Einrichtung zum Bestimmen ein Ergebnis eines Bestimmens in drei Kategorien, das heißt, die Bestandteile sind vorhanden, der Bestandteil ist nicht vorhanden, und das Bestimmen, ob das Vorhandensein des Bestandteils unmöglich ist, auf der Grundlage der Zuverlässigkeit klassifiziert.
Vorrichtung nach Anspruch 4, wobei die Einrichtung zum Bestimmen ein Ergebnis eines Bestimmens in drei Kategorien, das heißt, die Bestandteile sind vorhanden, der Bestandteil ist nicht vorhanden, und das Bestimmen, ob das Vorhandensein des Bestandteils unmöglich ist, auf der Grundlage der ersten und zweiten Zuverlässigkeiten klassifiziert, die von dem Zuverlässigkeits-Berechnungsblock berechnet werden.
Vorrichtung nach Anspruch 1, die weiterhin aufweist: eine Einrichtung zum Erfassen einer Form einer Straße, über welche das Fahrzeug fährt, wobei eine Einrichtung zum Extrahieren einer Referenzabbildung einen Abschnitt der Abbildung des Raums, der sich in einem vorbestimmten Abstand vor dem Fahrzeug auf der Straße befindet, deren Form von der Einrichtung zum Erfassen der Straßenform erfasst wird, aus der Abbildung extrahiert, die von der Einrichtung zum Erfassen der Abbildung als die Referenzabbildung erfasst wird.
Vorrichtung nach Anspruch 7, die weiterhin aufweist: eine Einrichtung zum Erzeugen von binären Daten der Abbildung, die eine Information über die Werte einer Helligkeit der Bildelemente der Abbildung aufweist, die von dem Abbildungserfassungsblock erfasst wird; und eine Einrichtung zum Erfassen einer Form einer Fahrspurteilungs-Markierungslinie auf der Straße auf der Grundlage der binären Daten unter Verwendung einer Tatsache, dass die Fahrspurteilungs-Markierungslinie mit einer Farbe gezeichnet ist, die eine hohe Graustufenintensität aufweist, wobei die Einrichtung zum Erfassen der Form der Straße die Form der Straße, über welche das Fahrzeug fährt, auf der Grundlage der Form der Fahrspurteilungs-Markierungslinie auf der Straße erfasst, die von dem Fahrspurteilungsmarkierungslinien-Erfassungsblock erfasst wird.
Vorrichtung nach Anspruch 1, wobei die Einrichtung zum Berechnen einer Gesamthelligkeitsintensität Helligkeitsdaten, die sequenzielle Werte einer Helligkeit der Bildelemente in jeder einzelnen Gruppe beinhalten, als eine Summe von Basisfunktionen mit jeweiligen Koeffizienten transformiert und ein Gesamtortsleistungsspektrum der Abbildung auf der Grundlage der Koeffizienten berechnet, die in der Transformation der Helligkeitsdaten berechnet werden, wobei die maskierte Referenzabbildung durch sequenzielle Werte einer Helligkeit der nicht maskierten Bildelemente in jeder einzelnen Gruppe derart ausgedrückt ist, dass eine Länge der Helligkeitsdaten kürzer wird, wenn die Anzahl von Werten einer Helligkeit der nicht maskierten Bildelemente kleiner wird, und die Einrichtung zum Berechnen einer Gesamthelligkeitsintensität das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl dem Gesamtortsleistungsspektrum, das von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, das von dem Zuverlässigkeits-Berechnungsblock berechnet wird, unter Verwendung einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was einen kleineren Wert des Gesamtortsleistungsspektrums als den ergibt, der in dem Fall erzielt wird, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 1, wobei die Einrichtung zum Berechnen einer Gesamthelligkeitsintensität einen Randoperator in jedem der Bildelemente in der maskierten Referenzabbildung anwendet, um zu jeder einzelnen Randintensität des entsprechenden Bildelements zu führen, und eine Gesamtrandintensität als eine Summe der einzelnen Randintensitäten des Bildelements in der maskierten Referenzabbildung berechnet, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl der Gesamtrandintensität, die von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die von dem Zuverlässigkeits-Berechnungsblock berechnet wird, unter Verwendung einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was zu einem kleineren Wert der Gesamtrandintensität als dem führt, der in dem Fall erzielt wird, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 2, wobei die Einrichtung zum Berechnen einer Gesamthelligkeitsintensität Helligkeitsdaten, die sequenzielle Werte einer Helligkeit der Bildelemente in jeder einzelnen Gruppe beinhalten, als eine Summe von Basisfunktionen mit jeweiligen Koeffizienten transformiert und ein Gesamtortsleistungsspektrum der Abbildung auf der Grundlage der Koeffizienten berechnet, die in der Transformation der Helligkeitsdaten berechnet werden, wobei die maskierte Referenzabbildung durch sequenzielle Werte einer Helligkeit der nicht maskierten Bildelemente in jeder einzelnen Gruppe derart ausgedrückt ist, dass eine Länge der Helligkeitsdaten kürzer wird, wenn die Anzahl von Werten einer Helligkeit der nicht maskierten Bildelemente kleiner wird, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl dem Gesamtortsleistungsspektrum, das von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch der ersten Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die von dem Zuverlässigkeits-Berechnungsblock berechnet wird, unter Verwendung einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was zu einem kleineren Wert einer Helligkeit oder einem kleineren Wert des Ortsleistungsspektrums als Werte in dem Fall führt, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 11, wobei der Bestandteil, der die Sicht des Raums beeinträchtigt, welcher vor dem Fahrzeug vorhanden ist, Nebel ist.
Vorrichtung nach Anspruch 3, wobei die Einrichtung zum Berechnen einer Gesamthelligkeitsintensität einen Randoperator in jedem der Bildelemente in der maskierten Referenzabbildung anwendet, um zu jeder einzelnen Randintensität des entsprechenden Bildelements zu führen, und eine Gesamtrandintensität als eine Summe der einzelnen Randintensitäten des Bildelements in der maskierten Referenzabbildung berechnet, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl der Gesamtrandintensität, die von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die von dem Zuverlässigkeits-Berechnungsblock berechnet wird, unter einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was zu einem kleineren Wert der Gesamtrandintensität als dem führt, der in dem Fall erzielt wird, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 11, wobei der Bestandteil, der die Sicht des Raums beeinträchtigt, welcher vor dem Fahrzeug vorhanden ist, Nebel ist.
Vorrichtung nach Anspruch 3, wobei die Einrichtung zum Berechnen der Gesamthelligkeitsintensität Helligkeitsdaten, die sequenzielle Werte einer Helligkeit der Bildelemente in jeder einzelnen Gruppe beinhalten, als eine Summe von Basisfunktionen mit jeweiligen Koeffizienten transformiert und ein Gesamtortsleistungsspektrum der Abbildung auf der Grundlage der Koeffizienten berechnet, die in der Transformation der Helligkeitsdaten berechnet werden, wobei die maskierte Referenzabbildung durch sequenzielle Werte einer Helligkeit der nicht maskierten Bildelemente in jeder einzelnen Gruppe derart ausgedrückt ist, dass eine Länge der Helligkeitsdaten kürzer wird, wenn die Anzahl von Werten einer Helligkeit der nicht maskierten Bildelemente kleiner wird, und die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl dem Gesamtortsleistungsspektrum, das von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die von dem Zuverlässigkeits-Berechnungsblock berechnet wird, unter Verwendung einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was zu einem kleineren Wert des Gesamtortsleistungsspektrums als dem führt, der in dem Fall erzielt wird, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 15, wobei der Bestandteil, der die Sicht des Raums beeinträchtigt, welcher vor dem Fahrzeug vorhanden ist, Nebel ist.
Vorrichtung nach Anspruch 11, wobei die Einrichtung zum Berechnen der Gesamthelligkeitsintensität weiterhin einen Randoperator in jedem der Bildelemente in der maskierten Referenzabbildung anwendet, um zu jeder einzelnen Randintensität des entsprechenden Bildelements zu führen, und eine Gesamtrandintensität als eine Summe der einzelnen Randintensitäten des Bildelements in der maskierten Referenzabbildung berechnet, die Einrichtung zum Bestimmen das Vorhandensein des Bestandteils in der Umgebungsatmosphäre um das Fahrzeug in Übereinstimmung mit sowohl dem Gesamtortsleistungsspektrum, das von dem Gesamthelligkeits-Berechnungsblock berechnet wird, als auch den ersten und zweiten Zuverlässigkeiten eines Bestimmens des Vorhandenseins des Bestandteils, die von dem Zuverlässigkeits-Berechnungsblock berechnet werden, unter Verwendung einer Tatsache bestimmt, dass der Bestandteil in der Atmosphäre ein Licht von der Sonne streut, was zu einer verringerten Helligkeit oder einem verringerten Ortsleistungsspektrum von einem Wert führt, der in dem Fall erzielt wird, in dem der Bestandteil in der Umgebungsatmosphäre um das Fahrzeug nicht vorhanden ist.
Vorrichtung nach Anspruch 17, wobei der Bestandteil, der die Sicht des Raums beeinträchtigt, welcher vor dem Fahrzeug vorhanden ist, Nebel ist.
Verfahren zum Erfassen des Vorhandenseins eines Bestandteils, der eine Sicht eines Raums beeinträchtigt, welcher vor einem Fahrzeug vorhanden ist, wobei sich der Bestandteil in dem Raum befindet, das die Schritte aufweist: Erfassen der Abbildung eines Raums, wobei die Abbildung von dem Fahrzeug betrachtet wird und aus Gruppen von Bildelementen besteht, die Helligkeitswerte aufweisen, Extrahieren einer Referenzabbildung aus der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand entfernt von dem Fahrzeug befindet; Schätzen der Helligkeitswerte der Gruppen der Bildelemente in der Referenzabbildung, Erfassen eines Hindernisses aus der Referenzabbildung, um eine Kontur des Hindernisses in der Referenzabbildung zu erzielen; Maskieren eines Bereichs, der das Bild des Hindernisses in der Referenzabbildung beinhaltet, in Übereinstimmung mit der Kontur des Hindernisses, das in dem Schritt eines Erfassens des Hindernisses erfasst wird, um eine maskierte Referenzabbildung zu erzeugen; Berechnen einer Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage des Bereichs, welcher bei einem Erzeugen der maskierten Referenzabbildung maskiert wird; Berechnen einer Gesamthelligkeitsintensität als eine Funktion der Helligkeitswerte der Gruppen der Bildelemente in der maskierten Referenzabbildung, um eine Gesamthelligkeitsintensität zu erzielen; und Bestimmen eines Vorhandenseins des Bestandteils in Übereinstimmung mit der Gesamthelligkeitsintensität, die in dem Schritt eines Berechnens der Gesamthelligkeitsintensität berechnet wird, und der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die in dem Schritt eines Berechnens der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils berechnet wird.
Programm zur Verwendung mit einem Computersystem, wobei das Programm konkret in einem computerlesbaren Medium realisiert ist und zum Erfassen des Vorhandenseins eines Bestandteils vorgesehen ist, der eine Sicht eines Raums beeinträchtigt, welcher vor einem Fahrzeug vorhanden ist, wobei sich der Bestandteil in dem Raum befindet, wobei das Programm zulässt, dass der Computer funktional realisiert: Erfassen der Abbildung eines Raums, wobei die Abbildung von dem Fahrzeug betrachtet wird und aus Gruppen von Bildelementen besteht, die Helligkeitswerte aufweisen; Extrahieren einer Referenzabbildung aus der Abbildung, die von dem Abbildungs-Erfassungsblock erfasst wird, wobei die Referenzabbildung einen Abschnitt der Abbildung des Raums beinhaltet, der sich in einem vorbestimmten Abstand entfernt von dem Fahrzeug befindet; Schätzen der Helligkeitswerte der Gruppen der Bildelemente in der Referenzabbildung; Erfassen eines Hindernisses aus der Referenzabbildung, um eine Kontur des Hindernisses in der Referenzabbildung zu erzielen; Maskieren eines Bereichs, der das Bild des Hindernisses in der Referenzabbildung beinhaltet, in Übereinstimmung mit der Kontur des Hindernisses, das in dem Schritt eines Erfassens des Hindernisses erfasst wird, um eine maskierte Referenzabbildung zu erzeugen; Berechnen einer Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils auf der Grundlage des Bereichs, welcher bei einem Erzeugen der maskierten Referenzabbildung maskiert wird; Berechnen einer Gesamthelligkeitsintensität als eine Funktion der Helligkeitswerte der Gruppen der Bildelemente in der maskierten Referenzabbildung, um eine Gesamthelligkeitsintensität zu erzielen; und Bestimmen eines Vorhandenseins des Bestandteils in Übereinstimmung mit der Gesamthelligkeitsintensität, die in dem Schritt eines Berechnens der Gesamthelligkeitsintensität berechnet wird, und der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils, die in dem Schritt eines Berechnens der Zuverlässigkeit eines Bestimmens des Vorhandenseins des Bestandteils berechnet wird.