DE102013112171A1

DE102013112171A1 - Außenumgebungserkennungsvorrichtung

Info

Publication number: DE102013112171A1
Application number: DE102013112171.3A
Authority: DE
Inventors: Shinnosuke Kido
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2012-11-09
Filing date: 2013-11-06
Publication date: 2014-05-15
Anticipated expiration: 2033-11-07
Also published as: CN103810469B; US9224055B2; CN103810469A; DE102013112171B4; JP5666538B2; JP2014096712A; US20140132769A1

Abstract

Es wird eine Außenumgebungserkennungsvorrichtung bereitgestellt. Eine Außenumgebungserkennungsvorrichtung 130 weist auf: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objektes auf der Basis eines Farbbildes, eine Datenhalteeinheit 152, um das spezifische Objekt und einen Luminanzbereich, der die Farbe des spezifischen Objektes anzeigt, zuzuordnen und zu halten, und eine Transparenzreduktion-Bestimmungseinheit 172, um eine Luminanz des Farbbildes des spezifischen Objektes und einen Luminanzbereich, der dem spezifischen Objekt zugeordnet ist, zu vergleichen, und um eine Reduktion der Transparenz in einem transparenten Element, das sich in einer Bildaufnahmerichtung der Onboardkamera befindet, zu bestimmen.

Description

Die vorliegende Erfindung betrifft eine Außenumgebungserkennungsvorrichtung zum Erkennen einer Umgebung außerhalb eines Subjektfahrzeugs und, genauer gesagt, eine Außenumgebungserkennungsvorrichtung zum Detektieren von Schmutz oder Beschlag, der an optischen Komponenten und der Windschutz- beziehungsweise Frontscheibe haftet, sowie eine geeignete Verarbeitung von einem Bild entsprechend einem Detektionsergebnis.
Außenumgebungserkennungsvorrichtungen wie beispielsweise diejenige, die in der japanischen ungeprüften Patentanmeldungsveröffentlichung ( JP-A) Nr. 2010-224925 A beschrieben ist, sind bekannt. Die Außenumgebungserkennungsvorrichtung weist eine Onboardkamera auf, die an einem Fahrzeug montiert ist, um ein Bild einer Straßenumgebung vor einem Subjektfahrzeug aufzunehmen, und detektiert Lichtquellen, wie beispielsweise Verkehrslichter beziehungsweise Ampeln und ein Bremslicht auf der Basis von Farbinformation und Positionsinformation in dem Bild.
Wenn eine Lichtquelle detektiert wird unter Verwendung von Farbinformation in einem Bild, wie zuvor beschrieben, kann das folgende Problem auftreten: wenn ein starkes Umgebungslicht wie beispielsweise Sonnenlicht (Bildaufnahme gegen das Sonnenlicht) in der Bildaufnahmerichtung emittiert wird, während sich Schmutz oder Beschlag auf einem lichtdurchlässigen beziehungsweise transparenten Körper wie beispielsweise einer Windschutzscheibe in der Bildaufnahmerichtung befindet, sowie einer optischen Komponente wie beispielsweise einer Linse, dann wird die Farbkomponente des Umgebungslichts zu dem gesamten aufgenommenen Bild hinzuaddiert und dies bewirkt, dass das Zielobjekt in dem Bild eine Farbe aufweist, die verschieden ist von der Originalfarbe. Dies führt dazu, dass die Erkennungsgenauigkeit der Lichtquelle unter Verwendung der Farbinformation reduziert ist und es unmöglich wird, die Lichtquelle zu erkennen.
Die vorliegende Erfindung erfolgte im Hinblick auf ein solches Problem und es ist eine Aufgabe der vorliegenden Erfindung, eine Außenumgebungserkennungsvorrichtung bereitzustellen, die dazu geeignet ist, die Existenz von Schmutz oder Beschlag auf der Windschutzscheibe und einer optischen Komponente einer Onboardkamera zu detektieren und in geeigneter Weise ein Bild zu erkennen unter Verwendung von Farbinformation selbst in einer solchen Umgebung.
Gemäß einem Aspekt der vorliegenden Erfindung stellt diese eine Außenumgebungserkennungsvorrichtung bereit zum Erkennen der Umgebung außerhalb eines Subjektfahrzeugs auf der Basis eines Farbbildes, das von einer Onboardkamera aufgenommen wird. Die Außenumgebungserkennungsvorrichtung weist auf: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objekts auf der Basis des Farbbildes, eine Datenhalteeinheit zum Assoziieren und Halten des spezifischen Objekts und eines Luminanzbereichs, der die Farbe des spezifischen Objekts anzeigt, und eine Transparenzreduktion-Bestimmungseinheit zum Vergleichen einer Luminanz des Farbbildes des spezifischen Objektes und eines Luminanzbereichs, der dem spezifischen Objekt zugeordnet ist, und zum Bestimmen einer Reduktion der Transparenz eines transparenten Körpers, der sich in der Bildaufnahmerichtung der Onboardkamera befindet.
Die Datenhalteeinheit kann zudem das spezifische Objekt und die Originalluminanz des spezifischen Objektes halten und zuordnen und die Außenumgebungserkennungsvorrichtung kann weiterhin aufweisen eine Korrekturbetrag-Herleiteeinheit zum Herleiten des Betrags einer Korrektur auf der Basis einer Differenz zwischen Luminanz des Farbbildes des spezifischen Objektes und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, sowie eine Luminanzkorrektureinheit zum Korrigieren der Luminanz des Zielteils des Farbbildes auf der Basis des so abgeleiteten Betrags der Korrektur. Die Spezifisches-Objekt-Detektionseinheit kann das spezifische Objekt detektieren auf der Basis des korrigierten Farbbildes.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird bereitgestellt eine Außenumgebungserkennungsvorrichtung zum Erkennen der Umgebung außerhalb eines Subjektfahrzeugs auf der Basis eines Farbbildes, das von einer Onboardkamera aufgenommen wird. Die Außenumgebungserkennungsvorrichtung weist auf: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objekts auf der Basis des Farbbildes, eine Datenhalteeinheit zum Zuordnen und Halten des spezifischen Objektes und einer Originalluminanz, die die Farbe des spezifischen Objektes anzeigt, eine Korrekturbetrag-Herleiteeinheit zum Herleiten des Betrags einer Korrektur auf der Basis eines Unterschiedes zwischen einer Luminanz des Farbbildes des spezifischen Objektes und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, und eine Luminanzkorrektureinheit zum Korrigieren der Luminanz des Zielteils des Farbbildes auf der Basis des so abgeleiteten Betrags der Korrektur. Die Spezifisches-Objekt-Detektionseinheit detektiert das spezifische Objekt auf der Basis des korrigierten Farbbildes.
Die Außenumgebungserkennungsvorrichtung kann weiterhin aufweisen eine Transparenzreduktion-Detektionseinheit zum Detektieren einer Reduktion in der Transparenz des transparenten Körpers, der sich in einer Bildaufnahmerichtung der Onboardkamera befindet. Die Korrekturbetrag-Herleiteeinheit leitet den Betrag der Korrektur ab, wenn die Reduktion in der Transparenz des transparenten Körpers detektiert wird.
Die Korrekturbetrag-Herleiteeinheit kann einen Basisbetrag einer Korrektur herleiten, der erhalten wird durch Teilen des abgeleiteten Betrags der Korrektur durch eine Belichtungszeit des Farbbildes, und die Luminanzkorrektureinheit kann die Luminanz des Zielteils des Farbbildes korrigieren auf der Basis des Betrags der Korrektur, der erhalten wird durch Multiplizieren des Basisbetrags der Korrektur mit der Belichtungszeit des Farbbildes des Korrekturziels.
Die Korrekturbetrag-Herleiteeinheit kann den Betrag der Korrektur herleiten pro unterteiltem Bereich, der erhalten wird durch Unterteilen des Farbbildes in mehrere Bereiche.
Die Korrekturbetrag-Herleiteeinheit kann einen Betrag der Korrektur herleiten für einen unterteilten Bereich, für den der Betrag der Korrektur nicht abgeleitet ist, auf der Basis eines Betrags einer Korrektur eines unterteilten Bereichs, für den ein Betrag einer Korrektur abgeleitet ist.
Die Korrekturbetrag-Herleiteeinheit kann wiederum als einen Betrag einer Korrektur, einen Zeitdurchschnittswert des Betrags der Korrektur annehmen, der hergeleitet wird auf der Basis einer Differenz zwischen der Luminanz des Farbbildes des spezifischen Objektes und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, und des Betrags der Korrektur, der zuvor hergeleitet wurde in dem gleichen Detektionsbereich oder dem gleichen unterteilten Bereich.
Die Spezifisches-Objekt-Detektionseinheit kann das spezifische Objekt detektieren auf der Basis einer zeitlichen Luminanzänderung des Farbbildes über die Zeit.
Die Erfindung wird nachfolgend weiter erläutert anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen.
1 ist ein Blockschaubild, das eine Verbindungsbeziehung in einem Umgebungserkennungssystem zeigt.
2A und 2B sind beispielhafte Darstellungen zum Erläutern eines Luminanzbildes und eines Abstandsbildes.
3 ist eine beispielhafte Darstellung zum Erläutern eines Effekts eines Umgebungslichts in dem Umgebungserkennungssystem.
4 ist ein funktionales Blockschaubild, das schematisch Funktionen der Außenumgebungserkennungsvorrichtung zeigt.
5A ist eine beispielhafte Darstellung zum Erläutern einer Spezifisches-Objekt-Korrespondenztabelle.
5B ist eine beispielhafte Darstellung zum Erläutern einer Schmutzbestimmungstabelle.
5C ist eine beispielhafte Darstellung zum Erläutern einer Korrekturreferenztabelle.
6 ist eine beispielhafte Darstellung zum Erläutern der Umwandlung in dreidimensionale Positionsinformation mittels einer Positionsinformation-Erlangungseinheit.
7 ist eine beispielhafte Darstellung zum Erläutern einer Spezifisches-Objekt-Abbildung.
8 ist eine beispielhafte Darstellung zum Erläutern einer Bestimmung eines Ziels einer Transparenzreduktion-Bestimmungseinheit.
9 ist eine beispielhafte Darstellung zum Erläutern eines Prozessablaufs einer Korrekturbetrag-Herleiteeinheit.
10 ist eine weitere beispielhafte Darstellung zum Erläutern des Prozessablaufs der Korrekturbetrag-Herleiteeinheit.
11 ist ein Flussdiagramm, das einen Gesamtablauf eines Umgebungserkennungsverfahrens zeigt.
12 ist ein Flussdiagramm, das einen Ablauf eines Spezifisches-Objekt-Abbildung-Erzeugungsprozesses zeigt.
13 ist ein Flussdiagramm, das einen Ablauf eines Gruppierungsprozesses zeigt.
14 ist ein Flussdiagramm, das einen Ablauf eines Spezifisches-Objekt-Bestimmungsprozesses zeigt.
15 ist ein Flussdiagramm, das einen Ablauf eines Transparenzreduktion-Bestimmungsprozesses zeigt, und
16 ist ein Flussdiagramm, das einen Ablauf eines Korrekturbetrag-Herleitungsprozesses zeigt.
Ein Ausführungsbeispiel der vorliegenden Erfindung wird nachfolgend detailliert erläutert unter Bezug auf die beigefügten Zeichnungen. Die Größen, Materialien und andere spezifische numerische Werte, die in den Beispielen gezeigt sind, sind lediglich Veranschaulichungen zum Zwecke des Verständnisses der Erfindung und, soweit nicht anderweitig angegeben, schränken diese die vorliegende Erfindung nicht ein. In der vorliegenden Beschreibung und den Zeichnungen sind Elemente und Konfigurationen mit im Wesentlichen gleichen Funktionen mit dem gleichen Bezugszeichen bezeichnet und eine wiederholte Erläuterung wird aus diesem Grunde weggelassen. Elemente, die nicht unmittelbar auf die vorliegende Erfindung bezogen sind, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung in einem Umgebungserkennungssystem 100 zeigt. Das Umgebungserkennungssystem 100 beinhaltet mehrere Bildaufnahmevorrichtungen 110 (in diesem Beispiel zwei Bildaufnahmevorrichtungen 110), die als Onboardkameras dienen, eine Bildverarbeitungsvorrichtung 120, eine Außenumgebungserkennungsvorrichtung 130 und eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 bereitgestellt sind.
Die Bildaufnahmevorrichtung 110 verfügt über ein Bildgebungselement wie beispielsweise eine ladungsgekoppelte Vorrichtung (CCD) und einen Komplementär-Metalloxidhalbleiter (CMOS) und kann ein Farbbild erlangen beziehungsweise aufnehmen, das heißt Luminanz von drei Farbphasen (rot: R, grün: G, blau: B) pro Pixel. In diesem Beispiel werden, wenn Farbe und Luminanz gleich behandelt werden, beide Begriffe in dem selben Text verwendet, sie können gelesen werden als Luminanz konstituierende Farbe oder Farbe mit Luminanz. In diesem Fall werden Farbbilder, die von den Bildaufnahmevorrichtungen 110 aufgenommen werden, als Luminanzbilder bezeichnet, die sich unterscheiden von einem Abstandsbild, das später erläutert wird.
Die Bildaufnahmevorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung voneinander beabstandet angeordnet, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 in einer Vorwärtsrichtung des Fahrzeugs im Wesentlichen parallel liegen. Die Bildaufnahmevorrichtung 110 erzeugt kontinuierlich Bilddaten, die erhalten werden durch Aufnehmen eines Bildes eines Zielobjektes, das sich vor dem Fahrzeug 1 befindet, beispielsweise in jedem Rahmen zu jeder 1/60 Sekunde (60 fps). In diesem Fall kann das Zielobjekt nicht nur ein unabhängiges dreidimensionales Objekt sein, wie beispielsweise ein Fahrzeug, ein Verkehrslicht, eine Straße und eine Leitplanke, sondern auch leuchtende Teile, wie beispielsweise eine Heckleuchte, ein Blinklicht, ein Verkehrslicht beziehungsweise eine Ampel, die als Teile von dreidimensionalen Objekten beschrieben werden können. Jede später beschriebene funktionale Einheit in dem nachfolgenden Beispiel führt Prozesse für jeden Rahmen als Reaktion auf die Aktualisierung solcher Bilddaten aus.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet Parallaxe ab, unter Verwendung eines so genannten Musterabgleichs zum Suchen eines Blocks, der mit einem Block korrespondiert, der von den Bilddatenstücken extrahiert wurde, aus den anderen Bilddaten. Der Block ist beispielsweise ein Feld, das vier Pixel in der horizontalen Richtung und vier Pixel in der vertikalen Richtung aufweist. in diesem Beispiel bedeutet „horizontal” die horizontale Richtung des aufgenommenen Bildes und entspricht der Breitenrichtung in der realen Welt, und „vertikal” bedeutet die vertikale Richtung des aufgenommenen Bildes und entspricht der Höhenrichtung in der realen Welt.
Ein Weg des Durchführens des Musterabgleichs ist es, Luminanzwerte (Y-Farbdifferenz-Signale) zwischen zwei Stücken beziehungsweise Sätzen von Bilddaten pro Block zu vergleichen, die eine Bildposition anzeigen. Beispiele beinhalten eine Summe der absoluten Differenz (SAD), die eine Differenz der Luminanzwerte erhält, eine Summe der quadrierten Intensitätsdifferenz (SSD), bei der eine Differenz quadriert und die quadrierte Differenz verwendet wird, und eine normalisierte Kreuzkorrelation (NCC), die den Grad der Ähnlichkeit von Dispersionswerten, erhalten durch Subtraktion eines Luminanzhauptwertes von einem Luminanzwert jedes Pixels, übernimmt. Die Bildverarbeitungsvorrichtung 120 führt einen Parallaxe-Herleitungsprozess pro Block durch, für alle Blöcke, die in dem Detektionsbereich erscheinen (zum Beispiel 600 Pixel mal 180 Pixel). In diesem Fall wird angenommen, dass der Block 4 Pixel×4 Pixel aufweist, wobei die Anzahl der Pixel in dem Block jedoch auf jeden beliebigen Wert gesetzt werden kann.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als Detektion-Auflöseeinheit dient, ist es unmöglich zu erkennen, zu welcher Art Zielobjekt der Block gehört. Daher wird die Parallaxeinformation nicht pro Zielobjekt hergeleitet, sondern unabhängig hergeleitet in Detektion-Auflöseeinheiten (zum Beispiel pro Block) in dem Detektionsbereich. In diesem Beispiel wird ein Bild, das erhalten wird durch Zuordnen der so hergeleiteten Parallaxeinformation (entsprechend einem weiter unten beschriebenen relativen Abstand) zu Bilddaten, als ein Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zum Erläutern eines Luminanzbildes 124 und eines Abstandsbildes 126. Es sei beispielsweise angenommen, dass das Luminanzbild (Bilddaten) 124, wie es in 2A dargestellt ist, erzeugt wird im Bezug auf einen Detektionsbereich 122 mittels der zwei Bildaufnahmevorrichtungen 110. Hier ist zum Zwecke der leichteren Verständlichkeit lediglich eines der zwei Luminanzbilder 124 schematisch dargestellt. In diesem Beispiel erhält die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block von diesem Luminanzbild 124 und bildet das Abstandsbild 126, wie in 2B gezeigt. Jeder Block des Abstandsbilds 126 ist einer Parallaxe des Blocks zugeordnet. In der Zeichnung ist zum Zwecke der Erläuterung ein Block, von dem eine Parallaxe hergeleitet ist, durch einen schwarzen Punkt angezeigt.
Die Parallaxe kann leicht spezifiziert werden an einem Randbereich (einem Teil, an dem ein großer Kontrastunterschied zwischen benachbarten Pixeln gegeben ist) von Objekten, und daher ist der Block, von dem eine Parallaxe hergeleitet ist, in dem Abstandsbild 126 mit schwarzen Punkten bezeichnet, wahrscheinlich ebenfalls ein Rand beziehungsweise eine Kante in dem Luminanzbild 124. Das Luminanzbild 124, wie in 2A dargestellt, und das Abstandsbild 126, wie in 2B dargestellt, sind daher ähnlich bezüglich der äußeren Linien von jedem Zielobjekt.
Zurückkommend auf 1, erhält die Außenumgebungserkennungsvorrichtung 130 das Luminanzbild 124 und das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und verwendet die Luminanz, basierend auf dem Luminanzbild 124, um zu bestimmen, welchem spezifischen Objekt das Zielobjekt in dem Detektionsbereich 122 entspricht. Zudem wird ebenfalls ein relativer Abstand des Fahrzeugs 1, basierend auf dem Abstandsbild 126, verwendet, um das Zielobjekt zu identifizieren. In diesem Beispiel verwendet die Außenumgebungserkennungsvorrichtung 130 ein sogenanntes Stereoverfahren, um die Parallaxeinformation für jeden Block in dem Detektionsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines relativen Abstandes umzuwandeln. Das Stereoverfahren ist ein Verfahren, das ein Triangulationsverfahren verwendet, um einen relativen Abstand eines Zielobjektes im Bezug auf die Bildaufnahmevorrichtung 110 von der Parallaxe des Zielobjektes abzuleiten. Die Außenumgebungserkennungsvorrichtung 130 wird weiter unten im Detail erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet beziehungsweise verhindert eine Kollision mit dem Zielobjekt, das von der Außenumgebungserkennungsvorrichtung 130 spezifiziert wurde, und führt eine Steuerung durch, um so einen sicheren Abstand von dem vorausfahrenden Fahrzeug einzuhalten. Genauer gesagt, die Fahrzeugsteuerungsvorrichtung 140 erhält einen derzeitigen Fahrtzustand des Fahrzeugs 1, basierend auf beispielsweise einem Lenkwinkelsensor 142 zum Detektieren eines Lenkwinkels und einem Fahrzeuggeschwindigkeitssensor 144 zum Detektieren der Geschwindigkeit des Fahrzeugs 1, wobei sie eine Betätigungseinrichtung 146 ansteuert zum Aufrechterhalten eines sicheren Abstandes von dem vorausfahrenden Fahrzeug. Die Betätigungseinrichtung 146 ist eine Einrichtung zur Steuerung des Fahrzeugs, die verwendet wird zur Steuerung einer Bremse, eines Drosselventils, des Lenkwinkels und dergleichen. Wenn eine Kollision mit einem Zielobjekt erwartet wird, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Benachrichtigung) der zu erwartenden Kollision auf einer Anzeige 148 an, die vor dem Fahrer bereitgestellt ist, und steuert die Betätigungseinrichtung 146, um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugssteuerungsvorrichtung 140 kann zudem integral ausgeführt sein mit der Außenumgebungserkennungsvorrichtung 130.
3 ist eine beispielhafte Darstellung zum Erläutern eines Effekts eines Umgebungslichtes in dem Umgebungserkennungssystem 100. Wie zuvor beschrieben, erzeugt in dem Umgebungserkennungssystem 100 die Bildaufnahmevorrichtung 110 das Luminanzbild 124 und die Außenumgebungserkennungsvorrichtung 130 verwendet die Luminanz, basierend auf dem Luminanzbild 124, um zu identifizieren, welchem spezifischen Objekt das Zielobjekt in dem Detektionsbereich 122 entspricht. In dem Luminanzbild 124 erscheint Licht eines Licht aussendenden Elements beziehungsweise Körpers, angezeigt durch den Pfeil (A) in 3, und Reflektionslicht eines Objektes, wie durch den Pfeil (B) in 3 angezeigt.
Wenn die Bildaufnahmevorrichtung 110 in dem Fahrzeug 1 vorgesehen ist, existiert ein transparentes beziehungsweise lichtdurchlässiges Element 2 wie beispielsweise eine Windschutzscheibe in der Bildaufnahmerichtung der Bildaufnahmevorrichtung 110 und das Luminanzbild 124 wird erzeugt über das transparente Element 2 durch die Bildaufnahmevorrichtung 110. Wenn daher das transparente Element 2 schmutzig oder beschlagen ist, ist die Transparenz beziehungsweise Lichtdurchlässigkeit reduziert. Wenn in einer solchen Situation starkes Umgebungslicht wie beispielsweise Sonnenlicht, wie durch den Pfeil (C) in 3 gezeigt, von der Bildaufnahmerichtung emittiert wird, wird somit das gesamte so aufgenommene Luminanzbild 124 von dem Umgebungslicht beeinträchtigt und beispielsweise wird das Umgebungslicht gemäß Pfeil (C) zu dem Licht des Licht emittierenden Elements gemäß Pfeil (A) hinzuaddiert, was bewirkt, dass das Zielobjekt in dem Luminanzbild 124 eine Farbe aufweist, die verschieden ist von der Originalfarbe.
Es ist zu beachten, dass diese Art Phänomen nicht auf den Fall beschränkt ist, bei dem Schmutz oder ein Beschlagen auf der Windschutzscheibe vorhanden sind, und dass das gleiche auch dann gilt, wenn Schmutz oder ein Beschlagen auf dem optischen System der Linsen existieren.
In diesem Fall kann die Originalluminanz des Zielobjektes reproduziert werden durch Subtrahieren des Effekts in Folge des Umgebungslichts gemäß Pfeil (C), als Maß der Korrektur, von dem erhaltenen Luminanzbild 124. Der Korrekturbetrag beziehungsweise das Maß an Korrektur wird beispielsweise erhalten wie folgt: Unter der Annahme, dass ein spezifisches Objekt wie beispielsweise ein Verkehrsschild oder ein Verkehrslicht beziehungsweise eine Ampel, dessen beziehungsweise deren RGB Verhältnis vorab identifiziert ist, detektiert wird, wird der Betrag an Korrektur erhalten durch Subtrahieren der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, von der Luminanz in dem Zielbereich entsprechend dem spezifischen Objekt in dem Luminanzbild 124. Im Folgenden wird die spezifische Konfiguration der Außenumgebungserkennungsvorrichtung 130 erläutert.
(Außenumgebungserkennungsvorrichtung 130)
4 ist ein Funktionsblockschaubild, das schematisch Funktionen der Außenumgebungserkennungsvorrichtung 130 zeigt. Wie in 4 dargestellt, weist die Außenumgebungserkennungsvorrichtung 130 auf eine I/F-Einheit 150, eine Datenhalteeinheit 152 und eine zentrale Steuereinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die Datenhalteeinheit 152 wird dargestellt durch ein RAM, einen Flash-Speicher, eine HDD (Festplatte) und dergleichen und speichert eine Spezifisches-Objekt-Korrespondenztabelle, eine Schmutzbestimmungstabelle, eine Korrekturreferenztabelle und verschiedene Arten von Informationen, die erforderlich sind, um den Prozess für jede nachfolgend erläuterte Funktionseinheit durchzuführen. Zusätzlich speichert die Datenhalteeinheit 152 temporär das Luminanzbild 124 und das Abstandsbild 126, erhalten von der Bildverarbeitungsvorrichtung 120. Die Spezifisches-Objekt-Korrespondenztabelle, die Schmutzbestimmungstabelle und die Korrekturreferenztabelle werden wie folgt verwendet:
5 ist eine beispielhafte Darstellung zum Erläutern einer Spezifisches-Objekt-Korrespondenztabelle 200, einer Schmutzbestimmungstabelle 202 und einer Korrekturreferenztabelle 204. Bei diesem Beispiel wird zuerst (1) die Spezifisches-Objekt-Korrespondenztabelle 200 verwendet, um das spezifische Objekt auf der Basis des Luminanzbildes 124 zu identifizieren. Anschließend (2) wird die Schmutzbestimmungstabelle 202 verwendet, um zu bestimmen, ob das identifizierte spezifische Objekt mit Schmutz oder Beschlag detektiert ist. Daraufhin (3), wenn bestimmt wird, dass das identifizierte spezifische Objekt mit Schmutz oder Beschlag detektiert ist, wird die Korrekturreferenztabelle 204 verwendet, um den Korrekturbetrag abzuleiten, welcher eine Differenz ist von der Originalluminanz des spezifischen Objektes. Der so abgeleitete Korrekturbetrag wird angewandt auf den Detektionsprozess von einem anderen spezifischen Objekt in dem gleichen Rahmen und den Detektionsprozess aller spezifischen Objekte in dem nächsten Rahmen und den hierauf nachfolgenden Rahmen.
In der Spezifisches-Objekt-Korrespondenztabelle 200, wie in 5A dargestellt, werden mehrere spezifische Objekte assoziiert mit einem Luminanzbereich 206, der einen Bereich von Luminanz anzeigt, welche Farbe (Farbbalance) repräsentiert, einem Höhenbereich 208, der einen Bereich von Höhe über der Fahrbahnoberfläche anzeigt, und einem Breitenbereich 210, der einen Bereich von Breite des spezifischen Objektes anzeigt. Die spezifischen Objekte beinhalten verschiedene Objekte, die zu beobachten erforderlich ist, während das Fahrzeug auf der Straße fährt, wie beispielsweise „Verkehrslicht (rot)”, „Verkehrslicht (blau) beziehungsweise (grün)”, „Verkehrszeichen (blau)” und „Verkehrszeichen (grün)”. Es versteht sich, dass das spezifische Objekt nicht auf die Objekte in 5A begrenzt ist. Unter den spezifischen Objekten nimmt beispielsweise das spezifische Objekt „Verkehrslicht (rot)” die Luminanz (R) als Referenzwert und ist der Luminanz (G) zugeordnet, die 0,5 mal oder weniger als der Referenzwert (R) ist, der Luminanz (B), die 0,38 mal oder weniger als der Referenzwert (R) ist, dem Höhenbereich 208, welcher 4,5 bis 7,0 m ist, und dem Breitenbereich 210, der 0,05 bis 0,2 m ist. Das spezifische Objekt „Verkehrszeichen (blau)” nimmt die Luminanz (B) als den Referenzwert und ist zugeordnet der Luminanz (R), welche 0,7 mal oder weniger als der Referenzwert (B) ist, der Luminanz (G), die 0,8 mal oder weniger als der Referenzwert (B) ist, dem Höhenbereich 208, der 1,5 bis 10,0 m ist, und dem Breitenbereich 210, der 0,3 bis 1,0 m ist.
Obwohl nicht dargestellt, ist jedes spezifische Objekt zudem zugeordnet einer Bedingung, die für das spezifische Objekt einzigartig ist zum Beispiel eine Information wie eine Horizontalposition, Höhe und dergleichen bezüglich der Straße. Beispielsweise sind die spezifischen Objekte „Verkehrslicht (rot)” und „Verkehrszeichen (blau)” beispielsweise zugeordnet Informationen, die anzeigen, dass sie innerhalb der Straßenbreite angeordnet sind in der horizontalen Richtung des Abstandsbildes 126, der relative Abstand von dem Fahrzeug 1 von 40 bis 70 m ist, der Abstand zwischen den Zielbereichen (Variation) innerhalb ±1 m ist, der Abstand zwischen diesen anderen als den gruppierten Zielbereichen 20 m oder weiter ist und die Anzahl der Zielbereiche innerhalb der Gruppe eine vorbestimmte Anzahl ist oder gleich oder größer als ein vorbestimmtes Verhältnis. Wenn das spezifische Objekt „Verkehrslicht (rot)” durch LEDs erzeugt wird, wird eine Funktion beziehungsweise ein Betriebsvorgang wie beispielsweise Blinken, der später erläutert wird, zugeordnet, und das „Verkehrszeichen beziehungsweise -schild (blau)” wird beispielsweise zugeordnet Informationen, die anzeigen, dass die Größe der Fläche des Bereichs, der dahingehend bestimmt werden kann, blau zu sein, 50% oder mehr als die gesamte Größe der Fläche ist. Um das spezifische Objekt zu identifizieren können unterschiedliche Arten existierender Techniken verwendet werden. Es kann beispielsweise eine Technik zum Identifizieren eines spezifischen Objektes auf der Basis der Position einer Lichtquelle in der realen Welt verwendet werden, die in der japanischen ungeprüften Patentanmeldungsveröffentlichung (JP-A) Nr. 2009-72165 offenbart ist.
In diesem Beispiel wird, basierend auf der Spezifisches-Objekt-Korrespondenztabelle 200, jeder Zielbereich unter den Zielbereichen in dem Luminanzbild 124, der die Bedingung des Luminanzbereichs 206 bezüglich eines gegebenen spezifischen Objektes erfüllt, als ein Kandidat für das spezifische Objekt angenommen. Wenn beispielsweise die Luminanzen des Zielbereichs in dem Luminanzbereich 206 des spezifischen Objekts „Verkehrslicht (rot)” der Spezifisches-Objekt-Korrespondenztabelle 200 enthalten sind, kann der Zielbereich als der Kandidat für das spezifische Objekt „Verkehrslicht (rot)” angenommen werden. Daraufhin werden die Zielbereiche, die dem Kandidat „Verkehrslicht (rot)” entsprechen, zusammen gruppiert, um das Zielobjekt zu konfigurieren. Wenn die Größe eines gruppierten Zielobjektes in dem Höhenbereich 4,5 bis 7,0 m und dem Breitenbereich 0,05 bis 0,2 m des „Verkehrslicht (rot)” liegt, und ist die Bedingung, die für das „Verkehrslicht (rot)” eindeutig beziehungsweise einmalig ist, erfüllt, dann wird es dahingehend bestimmt, das spezifische Objekt „Verkehrslicht (rot)” zu sein. Der Zielbereich, der dahingehend bestimmt wird, das spezifische Objekt zu sein, wird mit einer Identifikationsnummer gekennzeichnet, die für das spezifische Objekt eindeutig ist. Pixel oder ein Block, der durch Sammeln von Pixeln erzeugt ist, können als Zielbereich verwendet werden. In diesem Beispiel werden Pixel als die Zielbereiche verwendet zum Zwecke der einfacheren Erläuterung.
Die in 5B dargestellt Schmutzbestimmungstabelle 202 ist gebildet durch die gleichen Gegenstände beziehungsweise Elemente wie die Spezifisches-Objekt-Korrespondenztabelle 200, unterscheidet sich jedoch in dem Luminanzbereich 206. Die Schmutzbestimmungstabelle 202 ist dahingehend ausgelegt, eine Bestimmung durchzuführen, so dass, auf der Basis des Luminanzbereichs 206, der erfüllt sein muss von dem spezifischen Objekt, es sei denn das transparente Element weist Schmutz oder Beschlag auf, der Bereich, der von dem Luminanzbereich 206 verschieden ist, dahingehend bestimmt wird, Schmutz oder Beschlag aufzuweisen. Das spezifische Objekt „Verkehrslicht (rot)” nimmt daher beispielsweise die Luminanz (R) als den Referenzwert und ist zugeordnet der Luminanz (G), die 0,35 mal oder mehr als der Referenzwert (R) ist, und der Luminanz (B), die 0,2 mal oder mehr als der Referenzwert (R) ist. Die Schmutzbestimmungstabelle ist für das spezifische Objekt, das unter Verwendung der Spezifisches-Objekt-Korrespondenztabelle 200 gemäß 5A detektiert wurde, und daher wird, in Kombination mit der Bedingung der Spezifisches-Objekt-Korrespondenztabelle 200, die Existenz von Schmutz als ein Ergebnis bestimmt, wenn die Luminanz (G) 0,35 mal oder mehr als der Referenzwert (R) ist und 0,5 mal oder weniger hiervon ist oder die Luminanz (B) 0,2 mal oder mehr als der Referenzwert (R) ist und 0,38 mal oder weniger hiervon ist.
Die Korrekturreferenztabelle 204, die in 5C dargestellt ist, ist ebenfalls unterschiedlich in dem Luminanzbereich 206. Die Korrekturreferenztabelle 204 zeigt die Originalluminanz an, die für das spezifische Objekt eindeutig beziehungsweise einmalig ist. Sie wird daher verwendet, um einen Unterschied zwischen der Luminanz des spezifischen Objekts, bei dem Schmutz detektiert wird unter Verwendung der Schmutzbestimmungstabelle 202, und der Originalluminanz des spezifischen Objekts herzuleiten, und die hergeleitete Differenz wird verwendet als ein Korrekturbetrag zum Korrigieren der Luminanz des spezifischen Objekts.
Zurückkommend auf 4, umfasst die zentrale Steuereinheit 154 eine integrierte Halbleiterschaltung mit beispielsweise einer zentralen Prozessoreinheit (CPU), ROM Speicherprogrammen und einem RAM, der als Arbeitsfläche dient, und steuert eine I/F-Einheit 150 sowie die Datenhalteeinheit 152 durch einen Systembus 156. In diesem Beispiel funktioniert die zentrale Steuereinheit 154 zudem als eine Luminanzerlangungseinheit 160, eine Positionsinformation-Erlangungseinheit 162, eine Spezifisches-Objekt-ProvisorischBestimmungseinheit 164, eine Gruppierungseinheit 166, eine Spezifisches-Objekt-Bestimmungseinheit 168, eine Transparenzreduktion-Bestimmungseinheit 172, eine Korrekturbetrag-Herleiteeinheit 174 und eine Luminanzkorrektureinheit 176. In diesem Beispiel funktionieren die Positionsinformation-Erlangungseinheit 162, die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164, die Gruppierungseinheit 166 und die Spezifisches-Objekt-Bestimmungseinheit 168 als die Spezifisches-Objekt-Bestimmungseinheit zum Detektieren des spezifischen Objekts von dem Luminanzbild 124 auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200.
Die Luminanzerlangungseinheit 160 erlangt Luminanzen durch Zielbereiche (Pixel) (Luminanzen von drei Farbphasen (rot (R), grün (G) und blau (B)) pro Pixel) von dem erhaltenen Luminanzbild 124. Wenn die weiter unten beschriebene Luminanzkorrektureinheit 176 die Luminanz korrigiert, wird die korrigierte Korrekturluminanz erhalten.
Die Positionsinformation-Erlangungseinheit 162 verwendet das Stereoverfahren zum Umwandeln von Parallaxeinformation für jeden Block in dem detektierten Bereich 122 des empfangenen Abstandsbildes 126 in dreidimensionaler Positionsinformation einschließlich der Breitenrichtung x, der Höhenrichtung y und der Tiefenrichtung z. Die Parallaxeinformation repräsentiert eine Parallaxe von jedem Zielbereich in dem Abstandsbild 126, während die dreidimensionale Positionsinformation Information repräsentiert über den relativen Abstand von jedem Zielbereich in der realen Welt. Dementsprechend bezieht sich ein Begriff, wie der relative Abstand und die Höhe, auf einen Abstand in der realen Welt, während ein Begriff, wie ein detektierter Abstand sich auf einen Abstand in dem Abstandsbild 126 bezieht. Wenn die Parallaxeinformation nicht pro Pixel abgeleitet wird, sondern pro Block abgeleitet wird, kann eine Kalkulation pro Pixel ausgeführt werden, wobei angenommen wird, dass die Parallaxeinformation eine Parallaxeinformation für alle Pixel ist, welche zu dem Block gehören.
6 ist eine beispielhafte Darstellung zum Erläutern der Umwandlung in dreidimensionale Positionsinformation durch die Positionsinformation-Erlangungseinheit 162. Als erstes behandelt die Positionsinformation-Erlangungseinheit 162 das Abstandsbild 126 als ein Koordinatensystem in einer Pixeleinheit, wie in 6 dargestellt. In 6 ist die untere linke Ecke angenommen als ein Ursprung (0, 0). Die horizontale Richtung ist angenommen als eine i-Koordinatenachse und die vertikale Richtung ist angenommen als eine j-Koordinatenachse. Ein Pixel mit einer Parallaxe dp kann daher repräsentiert werden als (i, j, dp) unter Verwendung einer Pixelposition i, j und der Parallaxe dp.
Das dreidimensionale Koordinatensystem in der realen Welt entsprechend diesem Beispiel wird angenommen unter Verwendung eines relativen Koordinatensystems, in dem das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite in der Richtung, in welche sich das Fahrzeug 1 bewegt, wird als positive Richtung der X-Achse bezeichnet, die obere Seite des Fahrzeugs 1 wird bezeichnet als eine positive Richtung der Y-Achse, die Richtung, in der sich das Fahrzeug 1 bewegt (Vorderseite), wird bezeichnet als eine positive Richtung der Z-Achse und der Kreuzungspunkt zwischen der Fahrbahnoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildaufnahmevorrichtungen 110 verläuft, wird als ein Ursprung (0, 0, 0) bezeichnet. Wenn von der Straße angenommen wird, dass sie eine flache Ebene ist, fällt die Straßenoberfläche mit der X-Z Ebene (y = 0) zusammen. Die Positionsinformation-Erlangungseinheit 162 verwendet numerische Gleichungen (1) bis (3), die nachfolgend gezeigt sind, um die Koordinaten der Pixel (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt zu transformieren. x = CD/2 + z·PW·(i – IV) (1) y = CH + z·PW·(j – JV) (2) z = KS/dp (3)
Hier bezeichnet CD einen Abstand (Basislinienlänge) zwischen den Bildaufnahmevorrichtungen 110, PW bezeichnet einen korrespondierenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, so genannt entsprechend einem Blickwinkel pro Pixel, CH bezeichnet eine angenommene Höhe der Bildaufnahmevorrichtung 110 von der Straßenoberfläche, IV und JV bezeichnen Koordinaten (Pixeln) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1 und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Dementsprechend leitet die Positionsinformation-Erlangungseinheit 162 die Höhe von der Straßenoberfläche ab auf der Basis des relativen Abstands von dem Zielbereich und dem detektierten Abstand in dem Abstandsbild 126 zwischen einem Punkt auf der Straßenoberfläche, der sich in dem gleichen relativen Abstand befindet wie der Zielbereich, und dem Zielbereich.
Die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 bestimmt provisorisch ein spezifisches Objekt auf der Basis der Luminanz (oder der korrigierten Luminanz), die von der Luminanzerlangungseinheit 160 erhalten wird, durch Bezug auf die Spezifisches-Objekt-Korrespondenztabelle 200, die in der Datenhalteeinheit 152 gespeichert ist.
Genauer gesagt, die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 wählt sequenziell irgendein gegebenes spezifisches Objekt aus den spezifischen Objekten, die in der Spezifisches-Objekt-Korrespondenztabelle 200 aufgeführt sind, und bestimmt, ob die erhaltenen Luminanzen in dem Luminanzbereich 206 des sequenziell ausgewählten spezifischen Objekts enthalten sind. Dann, wenn die Luminanzen dahingehend bestimmt sind, in dem Zielluminanzbereich 206 zu sein, wird eine Identifikationszahl, die das spezifische Objekt repräsentiert, dem Zielbereich zugeordnet, so dass eine Spezifisches-Objekt-Abbildung erzeugt wird.
Die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 führt sequenziell eine Reihe von Vergleichen zwischen den Luminanzen der Zielbereiche und den Luminanzbereichen 206 der in der Spezifisches-Objekt-Korrespondenztabelle 200 aufgeführten spezifischen Objekte aus. Die Reihenfolge des Auswählens der spezifischen Objekte in der Spezifisches-Objekt-Korrespondenztabelle 200, wie zuvor erläutert, zeigt zudem die Rangfolge von Priorität. Dies bedeutet in der Spezifisches-Objekt-Korrespondenztabelle 200 gemäß 5A, dass der Vergleich ausgeführt wird in der folgenden Reihenfolge: „Verkehrslicht (rot)”, „Verkehrslicht (blau)”, „Verkehrsschild (blau)”, „Verkehrsschild (grün)”.
Wenn der Vergleich entsprechend der obigen Prioritätsrangfolge durchgeführt wird und als Ergebnis bestimmt wird, dass Luminanzen des Zielbereichs in dem Luminanzbereich 206 eines spezifischen Objektes eines hohen Prioritätsgrades enthalten sind, wird der Vergleichsprozess nicht länger durchgeführt für spezifische Objekte mit einem niedrigeren Prioritätsgrad. Es wird daher lediglich eine Identifikationsnummer, die ein spezifisches Objekt repräsentiert, zugeordnet. Dies ist deshalb, weil in der realen Welt mehrere spezifische Objekte einander nicht überlappen und daher ein Zielobjekt, das einmal als ein gegebenes spezifisches Objekt bestimmt wurde, nicht weiter als ein anderes spezifisches Objekt bestimmt wird. Durch ausschließliches Behandeln der Zielabschnitte in dieser Weise ist es möglich, redundante Spezifizierungsprozesse für den gleichen Zielbereich, der bereits provisorisch dahingehend bestimmt wurde, ein spezifisches Objekt zu sein, zu vermeiden und die Prozesslast kann reduziert werden.
7 ist eine beispielhafte Darstellung zum Erläutern einer Spezifisches-Objekt-Abbildung 220. Die Spezifisches-Objekt-Abbildung 220 wird dadurch erzeugt, dass die Identifikationsnummern der spezifischen Objekte über das Luminanzbild 124 gelegt werden und die Identifikationsnummer des spezifischen Objekts wird einer Position zugeordnet, die dem Zielbereich entspricht, der provisorisch dahingehend bestimmt wurde, das spezifische Objekt zu sein.
Beispielsweise sind in einem Segment 220a der Spezifisches-Objekt-Abbildung 220 die Luminanzen der Zielbereiche 222, die den Licht emittierenden Teilen an der rechten Seite des Verkehrslichts beziehungsweise der Ampel entsprechen, in dem Luminanzbereich 206 des spezifischen Objekts „Verkehrslicht (rot)” enthalten und daher wird eine Identifikationszahl „1” des spezifischen Objekts „Verkehrslicht (rot)” zugeordnet. 7 zeigt eine Figur, in der die Identifikationszahl „1” mehreren Zielbereichen 222 des Luminanzbildes 124 zugeordnet ist. Dies ist jedoch eine konzeptionelle Darstellung zum Zwecke eines leichten Verständnisses. In Wirklichkeit wird die Identifikationszahl „1” als Datensatz an den Zielbereichen 222 registriert.
Die Gruppierungseinheit 166 übernimmt jeden gegebenen Zielbereich, der provisorisch bestimmt wurde, als einen Basispunkt, und gruppiert die relevanten Zielbereiche, die provisorisch dahingehend bestimmt wurden, zu dem gleichen spezifischen Objekt zu gehören (versehen mit einer gleichen Identifikationszahl), deren Positionsdifferenzen in der Breitenrichtung x und in der Höhenrichtung y innerhalb eines vorbestimmten Bereichs liegen, wodurch die gruppierten Zielbereiche zu einem Zielobjekt gemacht werden. Der vorbestimmte Bereich wird repräsentiert als ein Abstand in der realen Welt und kann auf einen beliebigen gegebenen Wert (zum Beispiel 1,0 m) gesetzt werden. Die Gruppierungseinheit 166 gruppiert auch Zielbereiche, die durch den Gruppierungsprozess neu hinzugefügt werden, als einen Basispunkt und gruppiert die relevanten Zielbereiche, die provisorisch dahingehend bestimmt wurden, einem gleichen spezifischen Objekt zu entsprechen, und deren Positionsdifferenzen in der Breitenrichtung x und in der Höhenrichtung y innerhalb eines vorbestimmten Bereichs liegen. Dementsprechend werden, solange der Abstand zwischen den Zielbereichen, die provisorisch als zu dem gleichen spezifischen Objekt gehörend bestimmt wurden, innerhalb des vorbestimmten Bereichs ist, alle derartigen Zielbereiche gruppiert.
In diesem Fall führt die Gruppierungseinheit 166 die Bestimmungen durch unter Verwendung des Abstandes in der Breitenrichtung x und des Abstandes in der Höhenrichtung y in der realen Welt. Es ist jedoch ebenfalls möglich, das Luminanzbild 124 und das Abstandsbild 126 zu verwenden und eine Bestimmung durchzuführen unter Verwendung des detektierten Abstandes (zum Beispiel der Anzahl von Pixeln) auf dem Luminanzbild 124 und dem Abstandsbild 126. In diesem Fall, ohne Herleitung des Abstandes in der Breitenrichtung x und des Abstandes in der Höhenrichtung y in der realen Welt, würde beispielsweise die Bestimmung, ob es innerhalb eines vorbestimmten Bereichs ist, durchgeführt werden auf der Basis von lediglich der Anzahl von Pixeln. Zu beachten ist, dass in diesem Fall der Grenzwert des vorbestimmten Bereichs zum Gruppieren geändert wird entsprechend dem relativen Abstand des Zielbereichs. Wie in 2 und dergleichen dargestellt, werden entfernte Objekte und nahe Objekte in der flachen Ebene des Luminanzbildes 124 und des Abstandsbildes 126 wiedergegeben und daher wird ein Objekt, das sich in einem entfernten Abstand befindet, in einer kleinen (kurzen) Größe wiedergegeben und ein Objekt, das sich in einer nahen Position befindet, wird in einer großen (langen) Größe wiedergegeben. Daher ist beispielsweise der Grenzwert des vorbestimmten Bereichs in dem Luminanzbild 124 und dem Abstandsbild 126 auf einen kleinen Wert gesetzt für einen entfernten Zielbereich und auf einen großen Wert gesetzt für einen nahen Zielbereich. Selbst wenn die Detektionsabstände zwischen einer entfernten Position und einer nahen Position unterschiedlich sind, kann daher der Grenzwert geeignet gesetzt werden und der Gruppierungsprozess kann stabil durchgeführt werden.
Zusätzlich zu dem Unterschied in der Breitenrichtung x und dem Unterschied in der Höhenrichtung y, die zuvor erläutert wurden, kann die Gruppierungseinheit 166 Zielbereiche gruppieren, deren Relativer-Abstand-Differenz in der Tiefenrichtung z innerhalb eines vorbestimmten Bereichs liegt und die provisorisch dahingehend bestimmt wurden, zu dem gleichen spezifischen Objekt zu gehören. Selbst wenn Zielbereiche in der Breitenrichtung x und der Höhenrichtung y nah beieinander liegen, können in der realen Welt die Positionen (relative Abstände) in der Tiefenrichtung z hiervon erheblich differieren. In solchen Fällen gehören die Zielbereiche zu unterschiedlichen Zielobjekten. Wenn irgendeine aus der Differenz der Positionen in der Breitenrichtung x, der Differenz der Positionen in der Höhenrichtung y und der Differenz der Positionen (relative Abstände) in der Tiefenrichtung z deutlich differieren, kann daher die Gruppe des Zielbereichs dahingehend angenommen werden, ein unabhängiges Zielobjekt zu sein. Hierdurch ist es möglich, den Gruppierungsprozess mit hoher Genauigkeit durchzuführen.
In der vorstehenden Beschreibung ist jede von der Differenz in der Breitenrichtung x, der Differenz in der Höhenrichtung y und der Differenz in der Tiefenrichtung z unabhängig bestimmt und nur wenn alle von ihnen innerhalb des vorbestimmten Bereichs liegen, werden die Zielbereiche in die gleiche Gruppe gruppiert. Der Gruppierungsprozess kann jedoch auch unter Verwendung einer anderen Berechnung durchgeführt werden. Wenn beispielsweise ein quadrierter Hauptwert beziehungsweise Mittelwert √ von der Differenz in der Breitenrichtung x, der Differenz in der Höhenrichtung y und der Differenz in der Tiefenrichtung z ((Differenz in der Breitenrichtung x)² + (Differenz in der Höhenrichtung y)² + (Differenz in der Tiefenrichtung z)²) innerhalb eines vorbestimmten Bereichs liegt, werden die Zielbereiche in die gleiche Gruppe gruppiert. Mit dieser Berechnung können die Abstände zwischen Zielbereichen in der realen Welt exakt hergeleitet werden und daher kann die Gruppierungsgenauigkeit verbessert werden.
Wenn ein Zielobjekt, das als ein Ergebnis des Gruppierungsprozesses von der Gruppierungseinheit 166 erzeugt wurde, eine vorbestimmte Bedingung erfüllt, beispielsweise den Höhenbereich 208 und den Breitenbereich 210, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168, dass das Zielobjekt ein spezifisches Objekt ist. Wenn beispielsweise, wie in 5A dargestellt, der Höhenbereich 208 der Spezifisches-Objekt-Korrespondenztabelle 200 zugeordnet ist und die Höhe y in Bezug auf die Straße des Zielobjektes enthalten ist in dem Höhenbereich 208 des spezifischen Objektes, das provisorisch bestimmt wurde mit Bezug auf das Zielobjekt auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168, dass das Zielobjekt das spezifische Objekt ist. Wenn zusätzlich der Breitenbereich 210 zugeordnet ist, dann kann die Spezifisches-Objekt-Bestimmungseinheit 168 eine Bestimmung wie folgt durchführen: wenn die Größe des Zielobjektes (irgendeiner aus dem Abstand in der Breitenrichtung x und dem Abstand in der Höhenrichtung y des Zielobjekts) in dem Breitenbereich 210 des spezifischen Objekts, das provisorisch bestimmt wurde unter Bezug auf das Zielobjekt auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200, enthalten ist, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168, dass das Zielobjekt das spezifische Objekt ist. Es ist zudem möglich, den Breitenbereich 210 für jeden aus dem Abstand in der Breitenrichtung x und dem Abstand in der Höhenrichtung y des Zielobjektes zu setzen. In diesem Fall wird bestätigt, dass das Zielobjekt eine Position aufweist und eine Größe, die adäquat ist, um als ein spezifisches Objekt angenommen zu werden.
Wenn Information, die eindeutig ist für das spezifische Objekt wie beispielsweise eine horizontale Position, Höhe und dergleichen unter Bezug auf die Straße ebenfalls jedem spezifischen Objekt zugeordnet ist, kann die Spezifisches-Objekt-Bestimmungseinheit 168 das spezifische Objekt nur dann bestimmen, wenn die Bedingung erfüllt ist. Wenn beispielsweise ein Kandidat des spezifischen Objekts das „Verkehrsschild (blau)” ist, dann wird bestimmt, ob die folgenden Bedingungen erfüllt sind: die horizontale Position bezüglich der Straße ist angeordnet innerhalb der Straßenmitte in der horizontalen Richtung des Abstandsbildes 126 und der horizontale Abstand x von dem Fahrzeug 1 ist 40 m bis 70 m; der Abstand mit Ausnahme des gruppierten Zielbereichs ist 20 m oder länger; die Anzahl von Zielbereichen in der Gruppe ist gleich oder größer als eine vorbestimmte Anzahl oder ein vorbestimmtes Verhältnis; und die Größe der Fläche des Bereichs, der dahingehend bestimmt werden kann, blau zu sein, ist 50% oder mehr als die gesamte Größe der Fläche.
Wenn das spezifische Objekt andere Merkmale aufweist, kann es unter Verwendung dieser Merkmale als die Bedingung bestimmt werden. Beispielsweise wird das „Verkehrslicht (rot)” dargestellt durch Licht emittierende Dioden (LEDs) oder Lampen, und wenn es durch LEDs dargestellt wird, blinken die LEDs in einem Zyklus beziehungsweise mit einer Frequenz, die nicht von dem menschlichen Auge wahrgenommen werden kann (zum Beispiel 100 Hz). Die Spezifisches-Objekt-Bestimmungseinheit 168 kann daher das spezifische Objekt „Verkehrslicht (rot)” auf der Basis einer zeitlichen Änderung der Luminanz des Zielbereichs in dem Luminanzbild 124 bestimmen, das erhalten wird ohne Synchronisation mit der Blinkzeit der LEDs.
Die Transparenzreduktion-Bestimmungseinheit 172 vergleicht die Luminanz des Zielbereichs entsprechend dem bestimmten (detektierten) spezifischen Objekt und dem Luminanzbereich 206, der dem spezifischen Objekt zugeordnet ist, mit der Schmutzbestimmungstabelle 202 und bestimmt eine Reduktion in der Transparenz (Schmutz oder Beschlagen) des transparenten Elements 2, das in der Bildaufnahmerichtung (der Bildaufnahmerichtung der Bildaufnahmevorrichtung 110) des Luminanzbildes 124 angeordnet ist.
8 ist eine beispielhafte Darstellung zum Erläutern eines Bestimmungsziels der Transparenzreduktion-Bestimmungseinheit 172. Die Transparenzreduktion-Bestimmungseinheit 172 bestimmt die Reduktion der Transparenz des transparenten Elements 2 für jeden unterteilten Bereich, der erhalten wird durch Unterteilen des Luminanzbildes 124 (Detektionsbereich 122) in mehrere Bereiche. In diesem Beispiel werden wie in 8 dargestellt, beispielsweise unterteilte Bereiche 230 gesetzt durch gleichmäßiges Teilen des Luminanzbildes 124 in fünf Bereiche in der horizontalen Richtung und gleichmäßiges Teilen des Luminanzbildes 124 in drei Bereiche in der vertikalen Richtung. In diesem Beispiel wird das Luminanzbild 124 unterteilt in 5 mal 3 Bereiche, die Anzahl der unterteilten Bereiche kann jedoch auf irgendeine andere beliebige Zahl gesetzt werden, einschließlich Null. In diesem Beispiel ist das Luminanzbild 124 gleichmäßig unterteilt in der horizontalen Richtung und der vertikalen Richtung, es kann jedoch auch in verschiedene Größen unterteilt werden. Beispielsweise kann die Größe einer Fläche in dem zentralen unterteilten Bereich 230 des Luminanzbildes 124 kleiner sein als diejenige an der Seite des Endbereichs.
Wenn für jeden unterteilten Bereich 230 die Luminanz des Zielbereichs entsprechend dem bestimmten spezifischen Objekt in dem Luminanzbereich 206 enthalten ist, der dem spezifischen Objekt in der Schmutzbestimmungstabelle 202 zugeordnet ist, dann bestimmt die Transparenzreduktion-Bestimmungseinheit 172, dass die Transparenz des transparenten Elementes 2 entsprechend dem unterteilten Bereich 230, der den Zielbereich enthält, reduziert ist. Selbst wenn beispielsweise die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 bestimmt, dass das spezifische Objekt „Verkehrszeichen (blau)” in dem Luminanzbereich 206 enthalten ist auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200, wird die Transparenz des transparenten Elements 2 dahingehend bestimmt, reduziert zu sein, wenn die Luminanz in dem Luminanzbereich 206 der Schmutzbestimmungstabelle 202 enthalten ist.
Wie zuvor beschrieben, kann durch Unterteilen des Luminanzbildes 124 in mehrere unterteilte Bereiche 230 die Reduktion in der Transparenz des transparenten Elements 2 unabhängig mit einem feinen Bereich bestimmt werden und dies kann sogar verhindern, dass die Luminanz korrigiert wird in einem unterteilten Bereich 230, in dem die Transparenz nicht reduziert ist.
Anstelle der Transparenzreduktion-Bestimmungseinheit 172 ist es auch möglich, eine Transparenzreduktion-Detektionseinheit zu verwenden, die mit Hardware eine Reduktion in der Transparenz des in der Bildaufnahmerichtung des Luminanzbildes 124 angeordneten transparenten Elements 2 detektiert. Verschiedene Arten existierender Techniken können für eine derartige Detektionseinheit verwendet werden.
Wenn die Transparenzreduktion-Bestimmungseinheit 172 und die Transparenzreduktion-Detektionseinheit eine Reduktion in der Transparenz des transparenten Elements 2 detektieren, greift die Korrekturbetrag-Herleiteeinheit 174 auf die Korrekturreferenztabelle 204 zu, leitet den Betrag der Korrektur auf der Basis der Differenz zwischen der Luminanz des Zielbereichs des Luminanzbildes 124, der dem bestimmten (detektierten) spezifischen Objekt zugeordnet ist, und der Luminanz, die dem spezifischen Objekt in der Korrekturreferenztabelle 204 zugeordnet ist, her.
Wie die Transparenzreduktion-Bestimmungseinheit 172, leitet die Korrekturbetrag-Herleiteeinheit 174 ebenfalls den Betrag der Korrektur pro unterteilten Bereich 230 ab, der erhalten wird durch Unterteilen des Luminanzbildes 124 (Detektionsbereich 122) in mehrere Bereiche. Durch Herleiten des Betrags der Korrektur für jeden der mehreren unterteilten Bereiche 230 kann die Luminanz in geeigneter Weise korrigiert werden für jeden der unterteilten Bereiche 230.
9 ist eine beispielhafte Darstellung zum Erläutern der Arbeitsweise der Korrekturbetrag-Herleiteeinheit 174. Es sei beispielsweise angenommen ein Fall, in dem die Luminanzen eines gegebenen Zielbereichs, der von der Luminanzerlangungseinheit 160 erlangt wird, R = 90, G = 100 und B = 150 sind und ein nahes Zielobjekt zu dem Zielbereich dahingehend bestimmt wird, das spezifische Objekt „Verkehrszeichen (blau)” zu sein auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200.
In diesem Fall ist, wie bei (a) in 9 gezeigt, der Bereich des spezifischen Objekts „Verkehrszeichen (blau)” in der Spezifisches-Objekt-Korrespondenztabelle 200, das heißt der Referenzwert, die Luminanz (B) und die Luminanz (R) ist 0,6 mal der Referenzwert (B) und die Luminanz (G) ist 0,67 mal der Referenzwert (B), die Bedingungen „R ≤ B × 0,7”, „G ≤ B × 0,8” sind erfüllt. Wie bei (b) in 9 dargestellt, sind die Luminanzen des Zielbereichs jedoch so, dass der Bereich des „Verkehrszeichens (blau)” in der Schmutzbestimmungstabelle 202, das heißt der Referenzwert, die Luminanz (B) ist und die Luminanz (R) 0,55 mal oder mehr des Referenzwerts (B) ist und die Luminanz (G) 0,65 mal oder mehr des Referenzwerts (B) ist. Daher bestimmt die Transparenzreduktion-Bestimmungseinheit 172, dass in dem unterteilten Bereich 230, in dem das Zielobjekt enthalten ist, die Transparenz des transparenten Elements 2 reduziert ist.
Anschließend an die Bestimmung der Transparenzreduktion-Bestimmungseinheit 172 leitet die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur her. Als erstes reduziert die Korrekturbetrag-Herleiteeinheit 174 die Luminanzen jeder Farbe des Zielbereichs durch –1 in einem Bereich, in dem das Berechnungsergebnis 0 bis 255 ist, und eine Differenz von einem Wert, wenn das Ergebnis das gleiche ist wie die Luminanz des „Verkehrszeichen (blau)” der Korrekturreferenztabelle 204, wird als der Betrag der Korrektur angenommen.
Beispielsweise, wie bei (c) in 9 dargestellt, haben die Luminanzen R = 89, G = 99, B = 149, die durch Reduzieren der Luminanzen des Zielbereichs R = 90, G = 100, B = 150 erhalten werden, noch nicht die Luminanzen des „Verkehrszeichen (blau)” der Korrekturreferenztabelle 204 erreicht. Wenn jedoch, wie bei (d) in 9 gezeigt, die Luminanzen R = 40, G = 50, B = 100 50 mal reduziert werden, wird R/B 0,4 und G/B wird 0,5 und dies entspricht den Luminanzen des „Verkehrszeichens (blau)” in der Korrekturreferenztabelle 204. In diesem Fall ist der Betrag der Korrektur 50, welches die Differenz ist.
Wenn, wie zuvor beschrieben, mehrere Luminanzen des Ziels gegeben sind, kann die Differenz, wenn eine von ihnen die Bedingung erfüllt, als der Betrag der Korrektur angenommen werden, oder die Differenz, wenn beide von ihnen geringer sind als die Bedingung (zum Beispiel in dem Fall des „Verkehrszeichens (blau)”, R/B < 0,4, G/B < 0,5 und in dem Fall des „Verkehrslicht (rot)”, G/R < 0,25, B/R < 0,1”) als das Maß der Korrektur angenommen werden.
Wenn die Luminanzen reduziert werden, bis beide von ihnen kleiner sind als die Bedingung, nimmt eine der Luminanzen einen negativen Wert an, die Differenz der Luminanzen, wenn der absolute Wert des Durchschnitts (Mittelwert) von Differenzen zwischen den Luminanzen (Verhältnis), wenn die Luminanzen des Zielbereichs reduziert sind, und die Luminanzen (Verhältnis) der Korrekturreferenztabelle 204 werden als das Minimum des Betrags der Korrektur angenommen. Details werden im Folgenden beschrieben unter Verwendung des spezifischen Objekts „Verkehrslicht (rot)” als ein Beispiel.
10 ist eine weitere beispielhafte Darstellung zum Erläutern der Arbeitsweise der Korrekturbetrag-Herleiteeinheit 174. Es sei beispielsweise angenommen, dass die Luminanzen eines gegebenen Zielbereichs, die von der Luminanzerlangungseinheit 160 erhalten werden, R = 120, G = 45, B = 18 sind und ein Zielobjekt in der Nähe zu dem Zielbereich dahingehend bestimmt wird, das spezifische Objekt „Verkehrszeichen beziehungsweise Straßenschild (rot)” zu sein auf der Basis der Spezifisches-Objekt-Korrespondenztabelle 200.
In diesem Fall ist, wie bei (a) in 10 gezeigt, der Bereich des spezifischen Objekts „Verkehrszeichen beziehungsweise Straßenschild (rot)” in der Spezifisches-Objekt-Korrespondenztabelle 200, das heißt der Referenzwert, die Luminanz (R) und die Luminanz (G) ist 0,375 mal der Referenzwert (R) und die Luminanz (B) ist 0,15 mal der Referenzwert (R), die Bedingungen „G ≤ R × 0,5”, „B ≤ R × 0,38” sind erfüllt. Jedoch sind, wie bei (b) in 10 dargestellt, die Luminanzen des Zielbereichs so wie der Bereich des „Verkehrslicht (rot)” in der Schmutzbestimmungstabelle 202, das heißt der Referenzwert ist die Luminanz (R) und die Luminanz (G) ist 0,35 mal oder mehr als der Referenzwert (R). Daher bestimmt die Transparenzreduktion-Bestimmungseinheit 172, dass in dem unterteilten Bereich 230, in dem das Zielobjekt enthalten ist, die Transparenz des transparenten Elements 2 reduziert ist.
Bei der Bestimmung der Transparenzreduktion-Bestimmungseinheit 172 leitet die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur her. Zuerst reduziert die Korrekturbetrag-Herleiteeinheit 174 die Luminanzen jeder Farbe des Zielbereichs durch –1 in einem Bereich, wo das Berechnungsergebnis 0 bis 255 ist, und versucht so, dass das Ergebnis das gleiche wird, wie die Luminanzen des „Verkehrslicht (rot)” der Korrekturreferenztabelle 204, das heißt „G = R × 0,25”, „B = R × 0,1”.
Wenn jedoch die Luminanzen um eins reduziert werden, sollten beide Bedingungen zur gleichen Zeit erfüllt sein. Wenn jedoch eine der Bedingungen erfüllt ist, muss die andere Bedingung nicht notwendigerweise erfüllt sein. Demzufolge kann die Korrekturbetrag-Herleiteeinheit 174 als den Betrag der Korrektur die Differenz der Luminanzen annehmen, wenn der absolute Wert des Durchschnitts der Differenzen zwischen den Luminanzen, die erhalten werden durch Reduzieren der Luminanzen des Zielbereichs und der Luminanzen der Korrekturreferenztabelle 204, das Minimum ist.
Beispielsweise nimmt der absolute Wert des Durchschnitts der Differenz aus den Luminanzen der Korrekturreferenztabelle 204 fortschreitend ab infolge des Dekrementierens und wenn die Luminanzen des Zielbereichs, die durch Dekrementieren erhalten werden, R = 108, G = 33, B = 6 sind, wie in 10 bei (c) dargestellt, dann wird der absolute Wert des Mittelwerts der Differenz aus den Luminanzen der Korrekturreferenztabelle 204 0,006. In gleicher Weise, wie in 10 bei (d) dargestellt, wenn die Luminanzen des Zielbereichs, die durch Dekrementieren erhalten werden, R = 107, G = 32, B = 5 sind, wird der absolute Wert des Mittelwerts der Differenz aus den Luminanzen der Korrekturreferenztabelle 204 0,002, und wenn die Luminanzen des Zielbereichs, die erhalten werden durch Dekrementieren, R = 106, G = 31, B = 4 sind, wie bei (e) in 10 dargestellt, wird der absolute Wert des Durchschnitts beziehungsweise Mittelwerts der Differenz aus den Luminanzen der Korrekturreferenztabelle 204 0,010. Der absolute Wert des Mittelwerts der Differenz aus den Luminanzen der Korrekturreferenztabelle 204 nimmt infolge der Dekrementierung schrittweise zu. Dies bedeutet, der absolute Wert ist 0,002 des Mittelswerts der Differenz von den Luminanzen der Korrekturreferenztabelle 204, wo R = 107, G = 32, B = 5 die Minimalwerte sind, und der Betrag der Korrektur in diesem Moment ist 13, welches die Differenz ist, von der Luminanz vor der Dekrementierung.
Wie zuvor beschrieben, der Betrag der Korrektur wird hergeleitet, jedoch, wie unter Bezug auf 3 beschrieben, die Änderung der Luminanzen wird verursacht durch den Effekt des Umgebungslichts gemäß Pfeil (C). Die Wirkung des Umgebungslichts wird dargestellt mittels eines Produkts der Transparenz und der Intensität des einfallenden Lichts (beispielsweise Sonnenlicht). Die Transparenz entspricht dem Schmutz oder Beschlag auf dem transparenten Element 2 und der Wert hiervon ist im Wesentlichen ein feststehender Wert, die Intensität des einfallenden Lichts ändert sich jedoch in proportionaler Weise gemäß der Belichtungszeit der Bildaufnahmevorrichtung 110.
Wenn daher die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur herleitet, wird die Belichtungszeit, wenn der Betrag der Korrektur hergeleitet wird, eingeholt und leitet den Basisbetrag der Korrektur (entsprechend der Transparenz) ab, erhalten durch Teilen des Betrags der Korrektur durch die Belichtungszeit. Der Wert, erhalten durch Multiplizieren des Basisbetrags der Korrektur mit der Belichtungszeit des Luminanzbildes 124 des Korrekturziels, ist der Betrag der Korrektur des Luminanzbildes 124 des Korrekturziels.
Wie zuvor beschrieben, leitet die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur pro unterteilten Bereich 230 her. Der Betrag der Korrektur wird hergeleitet, wenn in einem unterteilten Bereich 230 ein spezifisches Objekt ist. Wenn daher in einem unterteilten Bereich 230 kein spezifisches Objekt ist, wird die Korrektur selbst dann nicht durchgeführt, wenn die Transparenz des transparenten Elements 2 reduziert ist.
Wenn daher nicht lediglich ein unterteilter Bereich 230 gegeben ist, für den der Betrag der Korrektur hergeleitet wurde, sondern auch ein unterteilter Bereich 230, für den der Betrag der Korrektur nicht hergeleitet wurde, in vermischter Weise, leitet die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur für den unterteilten Bereich 230, für den der Betrag der Korrektur nicht hergeleitet wurde, her auf der Basis des Betrags der Korrektur für den unterteilten Bereich 230, für den der Betrag der Korrektur hergeleitet wurde. Die Korrekturbetrag-Herleiteeinheit 174 mittelt zum Beispiel die Beträge der Korrekturen für einen oder mehrere unterteilte Bereiche 230, für die der Betrag in der Korrektur hergeleitet wurde, und nimmt den mittleren Wert als den Betrag der Korrektur der unterteilten Bereiche 230 an, für die der Betrag der Korrektur nicht hergeleitet wurde. Der hergeleitete mittlere Wert wird jedoch nicht reflektiert in dem unterteilten Bereich 230, für den der Betrag der Korrektur hergeleitet wurde.
Wenn das gesamte transparente Element 2 schmutzig oder beschlagen ist, wird lediglich ein Teil der unterteilten Bereiche 230 nicht korrigiert und die obige Konfiguration kann verhindern, dass die Identifikationsgenauigkeit für das spezifische Objekt reduziert wird.
Der Betrag der Korrektur ändert sich mit der Zeit und ändert sich in erheblichem Umfang. Dementsprechend leitet die Korrekturbetrag-Herleiteeinheit 174 den zeitlichen Mittelwert des Betrags der Korrektur, der zu diesem Zeitpunkt hergeleitet wurde, und den Betrag der Korrektur, der zuvor hergeleitet wurde, in dem gleichen Detektionsbereich 122 her, oder dem gleichen unterteilten Bereich 230 und nimmt wiederum den zeitlichen Mittelwert als den Betrag der Korrektur an. Der zeitliche Mittelwert kann auch ein Wert sein, der erhalten wird durch einfaches Bilden des Durchschnitts des Betrags der Korrektur, der zu diesem Zeitpunkt hergeleitet wurde, und des zuvor hergeleiteten Betrags der Korrektur für eine vorbestimmte Anzahl von Malen oder ein Wert, der hergeleitet wird durch einen oder mehrere Grade von Tiefpassfiltern (LPFs) mit vorbestimmten Zeitkonstanten.
Mit einer derartigen Konfiguration kann die Änderung des Betrags der Korrektur über die Zeit abgemildert werden und die Änderung des Betrags der Korrektur kann unterdrückt werden.
Die Luminanzkorrektureinheit 176 korrigiert das Luminanzbild 124 auf der Basis des hergeleiteten Betrags der Korrektur. Wie zuvor beschrieben, wird das korrigierte Luminanzbild verwendet zum Identifizieren eines spezifischen Objekts, verschieden von dem spezifischen Objekt, das zum Berechnen des Betrags der Korrektur verwendet wurde (zum Beispiel, wenn eine Berechnung durchgeführt wurde auf der Basis der Luminanzinformation über das Verkehrsschild (blau), wird das korrigierte Luminanzbild verwendet zum Identifizieren eines spezifischen Objekts, das nicht das Verkehrsschild (blau) ist, beispielsweise Heckleuchten oder ein Verkehrslicht bzw. eine Ampel). In dem nächsten Rahmen und den darauf folgenden Rahmen korrigiert die Luminanzkorrektureinheit 176 das empfangene Luminanzbild 124 auf der Basis des Betrags der Korrektur und bewirkt, dass die Luminanzerlangungseinheit 160 die korrigierte Korrekturluminanz einholt. Eine solche Luminanzkorrektur kann entweder konstant ausgeführt werden oder lediglich dann, wenn die Transparenzreduktion-Bestimmungseinheit 172 und die Transparenzreduktion-Detektionseinheit eine Reduktion der Transparenz des transparenten Elements 2 detektieren.
Wie die Transparenzreduktion-Bestimmungseinheit 172 korrigiert die Luminanzkorrektureinheit 176 ebenfalls die Luminanz pro unterteiltem Bereich 230, erhalten durch Teilen des Luminanzbildes 124 (des detektierten Bereichs 122) in mehrere Bereiche. Wie zuvor beschrieben, kann die Luminanz in geeigneter Weise für jeden der mehreren unterteilten Bereiche 230 korrigiert werden. In diesem Beispiel wird der Betrag der Korrektur für den unterteilten Bereich 230, für den der Betrag der Korrektur nicht hergeleitet wurde, ebenfalls hergeleitet auf der Basis des unterteilten Bereichs 230, für den der Betrag der Korrektur hergeleitet wurde, und die Luminanz des unterteilten Bereichs 230 wird korrigiert, wobei es jedoch möglich ist, nicht alle der unterteilten Bereiche 230 zu korrigieren, für die der Betrag der Korrektur nicht hergeleitet wurde.
Wie zuvor beschrieben, leitet die Korrekturbetrag-Herleiteeinheit 174 den Basisbetrag der Korrektur her, erhalten durch Teilen des Betrags der Korrektur durch die Belichtungszeit, wenn der Betrag der Korrektur hergeleitet wird. Die Luminanzkorrektureinheit 176 führt daher die Korrektur durch auf der Basis des Betrags der Korrektur erhalten durch Multiplizieren des Basisbetrags der Korrektur, hergeleitet von der Korrekturbetrag-Herleiteeinheit 174, mit der Belichtungszeit des Luminanzbildes 124 des Korrekturziels. Auf diese Weise kann unabhängig von der Änderung der Belichtungszeit die Luminanz in geeigneter Weise korrigiert werden.
Die Außenumgebungserkennungsvorrichtung 130 kann daher aus dem Luminanzbild 124 ein oder mehrere Zielobjekte als spezifische Objekte extrahieren und die Information kann verwendet werden zu verschiedenen Arten von Steuerungen. Wenn beispielsweise das spezifische Objekt „Verkehrslicht (rot)” extrahiert wird, zeigt dies an, dass das Zielobjekt ein feststehendes Objekt ist, das sich nicht bewegt, und wenn das Zielobjekt ein Verkehrslicht beziehungsweise eine Ampel für das Fahrzeug des Fahrers ist, zeigt dies an, dass das Fahrzeug 1 stoppen oder verzögern muss. Ein anderes Beispiel, was zuvor nicht beschrieben wurde, besteht in der Existenz eines vorausfahrenden Fahrzeugs, das zusammen mit dem Fahrzeug 1 fährt, welches erkannt werden kann durch Extrahieren eines spezifischen Objekts „Hecklampe (rot)”.
(Umgebungserkennungsverfahren)
Im Folgenden wird das spezifische Verfahren, das von der Außenumgebungserkennungsvorrichtung 130 durchgeführt wird, erläutert unter Bezug auf die Flussdiagramme der 11 bis 16. 11 zeigt einen Gesamtablauf eines Interruptprozesses, wenn die Bildverarbeitungsvorrichtung 120 das Abstandsbild (Parallaxeinformation) 126 übermittelt. Die 12 bis 16 zeigen Unterprogramme hierzu. In dieser Beschreibung werden Pixel als Zielbereiche verwendet und die linken unteren Ecken des Luminanzbildes 124 und des Abstandsbildes 126 sind Ursprünge. Die Verarbeitung wird durchgeführt entsprechend dem Umgebungserkennungsverfahren in einem Bereich von 1 bis 600 Pixel in der horizontalen Richtung des Bildes und 1 bis 180 Pixel in der vertikalen Richtung des Bildes. In dieser Beschreibung sind unterteilte Bereiche 230 mit fünf Bereichen in der horizontalen Richtung mal drei Bereiche in der vertikalen Richtung erstellt und jeder unterteilte Bereich 230 hat horizontal 120 Pixel mal 60 Pixel. Die Anzahl der zielspezifischen Objekte, die zu überprüfen sind, wird mit vier angenommen.
Wie in 11 gezeigt, wenn entsprechend dem Umgebungserkennungsverfahren als Reaktion auf den Empfang eines Abstandsbilds 126 ein Interrupt auftritt, wird Bezug genommen auf das Luminanzbild 124, das von der Bildverarbeitungsvorrichtung 120 erhalten wird, und eine Spezifisches-Objekt-Abbildung 220 wird erzeugt auf der Basis der Zielobjektkorrespondenztabelle 200 (S300). Mit der Spezifisches-Objekt-Abbildung 220 werden spezifische Objekte, die provisorisch bestimmt wurden, in eine Gruppe eingebracht (S302) und die gruppierten Zielobjekte werden als ein spezifisches Objekt bestimmt (S304).
Anschließend wird eine Reduktion in der Transparenz des transparenten Elements 2 in der Bildaufnahmerichtung des Luminanzbildes 124 geprüft (S308) und, wenn der Betrag der Korrektur des Zielbereichs des Luminanzbildes 124 hergeleitet ist (S310), werden die Luminanzen des Zielbereichs des Luminanzbildes 124 korrigiert auf der Basis des hergeleiteten Betrags der Korrektur (S312). Hierbei führt die Luminanzkorrektureinheit 176 die Korrektur durch auf der Basis des Betrags der Korrektur, erhalten durch Multiplizieren des Basisbetrags der Korrektur, hergeleitet von der Korrekturbetrag-Herleitungseinheit 174, mit der Belichtungszeit des Luminanzbildes 124 des Korrekturziels. Im Folgenden wird der Prozess genauer erläutert.
(Spezifisches-Objekt-Abbildung-Erzeugungsprozess S300)
Wie in 12 gezeigt, initialisiert die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 (setzt auf „0”) eine vertikale Variable j zum Spezifizieren eines Zielbereichs (Pixel) (S400). Anschließend fügt die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 „1” hinzu (inkrementiert mit 1) zur vertikalen Variablen j und initialisiert (setzt auf „0”) eine horizontale Variable i (S402). Daraufhin addiert die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 „1” zu der horizontalen Variable i und initialisiert (setzt auf „0”) eine Spezifisches-Objekt-Variable m (S404). Hier werden die horizontale Variable i und die vertikale Variable j erstellt zum Ausführen des Spezifisches-Objekt-Abbildung-Erzeugungsprozesses für alle der 600 mal 180 Pixel und die Spezifisches-Objekt-Variable m wird bereitgestellt, um sequenziell vier spezifische Objekte für jedes Pixel zu vergleichen.
Die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 bewirkt, dass die Luminanzerlangungseinheit 160 die Luminanz der Pixel (i, j) als ein Zielbereich von dem Luminanzbild 124 einholt (S406), „1” zu der Spezifisches-Objekt-Variablen m hinzufügt (S408), den Luminanzbereich 206 des spezifischen Objekts (m) einholt (S410) und bestimmt, ob die Luminanzen des Pixels (i, j) in dem Luminanzbereich 206 des spezifischen Objekts (m) enthalten sind (S412).
Wenn die Luminanzen der Pixel (i, j) in dem Luminanzbereich 206 des spezifischen Objekts (m) enthalten sind (JA in S412), weist die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 eine Identifikationsnummer p, die das spezifische Objekt (m) repräsentiert, dem Pixel zu, so dass dieses auszudrücken ist als das Pixel (i, j, p) (S414). Auf diese Weise wird die Spezifisches-Objekt-Abbildung 220 erzeugt, in der eine Identifikationsnummer p jedem Pixel in dem Luminanzbild 124 gegeben ist. Wenn die Luminanzen des Pixels (i, j) nicht in dem Luminanzbereich 206 des spezifischen Objekts (m) enthalten sind (NEIN in S412), wird eine Bestimmung dahingehend durchgeführt, ob die Variable m des spezifischen Objekts gleich oder größer ist als vier, was der maximalen Anzahl der spezifischen Objekte entspricht (S416). Wenn die Spezifisches-Objekt-Variable m kleiner ist als der Maximalwert (NEIN in S416), wird der Prozess wiederholt ab dem Inkrementierungsprozess der Spezifisches-Objekt-Variable m in Schritt S408. Wenn die Spezifisches-Objekt-Variable m gleich oder größer ist als der Maximalwert (JA in S416), bedeutet dies, dass es kein spezifisches Objekt gibt, das dem Pixel (i, j) entspricht, und der Prozess in Schritt S418 wird anschließend durchgeführt.
Die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164 bestimmt dann, ob die horizontale Variable i gleich oder größer ist als 600, welches der Maximalwert der Pixelanzahl in der horizontalen Richtung ist (S418), und wenn die horizontale Variable i kleiner ist als der Maximalwert (NEIN in S418), wird der Prozess wiederholt ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S404. Wenn die horizontale Variable i gleich oder größer ist als der Maximalwert (JA in S418), bestimmt die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164, ob die vertikale Variable j gleich oder größer ist als 180, welches der Maximalwert der Pixel in der vertikalen Richtung ist (S420). Dann, wenn die vertikale Variable j kleiner ist als der Maximalwert (NEIN in S420), wird der Prozess wiederholt ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S402. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S420), ist der Spezifisches-Objekt-Abbildung-Erzeugungsprozess S300 beendet. Das jedem Pixel entsprechende spezifische Objekt ist daher provisorisch bestimmt.
(Gruppierungsprozess S302)
Wie in 13 dargestellt, nimmt die Gruppierungseinheit 166 Bezug auf den vorbestimmten Bereich, um die Zielbereiche zu gruppieren (S450), und initialisiert (setzt auf „0”) die vertikale Variable j zum Spezifizieren eines Zielbereichs (Pixel) (S452). Anschließend addiert die Gruppierungseinheit 166 „1” zu der vertikalen Variable j und initialisiert (setzt auf „0”) die horizontale Variable i (S454). Daraufhin addiert die Gruppierungseinheit 166 „1” zu der horizontalen Variable i (S456).
Die Gruppierungseinheit 166 erlangt ein Pixel (i, j, p, dp, x, y, z) als den Zielbereich des Luminanzbildes 124 (S458). Daraufhin wird eine Bestimmung durchgeführt, ob eine Identifikationsnummer p des spezifischen Objektes dem Pixel (i, j, p, dp, x, y, z) zugeordnet ist (S460). Wenn die Identifikationsnummer p zugeordnet ist (JA in S460), bestimmt die Gruppierungseinheit 166, ob es ein anderes Pixel (i, j, p, dp, x, y, z) gibt, dem die gleiche Identifikationsnummer p innerhalb eines vorbestimmten Bereichs von der Koordinate (x, y, z) in der realen Welt des Pixels (i, j, p, dp, x, y, z) zugeordnet ist (S462).
Wenn es ein anderes Pixel (i, j, p, dp, x, y, z) gibt, dem die gleiche Identifikationsnummer zugeordnet ist (JA in S462), bestimmt die Gruppierungseinheit 166, ob die Gruppennummer g an eines von allen der Pixel innerhalb des vorbestimmten Bereichs einschließlich des gerade untersuchten Pixels vergeben ist (S464). Wenn die Gruppennummer g an eines von diesen vergeben ist (JA in S464), weist die Gruppierungseinheit 166 einen Wert allen Pixeln innerhalb des vorbestimmten Bereichs zu und allen Pixeln, denen die gleiche Gruppennummer g gegeben ist, wobei der Wert ein kleinerer ist, als die kleinste Gruppennummer g unter den Gruppennummern g, die hierzu vergeben wurden, oder der kleinste Wert von Nummern, der bislang noch nicht als Gruppennummer g vergeben wurde, um so ein Pixel auszurücken als (i, j, p, dp, x, y, z, g) (S466). Wenn die Gruppennummer g an keinen von diesen vergeben ist (NEIN in S464), wird der kleinste Wert von Nummern g, der bislang noch nicht verwendet wurde, als die Gruppennummer g neu zugewiesen allen Pixeln innerhalb des vorbestimmten Bereichs einschließlich des gerade untersuchten Pixels (S468).
Auf diese Weise wird, wenn es mehrere Zielbereiche gibt, die die gleiche Identifikationsnummer p innerhalb des vorbestimmten Bereichs haben, ein Gruppierungsprozess durchgeführt durch Zuordnen einer Gruppennummer g. Wenn eine Gruppennummer g an keinen der mehreren Zielbereiche vergeben ist, wird eine neue Gruppennummer g zugewiesen und wenn eine Gruppennummer g bereits an einen von diesen vergeben ist, wird die gleiche Gruppennummer g anderen Zielbereichen zugewiesen. Wenn jedoch mehrere Gruppennummern g in mehreren Zielbereichen existieren, werden die Gruppennummern g aller Zielbereiche ersetzt durch eine Gruppennummer g, um so die Zielbereiche als eine Gruppe zu behandeln.
Bei der obigen Beschreibung werden nicht nur die Gruppennummern g aller Pixel, die innerhalb des vorbestimmten Bereichs enthalten sind, sondern auch aller Pixel, denen die gleiche Gruppennummer g gegeben ist, gleichzeitig verändert. Der Hauptgrund dafür ist, dass vermieden wird, eine Gruppe, die bereits vereinigt ist, durch Ändern der Gruppennummern g zu teilen. Zudem wird eine kleinere als die kleinste Gruppennummer g oder der kleinste Wert von Nummern, der bislang noch nicht verwendet wurde, als die Gruppennummer g verwendet, um bei der Gruppennummerierung so weit wie möglich das Überspringen einer Nummer zu verhindern. Hierdurch wird der Maximalwert der Gruppennummer g nicht unnötig groß und die Prozesslast kann reduziert werden.
Wenn die Identifikationsnummer p nicht zugeordnet ist (NEIN in S460) oder wenn es kein anderes Pixel gibt, das die gleiche Identifikationsnummer p hat (NEIN in S462), wird anschließend hierzu der Prozess in Schritt S470 ausgeführt.
Die Gruppierungseinheit 166 bestimmt anschließend, ob die horizontale Variable i gleich oder größer ist als 600, was der maximale Wert der Pixelanzahl in der horizontalen Richtung ist (S470). Wenn die horizontale Variable i kleiner als der maximale Wert ist (NEIN in S470), wird der Prozess wiederholt ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S456. Wenn die horizontale Variable i gleich oder größer ist als der maximale Wert (JA in S470), bestimmt die Gruppierungseinheit 166, ob die vertikale Variable j gleich oder größer ist als 180, was der maximale Wert der Pixelanzahl in der vertikalen Richtung ist (S472). Wenn die vertikale Variable j kleiner ist als der Maximalwert (NEIN in S472), wird der Prozess wiederholt ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S454. Wenn die vertikale Variable j gleich oder größer ist als der maximale Wert (JA in S472), wird der Gruppierungsprozess S302 beendet.
(Spezifisches-Objekt-Bestimmungsprozess S304)
Wie in 14 dargestellt, initialisiert die Spezifisches-Objekt-Bestimmungseinheit 168 (setzt auf „0”) eine Gruppenvariable k zum Spezifizieren einer Gruppe (S500). Anschließend addiert die Spezifisches-Objekt-Bestimmungseinheit 168 „1” zu der Gruppenvariablen k (S502).
Die Spezifisches-Objekt-Bestimmungseinheit 168 bestimmt, ob es ein Zielobjekt gibt, dessen Gruppennummer g die Gruppenvariable k ist von dem Luminanzbild 124 (S504). Wenn es ein solches Zielobjekt gibt (JA in S504), berechnet die Spezifisches-Objekt-Bestimmungseinheit 168 die Höhe und die Größe des Zielobjekts, an das die Gruppennummer g vergeben ist (S506). Daraufhin wird eine Bestimmung durchgeführt, ob die berechnete Höhe und die berechnete Größe innerhalb des Höhenbereichs 208 und des Breitenbereichs 210 eines spezifischen Objekts sind, das durch die Identifikationsnummer p dargestellt ist, die dem Zielobjekt zugeordnet ist, dessen Gruppennummer g die Gruppenvariable k ist, und ob die eindeutige Bedingung für das spezifische Objekt erfüllt ist (S508).
Wenn die Höhe und die Größe innerhalb des Höhenbereichs 208 und des Breitenbereichs 210 des spezifischen Objekts liegen, das durch die Identifikationsnummer p repräsentiert ist, und die eindeutige Bedingung für das spezifische Objekt erfüllt ist (JA in S508), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168, dass das Zielobjekt das spezifische Objekt ist (S510). Wenn die Höhe und die Größe nicht in dem Höhenbereich 208 und dem Breitenbereich 210 des spezifischen Objekts enthalten sind, das durch die Identifikationsnummer p repräsentiert wird, oder die eindeutige Bedingung für das spezifische Objekt nicht erfüllt ist (NEIN in S508), oder wenn es kein Zielobjekt gibt, dessen Gruppennummer g die Gruppenvariable k ist (NEIN in S504), wird der Prozess in Schritt S512 anschließend hieran durchgeführt.
Anschließend bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168, ob die Gruppenvariable k gleich oder größer ist als der maximale Wert der Gruppennummer, die in dem Gruppierungsprozess S302 gesetzt wurde (S512). Dann, wenn die Gruppenvariable k geringer ist als der maximale Wert (NEIN in S512), wird der Prozess wiederholt ab dem Inkrementierungsprozess der Gruppenvariable k in Schritt S502. Wenn die Gruppenvariable k gleich oder größer ist als der maximale Wert (JA in S512), wird der Spezifisches-Objekt-Bestimmungsprozess S304 beendet. Als Ergebnis werden die gruppierten Zielobjekte dahingehend bestimmt, das spezifische Objekt zu sein.
(Transparenzreduktion-Bestimmungsprozess S308)
Wie in 15 dargestellt, speichert die Transparenzreduktion-Bestimmungseinheit 172 das Zielobjekt, das in dem Spezifisches-Objekt-Bestimmungsprozess S304 dahingehend bestimmt wurde, das spezifische Objekt zu sein (im Folgenden als spezifisches Objekt bezeichnet) in einem vorbestimmten Speicherbereich (S550). Dann bestimmt die Transparenzreduktion-Bestimmungseinheit 172, ob das spezifische Objekt in dem Speicherbereich bleibt (S552). Als ein Ergebnis, wenn das spezifische Objekt bleibt (JA in S552), wird ein spezifisches Objekt extrahiert und das spezifische Objekt ist aus dem Speicherbereich gelöscht (S554). Wenn das spezifische Objekt nicht verbleibt (NEIN in S552), wird der Transparenzreduktion-Bestimmungsprozess S308 beendet.
Anschließend bestimmt die Transparenzreduktion-Bestimmungseinheit 172, ob die Luminanzen des Zielbereichs, die dem extrahierten spezifischen Objekt entsprechen, in dem Luminanzbereich 206 enthalten sind, der dem spezifischen Objekt in der Schmutzbestimmungstabelle 202 zugeordnet ist (S556). Als ein Ergebnis, wenn die Luminanzen in dem Luminanzbereich 206 enthalten sind (JA in S556), wird die Transparenz des transparenten Elements 2 dahingehend bestimmt, reduziert zu sein im Bezug auf den unterteilten Bereich 230, der das spezifische Objekt beinhaltet (S558), der Prozess in Schritt S552 und die anschließenden Schritte werden wiederholt. Wenn die Luminanzen nicht in dem Bereich der Luminanz enthalten sind (NEIN in S556), wird kein Prozess durchgeführt und der Prozess in Schritt S552 und die nachfolgenden Schritte werden wiederholt. Auf diese Weise wird die Reduktion in der Transparenz des transparenten Elements 2 im Bezug auf das spezifische Objekt bestimmt.
(Korrekturbetrag-Herleitungsprozess S310)
Wie in 16 gezeigt, speichert die Korrekturbetrag-Herleitungseinheit 174 das spezifische Objekt, dessen Transparenz in dem Transparenzreduktion-Bestimmungsprozess S308 dahingehend bestimmt wurde, reduziert zu sein, in einem vorbestimmten Speicherbereich (S600). Daraufhin bestimmt die Korrekturbetrag-Herleitungseinheit 174, ob das spezifische Objekt in dem Speicherbereich verbleibt (S602). Als ein Ergebnis, wenn das spezifische Objekt verbleibt (JA in S602), wird ein spezifisches Objekt extrahiert und das spezifische Objekt wird aus dem Speicherbereich gelöscht (S604). Wenn das spezifische Objekt nicht verbleibt (NEIN in S602), wird der Korrekturbetrag-Herleitungsprozess S310 beendet.
Anschließend reduziert die Korrekturbetrag-Herleitungseinheit 174 die Luminanzen des Zielbereichs, der dem extrahierten spezifischen Objekt entspricht (S606), und eine Bestimmung wird durchgeführt, ob die resultierenden Luminanzen den Luminanzbereich 206 des spezifischen Objekts in der Korrekturreferenztabelle 204 erreicht haben (S608). Wenn die resultierenden Luminanzen dahingehend bestimmt werden, den Luminanzbereich 206 erreicht zu haben (JA in S608), wird der Prozess in Schritt S610 anschließend daran durchgeführt. Wenn die resultierenden Luminanzen dahingehend bestimmt werden, den Luminanzbereich 206 nicht erreicht zu haben, werden der Prozess in Schritt S606 und die nachfolgenden Schritte wiederholt.
Daraufhin definiert die Korrekturbetrag-Herleiteeinheit 174 den Betrag der Korrektur für den unterteilten Bereich 230, der das spezifische Objekt enthält, eine Differenz von dem Wert vor der Dekrementierung, wenn der Luminanzbereich 206 erreicht wurde (S610). Die Korrekturbetrag-Herleitungseinheit 174 kann den zeitlichen Mittelwert des Betrags der Korrektur herleiten, der zu diesem Zeitpunkt hergeleitet wurde, und den Betrag der Korrektur, der zuvor in dem gleichen Detektionsbereich 122 oder dem gleichen unterteilten Bereich 230 hergeleitet wurde, und den zeitlichen Mittelwert als den Betrag der Korrektur wiederum annehmen. Wenn die Korrekturbetrag-Herleitungseinheit 174 den Betrag der Korrektur herleitet, wird die Belichtungszeit, wenn der Betrag der Korrektur hergeleitet wird, eingeholt, und es wird ebenfalls hergeleitet der Basisbetrag der Korrektur, erhalten durch Teilen des Betrags der Korrektur durch die Belichtungszeit.
Anschließend bestimmt die Korrekturbetrag-Herleitungseinheit 174, ob der Betrag der Korrektur in allen unterteilten Bereichen 230 gesetzt wurde (S612). Wenn es einen unterteilten Bereich 230 gibt, für den der Betrag der Korrektur nicht gesetzt wurde (NEIN in S612), mittelt die Korrekturbetrag-Herleitungseinheit 174 die Beträge der Korrekturen von einem oder mehreren unterteilten Bereichen 230, für die der Betrag der Korrektur hergeleitet wurde, und nimmt den mittleren Wert als den Betrag der Korrektur für den unterteilten Bereich 230 an, für den der Betrag der Korrektur nicht hergeleitet wurde (S614), und die Prozesse in Schritt S602 und die nachfolgenden Schritte werden wiederholt. Wenn der Betrag der Korrektur in allen unterteilten Bereichen 230 gesetzt wurde (JA in S612), wird kein Prozess durchgeführt und die Prozesse in Schritt S602 und die nachfolgenden Schritte werden wiederholt. Auf diese Weise wird der Betrag der Korrektur für jeden unterteilten Bereich 230 gesetzt.
Wie zuvor beschrieben, kann gemäß der Außenumgebungserkennungsvorrichtung 130 das Vorhandensein von Schmutz oder Beschlag auf der Windschutzscheibe und der optischen Komponente der Onboard-Kamera detektiert werden und das Bild kann in geeigneter Weise erkannt werden unter Verwendung der Farbinformation selbst bei solchen Bedingungen und in dieser Umgebung.
Zusätzlich ist ebenfalls ein Programm bereitgestellt, dass es einem Computer ermöglicht, als die Außenumgebungserkennungsvorrichtung 130 zu funktionieren sowie als ein Speichermedium, wie beispielsweise eine computerlesbare Diskette, einen magnetooptischen Datenträger, ein ROM, eine CD, eine DVD und eine BD, die das Programm speichern. Hier bedeutet Programm eine Datenverarbeitungsfunktion, die in irgendeiner Sprache oder einem Beschreibungsverfahren beschrieben ist.
Die obige Erfindung ist nicht auf das zuvor beschriebene Ausführungsbeispiel begrenzt. Es versteht sich für den Fachmann, dass verschiedenartige Abwandlungen durchgeführt werden können, ohne von dem Umfang der Erfindung abzuweichen.
In dem obigen Beispiel sind die Luminanzerlangungseinheit 160, die Positionsinformation-Erlangungseinheit 162, die Spezifisches-Objekt-Provisorisch-Bestimmungseinheit 164, die Gruppierungseinheit 166, die Spezifisches-Objekt-Bestimmungseinheit 168, die Transparenzreduktion-Bestimmungseinheit 172, die Korrekturbetrag-Herleiteeinheit 174 und die Luminanzkorrektureinheit 176 dahingehend konfiguriert, von der zentralen Steuereinheit 154 mit Software ausgeführt zu werden. Die funktionalen Einheiten können jedoch auch mit Hardware konfiguriert werden.
In dem obigen Ausführungsbeispiel detektiert die Transparenzreduktion-Bestimmungseinheit 172 eine Reduktion der Transparenz des transparenten Elements 2 und anschließend korrigiert die Luminanzkorrektureinheit 176 die Luminanz des Zielbereichs auf der Basis des Betrags der Korrektur durch das Bestimmungsergebnis. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Lediglich die Transparenzreduktion-Bestimmungseinheit 172 kann eine Reduktion der Transparenz des transparenten Elements 2 bestimmen. Wenn beispielsweise die Transparenzreduktion-Bestimmungseinheit 172 eine Reduktion in der Transparenz des transparenten Elements 2 detektiert, kann diese Information an einen Fahrer und einen Fahrzeuginsassen des Fahrzeugs 1 weitergegeben werden. Zudem kann die Luminanzkorrektureinheit 176 ohne Durchführung einer Bestimmung die Luminanz korrigieren. Die Spezifisches-Objekt-Bestimmungstabelle 200 kann beispielsweise verwendet werden, um ein spezifisches Objekt zu identifizieren, und anschließend kann lediglich die Korrekturreferenztabelle 204 verwendet werden, um eine Korrektur durchzuführen, ohne dass bewirkt wird, dass die Schmutzbestimmungstabelle 202 eine Reduktion der Transparenz des Transparenzelements 2 bestimmt.
Bei dem obigen Ausführungsbeispiel ist zum Zwecke der Einfachheit die Spezifisches-Objekt-Korrespondenztabelle 200 beschrieben mit dem Verkehrslicht (Ampel) (rot), dem Verkehrslicht (Ampel) (blau beziehungsweise grün). Das Verkehrszeichen (blau) und das Verkehrszeichen (grün) wurden für die Beschreibung verwendet. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Jegliches spezifische Objekt, das auf der Straße existiert und dessen RGB-Werte im Wesentlichen konstant sind, kann als das Ziel angenommen werden. Beispielsweise könnten die RGB-Werte eines Blinklichts grob identifiziert werden und, obwohl gewisse Abweichungen bestehen, können die RGB-Werte einer Heckleuchte grob identifiziert werden. Somit können diese als spezifische Objekte verwendet werden.
Die Schritte des Umgebungserkennungsverfahrens in dem obigen Ausführungsbeispiel müssen nicht notwendigerweise chronologisch in der Reihenfolge ausgeführt werden, in der sie in dem Flussdiagramm beschrieben sind. Die Schritte können parallel durchgeführt werden oder können Verarbeitungen unter der Verwendung von Unterprogrammen enthalten.
Die vorliegende Erfindung kann für eine Außenumgebungserkennungsvorrichtung und ein Außenumgebungserkennungsverfahren zum Erkennen eines Zielobjektes verwendet werden, basierend auf den Luminanzen des Zielobjektes in einem detektierten Bereich.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Außenumgebungserkennungsvorrichtung bereitgestellt. Eine Außenumgebungserkennungsvorrichtung 130 weist auf: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objektes auf der Basis eines Farbbildes, eine Datenhalteeinheit 152, um das spezifische Objekt und einen Luminanzbereich, der die Farbe des spezifischen Objektes anzeigt, zuzuordnen und zu halten, und eine Transparenzreduktion-Bestimmungseinheit 172, um eine Luminanz des Farbbildes des spezifischen Objektes und einen Luminanzbereich, der dem spezifischen Objekt zugeordnet ist, zu vergleichen, und um eine Reduktion der Transparenz in einem transparenten Element, das sich in einer Bildaufnahmerichtung der Onboardkamera befindet, zu bestimmen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010-224925 A [0002]
JP 2009-72165 A [0052]

Claims

Außenumgebungserkennungsvorrichtung zum Erkennen der Umgebung außerhalb eines Subjektfahrzeugs auf der Basis eines Farbbildes, aufgenommen von einer Onboardkamera, wobei die Außenumgebungserkennungsvorrichtung umfasst: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objekts auf der Basis des Farbbildes, eine Datenhalteeinheit zum Zuordnen und Halten des spezifischen Objektes und eines Luminanzbereichs, der die Farbe des spezifischen Objektes anzeigt, und eine Transparenzreduktion-Bestimmungseinheit zum Vergleichen einer Luminanz des Farbbildes des spezifischen Objektes und eines Luminanzbereichs, der dem spezifischen Objekt zugeordnet ist, und zum Bestimmen einer Reduktion der Transparenz eines transparenten Elements, das sich in der Bildaufnahmerichtung der Onboardkamera befindet.
Außenumgebungserkennungsvorrichtung nach Anspruch 1, wobei die Datenhalteeinheit weiterhin das spezifische Objekt und die Originalluminanz des spezifischen Objekts hält und zuordnet, und die Außenumgebungserkennungsvorrichtung weiterhin aufweist: eine Korrekturbetrag-Herleitungseinheit zum Herleiten des Betrags der Korrektur auf der Basis einer Differenz zwischen Luminanz in dem Farbbild des spezifischen Objektes und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, und eine Luminanzkorrektureinheit zum Korrigieren der Luminanz des Zielobjektes in dem Farbbild auf der Basis des so hergeleiteten Betrags der Korrektur, und wobei die Spezifisches-Objekt-Detektionseinheit das spezifische Objekt auf der Basis des korrigierten Farbbildes detektiert.
Außenumgebungserkennungsvorrichtung zum Erkennen der Umgebung außerhalb eines Subjektfahrzeugs auf der Basis eines Farbbildes, aufgenommen von einer Onboardkamera, umfassend: eine Spezifisches-Objekt-Detektionseinheit zum Detektieren eines spezifischen Objekts auf der Basis des Farbbildes, eine Datenhalteeinheit zum Zuordnen und Halten des spezifischen Objekts und einer Originalluminanz, die die Farbe des spezifischen Objekts anzeigt, eine Korrekturbetrag-Herleiteeinheit zum Herleiten des Betrags der Korrektur auf der Basis einer Differenz zwischen einer Luminanz in dem Farbbild des spezifischen Objekts und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, und eine Luminanzkorrektureinheit zum Korrigieren der Luminanz des Zielbereichs des Farbbildes auf der Basis des so hergeleiteten Betrags der Korrektur, wobei die Spezifisches-Objekt-Detektionseinheit das spezifische Objekt auf der Basis des korrigierten Farbbildes detektiert.
Außenumgebungserkennungsvorrichtung nach Anspruch 3, weiterhin umfassend: eine Transparenzreduktion-Detektionseinheit zum Detektieren einer Reduktion der Transparenz des in der Bildaufnahmerichtung der Onboardkamera befindlichen transparenten Elements, wobei die Korrekturbetrag-Herleitungseinheit den Betrag der Korrektur herleitet, wenn die Reduktion der Transparenz des transparenten Elements detektiert wird.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 2 bis 4, wobei die Korrekturbetrag-Herleitungseinheit einen Basisbetrag der Korrektur herleitet, erhalten durch Teilen des hergeleiteten Betrags der Korrektur durch eine Belichtungszeit des Farbbildes, und die Luminanzkorrektureinheit die Luminanz des Zielbereichs des Farbbildes korrigiert, auf der Basis des Betrags der Korrektur, erhalten durch Multiplizieren des Basisbetrags der Korrektur mit der Belichtungszeit des Farbbildes des Korrekturziels.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 2 bis 5, wobei die Korrekturbetrag-Herleitungseinheit den Betrag der Korrektur herleitet pro unterteilten Bereich, erhalten durch Teilen des Farbbildes in mehrere Bereiche.
Außenumgebungserkennungsvorrichtung nach Anspruch 6, wobei die Korrekturbetrag-Herleitungseinheit einen Betrag der Korrektur eines unterteilten Bereichs, für den der Betrag der Korrektur nicht hergeleitet ist, herleitet auf der Basis eines Betrags der Korrektur eines unterteilten Bereichs, für den ein Betrag der Korrektur hergeleitet ist.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 2 bis 7, wobei die Korrekturbetrag-Herleitungseinheit wiederum annimmt, als den Betrag der Korrektur, einen zeitlichen Durchschnittswert des Betrags der Korrektur, hergeleitet auf der Basis einer Differenz zwischen Luminanz des Farbbildes des spezifischen Objektes und der Originalluminanz, die dem spezifischen Objekt zugeordnet ist, und des Betrags der Korrektur, der zuvor hergeleitet wurde in dem gleichen Detektionsbereich oder dem gleichen unterteilten Bereich.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Spezifisches-Objekt-Detektionseinheit das spezifische Objekt detektiert auf der Basis einer zeitlichen Änderung der Luminanz des Farbbildes über die Zeit.