DE102012103837A1

DE102012103837A1 - Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren

Info

Publication number: DE102012103837A1
Application number: DE102012103837A
Authority: DE
Inventors: Shinnosuke Kido
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-05-12
Filing date: 2012-05-02
Publication date: 2012-11-15
Also published as: JP2012238245A; US8670612B2; US20120288191A1; JP5272042B2; CN102975678A; CN102975678B

Abstract

Bereitgestellt werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren. Eine Umgebungserkennungsvorrichtung (130) enthält Luminanzen eines Zielabschnitts in einem Erfassungsbereich, weist einen Farbidentifizierer einem Zielabschnitt zu in Übereinstimmung mit den Luminanzen des Zielabschnitts, basierend auf einer Zuordnung, gespeichert in einer Datenhalteeinheit (152), zwischen einem Farbidentifizierer und einem Luminanzbereich (S300), gruppiert Zielabschnitte, von denen Positionsdifferenzen in der Breitenrichtung und der Höhenrichtung innerhalb eines vorbestimmten Bereichs sind und denen ein oder mehrere Farbidentifizierer zugeordnet sind, die einem gleichen spezifischen Objekt entsprechen, in ein Zielobjekt, basierend auf einer Zuordnung, gespeichert in der Datenhalteeinheit, zwischen einem spezifischen Objekt und dem Farbidentifizierer (S302); und bestimmt einen äußeren Rand, der von den Zielabschnitten spezifiziert wird, denen die Farbidentifizierer zugeordnet sind, abhängig davon, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, als den äußeren Rand des Zielobjektes (S304).

Description

Die Erfindung betrifft eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren zum Erkennen eines Zielobjekts basierend auf einer Luminanze des Zielobjekts in einem Erfassungsbereich.
Es sind Technologien bekannt zum Erfassen eines Zielobjekts wie etwa ein Hindernis einschließlich eines Fahrzeugs und eines Verkehrslichts, das vor einem Subjektfahrzeug angeordnet ist, zur Durchführung einer Steuerung, um eine Kollision mit dem erfassten Zielobjekt zu vermeiden und einen Sicherheitsabstand zwischen dem Subjektfahrzeug und dem vorausfahrenden Fahrzeug einzuhalten (siehe zum Beispiel japanisches Patent Nr. 3349060 (japanische offengelegte Patentanmeldung (JP-A) Nr. 10-283461 )).
In solchen Techniken gibt es ferner eine solche, die eine fortgeschrittenere Steuerung ausführt. Insbesondere spezifiziert diese nicht nur ein Zielobjekt gleichmäßig als massives Objekt, sondern bestimmt ferner, ob das erfasste Zielobjekt ein vorausfahrendes Fahrzeug ist, das mit der gleichen Geschwindigkeit wie das Subjektfahrzeug fährt, oder ein festes Objekt ist, das sich nicht bewegt. Wenn in diesem Fall das Zielobjekt durch Aufnehmen eines Bildes eines Erfassungsbereichs erfasst wird, ist es erforderlich, das Zielobjekt aus dem aufgenommenen Bild zu extrahieren (auszuschneiden), bevor die Art des Zielobjekts spezifiziert wird.
Wenn zum Beispiel das aufgenommene Bild ein Farbbild ist, kann ein Verfahren gegeben sein zum Gruppieren von Pixeln mit einer gleichen Luminanz (Farbe) und zum Extrahieren der Pixel als ein Zielobjekt.
Wenn es regnet oder schneit, kann das aufgenommene Bild so beschaffen sein, dass Licht eines Zielobjektes wie beispielsweise eines Verkehrslichts diffus ist, das heißt zerstreut ist, in Folge von Wassertröpfchen, die sich auf der Frontscheibe befinden, oder Streifen, die durch das Wegwischen der Wassertröpfchen verursacht sind. Wenn eine Mehrzahl von Pixeln mit gleichen Farbcharakteristik einfach gruppiert werden, kann daher das Zielobjekt, dessen emittiertes Licht zerstreut ist, wie zuvor beschrieben, größer erkannt werden als es tatsächlich ist.
In Hinblick auf diese Nachteile liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren anzugeben, welche die Effizienz und Genauigkeit der Spezifizierung eines Zielobjekts verbessern, um eine falsche Erkennung in einer Umgebung zu vermeiden, in der Licht leicht zerstreut werden kann wie beispielsweise bei regnerischem Wetter.
Zur Lösung der obigen Probleme sieht ein Aspekt der vorliegenden Erfindung eine Umgebungserkennungsvorrichtung vor, welche enthält: eine Datenhalteeinheit, die eine Zuordnung speichert zwischen einer vorbestimmten Anzahl von Farbidentifizierern und jedem Luminanzbereich, eine Zuordnung speichert zwischen einem oder mehreren Farbidentifizierern und einem spezifischen Objekt, und eine Zuordnung speichert zwischen einer Kombination von einem oder von mehreren Farbidentifizierern, ausgewählt von den Farbidentifizierern, und jedem Erfassungsergebnis, ob ein Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird; eine Luminanzerlangungseinheit, die eine Luminanz eines Zielabschnitts in dem Erfassungsbereich eines Luminanzbildes erhält; eine Farbidentifiziererzuordnungseinheit, die einen Farbidentifizierer einem Zielabschnitt zuordnet entsprechend der Luminanz des Zielabschnitts, basierend auf der Zuordnung zwischen dem Farbidentifizierer und dem Luminanzbereich, gespeichert in der Datenhalteeinheit; eine Gruppierungseinheit, die Zielabschnitte gruppiert, denen einer der Farbidentifizierer zugeordnet ist, der einem gleichen spezifischen Objekt zugeordnet ist, und deren Positionsdifferenzen in der horizontalen und vertikalen Richtung innerhalb eines vorbestimmten Bereichs liegen, basierend auf der Zuordnung zwischen einem spezifischen Objekt und einem Farbidentifizierer, gespeichert in der Datenhalteeinheit; eine Umgebungsbestimmungseinheit, die bestimmt, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird; und eine Äußerer-Rand-Bestimmungseinheit, die die Kombination auswählt abhängig davon, ob der Erfassungsbereich in der Umgebung liegt, in der Licht zerstreut wird, und bestimmt, dass ein äußerer Rand, der spezifiziert ist durch einen Zielabschnitt, dem ein Farbidentifizierer zugeordnet ist, der in der ausgewählten Kombination enthalten ist, ein äußerer Rand des Zielobjektes ist.
Die Umgebungserkennungsvorrichtung kann weiterhin aufweisen eine Regenerfassungseinheit, die Regen erfasst. Zudem kann die Umgebungsbestimmungseinheit bestimmen, dass der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, wenn die Regenerfassungseinheit Regen erfasst.
Die Umgebungserkennungsvorrichtung kann zudem eine Schneefallerfassungseinheit aufweisen, welche Schneefall erfasst. Zudem kann die Umgebungsbestimmungseinheit bestimmen, dass der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, wenn die Schneefallerfassungseinheit Schneefall erfasst.
Die Datenhalteeinheit kann eine Zuordnung speichern zwischen einer Kombination von Farbidentifizierern, die von den Farbidentifizierern ausgewählt sind, und jeden Grad der Lichtzerstreuungsbedingungen. Die Umgebungsbestimmungseinheit kann die Lichtzerstreuungsbedingung in einer schrittweisen Art bestimmen. Die Äußerer-Rand-Bestimmungseinheit kann die Kombination auswählen entsprechend der Lichtzerstreuungsbedingung und bestimmen, dass ein äußerer Rand, der spezifiziert ist durch einen Zielabschnitt, dem ein Farbidentifizierer in der ausgewählten Kombination zugeordnet ist, der äußere Rand des Zielobjektes ist.
Zur Lösung des obigen Problems wird gemäß einem weiteren Aspekt der vorliegenden Erfindung ein Umgebungserkennungsverfahren bereitgestellt, das aufweist: Erhalten einer Luminanz eines Zielabschnitts in einem Erfassungsbereich eines Luminanzbildes; Zuordnen eines Farbidentifizierers zu dem Zielabschnitt entsprechend der Luminanz des Zielabschnitts, basierend auf einer Zuordnung zwischen einem Farbidentifizierer und einem Luminanzbereich, gespeichert in einer Datenhalteeinheit; Grupppieren von Zielabschnitten, denen einer von einem oder mehreren Farbidentifizierern zugeordnet ist, die dem gleichen spezifischen Objekt zugeordnet sind, und deren Positionsdifferenzen in der horizontalen und vertikalen Richtung innerhalb eines vorbestimmten Bereichs liegen, basierend auf der Zuordnung zwischen einem spezifischen Objekt und einem Farbidentifizierer, gespeichert in der Datenhalteeinheit; Bestimmen, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird; Auswählen einer Kombination abhängig davon, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, basierend auf einer Zuordnung, gespeichert in der Datenhalteeinheit, zwischen jedem Erfassungsergebnis, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, und einer Kombination von Farbidentifizierern, ausgewählt von den Farbidentifizierern, und Bestimmen, dass ein äußerer Rand, der spezifiziert ist durch den Zielabschnitt, dem ein Farbidentifizierer zugeordnet ist, der in der selektierten Kombination enthalten ist, der äußere Rand des Zielobjektes ist.
Die Erfindung wird im Folgenden weiter verdeutlicht anhand von Ausführungsbeispielen unter Bezug auf die beigefügten Zeichnungen.
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem darstellt;
2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds und eines Abstandsbilds;
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung darstellt;
4 ist ein beispielhaftes Diagramm zur Erläuterung einer Farb-Tabelle;
5 ist ein beispielhaftes Diagramm zur Erläuterung einer Spezifisches-Objekt-Tabelle;
6 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation, die von einer Positionsinformationserlangungseinheit durchgeführt wird;
7 ist eine beispielhafte Darstellung zur Erläuterung eines Farbidentifizierer-Kennfelds;
8A und 8B sind beispielhafte Darstellungen zur Erläuterung der Verarbeitung einer Gruppierungseinheit;
9A bis 9C sind beispielhafte Darstellungen zur Erläuterung der Verarbeitung einer Äußerer-Rand-Bestimmungseinheit;
10 ist ein Flussdiagramm, das einen Gesamtfluss eines Umgebungserkennungsverfahrens darstellt;
11 ist ein Flussdiagramm, das einen Ablauf eines Farbidentifizierer-Kennfeld-Erzeugungsprozesses darstellt;
12 ist ein Flussdiagramm, das einen Ablauf des Gruppierungsprozesses darstellt;
13 ist ein Flussdiagramm, das einen Ablauf des Äußerer-Rand-Bestimmungsprozesses darstellt; und
14 ist ein Flussdiagramm, das einen Ablauf des Spezifisches-Objekt-Bestimmungsprozesses darstellt.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung im Detail in Bezug auf die beigefügten Zeichnungen beschrieben. Die Größen, Materialien und andere spezifische numerische Werte, die in der Ausführungsform gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der Erfindung, und, solange nicht anderweitig spezifiziert, schränken sie die Erfindung nicht ein. In der Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleichen Funktionen und Konfigurationen haben, mit den gleichen Bezugszahlen versehen, und eine wiederholte Erläuterung davon wird weggelassen. Elemente, die sich nicht direkt auf die Erfindung beziehen, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält eine Mehrzahl von Bildaufnahmevorrichtungen 110 (in der vorliegenden Ausführungsform zwei Bildaufnahmevorrichtungen 110), eine Bildverarbeitungsvorrichtung 120, eine Umgebungserkennungsvorrichtung 130 sowie eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 vorgesehen sind.
Die Bildaufnahmevorrichtungen 110 enthalten ein Bildgebungselement wie etwa eine CCD (ladungsgekoppelte Vorrichtung) oder ein CMOS (komplementärer Metalloxid-Halbleiter) und können ein Farbbild erhalten, das heißt, eine Luminanze bestehend aus drei Farbphasen (rot, grün, blau) pro Pixel, durch eine Frontscheibe. In dem vorliegenden Ausführungsbeispiel werden Farbe und Luminanz in gleicher Weise behandelt; wenn beide Worte in einem Satz enthalten sind, können beide gelesen werden als Luminanz, die Farbe gestaltet, oder Farbe mit Luminanz. In diesem Fall wird ein von den Bildaufnahmevorrichtungen 110 aufgenommenes Farbbild als Luminanzbild bezeichnet, und unterscheidet sich von einem Abstandsbild, das später erläutert wird. Die Bildaufnahmevorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zur Fahrtrichtung des Fahrzeugs 1 sind. Die Bildaufnahmevorrichtung 110 erzeugt kontinuierlich Bilddaten, die sie durch Aufnehmen eines Bilds eines Zielobjekts erhält, das sich in einem Erfassungsbereich vor dem Fahrzeug 1 befindet, zum Beispiel bei jeder 1/60 Sekunde (60 fps). In diesem Fall braucht das Zielobjekt kein unabhängiges dreidimensionales Objekt wie etwa ein Fahrzeug sein, ein Verkehrslicht, eine Straße oder eine Leitplanke, sondern kann auch ein Beleuchtungsabschnitt wie etwa eine Heckleuchte, ein Abbiegesignal, ein Verkehrslicht sein, die als Abschnitt eines dreidimensionalen Objekts spezifiziert werden können. Jede später beschriebene Funktionseinheit in der Ausführungsform führt in Antwort auf die Aktualisierung der Bilddaten einen Prozess aus.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und leitet, basierend auf zwei Bilddatensätzen, Parallaxeinformation ab, die eine Parallaxe jedes Blocks (eines Satzes einer vorbestimmten Anzahl von Pixeln) in dem Bild enthält, sowie eine Position, die eine Position jedes Blocks in dem Bild repräsentiert. Insbesondere leitet die Bildverarbeitungsvorrichtung 120 eine Parallaxe mittels eines sogenannten Pattern Matchings, das heißt Musterabgleich oder Mustererkennung, her, der einen Block in einem der Bilddatenteile entsprechend dem Block, der optional aus dem anderen Bilddatenteil extrahiert wird, sucht. Der Block ist zum Beispiel ein Array oder Feld, das vier Pixel in der horizontalen Richtung und vier Pixel in der vertikalen Richtung enthält. In dieser Ausführungsform bedeutet die horizontale Richtung eine horizontale Richtung für das aufgenommene Bild und entspricht der Breitenrichtung in der realen Welt. Andererseits bedeutet die vertikale Richtung eine vertikale Richtung für das aufgenommene Bild und entspricht der Höhenrichtung in der realen Welt.
Ein Weg zur Durchführung eines Musterabgleichs ist es, Luminanzwerte (Y-Farbdifferenz-Signale) zwischen zwei Bilddaten durch den Block, der eine beliebige Bildposition angibt, zu vergleichen. Beispiele enthalten eine SAD (Summe der absoluten Differenz), die eine Differenz von Luminanzwerten erhält, eine SSD (Summe der quadratischen Intensitätsdifferenz), die eine Differenz quadriert, und eine NCC (normalisierte Kreuzkorrelation), die einen Ähnlichkeitsgrad von Verteilungswerten verwendet, die durch Subtrahieren eines mittleren Luminanzwerts von einem Luminanzwert jedes Pixels erhalten werden. Die Bildverarbeitungsvorrichtung 120 führt einen solchen Parallaxen-Herleitprozess an allen Blöcken durch, die in dem Erfassungsbereich erscheinen (zum Beispiel 600 Pixel×200 Pixel). In diesem Fall sei angenommen, dass der Block 4 Pixel×4 Pixel enthält, wobei aber die Anzahl von Pixeln in dem Block auf jeden beliebigen Wert gesetzt werden kann.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als Erfassungsauflösungseinheit dient, ist es unmöglich zu erkennen, zu welcher Art von Zielobjekt der Block gehört. Daher wird die Parallaxeinformation nicht von dem Zielobjekt hergeleitet, sondern wird unabhängig von der Auflösung (zum Beispiel durch den Block) in dem Erfassungsbereich hergeleitet. In dieser Ausführungsform wird ein Bild, das durch Zuordnen der so erlangten Parallaxeinformation (entsprechend einem später beschriebenen relativen Abstand) zu Bilddaten erhalten wird, als Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, wie in 2A gezeigt, in Bezug auf einen Erfassungsbereich 122 durch die beiden Bildaufnahmevorrichtungen 110 erzeugt wird. Hier ist zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch gezeigt. In der vorliegenden Ausführungsform erhält die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block aus diesem Luminanzbild 124 und erzeugt das Abstandsbild 126, wie in 2B gezeigt. Jedem Block des Abstandsbilds 126 ist eine Parallaxe des Blocks zugeordnet. In der Zeichnung ist zur Erläuterung ein Block, von dem eine Parallaxe hergeleitet wird, durch einen schwarzen Punkt angegeben.
Die Parallaxe kann leicht am Randabschnitt (einem Abschnitt, wo ein Kontrast zwischen benachbarten Pixeln vorhanden ist) der Objekte spezifiziert werden, und daher wird der Block, von dem die Parallaxe hergeleitet wird und der in dem Abstandsbild 126 mit schwarzen Punkten markiert ist, wahrscheinlich auch ein Rand in dem Luminanzbild 124 sein. Daher sind das in 2A gezeigte Luminanzbild 124 und das in 2B gezeigte Abstandsbild 126 im Hinblick auf den Umriss jedes Zielobjekts ähnlich.
Die Umgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 und das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und verwendet die Luminanzen basierend auf dem Luminanzbild 124 und einem relativen Abstand von dem Subjektfahrzeug 1, basierend auf dem Abstandsbild 126, um zu bestimmen, zu welchem spezifischen Objekt das Zielobjekt in dem Erfassungsbereich 122 gehört. In dieser Ausführungsform verwendet die Umgebungserkennungsvorrichtung 130 ein sogenanntes Stereoverfahren zum Umwandeln der Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines relativen Abstands, um hierdurch Höhen herzuleiten. Das Stereoverfahren ist ein Verfahren mittels einer Triangulationsmethode zum Erhalt eines relativen Abstands eines Zielobjekts in Bezug auf die Bildaufnahmevorrichtungen 110 aus der Parallaxe des Zielobjekts. Die Umgebungserkennungsvorrichtung 130 wird im Detail später erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet eine Kollision mit dem Zielobjekt, das von der Umgebungserkennungsvorrichtung 130 spezifiziert worden ist, und führt eine Steuerung durch, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Insbesondere hält die Fahrzeugsteuerungsvorrichtung 140 einen gegenwärtigen Fahrtzustand des Fahrzeugs 1 basierend zum Beispiel auf einem Lenkwinkelsensor 142 zum Erfassen eines Lenkwinkels, und einem Fahrzeuggeschwindigkeitssensor 144 zum Erfassen einer Geschwindigkeit des Fahrzeugs 1, um hierdurch einen Aktuator 146 anzusteuern, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Der Aktuator 146 ist ein Betätigungselement zur Fahrzeugsteuerung, das zum Steuern oder Regeln einer Bremse, eines Drosselventils, eines Lenkwinkels und dergleichen verwendet wird. Wenn eine Kollision mit einem Zielobjekt zu erwarten ist, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Meldung) der erwarteten Kollision auf einem Display 148 an, das vor einem Fahrer vorgesehen ist, und steuert den Aktuator 146 an, um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugsteuerungsvorrichtung 140 kann auch integral mit der Umgebungserkennungsvorrichtung 130 ausgeführt sein.
(Umgebungserkennungsvorrichtung 130)
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung 130 darstellt. Wie in 3 gezeigt, enthält die Umgebungserkennungsvorrichtung 130 eine I/F-Einheit 150, eine Datenhalteeinheit 152, eine Umgebungserfassungseinheit 154 sowie eine zentrale Steuerungseinheit 156.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die Datenhalteeinheit 152 ist zum Beispiel durch ein RAM, einen Flashspeicher, eine HDD und dergleichen gebildet und hält oder speichert eine Farb-Tabelle (Zuordnung), eine Spezifisches-Objekt-Tabelle (Zuordnung) und verschiedene Informationsarten, die für die Bearbeitung durch jede der nachfolgend erläuterten Funktionseinheiten benötigt wird. Darüber hinaus erhält oder speichert die Datenhalteeinheit 152 vorübergehend das Luminanzbild 124 und das Abstandsbild 126, die sie von der Bildverarbeitungsvorrichtung 120 erhalten hat. Die Spezifisches-Objekt-Tabelle wird wie folgt benutzt.
4 ist ein beispielhaftes Diagramm zum Erläutern einer Farb-Tabelle 190. In der Farb-Tabelle 190 ist ein Luminanzbereich 192, der eine vorbestimmte Anzahl von im Voraus definierten Farben anzeigt, einem Farbidentifizierer 194 zugeordnet. Beispielsweise ist der Luminanzbereich 192, der hellrot entspricht, einem Farbidentifizierer „1” zugeordnet, der Luminanzbereich 192, der gelb entspricht, ist einem Farbidentifizierer „2” zugeordnet, der Luminanzbereich 192, der einem hellen Blau-Grün entspricht, ist einem Farbidentifizierer „3” zugeordnet, der Luminanzbereich 192, der einem. rot entspricht, das relativ dunkler ist als der Farbidentifizierer „1”, ist einem Farbidentifizierer „4” zugeordnet, der Luminanzbereich 192, der einem rot entspricht, das relativ dunkler ist als der Farbidentifizierer „4”, ist einem Farbidentifizierer „5” zugeordnet, der Luminanzbereich 192, der einem gelb entspricht, das relativ dunkler ist als der Farbidentifizierer „2”, ist einem Farbidentifizierer „6” zugeordnet, der Luminanzbereich 192, der einem blau-grün entspricht, das relativ dunkler ist als der Farbidentifizierer „3”, ist einem Farbidentifizierer „7” zugeordnet, und der Luminanzbereich 192, der einem blaugrün entspricht, das relativ dunkler ist als der Farbidentifizierer „7”, ist einem Farbidentifizierer „8” zugeordnet. Es versteht sich jedoch, dass die Luminanzbereiche nicht auf die in 4 beschriebenen Luminanzbereiche beschränkt sind und die Anzahl der Luminanzbereiche nicht hierauf beschränkt ist.
5 ist ein beispielhaftes Diagramm zur Erläuterung einer Spezifisches-Objekt-Tabelle 200. In der Spezifisches-Objekt-Tabelle 200 ist jedes spezifische Objekt einem repräsentierenden Farbidentifizierer 194a zugeordnet entsprechend einem Luminanzbereich des spezifischen Objektes, wobei ein oder mehrere Farbidentifizierer 194 einen Bereich einschließen, der gleich beziehungsweise ähnlich ist der Luminanz des spezifischen Objektes (in dem vorliegenden Ausführungsbeispiel ein Unter-Farbidentifizierer 194b), und einem Breitenbereich 202, der einen Größenbereich des spezifischen Objekts indiziert. Die spezifischen Objekte enthalten verschiedene Objekte, die beobachtet werden müssen, während das Fahrzeug auf der Straße fährt, wie etwa „Verkehrslicht (rot)”, „Verkehrslicht (gelb)”, „Verkehrslicht (blau)”, „Heckleuchte (rot)”, „Abbiegesignal (orange)”, „Straßenzeichen (gelb)”, „Straßenzeichen (blau)” und „Straßenzeichen (grün)”. Es versteht sich, dass das spezifische Objekt nicht auf die Objekte in 5 beschränkt ist. Die Spezifisches-Objekt-Tabelle 200 definiert die Prioritätsfolge zum Spezifizieren eines spezifischen Objekts, und der Umgebungserkennungsprozess wird gemäß der Prioritätsfolge für jedes spezifische Objekt ausgeführt, das sequentiell aus der Mehrzahl von spezifischen Objekten in der Spezifisches-Objekt-Tabelle 200 ausgewählt wird. Unter den spezifischen Objekten wird zum Beispiel ein spezifisches Objekt „Verkehrslicht (rot)” einem oder mehreren Farbidentifizierern von „1” und „4” zugeordnet.
Der repräsentierende Farbidentifizierer 194a ist einer von dem einen oder den mehreren Farbidentifizierern 194, und ein Farbidentifizierer 194, der der Luminanz am ehesten entspricht zum Spezifizieren des spezifischen Objektes, wird als der repräsentierende Farbidentifizierer 194a definiert. Der Unter-Farbidentifizierer 194b wird dem Farbidentifizierer 194 zugeordnet, der der Luminanz entspricht, die am geeignetsten ist zum Spezifizieren eines Zielabschnitts einer Fläche, bei der von einem spezifischen Objekt emittiertes Licht zerstreut ist, in einer Umgebung, in der Licht leicht zerstreut wird, zum Beispiel bei Regen, Schnee, Hagelstürmen und Nebel.
Eine später beschriebene Umgebungsbestimmungseinheit 168 ordnet einen repräsentierenden Farbidentifizierer 194a einem Bestimmungsergebnis zu, das anzeigt, dass ein Erfassungsbereich in der Umgebung vorliegt, in der Licht zerstreut ist, während ein repräsentierender Farbidentifizierer 194a und ein Unter-Farbidentifizierer 194b mit einem Erfassungsergebnis assoziiert werden, das anzeigt, dass der Erfassungsbereich nicht in der Umgebung ist, in der Licht zerstreut ist. Ein unterer Luminanzbereich wird gewählt für den Unter-Farbidentifizierer 194b, verglichen mit dem repräsentierenden Farbidentifizierer 194a. Dies ist deshalb, weil ein Fall gegeben sein kann, in dem der Bereich zum Spezifizieren des spezifischen Objektes nicht in geeigneter Weise erfasst werden kann durch lediglich den repräsentierenden Farbidentifizierer 194a.
In der vorliegenden Ausführungsform wird, basierend auf der Spezifisches-Objekt-Tabelle 200, ein beliebiger Zielabschnitt in dem Luminanzbild 124, das der Bedingung der multiplen Farbidentifizierer 194 (Luminanzbereich 192) in Bezug auf ein beliebiges spezifisches Objekt genügt, als Kandidat für das spezifische Objekt verwendet. Wenn zum Beispiel die Luminanzen eines Zielabschnitts in dem Luminanzbereich 192 des spezifischen Objekts „Verkehrslicht (rot)” enthalten sind, basierend auf den multiplen Farbidentifizierern 194, wird der Zielabschnitt als Kandidat für das spezifische Objekt „Verkehrslicht (rot)” verwendet. Wenn dann das aus Gruppierung der Zielabschnitte gebildete Zielobjekt in einer Form extrahiert wird, die ein spezifisches Objekt zu sein scheint, wenn zum Beispiel die Größe des gruppierten Zielobjekts innerhalb des Breitenbereichs „0,2 bis 0,4 m” des „Verkehrslichts (rot)” enthalten ist, wird es als das spezifische Objekt bestimmt. Der Zielabschnitt, der als das spezifische Objekt bestimmt wird, wird mit einem Farbidentifizierer (einer Identifikationsnummer) markiert, die für das spezifische Objekt eindeutig ist. Als der Zielabschnitt kann ein Pixel oder ein durch Sammeln beziehungsweise Gruppieren von Pixeln hergestellter Block verwendet werden. Nachfolgend wird zur leichteren Erläuterung in der vorliegenden Ausführungsform ein Pixel als der Zielabschnitt verwendet.
Die Umgebungserfassungseinheit 154 weist zum Beispiel eine Regenerfassungseinheit auf, die Regen detektiert, und eine Schneeerfassungseinheit, die Schneefall detektiert. Wenn Regen oder Schneefall detektiert werden, gibt die Umgebungserfassungseinheit 154 eine Erfassungsinformation aus, die die Detektion von Regen oder die Detektion von Schneefall der Umgebungsbestimmungseinheit 168 anzeigt. Die Umgebungserfassungseinheit 154 kann zusätzlich zu der Erfassung, ob Regen oder Schneefall vorliegen, ein Ausmaß des Regens oder ein Ausmaß des Schneefalls an die Umgebungsbestimmungseinheit 168 ausgeben. Die Umgebungserfassungseinheit 154 kann nicht nur Regen oder Schneefall erfassen, sondern auch eine Umgebung, in der Licht von einem Zielobjekt wie beispielsweise einem Verkehrslicht in dem aufgenommenen Bild zerstreut ist, beispielsweise eine Umgebung, in der die Bildaufnahmevorrichtung 110 ein hinterleuchtetes Bild aufnimmt.
Die Regenerfassungseinheit verfügt beispielsweise über eine Licht emittierende Vorrichtung, die Infrarotlicht-Strahlen emittiert, ein Prisma, das die Infrarotlicht-Strahlen auf eine Frontscheibe richtet, und eine Lichtaufnahmevorrichtung, die einen Wert ausgibt entsprechend der Intensität des empfangenen Lichtes, d. h. der Infrarot-Strahlen, die auf der Frontscheibe reflektiert werden. Wenn sich Wassertröpfchen auf der Frontscheibe befinden, werden Infrarotlicht-Strahlen, die auf den Abschnitt gestrahlt werden, auf dem sich Wassertröpfchen befinden, nicht zu der Lichtaufnahmevorrichtung reflektiert, so dass der Ausgangswert der Lichtaufnahmevorrichtung reduziert ist. Wenn der Ausgangswert nicht höher ist als ein vorbestimmter Grenzwert, erfasst die Regenerfassungseinheit diese Situation als Regen. Die Regenerfassungseinheit kann durch beliebige andere existierende Technologien realisiert werden. Die Schneeerfassungseinheit kann ebenso durch verschiedene existierende Technologien realisiert werden.
Eine detaillierte Beschreibung ihrer Konfiguration wird daher hiermit weggelassen.
Die zentrale Steuerungseinheit 156 ist gebildet aus einer integrierten Halbleiter-Schaltung, die zum Beispiel eine zentrale Prozessoreinheit (CPU), ein ROM, das ein Programm oder dergleichen speichert, und ein RAM, das als Arbeitsfläche dient, enthält, und steuert die I/F-Einheit 150, die Datenhalteeinheit 152 und die Umgebungserfassungseinheit 154 durch einen Systembus 158. In der vorliegenden Ausführungsform fungiert die zentrale Steuerungseinheit 156 auch als Luminanzerlangungseinheit 160, als Positionsinformationserlangungseinheit 162, als Farbidentifiziererzuordnungseinheit 164, als Gruppierungseinheit 166, als Umgebungsbestimmungseinheit 168, als Äußerer-Rand-Bestimmungseinheit 170, als Spezifisches-Objekt-Bestimmungseinheit 172 und als Musterabgleicheinheit 174.
Die Luminanzerlangungseinheit 160 erhält eine Luminanz durch den Zielabschnitt (Pixel) (eine Luminanz bestehend aus drei Farbphasen (rot, grün und blau) pro Pixel) von dem empfangenen Luminanzbild 124 gemäß einer Steuerungsanweisung der Farbidentifiziererzuordnungseinheit 164, welche später erläutert wird. Wenn hierbei zum Beispiel der Erfassungsbereich 122 verregnet oder wolkig ist, kann die Luminanzerlangungseinheit 160 die Luminanzen nach Einstellung des Weißabgleichs erhalten, um die ursprünglichen Luminanzen zu bekommen.
Die Positionsinformationserlangungseinheit 162 verwendet das Stereoverfahren zum Umwandeln von Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines horizontalen Abstandes in der Breitenrichtung X, eines Höhenabstandes in der Höhenrichtung Y von der Straßenoberfläche und eines relativen Abstandes in der Tiefenrichtung Z von dem Subjektfahrzeug 1 gemäß einer Steuerungsanweisung der Gruppierungseinheit 166, die später erläutert wird. Die Parallaxeinformation repräsentiert eine Parallaxe jedes Zielabschnitts in dem Abstandsbild 126, wohingegen die dreidimensionale Positionsinformation Information über den relativen Abstand jedes Zielabschnitts in der realen Welt repräsentiert. Dementsprechend bezieht sich ein Begriff wie etwa Breite, Höhe und relativer Abstand auf einen Abstand in der realen Welt, wohingegen ein Begriff wie etwa erfasster Abstand sich auf einen Abstand in dem Abstandsbild 126 bezieht. Wenn die Parallaxeinformation nicht von dem Pixel hergeleitet wird, sondern von dem Block hergeleitet wird, kann eine Berechnung in Pixeleinheiten ausgeführt werden, wobei die Parallaxeinformation als solche über sämtliche Pixel, die zu einem Block gehören, betrachtet wird.
6 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation durch die Positionsinformationserlangungseinheit 162. Zunächst behandelt die Positionsinformationserlangungseinheit 162 das Abstandsbild 126 als Koordinatensystem in einer Pixeleinheit, wie in 6 gezeigt. In 6 dient die linke untere Ecke als Ursprung (0, 0). Die horizontale Richtung dient als i-Koordinatenachse und die vertikale Richtung als j-Koordinatenachse. Daher kann ein Pixel mit einer Parallaxe dp unter Verwendung einer Pixelposition i, j und der Parallaxe dp als (i, j, dp) repräsentiert werden.
Das dreidimensionale Koordinatensystem in der realen Welt wird gemäß der Ausführungsform anhand eines relativen Koordinatensystems betrachtet, worin das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite der Bewegungsrichtung des Fahrzeugs 1 ist als positive Richtung der X-Achse bezeichnet, die Oberseite des Fahrzeugs 1 als positive Richtung der Y-Achse bezeichnet, die Bewegungsrichtung des Fahrzeugs 1 (zur Vorderseite) als positive Richtung der Z-Achse bezeichnet, und der Schnittpunkt zwischen der Straßenoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildgebungsvorrichtungen 110 durchgeht, ist als Ursprung (0, 0, 0) bezeichnet. Wenn man die Straße als flache Ebene annimmt, fällt die Straßenoberfläche mit der X-Z-Ebene (y = 0) zusammen. Die Positionsinformationserlangungseinheit 162 verwendet die unten gezeigten Formeln 1 bis 3 zum Umwandeln der Koordinate des Pixels (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt. x = CD/2 + z·PW·(i – IV) (Formel 1) y = CH + z·PW·(j – JV) (Formel 2) z = KS/dp (Formel 3)
Hier bezeichnet CD ein Intervall (Grundlinienlänge) zwischen den Bildgebungsvorrichtungen 110, PW bezeichnet einen entsprechenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, den sogenannten Blickwinkel pro Pixel, CH bezeichnet eine Höhe, mit der die Bildgebungsvorrichtung 110 von der Straßenoberfläche angeordnet ist, IV und JV bezeichnen Koordinaten (Pixel) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1, und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Die Farbidentifiziererzuordnungseinheit 164 ordnet den Farbidentifizierer dem Zielabschnitt zu entsprechend der Luminanz des Zielabschnitts auf der Basis der Farb-Tabelle 190, die in der Datenhalteeinheit 152 gespeichert ist.
Insbesondere veranlasst die Farbidentifiziererzuordnungseinheit 164, dass die Luminanzerlangungseinheit 160 die Luminanz eines beliebigen gegebenen Zielabschnitts in dem Luminanzbild 124 erhält. Anschließend wählt die Farbidentifiziererzuordnungseinheit 164 sequenziell einen beliebigen Farbidentifizierer 194, der in der Farb-Tabelle 190 registriert ist, und bestimmt, ob die erhaltene Luminanz des Zielabschnitts in dem Luminanzbereich 192 des sequentiell gewählten Farbidentifizierers 194 enthalten ist. Wenn sich herausstellt, dass sich die Luminanz in dem Luminanzbereich 192 unter Prüfung befindet, wird der Farbidentifizierer dem Zielabschnitt zugeordnet, so dass ein Farbidentifizierer-Kennfeld erzeugt wird.
Die Farbidentifiziererzuordnungseinheit 164 führt sequentiell eine Serie von Vergleichen zwischen der Luminanz des Zielabschnitts und den Luminanzbereichen 192 der multiplen Farbidentifizierer 194, die in der Farb-Tabelle 190 registriert sind, aus. Die Wählreihenfolge der Farbidentifizierer 194 in der Farb-Tabelle 190, wie oben erläutert, zeigt auch die Prioritätsreihenfolge. Das heißt, in dem Beispiel der Farb-Tabelle 190 von 4 erfolgt der Vergleichsprozess in dieser Reihenfolge: „hellrot”, „gelb”, „helles blau-grün”, „rot”, „dunkelrot”, „dunkelgelb”, „blau-grün” und „dunkel blau-grün”.
Wenn der Vergleich gemäß der obigen Prioritätsreihenfolge durchgeführt wird und im Ergebnis bestimmt wird, dass die Luminanz des Zielabschnitts im Luminanzbereich 192 eines Farbidentifizierers 194 mit hohem Prioritätsrang enthalten ist, wird der Vergleichsprozess für spezifische Objekte mit niedrigerem Prioritätsrang nicht länger durchgeführt. Daher wird nur ein Farbidentifizierer 194 zugeordnet. Dies ist so, weil sich in der realen Welt eine Mehrzahl von spezifischen Objekten nicht überlappen, und somit ein Zielobjekt, das einmal als irgendeinem gegebenen Farbidentifizierer 194 von der Farbidentifiziererzuordnungseinheit 164 zugeordnet worden ist, nicht länger einem anderen Farbidentifizierer 194 zugeordnet wird. Indem auf diese Weise die Zielabschnitte exklusiv behandelt werden, lässt sich eine redundante spezifische Verarbeitung für den gleichen Zielabschnitt vermeiden, dem bereits ein Farbidentifizierer 194 zugeordnet worden ist, und die Prozesslast kann verringert werden.
7 ist eine beispielhafte Darstellung zur Erläuterung eines Farbidentifizierer-Kennfelds 210. Das Farbidentifizierer-Kennfeld 210 ist hergestellt durch Auflagern der Farbidentifizierer 194 auf das Luminanzbild 124. Die Farbidentifizierer 194 werden daher in einer gesammelten Weise einer Position zugeordnet, die einem spezifischen Objekt entspricht, von dem erwartet wird, dass es die Luminanzen innerhalb des Luminanzbereichs 192 des Farbidentifizierers 194 hat.
Zum Beispiel werden in einem Segment 210a des Farbidentifizierer-Kennfelds 210 Luminanzen von Zielabschnitten 212, die den Heckleuchten des vorausfahrenden Fahrzeugs entsprechen, mit dem Luminanzbereich 192 von jedem der Farbidentifizierer „1”, „2”, „3”, und „4” der Reihenfolge nach verglichen. Als Ergebnis werden die Luminanzen der Zielabschnitte 212 im Luminanzbereich 192 des Farbidentifizierers „4” beinhaltet und daher der Farbidentifizierer „4” den spezifischen Objekten „Heckleuchte (rot)” zugeordnet. In einem Segment 210b des Farbidentifizierer-Kennfelds 210 sind die Luminanzen von Zielabschnitten 214, die den Lichtabgabeabschnitten an der rechten Seite des Verkehrslichts entsprechen, in dem Luminanzbereich 192 des Farbidentifizierers „1” enthalten, und daher wird dem spezifischen Objekt „Verkehrslicht (rot)” ein Farbidentifizierer „1” zugeordnet. Ferner werden in einem Segment 210c des Farbidentifizierer-Kennfelds 210 die Luminanzen von Zielabschnitten 216, die dem rückseitigen Lampenabschnitt des vorausfahrenden Fahrzeugs entsprechen, mit den Luminanzbereichen 192 der Farbidentifizierer „1”, „2” und „3” der Reihe nach verglichen, und schließlich werden der Farbidentifizierer „4” des spezifischen Objekts „Heckleuchte (rot)” und der Farbidentifizierer „5” des spezifischen Objekts „Abbiegesignal (orange)” zugeordnet. 7 zeigt eine Figur, worin die Farbidentifizierer in den Zielabschnitten des Luminanzbilds 124 zugeordnet werden. Dies ist jedoch eine konzeptmäßige Darstellung zum leichteren Verständnis. In der Realität werden Farbidentifizierer als Daten an den Zielabschnitten registriert.
Die Gruppierungseinheit 166 nimmt einen beliebigen gegebenen Zielabschnitt als einen Basispunkt und gruppiert Zielabschnitte, die einem gleichen spezifischen Objekt entsprechen, von denen Positionsdifferenzen in der Breitenrichtung X und in der Höhenrichtung Y innerhalb eines vorbestimmten Bereichs liegen (zum Beispiel 1,0 m), wodurch die gruppierten Zielabschnitte zu einem Zielobjekt gemacht werden. Der vorbestimmte Bereich wird in der realen Welt als Abstand repräsentiert, und kann auf jeden gegebenen Wert gelegt werden.
Genauer gesagt, zuerst erhält die Gruppierungseinheit 166 sukzessiv den Farbidentifizierer 194 von irgendeinem gegebenen Zielabschnitt in dem Luminanzbild 124. Daraufhin nimmt die Gruppierungseinheit 166 den Zielabschnitt als einen Basispunkt und gruppiert einen anderen Zielabschnitt, der dadurch gekennzeichnet ist, dass bezüglich seiner Position und dem Basispunkt die Differenzen in der Breitenrichtung x und der Höhenrichtung y innerhalb eines vorbestimmten Bereichs liegen und der eine Bedingung erfüllt, in ein Zielobjekt. Die Bedingung ist so definiert, dass dem anderen Zielabschnitt einer der Farbidentifizierer 194 zugeordnet ist (in dem vorliegenden Ausführungsbeispiel der repräsentierende Farbidentifizierer 194a und der Unter-Farbidentifizierer 194b), der einem spezifischen Objekt zugeordnet ist, das den Farbidentifizierer 194 des Basispunkts als den repräsentierenden Farbidentifizierer 194a hat.
Die Gruppierungseinheit 166 verwendet auch den Zielabschnitt, der neuerlich durch den Gruppierungsprozess hinzugefügt worden ist, als Basispunkt und gruppiert einen anderen Zielabschnitt, dessen Positionsunterschiede in der Breitenrichtung X und in der Höhenrichtung Y innerhalb eines vorbestimmten Bereichs liegen und dem der repräsentierende Farbidentifizierer 194a oder der Unter-Farbidentifizierer 194b zugeordnet ist, der dem gleichen spezifischen Objekt zugeordnet ist wie der Basispunkt. Dementsprechend werden, soweit die Abstände zwischen den Zielabschnitten, denen der repräsentierende Farbidentifizierer 194a oder der Unter-Farbidentifizierer 194b zugeordnet sind, mit dem gleichen spezifischen Objekt assoziiert ist, das im dem vorbestimmten Bereich ist, alle derartigen Zielabschnitte gruppiert.
In diesem Fall macht die Gruppierungseinheit 166 die Bestimmung anhand des Abstands in der Breitenrichtung x und des Abstands in der Höhenrichtung y in der realen Welt, aber wenn eine Bestimmung anhand der Erfassungsabstände in dem Luminanzbild 124 und dem Abstandsbild 126 erfolgt, wird der Schwellenwert des vorbestimmten Bereichs zur Gruppierung gemäß dem relativen Abstand in der Tiefenrichtung z des Zielabschnitts verändert. Wie in 2 und dergleichen gezeigt, sind entfernte Objekte und nahe Objekte in dem Luminanzbild 124 und dem Abstandsbild 126 in der flachen Ebene dargestellt, und daher wird ein an einer entfernten Position angeordnetes Objekt in einer kleinen (kurzen) Größe repräsentiert, und ein an einer nahen Position angeordnetes Objekt in einer großen (langen) Größe repräsentiert. Daher wird zum Beispiel der Schwellenwert des vorbestimmten Bereichs in dem Luminanzbild 124 und dem Abstandsbild 126 für einen entfernten Zielabschnitt auf einen kleinen Wert gesetzt und wird für einen nahen Zielabschnitt auf einen großen Wert gesetzt. Selbst wenn daher die Erfassungsabstände zwischen einer entfernten Position und einer nahen Position unterschiedlich sind, kann der Gruppierungsprozess stabil durchgeführt werden.
In der obigen Beschreibung wird die Differenz in der Breitenrichtung x und die Differenz in der Höhenrichtung y jeweils unabhängig bestimmt, und nur wenn beide von diesen innerhalb des vorbestimmten Bereichs liegen, werden die Zielabschnitte in die gleiche Gruppe gruppiert. Jedoch kann der Gruppierungsprozess auch mit einer anderen Berechnung durchgeführt werden. Wenn zum Beispiel der Euklid'sche Abstand, die Quadratwurzel aus ((Differenz in der Breitenrichtung x)² + (Differenz in der Höhenrichtung y)²) innerhalb eines vorbestimmten Bereichs liegt, können Zielabschnitte in die gleiche Gruppe gruppiert werden. Mit dieser Berechnung können Abstände zwischen Zielabschnitten in der realen Welt genau hergeleitet werden, und daher wird die Gruppierungsgenauigkeit verbessert.
Die 8A bis 8D sind beispielhafte Darstellungen zum Erläutern der Verarbeitung der Gruppierungseinheit 166. In den Zeichnungen sind Farbidentifizierer 194 zum Zwecke des leichteren Verstehens weggelassen. Bezüglich des Farbidentifizierer-Kennfelds 210, das in 8A gezeigt ist, gruppiert beispielsweise die Gruppierungseinheit 166 alle Zielabschnitte innerhalb des vorbestimmten Bereichs, die dem repräsentierenden Farbidentifizierer 194a oder dem Unter-Farbidentifizierer 194b zugeordnet sind, der dem spezifischen Objekt „Verkehrslicht (rot)” zugeordnet ist, und produziert ein Zielobjekt 218, wie es in 8B gezeigt ist. Somit wird das spezifische Objekt des „Verkehrslicht (rot)” extrahiert.
Die Umgebungsbestimmungseinheit 168 bestimmt, ob der Erfassungsbereich 122 in der Umgebung liegt, in der Licht zerstreut wird. Die Umgebung, in der Licht zerstreut wird, wird erzeugt durch Wassertröpfchen auf der Frontscheibe in Folge von Regen oder Schneefall, Streifen oder Schlieren, die durch Reinigen der Wassertröpfchen verursacht werden, oder dergleichen. Wenn der Erfassungsinformationsausgang von der Umgebungserfassungseinheit 154 anzeigt, dass Regen oder Schneefall vorliegen, bestimmt die Umgebungsbestimmungseinheit 168, dass der Erfassungsbereich 122 in der Umgebung liegt, in der Licht zerstreut wird.
Die 9A bis 9C sind beispielhafte Darstellungen zum Erläutern des Arbeitsprozesses der Äußerer-Rand-Bestimmungseinheit 170. Zum Zwecke des leichteren Verstehens ist der Farbidentifizierer 194 in dieser Figur nicht gezeigt. Nachdem die Zielabschnitte von der Gruppierungseinheit 166 als ein Zielobjekt gruppiert wurden, wird der äußere Rand des Zielobjekts definiert als eine rechtwinklige Form, um die Datenverarbeitung zu erleichtern. Genauer gesagt, von den Zielabschnitten, die das Zielobjekt bilden, extrahiert die Äußerer-Rand-Bestimmungseinheit 170 einen Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten linke (xl) ist, einen Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten rechte (xr) ist, einen Zielabschnitt, dessen Position in der Höherichtung y die minimale (ymin) ist, und einen Zielabschnitt, dessen Position in der Höhenrichtung y die maximale (ymax) ist. Daraufhin definiert sie ein Rechteck, das durch die 4 gerade Linien von x = xl, x = xr, y = ymin und y = ymax eingeschlossen ist, als einen äußeren Rand des Zielobjekts.
Auf dem Farbidentifizierer-Kennfeld 210 des Verkehrslichts, das an einem regnerischen Tag aufgenommen wird, dehnt sich (läuft) jedoch Licht von der Lichtquelle des Verkehrslichts, wie in 9A gezeigt, in jede Richtung aus und wird zerstreut. Wenn ein rechtwinkliger Bereich, der durch einen weißen Rahmen angezeigt ist, als der äußere Rand des Zielobjektes gewählt wird, kann ein Bereich, der größer ist als die reale Lichtquelle, als der äußere Rand des Zielobjektes bestimmt werden.
Wie zuvor beschrieben, verschlechtern Zielabschnitte, die dem zerstreuten Licht entsprechen, die Genauigkeit des Spezifizierens eines spezifischen Objekts. Es ist daher wünschenswert, diese Abschnitte von einem Zielobjekt auszuschließen. Wenn das Wetter gut ist, wird der Luminanzbereich, der dem zerstreuten Licht entspricht, jedoch effektiv verwendet zum Spezifizieren der Kontur des Verkehrslichtes. Ein Ausschließen der Zielabschnitte, die zu dem Luminanzbereich des zerstreuten Lichts gehören, ohne jegliche Ausnahme, könnte daher die Genauigkeit des Spezifizierens eines spezifischen Objektes an einem klaren Tag verschlechtern.
Im Hinblick darauf wählt die Äußerer-Rand-Bestimmungseinheit 170 den Farbidentifizierer 194 dementsprechend, ob das Zielobjekt in einer Umgebung liegt, in der Licht zerstreut wird oder nicht, und bestimmt einen äußeren Rand, der von den Zielabschnitten spezifiziert wird, denen der gewählte Farbidentifizierer 194 zugeordnet ist, als den äußeren Rand des Zielobjektes. Bei dem vorliegenden Ausführungsbeispiel ist der gewählte Farbidentifizierer der repräsentierende Farbidentifizierer 194a oder der Unter-Farbidentifizierer 194b. Es können jedoch eine Mehrzahl von Farbidentifizierern kombiniert werden.
9B zeigt schematisch Zielabschnitte 230a und 230b, die ein Zielobjekt bilden. Der repräsentierende Farbidentifizierer 194a ist dem Zielabschnitt 230a zugeordnet, während der Unter-Farbidentifizierer 194b dem Zielabschnitt 230b zugeordnet ist.
Von den Zielabschnitten 230a, denen der repräsentative beziehungsweise repräsentierende Farbidentifizierer 194a zugeordnet ist, extrahiert die Äußerer-Rand-Bestimmungseinheit 170 den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten linke (xl) ist, den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten rechte (xr) ist, den Zielabschnitt, dessen Position in der Höhenrichtung y die minimale (ymin) ist, und den Zielabschnitt, dessen Position in der Höhenrichtung y die maximale (ymax) ist. Die Äußerer-Rand-Bestimmungseinheit 170 hält die Koordinaten der Zielabschnitte in der Datenhalteeinheit 152.
Von den Zielabschnitten 230b, denen der Unter-Farbidentifizierer 194b zugeordnet ist, extrahiert die Äußerer-Rand-Bestimmungseinheit 170 zudem den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten linke (xl) ist, den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten rechte (xr) ist, den Zielabschnitt, dessen Position in der Höhenrichtung y die minimale (ymin) ist, und den Zielabschnitt, dessen Position in der Höhenrichtung y die maximale (ymax) ist. Die Äußerer-Rand-Bestimmungseinheit 170 hält die Koordinaten der Zielabschnitte in der Datenhalteeinheit 152.
Wenn die Umgebungsbestimmungseinheit 168 bestimmt, dass das Zielobjekt in einer Umgebung ist, in der Licht zerstreut wird, schließt die Äußerer-Rand-Bestimmungseinheit 170 dann die Zielabschnitte durch den rechtwinkligen Bereich ein, der durch vier gerade Linien x = xl, x = xr, y = ymin und y = ymax eingeschlossen ist, durch Verwendung der Koordinaten der Zielabschnitte 230a, denen der repräsentierende Farbidentifizierer 194a zugeordnet ist. Dementsprechend, wie in 9B gezeigt, werden vier Zielabschnitte 230b, denen der Unter-Farbidentifizierer 194b zugeordnet ist, in der untersten Reihe ausgeschlossen, so dass der äußere Rand dahingehend definiert wird, die verbleibenden zwölf Zielabschnitte 230a und 230b einzuschließen.
Wie zuvor beschrieben, wird ein niedrigerer Luminanzbereich gewählt für den Unter-Farbidentifizierer 194b, verglichen mit dem repräsentierenden Farbidentifizierer 194a. Daher schließt die Äußerer-Rand-Bestimmungseinheit 170, wie durch einen weißen Rahmen in 9C gezeigt, den Einfluss des Lichts, das relativ niedrige Luminanzen hat und das diagonal sich ausbreitet und zerstreut ist, aus und bestimmt den äußeren Rand basierend auf den Zielabschnitten mit relativ hohen Luminanzen.
Wie zuvor beschrieben, ordnet die Umgebungserkennungsvorrichtung 130 gemäß dem vorliegenden Ausführungsbeispiel den repräsentierenden Farbidentifizierer 194a, der zum Spezifizieren eines Lichtquellenabschnitts verwendet wird, der nicht von Diffusion beeinflusst wird, einem spezifischen Objekt zu. Dementsprechend kann, selbst wenn das Licht von der Lichtquelle des Verkehrslichts in Folge von regnerischem Wetter zerstreut ist, die Äußerer-Rand-Bestimmungseinheit 170 den äußeren Rand des Zielobjektes bestimmen, so dass die Lichtquelle in geeigneter Weise umschlossen ist, basierend auf dem repräsentierenden Farbidentifizierer 194a, durch Ausschließen des Einflusses von diffusem beziehungsweise zerstreutem Licht. Dieser Prozess kann die Genauigkeit der nachfolgenden Verarbeitungen wie beispielsweise den Musterabgleich erhöhen.
Die Konfiguration kann so gewählt sein, dass, wenn die Umgebungsbestimmungseinheit 168 feststellt, dass das Zielobjekt in einer Umgebung ist, in der Licht zerstreut wird, die Zielabschnitte von Anfang an gruppiert werden basierend auf nur dem repräsentierenden Farbidentifizierer 194a, um das Zielobjekt zu bilden. Allerdings sind beispielsweise an einem regnerischen Tag Wassertröpfchen nicht notwendigerweise gleichförmig auf der Frontscheibe verteilt. Zudem ist der Grad der Verteilung der Wassertröpfchen, die durch das Verschwenken der Scheibenwischer verursacht wird, nicht gleichförmig. Der Grad der Lichtdiffusion ist daher situationsbedingt unterschiedlich. Wenn die Zielabschnitte von Anfang an gruppiert werden lediglich durch den repräsentierenden Farbidentifizierer 194a, können Zielabschnitte, die dem Verkehrslicht entsprechen, möglicherweise nicht als ein Zielobjekt gruppiert werden. In der vorliegenden Ausführungsform gruppiert die Gruppierungseinheit 166 temporär die Zielabschnitte durch den repräsentierenden Farbidentifizierer 194a und den Unter-Farbidentifizierer 194b und die Äußerer-Rand-Bestimmungseinheit 170 bestimmt daraufhin den äußeren Rand. Diese Konfiguration kann dieses Problem vermeiden.
In der vorliegenden Ausführungsform sind der repräsentierende Farbidentifizierer 194a und der Unter-Farbidentifizierer 194b assoziiert mit dem Ergebnis der Bestimmung, ob das Zielobjekt in einer Umgebung liegt, in der Licht zerstreut ist. Die Umgebungsbestimmungseinheit 168 kann jedoch Detektionsinformation erhalten, die ein Maß an Regen oder ein Maß an Schneefall anzeigt, und kann den Lichtdiffusionszustand in einer schrittweisen Art bestimmen, basierend auf der Detektionsinformation. In diesem Fall assoziiert die Datenhalteeinheit 152 eine Kombination von einem oder mehreren Farbidentifizierern 194, die aus der Mehrzahl von Farbidentifizierern 194 ausgewählt werden, mit jedem Grad der Lichtdiffusionskondition, und speichert diese Assoziation. Die Äußerer-Rand-Bestimmungseinheit 170 wählt eine Kombination in Übereinstimmung mit der Lichtdiffusionskondition.
Genauer gesagt, es sei angenommen, dass Regen klassifiziert wird in heftiger Regen, normaler Regen und leichter Regen in einer schrittweisen Art gemäß dem Ausmaß an Regen. Es sei zudem angenommen, dass der Bereich eines Ausgangswertes (Detektionsinformation) von der Lichtaufnahmevorrichtung der Regenerfassungseinheit zuvor festgesetzt wurde in Übereinstimmung mit der Klassifikation des Regens. Die Umgebungsbestimmungseinheit 168 spezifiziert die Klassifikation des Regens gemäß dem Ausgangswert und gibt das Ergebnis an die Äußerer-Rand-Bestimmungseinheit 170 aus. In der vorliegenden Ausführungsform wird die Lichtdiffusion als groß angenommen, wenn das Ausmaß an Regen groß ist. Die Äußerer-Rand-Bestimmungseinheit 170 wählt die Kombination der Farbidentifizierer 194, die bestimmt wird in einer schrittweisen Art gemäß der Lichtdiffusionskondition (heftiger Regen, normaler Regen oder leichter Regen) und bestimmt den äußeren Rand basierend auf der ausgewählten Kombination der Farbidentifizierer 194.
Wie zuvor beschrieben, verwendet die Äußerer-Rand-Bestimmungseinheit 170 die Mehrzahl von Kombinationen der Farbidentifizierer 194 gemäß der Lichtdiffusionskondition, die in einer schrittweisen Art gesetzt ist, wodurch die Bestimmung des äußeren Randes des Zielobjektes unter Verwendung des Luminanzbereichs 192 in besserer Weise geeignet ist für die Umgebung, basierend auf dem Ausmaß des Regens oder dem Ausmaß des Schneefalls.
Wie zuvor beschrieben, wird die Lichtdiffusion beziehungsweise Lichtstreuung auf dem Luminanzbild 124 verursacht durch Regen- oder Schneefall. Da die Umgebungserkennungsvorrichtung 130 die Regenerfasssungseinheit oder die Schneefallerfassungseinheit aufweist, kann sie zutreffend die Lichtdiffusionskondition spezifizieren, basierend auf dem Regen- oder Schneefall, und kann einen äußeren Rand des Zielobjektes mit einer geeigneten Größe bestimmen.
Im Ergebnis kann die Umgebungserkennungsvorrichtung 130 aus dem Luminanzbild 124 ein oder mehrere Zielobjekte als spezifische Objekte extrahieren, und die Information kann für verschiedene Steuerungsarten verwendet werden. Wenn zum Beispiel das spezifische Objekt „Verkehrslicht (rot)” extrahiert wird, zeigt dies an, dass das Zielobjekt ein festes Objekt ist, welches sich nicht bewegt, und wenn das Zielobjekt ein Verkehrslicht für das Subjektfahrzeug ist, zeigt dies an, dass das Subjektfahrzeug 1 anhalten oder verzögern muss. Wenn das spezifische Objekt „Heckleuchte (rot)” extrahiert wird, zeigt dies an, dass ein vorausfahrendes Fahrzeug vorhanden ist, das zusammen mit dem Subjektfahrzeug 1 fährt, und dass die Rückseite des vorausfahrenden Fahrzeugs den relativen Abstand in der Tiefenrichtung z des spezifischen Objekts „Heckleuchte (rot)” hat.
Wenn ein Zielobjekt, das erhalten wurde als ein Resultat des Gruppierungsprozesses durch die Gruppierungseinheit 166, eine vorbestimmte Bedingung erfüllt, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, dass das Zielobjekt ein spezifisches Objekt ist. Beispielsweise, wie in 5 gezeigt, wenn der Breitenbereich 202 in der Spezifisches-Objekt-Tabelle 200 gegeben ist und die Größe (sowohl der Abstand in der Breitenrichtung x als auch der Abstand in der Höhenrichtung y) eines Zielobjektes in dem Breitenbereich 202 des repräsentierenden Farbidentifizierers 194a des spezifischen Objektes auf der Basis der Spezifisches-Objekt-Tabelle 200 enthalten ist, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 168 das Zielobjekt als das spezifische Objekt. Ein separater Breitenbereich 202 kann gesetzt sein für sowohl den Abstand in der Breitenrichtung x als auch den Abstand in der Höhenrichtung y. Hier wird geprüft, ob das Zielobjekt eine Größe hat, die passend ist, um als ein spezifisches Objekt angenommen zu werden. Daher, wenn die Größe des Zielobjektes nicht in dem Breitenbereich 202 enthalten ist, kann das Zielobjekt als unnötige Information von der Umgebungserkennungsverarbeitung ausgeschlossen werden. Zum Beispiel, wie in dem Beispiel das in 8A bis 8D gezeigt ist, ist die Größe des Zielobjektes 218 in 8B in dem Breitenbereich „0,2 bis 0,4 m” des spezifischen Objekts „Verkehrslicht (rot)” enthalten und daher ist das Zielobjekt 218 in geeigneter Weise spezifiziert als das spezifische Objekt „Verkehrslicht (rot)”.
Im Ergebnis kann die Umgebungserkennungsvorrichtung 130 aus dem Luminanzbild 124 ein oder mehrere Zielobjekte als spezifische Objekte extrahieren, und die Information kann für verschiedene Steuerungsarten verwendet werden. Wenn zum Beispiel das spezifische Objekt „Verkehrslicht (rot)” extrahiert wird, zeigt dies an, dass das Zielobjekt ein festes Objekt ist, welches sich nicht bewegt, und wenn das Zielobjekt ein Verkehrslicht für das Subjektfahrzeug ist, zeigt dies an, dass das Subjektfahrzeug 1 anhalten oder verzögern muss. Wenn das spezifische Objekt „Heckleuchte (rot)” extrahiert wird, zeigt dies an, dass ein vorausfahrendes Fahrzeug vorhanden ist, das zusammen mit dem Subjektfahrzeug 1 fährt, und dass die Rückseite des vorausfahrenden Fahrzeugs den relativen Abstand in der Tiefenrichtung z des spezifischen Objekts „Heckleuchte (rot)” hat.
Da eine Vielzahl von spezifischen Objekten sich in der realen Welt nicht überlappen, wird ein Zielobjekt, das einmal als irgendein gegebenes spezifisches Objekt bestimmt wurde, nicht länger bestimmt als ein anderes spezifisches Objekt. Die Gruppierungseinheit 166 führt den Gruppierungsprozess daher aus durch Ausschließen von Zielabschnitten, die ein Zielobjekt bilden und bereits als ein spezifisches Objekt von der Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt wurden. Genauer gesagt, wenn bei dem Spezifisches-Objekt-Bestimmungsprozess für ein selektiertes spezifisches Objekt Zielabschnitte bestimmt werden als das selektierte spezifische Objekt, werden Zielabschnitte nicht für den Gruppierungsprozess für ein anderes spezifisches Objekt verwendet. Da der Zielbereich exklusiv gehandhabt wird, kann ein redundanter Gruppierungsprozess des Zielbereichs, der bereits als ein spezifisches Objekt bestimmt wurde, vermieden werden, wodurch die Prozesslast reduziert werden kann.
Wenn ein durch die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmtes spezifisches Objekt zum Beispiel ein „Zeichen” ist, und angenommen wird, dass das spezifische Objekt eine Geschwindigkeitsbegrenzung anzeigt, führt die Musterabgleicheinheit 174 ferner einen Musterabgleich für einen darin angegebenen numerischen Wert durch und spezifiziert den numerischen Wert. Auf diese Weise kann die Umgebungserkennungsvorrichtung 130 die Geschwindigkeitsbeschränkung und dergleichen von der Fahrbahn erkennen, auf der das Subjektfahrzeug fährt.
In der vorliegenden Ausführungsform extrahiert die Spezifisches-Objekt-Bestimmungseinheit 172 zuerst eine Mehrzahl von beschränkten spezifischen Objekten und braucht dann lediglich den Musterabgleich nur an den extrahierten spezifischen Objekten durchführen. Daher kann im Gegensatz zum herkömmlichen Fall, wo der Musterabgleich auf der Gesamtfläche des Luminanzbilds 124 durchgeführt wird, die Prozesslast signifikant verringert werden.
(Umgebungserkennungsverfahren)
Nachfolgend werden die besonderen Prozesse, die von der Umgebungserkennungsvorrichtung 130 durchgeführt werden, basierend auf dem in den 10 bis 14 gezeigten Flussdiagramm erläutert. 10 stellt einen Gesamtfluss eines Unterbrechungs-Prozesses dar, wenn die Bildverarbeitungsvorrichtung 120 das Abstandsbild (Parallaxeinformation) 126 überträgt. Die 11 bis 14 stellen Unterroutinen davon dar. In der Beschreibung werden Pixel als Zielabschnitte verwendet, und die unteren linken Ecken des Luminanzbilds 124 und des Abstandsbilds 126 sind Ursprünge. Der Prozess wird gemäß dem Umgebungserkennungsverfahren im Bereich von 1 bis 600 Pixeln in der horizontalen Richtung des Bilds und 1 bis 200 Pixeln in der vertikalen Richtung des Bilds durchgeführt. In dieser Beschreibung wird angenommen, dass die Anzahl der Farbidentifizierer 194 und der spezifischen Objekte, die geprüft werden sollen, acht sein soll.
Wenn, wie in 10 gezeigt, eine Unterbrechung gemäß dem Umgebungserkennungsverfahren in Antwort auf den Empfang des Abstandsbilds 126 auftritt, wird auf das von der Bildverarbeitungsvorrichtung 120 erhaltene Luminanzbild 124 Bezug genommen, und ein Farbidentifizierer 194 wird einem Zielabschnitt zugeordnet, wodurch ein Farbidentifizierer-Kennfeld 210 erzeugt wird (S300).
Anschließend werden die Zielabschnitte, deren Positionsdifferenzen nahe sind und deren Farbidentifizierer die Bedingung in dem Farbidentifizierer-Kennfeld 210 erfüllen, in ein Zielobjekt gruppiert (S302) und die Äußerer-Rand-Bestimmungsverarbeitung wird durchgeführt (S304) und das Zielobjekt wird bestimmt als ein spezifisches Objekt (S306). Wenn es notwendig sein sollte, weiter Information von dem so bestimmten spezifischen Objekt zu erhalten, führt die Musterabgleicheinheit 174 den Musterabgleich an dem spezifischen Objekt aus (S308). Daraufhin wird der Unterbrechungsprozess beendet.
(Farbidentifizierer-Kennfeld-Erzeugungsprozess S300)
Wie in 11 gezeigt, initialisiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 172 eine vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixels) (setzt sie auf „0”) (S350). Anschließend addiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 172 zu der vertikalen Variablen j „1” (inkrementiert diese um 1) und initialisiert eine horizontale Variable i (setzt sie auf „0”) (S352). Dann addiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 172 zu der horizontalen Variablen i „1” und initialisiert eine Spezifisches-Objekt-Variable m (S354). Hier sind die horizontale Variable i und die vertikale Variable j vorgesehen, um den Spezifisches-Objekt-Kennfeld-Erzeugungsprozess an allen der 600×200 Pixel durchzuführen, und die Spezifisches-Objekt-Variable m ist vorgesehen, um acht spezifische Objekte für jedes Pixel sequentiell zu vergleichen.
Die Farbidentifiziererzuordnungseinheit 164 veranlasst, dass die Luminanzerlangungseinheit 160 eine Luminanz eines Pixels (i, j) als Zielabschnitt aus dem Luminanzbild 124 erhält (S356), addiert „1” zu der Spezifisches-Objekt-Variable m (S358), erhält den Luminanzbereich 192 des repräsentierenden Farbidentifizierers des spezifischen Objekts (m) (S360) und bestimmt, ob die Luminanzen des Pixels (i, j) in dem Luminanzbereich 192 des repräsentierenden Farbidentifizierers des spezifischen Objekts (m) enthalten sind oder nicht (S362).
Wenn die Luminanzen des Pixels (i, j) in dem Luminanzbereich 192 des repräsentierenden Farbidentifizierers des spezifischen Objekts (m) enthalten sind (JA in S362), ordnet die Farbidentifiziererzuordnungseinheit 164 dem Zielabschnitt einen Farbidentifizierer p zu, so dass es als Pixel (i, j, p) ausgedrückt wird (S364). Wenn die Luminanzen des Pixels (i, j) nicht in dem Luminanzbereich 192 des repräsentierenden Farbidentifizierers des spezifischen Objekts (m) enthalten sind (NEIN in S362), dann wird eine Bestimmung durchgeführt, ob die Spezifisches-Objekt-Variable m gleich oder größer als acht ist oder nicht, was die Maximalzahl von spezifischen Objekten ist (S366). Wenn die Spezifisches-Objekt-Variable m kleiner als der Maximalwert ist (NEIN in S366), werden die Prozesse ab dem Inkrementierungsprozess der Spezifisches-Objekt-Variable m in Schritt S358 wiederholt. Wenn die Spezifisches-Objekt-Variable m gleich oder größer als der Maximalwert ist (JA in S366), was bedeutet, dass kein spezifisches Objekt entsprechend dem Pixel (i, j) vorhanden ist, wird der Prozess im anschließenden Schritt S368 durchgeführt.
Dann bestimmt die Farbidentifiziererzuordnungseinheit 164, ob die horizontale Variable i gleich oder größer als 600 ist oder nicht, was der Maximalwert der Pixelzahl in der horizontalen Richtung ist (S368), und wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S368), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S354 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S368), bestimmt die Farbidentifiziererzuordnungseinheit 164, ob die vertikale Variable j gleich oder größer als 200 ist oder nicht, was der Maximalwert der Pixelzahl in der vertikalen Richtung ist (S370). Wenn dann die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S370), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variablen j in Schritt S352 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S370), wird der Farbidentifizierer-Kennfeld-Erzeugungsprozess beendet.
(Gruppierungsprozess S302)
Wie in 12 gezeigt, nimmt die Gruppierungseinheit 166 Bezug auf den vorbestimmten Bereich, um Zielabschnitte zu gruppieren (S400), und initialisiert (setzt sie auf „0”) die vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixel) (S402). Anschließend addiert die Gruppierungseinheit 166 „1” zu der vertikalen Variablen j und initialisiert die horizontale Variable i (setzt sie auf „0”) (S404). Dann addiert die Gruppierungseinheit 166 „1” zu der horizontalen Variable i (S406).
Die Gruppierungseinheit 166 erhält ein Pixel (i, j, p, dp), das die Parallaxeinformation dp enthält, als den Zielabschnitt von dem Luminanzbild 124 und transformiert die Koordinate des Pixels (i, j, p, dp), das die Parallaxeinformation dp enthält, in einem Punkt (x, y, z) in der realen Welt, um so einen Pixel auszudrücken (i, j, p, dp, x, y, z) (S408). Daraufhin wird eine Bestimmung durchgeführt, ob der Pixel (i, j, p, dp, x, y, z) einen validen (nicht null) Farbidentifizierer p hat und ob eine Gruppennummer g hierfür noch nicht vergeben wurde (S410). Wenn es einen validen Farbidentifizierer p gibt und eine Gruppennummer g noch nicht vergeben wurde (JA in S410), bestimmt die Gruppierungseinheit 166, ob oder ob nicht innerhalb eines vorbestimmten Bereichs von der Koordinatenposition (x, y, z) des Pixels in der realen Welt ein anderer Pixel ist, dem ein repräsentierender Farbidentifizierer 194a oder ein Unter-Farbidentifizierer zugeordnet ist mit einem spezifischen Objekt, dessen repräsentierender Farbidentifizierer 194a der Farbidentifizierer p ist, und dem noch nicht eine Gruppennummer g gegeben wurde (S412).
Wenn es einen anderen Pixel (i, j, p, dp, x, y, z) gibt, dem ein repräsentierender Farbidentifizierer 194a oder ein Unter-Farbidentifizierer 194b zugeordnet wurde und dem noch nicht eine Gruppennummer g gegeben wurde (JA in S412), gibt die Gruppierungseinheit 166 neuerlich den kleinsten Wert der Nummern, die jetzt noch nicht verwendet wurden, als eine Gruppennummer an alle Pixel, einschließlich der Pixel unter Prüfung, innerhalb des vorbestimmten Bereichs (S414).
Auf diese Weise wird, wenn innerhalb des vorbestimmten Bereiches eine Mehrzahl von Zielabschnitten sind, deren Farbidentifizierer die gleichen sind, Gruppierungsverarbeitung durchgeführt durch Vergeben einer Gruppennummer g. Bei dieser Gelegenheit wird der kleinste Wert der Nummern, die noch nicht als eine Gruppennummer verwendet wurden, verwendet, um soweit wie möglich zu vermeiden, dass eine Nummer bei der Gruppennummerierung übersprungen wird. Hierdurch wird der Maximalwert der Gruppennummer g nicht unnötig groß und die Prozesslast kann reduziert werden.
Wenn der Farbidentifizierer p nicht ein valider Wert ist oder ein valider Wert ist, jedoch eine Gruppennummer g bereits vergeben ist (NEIN in S410), oder wenn es keinen anderen Pixel gibt, dessen Farbidentifizierer 194 der gleiche ist, oder wenn es andere Pixel gibt, deren Farbidentifizierer die gleichen sind und denen bereits eine Gruppennummer g gegeben wurde (NEIN in S412), wird die Verarbeitung in Schritt S416 anschließend durchgeführt.
Anschließend bestimmt die Gruppierungseinheit 166, ob die horizontale Variable i gleich oder größer als 600 ist oder nicht, was der Maximalwert der Pixelzahl in der horizontalen Richtung ist (S416). Wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S416), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S406 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S416), bestimmt die Gruppierungseinheit 166, ob die vertikale Variable j gleich oder größer als 200 ist, was der Maximalwert der Pixelzahl in der vertikalen Richtung ist (S418). Wenn die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S418), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S404 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S418), wird der Gruppierungsprozess beendet.
(Äußerer-Rand-Bestimmungsprozess S304) Wie in 13 gezeigt, initialisiert die Gruppierungseinheit 166 eine Gruppenvariable k zum Spezifizieren einer Gruppe (setzt sie auf „0”) (S450). Anschließend addiert die Gruppierungseinheit 166 „1” zu der Gruppenvariable k (S452).
Die Gruppierungseinheit 166 bestimmt, ob es ein Zielobjekt gibt, dessen Gruppenzahl g die Gruppenvariable k ist oder nicht, aus dem Luminanzbild 124 (S454). Wenn es ein solches Zielobjekt gibt (JA in S454), werden Zielabschnitte, denen der repräsentative beziehungsweise repräsentierende Farbidentifizierer 194a oder der Unter-Farbidentifizierer 194b zugeordnet ist, aus der Mehrzahl von Zielabschnitten, denen die Gruppennummer g zugeordnet ist, extrahiert. Daraufhin extrahiert die Gruppierungseinheit 166 für jeden der repräsentierenden Farbidentifizierer 194a und der Unter-Farbidentifizierer 194b den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten linke (xl) ist, den Zielabschnitt, dessen Position in der Breitenrichtung x die am weitesten rechte (xr) ist, den Zielabschnitt, dessen Position in der Höhenrichtung y die minimale (ymin) ist, und den Zielabschnitt, dessen Position in der Höhenrichtung y die maximale (ymax) ist (S456). Die Gruppierungseinheit 166 speichert dann die Koordinaten in der Datenhalteeinheit 152 in Verbindung mit der Gruppennummer g (S458).
Die Umgebungsbestimmungseinheit 168 bestimmt, ob der Erfassungsbereich 122 in einer Umgebung ist, in der Licht in Folge von Regen oder Schneefall zerstreut wird, basierend auf der Detektionsinformation (S460). Wenn der Bestimmungsbereich 122 in der Umgebung liegt, in der Licht zerstreut wird (JA in S460), bestimmt die Äußerer-Rand-Bestimmungseinheit 170 einen äußeren Rand basierend auf den Koordinaten für den repräsentierenden Farbidentifizierer 194a, der in der Datenhalteeinheit 152 gespeichert ist (S462). Wenn der Erfassungsbereich 122 in einer Umgebung liegt, in der Licht nicht gestreut wird (NEIN in S460), bestimmt die Äußerer-Rand-Bestimmungseinheit 170 einen äußeren Rand basierend auf den Koordinaten für den Unter-Farbidentifizierer 194b, die in der Datenhalteeinheit 152 gespeichert sind (S464). Wenn der den repräsentierenden Farbidentifizierer 194a entsprechende Zielabschnitt nicht in dem Zielabschnitt enthalten ist, der dem Unter-Farbidentifizierer 194b entspricht, wird der äußere Rand vorzugsweise bestimmt auf der Basis der Koordinaten für den repräsentierenden Farbidentifizierer 194a und den Unter-Farbidentifizierer 194b.
Anschließend bestimmt die Gruppierungseinheit 166, ob die Gruppenvariable k gleich oder größer ist als der maximale Wert der Gruppenzahl, die in der Gruppierungsverarbeitung gesetzt ist (S466). Dann, wenn die Gruppenvariable k kleiner ist als der maximale Wert (NEIN in S466), wird die Verarbeitung wiederholt ab dem Inkrementierungsprozess der Gruppenvariable k in Schritt S452. Wenn die Gruppenvariable k gleich oder größer ist als der maximale Wert (JA in S466), wird die Äußerer-Rand-Bestimmungsverarbeitung beendet.
(Spezifisches-Objekt-Bestimmungsprozess S306)
Wie in 14 gezeigt, nimmt die Spezifisches-Objekt-Bestimmungseinheit 172 Bezug auf den Breitenbereich 202 für jedes spezifische Objekt in der Spezifisches-Objekt-Tabelle 200 (S500) und initialisiert (setzt auf „0”) eine Gruppenvariable k zum Spezifizieren einer Gruppe (S502). Anschließend addiert die Spezifisches-Objekt-Bestimmungseinheit 172 „1” zu der Gruppenvariable k (S504).
Die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt, ob es ein Zielobjekt gibt, dessen Gruppenzahl g die Gruppenvariable k ist oder nicht, aus dem Luminanzbild 124 (S506). Wenn es ein solches Zielobjekt gibt (JA in S506), berechnet die Spezifisches-Objekt-Bestimmungseinheit 172 die Größe des Zielobjekts, dem die Gruppenzahl g gegeben worden ist basierend auf dem äußeren Rand, der in dem Äußerer-Rand-Bestimmungsprozess bestimmt wurde (S508). Dann wird eine Bestimmung durchgeführt, ob die berechnete Größe innerhalb des Breitenbereichs 202 eines spezifischen Objekts ist, das mit dem repräsentierenden Farbidentifizierer p assoziiert ist, gemäß dem Zielobjekt, dessen Gruppenzahl g die Gruppenvariable k ist (S510). Beispielsweise, wenn die Breitenrichtungskomponente der Größe des Zielobjektes in den Breitenbereich 202 für das spezifische Objekt fällt, das dem repräsentierenden Farbidentifizierer p zugeordnet ist, und die Höhenrichtungskomponente der Größe des Zielobjekts in den Breitenbereich 202 für das spezifische Objekt fällt, das dem repräsentierenden Farbidentifizierer p zugeordnet ist, kann das Zielobjekt dahingehend bestimmt werden, dass es in den Breitenbereich 202 des spezifischen Objekts fällt, das dem repräsentierenden Farbidentifizierer p zugeordnet ist.
Wenn die Größe innerhalb des Breitenbereichs 202 des spezifischen Objektes enthalten ist, das dem repräsentierenden Farbidentifizierer p zugeordnet ist (JA in S510), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, dass das Zielobjekt das spezifische Objekt ist, das dem repräsentierenden Farbidentifizierer p zugeordnet ist (S512). Wenn die Größe nicht innerhalb des Breitenbereichs 202 des spezifischen Objekts enthalten ist, das dem repräsentierenden Farbidentifizierer p zugeordnet ist (NEIN in S510), oder wenn kein Zielobjekt vorhanden ist, dessen Gruppenzahl g die Gruppenvariable k ist (NEIN in S506), wird der daran anschließende Prozess in Schritt S514 durchgeführt.
Anschließend bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, ob die Gruppenvariable k gleich oder größer als der im Gruppierungsprozess gesetzte Maximalwert der Gruppenzahl ist oder nicht (S514). Wenn dann die Gruppenvariable k kleiner als der Maximalwert ist (NEIN in S514), werden die Prozesse ab dem Inkrementierungsprozess der Gruppenvariable k in Schritt S504 wiederholt. Wenn die Gruppenvariable k gleich oder größer als der Maximalwert ist (JA in S514), wird der Spezifisches-Objekt-Bestimmungsprozess beendet. Im Ergebnis werden die gruppierten Zielobjekte formal als das spezifische Objekt bestimmt.
Wie zuvor beschrieben, kann die Umgebungserkennungsvorrichtung 130 die Genauigkeit des Spezifizierens eines Zielobjektes in einer Umgebung vergrößern, in der Licht leicht zerstreut wird, wie beispielsweise bei regnerischem Wetter, um hierdurch eine falsche Erkennung zu vermeiden.
Einer oder mehrere Farbidentifizierer 194, die in der Spezifisches-Objekt-Tabelle 200 zugeordnet sind, werden definiert lediglich mit den Farbidentifizierern 194 in der Farb-Tabelle 190, die vorab definiert wurden, und daher wird eine unnötig häufige Bestimmung von Luminanzbereichen nicht durchgeführt und lediglich eine vorbestimmte Anzahl von Luminanzbereichen 192 wird geprüft. Die Prozesslast kann daher in großem Umfang reduziert werden.
Zusätzlich vorgesehen sind auch ein Programm, um zu erlauben, dass ein Computer als die Umgebungserkennungsvorrichtung 130 fungiert, sowie ein Speichermedium, wie etwa eine computerlesbare flexible Scheibe, eine magnetooptische Scheibe, ein ROM, eine CD, eine DVD, ein BD, welche das Programm speichern. Hier bedeutet das Programm eine Datenverarbeitungsfunktion, die in einer beliebigen Sprache oder einem beliebigen Deskriptionsverfahren beschrieben ist.
Während oben eine bevorzugte Ausführungsform der Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben worden ist, versteht es sich, dass die Erfindung nicht auf diese Ausführungsform beschränkt ist. Es versteht sich für den Fachkundigen, dass zahlreiche Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen.
Beispielsweise sind in der Spezifisches-Objekt-Tabelle 200 bei dem zuvor erläuterten Ausführungsbeispiel nur die Farbidentifizierer 194, die zuvor in der Farb-Tabelle 190 definiert wurden, den spezifischen Objekten zugeordnet. Es können aber mehrere Luminanzbereiche jedem spezifischen Objekt zugeordnet sein.
In der obigen Ausführungsform wird unter Verwendung der Mehrzahl von Bildgebungsvorrichtungen 110 die dreidimensionale Position des Zielobjekts basierend auf der Parallaxe zwischen Bilddaten hergeleitet. Jedoch ist die vorliegende Erfindung nicht auf einen solchen Fall beschränkt. Alternativ könnten zum Beispiel eine Vielzahl bekannter Abstandsmessvorrichtungen verwendet werden, wie etwa eine Laserradarabstandsmessvorrichtung. In diesem Fall emittiert die Laserradarabstandsmessvorrichtung einen Laserstrahl zum Erfassungsbereich 122, empfängt reflektiertes Licht, wenn der Laserstrahl das Objekt bestrahlt, und misst den Abstand zum Objekt basierend auf der hierfür benötigten Zeit.
Die obige Ausführungsform beschreibt ein Beispiel, worin die Positionsinformationserlangungseinheit 162 das Abstandsbild (Parallaxeinformation) 126 von der Bildverarbeitungsvorrichtung 120 empfängt und die dreidimensionale Positionsinformation erzeugt. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Bildverarbeitungsvorrichtung 120 kann auch vorab die dreidimensionale Positionsinformation erzeugen, und die Positionsinformationserlangungseinheit 162 kann die erzeugte dreidimensionale Positionsinformation erhalten. Diese Funktionsverteilung kann die Prozesslast der Umgebungserkennungsvorrichtung 130 verringern.
In dem vorliegenden Ausführungsbeispiel wird angenommen, dass die Bildgebungsvorrichtung 110 ein Farbbild erhält. Die vorliegende Erfindung ist jedoch nicht auf einen solchen Fall beschränkt. Alternativ kann ein monochromes Bild erhalten werden. In diesem Fall ist die Farb-Tabelle 190 definiert durch eine Einzelfarben-Luminanz.
In der obigen Ausführungsform sind die Luminanzerlangungseinheit 160, die Positionsinformationserlangungseinheit 162, die Farbidentifiziererzuordnungseinheit 164, die Gruppierungseinheit 166, die Umgebungsbestimmungseinheit 168, die Äußerer-Rand-Bestimmungseinheit 170, die Spezifisches-Objekt-Bestimmungseinheit 172 und die Musterabgleicheinheit 174 so konfiguriert, dass sie mit Software von der zentralen Steuerungseinheit 156 betrieben werden. Jedoch können die Funktionseinheiten auch mit Hardware konfiguriert sein.
Die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt ein spezifisches Objekt zum Beispiel daran, ob die Größe des Zielobjekts innerhalb des Breitenbereichs 202 des spezifischen Objekts enthalten ist oder nicht. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Spezifisches-Objekt-Bestimmungseinheit 172 kann auch ein spezifisches Objekt bestimmen, wenn verschiedene andere Bedingungen erfüllt sind. Zum Beispiel kann ein spezifisches Objekt bestimmt werden, wenn ein Gradient, eine Differenz in der Tiefenrichtung z zu der Differenz in der Breitenrichtung x oder Differenz in der Tiefenrichtung z zu der Differenz in der Höhenrichtung y, in einem Zielobjekt im Wesentlichen konstant (kontinuierlich) ist oder wenn die relative Bewegungsgeschwindigkeit in der Tiefenrichtung z konstant ist. Solch ein Gradient kann spezifiziert werden durch lineare Approximation durch die Hough Transformation oder das Verfahren kleinster Quadrate.
Die Schritte des Umgebungserkennungsverfahrens müssen in dieser Beschreibung nicht notwendigerweise chronologisch gemäß der im Flussdiagramm beschriebenen Reihenfolge abgearbeitet werden. Die Schritte können auch parallel verarbeitet werden oder können Prozesse enthalten, welche Unterroutinen verwenden.
Die vorliegende Erfindung kann für eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren verwendet werden, um ein Zielobjekt basierend auf den Luminanzen des Zielobjekts in einem Erfassungsbereich zu erkennen.
ZUSAMMENFASSUNG DER OFFENBARUNG
Bereitgestellt werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren. Eine Umgebungserkennungsvorrichtung (130) enthält Luminanzen eines Zielabschnitts in einem Erfassungsbereich, weist einen Farbidentifizierer einem Zielabschnitt zu in Übereinstimmung mit den Luminanzen des Zielabschnitts, basierend auf einer Zuordnung, gespeichert in einer Datenhalteeinheit (152), zwischen einem Farbidentifizierer und einem Luminanzbereich (S300), gruppiert Zielabschnitte, von denen Positionsdifferenzen in der Breitenrichtung und der Höhenrichtung innerhalb eines vorbestimmten Bereichs sind und denen ein oder mehrere Farbidentifizierer zugeordnet sind, die einem gleichen spezifischen Objekt entsprechen, in ein Zielobjekt, basierend auf einer Zuordnung, gespeichert in der Datenhalteeinheit, zwischen einem spezifischen Objekt und dem Farbidentifizierer (S302); und bestimmt einen äußeren Rand, der von den Zielabschnitten spezifiziert wird, denen die Farbidentifizierer zugeordnet sind, abhängig davon, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, als den äußeren Rand des Zielobjektes (S304).
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 10-283461 A [0002]

Claims

Umgebungserkennungsvorrichtung, umfassend: eine Datenhalteeinheit (152), die eine Zuordnung zwischen einer vorbestimmten Anzahl von Farbidentifizierern (194) und einem Luminanzbereich (192) speichert, eine Zuordnung zwischen den Farbidentifizierern (194) und jedem spezifischen Objekt speichert und eine Zuordnung zwischen einer Kombination von einem oder mehreren Farbidentifizierern (194), die von der Mehrzahl von Farbidentifizierern ausgewählt wird, und jedem Erfassungsergebnis dahingehend, ob ein Erfassungsbereich in einer Umgebung liegt, in der Licht gestreut wird, speichert; eine Luminanzerlangungseinheit, die eine Luminanz des Zielabschnitts in dem Erfassungsbereich eines Luminanzbildes erhält; eine Farbidentifiziererzuordnungseinheit (164), die einen Farbidentifizierer einem Zielabschnitt zuordnet entsprechend der Luminanz des Zielabschnitts, basierend auf der Zuordnung zwischen dem Farbidentifizierer und dem Luminanzbereich, gespeichert in der Datenhalteeinheit (152); eine Gruppierungseinheit (166), die Zielabschnitte gruppiert, denen einer der Farbidentifizierer zugeordnet ist entsprechend einem gleichen spezifischen Objekt und deren Positionsdifferenzen in der horizontalen Richtung und in der vertikalen Richtung innerhalb eines vorbestimmten Bereichs sind, in ein Zielobjekt, basierend auf der Zuordnung zwischen einem spezifischen Objekt und einem Farbidentifizierer, gespeichert in der Datenhalteeinheit (152); eine Umgebungsbestimmungseinheit (168), die bestimmt, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird; und eine Äußerer-Rand-Bestimmungseinheit (170), die eine Kombination auswählt abhängig davon, ob der Erfassungsbereich in der Umgebung liegt, in der Licht zerstreut wird, und bestimmt, dass ein äußerer Rand, der durch einen Zielabschnitt spezifiziert wird, dem eine der ausgewählten Farbidentifizierkombinationen zugeordnet ist, ein äußerer Rand des Zielobjektes ist.
Umgebungserkennungsvorrichtung nach Anspruch 1, weiterhin umfassend: eine Regenerfassungseinheit, die Regen erfasst, wobei die Umgebungsbestimmungseinheit bestimmt, dass der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, wenn die Regenerfassungseinheit Regen erfasst.
Umgebungserkennungsvorrichtung nach Anspruch 1 oder Anspruch 2, weiterhin aufweisend: eine Schneefallerfassungseinheit, die Schneefall erfasst, wobei die Umgebungsbestimmungseinheit bestimmt, dass der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird, wenn die Schneefallerfassungseinheit Schneefall erfasst.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Datenhalteeinheit (152) eine Zuordnung einer Kombination von einer oder mehreren Farbidentifizierern speichert, die ausgewählt sind von den Farbidentifizierern, und jedem Grad der Lichtzerstreuungsbedingung, die Umgebungsbestimmungseinheit die Lichtzerstreuungsbedingung in einer schrittweisen Art bestimmt, und die Äußerer-Rand-Bestimmungseinheit, die Kombination auswählt entsprechend der Lichtzerstreuungsbedingung und bestimmt, dass ein äußerer Rand, der spezifiziert ist durch einen Zielabschnitt, dem einer der selektierten Farbidentifiziererkombinationen zugeordnet ist, der äußere Rand des Zielobjektes ist.
Umgebungserkennungsverfahren, umfassend: Erhalten einer Luminanz eines Zielabschnitts in einem Erfassungsbereich in einem Luminanzbild; Zuordnen eines Farbidentifizierers zu dem Zielbereich gemäß der Luminanz des Zielabschnitts, basierend auf einer Zuordnung zwischen einem Farbidentifizierer und einem Luminanzbereich, der in der Datenhalteeinheit gespeichert ist; Gruppieren von Zielabschnitten, denen einer von einem oder mehreren Farbidentifizierer zugeordnet ist, der mit dem gleichen spezifischen Objekt assoziiert ist, und dessen Positionsdifferenzen in der horizontalen Richtung und der vertikalen Richtung innerhalb eines vorbestimmten Bereichs sind, basierend auf der Zuordnung zwischen einem spezifischen Objekt und einem Farbidentifizierer, die in der Datenhalteeinheit gespeichert ist; Bestimmen, ob der Erfassungsbereich in einer Umgebung liegt, in der Licht zerstreut wird; Wählen einer Kombination dementsprechend, ob der Erfassungsbereich in der Umgebung liegt, in der Licht zerstreut wird, basierend auf einer Zuordnung, die in der Datenhalteeinheit gespeichert ist, zwischen jedem Erfassungsergebnis, ob der Erfassungsbereich in der Umgebung liegt, in der Licht zerstreut wird, und einer Kombination von Farbidentifizierern, die von den Farbidentifizierern ausgewählt wird; und Bestimmen, dass ein äußerer Rand, der spezifiziert ist durch den Zielabschnitt, dem eine der ausgewählten Farbidentifiziererkombinationen zugeordnet ist, der äußere Rand des Zielobjekts ist.