DE102012103908A1

DE102012103908A1 - Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren

Info

Publication number: DE102012103908A1
Application number: DE102012103908A
Authority: DE
Inventors: Shinnosuke Kido
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-05-12
Filing date: 2012-05-04
Publication date: 2012-11-15
Also published as: US9099005B2; JP2012238240A; CN102774341A; CN102774341B; US20120288151A1; JP5386537B2

Abstract

Es wird eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Die Umgebungserkennungsvorrichtung (130) bestimmt vorläufig ein spezifisches Objekt entsprechend einem Zielabschnitt aus einer Luminanz eines Zielabschnitts (S302), gruppiert benachbarte Zielabschnitte, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt worden sind, als Zielobjekt (S304), leitet einen repräsentativen Abstand her, der ein repräsentativer Wert des relativen Abstands von Zielabschnitten in dem Zielobjekt ist (S306), und gruppiert die Zielabschnitte als das Zielobjekt, wobei die Zielabschnitte dem gleichen spezifischen Objekt in Bezug auf das Zielobjekt und die Luminanz entsprechen, wenn eine Differenz im horizontalen Abstand von dem Zielobjekt der Zielabschnitte und eine Differenz in der Höhe von dem Zielobjekt der Zielabschnitte in einen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dem relativen Abstand und dem repräsentativen Abstand der Zielabschnitte in einen zweiten vorbestimmten Bereich fällt (S308).

Description

Die Erfindung betrifft eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren zum Erkennen eines Zielobjekts basierend auf einer Luminanz des Zielobjekts in einem Erfassungsbereich.
Es sind Technologien bekannt zum Erfassen eines Zielobjekts wie etwa ein Hindernis einschließlich eines Fahrzeugs und eines Verkehrslichts, das sich vor einem Subjektfahrzeug befindet, um eine Steuerung der Kollisionsvermeidung mit dem erfassten Zielobjekt durchzuführen und einen Sicherheitsabstand zwischen dem Subjektfahrzeug und dem vorausfahrenden Fahrzeug einzuhalten (siehe zum Beispiel japanisches Patent Nr. 3349060 (japanische offengelegte Patentanmeldung (JP-R) Nr. 10-283461 )).
Ferner ist auch eine Technik bekannt geworden, die eine weiter fortgeschrittene Steuerung durchführt. Insbesondere spezifiziert sie ein Zielobjekt nicht einfach nur als starres Objekt, sondern bestimmt ferner, ob das erfasste Zielobjekt ein vorausfahrendes Fahrzeug ist, das mit der gleichen Geschwindigkeit wie das Subjektfahrzeug fährt, oder ein festes Objekt, welches sich nicht bewegt. Wenn in diesem Fall das Zielobjekt durch Aufnehmen eines Bilds eines Erfassungsbereichs erfasst wird, ist es notwendig, das Zielobjekt aus dem aufgenommenen Bild zu extrahieren (auszuschneiden), bevor spezifiziert wird, um welches Zielobjekt es sich handelt.
Zum Beispiel kann in dem Fall, dass das aufgenommene Bild ein Farbbild ist, ein Verfahren angewendet werden, um einen Satz von Pixeln mit der gleichen Luminanz (Farbe) zu gruppieren und diese als Zielobjekt zu extrahieren.
Wenn jedoch die Farbe oder die Größen eines Schriftzeichens oder einer Grafik, die auf einem beleuchteten Verkehrszeichen oder einem digitalen Signalbild angezeigt werden, ähnlich jenen eines Leuchtabschnitts eines Verkehrslichts sind, könnte die einfache Gruppierung der mehreren Pixel, die ähnliche Farbcharakteristiken haben, zur Folge haben, dass das Schriftzeichen und die Grafik fehlerhaft als das Verkehrslicht erkannt werden. Selbst wenn ein Hinweis oder Indikator größer ist als der leuchtende Abschnitt des Verkehrslichts, werden das angezeigte Schriftzeichen und die Grafik nicht immer durchgezogen, in Abhängigkeit von dem Anzeigemodus des Hinweises oder Indikators, und sie könnten separat gruppiert werden. Im Ergebnis ist es unwahrscheinlich, dass das Schriftzeichen und die Grafik so erkannt werden, dass sie auf dem gleichen Substrat angezeigt werden.
In Hinblick auf diese Nachteile liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren anzugeben, die in der Lage sind, die Spezifizierungsgenauigkeit eines Zielobjekts zu verbessern.
Zur Lösung der obigen Probleme wird erfindungsgemäß eine Umgebungserkennungsvorrichtung angegeben, welche enthält: eine Datenhalteeinheit, die einen Luminanzbereich in Zuordnung zu einem spezifischen Objekt speichert; eine Luminanzerlangungseinheit, die eine Luminanz eines Zielabschnitts in einem Erfassungsbereich eines Bilds erhält; eine Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit, die das spezifische Objekt entsprechend dem Zielabschnitt aus der Luminanz auf der Basis der in der Datenhalteeinheit gespeicherten Zuordnung vorläufig bestimmt; eine Zielabschnittgruppierungseinheit, die benachbarte Zielabschnitte, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt wurden, als Zielobjekt gruppiert; eine Positionsinformationserlangungseinheit, die einen relativen Abstand des Zielabschnitts erhält; eine Repräsentativer-Abstand-Herleitungseinheit, die einen repräsentativen Abstand herleitet, der ein repräsentativer Wert des relativen Abstands jedes Zielabschnitts in dem Zielobjekt ist; und eine Zielobjektgruppierungseinheit, die, wenn Differenzen zwischen einem anderen Zielabschnitt und dem Zielobjekt in der horizontalen und der vertikalen Richtung jeweils in einen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dem relativen Abstand des anderen Zielabschnitts und dem repräsentativen Abstand des Zielobjekts in einen zweiten vorbestimmten Bereich fällt und die Luminanz des anderen Zielabschnitts der Luminanz des Zielobjekts entspricht, den anderen Zielabschnitt in das gleiche Zielobjekt gruppiert.
Die Zielobjektgruppierungseinheit kann eine Mehrzahl von Zielabschnitten als Zielobjekt gruppieren, wenn die Mehrzahl von Zielabschnitten in dem ersten vorbestimmten Bereich und dem zweiten vorbestimmten Bereich einander benachbart sind, und die Anzahl der Zielabschnitte nicht kleiner als eine vorbestimmte Zahl ist.
Die Zielobjektgruppierungseinheit kann den relativen Abstand des Zielabschnitts, der gruppiert ist, als repräsentativen Abstand betrachten, und ferner einen anderen Zielabschnitt, der einer Bedingung genügt, als das Zielobjekt, mit dem Zielabschnitt als Basispunkt, gruppieren.
Der repräsentative Abstand kann ein relativer Abstand sein, der einer Spitze einer Abstandsverteilung von Zielabschnitten in dem Zielobjekt entspricht.
Der repräsentative Abstand kann ein Mittelwert der relativen Abstände der Zielabschnitte in dem Zielobjekt sein.
Zur Lösung der Aufgabe wird gemäß einem weiteren Aspekt ein Umgebungserkennungsverfahren angegeben, welches enthält: Erhalten einer Luminanz eines Zielabschnitts in einem Erfassungsbereich eines Bilds; Erhalten eines relativen Abstands des Zielabschnitts; vorläufiges Bestimmen eines spezifischen Objekts entsprechend dem Zielabschnitt aus der Luminanz des Zielabschnitts auf der Basis einer Zuordnung zwischen dem Luminanzbereich und dem spezifischen Objekt, wobei die Zuordnung in einer Datenhalteeinheit gespeichert wird; Gruppieren von benachbarten Zielabschnitten, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt sind, als Zielobjekt; Herleiten eines repräsentativen Abstands, der ein repräsentativer Wert des relativen Abstands der Zielabschnitte in dem Zielobjekt ist; und Gruppieren eines anderen Zielabschnitts in das gleiche Zielobjekt, wenn Differenzen zwischen dem anderen Zielabschnitt und dem Zielobjekt in der horizontalen und der vertikalen Richtung in einen jeweiligen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dem relativen Abstand des anderen Zielobjekts und dem repräsentativen Abstand des Zielobjekts in einen zweiten vorbestimmten Bereich fällt, und dessen Luminanz der Luminanz des Zielobjekts entspricht.
Erfindungsgemäß kann die Genauigkeit der Spezifizierung des Zielobjekts verbessert werden, wodurch eine Falscherkennung vermieden werden kann.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen erläutert.
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem darstellt;
2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds und eines Abstandsbilds;
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung darstellt;
4 ist ein beispielhaftes Diagramm zur Erläuterung einer Spezifisches-Objekt-Tabelle;
5 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation, welche von einer Positionsinformationserlangungseinheit durchgeführt wird;
6 ist eine beispielhafte Darstellung zur Erläuterung eines Spezifisches-Objekt-Kennfelds;
7A bis 7D sind beispielhafte Darstellungen, welche einen Prozess einer Zielabschnittgruppierungseinheit darstellen;
8A bis 8C sind beispielhafte Darstellungen, die den Prozess einer Zielobjektgruppierungseinheit darstellen;
9 ist ein Flussdiagramm, das einen Gesamtfluss eines Umgebungserkennungsverfahrens darstellt;
10 ist ein Flussdiagramm, das einen Ablauf eines Spezifisches-Objekt-Kennfeld-Erzeugungsprozesses darstellt;
11 ist ein Flussdiagramm, das den Ablauf eines Zielabschnittgruppierungsprozesses darstellt;
12 ist ein Flussdiagramm, das den Ablauf eines Repräsentativer-Abstand-Herleitungsprozesses darstellt;
13 ist ein Flussdiagramm, das den Ablauf eines Zielobjektgruppierungsprozesses darstellt; und
14 ist ein Flussdiagramm, das den Ablauf eines Spezifisches-Objekt-Bestimmungsprozesses darstellt.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung im Detail in Bezug auf die beigefügten Zeichnungen beschrieben. Die Größen, Materialien und andere spezifische numerische Werte, die in der Ausführungsform gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der Erfindung, und, solange nicht anderweitig spezifiziert, schränken sie die Erfindung nicht ein. In der Beschreibung und den Zeichnungen sind Elemente, die die im Wesentlichen gleichen Funktionen und Konfigurationen haben, mit gleichen Bezugszahlen bezeichnet, und eine wiederholte Erläuterung davon wird weggelassen. Elemente, die sich nicht direkt auf die Erfindung beziehen, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält eine Mehrzahl von Bildgebungsvorrichtungen 110 (in der vorliegenden Ausführungsform zwei Bildgebungsvorrichtungen 110), eine Bildverarbeitungsvorrichtung 120, eine Umgebungserkennungsvorrichtung 130 sowie eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 vorgesehen sind.
Die Bildaufnahmevorrichtungen 110 enthalten ein Bildgebungselement wie etwa eine CCD (ladungsgekoppelte Vorrichtung) oder ein CMOS (komplementärer Metalloxid-Halbleiter) und können ein Farbbild erhalten, das heißt, eine Luminanz besteht aus drei Farbphasen (rot, grün, blau) pro Pixel. In der vorliegenden Ausführungsform werden Farbe und Luminanz in der gleichen Weise behandelt; wenn beide Worte in einem Satz enthalten sind, können beide als Luminanz, die Farbe konfiguriert, oder Farbe mit einer Luminanz gelesen werden. In diesem Fall wird ein von den Bildaufnahmevorrichtungen 110 aufgenommenes Farbbild als Luminanzbild bezeichnet, und unterscheidet sich von einem Abstandsbild, das später erläutert wird. Die Bildgebungsvorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen der zwei Bildgebungsvorrichtungen 110 im Wesentlichen parallel zur Fahrtrichtung des Fahrzeugs 1 sind. Die Bildgebungsvorrichtung 110 erzeugt kontinuierlich Bilddaten, die sie durch Aufnehmen eines Bilds eines Zielobjekts erhält, das sich in einem Erfassungsbereich vor dem Fahrzeug 1 befindet, zum Beispiel bei jeder 1/60 Sekunde (60 fps). In diesem Fall braucht das Zielobjekt kein unabhängiges dreidimensionales Objekt wie etwa ein Fahrzeug, ein Verkehrslicht, eine Straße oder eine Leitplanke sein, sondern kann auch ein Beleuchtungsabschnitt wie etwa eine Heckleuchte, ein Abbiegesignal, oder ein Verkehrslicht sein, die als Abschnitt eines dreidimensionalen Objekts spezifiziert werden können. Jede später beschriebene Funktionseinheit in der Ausführungsform führt in Antwort auf die Aktualisierung solcher Bilddaten einen Prozess aus.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildgebungsvorrichtungen 110 und leitet, basierend auf zwei Bilddatensätzen, Parallaxeinformation ab, die eine Parallaxe eines Blocks (eines Satzes einer vorbestimmten Anzahl von Pixeln) in dem Bild enthält, sowie eine Position, die eine Position jedes Blocks in dem Bild repräsentiert. Insbesondere leitet die Bildverarbeitungsvorrichtung 120 eine Parallaxe mittels eines sogenannten Pattern Matchings, das heißt Musterabgleich oder Mustererkennung, her, der einen Block in einem der Bilddatenteile entsprechend dem Block, der optional aus dem anderen Bilddatenteil extrahiert wird, sucht. Der Block ist zum Beispiel ein Array oder Feld, das vier Pixel in der horizontalen Richtung und vier Pixel in der vertikalen Richtung enthält. In dieser Ausführungsform bedeutet die horizontale Richtung eine horizontale Richtung für das aufgenommene Bild, und entspricht der Breitenrichtung in der realen Welt. Andererseits bedeutet die vertikale Richtung eine vertikale Richtung für das aufgenommene Bild und entspricht der Höhenrichtung in der realen Welt.
Ein Weg zur Durchführung eines Musterabgleichs ist es, Luminanzwerte (Y-Farbdifferenz-Signale) zwischen zwei Bilddaten durch den Block, der eine beliebige Bildposition angibt, zu vergleichen. Beispiele enthalten eine SAD (Summe der absoluten Differenz), die eine Differenz von Luminanzwerten erhält, eine SSD (Summe der quadratischen Intensitätsdifferenz), die eine Differenz quadriert, und eine NCC (normalisierte Kreuzkorrelation), die einen Ähnlichkeitsgrad von Verteilungswerten verwendet, die durch Subtrahieren eines mittleren Luminanzwerts von einem Luminanzwert jedes Pixels erhalten werden. Die Bildverarbeitungsvorrichtung 120 führt blockweise einen Parallaxen-Herleitprozess an allen Blöcken durch, die in dem Erfassungsbereich erscheinen (zum Beispiel 600 Pixel×200 Pixel). In diesem Fall sei angenommen, dass der Block 4 Pixel×4 Pixel enthält, wobei aber die Anzahl von Pixeln in dem Block auf jeden beliebigen Wert gesetzt werden kann.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als Erfassungsauflösungseinheit dient, ist es unmöglich zu erkennen, zu welcher Art von Zielobjekt der Block gehört. Daher wird die Parallaxeinformation nicht pro Zielobjekt hergeleitet, sondern wird unabhängig pro Erfassungsauflösungseinheit (zum Beispiel pro Block) in dem Erfassungsbereich hergeleitet. In dieser Ausführungsform wird ein Bild, das durch Zuordnen der so erlangten Parallaxeinformation (entsprechend einem später beschriebenen relativen Abstand) zu Bilddaten erhalten wird, als Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, wie in 2A gezeigt, in Bezug auf einen Erfassungsbereich 122 durch die beiden Bildgebungsvorrichtungen 110 erzeugt wird. Hier ist zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch gezeigt. In der vorliegenden Ausführungsform erhält die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block aus diesem Luminanzbild 124 und erzeugt das Abstandsbild 126, wie in 2B gezeigt. Jedem Block des Abstandsbilds 126 ist eine Parallaxe des Blocks zugeordnet. In der Zeichnung ist zur Erläuterung ein Block, von dem eine Parallaxe hergeleitet wird, durch einen schwarzen Punkt angegeben.
Die Parallaxe kann leicht am Randabschnitt (einem Abschnitt, wo ein großer Kontrastunterschied zwischen benachbarten Pixeln vorhanden ist) eines Bilds spezifiziert werden, und daher wird der Block, von dem die Parallaxe hergeleitet wird, und der in dem Abstandsbild 126 mit schwarzen Punkten markiert ist, wahrscheinlich auch ein Rand in dem Luminanzbild 124 sein. Daher sind das in 2A gezeigte Luminanzbild 124 und das in 2B gezeigte Abstandsbild 126 im Hinblick auf den Umriss jedes Zielobjekts ähnlich.
Die Umgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 und das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und verwendet die Luminanzen basierend auf dem Luminanzbild 124 und einem relativen Abstand von dem Subjektfahrzeug 1 basierend auf dem Abstandsbild 126, um zu bestimmen, welchem spezifischen Objekt das Zielobjekt in dem Erfassungsbereich 122 entspricht. In dieser Ausführungsform verwendet die Umgebungserkennungsvorrichtung 130 ein sogenanntes Stereoverfahren zum Umwandeln der Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines relativen Abstands, um hierdurch Höhen herzuleiten. Das Stereoverfahren ist ein Verfahren mittels einer Triangulationsmethode zum Erhalt eines relativen Abstands eines Zielobjekts in Bezug auf die Bildgebungsvorrichtung 110 aus der Parallaxe des Zielobjekts. Die Umgebungserkennungsvorrichtung 130 wird im Detail später erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet eine Kollision mit dem Zielobjekt, das von der Umgebungserkennungsvorrichtung 130 spezifiziert worden ist, und führt eine Steuerung durch, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Insbesondere hält die Fahrzeugsteuerungsvorrichtung 140 einen gegenwärtigen Fahrzustand des Fahrzeugs 1 basierend zum Beispiel auf einem Lenkwinkelsensor 142 zum Erfassen eines Lenkwinkels, und einem Fahrzeuggeschwindigkeitssensor 144 zum Erfassen einer Geschwindigkeit des Fahrzeugs 1, um hierdurch einen Aktuator 146 anzusteuern, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Der Aktuator 146 ist ein Betätigungselement zur Fahrzeugsteuerung, das zum Steuern oder Regeln einer Bremse, eines Drosselventils, eines Lenkwinkels und dergleichen verwendet wird. Wenn eine Kollision mit einem Zielobjekt zu erwarten ist, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Meldung) der erwarteten Kollision auf einem Display 148 an, das vor einem Fahrer vorgesehen ist, und steuert den Aktuator 146 an, um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugsteuerungsvorrichtung 140 kann auch mit der Umgebungserkennungsvorrichtung 130 integriert sein.
(Umgebungserkennungsvorrichtung 130)
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung 130 darstellt. Wie in 3 gezeigt, enthält die Umgebungserkennungsvorrichtung 130 eine I/F-Einheit 150, eine Datenhalteeinheit 152 sowie eine zentrale Steuerungseinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die Datenhalteeinheit 152 ist zum Beispiel durch ein RAM, einen Flashspeicher, eine HDD und dergleichen gebildet und hält oder speichert eine Spezifisches-Objekt-Tabelle (Zuordnung) und verschiedene Informationsarten, die für die Bearbeitung durch jede der nachfolgend erläuterten Funktionseinheiten benötigt werden. Darüber hinaus hält oder speichert die Datenhalteeinheit 152 vorübergehend das Luminanzbild 124 und das Abstandsbild 126, die sie von der Bildverarbeitungsvorrichtung 120 erhalten hat. Die Spezifisches-Objekt-Tabelle wird wie folgt benutzt.
4 ist ein beispielhaftes Diagramm zur Erläuterung einer Spezifisches-Objekt-Tabelle 200. In der Spezifisches-Objekt-Tabelle 200 sind eine Mehrzahl von spezifischen Objekten einem Luminanzbereich 202, der einen Luminanzbereich indiziert, und einem Breitenbereich 204, der einen Größenbereich der spezifischen Objekte indiziert, zugeordnet. Die spezifischen Objekte enthalten verschiedene Objekte, die beobachtet werden müssen, während das Fahrzeug auf der Straße fährt, wie etwa „Verkehrslicht (rot)”, „Verkehrslicht (gelb)”, „Verkehrslicht (blau)”, „Heckleuchte (rot)”, „Abbiegesignal (orange)”, „Straßenzeichen (rot)”, „Straßenzeichen (blau)” und „Straßenzeichen (grün)”. Es versteht sich, dass das spezifische Objekt nicht auf die Objekte in 4 beschränkt ist. Die Spezifisches-Objekt-Tabelle 200 definiert die Prioritätsfolge zum Spezifizieren eines spezifischen Objekts, und der Umgebungserkennungsprozess wird gemäß der Prioritätsfolge für jedes spezifische Objekt ausgeführt, das sequentiell aus der Mehrzahl von spezifischen Objekten in der Spezifisches-Objekt-Tabelle 200 ausgewählt wird. Unter den spezifischen Objekten wird zum Beispiel einem spezifischen Objekt „Verkehrslicht (rot)” eine Luminanz (rot) „150 oder mehr”, eine Luminanz (grün) „100 oder weniger”, eine Luminanz (blau) „50 oder weniger” und ein Breitenbereich „0,2 bis 0,4 m” zugeordnet.
In der vorliegenden Ausführungsform wird, basierend auf der Spezifisches-Objekt-Tabelle 200, ein Zielabschnitt unter beliebigen Zielabschnitten in dem Luminanzbild 124 als Kandidat für ein spezifisches Objekt verwendet, wenn der Zielabschnitt der Bedingung eines Luminanzbereichs 202 in Bezug auf das spezifische Objekt genügt. Wenn zum Beispiel die Luminanz eines Zielabschnitts in dem Luminanzbereich 202 des spezifischen Objekts „Verkehrslicht (rot)” enthalten ist, wird der Zielabschnitt als Kandidat für das spezifische Objekt „Verkehrslicht (rot)” verwendet. Wenn dann das aus Gruppierung der Zielabschnitte gebildete Zielobjekt in einer Form extrahiert wird, die ein spezifisches Objekt zu sein scheint, wenn zum Beispiel die Größe des gruppierten Zielobjekts innerhalb des Breitenbereichs „0,2 bis 0,4 m” des „Verkehrslichts (rot)” enthalten ist, wird es als das spezifische Objekt bestimmt. Der Zielabschnitt, der als das spezifische Objekt bestimmt wird, wird mit einer Identifikationsnummer markiert, die für das spezifische Objekt eindeutig ist. Als der Zielabschnitt kann ein Pixel oder ein durch Sammeln beziehungsweise Gruppieren von Pixeln hergestellter Block verwendet werden, und in der vorliegenden Ausführungsform werden zur leichteren Erläuterung die Pixel als der Zielabschnitt verwendet.
Die zentrale Steuerungseinheit 154 ist gebildet aus einer integrierten Halbleiter-Schaltung, die zum Beispiel eine zentrale Prozessoreinheit (CPU), ein ROM, das ein Programm oder dergleichen speichert, und ein RAM, das als Arbeitsfläche dient, enthält, und steuert die I/F-Einheit 150 und die Datenhalteeinheit 152 durch einen Systembus 156. In der vorliegenden Ausführungsform fungiert die zentrale Steuerungseinheit 154 auch als Luminanzerlangungseinheit 160, als Positionsinformationserlangungseinheit 162, Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164, Zielabschnittgruppierungseinheit 166, Repräsentativer-Abstand-Herleitungseinheit 168, Zielobjektgruppierungseinheit 170, Spezifisches-Objekt-Bestimmungseinheit 172 und Musterabgleicheinheit 174.
Die Luminanzerlangungseinheit 160 erhält eine Luminanz von dem Zielabschnitt (Pixel) (eine Luminanz, bestehend aus drei Farbphasen (rot, grün und blau) pro Pixel) von dem empfangenen Luminanzbild 124 gemäß einer Steueranweisung der Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164, die später erläutert wird. Wenn es hierbei zum Beispiel im Erfassungsbereich regnet oder wolkig ist, kann die Luminanzerlangungseinheit 160 die Luminanzen nach Einstellung eines Weißabgleichs erhalten, um die ursprünglichen Luminanzen zu erhalten.
Die Positionsinformationserlangungseinheit 162 verwendet das Stereoverfahren zum Umwandeln von Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines horizontalen Abstands x in der Breitenrichtung, einer Höhe y in der Höhenrichtung von der Straßenoberfläche und eines relativen Abstands z in der Tiefenrichtung von dem Subjektfahrzeug 1 gemäß einer Steuerungsanweisung der Repräsentativer-Abstand-Herleitungseinheit 168, die später erläutert wird. Die Parallaxeinformation repräsentiert eine Parallaxe jedes Zielabschnitts des Abstandsbilds 126, wohingegen die dreidimensionale Positionsinformation Information über den relativen Abstand jedes Zielabschnitts in der realen Welt repräsentiert. Dementsprechend bezieht sich ein Begriff wie etwa der horizontale Abstand, die Höhe und der relative Abstand auf eine Länge in der realen Welt, wohingegen ein Begriff wie etwa erfasster Abstand sich auf einen Abstand in dem Abstandsbild 126 bezieht. Wenn die Parallaxeinformation nicht von dem Pixel hergeleitet wird, sondern pro Block, das heißt in Einheiten von mehreren Pixeln, hergeleitet wird, kann eine Berechnung pixelweise ausgeführt werden, wobei die Parallaxeinformation als solche über sämtliche Pixel, die zu einem Block gehören, betrachtet wird.
5 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation durch die Positionsinformationserlangungseinheit 162. Zunächst behandelt die Positionsinformationserlangungseinheit 162 das Abstandsbild 126 als Koordinatensystem in Pixeleinheiten, wie in 5 gezeigt. In 5 dient die linke untere Ecke als Ursprung (0, 0). Die horizontale Richtung dient als i-Koordinatenachse und die vertikale Richtung als j-Koordinatenachse. Daher kann ein Pixel mit einer Parallaxe dp unter Verwendung einer Pixelposition i und j und der Parallaxe dp als (i, j, dp) repräsentiert werden.
Das dreidimensionale Koordinatensystem in der realen Welt wird gemäß der Ausführungsform anhand eines relativen Koordinatensystems betrachtet, worin das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite der Bewegungsrichtung des Fahrzeugs 1 wird als positive Richtung der X-Achse bezeichnet, die obere Seite des Fahrzeugs 1 als positive Richtung der Y-Achse bezeichnet, die Bewegungsrichtung des Fahrzeugs 1 (zur Vorderseite) als positive Richtung der Z-Achse bezeichnet, und der Schnittpunkt zwischen der Straßenoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildgebungsvorrichtungen 110 durchgeht, ist als Ursprung (0, 0, 0) bezeichnet. Wenn man die Straße als flache Ebene annimmt, fällt die Straßenoberfläche mit der X-Z-Ebene (y = 0) zusammen. Die Positionsinformationserlangungseinheit 162 verwendet die unten gezeigten Formeln 1 bis 3 zum Umwandeln der Koordinate des Pixels (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt. x = CD/2 + z × PW × (i – IV) (Formel 1) y = CH + z × PW × (j – JV) (Formel 2) z = KS/dp (Formel 3)
Hier bezeichnet CD ein Intervall (Grundlinienlänge) zwischen den Bildgebungsvorrichtungen 110, PW bezeichnet einen entsprechenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, den sogenannten Blickwinkel pro Pixel, CH bezeichnet eine Höhe der Bildgebungsvorrichtung 110 von der Straßenoberfläche, IV und JV bezeichnen Koordinaten (Pixel) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1, und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 bestimmt vorläufig ein spezifisches Objekt entsprechend dem Zielobjekt unter Verwendung der Luminanz des Zielobjekts auf der Basis der in der Datenhalteeinheit 152 gespeicherten Spezifisches-Objekt-Tabelle 200.
Insbesondere veranlasst die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 zunächst, dass die Luminanzerlangungseinheit 160 die Luminanz eines beliebigen gegebenen Zielabschnitts in dem Luminanzbild 124 erhält. Anschließend wählt die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 sequentiell ein beliebiges spezifisches Objekt aus den spezifischen Objekten, die in der Spezifisches-Objekt-Tabelle 200 registriert sind, und bestimmt, ob die Luminanz des Zielabschnitts eines erhaltenen Zielobjekts in dem Luminanzbereich 202 des sequentiell gewählten spezifischen Objekts enthalten ist. Wenn bestimmt wird, dass sich die Luminanz in dem gewählten Luminanzbereich 202 befindet, wird der Zielabschnitt vorläufig als das spezifische Objekt bestimmt, und eine das spezifische Objekt repräsentierende Identifikationszahl wird dem Zielabschnitt zugeordnet und ein Spezifisches-Objekt-Kennfeld wird erzeugt.
Die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 führt sequentiell eine Serie von Vergleichen zwischen der Luminanz des Zielabschnitts und dem Luminanzbereich 202 der spezifischen Objekte, die in der Spezifisches-Objekt-Tabelle 200 registriert sind, aus. Die Wählreihenfolge der spezifischen Objekte in der Spezifisches-Objekt-Tabelle 200, wie oben erläutert, zeigt auch die Prioritätsreihenfolge. Das heißt, in dem Beispiel der Spezifisches-Objekt-Tabelle 200 von 4 erfolgt der Vergleichsprozess in dieser Reihenfolge: „Verkehrslicht (rot)”, „Verkehrslicht (gelb)”, „Verkehrslicht (blau)”, „Heckleuchte (rot)”, „Abbiegesignal (orange)”, „Straßenzeichen (rot)”, „Straßenzeichen (blau)” und „Straßenzeichen (grün)”.
Wenn der Vergleich gemäß der obigen Prioritätsreihenfolge durchgeführt wird und im Ergebnis bestimmt wird, dass die Luminanz des Zielabschnitts im Luminanzbereich 202 eines spezifischen Objekts mit hohem Prioritätsrang enthalten ist, wird der Vergleichsprozess für spezifische Objekte mit tieferem Prioritätsrang nicht länger durchgeführt. Daher wird nur höchstens eine Identifikationszahl, die ein spezifisches Objekt repräsentiert, einem Zielabschnitt zugeordnet. Dies ist so, weil sich in der realen Welt nicht eine Mehrzahl von spezifischen Objekten überlappen, und somit ein Zielobjekt, das einmal als irgendein gegebenes spezifisches Objekt bestimmt worden ist, nicht länger als ein anderes spezifisches Objekt bestimmt wird. Indem auf diese Weise die Zielabschnitte exklusiv behandelt werden, lässt sich eine redundante spezifische Verarbeitung im gleichen Zielabschnitt vermeiden, der bereits vorläufig als spezifisches Objekt bestimmt worden ist, und die Prozesslast kann verringert werden.
6 ist eine beispielhafte Darstellung zur Erläuterung eines Spezifisches-Objekt-Kennfelds 210. Das Spezifisches-Objekt-Kennfeld 210 ist hergestellt durch Auflagern der Identifikationszahlen der spezifischen Objekte auf das Luminanzbild 124, und die Identifikationszahl des spezifischen Objekts wird einer Position zugeordnet, die dem Zielabschnitt entspricht, der vorläufig als das spezifische Objekt bestimmt worden ist.
Zum Beispiel werden in einem Segmentkennfeld 210a des Spezifisches-Objekt-Kennfelds 210 die Luminanzen von Zielabschnitten 212, die den Heckleuchten des vorausfahrenden Fahrzeugs entsprechen, mit dem Luminanzbereich 202 der spezifischen Objekte „Verkehrslicht (rot)”, „Verkehrslicht (gelb)”, „Verkehrslicht (blau)” und „Heckleuchte (rot)” der Reihe nach verglichen. Im Ergebnis wird, da die Luminanzen in dem Luminanzbereich 202 des spezifischen Objekts „Heckenleuchte (rot)” enthalten sind, eine Identifikationszahl „4” des spezifischen Objekts „Heckleuchte (rot)” zugeordnet. In einem Segmentkennfeld 210b des Spezifisches-Objekt-Kennfelds 210 sind die Luminanzen von Zielabschnitten 214 entsprechend den Lichtabgabeabschnitten an der rechten Seite des Verkehrslichts in dem Luminanzbereich 202 des spezifischen Objekts „Verkehrslicht (rot)” enthalten, und daher wird eine Identifikationszahl „1” des spezifischen Objekts „Verkehrslicht (rot)” zugeordnet. Ferner werden in einem Segmentkennfeld 210c des Spezifisches-Objekt-Kennfelds 220 die Luminanzen von jeweiligen Zielabschnitten 216 entsprechend dem Rückleuchtenabschnitt des vorausfahrenden Fahrzeugs mit dem Luminanzbereich 202 von jedem der spezifischen Objekte „Verkehrslicht (rot”), „Verkehrslicht (gelb)” und „Verkehrslicht (blau)” der Reihe nach verglichen, und schließlich wird eine Identifikationszahl „4” des spezifischen Objekts „Heckleuchte (rot)” und eine Identifikationszahl „5” des spezifischen Objekts „Abbiegesignal (orange)” zugeordnet. 6 zeigt, welche Identifikationszahlen jeweiligen Zielabschnitten des Luminanzbilds 124 vergeben werden. Dies ist jedoch nur eine Konzeptdarstellung zum leichteren Verständnis. In der Realität werden die Identifikationszahlen als Daten an Zielabschnitten registriert.
Die Zielabschnittgruppierungseinheit 166 verwendet einen beliebigen vorläufig bestimmten gegebenen Zielabschnitt als Basispunkt und gruppiert die relevanten Zielabschnitte, die in dem Luminanzbild 124 benachbart sind, und vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt (mit der gleichen Identifikationszahl versehen) sind, in ein Zielobjekt. Die Zielabschnittgruppierungseinheit 166 verwendet auch den durch den Gruppierungsprozess neuerlich hinzugefügten Zielabschnitt als Basispunkt und gruppiert die relevanten Zielabschnitte, die benachbart sind, und die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt worden sind. Demzufolge werden alle solchen Zielabschnitte gruppiert, solange die Abstände zwischen Zielabschnitten, die vorläufig als das gleiche spezifische Objekt bestimmt worden sind, einander benachbart sind.
Die 7A bis 7D sind beispielhafte Darstellungen, die den Prozess der Zielabschnittgruppierungseinheit 166 darstellen. In 7 sind die Identifikationszahlen zum leichteren Verständnis weggelassen. Zum Beispiel gruppiert die Zielabschnittgruppierungseinheit 166 benachbarte Zielabschnitte, die in Bezug auf das Identifiziertes-Objekt-Kennfeld 210 vorläufig als solche bestimmt wurden, dass sie dem spezifischen Objekt „Verkehrslicht (rot)” entsprechen, wie in 7A dargestellt, und die Zielabschnittgruppierungseinheit 166 erzeugt ein Zielobjekt 218, wie in 7B dargestellt. Im Ergebnis wird das spezifische Objekt „Verkehrslicht (rot)” extrahiert.
Wenn jedoch die Schriftzeichen mit der Farbe „rot” in einem beleuchteten Verkehrszeichen angezeigt werden, wie in 7C dargestellt, gruppiert die Zielabschnittgruppierungseinheit 166 die Zielabschnitte in jedem Schriftzeichen zur Herleitung von Zielobjekten 218, wie in 7D dargestellt. Wenn eine Größe der Zielobjekte 218 ähnlich dem spezifischen Objekt „Verkehrslicht (rot)” ist, könnte jedes der Schriftzeichen fehlerhaft als spezifisches Objekt „Verkehrslicht (rot)” erkannt werden. Nachfolgend wird eine Vorrichtung, wie etwa ein beleuchtetes Verkehrszeichen, das durch Lichtemission Information liefert, einfach als „Zeichen” bezeichnet.
Hier unterscheiden sich das Verkehrslicht in 7A und das Zeichen in 7C wie folgt: in dem Verkehrslicht hat der lichtabgebende Abschnitt keinen benachbarten lichtabgebenden Abschnitt mit der gleichen Farbabgabe. Andererseits ist es wahrscheinlich, dass in dem Zeichen ein lichtabgebender Abschnitt einen benachbarten lichtabgebenden Abschnitt mit der gleichen Farbabgabe hat. Wenn somit in der Ausführungsform ein lichtabgebender Abschnitt (Zielobjekt) einen benachbarten Zielabschnitt (oder ein anderes Zielobjekt) hat, das vorläufig so bestimmt wird, dass es zum gleichen spezifischen Objekt wie der lichtabgebende Abschnitt gehört, werden sie weiter zu einem Zielobjekt gruppiert. Infolgedessen kann ein Zielobjekt wie etwa das Zeichen, das gleiche lichtabgebende Abschnitte mit der gleichen Farbe auf der gleichen Oberfläche anzeigt, als ein Zielobjekt bestimmt werden. Die Repräsentativer-Abstand-Herleitungseinheit 168 und die Zielobjektgruppierungseinheit 170, die bei dieser Gruppierung verwendet werden, werden nachfolgend beschrieben.
Die Repräsentativer-Abstand-Herleitungseinheit 168 leitet einen repräsentativen Abstand her, der ein repräsentativer Wert eines relativen Abstands z von Zielabschnitten in dem von der Zielabschnittgruppierungseinheit 166 gruppierten Zielobjekt ist. Der repräsentative Abstand lässt sich erhalten durch Herleiten eines Mittelwerts der relativen Abstände, die optional in dem gruppierten Zielobjekt ausgewählt werden. Jedoch wird in dieser Ausführungsform ein relativer Abstand mit einer hohen Erscheinungshäufigkeit als der repräsentative Abstand verwendet. Insbesondere unterteilt die Repräsentativer-Abstand-Herleitungseinheit 168 einen vorbestimmten Abstandsbereich in mehrere Teilabstandsbereiche, spezifiziert einen Teilabstandsbereich, der den relativen Abstand z jedes Zielabschnitts in dem Zielobjekt enthält, und wählt den Teilabstandsbereich einschließlich des relativen Abstands z. Wenn alle relativen Abstände z der Zielabschnitte in dem Zielobjekt gewählt sind, wird ein Histogramm erzeugt, das die Abstandsverteilung des Zielobjekts anzeigt. Die Repräsentativer-Abstand-Herleitungseinheit 168 leitet den relativen Abstand entsprechend einem Peak der Abstandsverteilung (Histogramm) als den repräsentativen Abstand her. Hierin bedeutet „entsprechend dem Peak” einen Spitzenwert oder Wert, der eine Bedingung in der Nähe der Spitze erfüllt.
Übrigens kann der repräsentative Abstand auch durch andere Prozeduren als der obigen Prozedur anhand der Spitze der Abstandsverteilung hergeleitet werden, zum Beispiel ein Durchschnittswert, ein Maximalwert oder ein Minimalwert des relativen Abstands z der Zielabschnitte in dem Zielobjekt. Der repräsentative Abstand braucht nur einen schematischen relativen Abstand des Zielobjekts identifizieren.
Die Zielobjektgruppierungseinheit 170 bestimmt, ob eine Luminanz eines Zielabschnitts, zwischen dem und dem Zielobjekt Differenzen in der horizontalen und der vertikalen Richtung in einen jeweiligen ersten vorbestimmten Bereich fallen und zwischen dessen relativem Abstand und dem repräsentativen Abstand des Zielobjekts eine Differenz in einen zweiten vorbestimmten Bereich fällt, der Luminanz des gegebenen Zielobjekts entspricht oder nicht. Der erste vorbestimmte Bereich und der zweite vorbestimmte Bereich können zum Beispiel auf 1,0 m in der realen Welt gesetzt werden. Wenn ein Zielabschnitt vorhanden ist, der dem gleichen spezifischen Objekt wie das Zielobjekt entspricht, gruppiert die Zielobjektgruppierungseinheit 170 den Zielabschnitt in das Zielobjekt. Selbst wenn in der realen Welt Zielabschnitte in der Breitenrichtung x und in der Höhenrichtung y einander eng benachbart sind, könnte der relative Abstand in der Tiefenrichtung z derselben stark unterschiedlich sein. In diesem Fall gehören die Zielabschnitte zu unterschiedlichen Zielobjekten. Wenn daher ein Zielabschnitt von einem der anderen Zielobjekte in Bezug auf die Breite x, die Höhe y oder die Tiefe z entfernt ist, könnte die Gruppe, welche den Zielabschnitt enthält, als unabhängiges Zielobjekt betrachtet werden. Durch diese Maßnahme wird es möglich, einen hochgenauen Gruppierungsprozess durchzuführen.
In dem obigen Prozess gruppiert die Zielobjektgruppierungseinheit 170 mehrere Zielabschnitte in ein Zielobjekt nur dann, wenn die mehreren Zielabschnitte innerhalb des ersten vorbestimmten Bereichs und des zweiten vorbestimmten Bereichs einander benachbart sind, und die Anzahl der Zielabschnitte gleich oder größer als eine vorbestimmte Zahl (zum Beispiel 5) ist. Wenn zum Beispiel die mehreren Zielabschnitte innerhalb des ersten vorbestimmten Bereichs und des zweiten vorbestimmten Bereichs einander benachbart sind, und es eine beträchtliche Anzahl solcher Zielabschnitte gibt, könnte die Gruppe der Zielabschnitte als Teil des bereits gegebenen Zielobjekts betrachtet werden. Durch diese Maßnahme wird es möglich, einen Zielabschnitt auszuschließen, der als Rauschen erzeugt wird, und dem gleichen spezifischen Objekt wie das gegebene Zielobjekt entspricht, wodurch die Gruppierung richtig durchgeführt werden kann.
Die Zielobjektgruppierungseinheit 170 betrachtet einen relativen Abstand z eines in das gegebene Zielobjekt gruppierten Zielabschnitts als den repräsentativen Abstand, und gruppiert ferner einen anderen Zielabschnitt, der Bedingungen genügt, in das gegebene Zielobjekt, mit dem gruppierten Zielabschnitt als dem Basispunkt.
Die 8A bis 8C sind beispielhafte Darstellungen, die den Prozess der Zielobjektgruppierungseinheit 170 darstellen. Die 8A und 8B stellen ein Abstandsbild 126 dar, das dem Spezifisches-Objekt-Kennfeld 210 in 7D entspricht, und 8C stellt das Spezifisches-Objekt-Kennfeld 210 in Bezug auf das gleiche Objekt wie in 7D dar. Wie in 8A dargestellt, sucht, mit dem Zielobjekt 218a als dem Basispunkt, die Zielobjektgruppierungseinheit 170 nach einem Zielabschnitt, der sich innerhalb eines ersten vorbestimmten Bereichs 220 befindet, basierend auf der Mitten-(Schwerpunkt)-Position des Zielobjekts 218a und des zweiten vorbestimmten Bereichs, und dem gleichen spezifischen Objekt wie das Zielobjekt 218a entspricht. In der Zeichnung entspricht ein Zielobjekt 218b dem gleichen spezifischen Objekt wie das Zielobjekt 218a, und die Anzahl von benachbarten Zielabschnitten ist gleich oder größer als die vorbestimmte Zahl. Daher wird das Zielobjekt 218b in das Zielobjekt 218a gruppiert.
Dann betrachtet die Zielobjektgruppierungseinheit 170 einen relativen Abstand z des Zielabschnitts (Zielobjekts 218b), der bereits in das Zielobjekt 218a gruppiert worden ist, als den repräsentativen Abstand, und gruppiert ferner einen anderen Zielabschnitt, der der Bedingung genügt, in das Zielobjekt 218a, mit dem gruppierten Zielabschnitt als dem Basispunkt. Die Bedingung ist, dass der Zielabschnitt in den ersten vorbestimmten Bereich und den zweiten vorbestimmten Bereich fällt und dem gleichen spezifischen Objekt wie das Zielobjekt 218a entspricht. Somit können Zielobjekte (Zielabschnitte), die einander nah benachbart sind, in ein einziges Zielobjekt 218a gesammelt werden, wie in 8B dargestellt, durch sequentielles Gruppieren der Zielabschnitte, von denen bestimmt wurde, dass sie dem gleichen spezifischen Objekt entsprechen. Anders als in dem Fall, worin ein breiter Bereich auf einmal gruppiert wird, werden die Zielabschnitte sequentiell gruppiert, wodurch nur ein solches Zielobjekt mit einer hohen Kontinuität richtig gruppiert werden kann. In 8C wird das eine Zielobjekt 218a in das Spezifisches-Objekt-Kennfeld 210 eingebaut. Obwohl es vorläufig in Bezug auf die Luminanz als das spezifische Objekt „Verkehrslicht (rot)” bestimmt wurde, wird das Zielobjekt 218a nicht endgültig als das spezifische Objekt „Verkehrslicht (rot)” bestimmt, weil die Größe des Zielobjekts 218a nicht kleiner als 0,4 m ist (siehe 4). Auf diese Weise lässt sich vermeiden, dass das Zeichen irrtümlich als das Verkehrslicht bestimmt wird.
In diesem Fall macht die Zielobjektgruppierungseinheit 170 die Bestimmung unter Verwendung des horizontalen Abstands und der Höhe in der realen Welt, aber wenn die Bestimmung mittels der Erfassungsabstände in dem Luminanzbild 124 und dem Abstandsbild 126 gemacht wird, ändert sich der Schwellenwert des ersten vorbestimmten Bereichs zur Gruppierung gemäß dem relativen Abstand des Zielabschnitts. Wie in 2 und dergleichen gezeigt, sind entfernte und nahe Objekte in der flachen Ebene im Luminanzbild 124 und dem Abstandsbild 126 repräsentiert, und daher wird ein Objekt, das an einer entfernten Position angeordnet ist, in einer kleinen (kurzen) Größe repräsentiert, und ein Objekt, das an einer nahen Position angeordnet ist, wird in einer großen (langen) Größe repräsentiert. Daher wird zum Beispiel der Schwellenwert des vorbestimmten Bereichs in dem Luminanzbild 124 und dem Abstandsbild 126 für einen entfernten Zielabschnitt auf einen kleinen Wert gesetzt und für einen nahen Zielabschnitt auf einen großen Wert gesetzt. Selbst wenn daher die Erfassungsabstände zwischen einer entfernten Position und einer nahen Position unterschiedlich sind, kann der Gruppierungsprozess stabil durchgeführt werden. Falls die Bestimmung basierend auf dem Erfassungsabstand an dem Abstandsbild 226 durchgeführt wird, kann der erste vorbestimmte Bereich durch die Pixelanzahl definiert werden. Zum Beispiel können (benachbarte) Pixel mit einer Lücke von einem Pixel dazwischen in der horizontalen Richtung oder der vertikalen Richtung gruppiert werden.
In der obigen Beschreibung werden die Differenz in der Breitenrichtung x, die Differenz in der Höhenrichtung y und die Differenz in der Tiefenrichtung z jeweils unabhängig bestimmt, und nur wenn alle von diesen innerhalb des vorbestimmten Bereichs liegen, werden die Zielabschnitte in die gleiche Gruppe gruppiert. Jedoch kann der Gruppierungsprozess auch mit einer anderen Berechnung durchgeführt werden. Wenn zum Beispiel ein Euclid'scher Abstand, Quadratwurzel aus ((Differenz in der Breitenrichtung x)² + (Differenz in der Höhenrichtung y)² + (Differenz in der Tiefenrichtung z)²) innerhalb eines dritten vorbestimmten Bereichs liegt, können Zielabschnitte in die gleiche Gruppe gruppiert werden. Mit dieser Berechnung kann ein Abstand zwischen dem Zielobjekt und einem anderen Zielabschnitt in der realen Welt genau hergeleitet werden, und daher kann die Gruppierungsgenauigkeit verbessert werden.
Wenn ein Zielobjekt, das als Ergebnis des Gruppierungsprozesses durch die Zielobjektgruppierungseinheit 170 gebildet ist, einer vorbestimmten Bedingung genügt, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, dass das Zielobjekt ein spezifisches Objekt ist. Wenn zum Beispiel, wie in 4 gezeigt, der Breitenbereich 204 in der Spezifisches-Objekt-Tabelle 200 zugeordnet ist und die Größe des Zielobjekts (sowohl die Breitenrichtung x als auch die Höhenrichtung y) innerhalb des Breitenbereichs 204 eines vorläufig bestimmten spezifischen Objekts enthalten ist, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 174 das Zielobjekt als das spezifische Objekt. Für die Breitenrichtung x und die Höhenrichtung y kann jeweils ein separater Breitenbereich 204 gesetzt werden. Hier wird geprüft, ob das Zielobjekt eine Größe hat, die adäquat ist, um es als spezifisches Objekt zu betrachten. Wenn daher die Größe des Zielobjekts nicht in dem Breitenbereich 204 enthalten ist, kann das Zielobjekt als Information, die für den Umgebungserkennungsprozess unnötig ist, ausgeschlossen werden. Zum Beispiel ist in den Beispielen der 7 und 8 die Größe des Zielobjekts 218 in 7B in dem Breitenbereich von „0,2 m bis 0,4 m” des spezifischen Objekts „Verkehrslicht (rot)” enthalten, und somit wird das Zielobjekt 218 richtig als das spezifische Objekt „Verkehrslicht (rot)” spezifiziert. Andererseits ist die Größe des Zielobjekts 218a in 8C nicht in dem Breitenbereich „0,2 m bis 0,4 m” des spezifischen Objekts „Verkehrslicht (rot)” enthalten, und das Zielobjekt 218a wird nicht als das spezifische Objekt „Verkehrslicht (rot)” spezifiziert.
Im Ergebnis kann die Umgebungserkennungsvorrichtung 130 aus dem Luminanzbild 124 ein oder mehrere Zielobjekte als spezifische Objekte extrahieren, und die Information kann für verschiedene Steuerungsarten verwendet werden. Wenn zum Beispiel das spezifische Objekt „Verkehrslicht (rot)” extrahiert wird, zeigt dies an, dass das Zielobjekt ein festes Objekt ist, welches sich nicht bewegt, und wenn das Zielobjekt ein Verkehrslicht für die Fahrbahn des Subjektfahrzeugs 1 ist, zeigt dies an, dass das Subjektfahrzeug 1 anhalten oder verzögern muss. Wenn das spezifische Objekt „Heckleuchte (rot)” extrahiert wird, zeigt dies an, dass ein vorausfahrendes Fahrzeug vorhanden ist, das zusammen mit dem Subjektfahrzeug 1 fährt, und dass die Rückseite des vorausfahrenden Fahrzeugs den relativen Abstand des spezifischen Objekts „Heckleuchte (rot)” hat.
Wenn ein durch die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmtes spezifisches Objekt zum Beispiel ein „Zeichen” ist, und angenommen wird, dass das spezifische Objekt eine Geschwindigkeitsbegrenzung anzeigt, führt die Musterabgleicheinheit 174 ferner einen Musterabgleich für einen darin angegebenen numerischen Wert durch und spezifiziert den numerischen Wert. Auf diese Weise kann die Umgebungserkennungsvorrichtung 130 die Geschwindigkeitsbeschränkung und dergleichen von der Fahrbahn erkennen, auf der das Subjektfahrzeug fährt.
In der vorliegenden Ausführungsform extrahiert die Spezifisches-Objekt-Bestimmungseinheit 172 zuerst eine Mehrzahl von beschränkten spezifischen Objekten und braucht dann lediglich den Musterabgleich nur an den extrahierten spezifischen Objekten durchführen. Daher kann im Gegensatz zum herkömmlichen Fall, wo der Musterabgleich auf der Gesamtfläche des Luminanzbilds 124 durchgeführt wird, die Prozesslast signifikant verringert werden.
(Umgebungserkennungsverfahren)
Nachfolgend werden die besonderen Prozesse, die von der Umgebungserkennungsvorrichtung 130 durchgeführt werden, basierend auf dem in den 9 bis 14 gezeigten Flussdiagramm erläutert. 9 stellt einen Gesamtfluss eines Unterbrechungs-Prozesses dar, wenn die Bildverarbeitungsvorrichtung 120 das Abstandsbild (Parallaxeinformation) 126 überträgt. Die 10 bis 14 stellen Unterroutinen davon dar. In der Beschreibung werden Pixel als Zielabschnitte verwendet, und die unteren linken Ecken des Luminanzbilds 124 und des Abstandsbilds 126 sind Ursprünge. Der Prozess wird gemäß dem Umgebungserkennungsverfahren im Bereich von 1 bis 600 Pixeln in der horizontalen Richtung des Bilds und 1 bis 200 Pixeln in der vertikalen Richtung des Bilds durchgeführt. In dieser Beschreibung wird angenommen, dass die Anzahl der spezifischen Objekte, die geprüft werden sollen, acht ist.
Wenn, wie in 9 gezeigt, gemäß dem Umgebungserkennungsverfahren in Antwort auf den Empfang des Abstandsbilds 126 eine Unterbrechung auftritt, wird auf das von der Bildverarbeitungsvorrichtung 120 erhaltene Luminanzbild 124 Bezug genommen, und es wird ein Spezifisches-Objekt-Kennfeld 210 erzeugt (S302).
Anschließend wird das vorläufig bestimmte Zielobjekt zu einer Gruppe gemacht (S304), wird der repräsentative Abstand des gruppierten Zielobjekts hergeleitet (S306), wird der Zielabschnitt in der Nähe des Zielobjekts durch Gruppierung weiter in das gruppierte Zielobjekt eingebaut (S308) und wird das gruppierte Zielobjekt als spezifisches Objekt bestimmt (S310). Wenn es erforderlich ist, weitere Information von dem so bestimmten spezifischen Objekt zu erhalten, führt die Musterabgleicheinheit 174 den Musterabgleich an dem spezifischen Objekt durch (S312). Anschließend wird der obige Prozess weitergehend erläutert.
(Spezifisches-Objekt-Kennfeld-Erzeugungsprozess 302)
Wie in 10 gezeigt, initialisiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 eine vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixels) (setzt auf „0”) (S350). Anschließend addiert (inkrementiert um 1) die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 „1” zur vertikalen Variable j und initialisiert eine horizontale Variable i (setzt sie auf „0”) (S352). Dann addiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 „1” zur horizontalen Variable i und initialisiert eine Spezifisches-Objekt-Variable m (setzt sie auf „0”) (S354). Hier sind die horizontale Variable i und die vertikale Variable j vorgesehen, um den Spezifisches-Objekt-Kennfeld-Erzeugungsprozess an allen 600×200 Pixeln auszuführen, und die Spezifisches-Objekt-Variable m ist vorgesehen, um sequentiell acht spezifische Objekte für jedes Pixel zu vergleichen.
Die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 bewirkt, dass die Luminanzerlangungseinheit 160 eine Luminanz eines Pixels (i, j) als Zielabschnitt aus dem Luminanzbild 124 erhält (S356), addiert „1” zu der Spezifisches-Objekt-Variable m (S358), erhält den Luminanzbereich 202 des spezifischen Objekts (m) (S360) und bestimmt, ob die Luminanz des Pixels (i, j) in dem Luminanzbereich 202 des spezifischen Objekts (m) enthalten ist oder nicht (S362).
Wenn die Luminanz des Pixels (i, j) in dem Luminanzbereich 202 des spezifischen Objekts (m) enthalten ist (JA in S362), ordnet die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 eine Identifikationszahl p, die das spezifische Objekt (m) repräsentiert, dem Pixel zu, so dass es als Pixel (i, j, p) ausgedrückt wird (S364). Auf diese Weise wird das Spezifisches-Objekt-Kennfeld 210 erzeugt, worin jedem Pixel in dem Luminanzbild 124 eine Identifikationszahl vergeben wird. Wenn die Luminanz des Pixels (i, j) nicht in dem Luminanzbereich 202 des spezifischen Objekts (m) enthalten ist (NEIN in S362), wird eine Bestimmung durchgeführt, ob die Spezifisches-Objekt-Variable m gleich oder größer als acht ist oder nicht, was die maximale Zahl von spezifischen Objekten ist (S366). Wenn die Spezifisches-Objekt-Variable m kleiner als der Maximalwert ist (NEIN in S366), werden die Prozesse ab dem Inkrementierprozess der Spezifisches-Objekt-Variable m in Schritt S358 wiederholt. Wenn die Spezifisches-Objekt-Variable m gleich oder größer als der Maximalwert ist (JA in S366), was bedeutet, dass kein spezifisches Objekt entsprechend dem Pixel (i, j) vorhanden ist, wird der Prozess in Schritt S368 und folgenden ausgeführt.
Dann bestimmt die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164, ob die horizontale Variable i gleich oder größer als 600 ist, was der Maximalwert des horizontalen Pixels ist (S368), und wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S368), werden die Prozesse ab dem Inkrementierprozess der horizontalen Variable i in Schritt S354 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S368), bestimmt die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164, ob die vertikale Variable j gleich oder größer als 200 ist, was der Maximalwert vertikaler Pixel ist (S370). Wenn dann die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S370), werden die Prozesse ab dem Inkrementierprozess der vertikalen Variable j in Schritt S352 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S370), wird der Spezifisches-Objekt-Kennfeld-Erzeugungsprozess beendet.
(Zielabschnittgruppierungsprozess S304)
Wie in 11 gezeigt, initialisiert die Zielabschnittgruppierungseinheit 166 eine vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixel), (setzt sie auf „0”) (S402). Anschließend addiert die Zielabschnittgruppierungseinheit 166 „1” zur vertikalen Variable j und initialisiert eine horizontale Variable i (setzt sie auf „0”) (S404). Dann addiert die Zielabschnittgruppierungseinheit 166 „1” zu der horizontalen Variable i (S406).
Die Zielabschnittgruppierungseinheit 166 erhält ein Pixel (i, j, p, dp) als den Zielabschnitt aus dem Luminanzbild 124 (S408). Dann wird eine Bestimmung durchgeführt, ob dem Pixel (i, j, p, dp) eine Identifikationszahl p des spezifischen Objekts zugeordnet ist (S460). Wenn die Identifikationszahl p zugeordnet ist (JA in S410), bestimmt die Zielabschnittgruppierungseinheit 166, ob ein anderes Pixel, das dem Pixel (i, j, p, dp) benachbart ist und dem die gleiche Identifikationszahl p zugeordnet ist, vorhanden ist oder nicht (S412).
Wenn der gleichen Identifikationszahl ein anderes Pixel (i, j, p, dp) zugeordnet ist (JA in S412), bestimmt die Zielabschnittgruppierungseinheit 166, ob irgendeinem aller Pixel innerhalb des vorbestimmten Bereichs einschließlich des der Bestimmung unterzogenen Pixels eine Gruppenzahl g gegeben worden ist (S414). Wenn einem von diesen die Gruppenzahl g gegeben worden ist (JA in S414), ordnet die Zielabschnittgruppierungseinheit 166 allen solchen Pixeln, die innerhalb des vorbestimmten Bereichs enthalten sind, und allen Pixeln, denen die gleiche Gruppenzahl g gegeben worden ist, einen Wert zu, wobei der Wert ein kleinerer der kleinsten Gruppenzahl g unter den Gruppenzahlen, die diesem gegeben worden sind, oder der kleinste Wert von Zahlen, die noch nicht als Gruppenzahl verwendet worden sind, ist, um ihn als Pixel (i, j, p, dp, g) auszudrücken (S416). Wenn keinem von ihnen die Gruppenzahl g gegeben worden ist (NEIN in S414), wird der kleinste Wert von Zahlen, die noch nicht als Gruppenzahl verwendet worden sind, neuerlich allen Pixeln innerhalb des vorbestimmten Bereichs einschließlich des der Bestimmung unterzogenen Pixels zugeordnet (S418).
Wenn es auf diese Weise eine Mehrzahl von Zielabschnitten gibt, die die gleiche Identifikationszahl in den benachbarten Pixeln haben, wird der Gruppierungsprozess durchgeführt, indem eine Gruppenzahl g vergeben wird. Wenn keinem der Mehrzahl von Zielabschnitten eine Gruppenzahl g gegeben worden ist, wird eine neue Gruppenzahl g zugeordnet, und wenn bereits einem von diesen eine Gruppenzahl g gegeben worden ist, wird den anderen Zielabschnitten die gleiche Gruppenzahl g zugeordnet. Wenn es jedoch eine Mehrzahl von Gruppenzahlen g in der Mehrzahl von Zielabschnitten gibt, werden die Gruppenzahlen g aller Zielabschnitte mit einer Gruppenzahl g ersetzt, um die Zielabschnitte als eine Gruppe zu behandeln.
In der obigen Beschreibung werden die Gruppenzahlen g nicht nur von allen benachbarten Pixeln, sondern auch von allen Pixeln, denen die gleiche Gruppenzahl g gegeben worden ist, auf einmal geändert. Der Hauptgrund hierfür ist es, zu vermeiden, dass die bereits vereinigte Gruppe durch Ändern der Gruppenzahlen g aufgeteilt wird. Zusätzlich wird eine kleinere der kleinsten Gruppenzahl g oder der kleinste Wert von Zahlen, die noch nicht als Gruppenzahl verwendet worden sind, verwendet, um soweit wie möglich bei der Gruppennummerierung eine übersprungene Zahl zu vermeiden. Durch diese Maßnahme wird der Maximalwert der Gruppenzahl g nicht unnötig groß und kann die Prozesslast verringert werden.
Wenn keine Identifikationszahl p zugeordnet ist (NEIN in S410), oder wenn kein anderer Pixel vorhanden ist, das die Identifikationszahl p hat (NEIN in S412), wird der daran anschließende Prozess in Schritt S420 durchgeführt.
Anschließend bestimmt die Zielabschnittgruppierungseinheit 166, ob die horizontale Variable i gleich oder größer als 600 ist oder nicht, was der Maximalwert der Pixelzahl in der horizontalen Richtung ist (S420). Wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S420), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S406 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S420), bestimmt die Zielabschnittgruppierungseinheit 166, ob die vertikale Variable j gleich oder größer als 200 ist oder nicht, was der Maximalwert der Pixelzahl in der vertikalen Richtung ist (S422). Wenn die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S422), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S404 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S422), wird der Gruppierungsprozess beendet.
(Repräsentiver-Abstand-Herleitungsprozess S306)
Wie in 12 gezeigt, initialisiert die Repräsentativer-Abstand-Herleitungseinheit 168 eine vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixels) (setzt sie auf „0”) (S450). Anschließend addiert die Repräsentativer-Abstand-Herleitungseinheit 168 „1” zu der vertikalen Variable j und initialisiert eine horizontale Variable i (setzt sie auf „0”) (S452). Dann addiert die Repräsentativer-Abstand-Herleitungseinheit 168 „1” zu der horizontalen Variable i (S454).
Die Repräsentativer-Abstand-Herleitungseinheit 168 erhält ein Pixel (i, j, p, dp, g) als den Zielabschnitt aus dem Luminanzbild 124, transformiert die Koordinate des Pixels (i, j, p, dp, g) einschließlich der Parallaxeinformation dp in einem Punkt (x, y, z) in der realen Welt, um ihn als Pixel (i, j, p, dp, g, x, y, z) auszudrücken (S456). Dann bestimmt die Repräsentativer-Abstand-Herleitungseinheit 168, ob die Gruppenzahl g des Pixels (i, j, p, dp, g, x, y, z) ein gültiger Wert ist oder nicht, das heißt, ob die Gruppenzahl g bereits vergeben ist (S458). Wenn ein gültiger Wert als die Gruppenzahl g vergeben ist (JA in S458), bestimmt die Repräsentativer-Abstand-Herleitungseinheit 168, ob der repräsentative Abstand eines Zielobjekts einschließlich des Pixels (i, j, p, dp, g, x, y, z) bereits hergeleitet ist oder nicht (S460).
Wenn der repräsentative Abstand des Zielobjekts einschließlich des Pixels noch nicht hergeleitet ist (NEIN in S460), leitet die Repräsentativer-Abstand-Herleitungseinheit 168 den repräsentativen Abstand her, setzt einen repräsentativen Abstand rd auf alle Zielabschnitte in dem Zielobjekt, um es als Pixel (i, j, p, dp, g, x, y, z, rd) auszudrücken (S462). Der repräsentative Abstand ist ein relativer Abstand z, der einer Spitze der relativen Abstandsverteilung der Zielabschnitte in dem Zielobjekt entspricht. Wenn die Gruppenzahl g ein ungültiger Wert ist (NEIN in S458), oder wenn der repräsentative Abstand bereits hergeleitet ist (JA in S460), wird im Anschluss daran der Prozess in Schritt S464 durchgeführt.
Anschließend bestimmt die Repräsentativer-Abstand-Herleitungseinheit 168, ob die horizontale Variable i gleich oder größer als 600 ist oder nicht, was der Maximalwert des horizontalen Pixels ist (S464), und wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S464), werden die Prozesse ab dem Inkrementierprozess der horizontalen Variable i in Schritt S454 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S464), bestimmt die Repräsentativer-Abstand-Herleitungseinheit 168, ob die vertikale Variable j gleich oder größer als 200 ist, was der Maximalwert des vertikalen Pixels ist (S466). Wenn dann die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S466), werden die Prozesse ab dem Inkrementierprozess der vertikalen Variable j in Schritt S402 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S466), wird der Repräsentativer-Abstand-Herleitungsprozess beendet.
(Zielobjektgruppierungsprozess S308)
Wie in 13 gezeigt, bezieht sich die Zielobjektgruppierungseinheit 170 auf erste und zweite vorbestimmte Bereiche zum Gruppieren von Zielabschnitten (S500) und initialisiert die vertikale Variable j zum Spezifizieren eines Zielabschnitts (Pixels) (setzt sie auf „0”) (S502). Anschließend addiert die Gruppierungseinheit 166 „1” zu der vertikalen Variable j und initialisiert die horizontale Variable i (setzt sie auf „0”) (S504). Dann addiert die Gruppierungseinheit 166 „1” zu der horizontalen Variable i (S506).
Die Zielobjektgruppierungseinheit 170 erhält ein Pixel (i, j, p, dp, g, x, y, z, rd) als den Zielabschnitt aus dem Luminanzbild 124 (S508). Dann wird eine Bestimmung durchgeführt, ob eine Identifikationszahl p des spezifischen Objekts dem Pixel (i, j, p, dp, x, y, z, rd) zugeordnet ist (S510). Wenn die Identifikationszahl p zugeordnet ist (JA in S510), bestimmt die Zielobjektgruppierungseinheit 170, ob es ein anderes Pixel gibt oder nicht, dem die gleiche Identifikationszahl p in den ersten und zweiten vorbestimmten Bereichen zugeordnet ist (S512).
Wenn es ein anderes Pixel gibt, dem die gleiche Identifikationszahl p zugeordnet ist (JA in S512), bestimmt die Zielobjektgruppierungseinheit 170, ob die Zahl der Zielabschnitte in dem Zielobjekt einschließlich des anderen Pixels gleich oder größer als eine vorbestimmte Zahl ist (S514). Wenn die Zahl der Zielabschnitte in dem Zielobjekt gleich oder größer als die vorbestimmte Zahl ist (JA in S514), gruppiert die Zielobjektgruppierungseinheit 170 das Zielobjekt einschließlich des anderen Pixels zusammen mit dem Zielobjekt einschließlich des Pixels (i, j, p, dp, g, x, y, z, rd), und ersetzt die Gruppenzahl des Zielobjekts einschließlich des anderen Pixels durch die Gruppenzahl des Zielobjekts einschließlich des Pixels (i, j, p, dp, g, x, y, z, rd) (S516). Die Zielobjektgruppierungseinheit 170 leitet den repräsentativen Abstand des gruppierten Zielobjekts her und wiederholt die Prozesse ab der Bedingung von Schritt S512 (S518). Durch diese Maßnahme wird ein benachbartes Zielobjekt nicht nur in Bezug auf das als Basispunkt dienende Zielobjekt abgesucht, sondern auch in Bezug auf das gruppierte Zielobjekt.
Wenn keine Identifikationszahl p zugeordnet ist (NEIN in S510), wenn es kein Zielobjekt gibt, das der Bedingung genügt (NEIN in S512), oder wenn die Zahl der Zielabschnitte kleiner als die vorbestimmte Zahl ist (NEIN in S514), wird im Anschluss daran der Prozess in Schritt S520 ausgeführt.
Anschließend bestimmt die Zielobjektgruppierungseinheit 170, ob die horizontale Variable i gleich oder größer als 600 ist oder nicht, was der Maximalwert des horizontalen Pixels ist (S520). Wenn die horizontale Variable i kleiner als der Maximalwert ist (NEIN in S520), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S506 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S520), bestimmt die Gruppierungseinheit 166, ob die vertikale Variable j gleich oder größer als 200 ist oder nicht, was der Maximalwert des vertikalen Pixels ist (S522). Wenn die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S522), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S504 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S522), wird der Zielobjektgruppierungsprozess beendet.
(Spezifisches-Objekt-Bestimmungsprozess S310)
Wie in 14 gezeigt, initialisiert die Spezifisches-Objekt-Bestimmungseinheit 172 eine Gruppenvariable k zum Spezifizieren einer Gruppe (setzt sie auf „0”) (S552). Anschließend addiert die Spezifisches-Objekt-Bestimmungseinheit 172 „1” zu der Gruppenvariable k (S554).
Die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt, ob es ein Zielobjekt gibt oder nicht, dessen Gruppenzahl g die Gruppenvariable k von dem Luminanzbild 124 ist (S556). Wenn es ein solches Zielobjekt gibt (JA in S556), berechnet die Spezifisches-Objekt-Bestimmungseinheit 172 die Größe des Zielobjekts, dem die Gruppenzahl g gegeben worden ist (S558). Die Größe des Zielobjekts wird spezifiziert durch eine horizontale Richtungskomponente, die ein horizontaler Abstand (Differenz) zwischen dem am linken Ende angeordneten Pixel und dem am rechten Ende angeordneten Pixel ist, und eine vertikale Richtungskomponente, die eine Höhe (Differenz) zwischen dem am oberen Ende angeordneten Pixel und dem am unteren Ende angeordneten Pixel ist. Die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt, ob die berechnete Größe im Breitenbereich 204 des spezifischen Objekts enthalten ist oder nicht, das durch die Identifikationszahl p indiziert ist, die dem Zielobjekt mit der Gruppenzahl g zugeordnet ist, welche die Gruppenvariable k ist (S560). Wenn zum Beispiel die horizontale Richtungskomponente der Größe des Zielobjekts in den Breitenbereich 204 des spezifischen Objekts „Verkehrslicht (rot)” fällt, und wenn die vertikale Richtungskomponente der Größe des Zielobjekts in den Breitenbereich 204 des spezifischen Objekts „Verkehrslicht (rot)” fällt, kann die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmen, dass das Zielobjekt in dem Breitenbereich 204 des identifizierten Objekts „Verkehrslicht (rot)” enthalten ist.
Wenn die Größe innerhalb des Breitenbereichs 204 des spezifischen Objekts enthalten ist, das durch die Identifikationszahl p repräsentiert wird (JA in S560), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, dass das Zielobjekt das spezifische Objekt ist (S562). Wenn die Größe nicht innerhalb des Breitenbereichs 204 des spezifischen Objekts enthalten ist, das durch die Identifikationszahl p repräsentiert wird (NEIN in S560), oder wenn kein Zielobjekt vorhanden ist, dessen Gruppenzahl g die Gruppenvariable k ist (NEIN in S556), wird der daran anschließende Prozess in Schritt S564 durchgeführt.
Anschließend bestimmt die Spezifisches-Objekt-Bestimmungseinheit 172, ob die Gruppenvariable k gleich oder größer als der im Gruppierungsprozess gesetzte Maximalwert der Gruppenzahl ist oder nicht (S564). Wenn dann die Gruppenvariable k kleiner als der Maximalwert ist (NEIN in S564), werden die Prozesse ab dem Inkrementierungsprozess der Gruppenvariable k in Schritt S554 wiederholt. Wenn die Gruppenvariable k gleich oder größer als der Maximalwert ist (JA in S564), wird der Spezifisches-Objekt-Bestimmungsprozess beendet. Als Ergebnis werden die gruppierten Zielobjekte formell als das spezifische Objekt bestimmt.
Wie oben beschrieben, spezifiziert die Umgebungserkennungsvorrichtung 130 ein Zielobjekt, das erkannt werden sollte, als ein Zielobjekt, das basierend auf dem horizontalen Abstand x, der Höhe y und dem relativen Abstand z gruppiert werden kann, und somit kann die Genauigkeit der Spezifizierung des Zielobjekts verbessert werden, wodurch eine falsche Erkennung vermieden werden kann.
Bevor die Gruppierung basierend auf dem horizontalen Abstand x, der Höhe y und dem relativen Abstand z durchgeführt wird, werden benachbarte Pixel mit der gleichen Identifikationszahl p ohne Verwendung der Abstandsinformation gruppiert, und das Zielobjekt wird mit dem gruppierten Zielobjekt als dem Basispunkt aufgespreizt. Daher kann man das gleiche Ergebnis erhalten, durch die signifikant geringere Prozesslast im Vergleich zu dem Fall, worin Gruppierung an allen Zielabschnitten von Beginn an basierend auf dem horizontalen Abstand x, der Höhe y und dem relativen Abstand z durchgeführt wird.
Zusätzlich vorgesehen ist auch ein Programm, um zu erlauben, dass ein Computer als die Umgebungserkennungsvorrichtung 130 fungiert, sowie ein Speichermedium, wie etwa eine computerlesbare flexible Scheibe, eine magnetooptische Scheibe, ein ROM, eine CD, eine DVD, ein BD, welche das Programm speichern. Hier bedeutet das Programm eine Datenverarbeitungsfunktion, die in einer beliebigen Sprache oder einem beliebigen Deskriptionsverfahren beschrieben ist.
Während oben eine bevorzugte Ausführungsform der Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben worden ist, versteht es sich, dass die Erfindung nicht auf diese Ausführungsform beschränkt ist. Es versteht sich für den Fachkundigen, dass zahlreiche Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen.
Zum Beispiel wird in der vorliegenden Ausführungsform unter Verwendung der Mehrzahl von Bildgebungsvorrichtungen 110 die dreidimensionale Position des Zielobjekts basierend auf der Parallaxe zwischen Bilddaten hergeleitet. Jedoch ist die vorliegende Erfindung nicht auf einen solchen Fall beschränkt. Alternativ könnten zum Beispiel eine Vielzahl bekannter Abstandsmessvorrichtungen verwendet werden, wie etwa eine Laserradarabstandsmessvorrichtung. In diesem Fall emittiert die Laserradarabstandsmessvorrichtung einen Laserstrahl zum Erfassungsbereich 122, empfängt reflektiertes Licht, wenn der Laserstrahl das Objekt bestrahlt, und misst den Abstand zum Objekt basierend auf der hierfür benötigten Zeit.
In der vorliegenden Ausführungsform wird angenommen, dass die Bildgebungsvorrichtung 110 ein Farbbild erhält. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Alternativ kann auch ein monochromes Bild erhalten werden. In diesem Fall wird die Spezifisches-Objekt-Tabelle 200 durch eine einfarbige Luminanz definiert.
Die obige Ausführungsform beschreibt ein Beispiel, worin die Positionsinformationserlangungseinheit 162 das Abstandsbild (Parallaxeinformation) 126 von der Bildverarbeitungsvorrichtung 120 empfängt und die dreidimensionale Positionsinformation erzeugt. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Bildverarbeitungsvorrichtung 120 kann auch vorab die dreidimensionale Positionsinformation erzeugen, und die Positionsinformationserlangungseinheit 162 kann die erzeugte dreidimensionale Positionsinformation erhalten. Diese Funktionsverteilung kann die Prozesslast der Umgebungserkennungsvorrichtung 130 verringern.
In der obigen Ausführungsform sind die Luminanzerlangungseinheit 160, die Positionsinformationserlangungseinheit 162, die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164, die Zielabschnittgruppierungseinheit 166, die Repräsentativer-Abstand-Herleitungseinheit 168, die Spezifisches-Objekt-Bestimmungseinheit 172 und die Musterabgleicheinheit 174 so konfiguriert, dass sie von der zentralen Steuerungseinheit 154 mit Software betrieben werden. Jedoch können die Funktionseinheiten auch mit Hardware konfiguriert sein.
Die Spezifisches-Objekt-Bestimmungseinheit 172 bestimmt ein spezifisches Objekt zum Beispiel daran, ob die Größe des Zielobjekts innerhalb des Breitenbereichs 204 des spezifischen Objekts enthalten ist oder nicht. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Spezifisches-Objekt-Bestimmungseinheit 172 kann auch ein spezifisches Objekt bestimmen, wenn verschiedene andere Bedingungen ebenfalls erfüllt sind. Zum Beispiel kann das spezifische Objekt bestimmt werden, wenn ein Verhältnis, das eine Differenz in der Tiefenrichtung z zur Differenz in der Breitenrichtung x ist, oder eine Differenz in der Tiefenrichtung z zur Differenz in der Höhenrichtung y ist, in einem Zielobjekt im Wesentlichen konstant (kontinuierlich) ist, oder wenn die relative Bewegungsgeschwindigkeit in Bezug auf die Tiefenrichtung z konstant ist. Ein solches Verhältnis kann als lineare Annäherung durch die Hough-Transformation oder die Methode der kleinsten Quadrate spezifiziert werden.
Die Schritte des Umgebungserkennungsverfahrens müssen in dieser Beschreibung nicht notwendigerweise chronologisch gemäß der im Flussdiagramm beschriebenen Reihenfolge abgearbeitet werden. Die Schritte können auch parallel verarbeitet werden oder können Prozesse enthalten, welche Unterroutinen verwenden.
Die vorliegende Erfindung kann für eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren verwendet werden, um ein Zielobjekt basierend auf der Luminanz des Zielobjekts in einem Erfassungsbereich zu erkennen.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Die Umgebungserkennungsvorrichtung (130) bestimmt vorläufig ein spezifisches Objekt entsprechend einem Zielabschnitt aus einer Luminanz eines Zielabschnitts (S302), gruppiert benachbarte Zielabschnitte, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt worden sind, als Zielobjekt (S304), leitet einen repräsentativen Abstand her, der ein repräsentativer Wert des relativen Abstands von Zielabschnitten in dem Zielobjekt ist (S306), und gruppiert die Zielabschnitte als das Zielobjekt, wobei die Zielabschnitte dem gleichen spezifischen Objekt in Bezug auf das Zielobjekt und die Luminanz entsprechen, wenn eine Differenz im horizontalen Abstand von dem Zielobjekt der Zielabschnitte und eine Differenz in der Höhe von dem Zielobjekt der Zielabschnitte in einen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dem relativen Abstand und dem repräsentativen Abstand der Zielabschnitte in einen zweiten vorbestimmten Bereich fällt (S308).
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 10-283461 [0002]

Claims

Umgebungserkennungsvorrichtung, umfassend: eine Datenhalteeinheit (152), die einen Luminanzbereich in Zuordnung zu einem spezifischen Objekt speichert; eine Luminanzerlangungseinheit (160), die eine Luminanz eines Zielabschnitts in einem Erfassungsbereich eines Bilds erhält; eine Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit (164), die das spezifische Objekt entsprechend dem Zielabschnitt aus der Lumianz auf der Basis der in der Datenhalteeinheit (152) gespeicherten Zuordnung vorläufig bestimmt; eine Zielabschnittgruppierungseinheit (166), die benachbarte Zielabschnitte, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt wurden, als Zielobjekt gruppiert; eine Positionsinformationserlangungseinheit (162), die einen relativen Abstand des Zielabschnitts erhält; eine Repräsentativer-Abstand-Herleitungseinheit (168), die einen repräsentativen Abstand herleitet, der ein repräsentativer Wert des relativen Abstands jedes Zielabschnitts in dem Zielobjekt ist; und eine Zielobjektgruppierungseinheit (170), die einen anderen Zielabschnitt, von dem zu dem Zielobjekt Abstände in der horizontalen und der vertikalen Richtung jeweils in einen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dessen relativem Abstand und dem repräsentativen Abstand des Zielobjekts in einen zweiten vorbestimmten Bereich fällt, und dessen Luminanz der Luminanz des Zielobjekts entspricht, in das gleiche Zielobjekt gruppiert.
Umgebungserkennungsvorrichtung nach Anspruch 1, wobei die Zielobjektgruppierungseinheit (170) eine Mehrzahl von Zielabschnitten als Zielobjekt gruppiert, wenn die Mehrzahl von Zielabschnitten in dem ersten vorbestimmten Bereich und dem zweiten vorbestimmten Bereich einander benachbart sind, und die Anzahl der Zielabschnitte nicht kleiner als eine vorbestimmte Zahl ist.
Umgebungserkennungsvorrichtung nach Anspruch 1 oder 2, wobei die Zielobjektgruppierungseinheit (170) den relativen Abstand des Zielabschnitts, der gruppiert ist, als repräsentativen Abstand betrachtet, und ferner einen anderen Zielabschnitt, der einer Bedingung genügt, als das Zielobjekt, mit dem Zielabschnitt als Basispunkt, gruppiert.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der repräsentative Abstand ein relativer Abstand ist, der einer Spitze einer Abstandsverteilung von Zielabschnitten in dem Zielobjekt entspricht.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der repräsentative Abstand ein Mittelwert von relativen Abständen von Zielabschnitten in dem Zielobjekt ist.
Umgebungserkennungsverfahren, umfassend: Erhalten einer Luminanz eines Zielabschnitts in einem Erfassungsbereich eines Bilds; Erhalten eines relativen Abstands des Zielabschnitts; vorläufiges Bestimmen eines spezifischen Objekts entsprechend dem Zielabschnitt aus der Luminanz des Zielabschnitts auf der Basis einer Zuordnung zwischen dem Luminanzbereich und dem spezifischen Objekt (S302), wobei die Zuordnung in einer Datenhalteeinheit (152) gespeichert wird; Gruppieren von benachbarten Zielabschnitten, die vorläufig als dem gleichen spezifischen Objekt entsprechend bestimmt sind, als Zielobjekt (S304); Herleiten eines repräsentativen Abstands, der ein repräsentativer Wert des relativen Abstands der Zielabschnitte in dem Zielobjekt ist; und Gruppieren eines anderen Zielabschnitts, zwischen dem und dem Zielobjekt Differenzen in der horizontalen und der vertikalen Richtung jeweils in einen ersten vorbestimmten Bereich fallen, und eine Differenz zwischen dessen relativem Abstand und dem repräsentativen Abstand des Zielobjekts in einen zweiten vorbestimmten Bereich fällt, und dessen Luminanz der Luminanz des Zielobjekts entspricht, in das gleiche Zielobjekt (S308).