DE102012104218A1

DE102012104218A1 - Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren

Info

Publication number: DE102012104218A1
Application number: DE102012104218A
Authority: DE
Inventors: Seisuke Kasaoki
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-05-19
Filing date: 2012-05-15
Publication date: 2012-11-22
Also published as: JP2012243048A; US20120294481A1; CN102842030A; CN102842030B; US8792678B2; JP5592308B2

Abstract

Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Eine Umgebungserkennungsvorrichtung (130) erhält eine Luminanz von jedem einer Mehrzahl von Blöcken, die durch Unterteilen eines Erfassungsbereichs gebildet sind; leitet eine Randrichtung basierend auf einer Richtung her, in der sich ein Rand der Luminanz jedes Blocks erstreckt; ordnet die Blöcke basierend auf der Randrichtung einander zu, um eine Randtrajektorie zu erzeugen; gruppiert eine Region, die von der Mehrzahl von Randtrajektorien umschlossen ist, als Zielobjekt; und bestimmt das Zielobjekt als spezifisches Objekt.

Description

Die Erfindung betrifft eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren zum Erkennen eines Zielobjekts basierend auf einer Luminanz des Zielobjekts in einem Erfassungsbereich.
Es sind Technologien bekannt zum Erfassen eines Zielobjekts wie etwa ein Hindernis einschließlich eines Fahrzeugs und eines Verkehrslichts, das vor einem Subjektfahrzeug angeordnet ist, zur Durchführung einer Steuerung, um eine Kollision mit dem erfassten Zielobjekt zu vermeiden und einen Sicherheitsabstand zwischen dem Subjektfahrzeug und dem vorausfahrenden Fahrzeug einzuhalten (siehe zum Beispiel japanisches Patent Nr. 3349060 (japanische offengelegte Patentanmeldung ( JP-A) Nr. 10-283461 )).
In solchen Techniken gibt es ferner eine solche, die eine fortgeschrittenere Steuerung ausführt. Insbesondere spezifiziert diese nicht nur ein Zielobjekt gleichmäßig als massives Objekt, sondern bestimmt ferner, ob das erfasste Zielobjekt ein vorausfahrendes Fahrzeug ist, das mit der gleichen Geschwindigkeit wie das Subjektfahrzeug fährt, oder ein festes Objekt ist, das sich nicht bewegt. Wenn in diesem Fall das Zielobjekt durch Aufnehmen eines Bildes eines Erfassungsbereichs erfasst wird, ist es erforderlich, das Zielobjekt aus dem aufgenommenen Bild zu extrahieren (auszuschneiden), bevor die Art des Zielobjekts spezifiziert wird.
Zum Beispiel ist eine Technik bekannt, die ein einen Rand aufweisendes Pixel (Randpixel) aus einem aufgenommenen Bild basierend auf einem Ableitungswert zwischen benachbarten Pixeln extrahiert, ein Histogramm (Abstandsverteilung) des Randpixels in der Breitenrichtung und in der Höhenrichtung des Bilds herleitet, und eine dessen Spitze entsprechende Region als Rand eines Zielobjekts schätzt. In der JP-A Nr. 2003-99762 ist ferner eine Technik offenbart, um zu bestimmen, ob ein Zielobjekt ein Fahrzeug ist, durch Vergleich zwischen einem Fusionsmuster basierend auf einem Histogramm und einem vorab gespeicherten Dictionary-Muster.
Jedoch wird in dem herkömmlichen Verfahren zum Herleiten des Histogramms in der horizontalen Richtung und in der vertikalen Richtung ein vor einem Subjektfahrzeug vorausfahrendes Fahrzeug relativ geneigt abgebildet, und sein Rand erstreckt sich nicht exakt in der Breitenrichtung und in der Höhenrichtung, wenn die Straßenoberfläche in Bezug auf die Fahrtrichtung des Subjektfahrzeugs geneigt ist. Daher gibt es keinen Peak in dem Histogramm in der Breitenrichtung und in der Höhenrichtung, mit der Folge, dass die Erfassungsgenauigkeit eines Fahrzeugs verschlechtert ist. Ähnlich ist der Peak des Histogramms in der Breitenrichtung und in der Höhenrichtung bei einem Fahrzeug, das viele gekrümmte Oberflächen hat, nur undeutlich, mit der Folge, dass ein solches Fahrzeug nur schwer zu spezifizieren ist.
Die Erfindung ist im Hinblick auf die oben beschriebenen Umstände ausgeführt und zielt darauf ab, eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren anzugeben, welche die Effizienz und Genauigkeit des Spezifizierens eines Zielobjekts, das geneigt ist oder eine gekrümmte Form hat, verbessern können.
Zur Lösung dieser Probleme stellt ein Aspekt der Erfindung eine Umgebungserkennungsvorrichtung bereit, welche enthält: eine Luminanzerlangungseinheit, die eine Luminanz jedes Blocks erhält, der durch Unterteilen eines Erfassungsbereichs in einem Luminanzbild gebildet ist; eine Randherleitungseinheit, die eine Randrichtung basierend auf einer Richtung herleitet, in der sich ein Rand in Abhängigkeit von der Luminanz jedes Blocks erstreckt; eine Trajektorien-Erzeugungseinheit, die die Blöcke basierend auf der Randrichtung zuordnet, um eine Randtrajektorie zu erzeugen; eine Gruppierungseinheit, die von den Randtrajektorien umschlossene Regionen als Zielobjekt gruppiert; und eine Spezifisches-Objekt-Bestimmungseinheit, die das Zielobjekt als spezifisches Objekt bestimmt.
Die Randherleitungseinheit kann eine Randrichtung basierend auf einer Differenz zwischen Gesamtheiten der Luminanzen in zwei linken und rechten Regionen herleiten, die durch Unterteilen des Blocks in vertikaler Richtung gebildet sind, sowie einer Differenz zwischen Gesamtheiten der Luminanzen in zwei oberen und unteren Regionen, die durch Unterteilen des Blocks in der horizontalen Richtung gebildet sind.
Wenn der Absolutwert der Differenz zwischen Gesamtheiten einer Richtung nicht größer als ein vorbestimmter Schwellenwert ist, kann die Randherleitungseinheit die Randrichtung herleiten, ohne die Differenz zwischen Gesamtheiten der Richtung zu benutzen.
Der vorbestimmte Schwellenwert kann durch eine zunehmende Funktion gemäß einem Mittelwert aller Luminanzen in dem Block erhalten werden.
Die Trajektorien-Erzeugungseinheit kann eine Randrichtung eines beliebigen Blocks basierend auf der Randrichtung jedes Blocks, der dem beliebigen Block benachbart ist, interpolieren.
Die Umgebungserkennungsvorrichtung kann ferner eine Regionbegrenzungseinheit enthalten, die eine Region, von der eine Luminanz durch die Luminanzerlangungseinheit erhalten werden soll, zu einer Region, die einen Unendlichkeitspunkt enthält und kleiner als der Erfassungsbereich ist, begrenzt.
Zur Lösung der obigen Aufgabe wird gemäß einem weiteren Aspekt der Erfindung ein Umgebungserkennungsverfahren angegeben, welches enthält: Erhalten einer Luminanz jedes Blocks, der durch Unterteilen eines Erfassungsbereichs in einem Luminanzbild gebildet ist; Herleiten einer Randrichtung basierend auf einer Richtung, in der sich ein Rand in Abhängigkeit von der Luminanz jedes Blocks erstreckt; Zuordnen der Blöcke basierend auf der Randrichtung, um eine Randtrajektorie zu erzeugen; Gruppieren von Regionen, die von den Randtrajektorien umschlossen sind, als Zielobjekt; und Bestimmen des Zielobjekts als spezifisches Objekt.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der beigefügten Figuren erläutert.
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem darstellt;
2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds;
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung darstellt;
4 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation, welche von einer Positionsinformationserlangungseinheit durchgeführt wird;
5A und 5B sind beispielhafte Darstellungen zur Erläuterung eines Betriebs einer Regionbegrenzungseinheit;
6A und 6B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds zur Verwendung einer Ausführungsform der Erfindung;
7A bis 7G sind beispielhafte Darstellungen zur Erläuterung eines Betriebs einer Randherleitungseinheit;
8 ist ein konzeptionelles Diagramm, welches den Fall darstellt, wo eine Randrichtung von der Randherleitungseinheit hergeleitet wird;
9 ist eine beispielhafte Darstellung zur Erläuterung eines Betriebs einer Trajektorien-Erzeugungseinheit;
10A bis 10C sind beispielhafte Diagramme zur Erläuterung einer Interpolationsoperation, welche von der Trajektorien-Erzeugungseinheit ausgeführt wird;
11 ist eine beispielhafte Darstellung zur Erläuterung eines Betriebs einer Gruppierungseinheit;
12 ist ein Flussdiagramm, das einen Gesamtfluss eines Umgebungserkennungsverfahrens darstellt;
13 ist ein Flussdiagramm, das einen Ablauf eines Randrichtungsherleitungsprozesses darstellt;
14 ist ein Flussdiagramm, das einen Ablauf des Randtrajektorien-Erzeugungsprozesses darstellt;
15 ist ein Flussdiagramm, das einen Ablauf eines Randtrajektorien-Interpolationsprozesses darstellt;
16 ist ein Flussdiagramm, das einen Ablauf des Gruppierungsprozesses darstellt; und
17 ist ein Flussdiagramm, das einen Ablauf des Spezifisches-Objekt-Bestimmungsprozesses darstellt.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung im Detail in Bezug auf die beigefügten Zeichnungen beschrieben. Die Größen, Materialien und andere spezifische numerische Werte, die in der Ausführungsform gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der Erfindung, und solange nicht anderweitig spezifiziert, schränken sie die Erfindung nicht ein. In der Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleichen Funktionen und Konfigurationen haben, mit den gleichen Bezugszahlen versehen, und eine wiederholte Erläuterung davon wird weggelassen. Elemente, die sich nicht direkt auf die Erfindung beziehen, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält Bildaufnahmevorrichtungen 110, eine Bildverarbeitungsvorrichtung 120, eine Umgebungserkennungsvorrichtung 130 sowie eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 vorgesehen sind.
Die Bildaufnahmevorrichtungen 110 enthalten ein Bildgebungselement wie etwa eine CCD (ladungsgekoppelte Vorrichtung) oder ein CMOS (komplementärer Metalloxid-Halbleiter) und können ein Farbbild erhalten, das heißt, Luminanzen von drei Farbphasen (rot, grün, blau) pro Pixel. In diesem Fall wird ein von den Bildaufnahmevorrichtungen 110 aufgenommenes Farbbild als Luminanzbild bezeichnet, und unterscheidet sich von einem Abstandsbild, das später erläutert wird. Die Bildaufnahmevorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zur Fahrtrichtung des Fahrzeugs 1 sind. Die Bildaufnahmevorrichtung 110 erzeugt kontinuierlich Bilddaten, die sie durch Aufnehmen eines Bilds eines Zielobjekts erhält, das sich in einem Erfassungsbereich vor dem Fahrzeug 1 befindet, zum Beispiel bei jeder 1/60 Sekunde (60 fps). In diesem Fall braucht das Zielobjekt kein unabhängiges dreidimensionales Objekt wie etwa ein Fahrzeug sein, ein Verkehrslicht, eine Straße oder eine Leitplanke, sondern kann auch ein beleuchteter Abschnitt wie etwa eine Heckleuchte, ein Abbiegesignal, ein Verkehrslicht sein, die als Abschnitt eines dreidimensionalen Objekts spezifiziert werden können. Jede später beschriebene Funktionseinheit in der Ausführungsform führt in Antwort auf die Aktualisierung solcher Bilddaten einen Prozess aus.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und leitet, basierend auf zwei Bilddatensätzen, Parallaxeinformation ab, die eine Parallaxe jedes Blocks (eines Satzes einer vorbestimmten Anzahl von Pixeln) in dem Bild enthält, sowie eine Position, die eine Position jedes Blocks in dem Bild repräsentiert. Insbesondere leitet die Bildverarbeitungsvorrichtung 120 eine Parallaxe mittels eines sogenannten Pattern Matchings, das heißt Musterabgleich oder Mustererkennung, her, der einen Block in einem der Bilddatenteile entsprechend dem Block, der optional aus dem anderen Bilddatenteil extrahiert wird, sucht. Der Block ist zum Beispiel ein Array oder Feld, das vier Pixel in der horizontalen Richtung und vier Pixel in der vertikalen Richtung enthält. In dieser Ausführungsform bedeutet die horizontale Richtung eine horizontale Richtung für das aufgenommene Bild, und entspricht der Breitenrichtung in der realen Welt. Andererseits bedeutet die vertikale Richtung eine vertikale Richtung für das aufgenommene Bild und entspricht der Höhenrichtung in der realen Welt.
Ein Weg zur Durchführung eines Musterabgleichs ist es, Luminanzwerte (Y-Farbdifferenz-Signale) zwischen zwei Bilddaten durch den Block, der eine beliebige Bildposition angibt, zu vergleichen. Beispiele enthalten eine SAD (Summe der absoluten Differenz), die eine Differenz von Luminanzwerten erhält, eine SSD (Summe der quadratischen Intensitätsdifferenz), die eine Differenz quadriert, und eine NCC (normalisierte Kreuzkorrelation), die einen Ähnlichkeitsgrad von Verteilungswerten verwendet, die durch Subtrahieren eines mittleren Luminanzwerts von einem Luminanzwert jedes Pixels erhalten werden. Die Bildverarbeitungsvorrichtung 120 führt einen solchen Parallaxen-Herleitungsprozess an allen Blöcken durch, die in dem Erfassungsbereich erscheinen (zum Beispiel 600 Pixel×200 Pixel). In diesem Fall sei angenommen, dass der Block 4 Pixel×4 Pixel enthält, wobei aber die Anzahl von Pixeln in dem Block auf jeden beliebigen Wert gesetzt werden kann.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als Erfassungsauflösungseinheit dient, ist es unmöglich zu erkennen, zu welcher Art von Zielobjekt der Block gehört. Daher wird die Parallaxeinformation nicht von dem Zielobjekt hergeleitet, sondern wird unabhängig von der Auflösung (zum Beispiel pro Block) in dem Erfassungsbereich hergeleitet. In dieser Ausführungsform wird ein Bild, das durch Zuordnen der so erlangten Parallaxeinformation (entsprechend einem später beschriebenen relativen Abstand) zu Bilddaten erhalten wird, als Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, wie in 2A gezeigt, in Bezug auf einen Erfassungsbereich 122 durch die beiden Bildaufnahmevorrichtungen 110 erzeugt wird. Hier ist zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch gezeigt. Die Bildverarbeitungsvorrichtung 120 erhält eine Parallaxe für jeden Block aus diesem Luminanzbild 124 und erzeugt das Abstandsbild 126, wie in 2B gezeigt. Jedem Block des Abstandsbilds 126 ist eine Parallaxe des Blocks zugeordnet. In der Zeichnung ist zur Erläuterung ein Block, von dem eine Parallaxe hergeleitet wird, durch einen schwarzen Punkt angegeben.
Die Parallaxe kann leicht am Randabschnitt (einem Abschnitt, wo ein Kontrast zwischen benachbarten Pixeln vorhanden ist) der Objekte spezifiziert werden, und daher wird der Block, von dem die Parallaxe hergeleitet wird, und der in dem Abstandsbild 126 mit schwarzen Punkten markiert ist, wahrscheinlich auch ein Rand in dem Luminanzbild 124 sein. Daher sind das in 2A gezeigte Luminanzbild 124 und das in 2B gezeigte Abstandsbild 126 im Hinblick auf den Umriss jedes Zielobjekts ähnlich.
Die Umgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 von der Bildverarbeitungsvorrichtung 120 und extrahiert ein Zielobjekt in dem Erfassungsbereich 122 basierend auf einem Rand der Luminanzen in dem Luminanzbild 124, um zu bestimmen, welchem spezifischen Objekt das Zielobjekt in dem Erfassungsbereich entspricht. Die Umgebungserkennungsvorrichtung 130 erhält ebenfalls das Abstandsbild von der Bildverarbeitungsvorrichtung 120 und wandelt durch ein sogenanntes Stereoverfahren die Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines relativen Abstands um. Das Stereoverfahren ist ein Verfahren mittels einer Triangulationsmethode zum Erhalt eines relativen Abstands eines Zielobjekts in Bezug auf die Bildaufnahmevorrichtung 110 aus der Parallaxe des Zielobjekts. Die Umgebungserkennungsvorrichtung 130 wird im Detail später erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet eine Kollision mit dem Zielobjekt, das von der Umgebungserkennungsvorrichtung 130 spezifiziert worden ist, und führt eine Steuerung durch, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Insbesondere hält die Fahrzeugsteuerungsvorrichtung 140 einen gegenwärtigen Fahrtzustand des Fahrzeugs 1 basierend zum Beispiel auf einem Lenkwinkelsensor 142 zum Erfassen eines Lenkwinkels, und einem Fahrzeuggeschwindigkeitssensor 144 zum Erfassen einer Geschwindigkeit des Fahrzeugs 1, um hierdurch einen Aktuator 146 anzusteuern, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Der Aktuator 146 ist ein Betätigungselement zur Fahrzeugsteuerung, das zum Steuern oder Regeln einer Bremse, eines Drosselventils, eines Lenkwinkels und dergleichen verwendet wird. Wenn eine Kollision mit einem Zielobjekt zu erwarten ist, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Meldung) der erwarteten Kollision auf einem Display 148 an, das vor einem Fahrer vorgesehen ist, und steuert den Aktuator 146 an, um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugsteuerungsvorrichtung 140 kann auch mit der Umgebungserkennungsvorrichtung 130 integriert sein.
(Umgebungserkennungsvorrichtung 130)
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung 130 darstellt. Wie in 3 gezeigt, enthält die Umgebungserkennungsvorrichtung 130 eine I/F-Einheit 150, eine Datenhalteeinheit 152 sowie eine zentrale Steuerungseinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die Datenhalteeinheit 152 ist zum Beispiel durch ein RAM, einen Flashspeicher, eine HDD und dergleichen gebildet und speichert eine Mehrzahl von Umrissmustern für den Musterabgleich und verschiedene Informationsarten, die für die Bearbeitung durch jede der nachfolgend erläuterten Funktionseinheiten benötigt wird. Darüber hinaus erhält oder speichert die Datenhalteeinheit 152 vorübergehend das Luminanzbild 124, das sie von der Bildverarbeitungsvorrichtung 120 erhalten hat.
Die zentrale Steuerungseinheit 154 ist gebildet aus einer integrierten Halbleiter-Schaltung, die zum Beispiel eine zentrale Prozessoreinheit (CPU), ein ROM, das ein Programm oder dergleichen speichert, und ein RAM, das als Arbeitsfläche dient, enthält, und steuert die I/F-Einheit 150 und die Datenhalteeinheit 152 durch einen Systembus 156. In der vorliegenden Ausführungsform fungiert die zentrale Steuerungseinheit 154 auch als Positionsinformationserlangungseinheit 158, als Regionbegrenzungseinheit 160, als Luminanzerlangungseinheit 162, als Randherleitungseinheit 164, als Trajektorien-Erzeugungseinheit 166, als Gruppierungseinheit 168 und als Spezifisches-Objekt-Bestimmungseinheit 170.
Die Positionsinformationerlangungseinheit 158 verwendet das Stereoverfahren zum Umwandeln von Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich der Breitenrichtung x, der Höhenrichtung y und der Tiefenrichtung z. Die Parallaxeinformation repräsentiert eine Parallaxe jedes Zielabschnitts des Abstandsbilds 126, wohingegen die dreidimensionale Positionsinformation Information über den relativen Abstand jedes Zielabschnitts in der realen Welt repräsentiert. Wenn die Parallaxeinformation nicht pro Pixel hergeleitet wird, sondern pro Block hergeleitet wird, kann eine Berechnung in Pixeleinheiten ausgeführt werden, wobei die Parallaxeinformation als solche über sämtliche Pixel, die zu einem Block gehören, betrachtet wird.
4 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation durch die Positionsinformationserlangungseinheit 158. Zunächst behandelt die Positionsinformationserlangungseinheit 158 das Abstandsbild 126 als Koordinatensystem in einer Pixeleinheit, wie in 4 gezeigt. In 4 dient die linke untere Ecke als Ursprung (0,0). Die horizontale Richtung dient als i-Koordinatenachse und die vertikale Richtung als j-Koordinatenachse. Daher kann ein Pixel mit einer Parallaxe dp unter Verwendung einer Pixelposition i, j und der Parallaxe dp als (i, j, dp) repräsentiert werden.
Das dreidimensionale Koordinatensystem in der realen Welt wird gemäß der Ausführungsform anhand eines relativen Koordinatensystems betrachtet, worin das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite der Bewegungsrichtung des Fahrzeugs 1 ist als positive Richtung der X-Achse bezeichnet, die obere Seite des Fahrzeugs 1 als positive Richtung der Y-Achse bezeichnet, die Bewegungsrichtung des Fahrzeugs 1 (zur Vorderseite) als positive Richtung der Z-Achse bezeichnet, und der Schnittpunkt zwischen der Straßenoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildaufnahmevorrichtungen 110 durchgeht, ist als Ursprung (0, 0, 0) bezeichnet. Wenn man die Straße als flache Ebene annimmt, fällt die Straßenoberfläche mit der X-Z-Ebene (y = 0) zusammen. Die Positionsinformationserlangungseinheit 158 verwendet die unten gezeigten Formeln 1 bis 3 zum Umwandeln der Koordinate des Pixels (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt. x = CD/2 + z·PW·(i – IV) (Formel 1) y = CH + z·PW·(j – JV) (Formel 2) z = KS/dp (Formel 3)
Hier bezeichnet CD ein Intervall (Grundlinienlänge) zwischen den Bildaufnahmevorrichtungen 110, PW bezeichnet einen entsprechenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, den sogenannten Blickwinkel pro Pixel, CH bezeichnet eine Höhe der Bildaufnahmevorrichtung 110 von der Straßenoberfläche, IV und JV bezeichnen Koordinaten (Pixel) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1, und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Dementsprechend leitet die Positionsinformationserlangungseinheit 158 die Höhe von der Straßenoberfläche auf der Basis des relativen Abstands des Zielabschnitts und des Erfassungsabstands in dem Abstandsbild 126 zwischen einem Punkt auf der Straßenoberfläche, der am gleichen relativen Abstand wie der Zielabschnitt angeordnet ist, und dem Zielabschnitt her.
Die Regionbegrenzungseinheit 160 begrenzt eine Region, von der die später beschriebene Luminanzerlangungseinheit 162 Luminanzen erhält, auf eine Region, die kleiner ist als der Erfassungsbereich 122 und einen Unendlichkeitspunkt enthält.
5A und 5B sind beispielhafte Darstellungen zur Erläuterung eines Betriebs der Regionbegrenzungseinheit 160. Wenn ein relativer Abstand von einem vorausfahrenden Fahrzeug 210, der durch die Positionsinformationserlangungseinheit 158 erhalten wird, kurz ist, wie in 5A dargestellt, setzt die Regionbegrenzungseinheit 160 eine Region 212a zum Erhalt von Luminanzen auf groß, um das vorausfahrende Fahrzeug 210 richtig zu extrahieren. Wenn der relative Abstand von dem vorausfahrenden Fahrzeug 210 lang ist, wie in 5B dargestellt, setzt die Regionbegrenzungseinheit 160 eine Region 212b zum Erhalt von Luminanzen auf klein, um nur das vorausfahrende Fahrzeug 210 zu extrahieren. Beide Regionen 212a und 212b enthalten einen Unendlichkeitspunkt 214 und sind gemäß dem relativen Abstand zu dem vorausfahrenden Fahrzeug 210 definiert, so dass sie breiter strahlen, wenn der relative Abstand kürzer wird. Da der Bereich 212 (212a oder 212b) zum Erhalt von Luminanzen gemäß dem relativen Abstand von dem vorausfahrenden Fahrzeug 210 gesetzt wird, lässt sich vermeiden, dass man unnötige Luminanzen erhält, wodurch die Rechenlast verringert werden kann.
Die Luminanzerlangungseinheit 162 erhält Luminanzen pro Block (2×2 Pixel in der vorliegenden Ausführungsform) (Luminanzen von drei Farbphasen (rot, grün und blau) pro Pixel) von der Region 212a oder 212b, die durch die Regionbegrenzungseinheit 160 in dem empfangenen Luminanzbild 124 begrenzt ist. Wenn zum Beispiel der Erfassungsbereich verregnet oder wolkig ist, kann die Luminanzerlangungseinheit 162 die Luminanzen nach Einstellung des Weißabgleichs erhalten.
In der vorliegenden Ausführungsform wird ein Rand der von der Luminanzerlangungseinheit 162 erhaltenen Luminanzen effektiv dazu genutzt, um ein Zielobjekt zu extrahieren. Dies dient zum Einhalten der Genauigkeit der Spezifizierung eines Zielobjekts, auch dann, wenn die Straßenoberfläche in Bezug auf die Fahrtrichtung des Fahrzeugs 1 geneigt ist, wie in 6A dargestellt, wodurch ein Bild des vorausfahrenden Fahrzeugs 210 relativ auf einer Neigung aufgenommen wird, und sich dieser Rand nicht in der horizontalen Richtung und in der vertikalen Richtung erstreckt. Zur einfacheren Beschreibung wird nachfolgend 6B verwendet, die ein vereinfachter Umriss des vorausfahrenden Fahrzeugs 210 in dem begrenzten Bereich 212 in 6A ist.
Die Randherleitungseinheit 164 leitet eine Randrichtung basierend auf einer Richtung her, in der sich der Rand der Luminanzen jedes Blocks erstreckt. Insbesondere leitet die Randherleitungseinheit 164 die Randrichtung basierend auf einer Differenz zwischen Gesamtheiten der Luminanzen in zwei linken und rechten Regionen her, die durch Unterteilen eines Blocks (hier 2×2 Pixel) in der vertikalen Richtung gebildet sind (nachfolgend einfach als horizontale Richtungskomponente bezeichnet), und einer Differenz zwischen Gesamtheiten der Luminanzen in zwei oberen und unteren Regionen, die durch Unterteilen des Blocks in der horizontalen Richtung gebildet sind (nachfolgend einfach als vertikale Richtungskomponente bezeichnet).
Die 7A bis 7G sind beispielhafte Darstellungen zur Erläuterung eines Betriebs einer Randherleitungseinheit 164. 7A stellt ein vereinfachtes vorausfahrendes Fahrzeug 210 in dem begrenzten Bereich 212 dar, wie es in 6B gezeigt ist. Es wird angenommen, dass eine Luminanzverteilung in 7B durch Vergrößern eines beliebigen Blocks 220a im Bereich 212 erhalten wird, während eine Luminanzverteilung in 7C durch Vergrößern eines beliebigen anderen Blocks 220b erhalten wird. Es wird ferner angenommen, dass in 7B der Luminanzbereich auf 0 bis 255 gesetzt ist, wobei ein „weißer” Bereich der Luminanz „200” entspricht, und ein „schwarzer” Bereich der Luminanz „0” entspricht. In der vorliegenden Beschreibung wird die Luminanz des oberen linken Pixels des Blocks als A bezeichnet, die Luminanz des oberen rechten Pixels als B, die Luminanz des unteren linken Pixels als C, und die Luminanz des unteren rechten Pixels als D. Ferner ist die horizontale Richtungskomponente der Randrichtung definiert als (A + B) – (C + D), und die vertikale Richtungskomponente der Randrichtung definiert als (A + C) – (B + D).
Dementsprechend wird die horizontale Richtungskomponente der Randrichtung des Blocks 220a, wie in 7B dargestellt, berechnet als (A + B) – (C + D) = (200 + 0) – (200 + 0) = 0, während die vertikale Richtungskomponente der Randrichtung davon als (A + C) – (B + D) = (200 + 200) – (0 + 0) = +400 berechnet wird. Da die horizontale Richtungskomponente „0” ist und die vertikale Richtungskomponente „+400” ist, wird die Randrichtung durch einen in der vertikalen Richtung nach oben weisenden Pfeil so angegeben wie in 7D dargestellt. Es ist anzumerken, dass die horizontale Richtungskomponente derart definiert ist, dass die Komponente rechts im Bild positiv ist, während die vertikale Richtungskomponente derart definiert ist, dass die obere Richtung am Bild positiv ist, wie in 7F dargestellt.
Ähnlich wird die horizontale Richtungskomponente der Randrichtung des Blocks 220b, wie in 7C dargestellt, berechnet als (A + B) – (C + D) = (0 + 0) – (200 + 200) = –400, während die vertikale Richtungskomponente der Randrichtung davon als (A + C) – (B + D) = (0 + 200) – (0 + 200) = 0 berechnet wird. Da die horizontale Richtungskomponente „–400” ist und die vertikale Richtungskomponente „0” ist, ist die Randrichtung durch einen horizontal nach links weisenden Pfeil angegeben, wie in 7E dargestellt.
Die oben beschriebene Konfiguration, worin eine halbe Region von der anderen halben Region in dem Block subtrahiert wird, kann Offset und Rauschen der Luminanz beseitigen, die im gesamten Block enthalten sind, wodurch der Rand richtig extrahiert werden kann. Die Randrichtung kann mit einer einfachen Berechnung hergeleitet werden, welche nur Addition und Subtraktion enthält, wodurch die Rechenlast gering ist.
Die vorliegende Ausführungsform hat zum Ziel, die Ähnlichkeit zwischen benachbarten Blöcken in der so hergeleiteten Randrichtung zu bestimmen, um diese Blöcke einander zuzuordnen. Jedoch gibt es in dem Fall, wo der hergeleitete Wert der horizontalen Richtungskomponente oder der hergeleitete Wert der vertikalen Richtungskomponente einfach als die Randrichtung verwendet wird, eine unbegrenzte Anzahl von Variationen in der Randrichtung. Dann ist es notwendig, für die unbegrenzte Anzahl von Variationen einen Randrichtungsbereich zu setzen, worin Variationen als gleich betrachtet werden können. Daher werden in der vorliegenden Ausführungsform die horizontale Richtungskomponente und die vertikale Richtungskomponente mit einer Längeneinheit definiert, um Variationen in der Randrichtung zu vereinfachen. Insbesondere können die horizontale Richtungskomponente und die vertikale Richtungskomponente beide als eines von –1, 0 und +1 betrachtet werden. Durch diese Maßnahme kann die Randrichtung auf neun Zustände beschränkt werden, die acht Richtungen jeweils um 45° einschließen, und einen Zustand ohne Richtung, wo die horizontale Richtungskomponente und die vertikale Richtungskomponente beide 0 sind, wie in 7G dargestellt. Diese Konfiguration kann die Rechenlast der später beschriebenen Trajektorien-Erzeugungseinheit 166 dramatisch reduzieren.
Eine an jeder Richtung in 7G angegebene Zahl bezeichnet eine Prioritätsreihenfolge (in aufsteigender Folge) für jede Randrichtung. Wenn eine Mehrzahl von Randrichtungen für einen Block 220 gewählt werden kann, wird die Randrichtung mit der höchsten Priorität als die Randrichtung des Blocks 220 definiert.
Gemäß dieser vereinfachten Herleitung haben alle Fälle, worin die horizontalen Richtungskomponenten und die vertikalen Richtungskomponenten nicht 0 sind, eine Einheitslänge. Obwohl zum Beispiel die Differenz in der Luminanz nur 2 ist, zwischen dem Fall, wo die horizontale Richtungskomponente im Hinblick auf die Luminanz –1 ist und dem Fall, wo die horizontale Richtungskomponente im Hinblick auf die Luminanz +1 ist, wird das entgegengesetzte Ergebnis als die Randrichtung erzeugt.
Im Hinblick hierauf wird zum Herleiten der Randrichtung eine Totzone ausgebildet. Wenn ein Absolutwert der horizontalen Richtungskomponente oder der vertikalen Richtungskomponente nicht größer als ein Schwellenwert ist (zum Beispiel 20), leitet die Randherleitungseinheit 164 die Randrichtung, in Bezug auf die horizontale Richtungskomponente und die vertikale Richtungskomponente, als 0 ab. Dies kann vermeiden, dass die Randrichtung aufgrund einer horizontalen Richtungskomponente oder einer vertikalen Richtungskomponente, die durch Rauschen verursacht werden, instabil wird, wodurch die später beschriebene Trajektorien-Erzeugungseinheit 166 auf stabile Weise ein gültiges Ergebnis erhalten kann.
In der vorliegenden Ausführungsform wird ein Festwert als der vorbestimmte Schwellenwert verwendet. Jedoch kann der vorbestimmte Schwellenwert auch variabel sein. Zum Beispiel hat die Bildaufnahmevorrichtung 110 eine derartige Charakteristik, dass die Menge an Rauschen zunimmt, wenn die Luminanz höher wird. Daher wird der vorbestimmte Schwellenwert bevorzugt durch eine Zunahmefunktion gemäß der Luminanz in dem Block erhalten, zum Beispiel ein Mittelwert der gesamten Luminanz in dem Block (zum Beispiel eine lineare Funktion, wobei der Mittelwert der Luminanzen als Argument definiert wird). Dies kann vermeiden, dass die Randrichtung aufgrund von Rauschen instabil wird, unabhängig von der Fluktuation in dem Rauschbetrag, gemäß davon, ob die gesamte Luminanz in dem Block hoch oder niedrig ist. Wenn die gesamte Luminanz hoch ist, wird auch der vorbestimmte Schwellenwert hoch gesetzt. Jedoch ist dies kein Problem zur stabilen Herleitung der Randrichtung, weil die horizontale Richtungskomponente und die vertikale Richtungskomponente in einem Hochluminanzbereich ebenfalls zunehmen.
8 ist ein Konzeptdiagramm, das den Fall darstellt, wo von der Randherleitungseinheit 164 eine Randrichtung hergeleitet wird. Die Randrichtungen (in 8 mit Pfeilen angegeben) werden entlang Abschnitten hergeleitet, die dem Umriss des vorausfahrenden Fahrzeugs 210 in 7A entsprechen. Zum leichteren Verständnis werden die Randrichtungen abstrakt groß dargestellt. Jedoch wird die Randrichtung tatsächlich für jeden Block hergeleitet.
In der vorliegenden Ausführungsform wird eine gleiche Randrichtung für jede Seite des Umrisses hergeleitet. Jedoch kann in Abhängigkeit von der Bildaufnahmebedingung der Rand an benachbarten Positionen doppelt erfasst werden, oder der Rand könnte teilweise nicht erfasst werden. Wenn der Rand an benachbarten Positionen doppelt erfasst wird, wird basierend auf der Prioritätsfolge in 7G eine Randrichtung bestimmt. Wenn der Rand teilweise nicht erfasst werden kann, führt die später beschriebene Trajektorien-Erzeugungseinheit 166 eine Interpolation für den Block durch.
Die Trajektorien-Erzeugungseinheit 166 ordnet, basierend auf einer von der Randrichtungsherleitungseinheit 164 hergeleiteten Randrichtung, Blöcke einander zu, um hierdurch eine Randtrajektorie zu erzeugen. Insbesondere vergleicht die Trajektorien-Erzeugungseinheit 166 benachbarte Blöcke. Wenn sie die gleiche Randrichtung haben, ordnet die Trajektorien-Erzeugungseinheit 166 die Blöcke einander zu. Im Ergebnis wird eine Randtrajektorie 222, die den Umriss des vorausfahrenden Fahrzeugs 210 repräsentiert, so ausgebildet, wie in 9 dargestellt. In der vorliegenden Ausführungsform wird kein Histogramm (Abstandsverteilung) der Randpixel in der horizontalen Richtung oder in der vertikalen Richtung hergeleitet, sondern es wird die durch den Rand gebildete Trajektorie fokussiert. Selbst wenn daher die Richtung, in der sich der Rand erstreckt, in Bezug auf die horizontale Richtung oder die vertikale Richtung geneigt ist, oder wenn der Rand eine Krümmung hat, kann die Trajektorie des Rands geeignet hergeleitet werden.
Das äußere Erscheinungsbild des Zielobjekts kann durch das Erzeugen der Randtrajektorie 222, wie oben beschrieben, angenähert wiedergegeben werden. Jedoch könnte aufgrund von Umgebungslicht wie etwa Sonnenlicht oder künstlichem Licht, oder aufgrund von Nebel oder Beschlag auf einer Windschutzscheibe der Rand teilweise unterschiedlich sein, oder könnte der Rand verloren gehen. Im Hinblick hierauf interpoliert die Trajektorien-Erzeugungseinheit 166 eine Randrichtung eines beliebigen Blocks basierend auf der Randrichtung einer Mehrzahl von Blöcken, die dem beliebigen Block benachbart sind. Insbesondere, wenn zwei Randtrajektorien 222, die dem beliebigen Block benachbart sind, die gleiche Randrichtung haben, schreibt die Trajektorien-Erzeugungseinheit 166 die Randrichtung der zwei Randtrajektorien 222 an der Randrichtung des beliebigen Blocks neu, um hierdurch eine lange Randtrajektorie zu bilden, die den beliebigen Block enthält.
Die 10A bis 10C sind beispielhafte Diagramme zur Erläuterung einer Interpolationsoperation, die von der Trajektorien-Erzeugungseinheit 166 durchgeführt wird. Zum Beispiel wird angenommen, dass die Randherleitungseinheit 164 die in 10A dargestellten Randrichtungen in einer Mehrzahl von Blöcken 220 (220a bis 220f) herleitet, die so angeordnet sind, wie in 10A dargestellt. Aus dem gleichen Grund hat in der Zeichnung der Block 220d keine Kontinuität mit den anderen Blöcken 220a, 220b, 220c, 220e und 220f.
Da die Randrichtungen der Blöcke 220a, 220b und 220c in 10A gleich sind, ordnet die Trajektorien-Erzeugungseinheit 166 diese drei Blöcke 220a, 220b und 220c zu, um eine Randtrajektorie 222a zu erzeugen, wie in 10B dargestellt. Da ferner die Randrichtungen der Blöcke 220e und 220f gleich sind, ordnet die Trajektorien-Erzeugungseinheit 166 diese zwei Blöcke 220e und 220f zu, um eine Randtrajektorie 222b zu erzeugen, wie in 10B dargestellt.
Dann sucht die Trajektorien-Erzeugungseinheit 166 nach Blöcken, die dem Block 220d benachbart sind, und die nicht zum Erzeugen der Randtrajektorie 222 verwendet werden, und bestimmt, ob es eine Mehrzahl von Randtrajektorien 222 gibt. Wenn es eine Mehrzahl von Randtrajektorien gibt (zum Beispiel die Randtrajektorien 222a und 222b), und die Mehrzahl von Randtrajektorien 222 die gleiche Randrichtung haben (zum Beispiel Aufwärtsrichtung an dem Bild), ändert die Trajektorien-Erzeugungseinheit 166 die Randrichtung des Blocks 220d zu der gleichen Randrichtung wie jener der Randtrajektorien 222a und 222b, wie in 10C dargestellt. Die Trajektorien-Erzeugungseinheit 166 erzeugt dann neuerlich eine Serie von Randtrajektorien 222c, welche den Block 220d enthalten.
Wenn es für einen der Blöcke 220 zwei Typen von Randtrajektorien (zwei Typen von Randrichtungen) gibt, kann nur eine Randrichtung gemäß der Prioritätsfolge gewählt werden, wie in 7G dargestellt. Der Fall, wo zwei Typen von Randtrajektorien vorhanden sind, bedeutet zum Beispiel den Fall, worin es eine Randtrajektorie 222 gibt, die die gleiche Randrichtung von den Blöcken über und unter einem der Blöcke 220 hat, und es eine Randtrajektorie 222 gibt, die eine Randrichtung hat, die sich von der Randrichtung der Blöcke über und unter dem einen der Blöcke 220 in den Blöcken rechts und links des einen der Blöcke 220 unterscheidet.
In der vorliegenden Ausführungsform wird die Interpolation der Randrichtung durch Verwendung von nur der Randrichtung ausgeführt. Jedoch könnte die Trajektorien-Erzeugungseinheit 166 auch konfiguriert sein, um zu bestimmen, ob die Interpolation im Hinblick auf einen Parameter durchgeführt werden sollte, der zum Beispiel mit einem Differenzwert (Randintensität) der Gesamtheiten der Luminanzen involviert ist, entsprechend der horizontalen Richtungskomponente oder der vertikalen Richtungskomponente, in einem der oben erwähnten Blöcke 220. Mit dieser Konfiguration kann nicht nur die Kontinuität in der Randrichtung, sondern auch die Kontinuität in der Randintensität für einen Block oder für eine Randrichtung bestimmt werden, wodurch eine hochpräzise Interpolation realisiert werden kann.
Die Gruppierungseinheit 168 gruppiert Regionen, die von einer Mehrzahl von Randtrajektorien 222 umschlossen sind, als Zielobjekt.
11 ist eine beispielhafte Darstellung zur Erläuterung einer Operation der Gruppierungseinheit 168. Die Gruppierungseinheit 168 extrahiert Randtrajektorien 222 aus einem begrenzten Bereich 212 und kombiniert gegenüberliegende Randtrajektorien 222. Zum Beispiel kombiniert die Gruppierungseinheit 168 eine Randtrajektorie (1) und eine Randtrajektorie (2), wie in 11 mit durchgehender Linie angegeben, und kombiniert eine Randtrajektorie (3) und eine Randtrajektorie (4), wie mit unterbrochener Linie angegeben. Die Gruppierungseinheit 168 definiert eine Region, die in gegenüberliegenden Randtrajektorien 222 enthalten ist, als Zielobjekt. Dementsprechend wird in diesem Fall ein rechteckiges Zielobjekt, das durch die parallelen Randtrajektorien (1) und (2) und die parallelen Randtrajektorien (3) und (4) definiert ist, extrahiert.
Gegenüberliegende Randtrajektorien werden als parallel bestimmt, wenn die Steigungen der angenäherten Kurven (angenähert gerade Linien) der Randtrajektorien 222 gleich sind, oder wenn, in einigen Fällen, die Länge eines Segments, das vertikal zur Randtrajektorie ist, in den Randtrajektorien 222 konstant ist.
Wenn die Gruppierungseinheit 168 bestimmt, dass das gruppierte Zielobjekt in Bezug auf die horizontale Richtung geneigt ist, kann sie eine affine Transformation an dem Zielobjekt durchführen, um dessen Koordinaten für den später beschriebenen Musterabgleich umzuwandeln. Ein Winkel einer beliebigen Randtrajektorie 222 von der horizontalen Linie oder von der vertikalen Linie kann als Konversionswinkel verwendet werden, der für die affine Transformation verwendet wird. Wenn es eine Mehrzahl von Randtrajektorien 222 gibt, können Winkel von der horizontalen Linie oder von der vertikalen Linie für eine Mehrzahl von oder alle Randtrajektorien 222 berechnet werden, und es kann ein Mittelwert davon berechnet werden. Dies kann die Präzision der Koordinatenumwandlung durch die affine Transformation verbessern.
Wenn ein Zielobjekt, das als Ergebnis des Gruppierungsprozesses durch die Gruppierungseinheit 168 festgestellt wurde, eine vorbestimmte Bedingung erfüllt, bestimmt die Spezifisches-Objekt-Bestimmungseinheit 170, dass das Zielobjekt ein spezifisches Objekt ist. In der vorliegenden Ausführungsform wird der Musterabgleich als die Bedingung verwendet.
Die Spezifisches-Objekt-Bestimmungseinheit 170 liest zunächst das Zielobjekt und Muster, die von der Datenhalteeinheit 152 gespeichert sind, zum Beispiel typische Umrissmuster eines Fahrzeugs, und führt einen Musterabgleich zwischen dem Zielobjekt und dem Umrissmuster durch. Für den Musterabgleich können verschiedene Methoden verwendet werden, wie etwa die oben erwähnten SAD, SSD oder NCC.
Da in der vorliegenden Ausführungsform das Zielobjekt als Fahrbahn vorliegt, auf der das Fahrzeug 1 fährt, gibt es den Fall, wo das Zielobjekt als Fahrzeug auf der Fahrbahn geschätzt werden kann. Wenn zum Beispiel das Zielobjekt auf der Fahrbahn einem Rechteck angenähert werden kann, und das Verhältnis der Länge in der horizontalen Richtung und der Länge in der vertikalen Richtung einen Bereich enthält, durch den das Zielobjekt mit hoher Wahrscheinlichkeit als Fahrzeug betrachtet werden kann, wie etwa 3:1 bis 1:2, kann das Zielobjekt als Fahrzeug bestimmt werden, ohne den Musterabgleich durchzuführen.
Während in der obigen Beschreibung als Beispiel ein Fahrzeug verwendet wird, kann die vorliegende Ausführungsform auch verschiedene andere spezifische Objekte identifizieren, wie etwa einen Menschen, ein Verkehrslicht oder ein Straßenzeichen. Da zum Beispiel die Randtrajektorie in der vorliegenden Ausführungsform auf Kurven angewendet werden kann, kann die vorliegende Ausführungsform auch auf ein Zielobjekt angewendet werden, das häufig durch eine Kurve repräsentiert wird, wie etwa in Gestalt eines Menschen.
Im Ergebnis kann die Umgebungserkennungsvorrichtung 130 aus dem Luminanzbild 124 ein oder mehrere Zielobjekte als spezifische Objekte extrahieren, und die Information kann für verschiedene Steuerungsarten benutzt werden. Zum Beispiel kann die Umgebungserkennungsvorrichtung 130 das Zielobjekt in 11 als spezifisches Objekt „Fahrzeug” spezifizieren. Dementsprechend kann das Fahrzeug 1 entsprechend der Geschwindigkeit des Fahrzeugs 1 und dem relativen Abstand von dem spezifischen Objekt „Fahrzeug” bestimmen, ob es anhalten oder verzögern sollte oder nicht.
Die Umgebungserkennungsvorrichtung 130 spezifiziert ein Zielobjekt basierend auf der Randrichtung in der oben beschriebenen Weise, wodurch die Effizienz und Genauigkeit beim Spezifizieren eines Zielobjekts, das geneigt ist oder eine gekrümmte Form hat, verbessert werden kann.
(Umgebungserkennungsverfahren)
Nachfolgend werden die besonderen Prozesse, die von der Umgebungserkennungsvorrichtung 130 durchgeführt werden, basierend auf dem in den 12 bis 17 gezeigten Flussdiagramm erläutert. 12 stellt einen Gesamtfluss eines Unterbrechungsprozesses dar, wenn die Bildverarbeitungsvorrichtung 120 das Abstandsbild (Parallaxeinformation) 126 überträgt. Die 13 bis 17 stellen Unterroutinen davon dar. Als Block werden 2×2 Pixel verwendet, und die untere linke Ecke des Luminanzbilds 124 mit 600×200 Pixeln wird als Ursprung verwendet. Der Prozess wird gemäß dem Umgebungserkennungsverfahren im Bereich von 1 bis 300 Blöcken in der horizontalen Richtung des Bilds und 1 bis 100 Blöcken in der vertikalen Richtung des Bilds durchgeführt.
Wenn, wie in 12 gezeigt, gemäß dem Umgebungserkennungsverfahren in Antwort auf den Empfang des Luminanzbilds 124 eine Unterbrechung auftritt, wird auf das von der Bildverarbeitungsvorrichtung 120 erhaltene Luminanzbild 124 Bezug genommen, wodurch die Randrichtung jedes Blocks in der Region 212 hergeleitet wird, die durch die Regionbegrenzungseinheit 160 begrenzt ist (S300). Die Blöcke werden einander basierend auf den erhaltenen Randrichtungen zugeordnet, um Randtrajektorien zu erzeugen (S302), und die Randrichtungen für Blöcke zwischen Randtrajektorien werden interpoliert (S304).
Die von den Randtrajektorien umschlossenen Regionen werden gruppiert, um ein Zielobjekt zu extrahieren (S306), und dann wird das Zielobjekt durch Musterabgleich als spezifisches Objekt bestimmt (S308). Die oben erwähnten Prozesse werden nachfolgend näher spezifiziert.
(Randrichtungsherleitungsprozess S300)
In Bezug auf 13 begrenzt die Regionbegrenzungseinheit 160 zunächst Regionen, aus denen Luminanzen erhalten werden sollen (S350). Es wird angenommen, dass die Region, aus der die Luminanz erhalten werden soll, auf die Region 212 beschränkt ist, die 51 bis 250 Blöcke in der horizontalen Richtung und 21 bis 80 Blöcke in der vertikalen Richtung des Bilds hat. Die Randherleitungseinheit 164 initialisiert eine vertikale Variable j, die zum Spezifizieren eines Blocks dient (setzt sie in der vorliegenden Ausführungsform auf „20”) (S352). Dann addiert die Randherleitungseinheit 164 „1” zur vertikalen Variable j (inkrementiert um „1”) und initialisiert eine horizontale Variable i (setzt sie in der vorliegenden Ausführungsform auf „50”) (S354). Die Randherleitungseinheit 164 addiert dann „1” zur horizontalen Variable i (S356). Die horizontale Variable i und die vertikale Variable j sind vorgesehen, um den Randrichtungsherleitungsprozess an allen Blöcken 200 (51 bis 250) × 60 (21 bis 80) auszuführen.
Die Randherleitungseinheit 164 bewirkt, dass die Luminanzerlangungseinheit 162 die Luminanz von 2×2 Pixeln in dem Block (i, j) als Zielabschnitt aus dem Luminanzbild 124 erhält (S358).
Die Randherleitungseinheit 164 leitet die horizontale Richtungskomponente basierend auf dem Ausdruck (A + B) – (C + D) her (S360), und bestimmt, ob der Absolutwert der hergeleiteten horizontalen Richtungskomponente nicht größer als ein vorbestimmter Schwellenwert ist oder nicht (S362). Wenn der Absolutwert der horizontalen Richtungskomponente nicht größer als der vorbestimmte Schwellenwert ist (JA in S362), ordnet die Randherleitungseinheit 164 der horizontalen Richtungskomponente eine 0 zu (S364). Wenn der Absolutwert der horizontalen Richtungskomponente einen vorbestimmten Schwellenwert überschreitet (NEIN in S362), bestimmt die Randherleitungseinheit 164, ob das Vorzeichen der horizontalen Richtungskomponente positiv ist oder nicht (S366). Wenn es positiv ist (JA in S366), ordnet die Randherleitungseinheit 164 der horizontalen Richtungskomponente eine +1 zu (S368). Wenn sie nicht positiv ist (NEIN in S366), ordnet die Randherleitungseinheit 164 der horizontalen Richtungskomponente eine –1 zu (S370).
Ähnlich leitet die Randherleitungseinheit 164 die vertikale Richtungskomponente basierend auf dem Ausdruck (A + C) – (B + D) her (S372) und bestimmt, ob der Absolutwert der hergeleiteten vertikalen Richtungskomponente nicht größer als ein vorbestimmter Schwellenwert ist oder nicht (S374). Wenn der Absolutwert der vertikalen Richtungskomponente nicht größer als der vorbestimmte Schwellenwert ist (JA in S374), ordnet die Randherleitungseinheit 164 der vertikalen Richtungskomponente eine 0 zu (S376). Wenn der Absolutwert der vertikalen Richtungskomponente den vorbestimmten Schwellenwert überschreitet (NEIN in S374), bestimmt die Randherleitungseinheit 164, ob das Vorzeichen der vertikalen Richtungskomponente positiv ist oder nicht (S378). Wenn es positiv ist (JA in S378), ordnet die Randherleitungseinheit 164 der vertikalen Richtungskomponente eine +1 zu (S380). Wenn es nicht positiv ist (NEIN in S378), ordnet die Randherleitungseinheit 164 der vertikalen Richtungskomponente eine –1 zu (S382).
Die Randherleitungseinheit 164 leitet dann die Randrichtung von der horizontalen Richtungskomponente und der vertikalen Richtungskomponente her und ordnet dem Block den Randrichtungsidentifizierer d (zum Beispiel eine der in 7G angegebenen Zahlen), welcher die Randrichtung angibt, zu, um hierdurch den Block als (i, j, d) zu definieren (S384).
Dann bestimmt die Randherleitungseinheit 164, ob die horizontale Variable i den Maximalwert (250 in der vorliegenden Ausführungsform) des horizontalen Blocks überschreitet (S386). Wenn die horizontale Variable i den Maximalwert nicht überschreitet (NEIN in S386), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S356 wiederholt. Wenn die horizontale Variable i den Maximalwert überschreitet (JA in S386), bestimmt die Randherleitungseinheit 164, ob die vertikale Variable j den Maximalwert (80 in der vorliegenden Ausführungsform) des vertikalen Blocks überschreitet (S388). Wenn die vertikale Variabel j den Maximalwert nicht überschreitet (NEIN in S388), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S354 wiederholt. Wenn die vertikale Variable j den Maximalwert überschreitet (JA in S388), wird der Randrichtungsherleitungsprozess beendet. Auf diese Weise wird jedem Block die Randrichtung zugeordnet.
(Randtrajektorien-Erzeugungsprozess S302)
Wie in 14 gezeigt, initialisiert die Trajektorien-Erzeugungseinheit 166 die vertikale Variable j zum Spezifizieren eines Zielabschnitts (Blocks) (setzt sie in der vorliegenden Ausführungsform auf „20”) (S400). Dann addiert die Trajektorien-Erzeugungseinheit 166 zu der vertikalen Variable j eine „1” und initialisiert die horizontale Variable i (setzt sie in der vorliegenden Ausführungsform auf „50” (S402). Dann addiert die Trajektorien-Erzeugungseinheit 166 zu der horizontalen Variable i eine „1” (S404).
Dann extrahiert die Trajektorien-Erzeugungseinheit 166 den Block (i, j, d) (S406) und bestimmt, ob es unter den dem extrahierten Block benachbarten Blöcken einen Block mit dem gleichen Randrichtungsidentifizierer d gibt oder nicht (S408). Wenn es keinen Block mit dem gleichen Randrichtungsidentifizierer d gibt (NEIN in S408), wird der sich daran anschließende Prozess in Schritt S420 durchgeführt. Wenn es andererseits einen Block mit dem gleichen Randrichtungsidentifizierer d gibt (JA in S408), bestimmt die Trajektorien-Erzeugungseinheit 166, ob irgendeinem Block ein Randtrajektorienidentifizierer t zugeordnet ist oder nicht (S410). Wenn keinem der Blöcke der Randtrajektorienidentifizierer t zugeordnet ist (JA in S410), ordnet die Trajektorien-Erzeugungseinheit 166 den kleinsten Wert der Zahlen, die noch nicht als Randtrajektorienidentifizierer t verwendet worden sind, beiden Blöcken zu, um sie auszudrücken als (i, j, d, t) (S412).
Wenn der Randtrajektorienidentifizierer t zumindest einem der Blöcke zugeordnet ist (NEIN in S410), bestimmt die Trajektorien-Erzeugungseinheit 166, ob der Randtrajektorienidentifizierer t nur einem von diesen zugeordnet ist oder nicht (S414). Wenn der Randtrajektorienidentifizierer t nur einem der Blöcke zugeordnet ist (JA in S414), ordnet die Trajektorien-Erzeugungseinheit 166 den Randtrajektorienidentifizierer t, der einem von diesen zugeordnet worden ist, dem anderen Block zu (S416).
Wenn der Randtrajektorienidentifizierer t beiden Blöcken zugeordnet ist (NEIN in S414), ersetzt die Trajektorien-Erzeugungseinheit 166 einen hohen Wert der Randtrajektorienidentifizierer t des extrahierten Blocks und den Wert der Randtrajektorienidentifizierer t aller Blöcke mit dem gleichen Randtrajektorienidentifizierer t wie der extrahierte Block durch einen niedrigen Wert (S418). Vor dem Gruppierungsprozess in S306 erhält die Gruppierungseinheit 168 vorab eine Neigung 1 der Randtrajektorie, die durch den Block gebildet wird, dem der oben beschriebene Randtrajektorienidentifizierer t zugeordnet ist, und drückt den Block aus als (i, j, d, t, 1) (S420).
Dann bestimmt die Trajektorien-Erzeugungseinheit 166, ob die horizontale variable i den Maximalwert des horizontalen Blocks (250 in der vorliegenden Ausführungsform) überschreitet oder nicht (S422). Wenn die horizontale Variable i den Maximalwert nicht überschreitet (NEIN in S422), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S404 wiederholt. Wenn die horizontale Variable i den Maximalwert überschreitet (JA in S422), bestimmt die Trajektorien-Erzeugungseinheit 166, ob die vertikale Variable j den Maximalwert (80 in der vorliegenden Ausführungsform) des vertikalen Blocks überschreitet oder nicht (S424). Wenn die vertikale Variable j den Maximalwert nicht überschreitet (NEIN in S424), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S402 wiederholt. Wenn die vertikale Variable j den Maximalwert überschreitet (JA in S424), wird der Randtrajektorien-Erzeugungsprozess beendet. Auf diese Weise wird die Randtrajektorie erzeugt.
(Randtrajektorien-Interpolationsprozess S304)
Wie in 15 gezeigt, initialisiert die Trajektorien-Erzeugungseinheit 166 die vertikale Variable j zum Spezifizieren des Zielbereichs (Blocks) (setzt sie in der vorliegenden Ausführungsform auf „20”) (S450). Die Trajektorien-Erzeugungseinheit 166 addiert dann zu der vertikalen Variable j eine „1” und initialisiert die horizontale Variable i (setzt sie in der vorliegenden Ausführungform auf „50”) (S452). Dann addiert die Trajektorien-Erzeugungseinheit 166 zu der horizontalen Variable i eine „1” (S454).
Dann extrahiert die Trajektorien-Erzeugungseinheit 166 den Block (i, j, d) (S456) und bestimmt, ob der Randtrajektorienidentifizierer t den dem extrahierten Block benachbarten Blöcken zugeordnet worden ist oder nicht, und ob die Blöcke den gleichen Randrichtungsidentifizierer d haben oder nicht (S458). Wenn zumindest eine dieser Bedingungen nicht erfüllt ist (NEIN in S458), wird ein Prozess im sich daran anschließenden Schritt S466 durchgeführt. Wenn andererseits beide Bedingungen erfüllt sind (JA in S458), ersetzt die Trajektorien-Erzeugungseinheit 166 den Randrichtungsidentifizierer d der benachbarten Blöcke durch den Randrichtungsidentifizierer d des extrahierten Blocks (oder ersetzt den Randrichtungsidentifizierer d des extrahierten Blocks durch den Randrichtungsidentifizierer d der benachbarten Blöcke) (S460). Die Trajektorien-Erzeugungseinheit 166 ersetzt auch den Randtrajektorienidentifizierer t des extrahierten Blocks durch den Randtrajektorienidentifizierer t mit niedrigem Wert unter den Randtrajektorienidentifizierern t, die den benachbarten Blöcken zugeordnet sind. Ferner ersetzt die Trajektorien-Erzeugungseinheit 166 einen hohen Wert des Randtrajektorienidentifizierers t des extrahierten Blocks und den Wert der Randtrajektorienidentifizierer t aller Blöcke mit dem gleichen Randtrajektorienidentifizierer t wie der extrahierte Block durch einen niedrigen Wert (S462). Auf diese Weise erhält die Gruppierungseinheit 168 die Neigung 1 der vereinheitlichten Randtrajektorie und schreibt die erhaltene Neigung 1 über alle kombinierten Blöcke (S464).
Dann bestimmt die Trajektorien-Erzeugungseinheit 166, ob die horizontale Variable i den Maximalwert (in der vorliegenden Ausführungsform 250) des horizontalen Blocks überschreitet oder nicht (S466). Wenn die horizontale Variable i den Maximalwert nicht überschreitet (NEIN in S466), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S454 wiederholt.
Wenn die horizontale Variable i den Maximalwert überschreitet (JA in S466), bestimmt die Trajektorien-Erzeugungseinheit 166, ob die vertikale Variable j den Maximalwert (in der vorliegenden Ausführungsform 80) des vertikalen Blocks überschreitet oder nicht (S468). Wenn die vertikale Variable j den Maximalwert nicht überschreitet (NEIN in S468), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S452 wiederholt. Wenn die vertikale Variable j den Maximalwert überschreitet (JA in S468), wird der Interpolationsprozess einer Randtrajektorie beendet.
(Gruppierungsprozess S306)
Wie in 16 gezeigt, initialisiert die Gruppierungseinheit 168 eine Randtrajektorienvariable k zum Spezifizieren der Randtrajektorie (setzt sie auf „0”) (S500). Dann addiert die Gruppierungseinheit 168 zu der Randtrajektorienvariable k eine „1” und initialisiert eine Randtrajektorienvariable m zum Spezifizieren von Randtrajektorien, die Kombinationskandidaten sind (setzt sie auf k) (S502). Dann addiert die Gruppierungseinheit 168 zu der Randtrajektorienvariable m eine „1” (S504). Die Randtrajektorienvariablen k und m sind vorgesehen, um den Gruppierungsprozess an allen Kombinationen der Randtrajektorien auszuführen.
Die Grupperierungseinheit 168 vergleicht die Neigung 1 der Randtrajektorie, deren Randtrajektorienidentifizierer t die Randtrajektorienvariable k ist, und die Neigung 1 der Randtrajektorie, deren Randtrajektorienidentifizierer t die Trajektorienvariable m ist, und bestimmt, ob die Winkeldifferenz in einem vorbestimmten Bereich von zum Beispiel 5° fällt (S506). Wenn die Winkeldifferenz in dem vorbestimmten Bereich liegt (JA in S506), ordnet die Gruppierungseinheit 168 den kleinsten Wert der Zahlen, die noch nicht als Kombinationsidentifizierer p verwendet wurden, den Randtrajektorien zu (S508).
Dann bestimmt die Gruppierungseinheit 168, ob die Randtrajektorienvariable m den Maximalwert des Randtrajektorienidentifizierers t überschreitet oder nicht (S510). Wenn die Randtrajektorienvariable m den Maximalwert nicht überschreitet (NEIN in S510), werden die Prozesse ab dem Inkrementierungsprozess der Randtrajektorienvariable m in Schritt S504 wiederholt. Wenn die Randtrajektorienvariable m den Maximalwert überschreitet (JA in S510), bestimmt die Gruppierungseinheit 168, ob die Randtrajektorienvariable k den (Maximalwert – 1) des Randtrajektorienidentifizierers t überschreitet oder nicht (S512). Wenn die Randtrajektorienvariable k den (Maximalwert – 1) nicht überschreitet (NEIN in S512), werden die Prozesse ab dem Inkrementierungsprozess der Randtrajektorienvariable k in Schritt S502 wiederholt. Wenn die Randtrajektorienvariable k den (Maximalwert – 1) überschreitet (JA in S512), wird der Prozess des sich anschließenden Schritts S514 durchgeführt.
Die Gruppierungseinheit 168 initialisiert dann eine Kombinationsvariable n zum Spezifizieren der Kombination von Randtrajektorien (setzt sie auf „0”) (S514). Dann addiert die Gruppierungseinheit 168 zur Kombinationsvariable n eine „1” und initialisiert eine Kombinationsvariable q, die zum Spezifizieren einer Kombination von Randtrajektorien ist, die ein Kandidat für die Gruppierung ist (setzt sie auf n) (S516). Dann addiert die Gruppierungseinheit 168 zu der Kombinationsvariable q eine „1” (S518). Die Randkombinationsvariablen n und q sind vorgesehen, um den Gruppierungsprozess an allen Kombinationen der Randtrajektorien durchzuführen.
Die Gruppierungseinheit 168 vergleicht einen Koordinatenbereich, der von der Kombination der Randtrajektorien mit dem Kombinationsidentifizierer p der Kombinationsvariable n umschlossen ist, und einen Koordinatenbereich, der von der Kombination der Randtrajektorien mit dem Kombinationsidentifizierer p der Kombinationsvariable q umschlossen ist. Die Gruppierungseinheit 168 bestimmt dann, ob die Koordinatenbereiche um ein vorbestimmtes Verhältnis einander überlappen oder nicht, zum Beispiel 80% (S520). In anderen Worten, die Gruppierungseinheit 168 bestimmt, ob die Kombination der Randtrajektorien, welche den Kombinationsidentifizierer p der Kombinationsvariable n haben, und die Kombination der Randtrajektorien, die den Kombinationsidentifizierer p der Kombinationsvariable q haben, ein Rechteck bildet. Wenn die Kombinationsbereiche einander um das vorbestimmte Verhältnis überlappen (JA in S520), gruppiert die Gruppierungseinheit 168 die von den zwei Kombinationen umschlossenen Koordinatenbereiche und ordnet dem gruppierten Bereich einen Zielobjektidentifzierer o zu (S522).
Dann bestimmt die Gruppierungseinheit 168, ob die Kombinationsvariable q den Maximalwert des Kombinationsidentifizierers p überschreitet oder nicht (S524). Wenn die Kombinationsvariable q den Maximalwert nicht überschreitet (NEIN in S524), werden die Prozesse ab dem Inkrementierungsprozess der Kombinationsvariable q in Schritt S518 wiederholt. Wenn die Kombinationsvariable q den Maximalwert überschreitet (JA in S524), bestimmt die Gruppierungseinheit 168, ob die Kombinationsvariable n den (Maximalwert – 1) der Kombinationsvariable p überschreitet oder nicht (S526). Wenn die Kombinationsvariable n den (Maximalwert – 1) nicht überschreitet (NEIN in S526), werden die Prozesse ab dem Inkrementierungsprozess der Kombinationsvariable n in Schritt S516 wiederholt. Wenn die Kombinationsvariable n den (Maximalwert – 1) überschreitet (JA in S526), wird der Gruppierungsprozess beendet. Auf diese Weise wird das gruppierte Zielobjekt extrahiert.
(Spezifisches-Objekt-Bestimmungsprozess S308)
Wie in 17 gezeigt, initialisiert die Spezifisches-Objekt-Bestimmungseinheit 170 eine Zielobjektvariable g, die zum Spezifizieren eines Zielobjekts dient (setzt sie auf „0”) (S550). Dann addiert die Spezifisches-Objekt-Bestimmungseinheit 170 zu der Zielobjektvariablen g eine „1” und initialisiert eine Mustervariable h zum Spezifizieren eines Umrissmusters (setzt sie auf „0”) (S552). Dann addiert die Spezifisches-Objekt-Bestimmungseinheit 170 zu der Mustervariable h eine „1” (S554). Die Zielobjektvariable g und Mustervariable h sind vorgesehen, um den Musterabgleich an allen Kombinationen eines Zielobjekts und eines Umrissmusters durchzuführen.
Die Spezifisches-Objekt-Bestimmungseinheit 170 führt den Musterabgleich zwischen dem Zielobjekt, dessen Zielobjektidentifizierer o die Zielobjektvariable g ist, und dem Umrissmuster, dessen Musteridentifizierer r die Mustervariable h ist, um zu bestimmen, ob das Umrissmuster passt oder nicht (S556). Wenn das Umrissmuster passt (JA in S556), spezifiziert die Spezifisches-Objekt-Bestimmungseinheit 170 das Zielobjekt als spezifisches Objekt, dessen Musteridentifizierer r die Mustervariable h ist (S558).
Dann bestimmt die Spezifisches-Objekt-Bestimmungseinheit 170, ob die Mustervariable h den Maximalwert des Musteridentifizierers r überschreitet oder nicht (S560). Wenn die Mustervariable h den Maximalwert nicht überschreitet (NEIN in S560), werden die Prozesse ab dem Inkrementierungsprozess der Mustervariable h in Schritt S554 wiederholt. Wenn die Mustervariable h den Maximalwert überschreitet (JA in S560), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 170, ob die Zielobjektvariable g den Maximalwert des Zielobjektidentifizierers o überschreitet oder nicht (S562). Wenn die Zielobjektvariable g den Maximalwert nicht überschreitet (NEIN in S562), werden die Prozesse ab dem Inkrementierungsprozess der Zielobjektvariable g in Schritt S552 wiederholt. Wenn die Zielobjektvariable g den Maximalwert überschreitet (JA in S562), wird der Zielobjekt-Bestimmungsprozess beendet. Auf diese Weise wird das gruppierte Zielobjekt formal als spezifisches Objekt bestimmt.
Wie oben beschrieben, spezifiziert die Umgebungserkennungsvorrichtung 130 das Zielobjekt basierend auf der Randrichtung. Dementsprechend kann es die Effizienz und Genauigkeit beim Spezifizieren eines Zielobjekts, das geneigt ist oder eine gekrümmte Form hat, verbessern.
Zusätzlich vorgesehen sind auch ein Programm, um zu erlauben, dass ein Computer als die Umgebungserkennungsvorrichtung 130 fungiert, sowie ein Speichermedium, wie etwa eine computerlesbare flexible Scheibe, eine magnetooptische Scheibe, ein ROM, eine CD, eine DVD, ein BD, welche das Programm speichern. Hier bedeutet das Programm eine Datenverarbeitungsfunktion, die in einer beliebigen Sprache oder einem beliebigen Deskriptionsverfahren beschrieben ist.
Während oben eine bevorzugte Ausführungsform der Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben worden ist, versteht es sich, dass die Erfindung nicht auf diese Ausführungsform beschränkt ist. Es versteht sich für den Fachkundigen, dass zahlreiche Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen.
Zum Beispiel wird in der oben erwähnten Ausführungsform (A + B) – (C + D) als die horizontale Richtungskomponente verwendet, und wird (A + C) – (B + D) als die vertikale Richtungskomponente verwendet, wenn eine Randrichtung eines Blocks hergeleitet wird. Jedoch ist es lediglich erforderlich, dass die Randrichtung irgendeinen vorbestimmten Winkel in Bezug auf die Richtung hat, in der sich der Rand der Luminanz jedes Blocks erstreckt. Somit können verschiedene andere Kombinationen verwendet werden, wie etwa die Kombination von (A + C) – (B + D) als die horizontale Richtungskomponente und (A + B) – (C + D) als die vertikale Richtungskomponente.
In der oben erwähnten Ausführungsform ist der Block als 2×2 Pixel definiert. Jedoch ist die Anzahl der Pixel darauf nicht beschränkt. Der Block kann auch mehr Pixel enthalten. Zum Beispiel kann im Falle von 4×4 Pixeln die Randrichtung basierend auf einer Differenz zwischen Gesamtheiten der Luminanzen von zwei linken und rechten Regionen (2×4 Pixel) von zweien, die durch Unterteilen des Blocks in der horizontalen Richtung gebildet sind, und einer Differenz zwischen den Gesamtheiten der Luminanzen von zwei oberen und unteren Regionen (4×2 Pixel), die durch Unterteilen des Blocks in der vertikalen Richtung gebildet sind, hergeleitet werden. Die Länge einer Seite des Blocks ist nicht auf eine gerade Anzahl von Pixeln beschränkt, sondern kann auch eine ungerade Zahl sein. In diesem Fall kann ein geeigneter Wert hergeleitet werden, indem eine Reihe von Pixeln oder eine Linie von Pixeln in der Mitte ausgeschlossen wird.
In der oben erwähnten Ausführungsform interpoliert die Trajektorien-Erzeugungseinheit 166 einen Block unter Verwendung einer Randtrajektorie, die dem einen Block benachbart ist. Jedoch ist die Anzahl der zu interpolierenden Blöcke darauf nicht beschränkt. Wenn zum Beispiel eine Kontinuität von zwei Randtrajektorien mit gleicher Randrichtung in Betracht gezogen wird, wodurch die Blöcke zwischen den zwei Randtrajektorien so betrachtet werden können, dass sie die gleiche Randrichtung haben, kann eine beliebige Anzahl von Blöcken derart interpoliert werden, dass sie die gleiche Randrichtung haben.
In der obigen Ausführungsform wird die dreidimensionale Position des Zielobjekts basierend auf der Parallaxe zwischen Bilddaten unter Verwendung der Mehrzahl von Bildaufnahmevorrichtungen 110 hergeleitet. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Alternativ kann zum Beispiel eine Vielzahl von bekannten Abstandsmessvorrichtungen verwendet werden, wie etwa eine Laserradar-Abstandsmessvorrichtung. In diesem Fall gibt die Laserradar-Abstandsmessvorrichtung einen Laserstrahl zum Erfassungsbereich 122 ab, empfängt das Licht, welches reflektiert wird, wenn der Laserstrahl auf das Objekt gestrahlt wird, und misst den Abstand zu dem Objekt basierend auf der für dieses Ereignis benötigten Zeit.
Die obige Ausführungsform beschreibt ein Beispiel, worin die Positionsinformationserlangungseinheit 158 das Abstandsbild (Parallaxeinformation) 126 von der Bildverarbeitungsvorrichtung 120 empfängt und die dreidimensionale Positionsinformation erzeugt. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Bildverarbeitungsvorrichtung 120 kann auch vorab die dreidimensionale Positionsinformation erzeugen, und die Positionsinformationserlangungseinheit 158 kann die erzeugte dreidimensionale Positionsinformation erhalten. Diese Funktionsverteilung kann die Prozesslast der Umgebungserkennungsvorrichtung 130 verringern.
In der oben erwähnten Ausführungsform sind die Positionsinformationserlangungseinheit 158, die Regionbegrenzungseinheit 160, die Luminanzerlangungseinheit 162, die Randherleitungseinheit 164, die Trajektorien-Erzeugungseinheit 166, die Gruppierungseinheit 168 und die Spezifisches-Objekt-Bestimmungseinheit 170 so konfiguriert, dass sie von der zentralen Steuereinheit 154 mit Software betrieben werden. Jedoch können Funktionseinheiten auch mit Hardware konfiguriert sein.
Die Spezifisches-Objekt-Bestimmungseinheit 170 bestimmt ein Zielobjekt als spezifisches Objekt durch Musterabgleich. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Spezifisches-Objekt-Bestimmungseinheit 170 kann auch ein spezifisches Objekt bestimmen, wenn verschiedene andere Bedingungen ebenfalls erfüllt sind. Zum Beispiel kann ein spezifisches Objekt bestimmt werden, wenn eine Verschiebung, der relative Abstand in der Breitenrichtung x und der Höhenrichtung y, in einem Zielobjekt im Wesentlichen konstant (kontinuierlich) ist oder wenn die relative Bewegungsgeschwindigkeit in der Tiefenrichtung z konstant ist. Diese Verschiebung des relativen Abstands in der Breitenrichtung x und in der Höhenrichtung y in dem Zielobjekt kann durch lineare Annäherung durch Hough-Transformation oder die Methode der kleinsten Quadrate spezifiziert werden.
Die Schritte des Umgebungserkennungsverfahrens müssen in dieser Beschreibung nicht notwendigerweise chronologisch gemäß der im Flussdiagramm beschriebenen Reihenfolge abgearbeitet werden. Die Schritte können auch parallel verarbeitet werden oder können Prozesse enthalten, welche Unterroutinen verwenden.
Die vorliegende Erfindung kann für eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren verwendet werden, um ein Zielobjekt basierend auf den Luminanzen des Zielobjekts in einem Erfassungsbereich zu erkennen.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Eine Umgebungserkennungsvorrichtung (130) erhält eine Luminanz von jedem einer Mehrzahl von Blöcken, die durch Unterteilen eines Erfassungsbereichs gebildet sind; leitet eine Randrichtung basierend auf einer Richtung her, in der sich ein Rand der Luminanz jedes Blocks erstreckt; ordnet die Blöcke basierend auf der Randrichtung einander zu, um eine Randtrajektorie zu erzeugen; gruppiert eine Region, die von der Mehrzahl von Randtrajektorien umschlossen ist, als Zielobjekt; und bestimmt das Zielobjekt als spezifisches Objekt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 10-283461 A [0002]
JP 2003-99762 A [0004]

Claims

Umgebungserkennungsvorrichtung umfassend: eine Luminanzerlangungseinheit (162), die eine Luminanz jedes Blocks erhält, der durch Unterteilen eines Erfassungsbereichs in einem Luminanzbild gebildet ist; eine Randherleitungseinheit (164), die eine Randrichtung basierend auf einer Richtung herleitet, in der sich ein Rand in Abhängigkeit von der Luminanz jedes Blocks erstreckt; eine Trajektorien-Erzeugungseinheit (166), die die Blöcke basierend auf der Randrichtung zuordnet, um eine Randtrajektorie zu erzeugen; eine Gruppierungseinheit (168), die von den Randtrajektorien umschlossene Regionen als Zielobjekt gruppiert; und eine Spezifisches-Objekt-Bestimmungseinheit (170), die das Zielobjekt als spezifisches Objekt bestimmt.
Umgebungserkennungsvorrichtung nach Anspruch 1, wobei die Randherleitungseinheit (164) die Randrichtung basierend auf einer Differenz zwischen Gesamtheiten der Luminanzen in zwei linken und rechten Regionen, die durch Unterteilen des Blocks in vertikaler Richtung gebildet sind, und einer Differenz zwischen Gesamtheiten der Luminanzen in zwei oberen und unteren Regionen, die durch Unterteilen des Blocks in horizontaler Richtung gebildet sind, herleitet.
Umgebungserkennungsvorrichtung nach Anspruch 2, wobei, wenn der Absolutwert der Differenz zwischen den Gesamtheiten einer Richtung nicht größer als ein vorbestimmter Schwellenwert ist, die Randherleitungseinheit (164) die Randrichtung herleitet, ohne die Differenz zwischen den Gesamtheiten der Richtung zu verwenden.
Umgebungserkennungsvorrichtung nach Anspruch 3, wobei der vorbestimmte Schwellenwert durch eine zunehmende Funktion gemäß einem Mittelwert aller Luminanzen in dem Block erhalten wird.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Trajektorien-Erzeugungseinheit (166) eine Randrichtung eines beliebigen Blocks basierend auf der Randrichtung jedes dem beliebigen Block benachbarten Blocks interpoliert.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 5, die ferner eine Regionbegrenzungseinheit (160) aufweist, die eine Region, von der eine Luminanz durch die Luminanzerlangungseinheit (162) erhalten werden soll, zu einer Region, die einen Unendlichkeitspunkt enthält und kleiner als der Erfassungsbereich ist, begrenzt.
Umgebungserkennungsverfahren umfassend: Erhalten einer Luminanz jedes Blocks, der durch Unterteilen eines Erfassungsbereichs in einem Luminanzbild gebildet ist; Herleiten einer Randrichtung basierend auf einer Richtung, in der sich ein Rand in Abhängigkeit von der Luminanz jedes Blocks erstreckt; Zuordnen der Blöcke basierend auf der Randrichtung, um eine Randtrajektorie zu erzeugen; Gruppieren von Regionen, die von den Randtrajektorien umschlossen sind, als Zielobjekt; und Bestimmen des Zielobjekts als spezifisches Objekt.