DE102012104302A1

DE102012104302A1 - Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren

Info

Publication number: DE102012104302A1
Application number: DE102012104302A
Authority: DE
Inventors: Taichi Kishida
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-05-19
Filing date: 2012-05-18
Publication date: 2012-11-22
Also published as: CN102842038A; US20120294484A1; JP2012243051A; US8867792B2

Abstract

Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Eine Umgebungserkennungsvorrichtung (130) speichert vorab Forminformation, die die Information über eine Form eines spezifischen Objekts ist; erhält eine Luminanz jedes von Zielabschnitten (220), die durch Unterteilen eines Erfassungsbereichs gebildet sind, und extrahiert einen einen Rand enthaltenden Zielabschnitt (220); erhält einen relativen Abstand des einen Rand enthaltenden Zielabschnitts (220); und bestimmt ein mit der Forminformation angegebenes spezifisches Objekt durch Ausführung einer Hough-Transformation des den Rand enthaltenden Zielabschnitts basierend auf der Forminformation gemäß dem relativen Abstand.

Description

Die Erfindung betrifft eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren zum Erkennen eines Zielobjekts basierend auf Luminanzen des Zielobjekts in einem Erfassungsbereich.
Es sind Technologien bekannt zum Erfassen eines Zielobjekts wie etwa ein Hindernis einschließlich eines Fahrzeugs und eines Verkehrslichts, das sich vor einem Subjektfahrzeug befindet, um eine Steuerung der Kollisionsvermeidung mit dem erfassten Zielobjekt durchzuführen und einen Sicherheitsabstand zwischen dem Subjektfahrzeug und dem vorausfahrenden Fahrzeug einzuhalten (siehe zum Beispiel japanisches Patent Nr. 3349060 (japanische offengelegte Patentanmeldung ( JP-A) Nr. 10-283461 )).
Ferner ist auch eine Technik bekannt geworden, die eine weiter fortgeschrittene Steuerung durchführt. Insbesondere spezifiziert sie ein Zielobjekt nicht nur gleichmäßig beziehungsweise einheitlich als massives beziehungsweise starres Objekt, sondern bestimmt ferner, ob das erfasste Zielobjekt ein vorausfahrendes Fahrzeug ist, das mit der gleichen Geschwindigkeit wie das Subjektfahrzeug fährt, oder ein festes Objekt, welches sich nicht bewegt. Wenn in diesem Fall das Zielobjekt durch Aufnehmen eines Bilds eines Erfassungsbereichs erfasst wird, ist es notwendig, das Zielobjekt aus dem aufgenommenen Bild zu extrahieren (auszuschneiden), bevor spezifiziert wird, um welches Zielobjekt es sich handelt.
Ein Weg zum Extrahieren eines Zielobjekts ist es, Pixel mit gleicher Luminanz in dem Bild in ein Zielobjekt zu gruppieren. Jedoch könnte die ursprüngliche Luminanz des Zielobjekts aufgrund des Einflusses von Umgebungslicht, das von den Bildaufnahmebedingungen abhängig ist, oder aufgrund einer zeitlichen Änderung (Fading) des Zielobjekts selbst nicht erhalten werden. Im Hinblick hierauf ist ein Verfahren vorgeschlagen worden, worin ein Rand, der aufgrund der Luminanzdifferenz zwischen Pixeln erzeugt wird, extrahiert wird, und ein Zielobjekt durch eine durch diesen Rand gebildete Form spezifiziert wird.
Zum Beispiel ist eine Technik bekannt geworden, die ein Pixel (Randpixel), das einen Rand hat, aus einem aufgenommenen Bild basierend auf einem Ableitungswert zwischen benachbarten Pixeln extrahiert, ein Histogramm (Abstandsverteilung) des Randpixels in der Breitenrichtung und in der Höhenrichtung des Bilds herleitet, und eine Region entsprechend dessen Peak als Rand eines Zielobjekts schätzt. Zum Beispiel ist in der JP-A Nr. 2003-99762 auch eine Technik offenbart worden, um zu bestimmen, ob ein Zielobjekt ein Fahrzeug ist, durch Vergleich zwischen einem Fusionsmuster basierend auf einem Histogramm und einem Dictionary-Muster, das vorab gespeichert worden ist.
Auch offenbart worden ist eine Technik zum Extrahieren eines Zielobjekts mit einer perfekten geometrischen Form aus einem Zielobjekt, worin ein Teil der geometrischen Form fehlt, durch Verwendung einer sogenannten Hough-Transformation zum Erfassen einer geometrischen Form wie etwa eines Kreises oder einer geraden Linie aus einem Bild, das ein Randbild enthält. In dieser Technik werden Kreise mit mehreren Größen, einschließlich eines Randbilds, das aus einer Erfassungsregion extrahiert worden ist, geschätzt, wobei die Hough-Transformation ausgeführt wird, um den am besten geeigneten Kreis aus den Kreisen unterschiedlicher Größen zu extrahieren, um zum Beispiel ein kreisförmiges Straßenzeichen zu extrahieren.
Jedoch werden bei der Technik zum Extrahieren des am besten geeigneten Kreises mittels der Hough-Transformation eine Mehrzahl von möglichen Kreisen mit unterschiedlichen Größen für nur ein Randbild in Betracht gezogen, und die Hough-Transformation wird an jedem der Mehrzahl von möglichen Kreisen mit unterschiedlichen Größen durchgeführt (Wähl- oder Votierungstabelle). Daher ist die Prozesslast erheblich, was dazu führt, dass ein großer Speicherplatz eines Speichers belegt werden könnte. Da dieser Prozess an allen Rändern in dem Bild durchgeführt wird, werden die Prozesslast und der belegte Speicherplatz in dem Speicher sehr groß.
Aufgabe der Erfindung ist es daher, eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren anzugeben, welche die Effizienz beim Spezifizieren eines Zielobjekts verbessern können, indem eine Prozesslast und ein Speicherplatzbedarf in einem Speicher verringert werden.
Zur Lösung der Aufgabe wird gemäß einem Aspekt der vorliegenden Erfindung eine Umgebungserkennungsvorrichtung angegeben, welche enthält: eine Datenhalteeinheit, die Forminformation speichert, die Information über eine Form eines spezifischen Objekts ist; eine Randextraktionseinheit, die eine Luminanz jedes von Zielabschnitten erhält, die durch Unterteilen eines Erfassungsbereichs eines Luminanzbilds gebildet sind, und einen einen Rand bildenden Zielabschnitt extrahiert; eine Positionsinformationserlangungseinheit, die einen relativen Abstand des einen Rand bildenden Zielabschnitts erhält; und eine Spezifisches-Objekt-Bestimmungseinheit, die ein mit der Forminformation angegebenes spezifisches Objekt durch Ausführung einer Hough-Transformation an einer Position des den Rand bildenden Zielabschnitts basierend auf der Forminformation gemäß dem relativen Abstand bestimmt. Die Form des spezifischen Objekts kann ein Kreis sein.
Die Spezifisches-Objekt-Bestimmungseinheit kann eine Mitte eines Kreises spezifizieren, auf dem ein einen Rand bildender Zielabschnitt liegt, unter Begrenzung des Vorhandenseins der Mitte auf einen Bereich vertikal zu einer Richtung, in der sich der Rand erstreckt.
Die Positionsinformationserlangungseinheit kann auch eine Höhe des den Rand bildenden Zielabschnitts von einer Straßenoberfläche erhalten, und die Spezifisches-Objekt-Bestimmungseinheit kann ein durch die Forminformation angegebenes spezifisches Objekt nur aus den Zielabschnitten, die in einer vorbestimmten partiellen Suchregion enthalten sind, basierend auf dem relativen Abstand und der Höhe von der Straßenoberfläche bestimmen.
Zur Lösung der Aufgabe wird gemäß einem anderen Aspekt der Erfindung ein Umgebungserkennungsverfahren angegeben, welches enthält: Vorhalten von Forminformation, die Information über eine Form eines spezifischen Objekts ist; Erhalten einer Luminanz jedes von Zielabschnitten, die durch Unterteilen eines Erfassungsbereichs eines Luminanzbilds gebildet sind, und Extrahieren eines einen Rand bildenden Zielabschnitts; Erhalten eines relativen Abstands des einen Rand bildenden Zielabschnitts; und Bestimmen eines mit der Forminformation angegebenen spezifischen Objekts durch Ausführung einer Hough-Transformation an einer Position des den Rand bildenden Zielabschnitts basierend auf der Forminformation gemäß dem relativen Abstand.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen erläutert.
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem darstellt;
2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds und eines Abstandsbilds;
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung darstellt;
4A bis 4F sind beispielhafte Darstellungen zur Erläuterung eines Betriebs einer Randextraktionseinheit;
5 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation, welche von einer Positionsinformationserlangungseinheit durchgeführt wird;
6A bis 6E sind beispielhafte Darstellungen zur Erläuterung der Hough-Transformation;
7 ist eine beispielhafte Darstellung zur Erläuterung eines Begrenzungsprozesses von Zielabschnitten durch eine Spezifisches-Objekt-Bestimmungseinheit;
8A bis 8D sind beispielhafte Darstellungen zur Erläuterung des Hough-Transformations-Prozesses in einer Ausführungsform der vorliegenden Erfindung;
9A bis 9D sind beispielhafte Darstellungen zur Erläuterung eines Votierungsprozesses durch die Spezifisches-Objekt-Bestimmungseinheit;
10 ist ein Flussdiagramm, das einen Gesamtablauf eines Umgebungserkennungsverfahrens zeigt;
11 ist ein Flussdiagramm, das den Ablauf eines Votierungsprozesses zeigt;
12 ist ein Flussdiagramm, das den Ablauf eines Bestimmungsprozesses eines spezifischen Objekts darstellt.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung im Detail unter Bezug auf die beigefügten Zeichnungen beschrieben. Die Größen, Materialien und andere spezifische numerische Werte, die in der Ausführungsform gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der Erfindung, und, solange nicht anderweitig spezifiziert, schränken sie die Erfindung nicht ein. In der Beschreibung und den Zeichnungen sind Elemente, die die im Wesentlichen gleichen Funktionen und Konfigurationen haben, mit gleichen Bezugszahlen bezeichnet, und eine wiederholte Erläuterung davon wird weggelassen. Elemente, die sich nicht direkt auf die Erfindung beziehen, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält Bildaufnahmevorrichtungen 110, eine Bildverarbeitungsvorrichtung 120, eine Umgebungserkennungsvorrichtung 130 sowie eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 vorgesehen sind.
Die Bildaufnahmevorrichtungen 110 enthalten ein Bildgebungselement wie etwa eine CCD (ladungsgekoppelte Vorrichtung) oder ein CMOS (komplementärer Metalloxid-Halbleiter) und können ein Farbbild erhalten, das heißt, Luminanzen aus drei Farbphasen (rot, grün, blau) pro Pixel. In diesem Fall wird ein von den Bildaufnahmevorrichtungen 110 aufgenommenes Farbbild als Luminanzbild bezeichnet, und unterscheidet sich von einem Abstandsbild, das später erläutert wird. Die Bildaufnahmevorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zur Fahrtrichtung des Fahrzeugs 1 sind. Die Bildaufnahmevorrichtung 110 erzeugt kontinuierlich Bilddaten, die sie durch Aufnehmen eines Bilds eines Zielobjekts erhält, das sich in einem Erfassungsbereich vor dem Fahrzeug 1 befindet, zum Beispiel bei jeder 1/60 Sekunde (60 fps). In diesem Fall braucht das Zielobjekt kein unabhängiges dreidimensionales Objekt wie etwa ein Fahrzeug, ein Verkehrslicht, eine Straße oder eine Leitplanke zu sein, sondern kann auch ein Beleuchtungsabschnitt wie etwa ein Straßenzeichen, eine Heckleuchte, ein Abbiegesignal, oder ein Verkehrslicht sein, die als Abschnitt eines dreidimensionalen Objekts spezifiziert werden können. Jede später beschriebene Funktionseinheit in der Ausführungsform führt in Antwort auf die Aktualisierung solcher Bilddaten einen Prozess aus.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und leitet, basierend auf zwei Bilddatensätzen, Parallaxeinformation ab, die eine Parallaxe eines Blocks (eines Satzes einer vorbestimmten Anzahl von Pixeln) in dem Bild enthält, sowie eine Position, die eine Position jedes Blocks in dem Bild repräsentiert. Insbesondere leitet die Bildverarbeitungsvorrichtung 120 eine Parallaxe mittels eines sogenannten Pattern Matchings, das heißt Musterabgleich oder Mustererkennung, her, der einen Block in einem der Bilddatenteile entsprechend dem Block, der optional aus dem anderen Bilddatenteil extrahiert wird, sucht. Der Block ist zum Beispiel ein Array oder Feld, das vier Pixel in der horizontalen Richtung und vier Pixel in der vertikalen Richtung enthält. In dieser Ausführungsform bedeutet die horizontale Richtung eine horizontale Richtung für das aufgenommene Bild, und entspricht der Breitenrichtung in der realen Welt. Andererseits bedeutet die vertikale Richtung eine vertikale Richtung für das aufgenommene Bild und entspricht der Höhenrichtung in der realen Welt.
Ein Weg zur Durchführung eines Musterabgleichs ist es, Luminanzwerte (Y-Farbdifferenz-Signale) zwischen zwei Bilddaten durch den Block, der eine beliebige Bildposition angibt, zu vergleichen. Beispiele enthalten eine SAD (Summe der absoluten Differenz), die eine Differenz von Luminanzwerten erhält, eine SSD (Summe der quadratischen Intensitätsdifferenz), die eine Differenz quadriert, und eine NCC (normalisierte Kreuzkorrelation), die einen Ähnlichkeitsgrad von Verteilungswerten verwendet, die durch Subtrahieren eines mittleren Luminanzwerts von einem Luminanzwert jedes Pixels erhalten werden. Die Bildverarbeitungsvorrichtung 120 führt einen Parallaxen-Herleitprozess an allen Blöcken durch, die in dem Erfassungsbereich erscheinen (zum Beispiel 600 Pixel×200 Pixel). In diesem Fall sei angenommen, dass der Block 4 Pixel×4 Pixel enthält, wobei aber die Anzahl von Pixeln in dem Block auf jeden beliebigen Wert gesetzt werden kann.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als Erfassungsauflösungseinheit dient, ist es unmöglich zu erkennen, zu welcher Art von Zielobjekt der Block gehört. Daher wird die Parallaxeinformation nicht von dem Zielobjekt hergeleitet, sondern wird unabhängig von der Auflösung (zum Beispiel von dem Block) in dem Erfassungsbereich hergeleitet. In dieser Ausführungsform wird ein Bild, das durch Zuordnen der so erlangten Parallaxeinformation (entsprechend einem später beschriebenen relativen Abstand) zu Bilddaten erhalten wird, als Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, wie in 2A gezeigt, in Bezug auf einen Erfassungsbereich 122 durch die beiden Bildaufnahmevorrichtungen 110 erzeugt wird. Hier ist zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch gezeigt. Die Bildverarbeitungsvorrichtung 120 erhält eine Parallaxe für jeden Block aus diesem Luminanzbild 124 und erzeugt das Abstandsbild 126, wie in 2B gezeigt. Jedem Block des Abstandsbilds 126 ist eine Parallaxe des Blocks zugeordnet. In der Zeichnung ist zur Erläuterung ein Block, von dem eine Parallaxe hergeleitet wird, durch einen schwarzen Punkt angegeben.
Die Parallaxe kann leicht am Randabschnitt (einem Abschnitt, wo ein Kontrast zwischen benachbarten Pixeln vorhanden ist) der Objekte spezifiziert werden, und daher wird der Block, von dem die Parallaxe hergeleitet wird, und der in dem Abstandsbild 126 mit schwarzen Punkten markiert ist, wahrscheinlich auch ein Rand in dem Luminanzbild 124 sein. Daher sind das in 2A gezeigte Luminanzbild 124 und das in 2B gezeigte Abstandsbild 126 im Hinblick auf den Umriss jedes Zielobjekts ähnlich.
Die Umgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 und spezifiziert ein spezifisches Objekt mit einer vorbestimmten Form in dem Erfassungsbereich 122 basierend auf einem Rand der Luminanz in dem Luminanzbild 124. Die Umgebungserkennungsvorrichtung 130 erhält auch das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und verwendet ein sogenanntes Stereoverfahren zum Umwandeln der Parallaxeinformation für jeden Block in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich eines relativen Abstands. Der relative Abstand wird verwendet zum Spezifizieren des spezifischen Objekts. Das Stereoverfahren ist ein Verfahren mittels einer Triangulationsmethode zum Erhalt eines relativen Abstands eines Zielobjekts in Bezug auf die Bildaufnahmevorrichtung 110 aus der Parallaxe des Zielobjekts. Die Umgebungserkennungsvorrichtung 130 wird im Detail später erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet eine Kollision mit dem Zielobjekt, das von der Umgebungserkennungsvorrichtung 130 spezifiziert worden ist, und führt eine Steuerung durch, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Insbesondere erhält die Fahrzeugsteuerungsvorrichtung 140 einen gegenwärtigen Fahrtzustand des Fahrzeugs 1 basierend zum Beispiel auf einem Lenkwinkelsensor 142 zum Erfassen eines Lenkwinkels, und einem Fahrzeuggeschwindigkeitssensor 144 zum Erfassen einer Geschwindigkeit des Fahrzeugs 1, um hierdurch einen Aktuator 146 anzusteuern, um einen Sicherheitsabstand von dem vorausfahrenden Fahrzeug einzuhalten. Der Aktuator 146 ist ein Betätigungselement zur Fahrzeugsteuerung, das zum Steuern oder Regeln einer Bremse, eines Drosselventils, eines Lenkwinkels und dergleichen verwendet wird. Wenn eine Kollision mit einem Zielobjekt zu erwarten ist, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Meldung) der erwarteten Kollision auf einem Display 148 an, das vor einem Fahrer vorgesehen ist, und steuert den Aktuator 146 an, um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugsteuerungsvorrichtung 140 kann auch mit der Umgebungserkennungsvorrichtung 130 integriert sein.
(Umgebungserkennungsvorrichtung 130)
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Umgebungserkennungsvorrichtung 130 darstellt. Wie in 3 gezeigt, enthält die Umgebungserkennungsvorrichtung 130 eine I/F-Einheit 150, eine Datenhalteeinheit 152 sowie eine zentrale Steuerungseinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die Datenhalteeinheit 152 ist zum Beispiel durch ein RAM, einen Flashspeicher, eine HDD und dergleichen gebildet und hält oder speichert eine Spezifisches-Objekt-Tabelle und verschiedene Informationsarten, die für die Bearbeitung durch nachfolgend erläuterten Funktionseinheiten benötigt werden. Darüber hinaus hält oder speichert die Datenhalteeinheit 152 vorübergehend das Luminanzbild 124, die sie von der Bildverarbeitungsvorrichtung 120 erhalten hat. In der Spezifisches-Objekt-Tabelle wird einem spezifischen Objekt Forminformation zugeordnet, welche Information über deren Form ist. Die Forminformation ist die Information, mit der eine Form eines spezifischen Objekts spezifiziert werden kann. Wenn ein spezifisches Objekt zum Beispiel kreisförmig ist, speichert die Spezifisches-Objekt-Tabelle deren Radius (zum Beispiel 30 cm) in der realen Welt.
Die zentrale Steuerungseinheit 154 ist bestehend aus einer integrierten Halbleiter-Schaltung, die zum Beispiel eine zentrale Prozessoreinheit (CPU), ein ROM, das ein Programm oder dergleichen speichert, und ein RAM, das als Arbeitsfläche dient, enthält, und steuert die I/F-Einheit 150 und die Datenhalteeinheit 152 durch einen Systembus 156. In der vorliegenden Ausführungsform fungiert die zentrale Steuerungseinheit 154 auch als Randextraktionseinheit 160, als Positionsinformationserlangungseinheit 162 und Spezifisches-Objekt-Bestimmungseinheit 164.
Die Luminanzerlangungseinheit erhält Luminanzen von dem Zielabschnitt (Pixeln) (Luminanzen aus drei Farbphasen (rot, grün und blau) pro Pixel) von dem empfangenen Luminanzbild 124, bestimmt basierend auf der Differenz in den Luminanzen unter den Pixeln in jedem der Zielabschnitte, die durch Unterteilen eines Erfassungsbereichs gebildet sind, ob es einen Rand gibt oder nicht, und extrahiert einen Zielabschnitt mit einem Rand. Hierbei leitet die Randextraktionseinheit 160 auch eine Richtung her, in der sich der Rand erstreckt, wobei die Richtung in der später beschriebenen Spezifisches-Objekt-Bestimmungseinheit 164 verwendet wird (nachfolgend einfach als Randerstreckungsrichtung bezeichnet).
Insbesondere leitet die Randextraktionseinheit 160 die Randrichtung basierend auf einer Differenz zwischen Gesamtheiten der Luminanzen in zwei linken und rechten Regionen her, die durch Unterteilen eines Zielabschnitts (hier 2×2 Pixel) in der vertikalen Richtung gebildet sind (nachfolgend einfach als horizontale Richtungskomponente bezeichnet), und einer Differenz zwischen Gesamtheiten der Luminanzen in zwei oberen und unteren Regionen, die durch Unterteilen des Zielabschnitts in der horizontalen Richtung gebildet sind (nachfolgend einfach als vertikale Richtungskomponente bezeichnet).
Die 4A bis 4F sind beispielhafte Darstellungen zur Erläuterung eines Betriebs einer Randextraktionseinheit 160. Es sei angenommen, dass ein in 4A dargestelltes Straßenzeichen 210 auf einem Teil des Luminanzbilds 124 angezeigt wird. Es sei ferner angenommen, dass eine Luminanzverteilung in 4B durch Vergrößern eines beliebigen Zielabschnitts 220a in der Region 212 erhalten wird, wohingegen eine Luminanzverteilung in 4C durch Vergrößern eines beliebigen anderen Zielabschnitts 220b erhalten wird.
Es sei auch angenommen, dass in 4B der Luminanzbereich auf 0 bis 255 gesetzt ist, wobei ein weißer Bereich der Luminanz „200” entspricht und ein schwarzer Bereich der Luminanz „0” entspricht. In der vorliegenden Beschreibung wird die Luminanz des oberen linken Pixels des Blocks mit A bezeichnet, die Luminanz des oberen rechten Pixels mit B bezeichnet, die Luminanz des unteren linken Pixels mit C bezeichnet und die Luminanz des unteren rechten Pixels mit D bezeichnet. Ferner wird die horizontale Richtungskomponente der Randrichtung als (A + B) – (C + D) definiert und die vertikale Richtungskomponente der Randrichtung wird als (A + C) – (B + D) definiert.
Die horizontale Richtungskomponente des Zielabschnitts 220a in der in 4B dargestellten Randrichtung wird berechnet gemäß (A + B) – (C + D) = (200 + 0) – (200 + 0) = 0, während die vertikale Richtungskomponente in der Randrichtung gemäß (A + C) – (B + D) = (200 + 200) – (0 + 0) = +400 berechnet wird. Da der Absolutwert der vertikalen Richtungskomponente nicht kleiner als 100 ist, wird der Zielabschnitt 220a als Rand bestimmt. Da die horizontale Richtungskomponente „0” ist und die vertiale Richtungskomponente „+400” ist, ist die Randerstreckungsrichtung die vertikale Richtung, wie in 4D dargestellt. Es sei angemerkt, dass man nur bestimmen muss, wie stark das Erstreckungssegment des Rands in der Randerstreckungsrichtung in Bezug auf das Bild gekippt ist. Daher ist die strikte Richtung nicht erforderlich, das heißt es ist nicht notwendig zu bestimmen, ob die Randerstreckungsrichtung in der vertikalen Richtung aufwärts oder abwärts ist.
Ähnlich wird die horizontale Richtungskomponente des Zielabschnitts 220b, wie in 4C dargestellt, in der Randrichtung berechnet gemäß (A + B) – (C + D) = (0 + 0) (200 + 200) = –400, während die vertikale Richtungskomponente in der Randrichtung gemäß (A + C) – (B + D) = (0 + 200) – (0 + 200) = 0 berechnet wird. Da der Absolutwert der horizontalen Richtungskomponente kleiner als 100 ist, wird der Zielabschnitt 220b als Rand bestimmt. Da die horizontale Richtungskomponente „–400” wird und die vertikale Richtungskomponente „+0” wird, ist die Randerstreckungsrichtung die horizontale Richtung, wie in 4E dargestellt.
Die oben beschriebene Konfiguration, worin eine halbe Region von der anderen halben Region in dem Block subtrahiert wird, kann einen Offset beseitigen und Rauschen der Luminanz, das in dem gesamten Block enthalten ist, kann beseitigt werden, wodurch der Rand richtig extrahiert werden kann. Die Randrichtung kann mit einer einfachen Berechnung nur mit Addition und Substraktion hergeleitet werden, wodurch die Rechenlast gering ist.
In der vorliegenden Ausführungsform könnte der Wähl- oder Votierungsbereich bei der Hough-Transformation manchmal basierend auf der hergeleiteten Randerstreckungsrichtung, wie oben beschrieben, durch die später beschriebene Spezifisches-Objekt-Bestimmungseinheit 164 beschränkt sein. In dem Fall, wo der hergeleitete Wert der horizontalen Richtungskomponente oder der hergeleitete Wert der vertikalen Richtungskomponente einfach als die Randrichtung verwendet wird, gibt es eine unbegrenzte Anzahl von Variationen in der Randrichtung. Dann ist es notwendig, den Wählbereich für eine unbegrenzte Anzahl der Variationen zu setzen.
Daher sind in der vorliegenden Ausführungsform die horizontale Richtungskomponente und die vertikale Richtungskomponente mit einer Einheitslänge definiert, um die Variationen in der Randrichtung zu vereinfachen. Insbesondere können die horizontale Richtungskomponente und die vertikale Richtungskomponente beide als eines von –1, 0 und +1 betrachtet werden. Durch diese Maßnahme kann die Randrichtung auf neun Zustände beschränkt werden, die acht Richtungen von jeweils 45° enthalten, und einen Zustand ohne Richtung, wo die horizontale Richtungskomponente und die vertikale Richtungskomponente beide 0 sind, wie in 4F dargestellt. Diese Konfiguration kann die Rechenlast der später beschriebenen Spezifisches-Objekt-Bestimmungseinheit 164 dramatisch reduzieren.
Die Positionsinformationserlangungseinheit 162 verwendet das Stereoverfahren zum Umwandeln von Parallaxeinformation für den Zielabschnitt 220 in dem Erfassungsbereich 122 des Abstandsbilds 126 in dreidimensionale Positionsinformation einschließlich der Breitenrichtung x, der Höhenrichtung y und der Tiefenrichtung z. Die Parallaxeinformation repräsentiert eine Parallaxe jedes Zielabschnitts 220 in dem Abstandsbild 126, wohingegen die dreidimensionale Positionsinformation Information über den relativen Abstand jedes Zielabschnitts 220 in der realen Welt repräsentiert. Wenn die Parallaxeinformation nicht von dem Pixel hergeleitet wird, sondern pro Block, das heißt von mehreren Pixeln, hergeleitet wird, kann eine Berechnung in Pixeleinheiten ausgeführt werden, wobei die Parallaxeinformation als solche über sämtliche Pixel, die zu einem Block gehören, betrachtet wird.
5 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation durch die Positionsinformationserlangungseinheit 162. Zunächst behandelt die Positionsinformationserlangungseinheit 162 das Abstandsbild 126 als Koordinatensystem in einer Pixeleinheit, wie in 5 gezeigt. In 5 dient die linke untere Ecke als Ursprung (0, 0). Die horizontale Richtung dient als i-Koordinatenachse und die vertikale Richtung als j-Koordinatenachse. Daher kann ein Pixel mit einer Parallaxe dp unter Verwendung einer Pixelposition i, j und der Parallaxe dp als (i, j, dp) repräsentiert werden.
Das dreidimensionale Koordinatensystem in der realen Welt wird gemäß der Ausführungsform anhand eines relativen Koordinatensystems betrachtet, worin das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite der Bewegungsrichtung des Fahrzeugs 1 wird als positive Richtung der X-Achse bezeichnet, die obere Seite des Fahrzeugs 1 als positive Richtung der Y-Achse bezeichnet, die Bewegungsrichtung des Fahrzeugs 1 (zur Vorderseite) als positive Richtung der Z-Achse bezeichnet, und der Schnittpunkt zwischen der Straßenoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildaufnahmevorrichtungen 110 durchgeht, ist als Ursprung (0, 0, 0) bezeichnet. Wenn man die Straße als flache Ebene annimmt, fällt die Straßenoberfläche mit der X-Z-Ebene (y = 0) zusammen. Die Positionsinformationserlangungseinheit 162 verwendet die unten gezeigten Formeln 1 bis 3 zum Umwandeln der Koordinate des Pixels (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt. x = CD/2 + z × PW × (i – IV) (Formel 1) y = CH + z × PW × (j – JV) (Formel 2) z = KS/dp (Formel 3)
Hier bezeichnet CD ein Intervall (Grundlinienlänge) zwischen den Bildaufnahmevorrichtungen 110, PW bezeichnet einen entsprechenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, den sogenannten Blickwinkel pro Pixel, CH bezeichnet eine Höhe der Bildaufnahmevorrichtung 110 von der Straßenoberfläche, IV und JV bezeichnen Koordinaten (Pixel) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1, und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Dementsprechend leitet die Positionsinformationserlangungseinheit 162 die Höhe von der Straßenoberfläche auf der Basis des relativen Abstands des Zielabschnitts 220 und des Erfassungsabstands in dem Abstandsbild 126 zwischen einem Punkt auf der Straßenoberfläche, der in dem gleichen relativen Abstand wie der Zielabschnitt 220 angeordnet ist, und dem Zielabschnitt her.
In der vorliegenden Ausführungsform wird die Hough-Transformation basierend auf dem Zielabschnitt 220 ausgeführt, der den von der Randextraktionseinheit 160 extrahierten Rand hat, und dem relativen Abstand z, der von der Positionsinformationserlangungseinheit 162 erhalten wird. Die in der vorliegenden Ausführungsform verwendete Hough-Transformation wird nachfolgend kurz beschrieben.
Die 6A bis 6E sind beispielhafte Darstellungen zur Erläuterung der Hough-Transformation. Es sei hier angenommen, dass drei Zielabschnitte 220c, 220d und 220e mit einem Rand aus dem Luminanzbild 124 extrahiert werden, wie in 6A dargestellt. Diese drei Zielabschnitte 220c, 220d und 220e sind ursprünglich Teil eines kreisförmigen spezifischen Objekts 222, wie etwa eines Straßenzeichens. Jedoch sei hier angenommen, dass das spezifische Objekt aus dem Luminanzbild 124 nicht klar als ein solches mit kreisförmiger Form bestimmt werden kann.
Die Hough-Transformation ist eine Technik zum Erfassen einer geometrischen Form wie etwa eines Kreises und einer geraden Linie aus einer Mehrzahl von Punkten. Sie beruht auf einer Theorie, dass eine Mitte eines Kreises, der durch einen beliebigen Zielabschnitt 220 hindurchgeht und der einen Radius N hat, auf einem Kreis mit dem Radius N um den beliebigen Zielabschnitt 220 herum liegt. Zum Beispiel liegt die Mitte des Kreises, der durch die drei Zielabschnitte 220c, 220d und 220e hindurchgeht, wie in 6A dargestellt, auf den jeweiligen Kreisen um die drei Zielabschnitte 220c, 220d und 220e herum. Jedoch kann der Radius N nur durch Information der Ränder nicht spezifiziert werden. Daher werden eine Mehrzahl von Radien N, jeweils mit unterschiedlicher Größe, vorbereitet. Die Auswahl oder Votierung erfolgt für Pixel auf jedem der Kreise mit dem Radius N unterschiedlicher Größe um jeden der drei Zielabschnitte 220c, 220d und 220e herum. Der Radius N und die Mitte des spezifischen Objekts werden mittels der Pixel spezifiziert, die die Anzahl von Votierungen hat, die gleich oder größer als ein vorab gesetzter vorbestimmter Wert ist.
Wie zum Beispiel in den 6B, 6C und 6D dargestellt, sind Kreise mit unterschiedlichen Radien N = 4, 5 und 6 um jeden der drei Zielabschnitte 220c, 220d und 220e herum gebildet, und die Votierung oder Wahl erfolgt für Pixel, die auf den Trajektorien der Kreise enthalten sind (dem Pixel wird ein Einheitsindex zugeordnet). Dementsprechend ist in 6B die Anzahl von Votierungen, die den zwei Pixeln 224 zugeordnet ist, 2 (es werden zwei Einheitsindizes zugeordnet). In 6C ist die Anzahl der den drei Pixeln 224 zugeordneten Votierungen 2, und ist die Anzahl der einem Pixel 226 zugeordneten Votierungen 3. Ähnlich ist in 6D die Anzahl der den sechs Pixeln 224 zugeordneten Votierungen 2.
In diesem Fall ist das Pixel, das die Votierungszahl 3 hat (was nicht kleiner als der vorbestimmte Wert ist), nur das Pixel 226. Daher wird dieses Pixel 226 als Mitte des Kreises definiert, der durch die drei Zielabschnitte 220c, 220d und 220e hindurchgeht, und der Radius N = 5 zum Herleiten des Pixels 226 kann als der Radius des Kreises spezifiziert werden. Auf diese Weise wird ein Kreis 228, der durch die drei Zielabschnitte 220c, 220d und 220e hindurchgeht, spezifiziert, wie in 6E dargestellt.
In der vorliegenden Ausführungsform wird die Hough-Transformation nicht nur unter Verwendung der Information ausgeführt, dass ein Pixel einen Rand hat, wie oben beschrieben, sondern auch des relativen Abstands in der Tiefenrichtung z des Zielabschnitts 220. Mit diesem Prozess kann der Radius N des spezifischen Objekts vorab spezifiziert werden. Nachfolgend wird die Spezifisches-Objekt-Bestimmungseinheit 164 beschrieben, welche diesen Prozess realisiert.
Die Spezifisches-Objekt-Bestimmungseinheit 164 begrenzt die einen Rand aufweisenden Zielabschnitte 220, die der Hough-Transformation unterzogen werden, vor der Ausführung der Hough-Transformation.
7 ein beispielhaftes Diagramm zur Erläuterung des Begrenzungsprozesses von Zielabschnitten durch die Spezifisches-Objekt-Bestimmungseinheit 164. Wenn ein spezifisches Objekt, für das die Bestimmung durchgeführt wird, ein solches ist, das nur an der Außenseite einer Fahrbahn vorhanden ist, wie etwa ein Straßenzeichen, führt die Spezifisches-Objekt-Bestimmungseinheit 164 die Hough-Transformation nur an jenen Zielabschnitten 220 durch, die in einer partiellen Suchregion 230 enthalten sind, ausschließlich eines schraffierten Bereichs in 7, wo kein Straßenzeichen vorhanden sein kann. Die partielle Suchregion 230 wird basierend auf dem relativen Abstand in der Breitenrichtung z und dem Abstand in der Höhenrichtung y von der Straßenoberfläche, die von der Positionsinformationserlangungseinheit 162 erhalten werden, definiert. Zum Beispiel liegt die partielle Suchregion 230 innerhalb des Bereichs, der mit einer einem Straßenstreifen entsprechenden Position definiert ist, wie etwa einem relativen Abstand in der Breitenrichtung z ≤ 100 m, und 1,0 m ≤ Abstand in der Höhenrichtung y von der Straßenoberfläche ≤ 5,0 m.
Dementsprechend wird die partielle Suchregion 230 durch eine Form repräsentiert, die von einem Unendlichkeitspunkt 232 im Luminanzbild 124 zu dem Fahrzeug 1 hin radial aufgespreizt ist. Auf diese Weise wird die Region, wo das spezifische Objekt nicht vorhanden ist, ausgeschlossen, um eine unnötige Hough-Transformation des Zielabschnitts 220 zu vermeiden, wodurch die Prozesslast reduziert wird und eine irrtümliche Erfassung verhindert werden kann, worin ein spezifisches Objekt in einer Region auftritt, wo es vermutlich nicht vorhanden ist.
Dann bezieht sich die Spezifisches-Objekt-Bestimmungseinheit 164 auf die Spezifisches-Objekt-Tabelle, die in der Datenhalteeinheit 152 gespeichert ist, um die Forminformation des der Prüfung unterzogenen spezifischen Objekts zu erhalten, und adaptiert die Forminformation an den relativen Abstand in der Tiefenrichtung z. Wenn zum Beispiel das spezifische Objekt ein Straßenzeichen ist, gibt die Forminformation an, dass das spezifische Objekt kreisförmig ist, und der Radius des Kreises 30 cm beträgt. Wenn das Straßenzeichen an der entsprechenden Position in der Tiefenrichtung z angeordnet ist, leitet die Spezifisches-Objekt-Bestimmungseinheit 164 die Länge des Radius (Pixelzahl) her, mit der das spezifische Objekt auf dem Luminanzbild 124 angezeigt wird, unter Verwendung der inversen Funktionen der Formeln (1) bis (3).
Wie beim Straßenzeichen gibt es ein spezifisches Objekt, dessen Größe durch eine Vorschrift oder eine Regel in Abhängigkeit vom Typ des spezifischen Objekts spezifiziert wird. Wenn in der vorliegenden Ausführungsform der relative Abstand in der Tiefenrichtung z hergeleitet wird, kann die Größe des auf dem Luminanzbild 124 erscheinenden spezifischen Objekts geschätzt werden.
Dann führt die Spezifisches-Objekt-Bestimmungseinheit 164 die Hough-Transformation an dem den Rand aufweisenden Zielabschnitt 220 unter Verwendung des Kreises mit dem hergeleiteten Radius durch.
Die 8A bis 8D sind beispielhafte Darstellungen zur Erläuterung des Hough-Transformations-Prozesses in der Ausführungsform der vorliegenden Ausführung. 8A stellt ein Luminanzbild 124 dar, 8B stellt eine Votierungstabelle 240 zum Wählen oder Votieren durch die Hough-Transformation dar, 8C ist eine Radiushaltetabelle 242, worin bei der Votierung einem votierten Pixel ein Radius N zugeordnet wird, und 8D stellt eine Form eines spezifischen Objekts dar, die letztendlich extrahiert wird. Eine gepunktete Linie in jeder Figur entspricht der Fahrbahn in 7.
Zum Beispiel sei angenommen, dass Zielabschnitte 220f, 220g, 220h, 220i, 220j und 220k, die einen Rand haben, aus dem Luminanzbild 124 in 8A extrahiert werden. Zur einfacheren Beschreibung werden die sechs Zielabschnitte 220 (220f bis 220k) näher betrachtet. Die Spezifisches-Objekt-Bestimmungseinheit 164 erhält den relativen Abstand in der Breitenrichtung z von jedem der Zielabschnitte 220f, 220g, 220h, 220i, 220j und 220k in 8A und erhält einen Radius N eines Kreises, auf dem die Hough-Transformation ausgeführt werden soll, basierend auf dem relativen Abstand in der Breitenrichtung z. Es sei hier angenommen, dass der Radius N der Zielabschnitte 220f, 220g und 220h 30 Pixel beträgt, und der Radius N der Zielabschnitte 220i, 220j und 220k 23 Pixel beträgt.
Die Spezifisches-Objekt-Bestimmungseinheit 164 bildet einen Kreis mit dem Radius N, der auf der Votierungstabelle 240 in 8B für jeden der Zielabschnitte 220f, 220g, 220h, 220i, 220j und 220k erhalten wurde, um jeden von diesen herum und führt die Votierung für alle Pixel auf dem Kreis mit dem Radius N durch. Daher wird jedem der Pixel, entsprechend den Kreisen in 8B, ein Einheitsindex zugeordnet, der angibt, dass hierfür die Votierung durchgeführt wurde. Hierbei wird in 8C dem Radius N bei der Votierung jedem Pixel, das einem votierten Pixel auf der angegebenen Radiushaltetabelle 242 entspricht, ein numerischer Wert zugeordnet. Es wird angemerkt, dass der Radius N in 8C nur eine bildliche Ansicht ist, und die Beziehung in 8C von der aktuellen Beziehung zwischen der Anzahl von Pixeln und dem Radius N unterschiedlich ist.
In der vorliegenden Ausführungsform kann der Radius des Kreises, von dem ein Teil der Zielabschnitt 220 ist, spezifiziert werden. Daher ist es nicht notwendig, die Votierungstabelle für jede Größe (Radius) einer Mehrzahl von unterschiedlichen Kreisen bereitzustellen, wie es herkömmlich erforderlich ist. Demzufolge kann ein unnötiger Hough-Transformations-Prozess vermieden werden, wodurch die Prozesslast verringert werden kann. Wenn jedoch, wie oben beschrieben, die Votierungstabellen 240 miteinander gruppiert werden, geht bei der Votierung die Information des Radius N verloren. Im Hinblick hierauf wird die Radiushaltetabelle 242, welche der Votierungstabelle 240 entspricht, ergänzend vorgesehen, wodurch ein spezifisches Objekt richtig spezifiziert werden kann.
Dann erfasst die Spezifisches-Objekt-Bestimmungseinheit 164 die Anzahl der Votierungen auf der Votierungstabelle 240. Wenn ein Pixel, dessen Votierungszahl nicht kleiner als der vorbestimmte Wert ist (zum Beispiel 20), erfasst wird, liest die Spezifisches-Objekt-Bestimmungseinheit 164 den Radius N (hier „30” und „23”), der einem Pixel auf der Radiushaltetabelle 242 entsprechend dem erfassten Pixel zugeordnet ist. Dann bildet die Spezifisches-Objekt-Bestimmungseinheit 164 einen Kreis 246 mit dem gelesenen Radius N um das Pixel 244 herum, dessen Votierungszahl nicht kleiner als der vorbestimmte Wert ist, und bestimmt diesen Kreis 246 als das spezifische Objekt, wie in 8D dargestellt.
Es könnte den Fall geben, wo ein Pixel ein Kandidat für Mitten von Kreisen in einer Mehrzahl von spezifischen Objekten ist. Dies ist der Fall, wo auf der Radiushaltetabelle 242 eine Mehrzahl von Radien N einem Pixel zugeordnet wird. Die vorliegende Ausführungsform benötigt nur ein spezifisches Objekt, das in einem Bild erkannt werden kann. Daher könnte nur einer der Mehrzahl von Radien N verwendet werden. In der vorliegenden Ausführungsform wird ein spezifisches Objekt verwendet, von dem erwartet wird, dass es sich im Vordergrund in dem Bild befindet. Allgemein, wenn es Straßenzeichen mit gleicher Größe gibt, wird das im Vordergrund angeordnete Straßenzeichen auf dem Bild größer angezeigt. Dementsprechend ist zu erwarten, dass die Anzahl von Votierungen für dieses Straßenzeichen groß ist. Wenn eine Mehrzahl von Radien N irgendeinem Pixel in der Radiushaltetabelle 242 zugeordnet wird, verwendet die Spezifisches-Objekt-Bestimmungseinheit 164 den Radius N mit der größeren Anzahl von Votierungen, um in der Lage zu sein, ein spezifisches Objekt zu extrahieren, das sich vermutlich im Vordergrund befindet.
Es könnte auch den Fall geben, wo die ein spezifisches Objekt angebenden Kreise jeweils eine andere Mitte haben und einander partiell überlappen. In diesem Fall wird ein spezifisches Objekt verwendet, von dem erwartet wird, dass es sich im Vordergrund im Bild befindet. Wenn es mehrere Straßenzeichen mit gleicher Größe gibt, ist allgemein das im Vordergrund befindliche größer, und dessen Mitte ist auf einem relativ tiefer liegenden Abschnitt im Bild angeordnet. Wenn daher die Anzahl der Votierungen erfasst wird, startet die Spezifisches-Objekt-Bestimmungseinheit 164 die Erfassung vom unteren Teil des Bilds aus. Dementsprechend bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164 zuerst ein spezifisches Objekt, das am unteren Abschnitt des Bilds angeordnet ist, und berücksichtigt das spezifische Objekt nicht, das hinter diesem spezifischen Objekt angeordnet ist. In der vorliegenden Ausführungsform soll das im Vordergrund angeordnete spezifische Objekt bevorzugt extrahiert werden, um durch die Fahrzeugsteuerungsvorrichtung 140 eine geeignete Steuerung auszuführen. Selbst wenn daher ein spezifisches Objekt im Hintergrund außerhalb der überlappenden spezifischen Objekte nicht berücksichtigt wird, wird die Steuerung kaum beeinflusst.
Nachfolgend wird eine weitere effiziente Hough-Transformation untersucht. Es ist bekannt geworden, dass, wenn ein spezifisches Objekt wie in der vorliegenden Ausführungsform kreisförmig ist, eine Tangentiallinie des Kreises senkrecht zu dem Segment ist, das den Tangentenpunkt und die Mitte des Kreises verbindet. Die Tangentiallinie des Kreises entspricht der Randerstreckungsrichtung in dem Zielabschnitt 220. Dementsprechend begrenzt die Spezifisches-Objekt-Bestimmungseinheit 164 eine Position, wo eine Mitte eines Kreises angeordnet ist, von dem ein Teil der einen Rand aufweisende Zielabschnitt 220 ist, auf einen vorbestimmten Bereich vertikal zu der Randerstreckungsrichtung des Zielabschnitts 220. Der vorbestimmte Bereich ist ein Winkelbereich, der in der vertikalen Richtung um den Zielabschnitt 220 herum radial gespreizt ist. Der Winkelbereich ist in der vorliegenden Ausführungsform auf 45° gesetzt.
Die 9A bis 9D sind beispielhafte Darstellungen zur Erläuterung eines anderen Votierungsprozesses durch die Spezifisches-Objekt-Bestimmungseinheit 164. Wenn zum Beispiel die Hough-Transformation an einem Zielabschnitt 220 durchgeführt wird, wird die Votierung für einen Kreis 246 durchgeführt, der durch eine unterbrochene Linie um den Zielabschnitt 220 herum angegeben wird, wie in 9A dargestellt. Da jedoch die Randerstreckungsrichtung 250 des Zielabschnitts 220 bestimmt wird, erscheint die Mitte des Kreises des spezifischen Objekts nur in Richtung vertikal zu der Randerstreckungsrichtung 250 des Zielabschnitts 220. Dementsprechend spezifiziert die Spezifisches-Objekt-Bestimmungseinheit 164 die Mitte des Kreises des spezifischen Objekts bei besonderer Betrachtung in Richtung vertikal zu der Randerstreckungsrichtung 250 des Zielabschnitts 220.
Da der Zielabschnitt 220 in Bezug auf das spezifische Objekt klein ist, ist die Randerstreckungsrichtung nicht immer gleich der Tangentiallinie des Kreises des spezifischen Objekts. Daher spezifiziert die Spezifisches-Objekt-Bestimmungseinheit 164 nicht nur die Richtung vertikal zur Randerstreckungsrichtung 250 des Zielabschnitts 220, sondern auch einen Teilkreis 252 in dem vorbestimmten Bereich als Kandidat der Mitte des Kreises, um eine Abweichung um einen vorbestimmten Winkel zu gestatten.
Die Randerstreckungsrichtung 250 wird hier durch die vier Richtungen mit einem Winkel von jeweils 45° repräsentiert, wie in 4F dargestellt. Daher gibt es, wie in den 9B bis 9D dargestellt, vier spezifische Muster von Teilkreisen 252 für die vier Richtungen der Randerstreckungsrichtung 250. Der Kreis 246, auf den eine Votierung abgestellt ist, wird auf den Teilkreis 252 beschränkt, wodurch die Prozesslast reduziert werden kann und somit die Spezifizierung verbessert werden kann. Ferner ist die Anzahl von Mustern zum Spezifizieren des Teilkreises 252 auf vier beschränkt, und daher kann die Prozesslast zum Erhalt des Musters reduziert werden und kann die Spezifizierungseffizienz noch weiter verbessert werden.
Ferner kann die Votierung in Bezug auf den Bereich vermieden werden, wo die Mitte des Kreises eines spezifischen Objekts nicht vorhanden ist, wodurch verhindert wird, dass die Mitte des Kreises des spezifischen Objekts aufgrund einer unangemessenen Votierung für das Pixel, wo die Mitte des Kreises des spezifischen Objekts nicht vermutet wird, irrtümlich erfasst wird. Somit bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164 ein spezifisches Objekt, das durch Forminformation angegeben wird.
(Umgebungserkennungsverfahren)
Nachfolgend werden bestimmte Prozesse, die von der Umgebungserkennungsvorrichtung 130 durchgeführt werden, basierend auf dem in den 10 bis 12 gezeigten Flussdiagramm erläutert. 10 stellt einen Gesamtablauf eines Unterbrechungsprozesses dar, wenn die Bildverarbeitungsvorrichtung 120 das Luminanzbild 124 überträgt. Die 11 und 12 stellen Unterroutinen darin dar. In dieser Beschreibung wird ein aus 2×2 Pixeln zusammengesetzter Block als Zielabschnitt 220 verwendet, und die untere linke Ecke des Luminanzbilds 124 mit 600×200 Pixeln und das Abstandsbild 126 ist der Ursprung. Der Prozess wird gemäß dem Umgebungserkennungsverfahren in einem Bereich von 1 bis 300 Blöcken in der horizontalen Richtung und 1 bis 100 Blöcken in der vertikalen Richtung des Bilds durchgeführt.
Wenn, wie in 10 gezeigt, gemäß dem Umgebungserkennungsverfahren in Antwort auf Empfang des Luminanzbilds 124 eine Unterbrechung auftritt, wird auf das von der Bildverarbeitungsvorrichtung 120 erhaltene Luminanzbild 124 Bezug genommen, wodurch die Hough-Transformation an dem Zielabschnitt 220 mit einem Rand durchgeführt wird, und die Votierung an der Votierungstabelle 240 und der Radiushaltetabelle 242 durchgeführt wird (S300). Nach der Votierung wird auf die Votierungstabelle 240 Bezug genommen, wodurch ein spezifisches Objekt bestimmt wird (S302). Nachfolgend werden die obigen Prozesse im Einzelnen erläutert.
(Votierungsprozess S300)
Wie in 11 gezeigt, liest die Randextraktionseinheit 160 eine vorbestimmte partielle Suchregion 230 basierend auf dem relativen Abstand in der Tiefenrichtung z und dem Abstand in der Höhenrichtung y von der Straßenoberfläche (S350). Die Randextraktionseinheit 160 initialisiert eine vertikale Variable j zum Spezifizieren des Zielabschnitts 220 (setzt sie auf „0”) (S352). Danach addiert die Randextraktionseinheit 160 zu der vertikalen Variable j eine „1” und initialisiert eine horizontale Variable i (setzt sie auf „0”) (S354). Dann addiert die Randextraktionseinheit 160 zu der horizontalen Variable i eine „1” (S356). Hier sind die horizontale Variable i und die vertikale Variable j vorgesehen, um den Votierungsprozess an allen Zielabschnitten 200 von 300 × 100 auszuführen.
Die Randextraktionseinheit 160 erhält die Luminanzen der 2×2 Pixel in dem Zielabschnitt (i, j) von dem Luminanzbild 124 (S358). Die Randextraktionseinheit 160 leitet die horizontale Richtungskomponente basierend auf der Formel (A + B) – (C + D) her (S360), und leitet die vertikale Richtungskomponente basierend auf der Formel (A + C) – (B + D) her (S362). Dann spezifiziert die Randextraktionseinheit 160 die Randerstreckungsrichtung durch die Vereinfachung der horizontalen Richtungskomponente und der vertikalen Richtungskomponente, und ordnet dem Zielabschnitt 220 einen Randerstreckungsrichtung-Identifizierer d zu (zum Beispiel eine der in 4F dargestellten Zahlen), der die Randerstreckungsrichtung indiziert, um hierdurch den Zielabschnitt als (i, j, d) zu definieren (S364).
Dann bezieht sich die Spezifisches-Objekt-Bestimmungseinheit 164 auf die in Schritt S350 gelesene partielle Suchregion 230, um zu bestimmen, ob der Zielabschnitt 220 in der partiellen Suchregion 230 enthalten ist oder nicht (S366). Wenn die Spezifisches-Objekt-Bestimmungseinheit 164 bestimmt, dass der Zielabschnitt 220 nicht in der partiellen Suchregion 230 enthalten ist (NEIN in S366), geht der Ablauf zu dem Bestimmungsprozess der horizontalen Variable in Schritt S376 weiter. Wenn der Zielabschnitt 220 in der partiellen Suchregion 230 enthalten ist (JA in S366), erlaubt die Spezifisches-Objekt-Bestimmungseinheit 164, dass die Positionsinformationserlangungseinheit 162 den relativen Abstand in der Tiefenrichtung z des Zielabschnitts 220 erhält (S368). Die Spezifisches-Objekt-Bestimmungseinheit 164 erhält die Forminformation des spezifischen Objekts von der Spezifisches-Objekt-Tabelle, die in der Datenhalteeinheit 152 gespeichert ist, und bearbeitet die Forminformation gemäß dem relativen Abstand in der Tiefenrichtung z (S370). Insbesondere erhält die Spezifisches-Objekt-Bestimmungseinheit 164 den Radius N eines Kreises, auf dem die Hough-Transformation ausgeführt werden sollte, basierend auf dem relativen Abstand in der Tiefenrichtung z.
Dann addiert die Spezifisches-Objekt-Bestimmungseinheit 164 zu einer Anzahl von Votierungen t eines Pixels (m, n, t) eine „1” (votiert für das Pixel (m, n, t)) auf einer Koordinate (m, n) des Teilkreises 252 mit dem Radius N innerhalb des vorbestimmten Bereichs (vorbestimmten Bereichs vertikal zur Randerstreckungsrichtung 250 des Zielabschnitts 220), der durch den Randerstreckungsrichtung-Identifizierer d in der Votierungstabelle 240 spezifiziert ist (S372). Hierbei wird in der Radiushaltetabelle 242 der Radius N bei der Votierung jedem Pixel (m, n, N ...) entsprechend dem votierten Pixel (m, n, t) zugeordnet.
Dann bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, ob die horizontale Variable i gleich oder größer als der Maximalwert der horizontalen Blöcke ist (in der vorliegenden Ausführung 300) (S376), und wenn die horizontale Variabel i kleiner als der Maximalwert ist (NEIN in S376), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable i in Schritt S356 wiederholt. Wenn die horizontale Variable i gleich oder größer als der Maximalwert ist (JA in S376), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, ob die vertikale Variable j gleich oder größer als der Maximalwert der vertikalen Blöcke ist oder nicht (in der vorliegenden Ausführung 100) (S378). Wenn dann die vertikale Variable j kleiner als der Maximalwert ist (NEIN in S378), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable j in Schritt S354 wiederholt. Wenn die vertikale Variable j gleich oder größer als der Maximalwert ist (JA in S378), wird der Votierungsprozess beendet. Auf diese Weise wird die Votierung durch die Hough-Transformation, die an dem Zielabschnitt 220 ausgeführt wird, abgeschlossen.
(Spezifisches-Objekt-Bestimmungsprozess S302)
Wie in 12 gezeigt, initialisiert die Spezifisches-Objekt-Bestimmungseinheit 164 eine vertikale Variable n zum Spezifizieren eines Pixels (setzt sie auf „0”) (S400). Anschließend addiert die Spezifisches-Objekt-Bestimmungseinheit 164 zu der vertikalen Variable n eine „1” und initialisiert eine horizontale Variable m (setzt sie auf „0”) (S402). Dann addiert die Vorläufiges-Spezifisches-Objekt-Bestimmungseinheit 164 zu der horizontalen Variable m eine „1” (S404).
Dann extrahiert die Spezifisches-Objekt-Bestimmungseinheit 164 das Pixel (m, n, t) und das Pixel (m, n, N ...) aus der Votierungstabelle 240 und der Radiushaltetabelle 242 (S406) und extrahiert den Radius N mit der größten Anzahl von Votierungen an einem oder einer Mehrzahl von Radien N (S408). Dann bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, ob die Anzahl von Votierungen t des extrahierten Radius N gleich oder größer als ein vorbestimmter Wert ist (S410). Wenn sie kleiner als der vorbestimmte Wert ist (NEIN in S410), geht der Ablauf zu dem Horizontale-Variable-Bestimmungsprozess in Schritt S414 weiter. Wenn die Anzahl von Votierungen t gleich oder größer als der vorbestimmte Wert ist (JA in S410), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, dass der Kreis mit dem Radius N um die Koordinate (m, n) des Pixels ein spezifisches Objekt ist (S412).
Dann bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, ob die horizontale Variable m gleich oder größer als der Maximalwert ist oder nicht (in dieser Ausführung 600) (S414). Wenn die horizontale Variable m kleiner als der Maximalwert ist (NEIN in S414), werden die Prozesse ab dem Inkrementierungsprozess der horizontalen Variable m in Schritt S404 wiederholt. Wenn die horizontale Variable m gleich oder größer als der Maximalwert ist (JA in S414), bestimmt die Spezifisches-Objekt-Bestimmungseinheit 164, ob die vertikale Variable n gleich oder größer als der Maximalwert der vertikalen Pixel (in dieser Ausführung 200) ist oder nicht (S416). Wenn die vertikale Variable n kleiner als der Maximalwert ist (NEIN in S416), werden die Prozesse ab dem Inkrementierungsprozess der vertikalen Variable n in Schritt S402 wiederholt. Wenn die vertikale Variable n gleich oder größer als der Maximalwert ist (JA in S416), wird der Spezifisches-Objekt-Bestimmungsprozess beendet. Auf diese Weise wird ein spezifisches Objekt spezifiziert.
Wie oben beschrieben ist der in der Umgebungserkennungsvorrichtung 130 angewendete Hough-Transformationsprozess gut aufbaut, wodurch die Prozesslast und der Speicherplatzbedarf im Speicher verringert werden können. Dementsprechend kann die Umgebungserkennungsvorrichtung 130 die Effizienz beim Spezifizieren eines Zielobjekts verbessern. Da insbesondere der relative Abstand in der Breitenrichtung z in der Hough-Transformation enthalten ist und der Radius N des Kreises, von dem ein Teil der Zielabschnitt 220 ist, eindeutig geschätzt wird, ist ein Hough-Transformationsprozess mit einem anderen Radius N unnötig. Da nur die Votierungstabelle 240 und die Radiushaltetabelle 242 in der Hough-Transformation verwendet werden, kann die Speicherkapazität signifikant verringert werden.
Da ferner die Zielabschnitte 220, die der Hough-Transformation unterzogen werden, auf die partielle Suchregion 230 beschränkt sind, kann ein unnötiger Hough-Transformationsprozess vermieden werden. Da ferner die Zielobjekte, an denen eine Votierung ausgeführt wird, auf den Teilkreis 252 beschränkt sind, kann die Prozesslast signifikant reduziert werden.
Zusätzlich vorgesehen sind auch ein Programm, um zu erlauben, dass ein Computer als Umgebungserkennungsvorrichtung 130 fungiert, sowie ein Speichermedium, wie etwa eine computerlesbare flexible Scheibe, eine magnetooptische Scheibe, ein ROM, eine CD, eine DVD, ein BD, welche das Programm speichern. Hier bedeutet das Programm eine Datenverarbeitungsfunktion, die in einer beliebigen Sprache oder einem beliebigen Deskriptionsverfahren beschrieben ist.
Während oben eine bevorzugte Ausführungsform der Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben worden ist, versteht es sich, dass die Erfindung nicht auf diese Ausführungsform beschränkt ist. Es versteht sich für den Fachkundigen, dass zahlreiche Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen.
In der obigen Ausführungsform wird unter Verwendung der Mehrzahl von Bildaufnahmevorrichtungen 110 die dreidimensionale Position des Zielobjekts basierend auf der Parallaxe zwischen Bilddaten hergeleitet. Jedoch ist die vorliegende Erfindung nicht auf einen solchen Fall beschränkt. Alternativ könnten zum Beispiel eine Vielzahl bekannter Abstandsmessvorrichtungen verwendet werden, wie etwa eine Laserradarabstandsmessvorrichtung. In diesem Fall emittiert die Laserradarabstandsmessvorrichtung einen Laserstrahl zum Erfassungsbereich 122, empfängt reflektiertes Licht, wenn der Laserstrahl das Objekt bestrahlt, und misst den Abstand zum Objekt basierend auf der hierfür benötigten Zeit.
In der oben beschriebenen Ausführungsform erhält die Bildaufnahmevorrichtung 110 ein Farbbild. Jedoch ist die Erfindung darauf nicht beschränkt. Die vorliegende Ausführungsform kann auch durch Erhalt eines monochromen Bilds realisiert werden.
Die obige Ausführungsform beschreibt ein Beispiel, worin die Positionsinformationserlangungseinheit 162 das Abstandsbild (Parallaxeinformation) 126 von der Bildverarbeitungsvorrichtung 120 empfängt und die dreidimensionale Positionsinformation erzeugt. Jedoch ist die vorliegende Erfindung nicht auf diesen Fall beschränkt. Die Bildverarbeitungsvorrichtung 120 kann auch vorab die dreidimensionale Positionsinformation erzeugen, und die Positionsinformationserlangungseinheit 162 kann die erzeugte dreidimensionale Positionsinformation erhalten. Diese Funktionsverteilung kann die Prozesslast der Umgebungserkennungsvorrichtung 130 verringern.
In der obigen Ausführungsform sind die Randextraktionseinheit 160, die Positionsinformationserlangungseinheit 162 und die Spezifisches-Objekt-Bestimmungseinheit 164 so konfiguriert, dass sie mit Software von der zentralen Steuerungseinheit 154 betrieben werden. Jedoch können die Funktionseinheiten auch mit Hardware konfiguriert sein.
Die Schritte des Umgebungserkennungsverfahrens müssen in dieser Beschreibung nicht notwendigerweise chronologisch gemäß der im Flussdiagramm beschriebenen Reihenfolge abgearbeitet werden. Die Schritte können auch parallel verarbeitet werden oder können Prozesse enthalten, welche Unterroutinen verwenden.
Die vorliegende Erfindung kann für eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren verwendet werden, um ein Zielobjekt basierend auf den Luminanzen des Zielobjekts in einem Erfassungsbereich zu erkennen.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren angegeben. Eine Umgebungserkennungsvorrichtung (130) speichert vorab Forminformation, die die Information über eine Form eines spezifischen Objekts ist; erhält eine Luminanz jedes von Zielabschnitten (220), die durch Unterteilen eines Erfassungsbereichs gebildet sind, und extrahiert einen einen Rand enthaltenden Zielabschnitt (220); erhält einen relativen Abstand des einen Rand enthaltenden Zielabschnitts (220); und bestimmt ein mit der Forminformation angegebenes spezifisches Objekt durch Ausführung einer Hough-Transformation des den Rand enthaltenden Zielabschnitts basierend auf der Forminformation gemäß dem relativen Abstand.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 10-283461 A [0002]
JP 2003-99762 A [0005]

Claims

Umgebungserkennungsvorrichtung umfassend: eine Datenhalteeinheit (152), die Forminformation speichert, die Information über eine Form eines spezifischen Objekts ist; eine Randextraktionseinheit (160), die eine Luminanz jedes von Zielabschnitten (220) erhält, die durch Unterteilen eines Erfassungsbereichs eines Luminanzbilds gebildet sind, und einen einen Rand bildenden Zielabschnitt (220) extrahiert; eine Positionsinformationserlangungseinheit (162), die einen relativen Abstand des einen Rand bildenden Zielabschnitts erhält; und eine Spezifisches-Objekt-Bestimmungseinheit (164), die ein mit der Forminformation angegebenes spezifisches Objekt durch Ausführung einer Hough-Transformation an einer Position des den Rand bildenden Zielabschnitts (220) basierend auf der Forminformation gemäß dem relativen Abstand bestimmt.
Umgebungserkennungsvorrichtung nach Anspruch 1, wobei die Form des spezifischen Objekts ein Kreis ist.
Umgebungserkennungsvorrichtung nach Anspruch 2, wobei die Spezifisches-Objekt-Bestimmungseinheit (164) eine Mitte eines Kreises, auf dem ein einen Rand bildender Zielabschnitt (220) liegt, unter Begrenzung des Vorhandenseins der Mitte in einem Bereich vertikal zu einer Richtung, in der sich der Rand erstreckt, spezifiziert.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Positionsinformationserlangungseinheit (162) auch eine Höhe des den Rand bildenden Zielabschnitts (220) von einer Straßenoberfläche erhält, und die Spezifisches-Objekt-Bestimmungseinheit (164) ein durch die Forminformation angegebenes spezifisches Objekt nur aus den Zielabschnitten, die in einer vorbestimmten partiellen Suchregion (230) enthalten sind, basierend auf dem relativen Abstand und der Höhe von der Straßenoberfläche, bestimmen kann.
Umgebungserkennungsverfahren umfassend: Vorhalten von Forminformation, die Information über eine Form eines spezifischen Objekts ist; Erhalten einer Luminanz jedes von Zielabschnitten (220), die durch Unterteilen eines Erfassungsbereichs eines Luminanzbilds gebildet sind, und Extrahieren eines einen Rand bildenden Zielabschnitts (220); Erhalten eines relativen Abstands des einen Rand bildenden Zielabschnitts (220); und Bestimmen eines mit der Forminformation angegebenen spezifischen Objekts durch Ausführung einer Hough-Transformation an einer Position des den Rand bildenden Zielabschnitts basierend auf der Forminformation gemäß dem relativen Abstand.