DE102014112820A1

DE102014112820A1 - Fahrzeugaußenumgebungerkennungsvorrichtung

Info

Publication number: DE102014112820A1
Application number: DE102014112820.6A
Authority: DE
Inventors: c/o FUJI JUKOGYO KABUSHIKI KAIS Kasaoki Seisuke
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-09-27
Filing date: 2014-09-05
Publication date: 2015-04-02
Also published as: US9349070B2; JP2015069381A; DE102014112820A9; US20150092989A1; CN104512333A; JP5906224B2; CN104512333B

Abstract

Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Dreidimensionale-Position-Herleitungsmodul 162, das dreidimensionale Positionen herleitet in einem realen Raum von Subjektteilen in Bildern, die erhalten werden durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul 164, das die Subjektteile, deren Differenzen in der dreidimensionalen Position innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Randintensität-Herleitungsmodul 168, das einen Bereich, der das Objekt enthält, horizontal unterteilt, um unterteilte Bereiche zu setzen, und einen Randdurchschnitt herleitet, der ein Durchschnittswert ist der Randintensitäten, basierend auf einem Luminanzwert von jedem Pixel innerhalb jedem der unterteilten Bereiche, und ein Schwebende-Materie-Identifizierungsmodul 170, das den Randdurchschnitt mit einem vorbestimmten Grenzwert vergleicht und das Objekt dahingehend identifiziert, wahrscheinlich schwebende Materie zu sein, wenn der Randdurchschnitt geringer ist als der Grenzwert.

Description

Die vorliegende Erfindung betrifft eine Fahrzeugaußenumgebungerkennungsvorrichtung, die ein spezifisches Objekt identifiziert, mit dem ein Objekt, das in einem Detektionsbereich existiert, korrespondiert.
Allgemein ist eine Technologie wie beispielsweise eine Kollisionsvermeidungssteuerung bekannt, die spezifische Objekte detektiert einschließlich eines anderen Fahrzeugs, das sich vor einem Fahrzeug befindet, und eine Kollision mit einem vorausfahrenden Fahrzeug vermeidet, sowie eine Technologie wie beispielsweise eine Fahrtsteuerung, die so steuert, dass ein Zwischenfahrzeugabstand mit einem vorausfahrenden Fahrzeug in einem sicheren Abstand gehalten wird (siehe zum Beispiel das japanische Patent Nr. 3,349,060 und die japanische ungeprüfte Patentanmeldungsveröffentlichung ( JP-A) Nr. 2010-224925 ).
Speziell bei kaltem Wetter und/oder in Orten großer Höhe können Nebelfetzen auf der Straßenoberfläche schweben oder weißes Auspuffgas kann von einem Auspuff des vorausfahrenden Fahrzeugs ausgestoßen werden und kann verbleiben, ohne sofort verteilt zu werden. Wenn die obigen bekannten Steuerungstechnologien verwendet werden, wird schwebende Materie wie beispielsweise Dampf oder Auspuffgas dahingehend falsch beurteilt, spezifische Objekte wie beispielsweise ein Fahrzeug oder ein Fußgänger zu sein, wodurch eine Stoppsteuerung oder eine Verzögerungssteuerung aktuiert werden kann, um den spezifischen Objekten auszuweichen.
Aus diesem Grund offenbart beispielsweise die JP-A Nr. 2009-110168 eine Technologie, die einen Durchschnitt von Abständen von Teilen eines detektierten Objekts berechnet und Variationen (Verteilungen) in den Abständen der Objektteile berechnet in Bezug auf den Durchschnitt, um zu bestimmen, dass das detektierte Objekt schwebende Materie ist wie beispielsweise Dampf oder Abgas, bezüglich dessen das Fahrzeug bei einer Kollision sicher ist, wenn die Variationen einen Grenzwert überschreiten. Zudem offenbart beispielsweise die JP-A Nr. 2012-243049 eine Technologie, die Subjektteile, die sich in einem Detektionsbereich befinden, als ein Objekt gruppiert, basierend auf relativen Abständen der Subjektteile, und bestimmt, ob das Objekt weiße schwebende Materie ist, basierend auf einem oder mehreren charakteristischen Beträgen wie beispielsweise einem Durchschnittswert, einer Varianz, einer Asymmetrie oder Kurtosis von Luminanz, erhalten aus einem Histogramm der Luminanz des Objekts.
In beispielsweise einem windstillen Zustand verbleibt die schwebende Materie wie beispielsweise Dampf oder Auspuffgas jedoch still und unbewegt auf der Straßenoberfläche. Da in einem solchen Fall die Variation des Abstandes von Teilen der schwebenden Materie klein wird, ist es schwierig, zwischen schwebender Materie und den spezifischen Objekten zu unterscheiden mittels der in der JP-A Nr. 2009-110168 offenbarten Technologie. Da zudem die Verteilungen im Abstand der schwebenden Materie eine große Variation von Mustern aufweisen kann, können die Verteilungen im Abstand, die typische Charakteristiken für schwebende Materie sind, nicht exakt erkannt werden basierend allein auf den Variationen, was zu einer vergleichsweise geringen Detektionsgenauigkeit der schwebenden Materie führt.
Des Weiteren kann beispielsweise, wenn farbiges Licht von Ampeln und/oder Straßenlichtern auf der schwebenden Materie reflektiert, so dass die schwebende Materie in den beleuchteten Farben glüht, die Detektionsgenauigkeit der schwebenden Materie nicht verbessert werden allein durch die Technologie des Bestimmens der Farbe von weiß, wie in der JP-A Nr. 2012-243049 offenbart.
Die vorliegende Erfindung wurde getätigt im Hinblick auf die oben beschriebenen Umstände und ihr liegt eine Aufgabe zugrunde, eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitzustellen, die exakt schwebende Materie wie beispielsweise Dampf oder Auspuffgas detektieren kann.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt, welche aufweist: ein Dreidimensionale-Position-Herleitungsmodul, das dreidimensionale Positionen im realen Raum von Subjektteilen herleitet in einem Bild, erhalten durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul, das die Subjektteile, deren Differenzen in der dreidimensionalen Position innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Randintensität-Herleitungsmodul, das einen Bereich, der das Objekt enthält, horizontal unterteilt, um unterteilte Bereiche zu setzen, und einen Randdurchschnitt herleitet, der ein Durchschnitt ist von Randintensitäten, basierend auf einem Luminanzwert von jedem Pixel innerhalb jedes der unterteilten Bereiche, und ein Schwebende-Materie-Identifizierungsmodul, das den Randdurchschnitt mit einem vorbestimmten Grenzwert vergleicht und das Objekt dahingehend identifiziert, wahrscheinlich schwebende Materie zu sein, wenn der Randdurchschnitt kleiner ist als der Grenzwert.
Das Randintensität-Herleitungsmodul kann den Randdurchschnitt herleiten basierend auf dem Luminanzwert von jedem Pixel innerhalb vorbestimmter Beurteilungsteile, die in dem unterteilten Bereich gesetzt werden. Die vorbestimmten Beurteilungsteile können in horizontalen Richtungen kontinuierlich sein und zu einer horizontalen Endseite des Objekts versetzt sein, während sie in den vertikalen Richtungen gleich voneinander beabstandet sind.
Jeder der Beurteilungsteile kann ein Pixel sein. Das Randintensität-Herleitungsmodul kann die Randintensität herleiten unter Verwendung eines Laplace-Filters eines Pixels, korrespondierend zu dem Beurteilungsteil, und zwei benachbarten Pixeln, die neben dem Beurteilungsteil sind auf der linken Seite, und zwei benachbarten Pixeln, die neben dem Beurteilungsteil sind auf der rechten Seite, wobei die Beurteilungsteile in horizontalen Richtungen kontinuierlich sind.
Das Randintensität-Herleitungsmodul kann den Randdurchschnitt herleiten pro Bildfeld und einen Median von Randdurchschnittswerten von drei aufeinanderfolgenden Bildern feststellen, der berechnet wird unter Verwendung von Medianfiltern, um der Randdurchschnitt zu sein, der zu verwenden ist von dem Schwebende-Materie-Identifizierungsmodul.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen, und nicht als Einschränkung gedacht, unter Bezug auf die Zeichnungen beschrieben, bei denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und in denen
1 ein Blockschaubild ist, das eine Verbindungsbeziehung eines Umgebungserkennungssystems zeigt,
2 ein funktionales Blockschaubild ist, das schematisch Funktionen einer Fahrzeugaußenumgebungerkennungsvorrichtung zeigt,
3A und 3B Darstellungen sind, die ein Luminanzbild und ein Abstandsbild zeigen,
4A und 4B Darstellungen sind, die Beurteilungsteile zeigen,
5 eine Darstellung ist, die einen Arbeitsablauf eines Randintensität-Herleitungsmoduls zeigt,
6 Aufzeichnungen sind, die einen Grenzwert darstellen, und
7 bis 9 Flussdiagramme sind, die einen Ablauf des gesamten Prozesses eines Verfahrens zum Erkennen einer Fahrzeugaußenumgebung zeigen.
Im Folgenden wird ein geeignetes Ausführungsbeispiel der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen beschrieben. Es ist zu beachten, dass Dimensionen, Materialien, spezielle numerische Werte und dergleichen, die in diesem Beispiel dargestellt sind, lediglich dem leichteren Verständnis der vorliegenden Erfindung dienen und dass diese Beispiele nicht dazu gedacht sind, die vorliegende Erfindung einzuschränken, soweit dies nicht anderweitig speziell beschrieben ist. Es ist zu beachten, dass in dieser Beschreibung und den beigefügten Zeichnungen Elemente, die im Wesentlichen die gleichen Funktionen und Konfigurationen haben, mit den gleichen Bezugszeichen bezeichnet sind, um redundante Erläuterungen wegzulassen, und dass Erläuterungen und Darstellungen von Elementen, die nicht direkt auf die vorliegende Erfindung bezogen sind, hierbei weggelassen werden.
In den vergangenen Jahren sind Fahrzeuge, die eine sogenannte Kollisionsvermeidungsfunktion (adaptive Fahrtsteuerung: ACC) aufweisen, in weitem Umfang verbreitet worden. Diese Funktion bildet die Straßenumgebung vor einem Fahrzeug durch Onboardkameras, die an dem Fahrzeug angebracht sind, ab, identifiziert Objekte wie beispielsweise vorausfahrende Fahrzeuge basierend auf Farbinformation und/oder Positionsinformation innerhalb des Bildes, um eine Kollision mit dem identifizierten Objekt zu vermeiden, und/oder hält einen Zwischenfahrzeugabstand mit dem vorausfahrenden Fahrzeug auf einem sicheren Abstand. Wenn das Objekt jedoch einfach identifiziert wird unter Verwendung der Bilder, kann schwebende Materie, die still und unbewegt auf einer Straßenoberfläche verbleibt, wie beispielsweise Dampf (Nebel) und Auspuffgas (Abgas), irrtümlich erkannt werden als ein spezifisches Objekt wie beispielsweise ein Fahrzeug und ein Fußgänger.
Obwohl die schwebende Materie erkannt werden kann basierend auf der Variation im Abstand und/oder der Weiße (dem Weißegrad) der schwebenden Materie, wie in bekannten Technologien, kann die Genauigkeit der Identifikation nicht verbessert werden, wenn die Variation im Abstand gering ist bei windstillen Bedingungen oder wenn Farben von Verkehrslichtern beziehungsweise Ampeln und/oder Straßenlichtern auf der schwebenden Materie reflektiert werden und die schwebende Materie so nicht als weiß erscheint. Dieses Beispiel verdeutlicht den Umstand, dass die schwebende Materie hierdurch einfach in der Farbe variieren kann, das heißt in anderen Worten, dass sie geringere Farbvariationsmuster aufweisen kann, und dass Intensitäten an den Rändern (Luminanzdifferenzen) vergleichsweise niedrig sind in Bezug auf andere normale spezifische Objekte. Einer der Zwecke dieses Ausführungsbeispiels ist es, die schwebende Materie zu detektieren basierend auf den Randintensitäten. Im Folgenden wird ein Umgebungserkennungssystem zum Erreichen eines solchen Zweckes beschrieben und eine Fahrzeugaußenumgebungerkennungsvorrichtung, die eine der Komponenten des Systems ist, wird insbesondere im Detail ebenfalls beschrieben.
(Umgebungserkennungssystem 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung eines Umgebungserkennungssystems 100 zeigt. Das Umgebungserkennungssystem 100 beinhaltet ein Paar Bildaufnahmevorrichtungen 110, eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 und eine Fahrzeugsteuerungsvorrichtung 130 (die typischerweise eine elektronische Steuereinheit (ECU) umfasst), die alle innerhalb eines Fahrzeugs 1 (im Folgenden einfach als „das Fahrzeug” bezeichnet) vorgesehen sind.
Jede Bildaufnahmevorrichtung 110 umfasst Bildsensorelemente wie beispielsweise ladungsgekoppelte Fotoelemente (CCDs) oder komplementäre Metalloxid-Halbleiter (CMOs). Die Bildaufnahmevorrichtung 110 kann die Umgebung vor dem Fahrzeug 1 abbilden, um ein Farbbild oder ein monochromes Bild zu erzeugen, bestehend aus drei Farben (R (rot), G (grün) und B (blau)). Hierbei wird das Farbbild, das von der Bildaufnahmevorrichtung 110 aufgenommen wird, als ein Luminanzbild bezeichnet und unterschieden von einem Abstandsbild, das später beschrieben wird.
Die zwei Bildaufnahmevorrichtungen 110 sind in Breitenrichtung so angeordnet, dass sie voneinander beabstandet sind, so dass die optischen Achsen der Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zueinander und in Richtung der Fahrtrichtung des Fahrzeugs 1 orientiert sind. Jede Bildaufnahmevorrichtung 110 erzeugt sequentiell Bilddaten (das heißt ein Bild), die erhalten werden durch Abbildungsobjekte, die in einem Detektionsbereich vor dem Fahrzeug 1 existieren, mit einem Bild jede 1/60 Sekunde (das heißt 6 fps (Bild pro Sekunde)). Es ist zu beachten, dass die zu erkennenden Objekte ein solides beziehungsweise festes Objekt beinhalten, das unabhängig existiert, wie beispielsweise ein anderes Fahrzeug, ein Fußgänger, eine Verkehrslichtzeichenanlage beziehungsweise ein Verkehrslicht (beispielsweise Ampel), eine Straße (ein Fahrtweg), eine Leitplanke und ein Gebäude, sowie ein Objekt, das identifiziert werden kann als Teil eines festen Objekts wie beispielsweise ein Hecklicht, ein Blinklicht, jedes lichtemittierende Teil der Verkehrslichtzeichenanlage beziehungsweise Ampel. Jedes funktionale Modul, das im Folgenden beschrieben wird, führt jeden Prozess aus für jedes Bild, getriggert durch beziehungsweise zum Erneuern solcher Bilddaten.
Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 erhält die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet eine Parallaxe her unter Verwendung von sogenanntem Musterabgleich, und ordnet die hergeleitete Parallaxeinformation (entsprechend einem Tiefenabstand, der später beschrieben wird) den Bilddaten zu, um das Abstandsbild zu erzeugen. Das Luminanzbild und das Abstandsbild werden später detailliert beschrieben. Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 identifiziert ein spezifisches Objekt, dem ein Objekt in dem Detektionsbereich vor dem Fahrzeug 1 entspricht, unter Verwendung der Luminanz des Objekts, basierend auf dem Luminanzbild und dem Tiefenabstand des Objekts von dem Fahrzeug 1, basierend auf dem Abstandsbild.
Wenn die Fahrzeugaußenumgebungerkennungsvorrichtung 120 das spezifische Objekt (beispielsweise ein vorausfahrendes Fahrzeug) identifiziert, bestimmt es, ob die Möglichkeit, dass das spezifische Objekt mit dem Fahrzeug 1 kollidiert, hoch ist, während es das spezifische Objekt nachverfolgt. Wenn hierbei die Fahrzeugaußenumgebungerkennungsvorrichtung 120 bestimmt, dass die Möglichkeit einer Kollision hoch ist, gibt die Fahrzeugaußenumgebungerkennungsvorrichtung 120 daraufhin einer Fahrzeugbedienperson (Fahrer) eine Warnanzeige (Information) der Möglichkeit durch eine Anzeigeeinheit 122, die vor dem Fahrer installiert ist, und gibt Information aus, die die Möglichkeit anzeigt, an die Fahrzeugsteuerungsvorrichtung 130.
Die Fahrzeugsteuerungsvorrichtung 130 empfängt Betätigungseingaben durch den Fahrer durch ein Lenkrad 132, ein Beschleunigungs- oder Gaspedal 134 und ein Bremspedal 136 und steuert dann das Fahrzeug 1 durch Übertragen der empfangenen Eingänge auf einen Lenkmechanismus 142, einen Antriebsmechanismus 144 und einen Bremsmechanismus 146. Die Fahrzeugsteuerungsvorrichtung 130 steuert auch den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend den Instruktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120.
Im Folgenden wird eine Konfiguration der Fahrzeugauflenumgebungerkennungsvorrichtung 120 im Detail beschrieben. Es ist zu beachten, dass nur Prozesse des Identifizierens eines Objekts, das schwebende Materie ist, welches ein spezielles Merkmal dieser Erfindung ist, im Folgenden im Detail beschrieben wird und dass somit die Beschreibung anderer Konfigurationen, die nicht auf dieses spezielle Merkmal bezogen sind, bei diesem Ausführungsbeispiel weggelassen wird.
(Fahrzeugaußenumgebungerkennungsvorrichtung 120)
2 ist ein funktionales Blockschaubild, das schematisch die Funktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120 zeigt. Wie in 2 dargestellt, umfasst die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine Schnittstelle-(I/F)-Einheit 150, eine Datenhalteeinheit 152 und eine Zentralsteuereinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle, die bidirektionale Informationsaustausche durchführt mit den Bildaufnahmevorrichtungen 110 und/oder der Fahrzeugsteuerungsvorrichtung 130. Die Datenhalteeinheit 152 umfasst einen oder mehrere RAMs, einen oder mehrere Flashspeicher, ein oder mehrere HDDs, und so weiter. Die Datenhalteeinheit 152 hält verschiedene Informationen, die erforderlich sind für den Prozess jedes funktionalen Moduls, das nachfolgend beschrieben wird. Zudem hält die Datenhalteeinheit 152 temporär die Bilddaten, die von den Bildaufnahmevorrichtungen 110 empfangen werden.
Die Zentralsteuereinheit 154 umfasst einen oder mehrere integrierte Schaltkreise einschließlich einer oder mehrerer Zentralsteuereinheiten (CPUs), eine oder mehrere ROMs, in denen ein oder mehrerer Programme oder dergleichen gespeichert werden, und eine oder mehrere RAMs oder dergleichen als Arbeitsbereiche. Die Zentralsteuereinheit 154 steuert beispielsweise die I/F-Einheit 150, die Datenhalteeinheit 152 und dergleichen durch einen Systembus 156. Zudem funktioniert die Zentralsteuereinheit 154 dieses Ausführungsbeispiels ebenfalls als ein Bildverarbeitungsmodul 160, ein Dreidimensionale-(3D)-Position-Herleitungsmodul 162, ein Objektidentifizierungsmodul 164, ein Beurteilungsteilbestimmungsmodul 166, ein Randintensität-Herleitungsmodul 168 und ein Schwebende-MaterieIdentifizierungsmodul 170. Als nächstes werden die Funktionen beschrieben in der Reihenfolge der Bildverarbeitung, des Objektidentifikationsprozesses und des Schwebende-Materie-Identifikationsprozesses, basierend auf den allgemeinen Zwecken dieser funktionalen Module.
(Bildverarbeitung)
Das Bildverarbeitungsmodul 160 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und extrahiert irgendeinen von Blöcken (beispielsweise hat jeder Block eine Matrix von 4 Pixel in horizontaler Richtung × 4 Pixel in vertikaler Richtung) von den Bilddaten, erzeugt von einer der zwei Bildaufnahmevorrichtungen 110, und sucht daraufhin einen Block in den Bilddaten, die von der anderen Bildaufnahmevorrichtung 110 erzeugt wurden, der dem extrahierten Block entspricht. Durch Verwenden von sogenanntem Musterabgleich leitet das Bildverarbeitungsmodul 160 die Parallaxe her. Es ist zu beachten, dass der Begriff „horizontal”, wie er hierin verwendet wird, die Breitenrichtungen einer Bildflächenoberfläche betreffen kann, und der Begriff „vertikal”, wie er hierin verwendet wird, kann die vertikalen Richtungen der Bildflächenoberfläche betreffen, senkrecht zu den horizontalen Richtungen.
Der Musterabgleich kann Vergleiche umfassen zwischen den zwei Sätzen von Bilddaten in der Luminanz (Y-Farbdifferenzsignale) für jeden Block, der irgendeinen von Bildorten wiedergibt. Genauer gesagt, der Musterabgleich kann Technologien umfassen wie beispielsweise SAD (Summe der absoluten Differenz), in der Differenzen in der Luminanz berechnet werden, SSD (Summe der quadrierten Intensitätsdifferenz), in der Differenzen quadriert werden, bevor sie verwendet werden, und NCC (normalisierte Kreuzkorrelation), in der Ähnlichkeiten von Varianzen, die erhalten werden durch Subtrahieren von Durchschnittswerten der Luminanz der Pixel von der Luminanz von jedem Pixel. Das Bildverarbeitungsmodul 160 führt einen solchen Block-für-Block-Parallaxeherleitungsprozess für alle Blöcke durch, die dem Detektionsbereich entsprechen (zum Beispiel 600 Pixel in der horizontalen Richtungen × 180 Pixel in der vertikalen Richtung). Es ist zu beachten, dass in diesem Beispiel der Block eine Matrix aufweist von 4 Pixel in der horizontalen Richtung × 4 Pixel in der vertikalen Richtung, dass jedoch jeder Block irgendeine Anzahl von Pixeln aufweisen kann.
Es ist zu beachten, dass das Bildverarbeitungsmodul 160 die Parallaxe herleiten kann für jeden Block, der der kleinsten Einheit der Detektionsauflösung entspricht, dass es jedoch nicht erkennen kann, mit welchem Teil von was der Block korrespondiert. Aus diesem Grund wird die Parallaxeinformation unabhängig hergeleitet nicht pro Objekt, sondern pro Detektionsauflösung (beispielsweise pro Block) in dem Detektionsbereich. Es ist zu beachten, dass der Begriff „Abstandsbild”, wie er hierin verwendet wird, sich auf das Bild bezieht, das erhalten wird durch Zuordnen der Bilddaten mit der Parallaxeinformation (entsprechend dem später beschriebenen Tiefenabstand), hergeleitet in der zuvor beschriebenen Weise.
Die 3A und 3B sind Darstellungen, die ein Luminanzbild 210 und ein Abstandsbild 212 zeigen. Es sei beispielsweise angenommen, dass die Luminanzbilder 210 (Bilddaten), die einem Detektionsbereich 214 entsprechen, erzeugt werden durch die zwei Bildaufnahmevorrichtungen 110. Zum leichteren Verständnis ist, wie in 3A gezeigt, nur eines der zwei Luminanzbilder 210, erzeugt von den Bildaufnahmevorrichtungen 110, schematisch dargestellt. In diesem Beispiel berechnet das Bildverarbeitungsmodul 160 die Parallaxe für jeden Block von solchen Luminanzbildern 210 und bildet das Abstandsbild 212, wie in 3B gezeigt. Die Parallaxe wird jedem korrespondierenden Block in dem Abstandsbild 212 zugeordnet. Zum Zwecke der Erläuterung sind Blöcke, für die Parallaxen hergeleitet sind, durch schwarze Punkte wiedergegeben.
Zurückkehrend zu 2 wandelt das 3D-Position-Herleitungsmodul 162 die Parallaxeinformation für jeden Block in dem Detektionsbereich 214 um in dreidimensionale (3D) Positionsinformation im realen Raum einschließlich einem horizontalen (in Breitenrichtung) Abstand, einer Höhe und einem Tiefenabstand, durch Verwendung eines sogenannten Stereoverfahrens, basierend auf dem Abstandsbild 212, erzeugt von dem Bildverarbeitungsmodul 160. Es ist zu beachten, dass das Stereoverfahren dazu dient, den Tiefenabstand eines Subjektteils in Bezug auf die Bildaufnahmevorrichtungen 110 herzuleiten, basierend auf der Parallaxe des Subjektteils in dem Abstandsbild 212, durch Verwendung eines Triangulationsverfahrens. Hierbei leitet das 3D-Position-Herleitungsmodul 162 die Höhe des Subjektteils von einer Straßenoberfläche her basierend auf dem Tiefenabstand des Subjektteils, und einen Detektionsabstand auf dem Abstandsbild 212 zwischen dem Subjektteil und einem Ortspunkt auf der Straßenoberfläche an dem gleichen Tiefenabstand wie der Tiefenabstand des Subjektteils. Daraufhin wird die hergeleitete 3D-Positionsinformation wiederum dem Abstandsbild 212 zugeordnet. Da verschiedene Technologien bekannt sind, die angewandt werden können für den Herleitungsprozess des Tiefenabstands und/oder des Identifikationsprozesses der 3D-Position, wird die Beschreibung hiervon weggelassen.
(Objektidentifikationsprozess)
Das Objektidentifizierungsmodul 164 gruppiert die Subjektteile (Pixel und Blöcke) innerhalb des Detektionsbereichs 214 unter Verwendung der 3D-Positionsinformation basierend auf dem Abstandsbild 212, um ein Objekt zu identifizieren. Genauer gesagt, das Objektidentifizierungsmodul 164 wählt irgendeinen von den Subjektteilen als einen Referenzpunkt und gruppiert das ausgewählte Subjektteil mit anderen Subjektteilen, deren Differenzen in dem horizontalen Abstand, Differenzen in der Höhe und Differenzen in dem Tiefenabstand innerhalb eines vorbestimmten Bereichs sind, um diese Subjektteile zu einem einheitlichen Objekt zu machen. Es ist zu beachten, dass der vorbestimmte Bereich ausgedrückt werden kann durch Abstände im realen Raum und gesetzt werden kann auf irgendwelche Werte (zum Beispiel 1,0 m). Des Weiteren gruppiert das Objektidentifizierungsmodul 164 einfach das neu hinzugefügte Subjektteil durch vorheriges Gruppieren mit anderen Subjektteilen, deren Differenzen in dem horizontalen Abstand, Differenzen in der Höhe und Differenzen in dem Tiefenabstand innerhalb des vorbestimmten Bereichs sind, unter Verwendung des neu hinzugefügten Subjektteils als einen Referenzpunkt. Als ein Resultat werden alle Subjektteile als ein einheitliches Objekt gruppiert, wenn die Abstände in dem vorbestimmten Bereich sind.
(Schwebende-Materie-Identifikationsprozess)
Als nächstes werden Randintensitäten der Objekte hergeleitet und das Objekt wird dann dahingehend bestimmt, ob es schwebende Materie ist, basierend auf den hergeleiteten Ergebnissen.
Das Beurteilungsteilbestimmungsmodul 166 bestimmt ein Teil, das bezüglich der Randintensität zu beurteilen ist (im Folgenden bezeichnet als „das Beurteilungsteil”), für das Objekt, das dahingehend zu bestimmen ist, ob es schwebende Materie ist.
Die 4A und 4B sind Darstellungen, die das Beurteilungsteil zeigen. Wie in 4A gezeigt, schließt das Beurteilungsteilbestimmungsmodul 166 als erstes das Objekt in einem Rechteck 220 ein, so dass das Rechteck horizontale und vertikale Endpunkte des Objekts enthält, und setzt Bereiche, die erhalten werden durch horizontales und gleiches Teilen des Rechtecks 220 in drei Teile (hier werden sie bezeichnet als unterteilte Bereiche 222a, 222b und 222c von links auf der Bildfläche). Der folgende Prozess wird durchgeführt für jeden der unterteilen Bereiche 222a, 222b und 222c.
Wie in 4B gezeigt, setzt das Beurteilungsteilbestimmungsmodul 166 mehrere Streifen 224 (hier 25 Streifen) für jeden der unterteilten Bereiche 222a, 222b und 222c. Die Streifen 224 verlaufen in den horizontalen Richtungen und sind so angeordnet, dass sie im Wesentlichen gleich voneinander beabstandet sind in den vertikalen Richtungen.
Beispielsweise hat jeder Streifen 224 eine horizontale Länge von 25 Pixeln und eine vertikale Länge von 1 Pixel. Es ist zu beachten, dass die Streifen 224 „im Wesentlichen” gleich in den vertikalen Richtungen voneinander beabstandet sind, da ein Bruchteil oder ein Rest erzeugt werden kann, abhängig von der Anzahl der Pixel des Objekts in den vertikalen Richtungen, wenn die Streifen 224 „exakt” gleich beabstandet sind. Wenn beispielsweise eine vertikale Länge von jedem der unterteilten Bereiche 222a, 222b und 222c 25 + 24 xn (n ist eine ganze Zahl) ist, können die Streifen 224 gleich geteilt werden in den vertikalen Richtungen mit einem Spalt von „n” Pixeln zwischen benachbarten Streifen 224. Wenn jedoch die vertikale Länge ein anderer Wert ist, werden die Intervalle der Streifen 224 ungerade. In einem solchen Fall werden die Intervalle der Streifen 224 so gesetzt, dass sie um ±1 Pixel variieren. Wenn beispielsweise das Objekt 100 Pixel in den vertikalen Richtungen hat, gibt es vierundzwanzig 3-Pixel Intervalle und ein 4-Pixel Intervall. Es ist zu beachten, dass jegliche Werte ausgewählt werden können für die Anzahl der Pixel von jedem Streifen 224 in den horizontalen Richtungen und den vertikalen Richtungen und die Anzahl von Streifen 224 von jedem der unterteilten Bereiche 222a, 222b und 222c, ohne die oben beschriebenen Werte zu begrenzen.
Zudem können die horizontalen Positionen der Streifen 224 innerhalb der unterteilten Bereiche 222a, 222b und 222c differieren unter den unterteilten Bereichen 222a, 222b und 222c. Beispielsweise können die Streifen 224 zu einem horizontalen Ende des Objekts hin versetzt sein. Genauer gesagt, wie in 4B gezeigt, sind die Streifen 224 gebildet von dem linken Ende des unterteilten Bereichs 222a, das an der linken Seite der Bildfläche angeordnet ist, die Streifen 224 sind gebildet von dem rechten Ende des unterteilten Bereichs 222c, der an der rechten Seite der Bildfläche angeordnet ist, und die Streifen 224 sind gebildet an der horizontalen Mitte des unterteilten Bereichs 222b, der in der Mitte der Bildfläche angeordnet ist, so dass die Streifen 224 in den unterteilten Bereichen 222a und 222c so ausgerichtet sind, dass sie gleiche Spalte von den Streifen 224 in dem mittleren unterteilten Bereich 222b haben. In diesem Beispiel dient jedes Pixel in den so gebildeten Streifen 224 als das Beurteilungsteil. Die Verteilung der Luminanzwerte des Objekts kann daher bestimmt werden über das gesamte Objekt in einem Zustand, in dem die horizontalen Enden, an denen Ränder tendieren zu erscheinen, in die Bestimmung eingeschlossen sind.
Das Randintensität-Herleitungsmodul 168 leitet zunächst Luminanzdifferenzen her zwischen benachbarten Pixeln durch Anwenden von Laplace-Filtern auf das Beurteilungsteil, das von dem Beurteilungsteilbestimmungsmodul 166 bestimmt wurde, und verwendet die Luminanzdifferenzen als Randintensitäten.
5 ist ein Schaubild, das die Funktionen des Randintensität-Herleitungsmoduls 168 zeigt. Hier wird, wie in dem oberen Teil (a) von 5 gezeigt, einer der in 4B gezeigten Streifen 224 ausgewählt als ein Beispiel, um den Herleitungsprozess der Randintensität zu beschreiben. Wie in dem unteren Teil (b) von 5 gezeigt, erhält der Laplace-Filter in diesem Beispiel die Randintensität von einem Pixel 230, das dem betreffenden Beurteilungsteil entspricht, basierend auf dem Pixel 230 und den zwei benachbarten Pixeln 232, die auf der linken und rechten Seite horizontal am nächsten an dem Pixel 230 gelegen sind (das heißt zwei Pixel 232 auf der linken Seite des Pixels 230 und zwei Pixel 232 auf der rechten Seite des Pixels 230). Daher werden, wie in dem Teil (b) von 5 gezeigt, zwei zusätzliche Pixel benötigt an sowohl dem linken als auch dem rechten Ende eines Streifens 224, um die Randintensität des Beurteilungsteils, das aus 25 Pixeln besteht, die sich durch den Streifen 224 erstrecken, zu erhalten (das heißt, eine Gesamtanzahl von 29 Pixeln wird benötigt).
Als nächstes multipliziert das Randintensität-Herleitungsmodul 168 den Luminanzwert des Pixels 230, das dem Beurteilungsteil entspricht, mit vier, und subtrahiert dann die Luminanzwerte aller vier Pixel 232 (zwei Pixel auf der linken und zwei Pixel auf der rechten Seite) von dem multiplizierten Luminanzwert des Pixels 230 (jedes hat einen Effekt von x – 1). Gemäß einer solchen Berechnung wird die Randintensität überhöht, wenn die Luminanzwerte unterschiedlich sind zwischen dem Pixel 230, das dem Beurteilungsteil entspricht, und den benachbarten vier Pixeln 232, und andererseits, wenn die Luminanzwerte im Wesentlichen gleich zueinander sind, kommt die Randintensität nahe an den Wert Null heran. Eine solche Randintensitätsberechnung wird 1875 Mal ausgeführt (= 25 Pixel × 25 Streifen × 3 unterteilte Bereiche). In diesem Beispiel kann die Prozesslast und die Prozesszeit gleich behalten werden durch Fixieren der Anzahl von den Beurteilungsteilen, unabhängig von der Größe des Objekts.
Als nächstes leitet das Randintensität-Herleitungsmodul 168 einen Durchschnittswert der Randintensitäten her für jeden der unterteilten Bereiche 222a, 222b und 222c. Genauer gesagt, das Randintensität-Herleitungsmodul 168 integriert alle Randintensitäten der Beurteilungsteile von 625 Pixeln (= 25 Pixel/Streifen × 25 Streifen), die in jedem der drei unterteilten Bereiche 222a, 222b und 222c von links, Mitte und rechts enthalten sind, und teilt daraufhin jede integrierte Randintensität durch die Anzahl von Beurteilungsteilen (das heißt 625). Somit kann ein Durchschnittswert der Randintensitäten (im Folgenden als „der Randdurchschnitt” bezeichnet) hergeleitet werden für jeden der drei unterteilten Bereiche 222a, 222b und 222c. Die so hergeleiteten Randdurchschnitte werden verwendet zum Bestimmen der schwebenden Materie.
Es ist zu beachten, dass, wenn der Randdurchschnitt einfach angenommen wird zum Bestimmen für jedes Bild, ein unvorhersehbarer Randdurchschnitt, der im Wesentlichen nicht angenommen werden sollte, unabsichtlich in der Bestimmung reflektiert werden kann, wie er ist. Das Randintensität-Herleitungsmodul 168 gemäß diesem Ausführungsbeispiel verwendet daher einen Medianfilter, um einen Median (den zweitkleinsten Wert oder den zweitgrößten Wert) der Randdurchschnittswerte, die in drei aufeinanderfolgenden Bildern, bestehend aus einem aktuellen Bild, einem vorherigen Bild und einem nächsten Bild, hergeleitet werden, als den Randdurchschnitt in dem aktuellen Bild auszuwählen. Daher wird der Randdurchschnitt von einem Bild insgesamt drei Mal verwendet, da der Randdurchschnitt auch verwendet wird im vorherigen Bild und in dem nächsten Bild. Es ist zu beachten, dass, da ein Startbild der Herleitung des Randdurchschnittes nicht ein vorheriges Bild hat, der Randdurchschnitt von lediglich diesem Anfangsbild verwendet wird als der finale Randdurchschnitt, ohne dass der Medianfilter verwendet wird.
Somit wird ein Randdurchschnitt des aktuellen Bildes ersetzt durch einen anderen Randdurchschnitt von entweder einem von dem vorherigen oder dem nächsten Bild, selbst wenn der Randdurchschnitt des aktuellen Bildes ein unvorhersehbarer Wert ist. Die Randdurchschnitte können daher erhalten werden ohne irgendwelche abrupten Variationen in ihren Werten über die Zeit.
Das Schwebende-Materie-Identifizierungsmodul 170 vergleicht für jedes Bild den von dem Randintensität-Herleitungsmodul 168 hergeleiteten Randdurchschnitt mit einem vorbestimmten Grenzwert und gibt einen Punkt dementsprechend, ob der Randdurchschnitt geringer ist als ein Grenzwert, gleich dem Grenzwert ist oder größer als der Grenzwert. Das Schwebende-Materie-Identifizierungsmodul 170 integriert dann die Punkte. Wenn zum Beispiel der Randdurchschnitt geringer ist als der Grenzwert, wird +1 Punkt integriert (das heißt 1 Punkt wird hinzugefügt), und wenn der Randdurchschnitt gleich ist oder größer als der Grenzwert, wird –1 Punkt integriert (das heißt es wird 1 Punkt subtrahiert).
6 sind Aufzeichnungen, die den Grenzwert zeigen. Es ist zu beachten, dass ein zentraler Wert oder Mittelwert einer Differenz in der Randintensität zwischen der schwebenden Materie und einem allgemeinen spezifischen Objekt (zum Beispiel einem anderen Fahrzeug oder einem Fußgänger) als der Grenzwert verwendet werden kann. Experimentalwerte von den Randintensitäten der Tiefenabstände von Fahrzeugen, Fußgängern und schwebender Materie sind beispielhaft in 6 dargestellt. Wie sich unter Bezug auf 6 versteht, sind die Randintensitäten von schwebender Materie vergleichsweise kleiner als die Randintensitäten von Fahrzeugen und Fußgängern. Hier wird es möglich sein, schwebende Materie von Fahrzeugen und Fußgängern grob zu unterscheiden, indem der Grenzwert beispielsweise auf 8 gesetzt wird. Zudem wird der Grenzwert unabhängig bereitgestellt für jeden der unterteilten Bereiche 222a, 222b und 222c entsprechend den Charakteristiken der unterteilten Bereiche.
Daraufhin bestimmt das Schwebende-Materie-Identifizierungsmodul 170, ob der integrierte Punkt 11 Punkte ist oder größer. Wenn der integrierte Punkt 11 Punkte ist oder größer, bestimmt das Schwebende-Materie-Identifizierungsmodul 170, dass das Objekt wahrscheinlich schwebende Materie ist. Es ist zu beachten, dass der integrierte Punkt versehen ist mit beispielsweise einer oberen Grenze von 20 Punkten und einer unteren Grenze von –10 Punkten. Da die obere und untere Grenze derart bereitgestellt sind, wird ein Absolutwert des Punktes nicht zu groß, selbst wenn ein Zeitintervall, in dem die schwebende Materie nicht detektiert wurde, oder ein Zeitintervall, in dem die schwebende Materie detektiert wurde, zu lang wird. Wenn daher die Detektion der schwebenden Materie wechselt zwischen dem Fall, dass schwebende Materie existiert, und dem Fall, dass schwebende Materie nicht existiert, kann die Existenz und die Nichtexistenz schnell bestimmt werden.
(Verfahren des Erkennens von Fahrzeugaußenumgebung)
Die 7 bis 9 sind Flussdiagramme, die einen Ablauf des gesamten Prozesses eines Verfahrens des Erkennens einer Fahrzeugaußenumgebung entsprechend des Ausführungsbeispiels zeigen. Dieses Verfahren des Erkennens der Fahrzeugaußenumgebung wird Bild für Bild durchgeführt. Zuerst, wie in 7 gezeigt, akquiriert das Bildverarbeitungsmodul 160 die Bilddaten von jeder der beiden Bildaufnahmevorrichtungen 110 und leitet die Parallaxeinformation her unter Verwendung des Musterabgleichs, um das Abstandsbild 212 zu erzeugen, das den Bilddaten zugeordnet ist (S300). Das 3D-Position-Herleitungsmodul 162 leitet 3D-Positionen von mehreren Subjektteilen im realen Raum her in den Bildern des Detektionsbereichs 214 (S302). Als nächstes gruppiert das Objektidentifizierungsmodul 164 die Subjektteile, deren Differenzen in der 3D-Position innerhalb eines vorbestimmten Bereichs sind, um ein Objekt zu identifizieren (S304).
Als nächstes bestimmt das Beurteilungsteilbestimmungsmodul 166 Beurteilungsteile, die für die Randintensitätbestimmung zu verwenden sind, für das von dem Objektidentifizierungsmodul 164 identifizierte Objekt (S306). Als nächstes leitet das Randintensität-Herleitungsmodul 168 einen Randdurchschnitt her, welcher ein Durchschnittswert ist der Randintensitäten der mehreren von vorbestimmten Beurteilungsteilen des Objekts. Genauer gesagt, das Randintensität-Herleitungsmodul 168 wählt einen Streifen 224 von jedem der unterteilten Bereiche 222a, 222b und 222c und wählt dann ein Pixel 230 des ausgewählten Streifens 224 (S308).
Nunmehr auf 8 bezugnehmend, bestimmt das Randintensität-Herleitungsmodul 168, ob das ausgewählte Pixel 230 in dem unterteilten Bereich 222a am linken Ende ein Rand ist (S310). Wenn das ausgewählte Pixel 230 ein Rand ist (JA in S310), leitet das Randintensität-Herleitungsmodul 168 eine Randintensität dieses Pixels 230 her unter Verwendung eines Laplace-Filters (S312). Das Randintensität-Herleitungsmodul 168 integriert dann die Randintensitäten in diesem unterteilten Bereich 222a (S314). Andererseits, wenn das ausgewählte Pixel 230 nicht ein Rand ist (NEIN in S310), überträgt das Randintensität-Herleitungsmodul 168 den Prozess auf den nächsten unterteilten Bereich 222b.
Als nächstes bestimmt das Randintensität-Herleitungsmodul 168, ob das ausgewählte Pixel 230 in dem mittleren unterteilten Bereich 222b ein Rand ist (S316). Wenn das ausgewählte Pixel 230 ein Rand ist (JA in S316), leitet das Randintensität-Herleitungsmodul 168 eine Randintensität dieses Pixels 230 her unter Verwendung eines Laplace-Filters (S318). Daraufhin integriert das Randintensität-Herleitungsmodul 168 die Randintensitäten in diesem unterteilten Bereich 222b (S320). Andererseits, wenn das ausgewählte Pixel 230 nicht ein Rand ist (NEIN in S316), überträgt das Randintensität-Herleitungsmodul 168 den Prozess auf den nächsten unterteilten Bereich 222c.
Als nächstes bestimmt das Randintensität-Herleitungsmodul 168, ob das ausgewählte Pixel 230 in dem unterteilten Bereich 222c am rechten Ende ein Rand ist (S322). Wenn das ausgewählte Pixel 230 ein Rand ist (JA in S322), leitet das Randintensität-Herleitungsmodul 168 eine Randintensität dieses Pixels 230 her unter Verwendung eines Laplace-Filters (S324). Dann integriert das Randintensität-Herleitungsmodul 168 die Randintensitäten in diesem unterteilten Bereich 222c (S326). Andererseits, wenn das ausgewählte Pixel 230 nicht ein Rand ist (NEIN in S322), überträgt das Randintensität-Herleitungsmodul 168 den Prozess auf einen Pixelendbestimmungsschritt (S328).
Als nächstes bestimmt das Randintensität-Herleitungsmodul 168, ob der zuvor beschriebene Prozess beendet ist für alle die Pixel 230 in dem ausgewählten Streifen 224 (S328). Wenn der Prozess nicht beendet ist (NEIN in S328), wählt das Randintensität-Herleitungsmodul 168 das nächste Pixel 230 in dem gleichen Streifen 224 (S330) und wiederholt den Prozess von dem Randbestimmungsprozess (S310). Andererseits, wenn der Prozess beendet ist (JA in S328), überträgt das Randintensität-Herleitungsmodul 168 den Prozess auf einen unterteilten Endbereichbestimmungsschritt (S332).
Das Randintensität-Herleitungsmodul 168 bestimmt, ob der oben beschriebene Prozess für alle Streifen 224 in jedem der unterteilten Bereiche 222a, 222b und 222c beendet ist (S332). Wenn der Prozess nicht beendet ist (NEIN in S332), wählt das Randintensität-Herleitungsmodul 168 den nächsten Streifen 224 in jedem der unterteilten Bereiche 222a, 222b und 222c (S334) und wiederholt dann den Prozess von dem Randbestimmungsprozess (S310). Wenn der Prozess beendet ist (JA in S332), teilt das Randintensität-Herleitungsmodul 168 die integrierte Randintensität für jeden der unterteilten Bereiche 222a, 222b und 222c durch die Anzahl von Pixeln 230 (hier 625 Pixel), um den Randdurchschnitt herzuleiten (S336).
Als nächstes bestimmt das Randintensität-Herleitungsmodul 168, ob der oben beschriebene Randdurchschnitt für jedes der drei Bilder hergeleitet ist (S338). Wenn der Randdurchschnitt für die drei Bilder hergeleitet ist (JA in S338), bestimmt das Randintensität-Herleitungsmodul 168 dann den Median des Randdurchschnitts, hergeleitet für die drei Bilder (vorheriges, derzeitiges und nächstes Bild), dahingehend, ein Randdurchschnitt des aktuellen Bildes zu sein unter Verwendung eines Medianfilters und speichert den Randdurchschnitt des aktuellen Bildes, das für den nächsten Medianfilter zu verwenden ist (S340). Andererseits, wenn der Randdurchschnitt für die drei Bilder nicht hergeleitet ist (NEIN in S338), verwendet das Randintensität-Herleitungsmodul 168 den hergeleiteten Randdurchschnitt für den aktuellen Rahmen so wie es ist (S342).
Nunmehr auf 9 bezugnehmend vergleicht das Schwebende-Materie-Identifizierungsmodul 170 den Randdurchschnitt mit einem vorbestimmten Grenzwert (S344). Wenn der Randdurchschnitt kleiner ist als der Grenzwert (JA in S344), bestimmt das Schwebende-Materie-Identifizierungsmodul 170 dann, ob der integrierte Punkt 20 Punkte ist oder größer (S346). Wenn der integrierte Punkt kleiner ist als 20 Punkte (NEIN in S346), addiert das Schwebende-Materie-Identifizierungsmodul 170 1 Punkt zu dem integrierten Punkt (S348). Andererseits, wenn der integrierte Punkt 20 Punkte ist oder größer (JA in S346), überträgt das Schwebende-Materie-Identifizierungsmodul 170 den Prozess zu dem Schwebende-Materie-Bestimmungsprozess (S354).
Wenn der Randdurchschnitt gleich oder größer ist als der Grenzwert (NEIN in S344), bestimmt das Schwebende-Materie-Identifizierungsmodul 170 dann, ob der integrierte Punkt –10 Punkte oder kleiner ist (S350). Wenn der integrierte Punkt größer als –10 Punkte ist (NEIN in S350), subtrahiert das Schwebende-Materie-Identifizierungsmodul 170 1 Punkt von dem integrierten Punkt (S352). Andererseits, wenn der integrierte Punkt –10 Punkte oder weniger ist (JA in S350), überträgt das Schwebende-Materie-Identifizierungsmodul 170 den Prozess zu dem Schwebende-Materie-Bestimmungsprozess (S354).
Als nächstes bestimmt das Schwebende-Materie-Identifizierungsmodul 170, ob der integrierte Punkt 11 Punkte ist oder größer (S354). Wenn der integrierte Punkt 11 Punkte oder größer ist (JA in S354), identifiziert das Schwebende-Materie-Identifizierungsmodul 170 das Objekt dahingehend, dass es wahrscheinlich schwebende Materie ist (S356). Andererseits, wenn der integrierte Punkt weniger als 11 Punkte ist (NEIN in S354), identifiziert das Schwebende-Materie-Identifizierungsmodul 170 das Objekt dahingehend, nicht schwebende Materie zu sein (S358).
Wie zuvor in diesem Ausführungsbeispiel beschrieben, ist es möglich, schwebende Materie wie beispielsweise Dampf und/oder Abgas exakt zu detektieren entsprechend den Randintensitäten des Objekts, selbst wenn die Variation im Abstand der Subjektteile der schwebenden Materie gering ist oder die schwebende Materie beleuchtet ist, so dass sie Farben hat oder farbiges Licht reflektiert.
Es ist zu beachten, dass ein oder mehrere Programme, die bewirken, dass ein Computer als die Fahrzeugaußenumgebungerkennungsvorrichtung 120 funktioniert, oder ein oder mehrere Speichermedien wie beispielsweise flexible Scheiben, magneto-optische Scheiben, ROMs, CDs, DVDs, BDs, die die Programme aufzeichnen und von dem Computer gelesen werden können, ebenfalls bereitgestellt werden können. Es ist zu beachten, dass der Begriff „Programm”, wie er hierin verwendet wird, einen Datensatz betrifft, der geschrieben ist in irgendeiner Sprache und/oder irgendeinem Beschreibungsverfahren.
Wie zuvor beschrieben, obwohl das geeignete Ausführungsbeispiel der vorliegenden Erfindung beschrieben wurde unter Bezug auf die beigefügten Zeichnungen, ist die vorliegende Erfindung nicht auf dieses Ausführungsbeispiel beschränkt. Es versteht sich, dass ein Fachmann verschiedene Arten von Änderungen und/oder Modifikationen innerhalb des Umfangs der beigefügten Patentansprüche versteht und es versteht sich, dass derartige Abwandlungen ebenfalls von dem technischen Gehalt der vorliegenden Erfindung umfasst sind.
So wird beispielsweise schwebende Materie identifiziert entsprechend den Randintensitäten des Objekts in dem oben beschriebenen Ausführungsbeispiel. Die Technik des Identifizierens der schwebenden Materie entsprechend der Variation (Verteilung) in dem Abstand der Subjektteile von einem Objekt unter Bezug auf den Durchschnittswert der Abstände der Subjektteile des Objekts, wie sie in der JP-A Nr. 2009-110168 offenbart ist, und/oder die Technologie des Identifizierens der schwebenden Materie basierend auf einem oder mehreren charakteristischen Beträgen von Durchschnittswerten, Varianzen, Asymmetrien oder Kurtosis der Luminanz, erhalten aus dem Histogramm der Luminanz des Objekts, wie in der JP-A Nr. 2012-243049 offenbart, können zusätzlich verwendet werden mit der Technologie gemäß diesem Ausführungsbeispiel, um schwebende Materie zu identifizieren basierend auf einer Gesamtevaluation. Die Genauigkeit der Identifikation von schwebender Materie kann daher weiter verbessert werden.
Es ist zu beachten, dass es nicht notwendig ist, die Prozesse oder Schritte des Verfahrens des Erkennens der Fahrzeugaußenumgebung in dieser Beschreibung in einer zeitlichen Reihenfolge in Übereinstimmung mit der Reihenfolge, wie sie in dem Flussdiagramm gezeigt ist, auszuführen und die Prozesse können ebenfalls einen oder mehrere parallele Prozesse und/oder Unterprogramme aufweisen.
Die vorliegende Erfindung kann angewandt werden bei einer Fahrzeugaußenumgebungerkennungsvorrichtung, die das spezifische Objekt identifiziert, dem das in dem Detektionsbereich existierende Objekt entspricht.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Dreidimensionale-Position-Herleitungsmodul 162, das dreidimensionale Positionen herleitet in einem realen Raum von Subjektteilen in Bildern, die erhalten werden durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul 164, das die Subjektteile, deren Differenzen in der dreidimensionalen Position innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Randintensität-Herleitungsmodul 168, das einen Bereich, der das Objekt enthält, horizontal unterteilt, um unterteilte Bereiche zu setzen, und einen Randdurchschnitt herleitet, der ein Durchschnittswert ist der Randintensitäten, basierend auf einem Luminanzwert von jedem Pixel innerhalb jedem der unterteilten Bereiche, und ein Schwebende-Materie-Identifizierungsmodul 170, das den Randdurchschnitt mit einem vorbestimmten Grenzwert vergleicht und das Objekt dahingehend identifiziert, wahrscheinlich schwebende Materie zu sein, wenn der Randdurchschnitt geringer ist als der Grenzwert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 2010-224925 A [0002]
JP 2009-110168 A [0004, 0005, 0068]
JP 2012-243049 A [0004, 0006, 0068]

Claims

Fahrzeugaußenumgebungerkennungsvorrichtung, umfassend: ein Dreidimensionale-Position-Herleitungsmodul, das dreidimensionale Positionen in dem realen Raum einer Mehrzahl von Subjektteilen in einem Bild, das durch Abbilden eines Detektionsbereichs erhalten wird, herleitet, ein Objektidentifizierungsmodul, das die Subjektteile, deren Differenzen in der dreidimensionalen Position innerhalb eines vorbestimmten Bereichs liegen, gruppiert, um ein Objekt zu identifizieren, ein Randintensität-Herleitungsmodul, das einen Bereich, der das Objekt enthält, horizontal unterteilt, um eine Mehrzahl von unterteilten Bereichen zu setzen, und einen Randdurchschnitt, der ein Durchschnittswert der Randintensitäten ist, basierend auf einem Luminanzwert von jedem Pixel innerhalb jedes der unterteilten Bereiche, herleitet, und
ein Schwebende-Materie-Identifizierungsmodul, das den Randdurchschnitt mit einem vorbestimmten Grenzwert vergleicht und das Objekt dahingehend identifiziert, wahrscheinlich schwebende Materie zu sein, wenn der Randdurchschnitt kleiner ist als der Grenzwert.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1, wobei das Randintensität-Herleitungsmodul den Randdurchschnitt herleitet basierend auf dem Luminanzwert von jedem Pixel innerhalb einer Mehrzahl von vorbestimmter Beurteilungsteile, die gesetzt werden innerhalb des unterteilten Bereichs, und die Mehrzahl von vorbestimmten Beurteilungsteilen in horizontalen Richtungen kontinuierlich ist und versetzt zu einer horizontalen Endseite des Objekts, während sie in vertikalen Richtungen gleich voneinander beabstandet sind.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1 oder 2, wobei jedes der Beurteilungsteile ein Pixel ist und wobei das Randintensität-Herleitungsmodul die Randintensität herleitet unter Verwendung eines Laplace-Filters von einem Pixel, das dem Beurteilungsteil entspricht, und zwei benachbarten Pixeln neben dem Beurteilungsteil auf der linken Seite und zwei benachbarten Pixeln neben dem Beurteilungsteil auf der rechten Seite, wobei die Beurteilungsteile in horizontalen Richtungen kontinuierlich sind.
Fahrzeugaußenumgebungerkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei das Randintensität-Herleitungsmodul den Randdurchschnitt Bild für Bild herleitet und einen Median der Randdurchschnitte von drei aufeinanderfolgenden Bildern ermittelt, der berechnet wird unter Verwendung von Medianfiltern, derjenige Randdurchschnitt zu sein, der für den Schwebende-Materie-Identifizierungsmodul zu verwenden ist.