DE102014112797A1

DE102014112797A1 - Fahrzeugaußenumgebungerkennungsvorrichtung

Info

Publication number: DE102014112797A1
Application number: DE102014112797.8A
Authority: DE
Inventors: c/o FUJI JUKOGYO KABUSHIKI KAISHA Nomura Naoki
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-09-27
Filing date: 2014-09-05
Publication date: 2015-04-02
Also published as: CN104517118A; US20150091715A1; CN104517118B; JP2015069379A; US9280900B2; JP5886809B2

Abstract

Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Dreidimensionale-Position-Herleitungsmodul 162, das dreidimensionale Positionen von Subjektteilen in einem realen Raum herleitet, basierend auf einem Bild, erhalten durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul 164, das die Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Positionspunkt-Herleitung-Modul 166, das einen Positionspunkt herleitet, basierend auf Positionsinformation des Objektes, ein Erscheinungspunkt-Herleitung-Modul 168, das einen Erscheinungspunkt herleitet, basierend auf Erscheinungsinformation des Objektes, und ein Fußgängeridentifizierungsmodul 172, das das Objekt dahingehend identifiziert, ein Fußgänger zu sein, wenn ein Fußgängerpunkt, der erhalten wird durch zumindest Addieren des Positionspunktes zu dem Erscheinungspunkt, gleich oder größer ist als ein vorbestimmter Grenzwert.

Description

Die vorliegende Erfindung betrifft eine Fahrzeugaußenumgebungerkennungsvorrichtung, die ein spezifisches Objekt identifiziert, dem ein Objekt innerhalb eines Detektionsbereichs entspricht.
Es ist allgemein eine Technologie wie beispielsweise eine Kollisionsvermeidungssteuerung bekannt, die spezifische Objekte einschließlich eines anderen Fahrzeugs vor einem Fahrzeug detektiert und eine Kollision mit beispielsweise einem vorausfahrenden Fahrzeug verhindert, sowie eine Technologie wie beispielsweise eine Fahrtsteuerung, die eine Steuerung derart ausführt, dass ein Abstand zwischen einem Fahrzeug und einem vorausfahrenden Fahrzeug auf einem sicheren Abstand beibehalten wird (siehe beispielsweise die japanische ungeprüfte Patentanmeldungsveröffentlichung ( JP-A) Nr. 2012-194864 ).
Derartige Frontüberwachungstechnologien für ein Fahrzeug können wertvoll zum Vermeiden und Abmildern einer leichten Kollision nicht nur mit einem vorausfahrenden Fahrzeug sein, sondern auch bezüglich eines vorpreschenden Fußgängers. Da der vorpreschende Fußgänger plötzlich in einem Detektionsbereich auftauchen kann aus unterschiedlichen Richtungen, anders als ein vorausfahrendes Fahrzeug, ist die Zeitdauer, nachdem der Fußgänger vor dem Fahrzeug auftaucht bis das Fahrzeug sich dem Fußgänger nähert, in vielen Fällen kurz. Ein momentanes zur Seite Schauen des Fahrers, eine geringe Verzögerung einer Reaktion und dergleichen können daher in großem Maße das Auftreten einer leichten Kollision beeinflussen. Die Erwartungen an eine Kollisionsvermeidungssteuerung, wie sie zuvor beschrieben wurde, haben daher zugenommen.
Andererseits kann dann, wenn eine Fehlfunktion der Kollisionsvermeidungssteuerung auftritt, zum Beispiel in einem Fall, wenn die Steuerung irrtümlich ein Objekt als einen Fußgänger erkennt und das Fahrzeug abbremst, der Fahrer der Kollisionsvermeidungssteuerung misstrauen. Es ist daher wünschenswert, eine Kollisionsvermeidungssteuerung zu erhalten, die eine leichte Kollision akkurat und schnell vermeiden kann, jedoch ohne Fehlfunktionen.
Die JP-A Nr. 2008-45974 offenbart beispielsweise eine Technologie, die einen Merkmalvektor der Kontur eines Objekts, das in Bildern enthalten ist, die von Bildaufnahmevorrichtungen erhalten werden, verwendet und einen Musterabgleich mit Konturen geometrischer Modelle durchführt, die vorab präpariert wurden, wodurch die Genauigkeit der Identifizierung des Fußgängers verbessert wird.
Wie zuvor beschrieben, muss jedoch die Fehlfunktion der Kollisionsvermeidungssteuerung vermieden werden. Wenn daher ein Objekt (ein Fußgänger) in den Detektionsbereich der Bildaufnahmevorrichtung beziehungsweise der Bildaufnahmevorrichtungen eintritt, wird eine lange Zeitdauer benötigt, um zu Identifizieren, dass das Objekt ein Fußgänger ist, als Ergebnis einer Bestimmung, dass die Erscheinung des Objektes mit einem Konturgeometriemodell des Fußgängers übereinstimmt.
Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Umstände gemacht und eine Aufgabe dieser Erfindung ist es, eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitzustellen, die einen Fußgänger akkurat und schnell detektiert.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt, welche aufweist: ein Dreidimensionale-Position-Herleitungsmodul, das dreidimensionale Positionen von Subjektteilen in einem realen Raum herleitet, basierend auf einem Bild, das erhalten wird durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul, das die Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs liegen, gruppiert, um ein Objekt zu identifizieren, ein Positionspunkt-Herleitung-Modul, das einen Positionspunkt herleitet, basierend auf Positionsinformation bezogen auf die Position des Objekts, ein Erscheinungspunkt-Herleitung-Modul, das einen Erscheinungspunkt herleitet, basierend auf Erscheinungsinformation, bezogen auf die Erscheinung des Objekts, und ein Fußgängeridentifizierungsmodul, das das Objekt dahingehend identifiziert, ein Fußgänger zu sein, wenn ein Fußgängerpunkt, der erhalten wird durch zumindest Addieren des Positionspunktes zu dem Erscheinungspunkt, gleich oder größer ist als ein vorbestimmter Grenzwert.
Das Fußgängeridentifizierungsmodul kann das Objekt dahingehend identifizieren, ein Fußgänger zu sein, wenn der Erscheinungspunkt ein vorbestimmter Wert ist oder größer und der Fußgängerpunkt gleich oder größer ist als der Grenzwert.
Der Positionspunkt kann hergeleitet werden basierend auf einem oder mehreren Parametern ausgewählt aus der Gruppe bestehend aus einer Fahrtweglateralposition, einer Fahrtgeschwindigkeit und einem akkumulierten Bewegungsbetrag des Objekts.
Der Erscheinungspunkt kann hergeleitet werden basierend auf einem oder mehreren Parametern, ausgewählt aus der Gruppe bestehend aus einer Höhe, einem Ansichtsverhältnis, einer räumlichen Beziehung, einer Präferenz, einer Unnatürlichkeit, einer Konturübereinstimmung und einem Vorsichtsniveau des Objekts.
Die Fahrzeugaußenumgebungerkennungsvorrichtung kann weiterhin beinhalten ein Konturidentifizierungsmodul, das eine Kontur des Objekts identifiziert von einem Rand, basierend auf Luminanz des Bildes, und ein Farbtonbestimmungsmodul, das Farbtöne von Pixeln innerhalb und außerhalb der Kontur des Objekts vergleicht, um das Objekt dahingehend zu identifizieren, ein Fußgänger zu sein, basierend auf einem Ergebnis des Vergleichs.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt, welche aufweist: ein Dreidimensionale-Position-Herleitungsmodul, das dreidimensionale Positionen eines Subjektteils in einem realen Raum herleitet, basierend auf einem Bild, erhalten durch Abbilden eines Detektionsbereiches, ein Objektidentifizierungsmodul, das die Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs liegen, gruppiert, um ein Objekt zu identifizieren, ein Konturidentifizierungsmodul, das eine Kontur des Objektes identifiziert von einem Rand, basierend auf Luminanz des Bildes, und ein Farbtonbestimmungsmodul, das Farbtöne von Pixeln innerhalb und außerhalb der Kontur des Objektes vergleicht, um das Objekt dahingehend zu identifizieren, dass es ein Fußgänger ist, basierend auf einem Ergebnis des Vergleichs.
Die vorliegende Erfindung wird im Folgenden beispielhaft und ohne diese einzuschränken unter Bezug auf die beigefügten Zeichnungen erläutert, in denen gleiche Bezugszeichen für gleiche Elemente verwendet werden und in denen
1 ein Blockschaubild ist, das eine Verbindungsbeziehung einer Außenumgebungerkennungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt,
2 ein funktionales Blockschaubild ist, das schematisch Funktionen einer Fahrzeugaußenumgebungserkennung zeigt,
3A und 3B Darstellungen sind, die ein Luminanzbild und ein Abstandsbild zeigen,
4A bis 4D Tabellen sind, die Beziehungen zwischen Positionsinformation und Bildpositionspunkten zeigen,
5A bis 5G Tabellen sind, die Beziehungen zwischen Erscheinungsinformation und den Bilderscheinungspunkten zeigen,
6A und 6B Darstellungen sind, die erzeugte Beispiele eines Fußgängerpunktes zeigen,
7 ein Flussdiagramm ist, das einen Ablauf des gesamten Prozesses einer Fußgängerbestimmung zeigt,
8A und 8B Darstellungen sind, die ein anderes Beispiel zeigen, und
9A bis 9C Darstellungen sind, die die Funktion eines Farbtonbestimmungsmoduls zeigen.
Im Folgenden werden geeignete Ausführungsbeispiele der vorliegenden Erfindung detailliert beschrieben unter Bezug auf die beigefügten Zeichnungen. Es versteht sich, dass Dimensionen, Materialien und weiteres wie beispielsweise spezifische numerische Werte, die in den Beispielen erläutert werden, lediglich Beispiele zum leichteren Verständnis der vorliegenden Erfindung sind, und dass Beispiele nicht dazu beabsichtigt sind, die vorliegende Erfindung zu beschränken, soweit nicht anders gesondert angegeben. Es ist zu beachten, dass in dieser Beschreibung und den beigefügten Zeichnungen Elemente, die im Wesentlichen gleiche Funktion und Konfiguration haben, mit den gleichen Bezugszeichen bezeichnet sind, um redundante Erläuterungen wegzulassen, und Darstellungen von Elementen, die nicht direkt Bezug zu der vorliegenden Erfindung haben, hierbei weggelassen werden.
In vergangenen Jahren sind Fahrzeuge, die eine sogenannte Kollisionsvermeidungsfunktion (adaptive Fahrtsteuerung: ACC) aufweisen, weit verbreitet worden. Diese Funktion bildet die Straßenumgebung vor dem Fahrzeug ab durch Onboardkameras, die an den Fahrzeugen montiert sind, identifiziert Objekte wie beispielsweise vorausfahrende Fahrzeuge basierend auf Farbinformation und/oder Positionsinformation in dem Bild, um eine Kollision mit dem identifizierten Objekt zu vermeiden und/oder einen Zwischenfahrzeugabstand mit dem vorausfahrenden Fahrzeug auf einem sicheren Abstand beizubehalten. Bei dieser Kollisionsvermeidungsfunktion werden verschiedene Hindernisse vor dem Fahrzeug identifiziert und die Verhinderungssteuerung wird in geeigneter Weise durchgeführt dementsprechend, ob die Hindernisse stationäre Objekte oder sich bewegende Objekte sind. Die sich bewegenden Objekte können hauptsächlich andere Fahrzeuge und Fußgänger sein. Im Falle des Fußgängers ist die Identifikation schwierig und nimmt eine lange Zeit in Anspruch, da der Fußgänger plötzlich aus unterschiedlichen Richtungen in dem Detektionsbereich auftauchen kann und die Größe des Fußgängers absolut kleiner ist als diejenige von Fahrzeugen.
Selbst wenn beispielsweise die Technologie, die das Objekt dahingehend identifiziert, ein Fußgänger zu sein, mittels Durchführen des Musterabgleichs mit der Erscheinung des Objekts verwendet wird, muss das Objekt dahingehend identifiziert werden, ein Fußgänger zu sein, nachdem die Erscheinung abgeglichen ist, über mehrere Bilder, um eine Fehlfunktion des Fahrzeugs in Folge einer irrtümlichen Erkennung des Objekts als Fußgänger zu vermeiden. Es wird daher eine lange Zeitspanne benötigt zum Identifizieren des Fußgängers. Ein Zweck dieses Ausführungsbeispiels ist es daher, einen Fußgänger schnell und akkurat zu erkennen durch Bestimmen einer Fußgängerähnlichkeit beziehungsweise -wahrscheinlichkeit früher, indem nicht nur die Erscheinungsinformation, die sich auf das Erscheinen des Objekts bezieht, sondern auch die Positionsinformation, die sich auf die Position des Objekts bezieht, verwendet wird. Nachfolgend wird ein Umgebungserkennungssystem zum Erreichen eines solchen Zweckes beschrieben und eine Fahrzeugaußenumgebungerkennungsvorrichtung, die eine spezielle Komponente des Systems ist, wird im Detail beschrieben.
(Umgebungserkennungssystem 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung einer Fahrzeugaußenumgebungerkennungsvorrichtung beziehungsweise eines Umgebungserkennungssystems 100 zeigt. Das Umgebungserkennungssystem 100 weist auf ein Paar Bildaufnahmevorrichtungen 110, eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 und eine Fahrzeugsteuerungsvorrichtung 130 (die typischerweise eine elektronische Steuereinheit (ECU) umfasst), die alle vorgesehen sind innerhalb eines Fahrzeugs 1 (im Folgenden einfach bezeichnet als „das Fahrzeug”).
Jede Bildaufnahmevorrichtung 110 verfügt über Bildaufnahmesensorelemente wie beispielsweise ladungsgekoppelte Fotoelemente (CCDs) oder komplementäre Metalloxidhalbleiter (CMOSs). Die Bildaufnahmevorrichtung 110 kann die Umgebung vor dem Fahrzeug 1 aufnehmen, um ein Farbbild oder ein monochromes Bild, bestehend aus drei Farben (R (rot), G (grün) und B (blau)), zu erzeugen. Hier wird das Farbbild, das von der Bildaufnahmevorrichtung 110 aufgenommen wird, als Luminanzbild bezeichnet und unterschieden von einem Abstandsbild, das später beschrieben wird.
Die zwei Bildaufnahmevorrichtungen 110 sind in Seitenrichtung so angeordnet, dass sie voneinander beabstandet sind, so dass die optischen Achsen der Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zueinander in Richtung der Fahrtrichtung des Fahrzeugs 1 orientiert sind. Jede Bildaufnahmevorrichtung 110 erzeugt sequentiell Bilddaten (das heißt, ein Bild), das erhalten wird durch Bildobjekte, die sich in einem Detektionsbereich vor dem Fahrzeug 1 befinden, mit einem Bild jede 1/60 Sekunde (das heißt 60 fps (Bilder pro Sekunde)). Es ist zu beachten, dass die zu erkennenden Objekte feste Objekte einschließen, die unabhängig existieren, wie beispielsweise ein anderes Fahrzeug, ein Fußgänger, eine Verkehrslichtzeichenanlage (Ampel), eine Straße (Fahrtweg), eine Leitplanke und ein Gebäude, sowie ein Objekt, das identifiziert werden kann als ein Teil des festen Objekts, wie beispielsweise ein Hecklicht, ein Blinker, jedes lichtemittierende Teil einer Verkehrslichtzeichenanlage (Ampel). Jedes funktionale Modul, das im Folgenden beschrieben wird, führt jeden Prozess für jedes Bild aus, getriggert beim Erneuern solcher Bilddaten.
Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet eine Parallaxe her unter Verwendung von sogenanntem Musterabgleich und ordnet die hergeleitete Parallaxeinformation (entsprechend einem Tiefenabstand, der später beschrieben wird) den Bilddaten zu, um das Abstandsbild zu erzeugen. Das Luminanzbild und das Abstandsbild werden später detailliert beschrieben. Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 identifiziert ein spezifisches Objekt, dem ein Objekt innerhalb des Detektionsbereichs vor dem Fahrzeug 1 entspricht, durch Verwendung der Luminanz des Objekts, basierend auf dem Luminanzbild, und des Tiefenabstands des Objekts von dem Fahrzeug 1, basierend auf dem Abstandsbild.
Wenn die Fahrzeugaußenumgebungerkennungsvorrichtung 120 das spezifische Objekt identifiziert, leitet sie eine relative Geschwindigkeit oder dergleichen des spezifischen Objekts (zum Beispiel ein vorausfahrendes Fahrzeug) her, während sie das spezifische Objekt nachverfolgt, und bestimmt dann, ob die Möglichkeit, dass das spezifische Objekt mit dem Fahrzeug 1 kollidiert, hoch ist. Wenn hierbei die Fahrzeugaußenumgebungerkennungsvorrichtung 120 bestimmt, dass die Möglichkeit einer Kollision hoch ist, gibt die Fahrzeugaußenumgebungerkennungsvorrichtung 120 dann an den Fahrer des Fahrzeugs eine Warnung ab (warnt) bezüglich der Möglichkeit durch eine Anzeigeeinheit 122, die vor dem Fahrer installiert ist, und gibt Informationen aus an die Fahrzeugsteuerungsvorrichtung 130, die die Möglichkeit anzeigen.
Die Fahrzeugsteuerungsvorrichtung 130 empfängt Betätigungseingänge durch den Fahrer des Fahrzeugs durch ein Lenkrad 132, ein Beschleunigungs- oder Gaspedal 134 und ein Bremspedal 136 und steuert das Fahrzeug 1 durch Übertragen der empfangenen Eingänge auf einen Lenkmechanismus 142, einen Antriebsmechanismus 144 und einen Bremsmechanismus 146. Die Fahrzeugsteuerungsvorrichtung 130 steuert den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend den Instruktionen von der Fahrzeugaußenumgebungerkennungsvorrichtung 120.
Im Folgenden wird die Konfiguration der Fahrzeugaußenumgebungerkennungsvorrichtung 120 im Detail beschrieben. Hierbei wird der Prozess des Identifizierens eines Objekts als einen Fußgänger, welches ein Merkmal dieses Ausführungsbeispiels ist, im Detail beschrieben, und Konfigurationen, die sich nicht auf das Merkmal dieses Ausführungsbeispiels beziehen, werden weggelassen.
(Fahrzeugaußenumgebungerkennungsvorrichtung 120)
2 ist ein funktionales Blockschaubild, das schematisch Funktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120 zeigt. Wie in 2 gezeigt, weist die Fahrzeugaußenumgebungerkennungsvorrichtung 120 auf eine Schnittstelle-(I/F)-Einheit 150, eine Datenhalteeinheit 152 und eine Zentralsteuereinheit 154.
Die I/F-Einheit 150 ist eine Schnittstelle, die bidirektional Information austauscht mit den Bildaufnahmevorrichtungen 110 und/oder der Fahrzeugsteuerungsvorrichtung 130. Die Datenhalteeinheit 152 umfasst ein oder mehrere RAMs, einen oder mehrere Flashspeicher, ein oder mehrere HDDs, und so weiter. Die Datenhalteeinheit 152 hält verschiedene Informationen, die erforderlich sind für den Ablauf von jeder der unten beschriebenen funktionalen Module. Zusätzlich hält die Datenhalteeinheit 152 temporär Bilddaten, die empfangen werden von den Bildaufnahmevorrichtungen 110.
Die Zentralsteuereinheit 154 umfasst einen oder mehrere integrierte Schaltkreise, einschließlich einer oder mehrerer zentraler Prozessoreinheiten (CPUs), ein oder mehrere ROMs, wo ein oder mehrere Programme oder dergleichen gespeichert werden, und ein oder mehrere RAMs oder dergleichen als Arbeitsbereiche. Die Zentralsteuereinheit 154 steuert beispielsweise die I/F-Einheit 150, die Datenhalteeinheit 152 etc. durch einen Systembus 156. In diesem Beispiel funktioniert die Zentralsteuereinheit 154 ebenfalls als ein Bildverarbeitungsmodul 160, ein Dreidimensionale-(3D)-Position-Herleitungsmodul 162, ein Objektidentifizierungsmodul 164, ein Positionspunkt-Herleitung-Modul 166, ein Erscheinungspunkt-Herleitung-Modul 168, ein Punkterzeugungsmodul 170, ein Fußgängeridentifizierungsmodul 172, ein Konturidentifizierungsmodul 174 und ein Farbtonbestimmungsmodul 176. Im Folgenden werden detaillierte Funktionen beschrieben in der Reihenfolge der Bildverarbeitung, des Objektidentifikationsprozesses und des Fußgängeridentifikationsprozesses, basierend auf allgemeinen Zwecken solcher funktionaler Module.
(Bildverarbeitung)
Das Bildverarbeitungsmodul 160 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und extrahiert irgendeinen von Blöcken (jeder Block hat beispielsweise eine Matrix von 4 Pixel in horizontaler Richtung × 4 Pixel in vertikaler Richtung) von den Bilddaten, erzeugt von einer der Bildaufnahmevorrichtungen 110, und sucht dann einen Block in den Bilddaten, die von der anderen Bildaufnahmevorrichtung 110 erzeugt werden, der dem extrahierten Block entspricht. Durch Verwendung von sogenanntem Musterabgleich leitet das Bildverarbeitungsmodul 160 die Parallaxe her. Es ist zu beachten, dass der Begriff „horizontal”, wie er hierin verwendet wird, die Breitenrichtungen der Bildoberfläche bezeichnen kann, und dass der Begriff „vertikal”, wie er hierin verwendet wird, die vertikalen Richtungen auf der Bildoberfläche betreffen kann, senkrecht zu den horizontalen Richtungen.
Der Musterabgleich kann beinhalten Vergleiche zwischen den zwei Sätzen von Bilddaten in der Luminanz (Y-Farbdifferenzsignal) für jeden Block, der irgendeinen der Bildorte wiedergibt. Genauer gesagt, der Musterabgleich kann eine Technologie sein wie beispielsweise SAD (Summe der absoluten Differenz), in der die Differenzen in der Luminanz berechnet werden, SSD (Summe der quadrierten Intensitätsdifferenz), in der die Differenzen quadriert werden, bevor sie verwendet werden, und NCC (normalisierte Kreuzkorrelation), in der Ähnlichkeiten von Varianzen, die erhalten werden durch Subtrahieren eines Durchschnittswerts der Luminanz von den Pixeln von der Luminanz von jedem Pixel, verwendet werden. Das Bildverarbeitungsmodul 160 führt solche Block-für-Block Parallaxeherleitungsprozesse durch für alle Blöcke, die dem Detektionsbereich entsprechen (zum Beispiel 600 Pixel in der horizontalen Richtung × 180 Pixel in der vertikalen Richtung). Es ist zu beachten, dass in diesem Ausführungsbeispiel der Block eine Matrix von 4 Pixel in der horizontalen Richtung × 4 Pixel in der vertikalen Richtung hat, dass jedoch jeder Block irgendeine Anzahl von Pixeln aufweisen kann.
Es ist weiterhin zu beachten, dass das Bildverarbeitungsmodul 160 die Parallaxe herleiten kann für jeden Block, welcher der kleinsten Einheit der Detektionsauflösung entspricht. Es kann jedoch nicht erkennen, welchem Teil von was der Block entspricht. Aus diesem Grunde wird die Parallaxeinformation unabhängig hergeleitet nicht pro Objekt, sondern pro Detektionsauflösung (das heißt pro Block) in dem Detektionsbereich. Es ist zu beachten, dass der Begriff „Abstandsbild”, wie er hierin verwendet wird, das Bild betrifft, das erhalten wird durch Zuordnen der Bilddaten zu der Parallaxeinformation (entsprechend dem später zu beschreibenden Tiefenabstand), hergeleitet auf die zuvor beschriebene Weise.
Die 3A und 3B sind Darstellungen, die ein Luminanzbild 210 und ein Abstandsbild 212 zeigen. Es sei zum Beispiel angenommen, dass das Luminanzbild 210 (Bilddaten), das einem Detektionsbereich 214 entspricht, erzeugt wird durch die zwei Bildaufnahmevorrichtungen 110. Zum leichteren Verständnis ist, wie in 3A dargestellt, nur eines der zwei Luminanzbilder 210, erzeugt von den Bildaufnahmevorrichtungen 110, schematisch dargestellt. In diesem Beispiel berechnet das Bildverarbeitungsmodul 160 die Parallaxe für jeden Block von solch einem Luminanzbild 210 und bildet das Abstandsbild 212, wie in 3B gezeigt. Die Parallaxe ist jedem entsprechenden Block in dem Abstandsbild 212 zugeordnet. Zum Zwecke der Erläuterung sind Blöcke, für die Parallaxen hergeleitet wurden, durch schwarze Punkte wiedergegeben.
Zurückkehrend zu 2, konvertiert das 3D-Position-Herleitungsmodul 162 die Parallaxeinformation für jeden Block in dem Detektionsbereich 214 in dreidimensionale (3D) Positionsinformation im realen Raum einschließlich einem horizontalen (in Seitenrichtung) Abstand, einer Höhe und einem Tiefenabstand unter Verwendung eines sogenannten Stereoverfahrens, basierend auf dem Abstandsbild 212, erzeugt durch das Bildverarbeitungsmodul 160. Es ist zu beachten, dass das Stereoverfahren dazu dient, den Tiefenabstand eines Subjektteils in Bezug auf die Bildaufnahmevorrichtungen 110 herzuleiten, basierend auf der Parallaxe des Subjektteils in dem Abstandsbild 212 mittels eines Triangulationsverfahrens. Hierbei leitet das 3D-Position-Herleitungsmodul 162 eine Höhe des Subjektteils von einer Straßenoberfläche her basierend auf dem Tiefenabstand des Subjektteils und einem detektierten Abstand auf dem Abstandsbild 212 zwischen dem Subjektteil und einem Punktort auf der Straßenoberfläche in dem gleichen Tiefenabstand wie der Tiefenabstand des Subjektteils. Dann wird die hergeleitete 3D-Positionsinformation wiederum dem Abstandsbild 212 zugeordnet. Da verschiedene bekannte Techniken angewandt werden können für den Herleitungsprozess des Tiefenabstandes und/oder des Identifikationsprozesses der 3D-Position, wird deren Beschreibung hier weggelassen.
(Objektidentifikationsprozess)
Das Objektidentifizierungsmodul 164 gruppiert die Subjektteile (Pixel und Blöcke) innerhalb des Detektionsbereichs 214 unter Verwendung der 3D-Positionsinformation basierend auf dem Abstandsbild 212, um ein Objekt zu identifizieren. Genauer gesagt, das Objektidentifizierungsmodul 164 wählt irgendeinen von den Subjektteilen als einen Referenzpunkt und gruppiert das ausgewählte Subjektteil mit anderen Subjektteilen, deren Differenzen in dem horizontalen Abstand, Differenzen in der Höhe und Differenzen in dem Tiefenabstand innerhalb eines vorbestimmten Bereichs sind, um diese Subjektteile zu einem einheitlichen Objekt zu machen. Es ist zu beachten, dass der vorbestimmte Bereich ausgedrückt werden kann durch Abstände im realen Raum und auf irgendeinen Wert (zum Beispiel 1,0 m) gesetzt werden kann. Weiterhin gruppiert das Objektidentifizierungsmodul 164 in gleicher Weise das neu hinzugefügte Subjektteil durch die vorherige Gruppierung mit anderen Subjektteilen, deren Differenzen in dem horizontalen Abstand, Differenzen in der Höhe und Differenzen in dem Tiefenabstand innerhalb des vorbestimmten Bereichs sind, wobei das neu hinzugefügte Subjektteil als ein Referenzpunkt verwendet wird. Als ein Ergebnis werden alle Subjektteile als ein einheitliches Objekt gruppiert, wenn die Abstände innerhalb des vorbestimmten Bereichs sind.
(Fußgängeridentifikationsprozess)
Als Nächstes wird das Objekt dahingehend bestimmt, ein Fußgänger zu sein oder nicht, basierend auf der Position und der Erscheinung des Objekts.
Das Positionspunkt-Herleitung-Modul 166 leitet einen Positionspunkt her basierend auf der Positionsinformation, bezogen auf die Position des Objekts. Die Positionsinformation beinhaltet beispielsweise eine Fahrtweglateralposition, die eine relative Position des Objekts von einem Ende des Fahrzeugs 1 in einer Richtung senkrecht zu dem Fahrtweg des Fahrzeugs 1 ist, eine Fahrtgeschwindigkeit des Fahrzeugs 1 und einen akkumulierten Bewegungsbetrag, der einen akkumulierten Betrag der Bewegung anzeigt, nachdem das Objekt in den Detektionsbereich 214 eintritt. Die Fahrtgeschwindigkeit und der Bewegungsbetrag können skalare Größen sein ohne Inbetrachtziehung einer Bewegungsrichtung des Objekts, oder lediglich eine Komponente in einer spezifischen Richtung, wie beispielsweise einer horizontalen Richtung, von jeder der Fahrtgeschwindigkeit und der Bewegungsbetrag, kann verwendet werden im Hinblick auf die Bewegungsrichtung. Das Positionspunkt-Herleitung-Modul 166 integriert Punkte entsprechend der Positionsinformation, um einen Bildpositionspunkt für jedes Bild herzuleiten.
Die 4A bis 4D sind Tabellen, die Beziehungen zwischen der Positionsinformation und den Bildpositionspunkten zeigen. Bezugnehmend auf 4A, wenn die Fahrtweglateralposition kleiner ist 1 m, werden 3 Punkte gegeben, wenn sie 1 m oder größer ist und kleiner als 3 m, 2 Punkte, und wenn sie 3 m oder größer und kleiner als 5 m ist, 1 Punkt, und wenn sie 5 m oder größer ist, 0 Punkte. Bezugnehmend auf 4B, wenn die Fahrtgeschwindigkeit geringer als 1 m/s ist, werden 0 Punkte gegeben, wenn sie 1 m/s oder größer und geringer als 3 m/s ist, 1 Punkt, wenn sie 3 m/s oder größer ist und kleiner als 5 m/s, 2 Punkte, und wenn sie 5 m/s oder größer ist, 3 Punkte. Bezugnehmend auf 4C, wenn der akkumulierte Bewegungsbetrag kleiner ist als 0,5 m, werden 0 Punkte gegeben, wenn er 0,5 m oder größer und kleiner als 1,0 m ist, 1 Punkt, wenn er 1,0 m oder größer und kleiner als 1,5 m ist, 2 Punkte, und wenn er 1,5 m oder größer ist, 3 Punkte.
Die Punkte, gegeben zu der Fahrtweglateralposition, der Fahrtgeschwindigkeit und dem akkumulierten Bewegungsbetrag werden zusammen addiert, um einen integrierten Bildpositionspunkt zu erhalten (0 bis 9 Punkte). Daraufhin, wie in 4D gezeigt, erhält das Positionspunkt-Herleitung-Modul 166 einen Punkt, der dem integrierten Bildpositionspunkt entspricht, und addiert ihn zu einem Positionspunkt, der hergeleitet wird für ein vorhergehendes Bild, um einen neuen Positionspunkt herzuleiten. Daher variiert der Positionspunkt um ±1 Punkt für jedes Bild.
Des Weiteren hat der Positionspunkt eine obere Grenze und eine untere Grenze und in diesem Ausführungsbeispiel wird die untere Grenze auf 0 Punkte gesetzt und die obere Grenze wird auf 5 Punkte gesetzt. Da die obere und untere Grenze somit bereitgestellt werden, wird selbst dann, wenn eine Zeitdauer, während der kein Fußgänger detektiert wird, oder eine Zeitdauer, während der ein oder mehrere Fußgänger detektiert werden, sehr groß werden, der absolute Wert des Punktes nicht groß. Es ist daher möglich, schnell und exakt die Existenz eines Fußgängers oder mehrerer Fußgänger zu bestimmen, wenn der detektierte Status und der nicht detektierte Status des beziehungsweise der Fußgänger umschaltet. Zudem kann, wenn die obere Grenze auf 5 Punkte gesetzt wird, vermieden werden, dass der Punkt einen Grenzwert erreicht zum Bestimmen, dass es ein Fußgänger ist (in diesem Beispiel 20 Punkte), lediglich basierend auf dem Positionspunkt, und es ist möglich, den Fußgänger zu identifizieren allein dann, wenn ein Erscheinungspunkt (wird später beschrieben) ein signifikanter Wert (ein vorbestimmter Wert oder größer) ist. Es ist zu beachten, dass die Grenzen auf jeden beliebigen Wert gesetzt werden können.
Das Erscheinungspunkt-Herleitung-Modul 168 leitet den Erscheinungspunkt her basierend auf der Erscheinungsinformation bezogen auf die Erscheinung des Objekts. Die Erscheinungsinformation beinhaltet beispielsweise eine Höhe des Objektes von der Bodenoberfläche, ein Ansichtsverhältnis einer vertikalen Länge in Bezug auf eine laterale Länge des Objekts, eine räumliche Verhältnisbeziehung des Objekts in Bezug auf den Detektionsbereich 214, eine Präferenz, die anzeigt, ob das Objekt einen Teil eines größeren Objektes darstellt, eine Unnatürlichkeit, die eine Ähnlichkeit des Objekts mit einem künstlichen Objekt anzeigt, eine Konturübereinstimmung, die eine Ähnlichkeit der Kontur des Objektes mit einem Fußgänger anzeigt, und ein Vorsichtsniveau, das die Möglichkeit anzeigt, dass das Objekt ein Objekt ist, für das automatisches Bremsen benötigt wird (das Vorsichtsniveau ist daher umso größer, wenn das Objekt nahe an dem vorderen Bereich des Fahrzeugs 1 ist, wenn das Objekt sich schneller bewegt und wenn der akkumulierte Bewegungsbetrag des Objekts größer ist). Daraufhin integriert das Erscheinungspunkt-Herleitung-Modul 168 Punkte entsprechend der Erscheinungsinformation, um den Bilderscheinungspunkt für jedes Bild herzuleiten, in gleicher Weise wie den Positionspunkt.
Die 5A bis 5G sind Tabellen, die Beziehungen zwischen der Erscheinungsinformation und den Bilderscheinungspunkten zeigen. Bezugnehmend auf 5A, wenn die Höhe des Objekts kleiner ist als 0,8 m, werden 0 Punkte gegeben, wenn sie 0,8 m oder größer und kleiner als 1,2 m ist, 8 Punkte, wenn sie 1,2 m oder größer ist und kleiner als 2,0 m, 10 Punkte, wenn sie 2,0 m oder größer und kleiner als 2,2 m ist, 5 Punkte, und wenn sie 2,2 m oder größer ist, 0 Punkte. Bezugnehmend auf 5B, wenn das Ansichtsverhältnis kleiner ist als 100%, werden 0 Punkte gegeben, wenn es 100% oder größer ist und kleiner als 150%, 5 Punkte, wenn es 150% ist oder größer und kleiner als 300%, 10 Punkte, wenn es 300% oder größer ist und kleiner als 400%, 8 Punkte, und wenn es 400% oder größer ist, 0 Punkte. Bezugnehmend auf 5C, wenn das räumliche Beziehungsverhältnis einen Ort vollständig außerhalb des Detektionsbereichs 214 anzeigt, werden 0 Punkte gegeben, wenn es eine Möglichkeit gibt, dass das räumliche Beziehungsverhältnis außerhalb des Detektionsbereichs 214 angeordnet ist, 5 Punkte, und wenn es innerhalb des Detektionsbereichs 214 angeordnet ist, 10 Punkte.
Weiterhin bezugnehmend auf 5D, wenn das Objekt mit Sicherheit dahingehend bestimmt wird, Teil des großen Objekts zu sein, werden 0 Punkte gegeben, wenn eine Möglichkeit besteht, dass es Teil des großen Objektes ist, 5 Punkte, und wenn das Objekt dahingehend bestimmt werden kann, nicht Teil des großen Objekts zu sein, 10 Punkte. Bezugnehmend auf 5E, wenn die Unnatürlichkeit dahingehend bestimmt werden kann, ein unnatürliches Objekt zu sein, werden 0 Punkte gegeben, wenn es eine Möglichkeit gibt, dass es ein unnatürliches Objekt ist, 5 Punkte, und wenn die Unnatürlichkeit dahingehend bestimmt werden kann, dass es kein unnatürliches Objekt ist, 10 Punkte. Des Weiteren, obwohl die Darstellung weggelassen ist, wird die Konturübereinstimmung bestimmt dahingehend, von 0 bis 50 Punkte zu sein, basierend auf der Korrelation, hergeleitet durch Abgleich mit einem Modellmuster.
Als nächstes integriert das Erscheinungspunkt-Herleitung-Modul 168 die Punkte, die vergeben wurden bezüglich der Höhe, dem Ansichtsverhältnis, der räumlichen Verhältnisbeziehung, der Präferenz, der Unnatürlichkeit und der Konturübereinstimmung, um einen Bilderscheinungspunkt zu erhalten (0 bis 100 Punkte). Das Erscheinungspunkt-Herleitung-Modul 168 multipliziert dann den Bilderscheinungspunkt mit einem Koeffizienten entsprechend dem Vorsichtsniveau, wie in 5F gezeigt. Daraufhin, wie in 5G gezeigt, erhält das Erscheinungspunkt-Herleitung-Modul 168 einen Punkt, der dem Bilderscheinungspunkt zugeordnet wird, und fügt ihn einem Erscheinungspunkt hinzu, hergeleitet von einem vorherigen Bild, um einen neuen Erscheinungspunkt herzuleiten. Der Erscheinungspunkt variiert daher mit einer Breite von –4 bis +8 für jedes Bild. Die numerischen Werte bezüglich der Bestimmung des Bilderscheinungspunktes und des Erscheinungspunktes und des Bildpositionspunkts und des Positionspunkts, wie oben beschrieben, können optional gesetzt werden.
Das Punkterzeugungsmodul 170 addiert den Positionspunkt, hergeleitet von dem Positionspunkt-Herleitung-Modul 166, zu dem Erscheinungspunkt, hergeleitet von dem Erscheinungspunkt-Herleitung-Modul 168, um den Fußgängerpunkt zu erzeugen.
Das Fußgängeridentifizierungsmodul 172 vergleicht den Fußgängerpunkt, erzeugt von dem Punkterzeugungsmodul 170, mit einem vorbestimmten Grenzwert (hier 20 Punkte). Wenn der Fußgängerpunkt gleich oder größer ist als der Grenzwert, identifiziert das Fußgängeridentifizierungsmodul 172 das Objekt dahingehend, ein Fußgänger zu sein. Da der erzeugte Positionspunkt hergeleitet wird basierend auf der Positionsinformation und der hergeleitete Positionspunkt dann zu dem Fußgängerpunkt zusätzlich zu dem Erscheinungspunkt hinzu addiert wird, kann die Fußgänger-Wahrscheinlichkeit des Objekts bestimmt werden basierend auf der Position des Objektes, bevor das Objekt dahingehend bestimmt wird, ein Fußgänger zu sein, basierend auf der Erscheinung. Wenn daher ein Fußgänger vor dem Fahrzeug 1 existiert, kann der Fußgängerpunkt den Grenzwert relativ früher erreichen und es ist daher möglich, den Fußgänger akkurat und schnell zu detektieren.
Es ist zu beachten, dass, wenn der Erscheinungspunkt nicht ein signifikanter Wert ist (hier, ≥ 1), das Fußgängeridentifizierungsmodul 172 das Objekt nicht dahingehend identifiziert, ein Fußgänger zu sein, selbst wenn der Fußgängerpunkt basierend alleine auf dem Positionspunkt gleich oder größer als der Grenzwert ist. Der Positionspunkt spielt einfach eine Hilfsrolle für den Erscheinungspunkt und Bezug auf den Positionspunkt zusätzlich wird nur dann genommen, wenn der Erscheinungspunkt der signifikante Wert ist. Daher kann eine Situation, in der das Objekt irrtümlich dahingehend erkannt wird, ein Fußgänger zu sein, unabsichtlich basierend nur auf dem Positionspunkt, obwohl das Objekt nicht dahingehend bestimmt werden kann, ein Fußgänger zu sein, basierend auf der Erscheinung, vermieden werden. In diesem Beispiel wird vermieden, dass der Fußgängerpunkt den Grenzwert erreicht allein basierend auf dem Positionspunkt, unabhängig von der Länge der Zeitdauer, während der der Punkt, der die Positionsinformation anzeigt, bestimmt wird dahingehend, ein Fußgänger zu sein, durch Bereitstellen der oberen Grenze niedriger als der Grenzwert des Positionspunktes.
Die 6A und 6B sind Darstellungen, die erzeugte Beispiele des Fußgängerpunkts zeigen, wobei 6A den konventionellen Prozess zeigt und 6B den Prozess gemäß diesem Ausführungsbeispiel zeigt. Zu dem Zeitpunkt #1 in den 6A und 6B kann das Objekt noch nicht dahingehend bestimmt werden, ein Fußgänger zu sein, basierend auf der Erscheinungsinformation, obwohl das Objekt basierend auf der Positionsinformation des Objektes dahingehend bestimmt werden kann, ein Fußgänger zu sein. In dem konventionellen Prozess der Bestimmung, ob das Objekt ein Fußgänger ist, lediglich basierend auf der Erscheinung des Objektes, ist der Fußgängerpunkt zu dem Zeitpunkt #1 in 6A daher 0 Punkte. Andererseits werden bei dem vorliegenden Ausführungsbeispiel, wenn das Objekt dahingehend bestimmt werden kann, ein Fußgänger zu sein, basierend auf der Positionsinformation, die Positionspunkte integriert. Daher kann der Fußgängerpunkt bereits 5 Punkte erreichen, was die obere Grenze ist, auch zu dem Zeitpunkt #1 in 6B.
Des Weiteren, wie in 6A gezeigt, in dem Fall, in dem der Erscheinungspunkt 8 Punkte wird zum Zeitpunkt #2 und der Erscheinungspunkt 16 Punkte wird zu einem Zeitpunkt #3 in dem konventionellen Prozess, ist der Fußgängerpunkt immer noch 16 Punkte und hat noch nicht den Grenzwert (hier 20 Punkte) zu dem Zeitpunkt #3 erreicht. Daher wird eine spezielle Aktion des Fahrzeugs 1 (zum Beispiel Anhalten des Fahrzeugs) schließlich durchgeführt zu einem Zeitpunkt #4, zu dem der Erscheinungspunkt alleine den Grenzwert erreicht. Andererseits, in dem Ausführungsbeispiel gemäß 6B, da das Objekt bestimmt wird basierend auf dem Fußgängerpunkt, der erhalten wird durch Addieren des Positionspunktes zu dem Erscheinungspunkt, wird der Fußgängerpunkt 13 Punkte zu dem Zeitpunkt #2 und der Fußgängerpunkt wird 21 Punkte zu dem Zeitpunkt #3. Daher kann zu dem Zeitpunkt #3, an dem der Grenzwert erreicht wird, das Fahrzeug 1 gestoppt werden, und es ist ersichtlich, dass das Fahrzeug 1 in Bezug auf die Umgebung außerhalb des Fahrzeugs 1 früher reagieren kann als in dem konventionellen Fall gemäß 6A.
7 ist ein Flussdiagramm, das einen Ablauf des gesamten Prozesses der Fußgängerbestimmung zeigt. Dieser Fußgängerbestimmungsprozess wird durchgeführt Bild für Bild für jedes Objekt, das in dem Detektionsbereich 214 enthalten ist.
Wie in 7 gezeigt, bestimmt das Positionspunkt-Herleitung-Modul 166 zuerst, ob die Höhe und die Breite des Objekts in den Bereich fallen, um zu bestimmen, dass es ein Fußgänger ist (S200). Wenn sie in den vorbestimmten Bereich fallen (JA in S200), wird der Positionspunkt dann hergeleitet (S202). In dem Positionspunktherleitungsprozess integriert das Positionspunkt-Herleitung-Modul 166, wie in den 4A bis 4D gezeigt, die Punkte jeweils entsprechend der Fahrtweglateralposition, der Fahrtgeschwindigkeit und dem akkumulierten Bewegungsbetrag und leitet den Bildpositionspunkt her. Das Positionspunkt-Herleitung-Modul 166 erhält weiterhin den Punkt, der dem hergeleiteten Bildpositionspunkt zugeordnet ist, und addiert ihn zu dem Positionspunkt, hergeleitet für das vorherige Bild, um den neuen Positionspunkt herzuleiten.
Daraufhin bestimmt das Erscheinungspunkt-Herleitung-Modul 168, ob die Kontur des Objekts erkannt werden kann (S204). Wenn die Kontur erkannt werden kann (JA in S204), leitet das Erscheinungspunkt-Herleitung-Modul 168 dann den Erscheinungspunkt her (S206). In dem Erscheinungspunktherleitungsprozess integriert das Erscheinungspunkt-Herleitung-Modul 168, wie in den 5A bis 5G gezeigt, die Punkte jeweils entsprechend der Höhe, des Ansichtsverhältnisses, der räumlichen Verhältnisbeziehung, der Präferenz, der Unnatürlichkeit, der Konturübereinstimmung und dem Vorsichtsniveau, um den Bilderscheinungspunkt herzuleiten. Das Erscheinungspunkt-Herleitung-Modul 168 erhält weiterhin den Punkt, der dem hergeleiteten Bilderscheinungspunkt zugeordnet ist, und addiert ihn zu dem Erscheinungspunkt, der für das vorherige Bild hergeleitet wurde, um den neuen Erscheinungspunkt herzuleiten.
Als nächstes addiert das Punkterzeugungsmodul 170 den Positionspunkt, hergeleitet von dem Positionspunkt-Herleitung-Modul 166, zu dem Erscheinungspunkt, hergeleitet von dem Erscheinungspunkt-Herleitung-Modul 168, um den Fußgängerpunkt zu erzeugen (S208). Das Fußgängeridentifizierungsmodul 172 bestimmt dann, ob der Fußgängerpunkt gleich oder größer ist als der Grenzwert (S210). Wenn der Fußgängerpunkt gleich oder größer ist als der Grenzwert (JA in S210), bestimmt das Fußgängeridentifizierungsmodul 172, dass das Objekt ein Fußgänger ist (S212) und beendet den Fußgängerbestimmungsprozess. Andererseits, wenn der Fußgängerpunkt kleiner ist als der Grenzwert (NEIN in S210), bestimmt das Fußgängeridentifizierungsmodul 172 dann, ob das Objekt außerhalb des Detektionsbereichs 214 ist (S214). Wenn das Objekt außerhalb des Detektionsbereichs 214 ist (JA in S214), beendet das Fußgängeridentifizierungsmodul 172 den Fußgängerbestimmungsprozess.
Andererseits, wenn die Höhe und die Breite des Objekts nicht in den Bereich fallen, in dem das Objekt als ein Fußgänger bestimmt werden kann (NEIN in S200), wenn die Kontur des Objektes nicht erkannt werden kann (NEIN in S204), oder wenn das Objekt nicht außerhalb des Detektionsbereichs 214 ist (NEIN in S214), bestimmt das Fußgängeridentifizierungsmodul 172 dann, dass das Objekt immer noch als ein Fußgänger bestimmt werden könnte und wiederholt den Prozess von Schritt S200.
(Andere Ausführungsbeispiele)
Alternativ oder zusätzlich zu dem oben beschriebenen Ausführungsbeispiel kann der Fußgänger auch bestimmt werden, wie in den weiteren nachfolgenden Ausführungsbeispielen beschrieben.
Die 8A und 8B sind Darstellungen, die andere Ausführungsbeispiele zeigen. Fußgänger können unterschiedliche Kleidungen von unterschiedlicher Farbe und unterschiedlichem Zuschnitt tragen und haben beispielsweise unterschiedliche Farben von Haut und Haar. Wie in 8A gezeigt, differiert der Farbton somit oftmals zwischen den Fußgängern und anderen Bereichen (zum Beispiel Hintergrund), die an die Kontur des Fußgängers angrenzen. Eine dicke Linie, wie sie in 8B gezeigt ist, die Teil eines Fahrzeugs oder dergleichen ist, kann irrtümlicherweise als ein Fußgänger erkannt werden. Fahrzeuge haben jedoch oftmals vergleichsweise weniger Farbtöne und andere Teile des gleichen Fahrzeugs existieren neben dem irrtümlich erkannten Teil, wie in 8B gezeigt. Die Farbtöne sind daher oft gleich denjenigen, die an die Kontur des Subjektteils angrenzen, zwischen dem Subjektteil und anderen Bereichen (speziell Bereichen seitlich neben dem Subjektteil). Ein Fokussieren auf solche Charakteristiken der Farbtöne, die dazu tendieren, zwischen Fußgängern und anderen Bereichen anders zu sein, kann die Bestimmungsgenauigkeit von Fußgängern verbessern.
Das Konturidentifizierungsmodul 174 identifiziert die Kontur des Objektes von einem Rand, extrahiert von dem Luminanzbild 210, basierend auf der Luminanz. Das Farbtonbestimmungsmodul 176 vergleicht Farbtöne (R, G und B) innerhalb und außerhalb der Kontur des Objektes, um als ein Ergebnis das Objekt dahingehend zu identifizieren, ein Fußgänger zu sein. Hierbei wird die Luminanzinformation nicht verwendet und es werden beispielsweise nur die Farbtöne verglichen, so dass ein Unterschied zwischen hellblau und dunkelblau schwierig zu erzeugen ist.
Die 9A bis 9C sind Darstellungen, die die Funktion des Farbtonbestimmungsmoduls 176 erläutern. Genauer gesagt, wie in 9A gezeigt, leitet das Farbtonbestimmungsmodul 176 zuerst eine vertikal verlaufende Mittellinie 300 her, die eine horizontale Mitte (eine Linie, die durch den Schwerpunkt verläuft) eines Objekts 2 anzeigt. Das Farbtonbestimmungsmodul 176 identifiziert dann ein Paar linker und rechter repräsentativer Konturpixel als eine Kontur 302 (gezeigt durch eine dicke Linie) des Objekts 2, so dass ein Paar repräsentativer Konturpixel ausgewählt wird in der gleichen Höhe des Objekts 2. Die zwei repräsentativen Konturpixel des gleichen Paares sind somit in dem gleichen Abstand angeordnet, jedoch in unterschiedlichen Richtungen von der Mittellinie 300. In gleicher Weise identifiziert das Farbtonbestimmungsmodul 176 sequentiell ein anderes Paar in einer unterschiedlichen Höhe und wiederholt diesen Prozess für die gesamte Höhe des Objekts 2. Es existiert somit die gleiche Anzahl repräsentativer Konturpixel links und rechts von der Mittellinie 300 und die Anzahl der repräsentativen Konturpixel ist die gleiche wie die Anzahl von Pixeln der Mittellinie 300.
Dann, wie in 9B durch bidirektionale Pfeile angezeigt, integriert das Farbtonbestimmungsmodul 176 die Farbtöne der Pixel in der horizontalen Richtung von dem repräsentativen Konturpixel auf jeder Seite von der Mittellinie 300 und teilt den integrierten Wert durch die Anzahl von integrierten Pixeln, um einen Mittelwert der Farbtöne zu berechnen. Der Mittelwert wird dem entsprechenden repräsentativen Konturpixel zugeordnet und dieser Prozess wird wiederholt für alle repräsentativen Konturpixel (das heißt alle Höhenpositionen und sowohl links als auch rechts). Als nächstes, wie in 9C gezeigt, leitet das Farbtonbestimmungsmodul 176 in gleicher Weise einen Durchschnittswert der Farbtöne der Pixel in der horizontalen Richtung her, außerhalb von jedem repräsentativen Konturpixel der Kontur. Die Anzahl von Pixeln, von denen die Mittelwerte der Farbtöne hergeleitet werden, ist identisch zu der Anzahl von Pixeln von jedem repräsentativen Konturpixel zu der Mittellinie 300, wie in 9C gezeigt. Auf diese Weise können die Mittelwerte der Farbtöne innerhalb und außerhalb der Kontur hergeleitet werden zu gleichen Bedingungen (das heißt basierend auf der gleichen Anzahl von Pixeln).
Als nächstes vergleicht das Farbtonbestimmungsmodul 176 den Mittelwert der Farbtöne innerhalb und außerhalb der Kontur für jedes repräsentative Konturpixel, um eine Differenz dazwischen zu berechnen, und integriert dann die Anzahl der repräsentativen Konturpixel, von denen die Differenz größer wird als ein vorbestimmter Grenzwert. Die Farbtöne können verglichen werden durch Totalwerte von jeder der Differenzen von R-, G- und B-Werten. Daraufhin vergleicht das Farbtonbestimmungsmodul 176 den integrierten Wert mit der gesamten Anzahl der repräsentativen Konturpixel. Wenn der integrierte Wert größer ist als ein vorbestimmtes Verhältnis (hier 50%) der gesamten Anzahl, identifiziert das Farbtonbestimmungsmodul 176 das Objekt dahingehend, ein Fußgänger zu sein. Das vorbestimmte Verhältnis, das geeignet ist zum Bestimmen des Objekts dahingehend, ein Fußgänger zu sein, ist in diesem Ausführungsbeispiel auf 50% gesetzt als Ergebnis von Experimenten. Das Verhältnis kann jedoch auf irgendwelche andere Werte gesetzt werden, entsprechend der Umgebung außerhalb des Fahrzeugs und den Erscheinungen der Fußgänger.
Es ist zu beachten, dass die Fußgängerbestimmung von anderen Ausführungsbeispielen, die oben beschrieben wurden, einfach eine Hilfsrolle spielt bei der Fußgängerbestimmung basierend auf dem Fußgängerpunkt und effektiv zu verwenden ist, wenn der Fußgänger mit größerer Sicherheit und größerer Schnelligkeit bestimmt werden soll, basierend auf dem Fußgängerpunkt.
Wie zuvor beschrieben, werden Fußgänger akkurat und schnell detektiert in diesem Ausführungsbeispiel durch Ausführen der Fußgängerbestimmung des Objektes basierend auf der Positionsinformation im Vorhinein, selbst wenn die Objekte nicht dahingehend bestimmt werden können, Fußgänger zu sein, basierend auf den Erscheinungen der Objekte. Darüber hinaus kann die Genauigkeit der Fußgängerbestimmung weiterhin verbessert werden durch Bestimmen der Fußgänger-Wahrscheinlichkeit basierend auf den Farbtönen innerhalb und außerhalb der Kontur jedes Objektes.
Zudem können Programme, die bewirken, dass ein oder mehrere Computer als die Fahrzeugaußenumgebungerkennungsvorrichtung 120 funktionieren, und Speichermedien, die die Programme aufzeichnen, wie beispielsweise flexible Scheiben, magnetooptische Scheiben, ROMs, CDs, DVDs, BDs, die von den Computern gelesen werden können, ebenfalls bereitgestellt werden. Es ist zu beachten, dass der Begriff „Programm”, wie er hierin verwendet wird, sich auf Datensätze bezieht, die in irgendeiner Sprache und/oder beschreibenden Verfahren geschrieben sind.
Wie zuvor beschrieben, obwohl geeignete Ausführungsbeispiele der vorliegenden Erfindung beschrieben wurden unter Bezug auf die beigefügten Zeichnungen, muss nicht erwähnt werden, dass die vorliegende Erfindung nicht auf diese Beispiele begrenzt ist. Es ist offensichtlich, dass der Fachmann verschiedene Arten von Änderungen und Modifikationen innerhalb des Umfangs der beigefügten Patentansprüche in Betracht zieht und es versteht sich, dass der technische Umfang der vorliegenden Erfindung solche Abweichungen ebenfalls einschließt.
Es versteht sich, dass es nicht erforderlich ist, die Prozesse oder Schritte des Verfahrens des Identifizierens des Fußgängers gemäß dieser Beschreibung in einer zeitlichen Reihenfolge auszuführen entsprechend der Reihenfolge, die in dem Flussdiagramm beschrieben ist, und der Prozess kann zudem ein oder mehrere parallele Prozesse oder Unterprogramme aufweisen.
Die vorliegende Erfindung kann angewandt werden auf die Fahrzeugaußenumgebungerkennungsvorrichtung, die das spezifische Objekt identifiziert, das dem in dem Detektionsbereich existierenden Objekt entspricht.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Dreidimensionale-Position-Herleitungsmodul 162, das dreidimensionale Positionen von Subjektteilen in einem realen Raum herleitet, basierend auf einem Bild, erhalten durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul 164, das die Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Positionspunkt-Herleitung-Modul 166, das einen Positionspunkt herleitet, basierend auf Positionsinformation des Objektes, ein Erscheinungspunkt-Herleitung-Modul 168, das einen Erscheinungspunkt herleitet, basierend auf Erscheinungsinformation des Objektes, und ein Fußgängeridentifizierungsmodul 172, das das Objekt dahingehend identifiziert, ein Fußgänger zu sein, wenn ein Fußgängerpunkt, der erhalten wird durch zumindest Addieren des Positionspunktes zu dem Erscheinungspunkt, gleich oder größer ist als ein vorbestimmter Grenzwert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012-194864 A [0002]
JP 2008-45974 A [0005]

Claims

Fahrzeugaußenumgebungerkennungsvorrichtung, umfassend: ein Dreidimensionale-Position-Herleitungsmodul, das dreidimensionale Positionen eines Subjektteils herleitet in einem realen Raum, basierend auf einem Bild, erhalten durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul, das die Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Positionspunkt-Herleitung-Modul, das einen Positionspunkt herleitet, basierend auf Positionsinformation bezogen auf die Position des Objektes, ein Erscheinungspunkt-Herleitung-Modul, das einen Erscheinungspunkt herleitet, basierend auf Erscheinungsinformation, bezogen auf die Erscheinung des Objekts, und ein Fußgängeridentifizierungsmodul, das das Objekt dahingehend identifiziert, ein Fußgänger zu sein, wenn ein Fußgängerpunkt, der erhalten wird durch zumindest Addieren des Positionspunktes zu dem Erscheinungspunkt, gleich oder größer ist als ein vorbestimmter Grenzwert.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1, wobei das Fußgängeridentifizierungsmodul das Objekt dahingehend identifiziert, ein Fußgänger zu sein, wenn der Erscheinungspunkt ein vorbestimmter Wert oder größer ist und der Fußgängerpunkt gleich oder größer ist als der Grenzwert.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1 oder 2, wobei der Positionspunkt hergeleitet wird basierend auf einem oder mehreren Parametern, ausgewählt aus der Gruppe bestehend aus einer Fahrtweglateralposition, einer Fahrtgeschwindigkeit und einem akkumulierten Bewegungsbetrag des Objektes.
Fahrzeugaußenumgebungerkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der Erscheinungspunkt hergeleitet wird basierend auf einem oder mehreren Parametern, ausgewählt aus der Gruppe bestehend aus einer Höhe, einem Ansichtsverhältnis, einer räumlichen Verhältnisbeziehung, einer Präferenz, einer Unnatürlichkeit, einer Konturübereinstimmung und einem Vorsichtspegel des Objekts.
Fahrzeugaußenumgebungerkennungsvorrichtung nach einem der Ansprüche 1 bis 4, weiterhin aufweisend: ein Konturidentifizierungsmodul, das eine Kontur des Objektes identifiziert von einem Rand, basierend auf Luminanz des Bildes, und ein Farbtonbestimmungsmodul, das Farbtöne von Pixeln innerhalb und außerhalb der Kontur des Objektes vergleicht, um das Objekt dahingehend zu identifizieren, ein Fußgänger zu sein, basierend auf einem Ergebnis des Vergleichs.
Fahrzeugaußenumgebungerkennungsvorrichtung, umfassend: ein Dreidimensionale-Position-Herleitungsmodul, das eine dreidimensionale Position von Subjektteilen in einem realen Raum herleitet, basierend auf einem Bild, erhalten durch Abbilden eines Detektionsbereichs, ein Objektidentifizierungsmodul, das Subjektteile, deren Differenzen in den dreidimensionalen Positionen innerhalb eines vorbestimmten Bereichs sind, gruppiert, um ein Objekt zu identifizieren, ein Konturidentifizierungsmodul, das eine Kontur des Objektes identifiziert von einem Rand, basierend auf Luminanz des Bildes, und ein Farbtonbestimmungsmodul, das Farbtöne von Pixeln innerhalb und außerhalb der Kontur des Objektes vergleicht, um das Objekt als einen Fußgänger zu identifizieren, basierend auf einem Ergebnis des Vergleichs.