DE102012111332A1

DE102012111332A1 - Außenumgebungserkennungsvorrichtung und Außenumgebungserkennungsverfahren

Info

Publication number: DE102012111332A1
Application number: DE102012111332A
Authority: DE
Inventors: Seisuke Kasaoki
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-11-24
Filing date: 2012-11-23
Publication date: 2013-05-29
Also published as: CN103136509B; US9117115B2; US20130177205A1; JP5548667B2; JP2013109720A; CN103136509A

Abstract

Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren bereitgestellt. Eine Außenumgebungserkennungsvorrichtung 130 erlangt ein Bild in einem Detektionsbereich, erzeugt eine Blockgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Blöcken, mehreren Blöcken in einem Bereich, der sich von einer Ebene, die der Straßenoberfläche entspricht, zu einer vorbestimmten Höhe in dem erlangten Bild erstreckt, teilt die Blockgruppe in Zwei in einer horizontalen Richtung des Bildes und bestimmt, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Blockgruppen, ob die Blockgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.

Description

Die Erfindung betrifft eine Außenumgebungserkennungsvorrichtung und ein Außenumgebungserkennungsverfahren zum Erkennen der Umgebung außerhalb eines Subjektfahrzeugs.
Bekannt ist eine Technologie, die ein Zielobjekt wie beispielsweise ein Fahrzeug, eine Person und ein Hindernis, das sich vor einem Subjektfahrzeug befindet, spezifiziert, um eine Kollision mit dem spezifizierten Zielobjekt zu vermeiden (Bremssteuerung) und eine Steuerung durchführt, um einen sicheren Abstand zwischen dem Subjektfahrzeug und dem vorausfahrenden Fahrzeug aufrechtzuerhalten (Fahrtregelung) (beispielsweise japanisches Patent Nr. 3349060 ). In vielen dieser Technologien wird ein Zielobjekt nachverfolgt, um Positionsinformationen zu aktualisieren, und die Bewegungsgeschwindigkeit und dergleichen des vorausfahrenden Fahrzeugs und der Person werden berechnet. Das Ergebnis dieser Berechnung ist beispielsweise in der Bremssteuerung und der Fahrtsteuerung beziehungsweise -regelung reflektiert.
Unter diesen Zielobjekten ist eine Person, wie beispielsweise insbesondere ein Fußgänger, hochgradig flexibel bezüglich der Bewegungsrichtung, die Bewegungsgeschwindigkeit ist verglichen mit einem vorausfahrenden Fahrzeug gering und darüber hinaus ist das Absolutvolumen der Person klein. Aus diesem Grunde ist es schwierig, das Verhalten der Person aufzufinden und die Person nachzuverfolgen, was es schwierig macht, die Technologie der Bremssteuerung und der Fahrtregelung anzuwenden.
Demzufolge ist eine Technologie bekannt geworden, in der in einem Bild, das durch das Subjektfahrzeug erlangt wird, ein Bereich, in dem Bewegung gleichförmig ist, provisorisch als ein oberer Bereich definiert wird, und eine Bestimmung durchgeführt wird, ob Bewegungen von Merkmalspunkten in einem unteren Abschnitt nicht gleichförmig sind. Wenn die Bewegungen dahingehend bestimmt werden, nicht gleichförmig zu sein, wird der Bereich als ein unterer Bereich definiert und eine Kombination hiervon wird als ein gesamter Körperbereich eines Fußgängers spezifiziert (zum Beispiel japanische ungeprüfte Patentanmeldung (JP-A) Nr. 2009-157581 ).
Wenn die Technologie des japanischen Patents Nr. 3349060 verwendet wird, kann der gesamte Körper einer Person bei Tageslicht spezifiziert werden. Bei einem Zustand, bei dem es notwendig ist, das Frontlicht einzuschalten, wie beispielsweise bei Nacht, kann ein effektives Bild jedoch nur in einer relativ niedrigen Position des gesamten Körperbereichs des Fußgängers erhalten werden (der Bereich der unteren Körperhälfte), auf den die Lichter der Frontbeleuchtung des Subjektfahrzeugs fallen, und es ist unmöglich, einen Bereich zu spezifizieren, in dem die Bewegungen gleichförmig sind, welcher dem Bereich der oberen Hälfte des Körpers entspricht. Daher kann beispielsweise der gesamte Körperbereich des Fußgängers, der vor einem Subjektfahrzeug die Straße überquert, nicht spezifiziert werden, und dies kann Probleme bezüglich einer reibungslosen beziehungsweise ordnungsgemäßen Bremssteuerung und Fahrtregelung verursachen.
Im Hinblick auf derartige Probleme besteht die Aufgabe der Erfindung darin, eine Außenumgebungserkennungsvorrichtung und ein Außenumgebungserkennungsverfahren bereitzustellen, die beziehungsweise das dazu in der Lage sind, die Effizienz zum Spezifizieren einer Peron und die Genauigkeit zum Spezifizieren einer Person zu verbessern durch direktes Spezifizieren der Person mit einem unteren Abschnittsbereich (die untere Hälfte des Körpers) der Person.
Zur Lösung dieser Aufgabe wird gemäß einem Aspekt der vorliegenden Erfindung eine Außenumgebungserkennungsvorrichtung bereitgestellt, die beinhaltet: eine Bilderlangungseinheit zum Erlangen eines Bildes in einem Detektionsbereich, eine Gruppierungseinheit zum Erzeugen einer Abschnittsgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Abschnitten, mehreren Abschnitten in einem Bereich, der sich von einer Ebene, die der Straßenoberfläche entspricht, zu einer vorbestimmten Höhe in dem erlangten Bild erstreckt, und eine Personkandidatbestimmungseinheit zum Teilen der Abschnittsgruppe in Zwei in einer horizontalen Richtung des Bildes und Bestimmen, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Abschnittsgruppen, ob die Abschnittsgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.
Vorzugsweise ist das erste relative Verhältnis eines von einem relativen Positionsverhältnis, einem Unterschied von Luminanz oder einer Kontinuität in einer Randrichtung.
Vorzugsweise ist das zweite relative Verhältnis eines oder mehre Verhältnisse, ausgewählt von einer Gruppe beinhaltend eine Form, eine Größe eines Bereichs, Symmetrie und Luminanz.
Vorzugsweise ist das zweite relative Verhältnis, ob jeder Mittellinienwinkel, der von einer vertikalen Linie und einer Mittellinie von jeder der zwei unterteilten Abschnittsgruppen gebildet wird, in einem vorbestimmten ersten Winkelbereich enthalten ist oder nicht.
Vorzugsweise unterteilt die Gruppierungseinheit weiterhin, in mehrere Bereiche in einer Höhenrichtung, den Bereich, der sich von der Ebene, die der Straßenoberfläche entspricht, zu einer vorbestimmten Höhe in dem Bild erstreckt, und gruppiert mehrere Abschnitte in jedem der unterteilten Bereiche und die Personkandidatbestimmungseinheit bestimmt den ersten Personkandidaten, wenn das zweite relative Verhältnis zwischen den zwei unterteilen Abschnittsgruppen erfüllt ist und ein Differenzwinkel zwischen Mittellinien der gruppierten Abschnittsgruppen, die in der Höhenrichtung nebeneinander liegen, innerhalb eines vorbestimmten zweiten Winkelbereichs ist.
Vorzugsweise führt die Personkandidatbestimmungseinheit eine Bestimmung des ersten Personkandidaten bezüglich der verbleibenden Bereiche nicht aus, wenn ein Differenzwinkel, der von einem beliebigen der Bereiche in der Höhenrichtung gebildet wird, dahingehend bestimmt wird, nicht in dem vorbestimmten zweiten Winkelbereich enthalten zu sein.
Vorzugsweise ändert die Personkandidatbestimmungseinheit den ersten Winkelbereich entsprechend einem Abstand zwischen einem Subjektfahrzeug und der Abschnittsgruppe.
Vorzugsweise weist die Außenumgebungserkennungsvorrichtung auf: eine Personkandidatnachverfolgungseinheit zum Nachverfolgen der Abschnittsgruppe, die als der erste Personkandidat bestimmt wurde, durch die Personkandidatbestimmungseinheit, eine Umkehrmesseinheit zum Messen der Anzahl von Umkehrvorgängen, wenn die Personkandidatbestimmungseinheit bestimmt, dass die von der Personkandidatnachverfolgungseinheit nachverfolgte Abschnittsgruppe der erste Personkandidat ist und nicht der erste Personkandidat ist, und eine Personkandidatspezifizierungseinheit zum Spezifizieren des ersten Personkandidat als ein zweiter Personkandidat, wenn die Anzahl von Umkehrvorgängen dahingehend bestimmt wird, in einem vorbestimmten Häufigkeitsbereich enthalten zu sein.
Vorzugsweise weist die Außenumgebungserkennungsvorrichtung auf: eine Personkandidatnachverfolgungseinheit zum Nachverfolgen der Abschnittsgruppe, die von der Personkandidatbestimmungseinheit dahingehend bestimmt ist, der erste Personkandidat zu sein, eine Umkehrmesseinheit zum Messen eines Umkehrzyklus, wenn die Personkandidatbestimmungseinheit bestimmt, dass die von der Personkandidatnachverfolgungseinheit nachverfolgte Abschnittsgruppe der erste Personkandidat ist und nicht der erste Personkandidat ist, und eine Personkandidatspezifizierungseinheit zum Bestimmen, dass sich der erste Personkandidat bewegt, wenn ein Umkehrzyklus dahingehend bestimmt wird, innerhalb eines vorbestimmten Zyklusbereichs enthalten zu sein.
Gemäß einem zweiten Aspekt stellt die vorliegende Erfindung ein Außenumgebungserkennungsverfahren bereit, enthaltend die Schritte: Erlangen eines Bildes in einem Detektionsbereich, Erzeugen einer Abschnittsgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Abschnitten, wobei sich mehrere Abschnitte in einem Bereich von einer Ebene, die einer Straßenoberfläche entspricht, zu einer vorbestimmten Höhe in dem erlangten Bild erstrecken, Unterteilen der Abschnittsgruppe in Zwei in einer horizontalen Richtung des Bildes und Bestimmen, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Abschnittsgruppen, ob die Abschnittsgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen erläutert.
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem darstellt;
2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbildes;
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Außenumgebungserkennungsvorrichtung darstellt;
4 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformationen, welche von einer Positionsinformationserlangungseinheit durchgeführt wird;
5 ist eine beispielhafte Darstellung zur Erläuterung einer Bereichsbegrenzung durch eine Gruppierungseinheit;
6 ist eine beispielhafte Darstellung zur Erläuterung des Arbeitsablaufs einer Personkandidatbestimmungseinheit;
7 ist eine beispielhafte Darstellung zur Erläuterung des Arbeitsablaufs einer Personkandidatbestimmungseinheit;
8 ist eine beispielhafte Darstellung zur Erläuterung des Unterteilens durch die Gruppierungseinheit;
9 ist eine beispielhafte Darstellung zum Erläutern des Arbeitsablaufs einer Umkehrmesseinheit;
10 ist ein Flussdiagramm zur Erläuterung des Gesamtablaufs eines Außenumgebungserkennungsverfahrens;
11 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Positionsinformationserlangungsprozesses;
12 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Gruppierungs-/Personkandidatbestimmungsprozesses;
13 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Gruppierungs-/Personkandidatbestimmungsprozesses;
14 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Gruppierungs-/Personkandidatbestimmungsprozesses;
15 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Gruppierungs-/Personkandidatbestimmungsprozesses;
16 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Personkandidatnachverfolgungsprozesses;
17 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Umkehrmessprozesses;
18 ist ein Flussdiagramm zur Erläuterung eines Ablaufs eines Personkandidatspezifizierungsprozesses; und
19 ist eine beispielhafte Darstellung zur Erläuterung von Kontinuität in einer Randrichtung.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung im Detail unter Bezug auf die beigefügten Zeichnungen beschrieben. Die Größen, Materialien und andere spezifische numerische Werte, die in der Ausführungsform gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der Erfindung, und, solange nicht anderweitig spezifiziert, schränken sie die Erfindung nicht ein. In der Beschreibung und den Zeichnungen sind Elemente, die die im Wesentlichen gleichen Funktionen und Konfigurationen haben, mit gleichen Bezugszeichen bezeichnet, und eine wiederholte Erläuterung davon wird weggelassen. Elemente, die sich nicht direkt auf die Erfindung beziehen, sind in den Zeichnungen weggelassen.
(Umgebungserkennungssystem 100)
1 ist ein Blockdiagramm, das eine Verschaltungsbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält eine Mehrzahl von Bildaufnahmevorrichtungen 110 (in der vorliegenden Ausführungsform zwei Bildaufnahmevorrichtungen 110), eine Bildverarbeitungsvorrichtung 120, eine Außenumgebungserkennungsvorrichtung 130 und eine Fahrzeugsteuerungsvorrichtung 140, die in einem Fahrzeug 1 vorgesehen sind.
Die Bildaufnahmevorrichtungen 110 enthalten ein Bildgebungselement wie etwa eine CCD (ladungsgekoppeltes Halbleiterelement) oder ein CMOS (komplementärer Metalloxid-Halbleiter) und können ein Farbbild erhalten, das heißt, Luminanzen aus drei Farbphasen R(rot), G(grün), B(blau) per Pixel. In diesem Fall wird ein von den Bildaufnahmevorrichtungen 110 aufgenommenes Farbbild als Luminanzbild bezeichnet und unterscheidet sich von einem Abstandsbild, das später erläutert wird.
Die Bildaufnahmevorrichtungen 110 sind in einer im Wesentlichen horizontalen Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 im Wesentlichen parallel sind in einer Fahrtrichtung des Fahrzeugs 1. Die Bildaufnahmevorrichtung 110 erzeugt kontinuierlich Bilddaten, die sie durch Aufnehmen eines Bilds eines spezifischen Objekts erhält, das sich in einem Detektionsbereich vor dem Fahrzeug 1 befindet, zum Beispiel bei jeder 1/60 Sekunde (60 fps).
In diesem Fall kann das spezifische Objekt nicht nur ein unabhängiges dreidimensionales sein, so wie eine Person (Mensch), ein Fahrzeug, ein Verkehrslicht, eine Straße und eine Leitplanke, sondern auch ein aufleuchtender Teil beziehungsweise Abschnitt, wie beispielsweise eine Bremsleuchte (Heckleuchte), ein Abbiegesignal beziehungsweise eine Blinkleuchte, ein Verkehrslicht, welches Dinge sind, die als ein Teil beziehungsweise Abschnitt eines dreidimensionalen Objekts spezifiziert werden können.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und leitet, basierend auf den zwei Teilen der Bilddaten, Parallaxeninformationen her einschließlich einer Parallaxe von jedem Block (einem Satz einer vorab bestimmten Anzahl von Pixeln) in dem Bild als einen Abschnitt und eine Position, die eine Position jedes Blocks in dem Bild repräsentiert. Die Bildverarbeitungsvorrichtung 120 leitet eine Parallaxe her unter Verwendung eines sogenannten Musterabgleichs oder einer sogenannten Mustererkennung (pattern matching), die einen Block in einem der Bilddaten sucht, der dem Block entspricht, welcher optional von den anderen Bilddaten extrahiert wird. In dieser Ausführungsform bedeutet horizontale Richtung, wenn es verwendet wird zur Erläuterung des Blocks, eine horizontale Richtung für das aufgenommene Bild, und entspricht der Breitenrichtung in der realen Welt. Andererseits bedeutet „vertikale” Richtung eine vertikale Richtung für das aufgenommene Bild und entspricht der Höhenrichtung in der realen Welt.
Ein Weg, um den Musterabgleich durchzuführen, ist der Vergleich von Luminanzwerten (Y-Farbdifferenz-Signale) zwischen zwei Bilddaten eines Blocks, der eine beliebige Bildposition angibt. Beispiele beinhalten eine SAD (Summe der absoluten Differenz), die eine Differenz der Luminanzwerte erhält, eine SSD (Summe der quadratischen Intensitätsdifferenz), die eine Differenz quadriert, und eine NCC (normalisierte Kreuzkorrelation), die einen Ähnlichkeitsgrad von Verteilungswerten verwendet, die durch Subtrahieren eines mittleren Luminanzwerts von einem Luminanzwert jedes Pixels erhalten werden. Die Bildverarbeitungsvorrichtung 120 führt einen solchen Parallaxenherleiteprozess an allen Blöcken, die in dem Detektionsbereich erscheinen (zum Beispiel 600 Pixel×200 Pixel), durch. In diesem Fall beinhaltet der Block 4 Pixel×4 Pixel. Die Anzahl von Pixeln in dem Block kann jedoch auf jeden anderen Wert gesetzt werden.
Obwohl die Bildverarbeitungsvorrichtung 120 eine Parallaxe für jeden Block herleiten kann, der als eine Detektionsauflösungseinheit dient, ist es unmöglich zu erkennen, zu welcher Art von Zielobjekt der Block gehört. Daher wird die Parallaxeninformation nicht hergeleitet durch das Zielobjekt, sondern wird unabhängig hergeleitet durch Auflösung (zum Beispiel pro Block) in dem Detektionsbereich. In dieser Ausführungsform wird ein Bild, das durch Zuordnen der so hergeleiteten Parallaxeninformation (entsprechend einem später beschriebenen relativen Abstand) zu Bilddaten erhalten wird, als Abstandsbild bezeichnet.
Die 2A und 2B sind beispielhafte Darstellungen zur Erläuterung eines Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, wie in 2A gezeigt, in Bezug auf einen Detektionsbereich 122 durch die beiden Bildaufnahmevorrichtungen 110 erzeugt wird. Hier wird zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch gezeigt. Die Bildaufnahmevorrichtung 120 erhält eine Parallaxe für jeden Block aus einem solchen Luminanzbild 124 und erzeugt das Abstandsbild 126, wie in 2B gezeigt. Jedem Block des Abstandsbilds 126 ist eine Parallaxe des Blocks zugeordnet. In der Zeichnung ist zum Zwecke der Erläuterung ein Block, von dem eine Parallaxe hergeleitet wird, durch einen schwarzen Punkt angegeben.
Die Parallaxe kann leicht an dem Randabschnitt (einem Abschnitt, wo ein Kontrast zwischen benachbarten Pixeln vorhanden ist) der Objekte spezifiziert werden und daher wird der Block, von dem die Parallaxe hergeleitet wird, der in dem Abstandsbild 126 mit schwarzen Punkten markiert ist, wahrscheinlich auch ein Rand in dem Luminanzbild 124 sein. Daher sind das in 2A gezeigte Luminanzbild 124 und das in 2B gezeigte Abstandsbild 126 im Hinblick auf den Umriss jedes Zielobjekts ähnlich.
Die Außenumgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 und das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und verwendet die Luminanz, basierend auf dem Luminanzbild 124, und den relativen Abstand von dem Subjektfahrzeug, hergeleitet von dem Abstandsbild 126, um zu bestimmen, welchem spezifischen Objekt das Zielobjekt in dem Detektionsbereich 122 entspricht. Beispielsweise können durch Spezifizieren eines Fußgängers (spezifisches Objekt), der vor dem Subjektfahrzeug die Straße überquert, die Existenz und das Verhalten des Fußgängers schnell aufgefunden werden und dies kann reflektiert werden in der Bremssteuerung und der Fahrtregelung.
Es ist zu beachten, dass der obige relative Abstand erhalten werden kann durch Konvertieren von Parallaxeninformation für jeden Block in dem Abstandsbild 126 in dreidimensionale Positionsinformation unter Verwendung eines sogenannten Stereoverfahrens. Das Stereoverfahren ist ein Verfahren, das eine Triangulationsmethode verwendet zum Herleiten eines relativen Abstands des Zielobjekts bezüglich der Bildaufnahmevorrichtung 110 aus der Parallaxe des Zielobjekts. Der von der Außenumgebungserkennungsvorrichtung 130 durchgeführte Prozess wird später im Detail erläutert.
Die Fahrzeugsteuerungsvorrichtung 140 vermeidet eine Kollision mit dem Zielobjekt, das von der Außenumgebungserkennungsvorrichtung 130 spezifiziert wird, und führt eine Steuerung so durch, dass ein sicherer Abstand von dem vorausfahrenden Fahrzeug beibehalten wird. Genauer gesagt, die Fahrzeugsteuerungsvorrichtung 140 erhält den aktuellen Fahrtzustand des Fahrzeugs 1 basierend auf beispielsweise einem Lenkwinkelsensor 142 zum Erfassen eines Lenkwinkels und einem Fahrzeuggeschwindigkeitssensor 144 zum Erfassen einer Geschwindigkeit des Fahrzeugs 1, um hierdurch einen Aktuator 146 anzusteuern, um einen sicheren Abstand von dem vorausfahrenden Fahrzeug einzuhalten. Der Aktuator 146 ist ein Betätigungselement zur Fahrzeugsteuerung, das zum Steuern oder Regeln einer Bremse, eines Drosselventils (Drehmomentsteuerung des Motors), eines Lenkwinkels oder dergleichen verwendet wird. Wenn eine Kollision mit einem Zielobjekt zu erwarten ist, zeigt die Fahrzeugsteuerungsvorrichtung 140 eine Warnung (Meldung) der zu erwartenden Kollision auf einem Display 148 an, das vor einem Fahrer vorgesehen ist, und steuert den Aktuator 146 an um das Fahrzeug 1 automatisch zu verzögern. Die Fahrzeugsteuerungsvorrichtung 140 kann auch integral mit der Außenumgebungserkennungsvorrichtung 130 ausgeführt sein.
(Außenumgebungserkennungsvorrichtung 130)
3 ist ein Funktionsblockdiagramm, das schematisch Funktionen der Außenumgebungserkennungsvorrichtung 130 darstellt. Wie in 3 gezeigt, enthält die Außenumgebungserkennungsvorrichtung 130 eine I/F-Einheit 150, eine Datenhalteeinheit 152, ein Luminometer 154 und eine zentrale Steuerungseinheit 156.
Die I/F-Einheit 150 ist eine Schnittstelle zum interaktiven Informationsaustausch mit der Bildverarbeitungsvorrichtung 120 und der Fahrzeugsteuerungsvorrichtung 140. Die I/F-Einheit 150 funktioniert als eine Bilderlangungseinheit. Die Datenhalteeinheit 152 ist zum Beispiel gebildet durch ein RAM, einen Flashspeicher, eine HDD und dergleichen und hält oder speichert verschiedene Informationsarten, die für die Bearbeitung durch nachfolgend erläuterte Funktionseinheit benötigt werden. Darüber hinaus hält oder speichert die Datenhalteeinheit 152 vorübergehend das Luminanzbild 124 und das Abstandsbild 126, empfangen von der Bildverarbeitungsvorrichtung 120. Das Luminometer 154 misst Beleuchtungsintensität außerhalb des Fahrzeugs, um die Außenumgebung zu überprüfen.
Die zentrale Steuerungseinheit 156 umfasst eine integrierte Halbleiterschaltung, beispielsweise mit einer zentralen Prozessoreinheit (CPU), einem ROM, das ein Programm oder dergleichen speichert, und einem RAM, das als Arbeitsfläche dient, und steuert die I/F-Einheit 150, die Datenhalteeinheit 152 und das Luminometer 154 durch einen Systembus 158. In dem vorliegenden Ausführungsbeispiel fungiert die zentrale Steuerungseinheit 156 auch als eine Positionsinformationserlangungseinheit 160, eine Gruppierungseinheit 162, eine Personkandidatbestimmungseinheit 164, eine Personkandidatnachverfolgungseinheit 166, eine Umkehrmesseinheit 168 und eine Personkandidatspezifizierungseinheit 170. Mit jeder funktionalen Einheit der zentralen Steuerungseinheit 156, wie zuvor erläutert, spezifiziert die Außenumgebungserkennungsvorrichtung 130 ein Zielobjekt in dem Detektionsbereich als ein spezifisches Objekt. Abbildungsbeispiele spezifischer Objekte beinhalten ein vorausfahrendes Fahrzeug und eine Person (Fußgänger). In dieser Erläuterung bezüglich der vorliegenden Ausführungsform wird beispielsweise eine Person, die sich vor einem Fahrzeug 1 befindet, in einer Situation spezifiziert, in der es erforderlich ist, die Frontlichter einzuschalten, beispielsweise bei Nacht (zum Zwecke der Erläuterung wird dies einfach als „bei Nacht” bezeichnet).
Die Positionsinformationserlangungseinheit 160 verwendet das Stereoverfahren zum Umwandeln von Parallaxeninformationen für jeden Block in dem Detektionsbereich 122 des Abstandsbildes 126 in dreidimensionale Positionsinformation einschließlich einer Breitenrichtung x, einer Höhenrichtung y und einer Tiefenrichtung z. Die Parallaxeninformation repräsentiert eine Parallaxe von jedem Block in dem Abstandsbild 126, während die dreidimensionale Positionsinformation Information repräsentiert über den relativen Abstand von jedem Block in der realen Welt. Wenn die Parallaxeninformation nicht von dem Pixel hergeleitet wird, sondern von dem Block, das heißt, die Berechnung kann in Einheiten von Pixeln mit der Parallaxeninformation ausgeführt werden, die angenommen wird als Parallaxeninformation für alle Pixel, die zu einem Block gehören.
4 ist eine beispielhafte Darstellung zur Erläuterung der Umwandlung in dreidimensionale Positionsinformation, die ausgeführt wird durch die Positionsinformationserlangungseinheit 160. Zunächst behandelt die Positionsinformationserlangungseinheit 160 das Abstandsbild 126 als ein Koordinatensystem in einer Pixeleinheit, wie in 4 gezeigt. In 4 wird die untere linke Ecke als ein Ursprung (0, 0) verwendet. Die horizontale Richtung wird angenommen als eine i-Koordinatenachse und die vertikale Richtung wird angenommen als eine j-Koordinatenachse. Ein Pixel mit einer Parallaxe dp kann daher wiedergegeben werden als (i, j, dp) unter Verwendung einer Pixelposition i, j und der Parallaxe dp.
Das dreidimensionale Koordinatensystem in der realen Welt entsprechend der vorliegenden Ausführungsform wird anhand eines relativen Koordinatensystems betrachtet, in dem das Fahrzeug 1 in der Mitte angeordnet ist. Die rechte Seite der Richtung, in der sich das Fahrzeug 1 bewegt, wird als eine positive Richtung der X-Achse bezeichnet, die obere Seite des Fahrzeugs 1 wird bezeichnet als eine positive Richtung der Y-Achse, die Richtung, in der sich das Fahrzeug 1 bewegt (Vorderseite) wird bezeichnet als eine positive Richtung der Z-Achse und der Schnittpunkt zwischen der Straßenoberfläche und einer vertikalen Linie, die durch die Mitte der zwei Bildgebungsvorrichtungen 110 verläuft, wird als ein Ursprung (0, 0, 0) bezeichnet. Wenn die Straße als eine ebene Fläche angenommen wird, fällt die Straßenoberfläche mit der X-Z Ebene zusammen (y = 0). Die Positionsinformationserlangungseinheit 160 verwendet die unten wiedergegebenen Formeln 1 bis 3 zum Umwandeln der Koordinate des Blocks (i, j, dp) in dem Abstandsbild 126 in einen dreidimensionalen Punkt (x, y, z) in der realen Welt. x = CD/2 + z·PW·(i – IV) (Formel 1) y = CH + z·PW·(j – JV) (Formel 2) z = KS/dp (Formel 3)
Hier bezeichnet CD ein Intervall (Grundlinienlänge) zwischen den Bildaufnahmevorrichtungen 110, PW bezeichnet einen entsprechenden Abstand in der realen Welt zu einem Abstand zwischen benachbarten Pixeln in dem Bild, den sogenannten Blickwinkel pro Pixel, CH bezeichnet eine Anordnungshöhe der Bildaufnahmevorrichtung 110 von der Straßenoberfläche, IV und JV bezeichnen Koordinaten (Pixeln) in dem Bild an einem unendlichen Punkt vor dem Fahrzeug 1 und KS bezeichnet einen Abstandskoeffizienten (KS = CD/PW).
Dementsprechend leitet die Positionsinformationserlangungseinheit 160 die Höhe von der Straßenoberfläche her auf der Basis des Detektionsabstandes (zum Beispiel der Anzahl von Pixeln) in dem Abstandsbild 126 zwischen einem Punkt auf der Straßenoberfläche, der in dem gleichen relativen Abstand angeordnet ist wie der Block, und dem Block. Es ist zu beachten, dass eine X-Z Ebene, die der Straßenoberfläche (y = 0) entspricht, hergeleitet werden kann basierend auf einer dreidimensionalen Koordinate einer Fahrspur auf der Straße (einer Linie, die die Straße unterteilt), und die Fahrspur extrahiert werden kann aus Luminanzänderung bezüglich der Straße. Die dreidimensionale Position der Straßenoberfläche kann hergeleitet werden unter Verwendung unterschiedlicher Arten verfügbarer Technologien und eine detaillierte Beschreibung hiefür wird daher hier weggelassen.
Die Gruppierungseinheit 162 gruppiert mehrere Blöcke in dem Abstandsbild 126 auf der Basis von einem relativen Positionsverhältnis, das als das erste relative Verhältnis dient, hergeleitet von der Positionsinformationserlangungseinheit 160, und erzeugt eine Blockgruppe, die als eine Abschnittsgruppe dient. Beispielsweise führt die Gruppierungseinheit 162 einen Gruppierungsprozess in einer solchen Art und Weise durch, dass ein gegebener Block als ein Basispunkt angenommen wird und ein Block, der neben diesem Block liegt, abgerufen wird, und ein Block, dessen Differenz in einer Breitenrichtung x von demjenigen Block, der als Basispunkt dient, dessen Differenz in einer Höhenrichtung y hiervon und dessen Differenz in einer Tiefenrichtung z hiervon innerhalb eines vorbestimmten Bereichs sind (zum Beispiel 0,5 m), angenommen wird als dem gleichen Zielobjekt entsprechend. Der Bereich wird wiedergegeben als ein Abstand in der realen Welt und kann auf jeglichen gegebenen Wert gesetzt werden durch den Hersteller und einen Fahrer.
Die Gruppierungseinheit 162 gruppiert auch Blöcke, die durch einen Gruppierungsprozess neu hinzugefügt werden, so dass die Gruppierungseinheit 162 weiterhin Blöcke gruppiert, deren Differenz in der Breitenrichtung x von dem Block, der als Basispunkt dient, dessen Differenz in der Höhenrichtung y von dem Block, der als Basispunkt dient, und dessen Differenz in der Tiefenrichtung z von dem Block, der als Basispunkt dient, innerhalb eines vorbestimmten Bereichs liegen. Als Ergebnis werden alle Blöcke, die provisorisch dahingehend bestimmt werden, das gleiche spezifische Objekt zu sein, gruppiert.
In der obigen Beschreibung werden sowohl die Differenz in der Breitenrichtung x, die Differenz in der Höhenrichtung y als auch die Differenz in der Tiefenrichtung z unabhängig bestimmt und lediglich wenn diese alle innerhalb des vorbestimmten Bereichs sind, werden die Zielabschnitte in die gleiche Gruppe gruppiert. Der Gruppierungsprozess kann jedoch unter Verwendung einer anderen Berechnung durchgeführt werden. Wenn beispielsweise der euklidische Abstand, die Quadratwurzel aus ((Differenz in der Breitenrichtung x)² + (Differenz in der Höhenrichtung y)² + (Differenz in der Tiefenrichtung z)²) innerhalb eines vorbestimmten Bereichs liegt, können Zielabschnitte in die gleiche Gruppe gruppiert werden. Mit einer solchen Berechnung können Abstände zwischen Blöcken in der realen Welt exakt hergeleitet werden und die Gruppierungsgenauigkeit kann daher erhöht werden.
In diesem Fall werden drei Parameter, das heißt die Differenz in der Breitenrichtung x, die Differenz in der Höhenrichtung y und die Differenz in der Tiefenrichtung z verwendet. Die Ausführungsform ist jedoch hierauf nicht beschränkt. Alternativ kann der Gruppierungsprozess durchgeführt werden unter Verwendung von lediglich zwei Differenzen wie beispielsweise der Differenz in der Breitenrichtung x und der Differenz in der Höhenrichtung y, der Differenz in der Breitenrichtung x und der Differenz in der Tiefenrichtung z, oder der Differenz in der Höhenrichtung y und der Differenz in der Tiefenrichtung z. Zudem kann bei einem bestimmten spezifischen Objekt die Gesamtluminanz ähnlich sein und die Tendenz der Änderung der Luminanz in einem regulären Muster und daher kann die Gruppierungseinheit 162 Verwendung von der Luminanzcharakteristik machen und den Gruppierungsprozess zusätzlich unter Verwendung einer Bedingung durchführen, dass die Luminanz nahe beziehungsweise ähnlich ist.
Wenn bei der vorliegenden Ausführungsform die Außenumgebung unter Verwendung des Luminometers 154 dahingehend bestimmt wird, bei Nacht zu sein, oder wenn sich die Frontlichter im AN-beziehungsweise EIN-Zustand befinden, begrenzt die Gruppierungseinheit 162 das Detektionsziel auf einen Abschnitt des Detektionsbereichs 122. Genauer gesagt, die Gruppierungseinheit 162 begrenzt den Bereich auf einen Bereich, der sich von der Ebene, die der Straßenoberfläche entspricht, bis zu einer vorbestimmten Höhe erstreckt (zum Beispiel 1,0 m), und gruppiert lediglich Blöcke, die sich in diesem Bereich befinden.
5 ist eine beispielhafte Darstellung zur Erläuterung der Bereichsbegrenzung durch die Gruppierungseinheit 162. Zum Zwecke der einfachen Erläuterung wird das Luminanzbild 124 zur Erläuterung verwendet. Die vorliegende Ausführungsform ist hauptsächlich dahingehend ausgerichtet, eine Person bei Dunkelheit beziehungsweise bei Nacht vor einem Fahrzeug 1 zu spezifizieren. In diesem Fall beleuchtet das Fahrzeug 1 die vorausliegende Straße unter Verwendung der Frontlichter, jedoch mit einem Fahrtlicht beziehungsweise Abblendlicht, das in einem üblichen Zustand verwendet wird, wobei Licht auf die Beine einer Person strahlt, wie in einem durch ein Rechteck begrenzten Bereich in 5A gezeigt. In einem Luminanzbild 124, das bei Nacht aufgenommen wird, wird daher hauptsächlich ein Zielobjekt einer Höhe gezeigt, die nahezu gleich der von Beinen einer Person ist, und daher werden relative Abstände in der Tiefenrichtung z hergeleitet bezüglich Blöcken, die niedriger sind als die Höhe der Beine der Person in dem Abstandsbild 126. Um eine derartige Nachtsituation zu handhaben, gruppiert die Gruppierungseinheit 162 Blöcke lediglich in einem begrenzten Bereich 200, der eine dreidimensionale Gürtelform von lediglich einem Meter darstellt und der sich oberhalb der Straßenoberfläche befindet, wie durch die diagonalen Linien in 5B gezeigt.
Wie zuvor beschrieben, ist das Detektionsziel bei Nacht auf den Bereich von einem Meter von der Straßenoberfläche begrenzt, so dass dies falsche Detektion verhindern kann, zum Beispiel falsche Detektion eines Zielobjekts, das sich einen Meter oder höher von der Straßenoberfläche befindet, und die Beine der Person können zuverlässig detektiert werden. Darüber hinaus kann, wenn verglichen mit der Verarbeitung, bei der der gesamte Detektionsbereich 122 als Ziel angenommen wird, die Prozesslast signifikant reduziert werden.
Zusätzlich zu dem Bereich, der sich von der Ebene erstreckt, die der Straßenoberfläche entspricht, zu der vorbestimmten Höhe (zum Beispiel 1,0 m), kann die Gruppierungseinheit 162 einen Bereich außerhalb eines Seitenstreifens oder einer Leitplanke ausschließen, wie in 5B gezeigt. Auf diese Weise kann die Belastung weiter reduziert werden.
In diesem Fall wird beispielsweise Nachtzeit beziehungsweise ein Zustand bei Nacht bestimmt gemäß einem Messergebnis, das von dem Luminometer 154 bereitgestellt wird, und dem Leuchtzustand der Frontlichter, und das Detektionsziel wird begrenzt auf den Bereich von einem Meter von der Straßenoberfläche. Wenn jedoch die Außenumgebung hell ist, beispielsweise bei Tageslicht, kann das Detektionsziel der gesamte Detektionsbereich 122 sein, so dass der gesamte Körper der Person einschließlich nicht lediglich der unteren Hälfte des Körpers, sondern ebenfalls der oberen Hälfte des Körpers, dem Gruppierungsprozess unterzogen werden kann.
Die Personkandidatbestimmungseinheit 164 unterteilt, in der horizontalen Richtung des Bildes, einige der Blockgruppen, die von der Gruppierungseinheit 162 gruppiert wurden, die dahingehend bestimmt werden können, Beine einer Person zu sein und deren Größe des Bereichs gleich oder größer ist als eine gewisse Größe eines Bereiches, und auf der Basis eines zweiten Verhältnisses zwischen den Blockgruppen in Zwei, die Personkandidatbestimmungseinheit 164 bestimmt, ob Blockgruppen ein erster Personkandidat sind oder nicht. Verschiedene Arten von Verhältnissen können als das zweite Verhältnis verwendet werden. In diesem Fall wird die Gesamtneigung von jedem der zwei unterteilten Blockgruppen als ein typisches Beispiel verwendet. Genauer gesagt, die Personkandidatbestimmungseinheit 164 bestimmt, als das zweite Verhältnis, ob jeder Mittellinienwinkel, der ein Winkel ist zwischen einer vertikalen Linie und einer Mittellinie von jeder der zwei unterteilten Blockgruppen, in einem ersten vorbestimmten Winkelbereich enthalten ist (zum Beispiel innerhalb 30 ± 15 Grad). Es ist zu beachten, dass der erste Personkandidat eine Wahrscheinlichkeit (Grad) eines Personkandidaten repräsentiert, der sich von dem zweiten Personkandidaten unterscheidet, der später erläutert wird.
6 ist eine beispielhafte Darstellung zum Erläutern des Arbeitsablaufs der Personkandidatbestimmungseinheit 164. Es sei angenommen, dass bei einem bei Nacht fahrenden Fahrzeug 1 das in 6A gezeigte Luminanzbild 124 von der Bildverarbeitungsvorrichtung 120 erhalten wird. Wie sich aus 6A ergibt, ist ein effektives Bild einer Person 208 ein Abschnitt unterhalb der Hüften. Bei dieser Gelegenheit extrahiert die Gruppierungseinheit 162 eine Blockgruppe 210 durch Gruppieren mehrerer Blöcke, deren relative Positionen nahe sind, in dem Bereich, der sich von der Ebene, welche der Straßenoberfläche entspricht, bis zu einer vorbestimmten Höhe (zum Beispiel 1,0 m) in dem Distanzbild 126 gemäß 6B erstreckt, basierend auf dem Luminanzbild 124 gemäß 6A. Die Personkandidatbestimmungseinheit 164 erzeugt einen virtuellen Rahmen 212 durch Umschließen der äußeren Ränder der Blockgruppe 210 mit einem Rechteck, das sich in horizontale und vertikale Richtungen erstreckt. Daraufhin wird der Rahmen 212 in horizontaler Richtung in Zwei geteilt und Teilblockgruppen 214a, 214b werden erzeugt, wie in 6C gezeigt.
Anschließend nimmt die Personkandidatbestimmungseinheit 164 Bezug auf all die Blöcke von jeder der Teilblockgruppe 214a und Teilblockgruppe 214b gemäß 6C und, unter Verwendung der Methode der kleinsten Quadrate, erzeugt die Personkandidatbestimmungseinheit 164 Mittellinien 216a, 216b, wie durch abwechselnd lang und kurz gestrichelte Linien angezeigt. Da eine Methode zum Erhalten einer in etwa geraden Linie (Kurve) durch die Methode der kleinsten Quadrate eine bereits bekannte Technik ist, wird eine detaillierte Erläuterung hierüber vorliegend weggelassen. In der obigen Erläuterung wird ein eindimensionales Modell als die Mittellinien 216a, 216b verwendet. Es können jedoch auch gekrümmte Linien von zwei oder mehr Grad verwendet werden.
Die Personkandidatbestimmungseinheit 164 bestimmt, ob jeder der Mittellinienwinkel α, β, welche Winkel sind zwischen den erzeugten Mittellinien 216a, 216b und einer vertikalen Linie 218, die sich in der vertikalen Richtung in dem Bild (vertikale Richtung) erstreckt, innerhalb eines vorbestimmten ersten Winkelbereichs (zum Beispiel 30 ± 15 Grad) enthalten ist. Wenn beide Mittellinienwinkel α, β, in dem ersten Winkelbereich enthalten sind, nimmt die Personkandidatbestimmungseinheit 164 an, dass die Teilblockgruppen 214a, 214b zwei Beine einer Person sind und nimmt die Blockgruppe 210 als den ersten Personkandidat an.
Der hier verwendete erste Winkelbereich kann auf einen vorbestimmten Winkel festgelegt sein, wie oben beschrieben. Er kann jedoch auch verändert werden in Abhängigkeit von dem Abstand zwischen dem Fahrzeug 1 und der Blockgruppe 210. Die in der Außenumgebungserkennungsvorrichtung 130 als das Luminanzbild 124 und das Abstandsbild 126 aufgefundenen Bilder werden ausgedrückt mit Pixeln der gleichen Größe, unabhängig von den dreidimensionalen Koordinaten. In anderen Worten, eine Blockgruppe 210 nahe an dem Fahrzeug 1 (kurzer Abstand) kann detaillierter ausgedrückt sein, da die Größe der Fläche hiervon größer ist im Vergleich mit dem Pixel, eine Blockgruppe 210 weit von dem Fahrzeug 1 entfernt (großer Abstand) wird jedoch rau beziehungsweise ungenau, da die Größe der Fläche kleiner ist, verglichen mit dem Pixel. Dementsprechend wird die Auflösung der Blockgruppe 210 bei einem Abstand verschlechtert und es kann unmöglich sein, die Mittellinienwinkel zwischen den Mittellinien 216a, 216b und der vertikalen Linie 218 korrekt zu detektieren.
Daher reduziert die Personkandidatbestimmungseinheit 164 in Übereinstimmung mit dem relativen Abstand von dem Fahrzeug 1 in der Tiefenrichtung z den ersten Winkelbereich entsprechend zu der Blockgruppe 210, die in einem Abstand angeordnet ist (wendet eine striktere Bedingung an), verglichen mit dem ersten Winkelbereich entsprechend der Blockgruppe 210, die sich in der Nähe befindet, um so falsches Detektieren der Blockgruppe 210 in einem Abstand als Beine der Person zu vermeiden. Dies macht es schwierig, eine Person zu detektieren, selbst wenn eine Person tatsächlich in einem Abstand existiert. Das Umgebungserkennungssystem 100 wird jedoch kaum beeinträchtigt durch eine solche Person, die sich weit entfernt befindet, und daher verursacht dies keine Probleme.
Auf diese Weise kann die Personkandidatbestimmungseinheit 164 die von der Gruppierungseinheit 162 gruppierte Blockgruppe 210 als den ersten Personkandidat annehmen. Wenn jedoch der erste Personkandidat basierend auf lediglich der Mittellinien 216a, 216b der gesamten Blockgruppen 210, unterteilt in Zwei (Teilblockgruppe 214a, 214b), extrahiert wird, kann ein spezifisches Objekt, das von einer Person verschieden ist, unrichtigerweise als der erste Personkandidat angenommen werden.
7 ist eine beispielhafte Darstellung zum Erläutern des Arbeitsablaufs der Personkandidatbestimmungseinheit 164. Es sei angenommen, dass eine Beschilderung beziehungsweise ein Leitsystem 232 von mehreren Stützen 230 gehalten wird, wie in 7 gezeigt. In diesem Fall, wenn die Mittellinienwinkel α, β zwischen den Mittellinien 216a, 216b der mehreren Stützen 230 und der vertikalen Linie 218 in dem ersten Winkelbereich (zum Beispiel 30 ± 15 Grad) enthalten sind, kann die Personkandidatbestimmungseinheit 164 bestimmen, dass solche Stützen 230 der erste Personkandidat sind. In der vorliegenden Ausführungsform wird daher selbst dann, wenn die Personkandidatbestimmungseinheit 164 einmal den ersten Personkandidat bestimmt, die Blockgruppe unterteilt und der erste Personkandidat wird erneut spezifiziert mit einem höheren Grad an Wahrscheinlichkeit des ersten Personkandidat.
Genauer gesagt, die Gruppierungseinheit 162 unterteilt weiterhin den Bereich, der sich von der Ebene, welche der Straßenoberfläche entspricht, zu der vorbestimmten Höhe in dem Bild erstreckt, in mehrere Bereiche in der Höhenrichtung und gruppiert die Blöcke in jedem unterteilten Bereich. Dann, wenn ein unterschiedlicher Winkel (Beugen eines Gelenks) von Mittellinien der nebeneinanderliegenden (kontinuierlichen) gruppierten Blockgruppen in der Höhenrichtung gebildet wird, in einem vorbestimmten zweiten Winkelbereich enthalten ist (zum Beispiel der Absolutwert ist 5 Grad oder mehr), bestimmt die Personkandidatbestimmungseinheit 164 formal, dass die Blockgruppe 210 der erste Personkandidat ist.
8 ist eine beispielhafte Darstellung zum Erläutern der weiteren Unterteilung durch die Gruppierungseinheit 162. Beispielsweise gruppiert die Gruppierungseinheit 162, basierend auf dem Abstandsbild 126, wie in 6B gezeigt, mehrere Blöcke, deren relative Positionen nahe sind, in mehrere Bereiche, erhalten durch weiteres Unterteilen des Bereichs, der sich von der Ebene, die der Straßenoberfläche entspricht, zu der vorbestimmten Höhe (zum Beispiel 1,0 m) erstreckt, und extrahiert Teilblockgruppen 214c, 214d, 214e, 214f, 214g, 214h, wie 8 gezeigt. Hierbei sind die Unterteilungsverhältnisse beispielsweise 30 cm, 50 cm, 20 cm, in dieser Reihenfolge von der Straßenoberfläche ab, wobei der gesamte Bereich 1 m ist. Die unterteilten Verhältnisse werden bestimmt basierend auf der Annahme, dass die Fußspitzen der Beine und der Wadenteil der Person sich auf der Straßenoberfläche (30 cm) befinden, die Oberschenkel sich in der vertikalen Richtung darüber (50 cm) befinden, und die Hüfte sich in der vertikalen Richtung darüber (20 cm) befindet.
Anschließend bestimmt die Personkandidatbestimmungseinheit 164, ob ein Differenzwinkel, der von Teilblockgruppen gebildet wird, die in der Höhenrichtung nebeneinanderliegen, zum Beispiel die Mittellinien 216d, 216e der Teilblockgruppe 214d und der Teilblockgruppe 214e, innerhalb des vorbestimmten zweiten Winkelbereichs (zum Beispiel der absolute Wert ist 5 Grad oder mehr) enthalten ist oder nicht, und, wenn er enthalten ist, bestimmt die Personkandidatbestimmungseinheit 164 ihn erneut als den ersten Personkandidat. Wie zuvor beschrieben, wenn das Beugen eines Gelenks, das nur bei einer Person aufgefunden werden kann, in Betracht gezogen wird, kann die Stütze 230, die geneigt ist, jedoch als eine einfache gerade Linie dargestellt ist, wie in 7 gezeigt, von dem ersten Personkandidaten ausgeschlossen werden, und dies erlaubt die Extraktion des ersten Personkandidaten mit einem höheren Grad an Genauigkeit.
In diesem Fall sind die Unterteilungsverhältnisse 30 cm, 50 cm, 20 cm bei der gesamten Länge von 1,0 m gewählt, basierend auf dem Verhältnis eines Beins und von Gelenken einer typischen japanischen Person. Die Gesamtlänge und die Unterteilungsverhältnisse können jedoch auf jegliche beliebige Werte gesetzt werden. Zum Beispiel können diese unterschiedlich gesetzt werden gemäß dem Land, der Region oder der Umgebung.
Bei der Extraktionsverarbeitung des ersten Personkandidaten, mit derartigen Unterteilungsverhältnissen angeordnet, führt die Personkandidatbestimmungseinheit 164 die Bestimmung des ersten Personkandidaten bezüglich der verbleibenden Fläche nicht aus, außer der Differenzwinkel, der von einem der Bereiche in der Höhenrichtung gebildet wird, ist in dem vorbestimmten zweiten Winkelbereich enthalten. Dies deshalb, weil, selbst wenn ein Abschnitt nicht als der erste Personkandidat bestimmt werden kann, keine Wahrscheinlichkeit besteht, dass die fragliche Blockgruppe 210 der erste Personkandidat ist, und daher der nachfolgende Prozess ausgelassen wird. Wie zuvor beschrieben, kann die Prozesslast reduziert werden.
Hierbei kann die Personkandidatbestimmungseinheit 164 die Bestimmung des ersten Personkandidaten von der oberen Seite zu der unteren Seite in vertikaler Richtung durchführen, das heißt die Personkandidatbestimmungseinheit 164 kann die Bestimmung durchführen bezüglich der Wade und des Oberschenkels und dann des Oberschenkels und der Hüfte. Dies deshalb, weil der Differenzwinkel zwischen der Wade und dem Oberschenkel üblicherweise größer ist als der Differenzwinkel zwischen dem Oberschenkel und der Hüfte und die Bestimmung des ersten Personkandidaten daher exakter durchgeführt werden kann. Zuerst leitet die Personkandidatbestimmungseinheit 164 den Differenzwinkel zwischen der Wade und dem Oberschenkel her und, wenn der Wert nicht in dem zweiten Winkelbereich enthalten ist, wird der Differenzwinkel zwischen dem Oberschenkel und der Hüfte anschließend nicht hergeleitet. Lediglich dann, wenn der Differenzwinkel zwischen der Wade und dem Oberschenkel in dem zweiten Winkelbereich enthalten ist, wird der Differenzwinkel zwischen dem Oberschenkel und der Hüfte hergeleitet.
Wie zuvor beschrieben, wird der erste Personkandidat nur dann bestimmt, wenn mehrere Bedingungen erfüllt sind, so dass, obwohl die als der erste Personkandidat extrahierte Blockgruppe 210 limitiert sein kann, dies vorteilhafter ist, verglichen mit einem Fall, in dem eine Blockgruppe 210, die nicht detektiert werden sollte, fälschlicherweise als der erste Personkandidat detektiert ist. Dies daher, da, wenn das Fahrzeug 1 häufig in der Bremssteuerung und der Fahrtsteuerung gegen die Absicht des Fahrers infolge falscher Detektion verzögert, der Komfort während der Fahrtverloren gehen kann. In der vorliegenden Ausführungsform wird daher lediglich eine ausreichend verlässliche Blockgruppe 210 als der erste Personkandidat extrahiert.
Die Personkandidatnachverfolgungseinheit 166 verfolgt die Blockgruppe 210, die von der Personkandidatbestimmungseinheit 164 als der erste Personkandidat extrahiert wurde, nach mittels Bildverarbeitung. Dieses Nachverfolgen wird beispielsweise ausgeführt wie folgt unter Verwendung von Bildern, basierend auf Bilddaten, die kontinuierlich jede 1/60 Sekunde erzeugt werden. Die Personkandidatnachverfolgungseinheit 166 extrahiert eine Blockgruppe 210, bei der die Tendenz der Luminanz ähnlich ist zu der Blockgruppe 210 in dem vorhergehenden Bild, von einer Position und Nähe hierzu in dem aktuellen Bild entsprechend der Position der Blockgruppe 210, die in dem vorhergehenden Bild als der erste Personkandidat extrahiert wurde. Die Ähnlichkeit der Blockgruppen 210 wird bestimmt durch Extrahieren eines Blocks, der dahingehend bestimmt wird, eine Korrelation mit dem vorhergehenden Block zu haben, durch Musterabgleich mit dem aktuellen Bild für jeden Block, der durch weitere Unterteilung der Blockgruppe 210 in dem vorherigen Bild erhalten wird. Verschiedene verfügbare Techniken können zur Verarbeitung der Nachverfolgung verwendet werden einschließlich dieser Art von Ähnlichkeitsbestimmung und daher wird eine detaillierte Beschreibung vorliegend weggelassen.
Die Umkehrmesseinheit 168 misst die Anzahl von Umkehrvorgängen und den Umkehrzyklus, wenn die Personkandidatbestimmungseinheit 164 bestimmt, dass die von der Personkandidatnachverfolgungseinheit 166 nachverfolgte Blockgruppe 210 der erste Personkandidat ist, und nicht der erste Personkandidat ist.
Eine Person bewegt sich vorwärts, indem sie abwechselnd das rechte und das linke Bein nach vorne bewegt. Wenn daher eine gehende Person von der Seite beobachtet wird, sind beide Beine offen und dann sind beide Beine geschlossen und dann sind beide Beine wiederum offen. Genauer gesagt, wenn eine Person geht, werden die zwei folgenden Zustände wiederholt: ein Zustand, in dem beide Beine offen sind (ein Zustand, der von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt wird, der erste Kandidat zu sein), und ein geschlossener Zustand (ein Zustand, der von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt wird, nicht der erste Kandidat zu sein). Dementsprechend wird in der vorliegenden Ausführungsform im Hinblick auf das Verhalten der Blockgruppe 210, die von der Personkandidatbestimmungseinheit 164 als der erste Personkandidat extrahiert wurde, eine Bestimmung durchgeführt, ob die Blockgruppe 210 der zweite Personkandidat ist, der mit größerer Wahrscheinlichkeit eine Person ist, und eine Bestimmung wird durchgeführt, ob der erste Personkandidat sich bewegt oder nicht. Der erste Personkandidat und der zweite Personkandidat sind verschieden in der Wahrscheinlichkeit, eine Person zu sein, und sowohl der erste Personkandidat als auch der zweite Personkandidat sind Kandidaten von Personen. In der Steuerung in späteren Stufen sind beide notwendig in Übereinstimmung mit dem erforderlichen Grad an Wahrscheinlichkeit, eine Person zu sein.
9 ist eine beispielhafte Darstellung zur Erläuterung der Arbeitsweise der Umkehrmesseinheit 168. Während eine Person geht, sind sowohl der Mittellinienwinkel des rechten Beins als auch der Mittellinienwinkel des linken Beins für eine Zeitdauer t1, in der beispielsweise das rechte Bein vorne ist, innerhalb des ersten Winkelbereichs, und daher nimmt die Personkandidatbestimmungseinheit 164 die Blockgruppe 210 als den ersten Personkandidat an. In einer Zeitdauer t2, in der das linke Bein nach vorne bewegt wird und beide Beine einander überlappen, sind jedoch die Mittellinienwinkel von beiden Beinen zeitweise außerhalb des ersten Winkelbereichs. Dann, in einer Zeitdauer t3, in der sich das linke Bein vorne befindet, sind wiederum die Mittellinienwinkel von beiden Beinen innerhalb des ersten Winkelbereichs. Wie zuvor beschrieben, wird der Zustand, in dem die Blockgruppe 210, die von der Personkandidatnachverfolgungseinheit 166 nachverfolgt wird, von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt wird, der erste Personkandidat zu sein (erste Personkandidat Bestimmung), und der Zustand, in dem die von der Personkandidatnachverfolgungseinheit 166 nachverfolgte Blockgruppe 210 von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt wird, nicht der erste Personkandidat zu sein (erste Personkandidat Nicht-Bestimmung) in einer Zeittafel ausgedrückt, wie in 9 gezeigt, und diese zeigt, dass das Verhalten hiervon periodisch ist. Die Umkehrmesseinheit 168 misst die Anzahl von Umkehrvorgängen und den Umkehrzyklus hiervon.
Die Personkandidatspezifizierungseinheit 170 beobachtet die Anzahl von Umkehrvorgängen, die von der Umkehrmesseinheit 168 gemessen wird, und wenn die Anzahl von Umkehrvorgängen innerhalb des vorbestimmten Bereichs von Anzahlen liegt (beispielsweise vier mal oder mehr), ändert die Personkandidatspezifizierungseinheit 170 den ersten Personkandidat zu dem zweiten Personkandidat, dessen Wahrscheinlichkeit, eine Person zu sein, höher ist als der erste Personkandidat, wie durch einen Pfeil in 9 gezeigt.
Auf diese Weise kann die Außenumgebungserkennungsvorrichtung 130 eine oder mehrere Blockgruppen als zweite Personkandidaten aus dem Abstandsbild 126 extrahieren und die Information kann für verschiedene Arten von Steuerungen beziehungsweise Regelungen verwendet werden. Wenn zum Beispiel eine beliebige gegebene Blockgruppe in dem Detektionsbereich dahingehend bestimmt wird, eine Person zu sein (zweiter Personkandidat), ist es möglich, eine Kollision mit der spezifizierten Person zu vermeiden, und es ist möglich, die Steuerung beziehungsweise Regelung so durchzuführen, dass ein sicherer Abstand zwischen dem Subjektfahrzeug und der Person beibehalten wird.
Wenn der von der Umkehrmesseinheit 168 gemessene Umkehrzyklus dahingehend bestimmt wird, innerhalb eines vorbestimmten Zyklenbereichs zu sein (zum Beispiel 0,5 Hz oder mehr), bestimmt die Personkandidatspezifizierungseinheit 170, dass sich der erste Personkandidat bewegt. Wenn der Umkehrzyklus, der von der Umkehrmesseinheit 168 gemessen wird, dahingehend bestimmt wird, nicht innerhalb eines vorbestimmten Zyklenbereichs zu sein (zum Beispiel weniger als 0,5 Hz), bestimmt die Personkandidatspezifizierungseinheit 170, dass der erste Personkandidat steht, das heißt sich nicht bewegt.
Auf diese Weise kann die Außenumgebungserkennungsvorrichtung 130 bestimmen, dass die als der erste Personkandidat oder der zweite Personkandidat extrahierte Blockgruppe 210 sich bewegt, und dies ermöglicht eine Steuerung zur Vermeidung einer Kollision mit der bestimmten Person und zum Beibehalten eines sicheren Abstands von der Person.
(Außenumgebungserkennungsverfahren)
Im Folgenden werden spezifische Arbeitsschritte, die von der Außenumgebungserkennungsvorrichtung 130 durchgeführt werden, unter Bezug auf die Flussdiagramme gemäß den 10 bis 18 erläutert. 10 zeigt einen Gesamtablauf eines Interruptprozesses, wenn die Bildverarbeitungsvorrichtung 120 das Abstandsbild 126 überträgt. Die 11 bis 18 zeigen individuelle Unterprogramme (Subroutinen) darin. In diesem Fall werden Pixel oder Blöcke als Zielabschnitte der Verarbeitung verwendet und die unteren linken Ecken des Luminanzbildes 124 und des Abstandsbildes 126 sind Ursprünge. Mit den Blöcken wird der Prozess gemäß dem Außenumgebungserkennungsverfahren ausgeführt in einem Bereich von 1 bis 150 Blöcken in der horizontalen Richtung des Bildes und 1 bis 50 Blöcken in der vertikalen Richtung des Bildes. In diesem Fall wird Fahrt bei Nacht zum Zwecke der Erläuterung angenommen.
Wie in 10 gezeigt, wird, wenn ein Interrupt auftritt gemäß dem Außenumgebungserkennungsverfahren als Reaktion auf den Empfang eines Abstandsbildes 126, von der Bildverarbeitungsvorrichtung 120 auf das erhaltene Abstandsbild 126 Bezug genommen, und die Positionsinformationserlangungseinheit 160 konvertiert Parallaxeninformationen jedes Blocks innerhalb des Detektionsbereichs 122 des Abstandsbildes 126 in dreidimensionale Positionsinformation (S300). Daraufhin gruppieren die Gruppierungseinheit 162 und die Personkandidatbestimmungseinheit 164 mehrere Blöcke in dem Bereich, der sich von der Ebene, die der Straßenoberfläche entspricht, zu der vorbestimmten Höhe erstreckt, und bestimmt, ob die gruppierten Blockgruppen der erste Personkandidat sind oder nicht (S302).
Anschließend verfolgt die Personkandidatnachverfolgungseinheit 166 alle Blockgruppen 210, die von der Personkandidatbestimmungseinheit 164 als die ersten Personkandidaten extrahiert wurden, mittels Bildverarbeitung nach (S304). Die Umkehrmesseinheit 168 misst die Anzahl von Umkehrvorgängen und, parallel hierzu, den Umkehrzyklus, wenn die Personkandidatbestimmungseinheit 164 bestimmt, dass die von der Personkandidatnachverfolgungseinheit 166 nachverfolgte Blockgruppe 210 der erste Personkandidat ist, und nicht der erste Personkandidat ist (S306). Anschließend spezifiziert die Personkandidatspezifizierungseinheit 170 auf der Basis des Ergebnisses der Umkehrmesseinheit 168 den zweiten Personkandidat oder bestimmt, ob der erste Personkandidat sich bewegt oder nicht (S308). Im Folgenden wird die obige Arbeitsweise genauer erläutert.
(Positionsinformationserlangungsprozess S300)
Wie in 11 gezeigt, initialisiert die Positionsinformationserlangungseinheit 160 eine vertikale Variable j zum Identifizieren eines Blocks (ersetzt „0” darin) (S400). Anschließend addiert die Positionsinformationserlangungseinheit 160 „1” zu der vertikalen Variable j und initialisiert die horizontale Variable i (ersetzt „0” darin) (S402). Anschließend addiert die Positionsinformationserlangungseinheit 160 „1” zu der horizontalen Variable i (S404).
Die Positionsinformationserlangungseinheit 160 erlangt Parallaxeninformation dp von dem Block (i, j, dp) des Abstandsbilds 126 (S406). Die Positionsinformationserlangungseinheit 160 verwendet dann die zuvor erwähnten numerischen Gleichungen 1 bis 3, um die Koordinate des Blocks (i, j, dp) einschließlich der Parallaxeninformation dp in die Koordinate des Punkts (x, y, z) in der realen Welt zu transformieren, wodurch sie den Block (i, j, dp, x, y, z) erzeugt (S408).
Anschließend bestimmt die Positionsinformationserlangungseinheit 160, ob die horizontale Variable i größer ist als 150 oder nicht, das heißt, der maximale Wert des horizontalen Blocks (S410), und wenn die horizontale Variable i dahingehend bestimmt wird, nicht höher zu sein als der Maximalwert (NEIN in S410), wird der Prozess wiederholt von dem Inkrementprozess der horizontalen Variable i in Schritt S404. Wenn die horizontale Variable i dahingehend bestimmt wird, größer als der Maximalwert zu sein (JA in S410), bestimmt die Positionsinformationserlangungseinheit 160, ob die vertikale Variable j größer ist als 50 oder nicht, das heißt der Maximalwert des vertikalen Blocks (S412). Dann, wenn die vertikale Variable j dahingehend bestimmt wird, nicht größer zu sein als der Maximalwert (NEIN in S412), wird die Verarbeitung wiederholt von dem Inkrementprozess der vertikalen Variable j in Schritt S402. Wenn die vertikale Variable j dahingehend bestimmt wird, größer zu sein als der Maximalwert (JA in S412), wird der Positionsinformationserlangungsprozess S300 beendet. Wie zuvor beschrieben, wird die Parallaxeninformation dp des Abstandsbildes 126 in dreidimensionale Positionsinformation transformiert.
(Gruppierungs-/Personkandidatbestimmungsprozess S302)
Wie in 12 gezeigt, nimmt die Gruppierungseinheit 162 Bezug auf einen vorbestimmten Bereich (zum Beispiel 0,5 m) für Gruppierungsblöcke (S450) und initialisiert eine vertikale Variable j zum Spezifizieren eines Blocks (ersetzt „0” darin) (S452). Anschließend addiert die Gruppierungseinheit 162 „1” zu der vertikalen Variable j und initialisiert (setzt „0” zu) der horizontalen Variable i (S454). Daraufhin addiert die Gruppierungseinheit 162 „1” zu der horizontalen Variable i (S456).
Die Gruppierungseinheit 162 erhält einen Block (i, j, dp, x, y, z) von dem Abstandsbild 126 (S458). Daraufhin wird eine Bestimmung durchgeführt, ob die Höhe y des Blocks (i, j, dp, x, y, z) in dem Begrenzungsbereich enthalten ist, das heißt einem Bereich, der sich von der Ebene, die der Straßenoberfläche entspricht, zu der vorbestimmten Höhe (zum Beispiel 1,0 m) erstreckt (S460). In diesem Fall, wenn die Höhe y dahingehend bestimmt wird, innerhalb des Begrenzungsbereichs zu sein (JA in S460), bestimmt die Gruppierungseinheit 162 auf der Basis einer Koordinate (x, y, z) in der realen Welt, die dem Block (i, j, dp, x, y, z) entspricht, ob es einen anderen Block (i, j, dp, x, y, z) gibt, der sich innerhalb des vorbestimmten Bereichs befindet und der in dem Begrenzungsbereich ist (S462).
Wenn ein anderer Block existiert (JA in S462), bestimmt die Gruppierungseinheit 162, ob eine erste Gruppennummer g an einem oder allen Blöcken in dem vorbestimmten Bereich einschließlich des gerade untersuchten Blockes angehängt ist (S464). Wenn die erste Gruppennummer g einem von diesen gegeben ist (JA in S464), weist die Gruppierungseinheit 162 all den Blöcken, die sich in dem vorbestimmten Bereich befinden, und all den Blöcken, denen die gleiche erste Gruppennummer g gegeben ist, einen Wert zu, wobei der Wert ein kleinerer der kleinsten ersten Gruppennummer g unter den ersten Gruppennummern ist, die hierzu vergeben wurden oder der kleinste Wert von Nummern, die noch nicht als erste Gruppennummer verwendet wurden, um so als ein Block (i, j, p, dp, x, y, z, g) ausgedrückt zu werden (S466). Wenn die erste Gruppennummer g keinem von denen gegeben ist (NEIN in S464), wird der kleinste Wert der Nummern, die noch nicht verwendet wurden, als eine erste Gruppennummer, neu all den Blöcken zugeordnet, die sich innerhalb des vorbestimmten Bereichs befinden, einschließlich des gerade untersuchten Blocks (S468).
Auf diese Weise wird, wenn sich eine Vielzahl von Blöcken innerhalb des vorbestimmten Bereichs befindet, der Gruppierungsprozess durchgeführt durch Zuordnung einer ersten Gruppennummer g. Wenn hierbei die erste Gruppennummer g dahingehend bestimmt wird, keiner der Mehrzahl von Blöcken gegeben worden zu sein, wird eine neue erste Gruppennummer g zugewiesen und wenn die erste Gruppennummer g dahingehend bestimmt wird, bereits einen derjenigen gegeben worden zu sein, wobei die gleiche erste Gruppennummer g den anderen Blöcken zugeordnet wird. Wenn es jedoch eine Mehrzahl von ersten Gruppennummern g in der Mehrzahl von Blöcken gibt, werden die ersten Gruppennummern g aller Blöcke ersetzt durch die eine erste Gruppennummer g, um so die Blöcke als eine Gruppe zu behandeln.
In der obigen Beschreibung werden die ersten Gruppennummern g nicht nur all der Blöcke, die sich innerhalb des vorbestimmten Bereichs befinden, sondern auch all der Blöcke, denen die gleiche erste Gruppennummer g gegeben wurde, zu einer Zeit verändert. Der hauptsächliche Grund hierfür ist, zu vermeiden, dass die Gruppe, die bereits vereinigt wurde durch Ändern der ersten Gruppennummern g, geteilt wird. Zudem werden eine kleinere als die kleinste erste Gruppennummer g oder der kleinste Wert von Nummern, die noch nicht verwendet wurden, als erste Gruppennummer eingesetzt, um beim Gruppennummerieren soweit wie möglich zu vermeiden, dass eine Nummer übersprungen wird. Hierdurch wird der maximale Wert der ersten Gruppennummer g nicht unnötig groß und die Prozesslast kann reduziert werden.
Wieder auf 12 zurückkommend, wird die Verarbeitung in einem nachfolgenden Schritt S470 durchgeführt wenn die Höhe y außerhalb des Begrenzungsbereichs liegt (NEIN in S460) oder wenn in dem vorbestimmten Bereich kein anderer Block existiert (NEIN in S462).
Anschließend bestimmt die Gruppierungseinheit 162, ob die horizontale Variable i größer ist als 150, was der Maximalwert der Pixelanzahl in der horizontalen Richtung ist, oder nicht (S470). Wenn die horizontale Variable i dahingehend bestimmt wird, nicht größer als der Maximalwert zu sein (NEIN in S470), werden die Prozesse wiederholt von dem inkrementprozess der horizontalen Variable i in Schritt S456. Wenn die horizontale Variable i dahingehend bestimmt wird, größer zu sein als der Maximalwert (JA in S470), bestimmt die Gruppierungseinheit 162, ob die vertikale Variable j größer ist als 50, was der Maximalwert der Pixelanzahl in der vertikalen Richtung ist, oder nicht (S472). Wenn die vertikale Variable j dahingehend bestimmt wird, nicht größer als der Maximalwert zu sein (NEIN in S472), werden die Prozesse wiederholt von dem inkrementprozess der vertikalen Variable j in Schritt S454. Wenn die vertikale Variable j dahingehend bestimmt wird, größer zu sein als der Maximalwert (JA in S472), wird der anschließende Schritt durchgeführt.
Wie in 13 gezeigt, nimmt die Personkandidatbestimmungseinheit 164 Bezug auf die kleinste erste Gruppennummer g und setzt die Blockgruppe, die mit der ersten Gruppennummer g versehen ist (alle Blöcke mit der ersten Gruppennummer g) (S500). Anschließend bestimmt die Personkandidatbestimmungseinheit 164, ob die Größe des Bereichs der Blockgruppe, die so gesetzt ist, gleich oder größer ist als eine vorbestimmte Größe eines Bereichs, der als das Bein einer Person angesehen werden kann, oder nicht (S502). Wenn die Bedingung hier erfüllt ist (JA in S502), wird die Blockgruppe in Zwei unterteilt in horizontaler Richtung des Bildes (S504) und die Mittellinie von jeder der zwei unterteilten Teilblockgruppen wird hergeleitet (S506).
Anschließend bestimmt die Personkandidatbestimmungseinheit 164, ob der Mittellinienwinkel der Mittellinie von jeder der zwei unterteilten Blockgruppen in dem ersten vorbestimmten Winkelbereich (zum Beispiel innerhalb von 30 ± 15 Grad) enthalten ist oder nicht (S508). Wenn der Mittellinienwinkel in dem ersten Winkelbereich enthalten ist (JA in S508), wird die fragliche Blockgruppe temporar dahingehend bestimmt, der erste Personkandidat zu sein, und ein Personkandidat-Flag (Bitschalter) f = „1” wird an die Blöcke vergeben (S510). Der erste Winkelbereich kann verändert werden entsprechend dem Abstand zwischen dem Subjektfahrzeug 1 und der Blockgruppe.
Wenn der Größenbereich der Blockgruppe nicht die Bedingung erfüllt (NEIN in S502) oder wenn der Mittellinienwinkel nicht in dem ersten Winkelbereich enthalten ist (NEIN in S508), vergibt die Personkandidatbestimmungseinheit 164 ein Personkandidat-Flag f = „0” an die Blöcke (S512) und der Prozessablauf im nachfolgenden Schritt S514 wird durchgeführt.
Dann bestimmt die Personkandidatbestimmungseinheit 164, ob der Prozess in den Schritten S502 bis S512 für alle der multiplen Blockgruppen durchgeführt ist (S514). Wenn der Prozessablauf in den Schritten S502 bis S512 nicht für alle Blockgruppen durchgeführt ist (NEIN in S514), wird die erste Gruppennummer g aktualisiert und eine neue Blockgruppe wird gesetzt (S516) und daraufhin wird der Prozessablauf in Schritt S502 und den nachfolgenden Schritten für die neue Blockgruppe wiederholt. Andererseits, wenn der Prozessablauf in den Schritten S502 bis S512 dahingehend bestimmt wird, für alle Blockgruppen ausgeführt zu sein (JA in S514), wird ein nachfolgender Schritt durchgeführt.
Wie in 14 gezeigt, nimmt die Gruppierungseinheit 162 Bezug auf den vorbestimmten Bereich zum Gruppieren der Blöcke (zum Beispiel 0,5 m) und die Unterteilungsverhältnisse von mehreren Bereichen zum Unterteilen in der Höhenrichtung (S550) und initialisiert die vertikale Variable j zum Spezifizieren der Blöcke (ersetzt „0” hierin) (S552). Anschließend addiert die Gruppierungseinheit 162 „1” zu der vertikalen Variable j und initialisiert die horizontale Variable i (ersetzt „0” hierin) (S554). Anschließend addiert die Gruppierungseinheit 162 „1” zu der horizontalen Variable i (S556).
Die Gruppierungseinheit 162 erhält den Block (i, j, dp, x, y, z, g, f) von dem Abstandsbild 126 (S558). Daraufhin wird eine Bestimmung durchgeführt, ob oder ob nicht das Personkandidat-Flag f des Blocks (i, j, dp, x, y, z, g, f) gleich „1” ist (S560). In diesem Fall, wenn das Personkandidat-Flag f dahingehend bestimmt wird, „1” zu sein (JA in S560), nimmt die Gruppierungseinheit 162 Bezug auf die Unterteilungsverhältnisse und leitet her, zu welchem Bereich der multiplen Bereiche, die in der Höhenrichtung unterteilt sind, der Block (i, j, dp, x, y, z, g, f) gehört, und erhält den Höhenbereich des Bereichs (S562).
Anschließend bestimmt die Gruppierungseinheit 162 auf der Basis einer Koordinate (x, y, z) in der realen Welt, die dem Block (i, j, dp, x, y, z) entspricht, ob es einen anderen Block (i, j, dp, x, y, z, g, f) gibt, der in dem vorbestimmten Bereich ist und dessen Höhe y in dem Höhenbereich enthalten ist (S564).
Wenn ein anderer Block (i, j, dp, x, y, z, g, f) existiert (JA in S564), bestimmt die Gruppierungseinheit 162, ob oder ob nicht eine zweite Gruppennummer gg an einem von all den Blöcken in dem vorbestimmten Bereich einschließlich des gerade untersuchten Blocks angehängt ist (S566). Wenn die zweite Gruppennummer gg an einen von diesen vergeben ist (JA in S566), weist die Gruppierungseinheit 162 einen Wert all den Blöcken, die in dem vorbestimmten Bereich enthalten sind, und all den Blöcken, denen die gleiche zweite Gruppennummer gg gegeben wurde, zu, wobei der Wert ein kleinerer der kleinsten zweiten Gruppennummer gg unter den zweiten Gruppennummern ist, die hieran vergeben wurden, oder der kleinste Wert der Nummern, die bislang noch nicht verwendet wurden als eine zweite Gruppennummer, um so als einen Block (i, j, dp, x, y, z, g, f, gg) auszudrücken (S568). Wenn die zweite Gruppennummer gg an keinen von diesen vergeben wurde (NEIN in S566), wird der kleinste Wert von Nummern, die bislang noch nicht als eine zweite Gruppennummer verwendet wurden, neu all den Blöcken innerhalb des vorbestimmten Bereichs einschließlich des gerade untersuchten Blockes zugeordnet (S570).
In dieser Weise, wie bei der ersten Gruppennummer g, wird der Gruppierungsprozess durchgeführt durch Zuordnen einer zweiten Gruppennummer gg, wenn es eine Mehrzahl von Blöcken innerhalb des vorbestimmten Bereichs gibt. Bei dieser Gelegenheit, wenn die zweite Gruppennummer gg dahingehend bestimmt wird, an keinen aus der Mehrzahl der Blöcke vergeben worden zu sein, wird eine neue zweite Gruppennummer gg zugeordnet beziehungsweise bestimmt und, wenn die zweite Gruppennummer gg dahingehend bestimmt wird, bereits an einen von diesen vergeben zu sein, wird die gleiche zweite Gruppennummer gg den anderen Blöcken zugeordnet. Wenn jedoch bereits mehrere zweite Gruppennummern gg in den mehreren Blöcken existieren, werden die zweiten Gruppennummern gg aller Blöcke ersetzt durch die eine zweite Gruppennummer gg, um so die Blöcke als eine Gruppe zu behandeln.
Wenn das Personkandidat-Flag f nicht „1” ist (NEIN in S560), oder wenn kein anderer Block in dem vorbestimmten Bereich ist (NEIN in S564), wird der Prozess im nachfolgenden Schritt S572 durchgeführt.
Anschließend bestimmt die Gruppierungseinheit 162, ob die horizontale Variable i größer ist als 150, was der Maximalwert von Pixelnummern in der horizontalen Richtung ist (S572). Wenn die horizontale Variable i dahingehend bestimmt wird, nicht größer zu sein als der Maximalwert (NEIN in S572), werden die Prozesse wiederholt von dem Inkrementprozess der horizontalen Variable i in Schritt S556. Wenn die horizontale Variable i dahingehend bestimmt wird, größer zu sein als der Maximalwert (JA in S572), bestimmt die Gruppierungseinheit 162, ob die vertikale Variable j größer ist als 50, was der Maximalwert an Pixelanzahl in der vertikalen Richtung ist (S574). Wenn die vertikale Variable j dahingehend bestimmt wird, nicht größer zu sein als der Maximalwert (NEIN in S574), wird der Prozess wiederholt von dem Inkrementprozess von der vertikalen Variable j in Schritt S554. Wenn die vertikale Variable j dahingehend bestimmt wird, größer zu sein als der Maximalwert (JA in S574), wird der nachfolgende Schritt durchgeführt.
Wie in 15 gezeigt, nimmt die Personkandidatbestimmungseinheit 164 Bezug auf die kleinste erste Gruppennummer g und setzt die Blockgruppe, an die die erste Gruppennummer g angehängt ist (S600). Anschließend bestimmt die Personkandidatbestimmungseinheit 164, ob das Personkandidat-Flag f des Blocks (i, j, dp, x, y, z, g, f, gg) in der Blockgruppe „1” ist oder nicht (S602). Bei dieser Gelegenheit, wenn das Personkandidat-Flag f dahingehend bestimmt wird, „1” zu sein (JA in S602), werden alle Teilblockgruppen, die zu der Blockgruppe gehören, die gesetzt wurde (Teilblockgruppen, deren erste Gruppennummern g die gleichen sind, die jedoch unterschiedliche zweite Gruppennummern gg haben), aufgerufen und in horizontaler Richtung des Bildes geteilt (S604). Dann leitet die Personkandidatbestimmungseinheit 164 alle Mittellinien der zwei unterteilten Teilblockgruppen her (S606).
Anschließend extrahiert die Personkandidatbestimmungseinheit 164 Kombinationen von Teilblockgruppen, die in der Höhenrichtung nebeneinander liegen, von mehreren Teilblockgruppen (sechs Teilblockgruppen in diesem Fall) und bestimmt, ob Differenzwinkel, die von den Mittellinien der Kombinationen von extrahierten Teilblockgruppen gebildet werden, in dem vorbestimmten zweiten Winkelbereich (zum Beispiel der absolute Wert ist 5 Grad oder mehr) enthalten sind (S608). Wenn der Differenzwinkel dahingehend bestimmt wird, in dem zweiten Winkelbereich enthalten zu sein (JA in S608), wird die betreffende Blockgruppe dahingehend bestimmt, der erste Personkandidat zu sein, und das Personkandidat-Flag f = „1” wird in den Blöcken beibehalten (S610).
Daraufhin bestimmt die Personkandidatbestimmungseinheit 164, ob die Prozesse in den Schritten S608, S610 für alle Kombinationen von Teilblockgruppen durchgeführt wurden (S612). Hierbei wird, wenn alle Kombinationen der Teilblockgruppen dahingehend bestimmt werden, noch nicht abgearbeitet zu sein (NEIN in S612), die zweite Gruppennummer gg aktualisiert und neue Kombinationen von Teilblockgruppen, die nebeneinander liegen, werden gesetzt (S614) und die Prozesse von Schritt S608 und den nachfolgenden Schritten werden in Bezug auf die neuen Kombinationen von Teilblockgruppen wiederholt. Andererseits, wenn alle Kombinationen von Teilblockgruppen dahingehend bestimmt werden, abgeschlossen zu sein (JA in S612), wird Schritt S618 anschließend durchgeführt.
Wenn der Differenzwinkel dahingehend bestimmt wird, nicht in dem zweiten Winkelbereich zu sein (NEIN in S608), ersetzt die Personkandidatbestimmungseinheit 164 den Personkandidat-Flag f des Blocks mit „0” (S616) und beendet den Prozessablauf bezüglich der Blockgruppe und daraufhin wird der Prozessablauf in Schritt S618 anschließend durchgeführt. Wenn das Personkandidat-Flag f dahingehend bestimmt wird, nicht „1” zu sein (NEIN in S602), wird der Prozessablauf in Schritt S618 ebenfalls durchgeführt.
Die Personkandidatbestimmungseinheit 164 bestimmt, ob der Prozessablauf in Schritt S602 bis Schritt S616 für alle der multiplen Blockgruppen durchgeführt wird (S618). Wenn der Prozessablauf in Schritt S602 bis Schritt S616 dahingehend bestimmt wird, nicht für alle Blockgruppen ausgeführt zu sein (NEIN in S618), wird die erste Gruppennummer g aktualisiert und eine neue Blockgruppe wird gesetzt (S620) und daraufhin wird der Prozessablauf in Schritt S602 und den nachfolgenden Schritten für die neue Blockgruppe wiederholt. Andererseits, wenn der Prozessablauf in Schritt S602 bis Schritt S616 dahingehend bestimmt wird, für alle Blockgruppen ausgeführt zu sein (JA in S618), ist der Gruppierungs-/Personkandidatbestimmungsprozess S302 beendet. Auf diese Weise kann der erste Personkandidat, der als eine Person zu erkennen ist, mit einem hohen Grad an Genauigkeit extrahiert werden.
(Personkandidatnachverfolgungsprozess S304)
Wie in 16 gezeigt, setzt die Personkandidatnachverfolgungseinheit 166 eine registrierte Blockgruppe (S650) und bestimmt, ob oder ob nicht es eine Blockgruppe gibt, bei der die Tendenz der Luminanz gleich ist der Luminanz des vorherigen Bildes in der Blockgruppe, an einer Position und in der Nähe hierzu in dem aktuellen Bild entsprechend der vorherigen Position der Blockgruppe, die gesetzt wurde (S652). Wenn es eine Blockgruppe gibt, die die Bedingung erfüllt (JA in S652), wird die Blockgruppe des aktuellen Bildes aktualisiert als das vorherige Bild, um das Nachverfolgen der Blockgruppe fortzuführen (S654). Wenn es keine Blockgruppe gibt, die die Bedingung erfüllt (NEIN in S652), ist das Nachverfolgen der Blockgruppe gescheitert und die Registrierung der nachverfolgten Blockgruppe wird gelöscht (S656).
Anschließend bestimmt die Personkandidatnachverfolgungseinheit 166, ob der Prozessablauf in Schritt S652 bis Schritt S656 für alle registrierten multiplen Blockgruppen ausgeführt wurde (S658). Wenn hierbei festgestellt wird, dass der Prozessablauf in Schritt S652 bis Schritt S656 nicht für alle registrierten Blockgruppen ausgeführt ist (NEIN in S658), wird eine neue registrierte Blockgruppe gesetzt (S660) und Schritt S652 und die nachfolgenden Schritte werden für die neue Blockgruppe wiederholt. Andererseits, wenn bezüglich des Prozessablaufs in Schritt S652 bis Schritt S656 festgestellt wird, dass dieser für alle Blockgruppen ausgeführt wurde (JA in S658), wird der Prozessablauf in Schritt S662 durchgeführt.
Anschließend bestimmt die Personkandidatnachverfolgungseinheit 166, ob oder ob nicht es eine Blockgruppe gibt, die von der Personkandidatbestimmungseinheit 164 neu dahingehend bestimmt wurde, der erste Personkandidat zu sein (S662). Wenn die Personkandidatnachverfolgungseinheit 166 bestimmt, dass es eine solche Blockgruppe gibt (JA in S662), wird die Blockgruppe neu als ein Nachverfolgungsziel registriert (S664). Hierbei werden in Zuordnung der Blockgruppe die folgenden Variablen als Variablen gesetzt, die in einem späteren Stadium in dem Umkehrmessprozess S306 verwendet werden: die Anzahl von Umkehrvorgängen N = „1” und das Umkehr-Flag = „1”. Eine Umkehrzeitzähleinrichtung, die diesem Block zugeordnet ist, wird bereitgestellt und auf null zurückgesetzt. In diesem Fall ist die Umkehrzeitzähleinrichtung ein Mittel zum Messen der Zeit ab dem Reset, das heißt dem Vorgang des Zurücksetzens. Daraufhin wird der Personkandidatnachverfolgungsprozess S304 beendet. Auf diese Weise kann die Blockgruppe, die selbst einmal dahingehend bestimmt wurde, der erste Personkandidat zu sein, nachverfolgt werden, während sie in dem Bild existiert, unabhängig von Bewegung der Blockgruppe.
(Umkehrmessprozess S306)
Wie in 17 gezeigt, setzt die Umkehrmesseinheit 168 eine registrierte Blockgruppe (S700) und bestimmt, ob oder ob nicht diese Blockgruppe von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt ist, der erste Personkandidat zu sein, und ob das Umkehr-Flag null ist oder nicht (S702). Dies zeigt eine Umkehr an von einem Zustand, in dem sie dahingehend bestimmt wird, nicht der erste Personkandidat zu sein, zu einem Zustand, in dem sie dahingehend bestimmt wird, der erste Personkandidat zu sein.
Die Personkandidatbestimmungseinheit 164 bestimmt, dass die Blockgruppe der erste Personkandidat ist und dass das Umkehr-Flag null ist (JA in S702), die Umkehrmesseinheit 168 inkrementiert die Anzahl von Umkehrvorgängen N um eins (S704) und liest die Zeit aus von der Umkehrzeitmess- beziehungsweise -zähleinrichtung (S706). Dann nimmt die Umkehrmesseinheit 168 eine reziproke Zahl der Zeit an, die von der Umkehrzeitzähleinrichtung als ein Umkehrzyklus gelesen wird, und setzt die Umkehrzeitzähleinrichtung zurück (S708). Wenn eine Umkehr von einem Zustand, in der sie von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt wird, nicht der erste Personkandidat zu sein, zu einem Zustand, in dem sie von der Personkandidatbestimmungseinheit 164 dahingehend bestimmt, der erste Personkandidat zu sein, können auf diese Weise die Anzahl von Umkehrvorgängen und der Umkehrzyklus hergeleitet werden. In diesem Fall wird der Umkehrzyklus hergeleitet auf der Basis von einem Umkehrvorgang. Alternativ kann ein Durchschnittswert hergeleitet werden basierend auf mehreren Umkehrvorgängen.
Anschließend setzt die Umkehrmesseinheit 168 das Umkehr-Flag so, dass das Umkehr-Flag das Ergebnis reflektiert, welches anzeigt, ob oder ob nicht die Personkandidatbestimmungseinheit 164 die Blockgruppe als den ersten Personkandidaten bestimmt (S710). Genauer gesagt, wenn die Personkandidatbestimmungseinheit 164 bestimmt, dass die Blockgruppe der erste Personkandidat ist, setzt die Umkehrmesseinheit 168 das Umkehr-Flag auf „1”. Wenn die Personkandidatbestimmungseinheit 164 bestimmt, dass die Blockgruppe nicht der erste Personkandidat ist, setzt die Umkehrmesseinheit 168 das Umkehr-Flag auf „0”. Im anschließenden Umkehrmessprozess S306 wird das Umkehr-Flag verwendet als ein vorheriger Wert, der anzeigt, ob die Blockgruppe dahingehend bestimmt ist, der erste Personkandidat zu sein.
Anschließend bestimmt die Umkehrmesseinheit 168, ob die Prozesse in Schritt S702 bis S710 für alle registrierten multiplen Blockgruppen ausgeführt wurden oder nicht (S712). Wenn hierbei festgestellt wird, dass der Prozessablauf in Schritt S702 bis Schritt S710 nicht für alle registrierten Blockgruppen ausgeführt wurde (NEIN in S712), wird eine neue registrierte Blockgruppe gesetzt (S714), und der Schritt S702 sowie die nachfolgenden Schritte werden für die neue Blockgruppe wiederholt. Andererseits, wenn der Prozessablauf in Schritt S702 bis Schritt S710 dahingehend bestimmt wird, für alle registrierten Blockgruppen ausgeführt zu sein (JA in S712), wird der Umkehrmessprozess S306 beendet.
(Personkandidatspezifizierungsprozess S308)
Wie in 18 gezeigt, setzt die Personkandidatspezifizierungseinheit 170 eine registrierte Blockgruppe (S750) und bestimmt, ob oder ob nicht die Anzahl von Umkehrvorgängen dieser Blockgruppe in einem vorbestimmten Häufigkeitsbereich enthalten ist (zum Beispiel vier mal oder mehr) (S752). Wenn die Anzahl von Umkehrvorgängen dahingehend bestimmt wird, in dem Häufigkeitsbereich enthalten zu sein (JA in S752), werden die Personkandidat-Flags f für alle die Blockgruppe bildenden Blöcke (i, j, dp, x, y, z, g, f, gg) von „1” auf „2” verändert (S754). Auf diese Weise kann die Blockgruppe als der zweite Personkandidat spezifiziert werden, dessen Wahrscheinlichkeit, eine Person zu sein, höher ist als diejenige des ersten Personkandidaten.
Anschließend bestimmt die Personkandidatspezifizierungseinheit 170, ob der Umkehrzyklus innerhalb des vorbestimmten Zyklusbereichs (zum Beispiel 0,5 Hz oder mehr) enthalten ist oder nicht (S756). Wenn der Umkehrzyklus dahingehend bestimmt wird, innerhalb des Zyklusbereichs enthalten zu sein (JA in S756), bestimmt die Personkandidatspezifizierungseinheit 170, dass sich die fragliche Blockgruppe bewegt (S758). Wenn der Umkehrzyklus dahingehend bestimmt wird, nicht in dem Zyklusbereich zu sein (NEIN in S756), bestimmt die Personkandidatspezifizierungseinheit 170, dass die Blockgruppe steht beziehungsweise in Ruhe ist (S760).
Anschließend bestimmt die Personkandidatspezifizierungseinheit 170, ob der Prozessablauf in Schritt S752 bis Schritt S760 für alle registrierten multiplen Blockgruppen ausgeführt ist oder nicht (S762). Wenn hierbei festgestellt wird, dass der Prozessablauf in Schritt S752 bis Schritt S760 nicht für alle registrierten Blockgruppen ausgeführt wurde (NEIN in S762), wird eine neue registrierte Blockgruppe gesetzt (S764) und Schritt S752 sowie die nachfolgenden Schritte werden für die neue Blockgruppe wiederholt. Andererseits, wenn der Prozessablauf in Schritt S752 bis Schritt S760 dahingehend bestimmt wird, für alle Blockgruppen ausgeführt zu sein (JA in S762), ist der Personkandidatspezifizierungsprozess S308 beendet. Auf diese Weise kann der zweite Personkandidat extrahiert werden und eine Bestimmung kann durchgeführt werden, ob sich die Blockgruppe bewegt.
Wie zuvor beschrieben, können gemäß der Außenumgebungserkennungsvorrichtung 130 und dem Außenumgebungserkennungsverfahren die Effizienz zum Spezifizieren einer Person und die Genauigkeit des Spezifizierens einer Person verbessert werden durch direktes Spezifizieren der Person mit einem unteren Abschnittsbereich (der unteren Hälfte des Körpers) der Person.
Zudem werden ein Programm, das es ermöglicht, dass ein Computer die Funktion der Außenumgebungserkennungsvorrichtung 130 ausübt, sowie ein Speichermedium, wie beispielsweise eine computerlesbare flexible Scheibe (floppy disk), eine magnetooptische Scheibe, ein ROM, eine CD, eine DVD oder eine BD (Blu-ray-Disc) zum Speichern des Programms, bereitgestellt. Hierbei bedeutet Programm eine Datenverarbeitungsfunktion, die in irgendeiner Sprache oder einem Beschreibungsverfahren geschrieben beziehungsweise beschrieben ist.
(Modifikationen)
Bei dem obigen Ausführungsbeispiel wird relatives Positionsverhältnis verwendet als das erste relative Verhältnis zwischen Blöcken, das verwendet wird von der Gruppierungseinheit 162 für den Gruppierungsprozess. Das erste relative Verhältnis ist jedoch nicht auf einen solchen Fall beschränkt. Es können beispielsweise ebenfalls ein Unterschied der Luminanzen und Kontinuität in Randrichtung verwendet werden. Im Folgenden werden der Unterschied von Luminanzen und die Kontinuität in Randrichtung kurz erläutert.
(Unterschied von Luminanzen)
Die Gruppierungseinheit 162 kann das Luminanzbild 124 anstelle des Abstandsbildes 126 verwenden, um mehrere Blöcke (multiple Blöcke) in dem Luminanzbild 124 auf der Basis von einem Unterschied der Luminanzen zu gruppieren, um so Blockgruppen zu erzeugen, die als Abschnittsgruppen dienen. Beispielsweise führt die Gruppierungseinheit 162 den Gruppierungsprozess in einer solchen Weise aus, dass irgendein beliebiger gegebener Block als ein Basispunkt verwendet wird und ein danebenliegender Block abgerufen wird, und ein Unterschied der Luminanzen der zwei Blöcke hergeleitet wird, und ein Block, bei dem der Unterschied der Luminanzen innerhalb eines vorbestimmten Bereichs ist (beispielsweise der Unterschied von jedem RGB innerhalb 1/10 der vollen Skala) als zu dem gleichen Zielobjekt gehörig angenommen wird.
(Kontinuität in Randrichtung)
Die 19A bis 19G sind beispielhafte Darstellungen zum Erläutern der Kontinuität in Randrichtung. Unter diesen zeigt 19A ein vereinfachtes Videobild der unteren Hälfte des Körpers einer Person 208 in dem Luminanzbild 124, aufgenommen bei Nacht. Eine Luminanzverteilung, wie sie in 19B gezeigt ist, wird durch Vergrößern eines gegebenen Blocks 240a in 19A erhalten. Eine Luminanzverteilung, wie sie in 19C gezeigt ist, wird durch Vergrößern eines anderen Blocks 240b erhalten. Der Bereich des Luminanzbereichs erstreckt sich von 0 bis 255. In 19B sei angenommen, dass ein weißes Feld eine Luminanz von „200” bedeutet und ein schwarzes Feld eine Luminanz von „0” bedeutet. In diesem Fall sei in der Figur des Blockes angenommen, dass die Luminanz des oberen linken Pixels als A definiert wird, die Luminanz des oberen rechten Pixels als B definiert wird, die Luminanz des unteren linken Pixels als C definiert wird und die Luminanz des unteren rechten Pixels als D definiert wird, wobei die horizontale Richtungskomponente in der Randrichtung definiert wird als (A + B) – (C + D), und die vertikale Richtungskomponente in dem Randbereich wird definiert als (A + C) – (B + D).
Dementsprechend ist die horizontale Richtungskomponente in der Randrichtung des Blocks 240a, wie in 19B gezeigt, (A + B) – (C + D) = (200 + 0) – (200 + 0) = 0 und die vertikale Richtungskomponente in der Randrichtung hiervon ist (A + C) – (B + D) = (200 + 200) – (0 + 0) = +400. Daher ist die horizontale Richtungskomponente gleich „0” und die vertikale Richtungskomponente ist gleich „+400”. Die Randrichtung wird bezeichnet als ein Aufwärtspfeil in der vertikalen Richtung, wie in 19D gezeigt. Die horizontale Komponente ist jedoch, wie in 19F gezeigt, positiv in der Rechts-Richtung, während die vertikale Komponente positiv ist in der Aufwärts-Richtung.
In gleicher Weise ist die horizontale Richtungskomponente in der Randrichtung des Blocks 240a, wie in 19C gezeigt, (A + B) – (C + D) = (0 + 0) – (200 + 200) = –400 und die vertikale Richtungskomponente in der Randrichtung hiervon ist (A + C) – (B + D) = (0 + 200) – (0 + 200) = 0. Daher ist die horizontale Richtungskomponente gleich „–400” und die vertikale Richtungskomponente ist gleich „0”. Die Randrichtung ist als ein Links-Pfeil in der horizontalen Richtung bezeichnet, wie in 19E gezeigt.
Wie zuvor beschrieben, wird die Hälfte des Bereichs in dem Block von der anderen Hälfte in dem Block abgezogen und diese Konfiguration ermöglicht es, Rauschen zu reduzieren und die in dem gesamten Block eingeschlossene Luminanz anzurechnen beziehungsweise aufzuwiegen, was es somit ermöglicht, den Rand in geeigneter Weise zu extrahieren. Zudem ist die Rechenlast gering, da die Randrichtung hergeleitet werden kann unter Verwendung einer einfachen Berechnung von lediglich Addition und Subtraktion.
Die Kontinuität in der Randrichtung dient dazu, zu bestimmen, ob nebeneinanderliegende Blöcke in der so hergeleiteten Randrichtung gleich sind und diese Blöcke einander zuzuordnen. Bei dieser Modifikation werden sowohl die horizontale Richtungskomponente als auch die vertikale Richtungskomponente mittels einer Einheitslänge definiert und dies vereinfacht die Variation in der Randrichtung. Genauer gesagt, sowohl die horizontale Richtungskomponente als auch die vertikale Richtungskomponente werden als entweder –1, 0 oder +1 angenommen. In diesem Fall, wie in 19G gezeigt, kann die Randrichtung begrenzt werden auf neun Zustände einschließlich acht Richtungen, jeweils um 45 Grad verschieden, und einer Null-Richtung, in der sowohl die horizontale Richtungskomponente als auch die vertikale Richtungskomponente null sind. Hierdurch kann die Rechenlast mittels der Gruppierungseinheit 162 in großem Maße reduziert werden.
Bei dieser Modifikation leitet die Gruppierungseinheit 162 die Randrichtung für jeden Block des Bildes her, in dem die untere Hälfte des Körpers der Person angezeigt ist, und ordnet Blöcke, die nebeneinander liegen, deren Randrichtungen die gleichen sind, einander zu, wobei somit kontinuierliche Randspuren erzeugt werden. Auf diese Weise kann die Form der unteren Hälfte des Körpers der Person spezifiziert werden in gleicher Weise wie der Unterschied der Luminanz und das relative Positionsverhältnis.
Obwohl eine bevorzugte Ausführungsform der vorliegenden Erfindung hierin beschrieben wurde unter Bezug auf die beigefügten Zeichnungen, versteht es sich, dass die vorliegende Erfindung nicht auf ein solches Ausführungsbeispiel beschränkt ist. Es versteht sich für den Fachmann, dass verschiedenartige Änderungen durchgeführt werden können, ohne von dem Umfang der Erfindung abzuweichen.
Beispielsweise wird in der obigen Ausführungsform der Winkel, der von der vertikalen Linie und der Mittellinie von jedem der zwei unterteilten Gruppen (Mittellinienwinkel) gebildet wird, verwendet als das zweite relative Verhältnis zum Bestimmen des ersten Personkandidaten. Die Ausführungsform ist jedoch nicht hierauf beschränkt. Ein oder mehrere Verhältnisse, ausgewählt aus der Gruppe beinhaltend die Form, die Größe des Bereichs, die Symmetrie und die Luminanz, können verwendet werden. Beispielsweise wird der erste Personkandidat bestimmt, wenn die Ähnlichkeit in der Form oder eine Differenz in der Größe des Bereichs in einem vorbestimmten Bereich liegt, wenn ein hoher Grad an Symmetrie in der horizontalen Richtung vorliegt oder wenn die Verteilung der Luminanz oder eine Differenz des Gesamtbetrages innerhalb eines vorbestimmten Bereichs liegt.
In dem obigen Ausführungsbeispiel wird die dreidimensionale Position des Zielobjektes hergeleitet basierend auf der Parallaxe zwischen Bilddaten unter Verwendung der Mehrzahl von Bildaufnahmevorrichtungen 110. Die vorliegende Erfindung ist jedoch nicht auf einen solchen Fall begrenzt. Beispielsweise könnten alternativ verschiedene bekannte Abstandsmessvorrichtungen wie beispielsweise eine Laserradarabstandsmessvorrichtung verwendet werden. In diesem Fall emittiert die Laserradarabstandsmessvorrichtung einen Laserstrahl auf den Detektionsbereich 122, nimmt das reflektierte Licht auf, wenn der Laserstrahl auf das Objekt strahlt, und misst den Abstand zu dem Objekt basierend auf dieser erforderlichen Zeit.
In dem obigen Ausführungsbeispiel empfängt die Positionsinformationserlangungseinheit 160 beispielsweise das Abstandsbild (Parallaxeninformation) 126 von der Bildverarbeitungsvorrichtung 120 und erzeugt die dreidimensionale Positionsinformation. Die vorliegende Erfindung ist jedoch nicht auf einen solchen Fall beschränkt. Die Bildverarbeitungsvorrichtung 120 kann die dreidimensionale Positionsinformation vorab erzeugen und die Positionsinformationserlangungseinheit 160 kann die erzeugte dreidimensionale Positionsinformation erhalten. Solch eine funktionale Verteilung kann die Prozesslast der Außenumgebungserkennungsvorrichtung 130 reduzieren.
Bei der obigen Ausführungsform sind die Positionsinformationserlangungseinheit 160, die Gruppierungseinheit 162, die Personkandidatbestimmungseinheit 164, die Personkandidatnachverfolgungseinheit 166, die Umkehrmesseinheit 168 und die Personkandidatspezifizierungseinheit 170 dahingehend konfiguriert, mit Software zu funktionieren mittels der zentralen Steuerungseinheit 156. Diese Funktionseinheiten können jedoch auch mittels Hardware konfiguriert sein.
Die Schritte des Umgebungserkennungsverfahrens in dieser Beschreibung müssen nicht notwendigerweise chronologisch in der Reihenfolge verarbeitet werden, wie sie in dem Flussdiagramm beschrieben sind. Die Schritte können parallel durchgeführt werden oder können Verarbeitungen mittels Unterprogrammen (Subroutinen) beinhalten.
Die vorliegende Erfindung kann verwendet werden für die Außenumgebungserkennungsvorrichtung und das Außenumgebungserkennungsverfahren, das die Umgebung außerhalb des Subjektfahrzeugs erkennt.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es werden eine Umgebungserkennungsvorrichtung und ein Umgebungserkennungsverfahren bereitgestellt. Eine Außenumgebungserkennungsvorrichtung 130 erlangt ein Bild in einem Detektionsbereich, erzeugt eine Blockgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Blöcken, mehreren Blöcken in einem Bereich, der sich von einer Ebene, die der Straßenoberfläche entspricht, zu einer vorbestimmten Höhe in dem erlangten Bild erstreckt, teilt die Blockgruppe in Zwei in einer horizontalen Richtung des Bildes und bestimmt, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Blockgruppen, ob die Blockgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002, 0005]
JP 2009-157581 A [0004]

Claims

Außenumgebungserkennungsvorrichtung, umfassend: eine Bilderlangungseinheit zum Erlangen eines Bildes in einem Detektionsbereich; eine Gruppierungseinheit zum Erzeugen einer Abschnittsgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Abschnitten, einer Mehrzahl von Abschnitten in einem Bereich, der sich erstreckt von einer Ebene, die einer Straßenoberfläche entspricht, bis zu einer vorbestimmten Höhe in dem erlangten Bild; und eine Personkandidatbestimmungseinheit zum Teilen der Abschnittsgruppe in Zwei in einer horizontalen Richtung des Bildes und Bestimmen, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Abschnittsgruppen, ob die Abschnittsgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.
Außenumgebungserkennungsvorrichtung nach Anspruch 1, wobei das erste relative Verhältnis eines ist aus einer Gruppe umfassend ein relatives Positionsverhältnis, ein Unterschied in Luminanz oder eine Kontinuität in einer Randrichtung.
Außenumgebungserkennungsvorrichtung nach Anspruch 1 oder 2, wobei das zweite relative Verhältnis eines oder mehrere Verhältnisse ist, ausgewählt aus einer Gruppe beinhaltend eine Form, eine Größe eines Bereichs, Symmetrie und Luminanz.
Außenumgebungserkennungsvorrichtung nach Anspruch 1 oder 2, wobei das zweite relative Verhältnis darin besteht, ob oder ob nicht jeder Mittellinienwinkel, gebildet aus einer vertikalen Linie und einer Mittellinie von jeder der zwei unterteilten Abschnittsgruppen, in einem vorbestimmten ersten Winkelbereich enthalten ist.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Gruppierungseinheit weiterhin unterteilt, in mehrere Bereiche in einer Höhenrichtung, den Bereich, der sich von der Ebene, die der Straßenoberfläche entspricht, zu der vorbestimmten Höhe erstreckt in dem Bild, und mehrere Abschnitte in jedem der unterteilten Bereiche gruppiert, und die Personkandidatbestimmungseinheit den ersten Personkandidat bestimmt, wenn das zweite relative Verhältnis zwischen den zwei unterteilten Abschnittsgruppen erfüllt ist und ein Differenzwinkel zwischen Mittellinien der gruppierten Abschnittsgruppen, die nebeneinander liegen in der Höhenrichtung gleich ist oder mehr als ein vorbestimmter zweiter Winkelbereich.
Außenumgebungserkennungsvorrichtung nach Anspruch 5, wobei, wenn ein Differenzwinkel, der von einem der Bereiche in der Höhenrichtung gebildet wird, dahingehend bestimmt wird, nicht gleich zu sein oder größer als der vorbestimmte zweite Winkelbereich, die Personkandidatbestimmungseinheit die Bestimmung des ersten Personkandidaten bezüglich des verbleibenden Bereichs nicht ausführt.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 4 bis 6, wobei die Personkandidatbestimmungseinheit den ersten Winkelbereich ändert entsprechend einem relativen Abstand zwischen einem Subjektfahrzeug und der Abschnittsgruppe.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 7, weiterhin umfassend: eine Personkandidatnachverfolgungseinheit zum Nachverfolgen der Abschnittsgruppe, die von der Personkandidatbestimmungseinheit dahingehend bestimmt ist, der erste Personkandidat zu sein; eine Umkehrmesseinheit zum Messen einer Anzahl von Umkehrvorgängen, wenn die Personkandidatbestimmungseinheit bestimmt, dass die von der Personkandidatnachverfolgungseinheit nachverfolgte Abschnittsgruppe der erste Personkandidat ist und der erste Personkandidat nicht gewesen ist; und eine Personkandidatspezifizierungseinheit zum Spezifizieren des ersten Personkandidat als einen zweiten Personkandidat, wenn die Anzahl von Umkehrvorgängen dahingehend bestimmt wird, gleich oder größer zu sein als der vorbestimmte Häufigkeitsbereich.
Außenumgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 7, weiterhin umfassend: eine Personkandidatnachverfolgungseinheit zum Nachverfolgen der Abschnittsgruppe, die von der Personkandidatbestimmungseinheit dahingehend bestimmt ist, der erste Personkandidat zu sein; eine Umkehrmesseinheit zum Messen eines Umkehrzyklus, wenn die Personkandidatbestimmungseinheit bestimmt, dass die Abschnittsgruppe, die von der Personkandidatnachverfolgungseinheit nachverfolgt wird, der erste Personkandidat ist und der erste Personkandidat nicht gewesen ist; und eine Personkandidatspezifizierungseinheit zum Bestimmen, dass sich der erste Personkandidat bewegt, wenn ein Umkehrzyklus dahingehend bestimmt wird, gleich oder mehr zu sein als ein vorbestimmter Zyklusbereich.
Außenumgebungserkennungsverfahren, umfassend die Schritte: Erlangen eines Bildes in einem Detektionsbereich; Erzeugen einer Abschnittsgruppe durch Gruppieren, basierend auf einem ersten relativen Verhältnis zwischen Abschnitten, mehrfache Abschnitte in einem Bereich, der sich von einer Ebene, die der Straßenoberfläche entspricht, zu einer vorbestimmten Höhe erstreckt, in dem erlangten Bild; Unterteilen der Abschnittsgruppe in Zwei in einer horizontalen Richtung des Bildes und Bestimmen, basierend auf einem zweiten relativen Verhältnis zwischen zwei unterteilten Abschnittsgruppen, ob die Abschnittsgruppe ein erster Personkandidat ist, der ein Kandidat einer Person ist.