DE102004012811B4

DE102004012811B4 - Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs

Info

Publication number: DE102004012811B4
Application number: DE102004012811A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Takayuki Wako Tsuji; Masakazu Wako Saka; Masahito Wako Watanabe
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-03-20
Filing date: 2004-03-16
Publication date: 2009-02-12
Anticipated expiration: 2024-03-17
Also published as: DE102004012811A1; JP3987048B2; JP2004303219A; US7330568B2; US20040183906A1

Abstract

Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs (10), die in der Lage ist, um das Fahrzeug (10) herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug (10) vorgesehenes Infrarotkameraelement (2R, 2L) aufgenommen ist, wobei die Vorrichtung umfasst:
eine Fußgänger-Kopfflächen-Berechnungseinheit (S91–S94), die eine Fläche, die mutmaßlich einem Kopf eines Fußgängers in dem aufgenommenen Bild entspricht, als Referenzfläche etabliert;
eine Fußgänger-Schulter-Berechnungseinheit (S95) zum Erkennen der Schultern des Fußgängers, und
eine Fußgängerform-Erkennungseinheit (S96, S98, S100) zum Erkennen des Objekts in dem aufgenommenen Bild als Fußgänger,
dadurch gekennzeichnet,
dass die Fußgänger-Schulter-Berechnungseinheit (S95) eine Fußgänger-Überschulterflächen-Berechnungseinheit (S95) bildet, die zwei erste Objektflächen, die mutmaßlich den über den Schultern des Fußgängers liegenden Flächen entsprechen, an beiden Seiten der Referenzfläche etabliert; und
dass die Fußgängerform-Erkennungseinheit (S96, S98, S100) den Fußgänger durch Vergleich eines Luminanzmerkmals der Referenzfläche mit einem Luminanzmerkmal der ersten Objektflächen erkennt,...

Description

Die vorliegende Erfindung betrifft Vorrichtungen zum Überwachen der Umgebung eines Fahrzeugs, worin eine Ziel- bzw. Targetextraktion ausgeführt wird, indem ein von einer Infrarotkameravorrichtung aufgenommenes Bild einer binären Schwellenwertmethode unterzogen wird.
Es sind Vorrichtungen zum Überwachen der Umgebung eines Fahrzeugs vorgeschlagen worden, worin Objekte, die mit dem Fahrzeug kollidieren könnten, wie etwa Fußgänger, aus einem durch eine Infrarotkamera aufgenommenen Bild der Umgebung des Fahrzeugs extrahiert werden, und diese Information einem Fahrer des Fahrzeugs zugeführt wird. In diesen Vorrichtungen wird die Wahrscheinlichkeit, dass das Fahrzeug auf ein Objekt, wie etwa einen Fußgänger, auftrifft, auf der Basis des relativen Abstands zwischen dem Fahrzeug und dem Objekt sowie der relativen Geschwindigkeit des Fahrzeugs berechnet.
Ein Beispiel solcher Vorrichtungen zum Überwachen der Umgebung eines Fahrzeugs, das ein Objekt, das mit dem Fahrzeug kollidieren könnte, aus einem mit einer Infrarotkamera aufgenommenen Bild der Umgebung des Fahrzeugs extrahiert, ist wie folgt. Das heißt, in der Vorrichtung wird das aufgenommene Infrarotbild einem binären (2-Pegel-)Schwellenwertprozess unterzogen, und eine Fläche, auf der helle (weiße) Bereiche konzentriert sind, wird gesucht. Dann wird bestimmt, ob die Fläche ein Kopfbereich eines Fußgängers ist, indem das Aspektverhältnis (das Verhältnis von Länge zu Breite) und die Hinlänglichkeitsrate der Fläche verwendet wird, und ferner der Abstand zwischen dem Fahrzeug und der Fläche unter Verwendung der tatsächlichen Oberflächenausdehnung und der Schwerpunktposition des Bilds berechnet wird. Wenn die Fläche des Kopfbereichs eines Fußgängers bestimmt wird, wird die Fläche, die den Körper des Fußgängers bildet, bestimmt, indem die Höhe des Fußgängers in dem Bild auf der Basis des Abstands zwischen der als der Kopfbereich bestimmten Fläche und der Kamera sowie einer durchschnittlichen Höhe eines Erwachsenen berechnet wird. Diese Flächen werden so angezeigt, dass sie sich von anderen Regionen des Bilds unterscheiden. Auf diese Weise wird die Position des gesamten Körpers des Fußgängers in dem Infrarotbild bestimmt, und diese Information wird dem Fahrer angezeigt, um die Sicht des Fahrers wirkungsvoll zu unterstützen (siehe z. B. JP-11-328364 A ).
Jedoch könnte mittels der Schwellenwertmethode nur der Kopfbereich, ein Teil des Kopfbereichs oder die Gesamtheit oder nur eine obere Hälfte oder eine untere Hälfte des Körpers eines Fußgängers aus einem Infrarotbild extrahiert werden, in Abhängigkeit von den Effekten eines Huts oder von Kleidung, die der Fußgänger trägt, oder der den Fußgänger umgebenden Umgebung, und daher wird die durch die binäre Schwellenwertmethode erhaltene Form des Fußgängers mehrdeutig. Auch wenn das Fahrzeug fährt, wird, aufgrund des Einflusses einer Änderung der vorausliegenden Straßenform oder Hüpfen des Fahrzeugs, allgemein die Größe eines Fußgängers, von einem Kind bis zu einem Erwachsenen, von seiner/ihrer realen Größe allgemein unterschiedlich erkannt.
Dementsprechend können die baryzentrischen Koordinaten von Zielobjekten, wie etwa Fußgängern, in dem Bild in Bezug auf den Abstand nicht festgelegt werden. Daher ist es nicht möglich, die Zielobjekte, wie etwa Fußgänger, die mit dem Fahrzeug kollidieren könnten, stabil zu extrahieren, wenn die Extraktion auf der Basis der Form zumindest der Größe des Fußgängers, des Kopfs, des Körpers ausgeführt wird, wie in der oben erwähnten herkömmlichen Vorrichtung.
Huggle K.; Eckstein W. „Extraktion von Personen in Videobildern" in: Mustererkennung 1995, Verstehen akustischer u. visueller Informationen, 17. DAGM-Symp., (Inf. aktuell), Bielefeld, D, 13.–15. Sep, 1995, (1995) Berlin, Heidelberg, New York: Springer, Seiten 134–144) zeigen eine Vorrichtung nach dem Oberbegriff der Ansprüche 1, 2 und 8. Dort enthält die Objektfläche sowohl den Kopf als auch den über den Schultern liegenden Hintergrund, sodass dort keine spezifischen Luminanzunterschiede erfasst werden können.
Die DE 102 28 638 A1 bezieht sich auf eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs durch Erfassung der Temperatur eines Fußgängers.
Die DE 100 30 421 A1 offenbart eine Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs, worin ein Bewegungsvektor auf der Basis einer Mehrzahl von Zeitserien-Positionsdaten von Tieren berechnet wird.
Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs anzugeben, in der unscharfe Bilder von Objekten, die aus einem mit einer Kamera aufgenommenen Bild extrahiert und dann binärisiert sind, akkurat bestimmt werden, um eine stabile Extraktion von Zielobjekten, wie etwa Fußgängern, zu ermöglichen.
Zur Lösung der obigen Aufgaben wird eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 1, 2 und 8 angegeben.
Gemäß der oben beschriebenen Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs etabliert die Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs eine Fläche, die mutmaßlich einem Kopf eines Fußgängers entspricht, als Referenzfläche durch eine Fußgänger-Kopfflächen-Berechnungseinheit aufgrund einer Theorie, dass der Kopf des Fußgängers eine hohe Luminanz in einem Bild hat, das von einer Infrarotstrahlenkamera aufgenommen ist. Als Nächstes werden zwei Objektflächen, die mutmaßlich den Überschulterflächen des Fußgängers entsprechen, an beiden Seiten der Referenzfläche durch die Fußgänger-Überschulterflächen-Berechnungseinheit etabliert. Hierdurch kann die Fußgängerform-Erkennungseinheit die Fläche erkennen, die mutmaßlich dem Kopf und den Schultern des Fußgängers entspricht, der sich in dem Bild befindet, das von der Infrarotstrahlenkamera aufgenommen ist, aufgrund einer Theorie, dass der Kopf des Fußgängers einen hohen Luminanzkontrast in Bezug auf einen Luminanzkontrast neben dem Kopf (Hintergrund) in Räumen oberhalb der Schultern gemäß einem Luminanzmerkmal in den Referenzflächen und einem Luminanzmerkmal in den Objektflächen aufweist.
Gemäß Anspruch 1 sind die Objektflächen von der Referenzfläche aufwärts versetzt.
Hierdurch lässt sich verhindern, dass ein Bild, das zu einer sich von der Zielfläche unterscheidenden Fläche gehört, in die Zielfläche eintritt, wegen der Objekt-Hochlage in dem Infrarotbild.
Gemäß Anspruch 2 umfasst die Vorrichtung ferner eine Fußgänger-Schulterflächen-Berechnungseinheit, die zweite Objektflächen zum Erkennen der Arme des Fußgängers unterhalb der jeweiligen ersten Objektflächen etabliert, so dass die Fußgängerform-Erkennungseinheit den Fußgänger in dem aufgenommenen Bild gemäß einem Luminanzmerkmal in den ersten Objektflächen und den zweiten Objektflächen erkennt.
Die Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs mit der obigen Struktur vergleicht die ersten Objektflächen, die mutmaßlich Räumen entsprechen, die auf beiden Seiten der Referenzfläche oberhalb der Schultern des Fußgängers etabliert sind, mit zweiten Objektflächen, die mutmaßlich den Schultern und Armen des Fußgängers entsprechen und durch die Fußgänger-Schulterflächen-Berechnungseinheit etabliert sind. Somit kann die Fußgängerform-Erkennungseinheit eine Fläche erkennen, die mutmaßlich den Schultern und Armen des Fußgängers entspricht, der sich in einem Bild befindet, das von einer Infrarotkamera aufgenommen ist, aufgrund einer Theorie, dass ein Luminanzkontrast für die Schultern und die Arme des Fußgängers von einem Luminanzkontrast im Hintergrund an beiden Seiten des Kopfs, die in Räumen oberhalb der Schultern angeordnet sind, unterschiedlich ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Einige Merkmale und Vorteile der Erfindung sind beschrieben worden, und andere werden aus der folgenden detaillierten Beschreibung und aus den beigefügten Zeichnungen ersichtlich, worin:
1 ist ein Blockdiagramm mit Darstellung einer Struktur einer Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß einer Ausführung der vorliegenden Erfindung;
2 ist ein Diagramm mit Darstellung von Positionen einer Infrarotkamera, eines Sensors, einer Anzeige etc., die an einem Fahrzeug gemäß der Ausführung der vorliegenden Erfindung angebracht sind;
3 ist ein Flussdiagramm zur Darstellung eines Objekterfassungs- und -alarmbetriebs der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung der vorliegenden Erfindung;
4A und 4B sind Diagramme mit Darstellung eines Graustufenbilds, das unter Verwendung einer Infrarotkamera erhalten ist, bzw. eines binären Bilds davon;
5 ist ein Flussdiagramm zur Erläuterung eines Alarmbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
6 ist ein Diagramm mit Darstellung von Plätzen, wo die Kollision eines Fahrzeugs wahrscheinlich auftritt;
7 ist ein Diagramm mit Darstellung von Flächen und Abschnitten vor einem Fahrzeug gemäß der Ausführung der vorliegenden Erfindung;
8 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
9 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
10 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
11 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
12 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
13 ist ein Flussdiagramm zur Erläuterung eines Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung;
14 ist ein Diagramm mit Darstellung von Formmerkmalswerten eines binären Objekts gemäß der Ausführung der vorliegenden Erfindung;
15 ist ein Diagramm mit Darstellung der Anordnung von Maskenflächen gemäß der Ausführung der vorliegenden Erfindung;
16A bis 16C sind Diagramme mit Darstellung der Luminanzverteilung einer Markenfläche FLÄCHE3 für den Fall, wo das Objekt ein Teil eines Fußgängers, die Gesamtheit eines Fußgängers bzw. eine Wand ist;
17 ist ein Flussdiagramm zur Bestimmung der Form eines Fußgängers (Kopf und Schultern) gemäß der Ausführung der vorliegenden Erfindung;
18A und 18B sind Ansichten zur Berechnung einer Projektion gemäß der Ausführung der vorliegenden Erfindung;
19A und 19B sind Ansichten zur Erläuterung eines Prozesses zur Bestimmung von Kopf und Schultern gemäß der Ausführung der vorliegenden Erfindung;
20 ist eine Ansicht zur Erläuterung von Schultern, die gemäß der Ausführung der vorliegenden Erfindung bestimmt sind.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Die oben zusammengefasste und durch die aufgezählten Ansprüche definierte Erfindung kann in Bezug auf die folgende detaillierte Beschreibung besser verstanden werden, die in Bezug auf die beigefügten Zeichnungen gelesen werden sollte. Diese detaillierte Beschreibung bestimmter bevorzugter Ausführungen, die unten aufgeführt sind, um jemanden in die Lage zu versetzen, bestimmte Implementierungen der Erfindung zu bauen und zu verwenden, dient nicht dazu, die aufgezählten Ansprüche zu beschränken, sondern als bestimmte Beispiele davon.
1 ist ein Blockdiagramm mit Darstellung einer Konfiguration einer Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß einer Ausführung der vorliegenden Erfindung.
In 1 bezeichnet die Bezugszahl 1 eine Bildverarbeitungseinheit, einschließlich einer zentralen Prozessoreinheit (CPU), die die Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung steuert/regelt. Mit der Bildverarbeitungseinheit 1 verbunden sind zwei Infrarotkameras 2R und 2L, die ferne Infrarotstrahlen erfassen können, ein Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, ein Geschwindigkeitssensor 4, der die Fahrrate (Geschwindigkeit) des Fahrzeugs erfasst, sowie ein Bremssensor 5 zum Erfassen der Bremsbetätigung. In dieser Konfiguration erfasst die Bildverarbeitungseinheit Fußgänger oder Tiere vor dem Fahrzeug auf der Basis eines Infrarotbilds der Umgebung des Fahrzeugs und Signalen, die den Fahrzustand des Fahrzeugs anzeigen, und erzeugt einen Alarm, wenn bestimmt wird, dass die Kollisionsmöglichkeit hoch ist.
Auch sind mit der Bildverarbeitungseinheit 1 verbunden ein Lautsprecher 6 zum Erzeugen eines Alarmtons und eine Bildanzeigevorrichtung 7, die von den Infrarotkameras 2R und 2L aufgenommene Bilder anzeigt und den Fahrer des Fahrzeugs Objekte, die durch das Fahrzeug getroffen werden könnten, erkennen lässt. Die Bildanzeigevorrichtung 7 kann z. B. eine Anzeige in Kombination mit einer Messanzeige enthalten, die den Fahrzustand des Fahrzeugs mittels Zahlen anzeigt, einer Navigationsanzeige, die mit der Konsole des Fahrzeugs vorgesehen ist, und/oder einer Head-up-Anzeige (HUD) 7a, die Information an einer Position in der Frontscheibe anzeigt, wo sich die Sicht des Fahrers nicht damit stört.
Darüber hinaus kann die Bildverarbeitungseinheit 1 ferner eine A/D-Wandlerschaltung enthalten, die analoge Eingangssignale in digitale Signale umwandelt, einen Bildspeicher, der digitalisierte Bildsignale speichert, eine zentrale Prozessoreinheit (CPU), die verschiedene Operationen ausführt, einen Direktzugriffsspeicher (RAM), der zum Speichern von durch die CPU zu verarbeitenden Daten verwendet wird, einen Festwertspeicher (ROM), der von der CPU durchzuführende Programme, Tabellen, Kennfelder etc. speichert, sowie Ausgabeschaltungen, durch die Treibersignale für den Lautsprecher 6, Anzeigesignale für die HUD 7a etc. ausgegeben werden. Dementsprechend werden Signale, die jeweils von Infrarotkameras 2R und 2L, dem Gierratensensor 3, dem Geschwindigkeitssensor 4 und dem Bremssensor 5 ausgegeben werden, in digitale Signale umgewandelt und in die CPU eingegeben.
Wie auch in 2 gezeigt, sind die Infrarotkameras 2R und 2L an der Vorderseite eines Fahrzeugs 10 an symmetrischen Positionen in Bezug auf die Mitte des Fahrzeugs 10 in der Breitenrichtung angeordnet, so dass die optischen Achsen jeder der Infrarotkameras 2R und 2L zueinander parallel werden und die Höhe der Kameras 2R und 2L von der Oberfläche der Straße gleich wird. Angemerkt wird, dass die Infrarotkameras 2R und 2L derartige Charakteristiken haben, dass der Pegel des Ausgangssignals höher wird (d. h. die Luminanz zunimmt), wenn die Temperatur eines Objekts zunimmt.
Darüber hinaus ist die Anzeigeplatine der HUD 7a an einer Position der Windschutzscheibe des Fahrzeugs 10 dort angeordnet, wo die Sicht des Fahrers sich nicht mit der Anzeigeplatine stört.
Als Nächstes wird der Betrieb der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung der vorliegenden Erfindung in Bezug auf die beigefügten Zeichnungen erläutert.
3 ist ein Flussdiagramm mit Darstellung von Operationen zur Erfassung eines Zielobjekts, wie etwa eines Fußgängers, und zum Erzeugen eines Alarms, die in der Bildverarbeitungseinheit 1 der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung der vorliegenden Erfindung durchgeführt werden.
Zuerst erhält die Bildverarbeitungseinheit 1 ein Infrarotbild (Schritt S1), das sind Ausgangssignale von den Infrarotkameras 2R und 2L, unterzieht die Signale einem A/D-Wandlungsprozess (Schritt S2) und speichert das erhaltene Graustufenbild in einem Bildspeicher (Schritt S3). Merke, dass in dieser Ausführung das rechtsseitige Bild durch die Infrarotkamera 2R erhalten wird und das linksseitige Bild durch die Infrarotkamera 2L erhalten wird. Auch da die horizontale Position desselben Objekts in dem rechtsseitigen Bild und in dem linksseitigen Bild voneinander verschoben wird, wenn die Bilder angezeigt werden, ist es möglich, den Abstand zu dem Zielobjekt auf der Basis der Verschiebung (Parallaxe) zu berechnen.
Nachdem das Graustufenbild in Schritt S3 erhalten ist, wird das von der Infrarotkamera 2R erhaltene rechtsseitige Bild als Refrenzbild benutzt, und die Bildsignale davon werden einem binären Schwellenwertprozess unterzogen, d. h. einem Prozess, in dem eine Fläche, deren Luminanz höher ist als ein Schwellenwert ITH, auf "1" (weiß) gesetzt wird, und eine Fläche, deren Luminanz geringer ist als der Schwellenwert ITH, auf "0" (schwarz) gesetzt wird (Schritt S4).
4A zeigt ein Graustufenbild, das mittels der Infrarotkamera 2R erhalten ist, und ein in 4B gezeigtes Bild wird erhalten, indem das in 4A gezeigte Graustufenbild dem binären Schwellenwertprozess unterzogen wird. Merke, dass in 4B Objekte, die in jedem der Rahmen P1–P4 angegeben sind, Zielobjekte sind (nachfolgend auch als "Hochluminanzflächen" bezeichnet), die in dem angezeigten Bild weiß gezeigt sind.
Nachdem Bilddaten, die dem Schwellenwertprozess unterzogen wurden, aus dem Infrarotbild erhalten sind, wird ein Prozess ausgeführt, in dem die erhaltenen Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5). Linien, die durch die Lauflängendaten ausgedrückt sind, werden durch Flächen gebildet, die aufgrund des Schwellenwertprozesses auf Pixelebene weiß geworden sind. Jede der Linien hat eine Breite von einem Pixel in der y-Richtung und hat eine Länge entsprechend der Länge eines Pixels, das die Lauflängendaten in der x-Richtung bildet.
Als Nächstes werden Objekte in den auf die Lauflängendaten umgewandelten Bilddaten markiert (Schritt S6), so dass ein Extraktionsprozess für die Objekte ausgeführt werden kann (Schritt S7). Das heißt, unter den als die Lauflängendaten ausgedrückten Linien kann im Hinblick auf eine Linie mit einem Abschnitt, der in der y-Richtung als Objekt überlagert ist, zum Beispiel jede der in 4B gezeigten Hochluminanzflächen P1–P4 als Zielobjekt (Ziel-Binärobjekt) erkannt werden.
Nachdem die Extraktion der Zielobjekte abgeschlossen ist, werden der Schwerpunkt G, die Oberflächenausdehnung S und das Aspektverhältnis (Verhältnis von Länge zu Breite) eines umschriebenen Rechtecks berechnet (Schritt S8).
In dieser Ausführung wird die Oberflächenausdehnung S berechnet, indem die Lauflängendaten eines Objekts der Markierung A als (x [i], y [i], Lauf [i], A) (i = 0, 1, 2, ... N – 1) angenommen werden und indem die Längen der Lauflängendaten (Lauf [i] – 1) für dasselbe Objekt (N Lauflängendaten) akkumuliert werden. Auch werden die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A berechnet, indem die Länge jeder Lauflängendaten (Lauf [i] – 1) mit der Koordinate x [i] oder y [i] jeder der Lauflängendaten multipliziert wird, und indem ferner die resultierenden Werte für dasselbe Objekt miteinander multipliziert werden und der erhaltene Wert durch die Oberflächenausdehnung S dividiert wird.
Darüber hinaus wird das Aspektverhältnis berechnet als das Verhältnis Dy/Dx, worin Dy die Länge des umschriebenen Rechtecks des Objekts in der Längsrichtung ist und Dx die Länge des umschriebenen Rechtecks für dasselbe Objekt in der Querrichtung ist.
Merke, dass, weil die Lauflängendaten als Pixelzahl (Koordinatenzahl) (= Lauf [i]) ausgedrückt werden, es notwendig ist, eins zu subtrahieren, um die tatsächliche Länge (= Lauf [i]) zu erhalten. Auch ist es möglich, die Schwerpunktposition des umschriebenen Rechtecks durch die Schwerpunktposition G zu ersetzen.
Nachdem der Schwerpunkt, die Oberflächenausdehnung und das Aspektverhältnis des umschriebenen Rechtecks berechnet sind, wird ein Prozess ausgeführt, um das Objekt in Bezug auf die Zeit zu verfolgen, d. h. ein Prozess, in dem dasselbe Objekt jede Abtastperiode erkannt wird (Schritt S9). In dem Verfolgungsprozess in Bezug auf die Zeit werden Objekte A und B zur Zeit k extrahiert, die z. B. durch Diskretisieren der analogen Zeit t mittels der Abtastperiode erhalten ist, und es wird bestimmt, ob Objekte C und D, die zur Zeit (k + 1) extrahiert werden, dieselben Objekte wie die Objekte A bzw. B sind. Wenn dann bestimmt wird, dass die Objekte A und B und die Objekte C und D dieselben Objekte sind, werden die Markierungen der Objekte C und D in die Markierung A bzw. B geändert, um den Verfolgungsprozess in Bezug auf die Zeit auszuführen.
Auch werden die Positionskoordinaten jedes der so erkannten Objekte (deren Schwerpunkt) in einem Speicher als zeitserielle Positionsdaten gespeichert und werden für den nachfolgenden Operationsprozes benutzt.
Merke, dass die in den oben erläuterten Schritten S4–S9 ausgeführten Prozesse für das binäre Referenzbild ausgeführt werden (das rechtsseitige Bild in dieser Ausführung).
Dann werden die von dem Geschwindigkeitssensor 4 erfasste Fahrzeugge schwindigkeit VCAR und die von dem Gierratensensor 3 erfasste Gierrate YR gelesen, und der Schwenkwinkel θr des Fahrzeugs 10 wird berechnet, indem die Gierrate YR einer zeitlichen Integration unterzogen wird (Schritt S10).
Andererseits wird ein Prozess zum Berechnen des Abstands z zwischen dem Zielobjekt in dem Fahrzeug 10 (Schrite S11–S13) gleichzeitig mit dem Prozess der Schritte S9 und S10 ausgeführt. Da dieser Prozess zum Berechnen des Abstands z eine längere Zeitperiode braucht als die in den Schritten S9 und S10 benötigte Zeit, wird unter Nutzung einer längeren Zeit als die Schritte S9 und S10 ausgeführt (zum Beispiel etwa drei Mal länger als die Zeit zur Ausführung der Schritte S1–S10).
Zuerst wird eines der Objekte, die mittels des Binärbilds des Referenzbilds (rechtsseitigen Bilds) verfolgt werden, ausgewählt, um ein Suchbild R1 (in dieser Ausführung wird die von dem umschriebenen Rechteck umgebende Gesamtfläche als Suchbild betrachtet) aus dem rechtsseitigen Bild zu extrahieren (Schritt S11).
Dann wird die Suchfläche, aus der ein Bild entsprechend dem Suchbild R1 (nachfolgend auch als "entsprechendes Bild" bezeichnet) gesucht wird, in das linksseitige Bild gesetzt, und das entsprechende Bild wird durch Ausführung einer Korrelationsoperation extrahiert (Schritt S12). Insbesondere wird eine Suchfläche R2 in dem linksseitigen Bild entsprechend jeder Spitzenkoordinate des Suchbilds R1 geschätzt, und ein Luminanzdifferenz-Summenwert C (a, b), der den Korrelationsgrad mit dem Suchbild R1 in der Suchfläche R2 zeigt, wird berechnet. Die Fläche, an der der Summenwert C (a, b) minimal ist, wird als das entsprechende Bild extrahiert. Merke, dass die Korrelationsoperation mittels des Graustufenbilds, nicht des binären Bilds, durchgeführt wird.
Auch wenn es vorherige Positionsdaten für dasselbe Objekt gibt, wird eine Fläche R2a, die schmaler ist als die Suchfläche R2, als die Suchfläche auf der Basis der vorherigen Positionsdaten gesetzt.
Da das Suchbild R1 und das entsprechende Bild R4, das dem Suchbild R1 entspricht, in dem Referenzbild (dem rechtsseitigen Bild) bzw. dem linksseitigen Bild in Schritt S12 extrahiert werden, werden die Schwerpunktposition des Suchbilds R1 und jene des entsprechenden Bilds R4, und der Parallaxengrad Δd (Pixelzahl) erhalten, und der Abstand z zwischen dem Fahrzeug 10 und dem Objekt kann mittels dieser Faktoren errechnet werden (in Schritt S13).
Nachdem dann die Berechnung des Schwenkwinkels θr in Schritt S10 und die Berechnung des Abstands zwischen dem Objekt in Schritt S13 abgeschlossen sind, werden die Koordinate (x, y) in dem Bild und der Abstand z umgewandelt, um die Koordinate (X, Y, Z) des realen Raums zu erhalten (in Schritt S14).
In dieser Ausführung ist die Koordinate (X, Y, Z) des realen Raums so definiert, wie in 2 gezeigt, wobei der Ursprung O der Mittelposition der Montagepositionen für die Infrarotkameras 2R und 2L entspricht (der zum Fahrzeug 10 festen Position). Andererseits wird die Koordinate in dem Bild derart definiert, dass die horizontale Richtung in Bezug auf den Ursprung, der die Mitte des Bilds ist, x wird und die vertikale Richtung y wird.
Wenn die Koordinate in dem realen Raum erhalten wird, wird der Schwenkwinkelkorrekturprozess zur Korrektur der durch das Schwenken des Fahrzeugs 10 hervorgerufenen Positionsverschiebung in dem Bild ausgeführt (in Schritt S15). Das heißt, wenn das Fahrzeug 10 (dessen vorderer Abschnitt) in der linksseitigen Richtung mit einem Winkel θr von der Zeit k bis (k + 1) gedreht wird, verschiebt sich der Bereich des durch die Kameras erhaltenen Bilds in der x-Richtung um Δx, und diese Verschiebung wird in dem Schwenkwinkelkorrekturprozess korrigiert.
Merke, dass in der folgenden Beschreibung die Koordinate nach dem Schwenkwinkelkorrekturprozess als (X, Y, Z) ausgedrückt wird.
Nachdem die Schwenkwinkelkorrektur für die Realraumkoordinate abgeschlossen ist, wird eine gerade Annäherungslinie LMV, die einem Vektor der Relativbewegung zwischen dem Objekt und dem Fahrzeug 10 entspricht, aus N Realraum-Positionsdaten (z. B. N = etwa 10) erhalten, die dem Schwenkwinkelkorrekturprozess unterzogen werden und die innerhalb der Überwachungsperiode von ΔT für dasselbe Objekt erhalten werden, d. h. die Zeitseriendaten.
Dann werden die neueste Positionskoordinate (P(0) = (X(0), Y(0), Z(0)) und die Positionskoordinate P(N – 1) = (X(N – 1), Y(N – 1), Z(N – 1)) vor der (n – 1)-Abtastung (d. h. vor der Zeit ΔT) auf die gerade Annäherungslinie LMV korrigiert, und die Positionskoordinaten nach der Korrektur, Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)) werden erhalten.
Auf diese Weise kann der Relativbewegungsvektor als ein Vektor erhalten werden, der von der Positionskoordinate Pv(N – 1) auf Pv(0) gerichtet ist (in Schritt S16).
Wie oben erläutert, wird es gemäß der Ausführung der vorliegenden Erfindung möglich, die Kollisionsmöglichkeit des Fahrzeugs gegen ein Objekt mit einem verringerten Fehlergrad in der Positionserfassung genauer zu schätzen, indem eine gerade Annäherungslinie berechnet wird, die für die Annäherung einer Relativbewegungsbahn des Objekts in Bezug auf das Fahrzeug 10 auf der Basis einer Mehrzahl (N) von Daten verwendet wird, die für die Überwachungsperiode ΔT aufgenommen werden.
Nachdem der Relativbewegungsvektor in Schritt S16 erhalten ist, wird ein Alarmbestimmungsprozess, in dem die Kollisionsmöglichkeit gegen das erfasste Objekt bestimmt wird, ausgeführt (in Schritt S17). Der Alarmbestimmungsprozess wird später im Detail beschrieben.
Wenn in Schritt S17 bestimmt wird, dass keine Kollisionsmöglichkeit des Fahrzeugs 10 gegen das erfasste Objekt besteht (d. h. "NEIN" in Schritt S17), kehrt der Prozess zu Schritt S1 zurück, um den oben erläuterten Prozess zu wiederholen.
Auch wenn bestimmt wird, dass eine Kollisionsmöglichkeit des Fahrzeugs 10 mit dem erfassten Objekt besteht (d. h. "JA" in Schritt S17), geht der Prozess zu einem Alarmausgabebestimmungsprozess in Schritt S18 weiter.
In Schritt S18 wird bestimmt, ob der Alarmausgabebestimmungsprozess ausgeführt werden sollte, d. h., ob eine Alarmausgabe erfolgen soll, durch Bestimmung, ob der Fahrer des Fahrzeugs 10 eine Bremse betätigt, auf der Basis der Ausgabe BR von dem Bremssensor 5 (in Schritt S18).
Wenn der Fahrer des Fahrzeugs 10 die Bremse betätigt, wird die durch die Bremsbetätigung erzeugte Beschleunigung Gs (deren Verzögerungsrichtung wird als positiv betrachtet) berechnet. Wenn die Beschleunigung Gs größer als ein vorbestimmter Schwellenwert GTH ist, wird bestimmt, dass die Kollision durch die Betätigung der Bremse vermieden wird, und der Alarmausgabebestimmungsprozess wird beendet (d. h. "NEIN" in Schritt S18). Dann kehrt der Prozess zu Schritt S1 zurück, um den oben erläuterten Prozess zu wiederholen.
Auf diese Weise wird kein Alarm erzeugt, wenn eine geeignete Bremsbetätigung durchgeführt wird, und daher wird es möglich, eine Belästigung des Fahrers zu vermeiden.
Auch wenn die Beschleunigung Gs gleich oder geringer als der vorbestimmte Schwellenwert ist oder wenn der Fahrer des Fahrzeugs 10 die Bremse nicht betätigt (d. h. "JA" in Schritt S18), geht der Prozess unmittelbar zu Schritt S19 weiter und lässt für den Fahrer einen Alarm z. B. durch Sprache durch den Lautsprecher 6 ertönen, dass die Möglichkeit, ein Objekt zu treffen, hoch ist. Darüber hinaus wird das z. B. durch die Infrarotkamera 2a erhaltene Bild zu der Bildanzeigevorrichtung 7 ausgegeben, so dass das sich annähernde Objekt dem Fahrer des Fahrzeugs 10 als verbessertes Bild angezeigt werden kann (in Schritt S20).
Merke, dass der vorbestimmte Schwellenwert GTH ein Wert ist, der die Bedingungen zum Stoppen des Fahrzeugs 10 innerhalb des Fahrabstands erfüllt, der kürzer ist als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10, wenn die Beschleunigung Gs während der Bremsbetätigung so bleibt, wie sie ist.
Der Betrieb zum Erfassen des Objekts und der Alarmierung des Fahrers in der Bildverarbeitungseinheit 1 der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung der vorliegenden Erfindung ist beschrieben worden. Als Nächstes wird der Alarmbestimmungsprozess in Schritt S17 des in 3 gezeigten Flussdiagramms im Detail in Bezug auf ein in 5 gezeigtes Flussdiagramm beschrieben.
5 ist ein Flussdiagramm mit Darstellung des Betriebs des Alarmbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung.
Der Alarmbestimmungsprozess ist ein Prozess, in dem die Kollisionsmöglichkeit des Fahrzeugs 10 mit einem erfassten Objekt bestimmt wird, auf der Basis des folgenden Kollisionsbestimmungsprozesses, eines Prozesses zum Bestimmen, ob sich ein Objekt innerhalb eines Annäherungsbestimmungsbereichs befindet, eines Eintrittskollisionsbestimmungsprozesses, eines Fußgängerbestimmungsprozesses und eines Künstliche-Struktur-Bestimmungsprozesses. Dies wird anhand eines Beispiels erläutert, in dem sich ein Objekt 20 mit einer Geschwindigkeit Vp bei einem Winkel von angenähert 90° in Bezug auf die Fahrtrichtung des Fahrzeugs 10 fortbewegt, wie in 6 gezeigt.
Im in 5 gezeigten Flussdiagramm führt die Bildverarbeitungseinheit 1 zuerst den Kollisionsbestimmungsprozess aus (in Schritt S31). Der Kolli sionsbestimmungsprozess ist ein Prozess, in dem dann, wenn sich das Objekt 20 dem Fahrzeug 10 von dem Abstand Zv(N – 1) zu dem Abstand Zn(0) innerhalb der Zeit ΔT annähert, wie in 6 gezeigt, die Relativgeschwindigkeit Vs in Bezug auf das Fahrzeug 10 in der Z-Richtung erhalten und bestimmt wird, ob das Objekt mit dem Fahrzeug 10 innerhalb einer Grenzzeit T zusammentreffen, unter der Annahme, dass sich das Objekt 20 und das Fahrzeug 10 weiterbewegen, während die Relativgeschwindigkeit Vs und der Höhenbereich H beibehalten werden. Hier wird die Grenzzeit T so vorgesehen, dass die Bestimmung der Kollisionsmöglichkeit vor der geschätzten Kollisionszeit mit der Grenze von T durchgeführt werden kann. Dementsprechend wird die Grenzzeit T zum Beispiel auf etwa 2 bis 5 Sekunden gesetzt. Auch ist die Höhe H eine vorbestimmte Höhe zum Definieren des Bereichs in der Höhenrichtung, und die Höhe H kann so gesetzt werden, dass sie zum Beispiel doppelt so hoch ist wie das Fahrzeug 10.
Wenn dann in Schritt S31 eine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Grenzzeit T besteht (d. h. "JA" in Schritt S31), führt die Bildverarbeitungseinheit 1 den Prozess aus, worin bestimmt wird, ob sich das Objekt in einer Annäherungsbestimmungsfläche befindet (in Schritt S32), um die Zuverlässigkeit der Bestimmung weiter zu verbessern. Der Prozess zur Bestimmung, ob sich das Objekt in einer Annäherungsbestimmungsfläche befindet, ist ein Prozess, in dem bestimmt wird, ob sich das Objekt in einer in 7 gezeigten Annäherungsbestimmungsfläche AR1 befindet, wo die Kollisionsmöglichkeit des Fahrzeugs 10 extrem hoch ist, wenn das Objekt dort bleibt. Wie in 7 gezeigt, ist die Annäherungsbestimmungsfläche AR1, zusammen mit den Eintrittsbestimmungsflächen AR2 und AR3, als eine Fläche innerhalb einer Dreiecksfläche AR0 definiert, die mit der dicken Linie angegeben ist, die eine Fläche zeigt, die mittels der Infrarotkameras 2R und 2L überwacht werden kann und dem Fahrzeug 10 in Bezug auf die Linie, die Z1 = Vs × T angibt, näher ist. Unter den Flächen AR1, AR2 und AR3 entspricht die Annäherungsbestimmungsfläche AR1 einer Fläche mit einer Breite von α + 2β, wobei α die Breite des Fahrzeugs 10 ist und β eine Grenze (zum Beispiel etwa 50 bis 100 cm), die zu beiden Seiten der Breite α des Fahrzeugs 10 addiert ist, wie in 7 gezeigt. Merke, dass die Annäherungsbestimmungsfläche AR1 auch die vorbestimmte Höhe H hat.
Wenn in Schritt S32 bestimmt wird, dass sich kein Objekt in der Annäherungsbestimmungsfläche AR1 befindet (d. h. "NEIN" in Schritt S32), führt die Bildverarbeitungseinheit 1 den Eintrittskollisionsbestimmungsprozess aus, in dem bestimmt wird, ob eine Möglichkeit besteht, dass ein Objekt in die Annäherungsbestimmungsfläche AR1 eintritt und von dem Fahrzeug 10 getroffen wird (in Schritt S33). Wie in 7 gezeigt, ist in den Eintrittsbestimmungsflächen AR2 und AR3 der Absolutwert der X-Koordinate größer als jener der oben erwähnten Annäherungsbestimmungsfläche AR1, und der Eintrittskollisionsbestimmungsprozess ist ein Prozess, in dem bestimmt wird, ob sich ein in der Fläche AR2 oder AR3 befindliches Objekt bewegen und in die Annäherungsbestimmungsfläche AR1 eintreten könnte und von dem Fahrzeug 10 getroffen werden könnte. Merke, dass jede der Eintrittsbestimmungsflächen AR2 und AR3 auch die vorbestimmte Höhe H hat.
Wenn sich andererseits in Schritt S32 ein Objekt in der Annäherungsbestimmungsfläche befindet (d. h. "JA" in Schritt S32), führt die Bildverarbeitungseinheit 1 den Fußgängerbestimmungsprozess aus, in dem bestimmt wird, ob eine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (in Schritt S34). Der Fußgängerbestimmungsprozess wird später im Detail beschrieben.
Auch wenn in Schritt S34 bestimmt wird, dass eine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (d. h. "JA" in Schritt S34), wird der Künstliche-Struktur-Bestimmungsprozess ausgeführt, indem bestimmt wird, ob das Objekt ein Fußgänger ist oder nicht (in Schritt S35), um die Zuverlässigkeit in der Bestimmung zu erhöhen. Der Künstliche-Struktur-Bestimmungsprozess ist ein Prozess, in dem ein Objekt als eine künstliche Struktur bestimmt wird, wenn die folgenden Charakteristiken, die für einen Fußgänger nicht vorliegen können, in dem Bild des Objekts erfasst werden und das Objekt aus den Objekten ausgeschlossen wird, die das Ertönen eines Alarms erfordern:

(1) wenn das Bild des Objekts einen Abschnitt enthält, der eine Kante mit einer geraden Linie anzeigt;
(2) wenn eine Ecke des Bilds des Objekts eine rechtwinklige Ecke ist;
(3) wenn dqas Bild des Objekts eine Vielzahl von Abschnitten der gleichen Form enthält; und
(4) wenn das Bild des Objekts mit der Form zuvor registrierter künstlicher Objekte übereinstimmt.

Wenn dementsprechend im oben erwähnten Schritt S33 eine Möglichkeit besteht, dass ein Objekt in die Annäherungsbestimmungsfläche eintreten und mit dem Fahrzeug 10 kollidieren wird (d. h. "JA" in Schritt S33), und wenn das Objekt, das als ein möglicher Fußgänger bestimmt ist, in Schritt S35 keine künstliche Struktur ist (d. h. "NEIN" in Schritt S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt S36, dass eine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem erfassten Objekt besteht (d. h. das Objekt wird als ein Objekt betrachtet, das das Ertönen eines Alarms erfordert), und der Prozess geht zu Schritt S18 weiter (über "JA" in Schritt S17), um den Alarmausgabebestimmungsprozess durchzuführen (in Schritt S18).
Wenn andererseits in dem oben erwähnten Schritt S31 bestimmt wird, dass keine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Grenzzeit T besteht (d. h. "NEIN" in Schritt S31), oder wenn in Schritt S33 keine Möglichkeit besteht, dass das Objekt in die Annäherungsbestimmungsfläche eintreten und mit dem Fahrzeug 10 kollidieren wird (d. h. "NEIN" in Schritt S33), oder wenn in Schritt S34 bestimmt wird, dass keine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (d. h. "NEIN" in Schritt S34), oder wenn das in Schritt S35 als möglicher Fußgänger bestimmte Objekt eine künstliche Struktur ist (d. h. "JA" in Schritt S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt S37, dass keine Kollisions möglichkeit zwischen dem Fahrzeug 10 und dem Objekt besteht (d. h. das Objekt ist kein Objekt, das das Ertönen eines Alarms erfordert), und der Prozess kehrt zu Schritt S1 über "NEIN" in Schritt S17 zurück, wie in 3 gezeigt. Auf diese Weise wird der Vorgang zum Erfassen und Alarmertönen für Objekte, wie etwa einen Fußgänger, wiederholt.
Als Nächstes wird der Fußgängerbestimmungsprozess in Schritt 34 des in 5 gezeigten Flussdiagramms im Detail in Bezug auf die Flussdiagramme erläutert, die in den 8 bis 13 gezeigt sind. Die 8 bis 13 sind Flussdiagramme mit Darstellung des Fußgängerbestimmungsprozesses gemäß der Ausführung der vorliegenden Erfindung.
Wie im in 8 gezeigten Flussdiagramm gezeigt, berechnet die Bildverarbeitungseinheit 1 Formmerkmalswerte eines binären Objekts (Schritt S41), die Formcharakteristiken eines binären Objekts in einem realen Raum zeigen, auf der Basis des in Schritt S8 berechneten Schwerpunkts G (xc, yc) des binären Objekts in dem in 3 gezeigten Flussdiagramm (d. h. Schwerpunkt G100 des in 14 gezeigten binären Objekts), der Oberflächenausdehnung S (die Oberfläche S101 des in 14 gezeigten binären Objekts), des Aspektverhältnisses des umschriebenen Rechtecks für das Objekt und des in Schritt S13 berechneten Abstands z zwischen dem Fahrzeug 10 und dem Objekt, zusätzlich zur Höhe hb und der Breite wb des umschriebenen Rechtecks des in 14 gezeigten binären Objekts und der baryzentrischen Koordinaten xb, yb des umschriebenen Rechtecks (d. h. des Schwerpunkts 102 des in 14 gezeigten umschriebenen Rechtecks). Merke, dass die Formmerkmalswerte des binären Objekts unter Verwendung der Länge D(m) einer Basislinie der Kamera, der Brennweite f(m) der Kamera, des Pixelabstands p (m/Pixel) und des Parallaxenbetrags Δd (Pixel) der unter Verwendung der Korrelationsübereinstimmung der rechten und linken Bilder berechnet ist, berechnet werden.
Da insbesondere die Rate zwischen dem umschriebenen Rechteck und der Oberflächenausdehnung des Objekts ausgedrückt werden kann als: Rate = S/(hb × wb) (1)kann der Aspekt (Asp) des umschriebenen Quadrats, der das Verhältnis der Länge zur Breite des umschriebenen Rechtecks angibt, ausgedrückt werden als: Asp = hb/wb (2)und der Abstand z zwischen dem Fahrzeug 10 und dem Objekt kann ausgedrückt werden als: z = (f × D)/(Δd × p) (3)wobei die Breite ΔWb und die Höhe ΔHb des binären Objekts in dem realen Raum berechnet werden können als: ΔWb = wb × z × p/f ΔHb = hb × z × p/f (4)die baryzentrischen Koordinaten (Xc, Yc, Zc) des binären Objekts berechnet werden können als: Xc = xc × z × p/f Yc = yc × z × p/f Zc = z (5)die baryzentrischen Koordinaten (Xb, Yb, Zb) des umschriebenen Rechtecks für das binäre Objekt berechnet werden können als: Xb = xb × z × p/f Yb = yb × z × p/f Zb = z (6) und die oberen Endpositionskoordinaten (Xt, Yt, Zt) des binären Objekts berechnet werden können als: Xt = xb × z × p/f Yt = yb × z × p/f – ΔHb/2 Zt = z (7).
Dann wird die Höhe des Objekts in dem Graustufenbild, das das in Schritt S7 extrahierte binäre Objekt enthält, mittels des in Schritt S3 erhaltenen Graustufenbilds erhalten, in dem in 3 gezeigten Flussdiagramm (Schritt S42). Die Höhe des Objekts in dem Graustufenbild kann erhalten werden durch Setzen einer Mehrzahl von Maskenflächen vorbestimmter Größe auf das Graustufenbild von dem Oberende des umschriebenen Rechtecks für das binäre Objekt, Extrahieren einer die Maskenfläche enthaltenden Fläche als eine Fläche für das Graustufenbild, indem die Luminanzänderung in der Maskenfläche groß ist (d. h. die Maskenfläche enthält das Objekt und das Hintergrundbild), der Korrelationsgrad zwischen den Maskenflächen des rechtsseitigen und des linksseitigen Bilds hoch ist (d. h. es befinden sich nicht mehr als zwei Objekte in der Maskenfläche), und der Abstand der gleiche ist wie das binäre Objekt (d. h. dieselbe Parallaxe), und Berechnen der Höhe (Pixel) (ausgedrückt als "Höhe" in der folgenden Formel (8)) der Fläche für das Graustufenobjekt in dem Bild, um die Höhe ΔHg des Graustufenobjekts zu erhalten, mittels der Formel (8): ΔHg = z × Höhe × p/f (8)
Auch werden, wie in 15 gezeigt, die Maskenflächen FLÄCHE1, FLÄCHE2 und FLÄCHE3 in die Fläche des Graustufenobjekts FLÄCHE0 in das Bild gelegt, um den mittleren Luminanzwert und die Änderung (Streuung) der Luminanz in jeder Maskenfläche zu berechnen (Schritt S43). Hier wird der mittlere Luminanzwert von FLÄCHE1 ausgedrückt als Ave_A1, und die Streuung in der Luminanz von FLÄCHE2 und FLÄCHE3 wird ausgedrückt als Ave A2 bzw. Ave A3. Merke, dass in dem folgenden Prozess die FLÄCHE1 für die Bestimmung des Vorhandenseins eines Kopfbereichs des Objekts verwendet wird, die FLÄCHE2 für die Bestimmung des Vorhandenseins eines Körperbereichs des Objekts verwendet wird und die FLÄCHE3 für die Bestimmung des Vorhandenseins einer Formänderung von dem Kopfbereich zu der unteren Hälfte des Körperbereichs verwendet wird. Die FLÄCHE3 wird auch dann benutzt, wenn ein Teil eines Objekts, das ein wärmehaltiges Objekt ist, das von selbst keine Wärme erzeugt, jedoch Wärme zurückhält, die von außen her eingewirkt hat, wie etwa eine Wand, und eine einfache Luminanzänderung zeigt, durch den binären Prozess extrahiert wird, um das Objekt von dem Fußgänger zu unterscheiden. Merke, dass 15 ein Diagramm zum schematischen Zeigen eines Fußgängers ist, der von einer Kamera aufgenommen ist. In 15 bezeichnet die schattierte Fläche einen durch den binären Prozess aufgenommenen Bereich des Objekts, und die durch gepunktete Linien umgebenen Flächen bezeichnen Bereiche des Objekts, deren Vorhandensein durch das Graustufenbild in Bezug auf den Hintergrund bestätigt werden kann, obwohl es durch den Binärprozess noch nicht entdeckt worden ist. Auch ist die Größe jedes in 15 gezeigten Bereichs ein Größenbeispiel des Bereichs in dem realen Raum.
Nachfolgend wird eine Fußgängerbestimmung gemäß der Form des binären Objekts und die Luminanzstreuung in jeder Maskenfläche in dem Graustufenbild spezifischer gemäß den Flussdiagrammen erläutert, die in den 8 bis 13 gezeigt sind.
Zuerst bestimmt eine Bildverarbeitungseinheit 1, ob eine Höhe, Breite, eine existierende Höhe, eine durchschnittliche Luminanz und eine Luminanzstreuung des binären Objekts innerhalb eines adäquaten Bereichs für einen Fußgänger liegen oder nicht.
Insbesondere ist ein Objekt ein Fußgänger; somit bestimmt die Bildverarbeitungseinheit 1, ob eine Breite ΔWb als binäres Objekt in einem Schwellenwertbereich TH1 und TH2 liegt oder nicht (einem adäquaten Wert für die Breite eines Fußgängers) (Schritt S44).
Wenn in Schritt S44 bestimmt wird, dass der Schwellenwert TH der Breite ΔWb des binären Objekts in dem Bereich von (TH1 ≤ ΔWb ≤ TH2) liegt (d. h. "JA" in Schritt S44), wird bestimmt, ob eine Höhe ΔHb des binären Objekts kleiner als ein Schwellenwert TH3 ist oder nicht (ein adäquater Wert für die Größe eines Fußgängers), und ob eine Höhe ΔHg des Graustufenobjekts geringer als ein Schwellenwert TH4 ist oder nicht (ein adäquater Wert für eine Größe des Fußgängers) (Schritt S45).
Wenn in Schritt S45 bestimmt wird, dass die Höhe ΔHb des binären Objekts kleiner als der Schwellenwert TH3 ist und dass die Höhe ΔHg des Graustufenobjekts kleiner als der Schwellenwert TH4 ist (d. h. "JA" in Schritt S45), wird bestimmt, ob die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche her kleiner als der Schwellenwert TH5 ist (d. h. in dem Bereich, der für die Größe eines Fußgängers angemessen ist) in Schritt S46.
Auch wenn in Schritt S46 die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche kleiner als der Schwellenwert TH5 ist (d. h. "JA" in Schritt S46), wird bestimmt, ob die Luminanzstreuung Var_A3 der Maskenfläche FLÄCHE3 größer als der Schwellenwert TH6 ist oder nicht (in Schritt S47). Dieser Prozess wird in Bezug auf die 16A bis 16C erläutert, die die Luminanzstreuung in der Maskenfläche FLÄCHE3 für den Fall zeigen, wo das Objekt ein Teil oder die Gesamtheit eines Fußgängers ist, oder eine Wand.
Wenn, wie in 16a gezeigt, nur ein Kopfbereich eines Fußgängers durch den binären Prozess anhand der Breite der Maskenfläche FLÄCHE3 als der Breite des binären Objekts extrahiert wird, wird eine Differenz im Luminanzgrad zwischen dem Kopfbereich und der unteren Hälfte des Körperbereichs hervorgerufen. Auch wenn, wie in 16B gezeigt, der gesamte Körper oder zumindest die obere Hälfte des Körpers eines Fußgängers mittels der binä ren Schwellenwertmethode extrahiert wird, wird zwischen dem Körperbereich des Fußgängers und dem Hintergrund eine Differenz im Luminanzgrad erzeugt. Andererseits ist, wie in 16c gezeigt, für das Objekt, in dem die Temperaturdifferenz über alle Teile der Objekte gering ist, wie etwa eine Wand, die Differenz im Luminanzgrad auch zwischen den durch den Binärprozess extrahierten Bereichen klein, und die Bereiche werden durch den binären Prozess nicht extrahiert. Darüber hinaus wird das Objekt durch gerade Linienabschnitte gebildet, wie in FLÄCHE3. Aus diesem Grund ist die Luminanzstreuung Var_A3 in der FLÄCHE3 für einen Fußgänger hoch und für ein Objekt, wie etwa eine Wand, gering.
Dementsprechend wird in Schritt S47 bestimmt, ob das Objekt ein Fußgänger ist, indem bestimmt wird, ob die Luminanzstreuung Var_A3 der Maskenfläche FLÄCHE3 größer als der Schwellenwert TH6 ist.
Auch wenn in Schritt S47 die Luminanzstreuung Var_A3 der Maskenfläche FLÄCHE3 größer als der Schwellenwert TH6 ist (d. h. "JA" in Schritt S47), wird der Fußgängerbestimmungsprozess auf der Basis der Formänderung des Objekts über die Zeit ausgeführt.
Insbesondere, da das Objekt ein binäres Bild eines Fußgängers ist, wird berücksichtigt, dass sich die Form des binären Bilds über die Zeit nicht signifikant ändert. Aus diesem Grund wird bestimmt, ob die Differenz zwischen dem Maximalwert Max Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis der Oberflächenausdehnung zwischen dem umschriebenen Rechteck und dem Binärbild innerhalb einer gewissen Zeitperiode angibt, kleiner als der Schwellenwert TH7 ist (in Schritt S48).
Auch wenn in Schritt S48 die Differenz zwischen dem Maximalwert Max Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis der Oberflächenausdehnung zwischen dem umschriebenen Rechteck und dem binären Objekt innerhalb einer gewissen Zeitperiode angibt, kleiner als der Schwellenwert TH7 ist (d. h. "JA" in Schritt S48), wird im nächsten Schritt be stimmt, ob eine Fläche existiert oder nicht, die mutmaßlich einem Kopf des Fußgängers in einem Objekt entspricht, das in einer Fläche FLÄCHE0 aufgenommen wird (Schritt S48-1).
Wenn ferner in Schritt S48-1 eine Fläche existiert, die mutmaßlich dem Kopf des Fußgängers in einem Objekt entspricht, das in der FLÄCHE0 aufgenommen ist (d. h. "JA" in Schritt S48-1), wird im nächsten Schritt bestimmt, ob eine Fläche existiert oder nicht, die darauf schließen lässt, dass sie den Schultern und Armen des Fußgängers in dem Objekt entspricht, das in der Fläche FLÄCHE0 aufgenommen ist (Schritt S48-2).
Hier werden Details für ein Verfahren später erläutert (Schritt S48-1 und Schritt S48-2), um zu bestimmen, ob eine Fläche, von der geschlossen wird, dass sie zumindest einem Kopf, Schultern und Armen des Fußgängers in dem in der Fläche FLÄCHE0 aufgenommenen Objekt entspricht, existiert oder nicht.
Andererseits wird in einem der folgenden Fälle, in dem in Schritt S44 eine Breite ΔWb des binären Objekts kleiner ist als der Schwellenwert TH1 oder größer als der Schwellenwert TH2 (d. h. "NEIN" in Schritt S44), oder in Schritt S45 die Höhe ΔHb des binären Objekts gleich oder größer als der Schwellenwert TH3 ist, oder wenn ferner eine Höhe ΔHg des Graustufenobjekts gleich oder größer als der Schwellenwert TH4 ist (d. h. "NEIN" in Schritt S45), in Schritt S46 die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche gleich oder größer als der Schwellenwert TH5 ist (d. h. "NEIN" in Schritt S46), oder in Schritt S47 eine Luminanzstreuung in der Maskenfläche FLÄCHE3 gleich oder kleiner als der Schwellenwert TH6 ist (d. h. "NEIN" in Schritt S47), ein Prozess zur Bestimmung eines Fußgängers abgeschlossen, durch die Bestimmung, dass das in der Fläche FLÄCHE0 eingeschlossene Objekt kein Fußgänger ist (Schritt S49); somit geht der Prozess zum in 5 gezeigten Schritt S37 weiter, weil gemäß dem "NEIN" im in 5 gezeigten Schritt S34 bestimmt wird, dass für das Objekt kein Alarm ausgegeben werden sollte.
Ähnlich wird in einem der folgenden Fälle, in denen in Schritt S48 die Differenz zwischen dem Maximalwert Max Rate und dem Minimalwert Min Rate der Rate, die das Verhältnis der Oberflächenausdehnung zwischen dem umschriebenen Rechteck und dem binären Bild einer gewissen Zeitperiode angibt, gleich oder größer als der Schwellenwert TH7 ist (d. h. "NEIN" in Schritt S48), oder in Schritt S48-1 keine Fläche existiert, aus der geschlossen wird, dass sie einem Kopf des Fußgängers eines Objekts entspricht, das in der Fläche FLÄCHE0 eingeschlossen ist (d. h. "NEIN" in Schritt S48-1), oder in Schritt S48-2 keine Fläche existiert, aus der geschlossen wird, dass sie den Schultern und Armen des Fußgängers in dem Objekt entspricht, das in der Fläche FLÄCHE0 eingeschlossen ist (d. h. "NEIN in Schritt S48-2), wird ein Prozess zum Bestimmen eines Fußgängers durch die Bestimmung abgeschlossen, dass das Objekt, das in der Fläche FLÄCHE0 eingeschlossen ist, kein Fußgänger ist (Schritt S49); somit geht der Prozess zu einem in 5 gezeigten Schritt S37 weiter, weil in dem in 5 gezeigten Schritt S34 "NEIN" bestimmt wird, so dass auf das Objekt kein Alarm ausgegeben werden soll.
Auch wenn in Schritt S48-2 eine Fläche, aus der geschlossen wird, dass sie den Schultern und Armen des Fußgängers entspricht, in dem Objekt existiert, das in der Fläche FLÄCHE0 eingeschlossen ist (d. h. "JA" in Schritt S48-2), dann führt im nächsten Schritt die Bildverarbeitungseinheit 1 den Fußgängerbestimmungsprozess für die Form jedes extrahierten Objekts im weiteren Detail aus.
Insbesondere wird bestimmt, ob die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche größer als der Schwellenwert TH8 ist (der ein angemessener Wert für die Höhenunterscheidung der Oberhälfte von der Unterhälfte des Körpers eines Fußgängers ist) (in Schritt S50).
Wenn in Schritt S50 die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche gleich oder kleiner als der Schwellenwert TH8 ist (d. h. "NEIN" in Schritt S51), geht der Prozess zu Schritt S51 weiter, der im Flussdiagramm in 9 gezeigt ist. In Schritt S51 wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist (der ein angemessener Wert für die Breite des Körpers eines Fußgängers ist), um zu bestimmen, ob es sich um eine untere Körperhälfte eines Fußgängers oder einen sitzenden Fußgänger handelt.
9 ist ein Flussdiagramm mit Darstellung der Prozedur zur Unterscheidung eines Fußgängers, dessen untere Körperhälfte durch den Binärprozess extrahiert wird, oder der sitzt. Wenn in Schritt S51 des Flussdiagramms die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist (d. h. "JA" in Schritt S51), wird bestimmt, ob die Höhe ΔHg des Graustufenobjekts kleiner als der Schwellenwert TH10 ist oder nicht, der ein angemessener Wert für die Höhe eines Fußgängers ist, um zu bestimmen, ob das Objekt ein sitzender Fußgänger ist (in Schritt S52).
Wenn in Schritt S52 die Höhe ΔHg des Graustufenobjekts gleich oder größer als der Schwellenwert TH10 ist (d. h. "NEIN" in Schritt S52), wird angenommen, das das Objekt den Körper oder der unteren Körperhälfte eines Fußgängers entspricht. Um dann zu bestimmen, ob sich ein Kopfbereich oberhalb des Objekts befindet, wird bestimmt, ob der mittlere Luminanzwert Ave_A1 der in 15 gezeigten Maskenfläche FLÄCHE1 größer als der Schwellenwert TH11 ist (in Schritt S53).
Wenn in Schritt S53 bestimmt wird, dass der mittlere Luminanzwert Ave_A1 der Maskenfläche FLÄCHE1 größer als der Schwellenwert TH11 ist (d. h. "JA" in Schritt S53), wird bestimmt, ob die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 größer als der Schwellenwert TH18 ist, unter der Annahme, dass die Fläche FLÄCHE2 ein Luminanzmuster in dem Graustufenbild hat, da der Körperabschnitt Teile enthält, aus denen aufgrund der Wirkungen getragener Kleidung Wärme nicht leicht abgegeben wird (in Schritt S53-1).
Wenn in Schritt S53-1 die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 größer als der Schwellenwert TH18 ist (d. h. "JA" in Schritt S53-1), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) ein Fußgänger ist (in Schritt S54), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S35 in 5 weiter (über "JA" in Schritt S34), um den Künstliche-Struktur-Bestimmungsprozess auszuführen.
Wenn andererseits bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH9 ist (d. h. "NEIN" in Schritt S51), oder wenn in Schritt S53 der mittlere Luminanzwert Ave_A1 der Maskenfläche FLÄCHE1 gleich oder kleiner als der Schwellenwert TH11 ist (d. h. "NEIN" in Schritt S53), oder wenn in Schritt S53-1 die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 gleich oder kleiner als der Schwellenwert TH18 ist (d. h. "NEIN" in Schritt S53-1), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S55), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S37 in 5 weiter (über "NEIN" in Schritt S34), um zu bestimmen, dass das Objekt kein Objekt ist, das eine Alarmausgabe erfordert.
Auch wenn in Schritt S52 bestimmt wird, dass die Höhe ΔHg des Graustufenobjekts kleiner als der Schwellenwert TH10 ist (d. h. "JA" in Schritt S52), ist das Objekt vermutlich ein sitzender Fußgänger, und es wird bestimmt, ob die Höhenposition Yt des Oberendes des binären Objekts von der Straßenoberfläche größer als der Schwellenwert TH12 ist (d. h. ein angemessener Wert für die Höhenunterscheidung eines sitzenden Fußgängers von einem stehenden Fußgänger) (in Schritt S56).
Wenn in Schritt S56 die Höhenposition Yt des Oberendes des binären Objekts von der Straßenoberfläche größer als der Schwellenwert TH12 ist (d. h. "JA" in Schritt S56), wird in Schritt S57 bestimmt, ob das Asp, welches das Aspektverhältnis (d. h. das Verhältnis von Länge zu Breite) des umschriebe nen Rechtecks bzw. Quadrats für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. ein angemessener Wert für einen Fußgänger).
Wenn in Schritt S57 der Wert von Asp, der das Aspektverhältnis eines umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. "JA" in Schritt S57), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt des umschriebenen Rechtecks 102 und dem Schwerpunkt G100 des binären Objekts in dem realen Raum, der gemäß der folgenden Gleichung (9) ausgedrückt werden kann, kleiner als der Schwellenwert TH15 ist, d. h. ein angemessener Wert für einen Fußgänger (in Schritt S58). Dis_c = SQRT ((Xb – Xc)2 + (Yb – Yc)2) (9)
Wenn in Schritt S58 der Abstand Dis_c kleiner als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S58), wird bestimmt, ob sich ein Bereich, der eine hohe Korrelation zu vorbestimmten Mustern eines Kopfbereichs hat, in der Maskenfläche FLÄCHE1 des binären Objekts befindet, da andere Objekte als ein Fußgänger, wie etwa ein Frontabschnitt eines Fahrzeugs, in Objekten enthalten sein können, worin z. B. das ΔWb 1,0 m oder kleiner ist und das ΔHg kleiner als 1,0 m ist (in Schritt S59).
Wenn sich in Schritt S59 ein Bereich, der einen hohen Korrelationsgrad zu vorregistrierten Mustern eines Kopfbereichs hat, in der Maskenfläche FLÄCHE1 des binären Objekts befindet (d. h. "JA" in Schritt S59), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) ein Fußgänger ist (in Schritt S54), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S35 in 5 (über "JA" in Schritt S34) weiter, um den Künstliche-Struktur-Bestimmungsprozess auszuführen.
Wenn andererseits in Schritt S56 bestimmt wird, dass die Höhenposition Yt des Oberendes des binären Objekts von der Straßenoberfläche gleich oder kleiner als der Schwellenwert TH12 ist (d. h. "NEIN" in Schritt S56), oder wenn in Schritt S57 der Wert von Asp, der das Aspektverhältnis eines umschriebenen Rechtecks bzw. Quadrats für das binäre Objekt ausdrückt, kleiner als der Schwellenwert TH13 oder größer als der Schwellenwert TH14 ist (d. h. "NEIN" in Schritt S57), oder wenn in Schritt S58 der Abstand Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S58), oder wenn sich in Schritt S59 ein Bereich, der einen hohen Korrelationsgrad zu vorregistrierten Mustern eines Kopfbereichs aufweist, nicht in der Maskenfläche FLÄCHE1 des binären Objekts befindet (d. h. "NEIN" in Schritt S59), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S55), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S37 in 5 (über "NEIN" in Schritt S34) weiter, und es wird bestimmt, dass das Objekt kein Objekt ist, welches das Ertönen eines Alarms erfordert.
Auch wenn in Schritt S50 in 8 bestimmt wird, dass die Höhenposition Yt des Oberendes des Objekts von der Straßenoberfläche größer als der Schwellenwert TH8 ist, d. h. ein angemessener Wert für die Höhenunterscheidung der Oberhälfte von der Unterhälfte des Körpers eines Fußgängers (d. h. "JA" in Schritt S50), geht der Prozess zum in 10 gezeigten Schritt S60 weiter, und es wird in Schritt S60 bestimmt, ob die Höhe ΔHg des Graustufenobjekts größer als der Schwellenwert TH16 ist oder nicht, der der gleiche Wert wie der oben erwähnten Schwellenwert TH8 ist, um zu bestimmen, ob das Objekt ein in der Luft befindlicher Gegenstand ist oder nicht (z. B. ein gekrümmter Spiegel).
10 ist ein Flussdiagramm mit Darstellung einer Prozedur zur Unterscheidung eines Fußgängers, dessen Kopfbereich oder obere Körperhälfte durch das binäre Schwellenwertverfahren extrahiert worden ist. Wenn in Schritt S60 die Höhe ΔHg des Graustufenobjekts größer als der Schwellenwert TH16 ist (d. h. "JA" in Schritt S60), wird bestimmt, dass das Objekt kein in der Luft befindlicher Gegenstand ist. Dann wird bestimmt, ob ein Kopfbereich an dem Oberbereich in der Objektfläche (d. h. FLÄCHE0), vorhanden ist oder ob ein Körperbereich vorhanden ist. Insbesondere wird bestimmt, ob der mittlere Luminanzwert Ave_A1 der Maskenfläche FLÄCHE1 größer als der Schwellenwert TH17 ist, da der Kopfbereich nach außen freiliegt (in Schritt S61).
Wenn in Schritt S61 bestimmt wird, dass der mittlere Luminanzwert Ave_A1 der Maskenfläche FLÄCHE1 größer als der Schwellenwert TH17 ist (d. h. "JA" in Schritt S61), wird bestimmt, ob die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 größer als der Schwellenwert TH18 ist, unter der Berücksichtigung, dass die FLÄCHE2 ein Luminanzmuster in dem Graustufenbild hat, da der Körperbereich Teile enthält, von denen wegen der Effekte getragener Kleidung Wärme nicht leicht abgegeben wird (in Schritt S62).
Auch wenn in Schritt S62 bestimmt wird, dass die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 größer als der Schwellenwert TH18 ist (d. h. "JA" in Schritt S62), wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH19 ist, der ein angemessener Wert für die Breite zum Unterscheiden eines Kopfsbereichs oder einer oberen Körperhälfte eines Fußgängers ist, um zu bestimmen, ob es sich um einen Fußgänger handelt, dessen Kopfbereich oder obere Körperhälfte mittels des binären Prozesses extrahiert worden ist (in Schritt S63).
Wenn dann in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH19 ist (d. h. "NEIN" in Schritt S63), wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist, der ein angemessener Wert für die Breite eines Körpers eines Fußgängers ist, um zu bestimmen, ob es sich um einen Fußgänger handelt, dessen gesamter Körper oder zumindest obere Körperhälfte durch den binären Prozess extrahiert worden ist (in Schritt S64).
Wenn darüber hinaus in Schritt S64 die Breite ΔWb des binären Objekts größer als der Schwellenwert TH9 ist (d. h. "NEIN" in Schritt S64), wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH2 ist, der ein angemessener Wert für die Breite eines Körpers eines Fußgängers ist, um zu bestimmen, ob mehrere Fußgänger parallel gehen (in Schritt S65).
Wenn ferner in den oben erwähnten Bestimmungsprozessen, in Schritt S60, die Höhe ΔHg des Graustufenobjekts gleich oder kleiner als der Schwellenwert TH16 ist (d. h. "NEIN" in Schritt S60), oder wenn in Schritt S61 bestimmt wird, dass der mittlere Luminanzwert Ave_A1 der Maskenfläche FLÄCHE1 gleich oder kleiner als der Schwellenwert TH17 ist (d. h. "NEIN" in Schritt S61), oder wenn in Schritt S62 bestimmt wird, dass die Luminanzstreuung Var_A2 der Maskenfläche FLÄCHE2 gleich oder kleiner als der Schwellenwert TH18 ist (d. h. "NEIN" in Schritt S62), oder wenn in Schritt S65 bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH2 ist (d. h. "NEIN" in Schritt S65), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S66), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zum in 5 gezeigten Schritt S37 (über "NEIN" in Schritt S34) weiter, und es wird bestimmt, dass das Objekt kein Objekt ist, welches das Ertönen eines Alarms erfordert.
Wenn andererseits in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH19 ist (d. h. "JA" in Schritt S63), wird bestimmt, dass das Objekt ein Fußgänger ist, dessen Kopfbereich oder obere Körperhälfte durch den binären Prozess extrahiert worden ist, und der Prozess geht zu Schritt S67 in dem in 11 gezeigten Flussdiagramm weiter. in Schritt S67 wird bestimmt, ob der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH20 ist und gleich oder kleiner als der Schwellenwert TH21 ist, d. h. ein angemessener Wert für einen Kopfbereich oder den oberen halben Bereich eines Fußgängers.
11 ist ein Flussdiagramm mit Darstellung einer Prozedur zur Unterscheidung eines Fußgängers, dessen Kopfbereich oder obere Körperhälfte mittels des binären Prozesses extrahiert worden ist. Wenn in Schritt S67 der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH20 ist und gleich oder kleiner als der Schwellenwert TH21 ist (d. h. "JA" in Schritt S67), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt in dem oben erwähnten umschriebenen Rechteck 102 und dem Schwerpunkt G100 in dem binären Objekt in dem realen Raum kleiner als der Schwellenwert TH15 ist (in Schritt S68).
Wenn in Schritt S68 bestimmt wird, dass der Abstand Dis_c kleiner als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S68), wird gewertet, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) ein Fußgänger ist (in Schritt S69), un der Fußgängerbestimmungsprozess wird beendet. Dann geht de Prozess zum in 5 gezeigten Schritt S35 (über "JA" in Schritt S34) weiter, um den Künstliche-Struktur-Bestimmungsprozess auszuführen.
Wenn andererseits der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, kleiner als der Schwellenwert TH20 ist oder größer als der Schwellenwert TH21 ist (d. h. "NEIN" in Schritt S67), oder wenn in Schritt S68 bestimmt wird, dass der Abstand Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S68), wird gewertet, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S70), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zum in 5 gezeigten Schritt S37 (über "NEIN" in Schritt S34) weiter, und es wird bestimmt, dass das Objekt kein Objekt ist, welches das Ertönen eines Alarms erfordert.
Auch wenn in Schritt S64 in 10 die Breite ΔWb des binären Objekts gleich oder größer als der Schwellenwert TH9 in Schritt S64 ist (d. h. "JA" in Schritt S64), wird bestimmt, dass das Objekt ein Fußgänger ist, dessen Kopfbereich oder obere Körperhälfte durch den binären Prozess extrahiert worden ist, und der Prozess geht zu Schritt S71 im in 12 gezeigten Flussdiagramm weiter. In Schritt S71 wird bestimmt, ob der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 ist und gleich oder kleiner als der Schwellenwert TH21 ist, d. h., ob der Wert für die Gesamtheit oder obere Hälfte des Körpers eines Fußgängers angemessen ist.
12 ist ein Flussdiagramm mit Darstellung einer Prozedur zur Unterscheidung eines Fußgängers, dessen Kopfbereich oder obere Körperhälfte mittels des binären Prozesses extrahiert worden ist. Wenn in Schritt S71 der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 ist und gleich oder kleiner als der Schwellenwert TH21 ist (d. h. "JA" in Schritt S71), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt des oben erwähnten umschriebenen Rechtecks 102 und dem Schwerpunkt G100 in dem binären Objekt in dem realen Raum kleiner als der Schwellenwert TH15 ist (in Schritt S72).
Wenn in Schritt S72 bestimmt wird, dass der Abstand Dis_c kleiner als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S72), wird bestimmt, ob sich ein Bereich, der eine hohe Korrelation mit vorregistrierten Mustern eines Kopfbereichs hat, in der Maskenfläche FLÄCHE1 des binären Objekts befindet, da andere Objekte als ein Fußgänger, wie etwa ein Frontbereich eines Fahrzeugs, unter diesen Objekten enthalten sein können (in Schritt S73).
Wenn in Schritt S73 ein Bereich, der einen hohen Korrelationsgrad mit vorregistrierten Mustern eines Kopfbereichs aufweist, sich in der Maskenfläche FLÄCHE1 des binären Objekts befindet (d. h. "JA" in Schritt S73), wird gewertet, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) ein Fußgänger ist (in Schritt S74), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S35 in 5 (über "JA" in Schritt S34) weiter, um den Künstliche-Struktur-Bestimmungsprozess auszuführen.
Wenn andererseits bestimmt wird, dass der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, kleiner als der Schwellenwert TH13 ist oder größer als der Schwellenwert TH21 ist (d. h. "NEIN" in Schritt S71), oder wenn in Schritt S72 bestimmt wird, dass der Abstand Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S72), oder wenn in Schritt S73 ein Bereich, der einen hohen Korrelationsgrad mit vorregistrierten Mustern eines Kopfbereichs aufweist, sich nicht in der Maskenfläche FLÄCHE1 des binären Objekts befindet (d. h. "NEIN" in Schritt S73), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S74), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zu Schritt S37 in 5 (über "NEIN" in Schritt S34) weiter, um zu bestimmen, dass das Objekt kein Objekt ist, welches das Ertönen eines Alarms erfordert.
Auch wenn in Schritt S65 des in 10 gezeigten Flussdiagramms bestimmt wird, dass die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH2 ist (d. h. "JA" in Schritt S65), wird gewertet, dass eine große Hintergrundfläche in dem umschriebenen Rechteck für das Objekt enthalten ist, da das Objekt mehrere parallel gehende Fußgänger enthält. Der Prozess geht zu Schritt S76 in 13 weiter, um zu bestimmen, ob der Wert von RATE, der das Verhältnis der Oberflächenausdehnung des umschriebenen Rechtecks zu jener des binären Bilds innerhalb einer bestimmten Zeitperiode ist, kleiner als der Schwellenwert TH22 ist (in Schritt S76).
13 ist ein Flussdiagramm mit Darstellung einer Prozedur für den Fall, wo das Objekt eine Mehrzahl parallel gehender Fußgänger ist. Wenn in Schritt S76 bestimmt wird, dass der Wert von RATE, der das Verhältnis der Oberflächenausdehnung des umschriebenen Rechtecks zu jener des binären Bilds innerhalb einer bestimmten Zeitperiode ist, kleiner als der Schwellenwert TH22 ist (d. h. "JA" in Schritt S76), wird bestimmt, dass der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH23 ist und gleich oder kleiner als der Schwellenwert TH14 ist, d. h. ein angemessener Wert zur Bestimmung parallel gehender Fußgänger (in Schritt S77).
Wenn in Schritt S77 der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH23 ist und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. "JA" in Schritt S77), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt des oben erwähnten umschriebenen Rechtecks 102 und dem Schwerpunkt G100 des binären Objekts in dem realen Raum kleiner als der Schwellenwert TH15 ist (in Schritt S78).
Wenn in Schritt S78 bestimmt wird, dass der Abstand Dis_c kleiner als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S78), wird bestimmt, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) ein Fußgänger ist (in Schritt S79), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zum in 5 gezeigten Schritt S35 (über "JA" in Schritt S34) weiter, um den Künstliche-Struktur-Bestimmungsprozess auszuführen.
Wenn andererseits in Schritt S76 bestimmt wird, dass der Wert von RATE, der das Verhältnis der Oberflächenausdehnung des umschriebenen Rechtecks zu jener des binären Bilds innerhalb einer gewissen Zeitperiode ist, gleich oder größer als der Schwellenwert TH22 in Schritt S76 ist (d. h. "NEIN" in Schritt S76), oder wenn in Schritt S77 bestimmt wird, dass der Wert von Asp, der das Aspektverhältnis des umschriebenen Rechtecks für das binäre Objekt ausdsrückt, kleiner als der Schwellenwert TH23 ist oder größer als der Schwellenwert TH14 ist (d. h. "NEIN" in Schritt S77), oder wenn in Schritt S78 bestimmt wird, dass der Abstand Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S78), wird gewertet, dass das erfasste Objekt (oder das in der Fläche FLÄCHE0 aufgenommene Objekt) kein Fußgänger ist (in Schritt S80), und der Fußgängerbestimmungsprozess wird beendet. Dann geht der Prozess zum in 5 gezeigten Schritt S37 (über "NEIN" in Schritt S34) weiter, um zu bestimmen, dass das Objekt kein Objekt ist, das das Ertönen eines Alarms erfordert.
Als Nächstes wird ein Verfahren zur Bestimmung der Fußgängerform, das in den Schritten S48-1 und S48-2 in 8 gezeigt ist, in Bezug auf die 17 bis 20 erläutert. Insbesondere ein Verfahren zur Bestimmung, ob sich ein Kopf und eine Fläche, aus der geschlossen wird, dass sie den Schultern und den Armen des Fußgängers entsprechen, in dem Objekt existieren, das in einer Fläche FLÄCHE0 aufgenommen ist. 17 ist ein Fußgänger zur Erläuterung des Fußgängerformbestimmungsprozesses (Bestimmungsprozess für einen Kopf und einen Schulterabschnitt) in der Ausführung der vorliegenden Erfindung.
In 17 ist erfasst, ob ein Kopf des Fußgängers existiert oder nicht, unter Verwendung eines Merkmals in der Luminanz in jeder Fläche in dem Bild, so dass der Kopf des Fußgängers einen höheren Luminanzkontrast hat als der Luminanzkontrast im Hintergrund an beiden Seiten des Kopfes. Das heißt, wie in den 18A und 18B gezeigt, dass eine Projektionsfläche FLÄCHE4 in einer "xh[m]" bezeichneten Fläche als realer Raum in einem oberen Bereich einer Objektfläche FLACHE0, die als Graustufenbild extrahiert wird, etabliert wird (Schritt S91). Danach wird eine Luminanzprojektion (Verteilung einer integrierten Luminanz in einer horizontalen Richtung, die durch Integrieren der Luminanz in jedem Pixel in einer vertikalen Richtung gebildet ist) in einer vertikalen Richtung berechnet (Schritt S92), um eine horizontale Richtungskoordinate xCC zu erfassen, die eine maximale Spitze angibt, in Bezug auf einen oberen linken Referenzpunkt O (Schritt S93).
Insbesondere hat die Projektion in der Projektionsfläche FLÄCHE4 ein Merkmal darin, dass sie darin eine Spitze aufweist, wie in 18B gezeigt. Eine horizontale Koordinate (die mit der unterbrochenen Linie Linie-P angegeben ist) in der Spitzenposition wird an einer tatsächlichen Projektionsfläche FLÄCHE4 berechnet, wie in 18A gezeigt. Dementsprechend wird die horizontale Richtungskoordinate xCC erfasst, die die maximale Spitze in Bezug auf den oberen linken Referenzpunkt O angibt. Hier sollte angemerkt werden, dass eine horizontale Koordinate für die unterbrochene Linie Linie-P, die die Spitze in 18B anzeigt, die gleiche Koordinate wie die horizontale Koordinate für eine unterbrochene Linie Linie_P angibt, die in 18A gezeigt ist.
Wie in 19A gezeigt, wird eine Referenzflächenmaske Maske_C in einer Fläche etabliert (Schritt S94), aus der geschlossen wird, dass sie einer Kopfposition des Fußgängers in Bezug auf die in Schritt S93 erfasste horizontale Richtungsposition xCC entspricht. Gleichzeitig werden Objektflächenmasken Maske_LT und Maske_RT für eine Objektfläche 1 etabliert (Schritt S95), aus denen geschlossen wird, dass sie einem Raum oberhalb der Schultern an beiden Seiten des Kopfs des Fußgängers entsprechen.
Hier sollte in 19A angemerkt werden, dass die Größen und Formen der Referenzflächenmaske Maske_C und der Objektflächenmaske Maske_LT und Maske_RT mit einem Rechteck bzw. Quadrat einer Kantenlänge angegeben wird, dessen Länge Maske_w ist, wie in 19B gezeigt. Hier sollte angemerkt werden, dass eine Länge Maske_W und eine Länge W_Raum durch ein projiziertes Bild angegeben sind, das eine bestimmte Größe in einem tatsächlichen Raum hat. Auch sind die Objektflächenmasken Maske_LT und Maske_RT derart angeordnet, dass sie von der Referenzflächenmaske Maske_C um eine Länge, wie etwa Maske_W/2, aufwärts verschoben sind, unter Berücksichtigung der Tatsache, dass in einem aufgenommenen Bild der Fußgänger in schräger Haltung betrachtet werden könnte, der nicht direkt zu einem Fahrzeug weist.
Hier besteht die Möglichkeit, die Objektflächenmaske innerhalb einer gewünschten Toleranz anzuordnen, derart, dass eine ungewünschte Positionierungsdifferenz aufgrund einer Auflösung in dem Bild zwischen einer tatsächlichen Position des Objekts und dem Objekt auf dem Bild verhindert werden könnte, indem die Objektflächenmasken Maske_LT und Maske_RT von der Referenzflächenmaske Maske_C aufwärts verschoben angeordnet werden. Auch lässt sich verhindern, dass ein Bild, das kein Objekt ist, in die Objektfläche eintritt.
Demzufolge werden eine durchschnittliche Luminanz Maske_C_ave für die Referenzflächenmaske und eine durchschnittliche Luminanz Maske_LT_ave und Maske_RT_ave für die Objektflächenmaske berechnet. Gleichzeitig wird bestimmt, ob der Kopf des Fußgängers existiert oder nicht (Schritt S96), gemäß der durchschnittlichen Luminanz in jeder berechneten Fläche.
Wenn in Schritt S96 der Kopf des Fußgängers nicht existiert (d. h. "NEIN" in Schritt S96), geht der Prozess zum in 8 gezeigten Schritt S49 weiter, weil dies identisch ist für einen Fall für "NEIN" im in 8 gezeigten Schritt S48-1. Somit wird bestimmt, dass das in der Fläche FLÄCHE0 aufgenommene Objekt kein Fußgänger ist (Schritt S49); somit wird der Fußgängerbestimmungsprozess abgeschlossen.
Auch wenn in dem Schritt S96 der Kopf des Fußgängers existiert (d. h. "JA" in Schritt S96), geht der Prozess zum nächsten Schritt S97 weiter.
Hier werden in Schritt S96 verschiedene Bedingungen geprüft, indem die Schwellenwerte, wie etwa TH24 und TH25, verglichen werden, die durch die folgenden Beziehungen (10) bis (12) angegeben sind. "Maske_C_ave" – "Maske_LT_ave" > TH24 (10) "Maske_C_ave" – "Maske_RT_ave" > TH24 (11) "Maske_C_ave" > TH25 (12)
Als Nächstes wird bestimmt, ob eine Fläche existiert oder nicht, die die Schultern und Arme des Fußgängers angibt, unter Berücksichtigung von Merkmalen der Luminanz in jeder Fläche (jedem Abschnitt) in dem Bild darin, dass die Fläche, die die Schultern und Arme des Fußgängers angibt, so existiert, dass sie von dem Kopf um angenähert den gleichen Abstand von der Position des Kopfes entfernt ist und der Luminanzkontrast der Schultern und ARme des Fußgängers sich von dem Luminanzkontrast im Hintergrund an beiden Seiten des Kopfs unterscheidet, der über den Schultern des Fußgängers angeordnet ist. Auf diese Weise ist es möglich, die Genauigkeit zur Erfassung des Fußgängers weiter zu verbessern. Insbesondere werden, wie in 19A gezeigt, andere Objektflächenmasken Maske_LU und Maske_RU, wie die Objektfläche 2, etabliert (Schritt S97), die den Schultern und Armen entsprechen, unter den Objektflächenmasken Maske_LT und Maske_RT, die an beiden Seiten des Kopfes des Fußgängers angeordnet sind, die zur Bestimmung eines Kopfs in Schritt S96 verwendet werden.
Die Form und der Abstand für die Fläche, die den Schultern und Armen des Fußgängers entsprechen, können variieren; daher wird die Relativität zwischen den Objektflächenmasken Maske_LT und Maske_RT und den anderen Objektflächenmasken Maske_LU und Maske_RU, die der Fläche entsprechen, die den Schultern und Armen entsprechen, geprüft; somit wird bestimmt, ob eine Fläche existiert oder nicht, die den Schultern und Armen des Fußgängers entspricht (Schritt S98).
Wenn in Schritt S98 die Fläche, die den Schultern und Armen des Fußgängers entspricht, nicht existiert (d. h. "NEIN" in Schritt S98), geht der Prozess zu Schritt S49 weiter, weil dies ein identischer Fall für "NEIN" im in 8 gezeigten Schritt S48-2 ist. In diesem Fall wird bestimmt, dass das Objekt, das in der Fläche FLÄCHE0 aufgenommen ist, kein Fußgänger ist (Schritt S49); somit wird der Fußgängerbestimmungsprozess abgeschlossen.
Auch wenn in Schritt S98 die Fläche, die den Schultern und Armen des Fußgängers entspricht, existiert (d. h. "JA" in Schritt S98), Hier sollte in Schritt S98 angemerkt werden, dass ein Relativitätsfehlerwert zwischen den Objektflächenmasken Maske_LT und den anderen Objektflächenmasken Maske_LU durch einen Fehler_L angegeben wird, um spezifisch das Merkmal der Luminanz in jeder Fläche (jedem Abschnitt) auf dem Bild zu vergleichen. Auch ist ein Relativitätsfehlerwert zwischen den Objektflächenmasken Maske_RT und den anderen Objektflächenmasken Maske_RU durch einen Fehler_R angegeben. Demzufolge wird der oben angegebene Schwellenwert TH26 mit dem obigen Relativitätsfehler verglichen. "Fehler_R" > TH26 (13) "Fehler_L" > TH26 (14)
Wenn alle obigen Bedingungen erfüllt sind, wird bestimmt, dass die Möglichkeit besteht, dass die Fläche, die den Schultern und Armen entspricht, existiert. Hier sollte angemerkt werden, dass ein Durchschnittsfehler für eine Summe der absoluten Differenz (nachfolgend SAD genannt) für den Relativitätsfehlerwert verwendet wird.
Als Nächstes werden, wie in 20 gezeigt, zwei Flächen, wie etwa Maske_L und Maske_R, als Objektfläche 3 (Schritt S99) unterhalb beider Seiten der Zielobjektfläche FLÄCHE0 etabliert, die als Graustufenbild extrahiert wird. Disparitäten für diese Flächen (tatsächliche Raumabstände) werden gemäß Stereobildern berechnet, die horizontal angeordnet sind. Hier sollte angemerkt werden, dass die projizierte Größe für W2_Raum und Maske_W1 eine bestimmte Größe in dem tatsächlichen Raum angeben.
Auch versteht es sich, dass der Abstand für einen gesamten Fußgänger gleich einem Abstand zu den Schultern und Armen ist. Wenn daher die Fläche, die den Schultern und Armen des Fußgängers entspricht, in einer solchen Fläche existiert, sollte es sich verstehen, dass der Abstand für einen gesamten Fußgänger gleich dem Abstand zu dieser Fläche ist.
Hier werden die berechneten Disparitäten als Maske_L_Disparität und Maske_R_Disparität etabliert. Auch wird die Disparität in der Objektfläche in dem Graustufenbild als Maske_Disparität etabliert. Wenn unter den obigen Bedingungen zwei Beziehungen (15) und (16), die unten angegeben sind, dem Schwellenwert TH27 genügen, wird bestimmt, dass das Objekt, in dem die Schultern und Arme existieren, einen Fußgänger angibt (Schritt S100). |"Maske_Disparität" – "Maske_L_Disparität"| < TH27 (15) |"Maske_Disparität" – "Maske_R_Disparität"| < TH27 (16)
Hier entspricht der obige Prozess von Schritt S91 zu Schritt S96 einem Verfahren zur Bestimmung einer Form des Fußgängers, wie im Schritt S48-1 in 8 gezeigt. Insbesondere entspricht der obige Prozess von Schritt S91 zu Schritt S96 einem Verfahren zum Bestimmen, ob eine Fläche, aus der geschlossen wird, dass sie dem Kopf des Fußgängers entspricht, in dem Objekt existiert oder nicht, das in der Fläche FLÄCHE0 aufgenommen ist. Auch entspricht der obige Prozess von Schritt S97 zu Schritt S100 einem Verfahren zur Bestimmung einer Form des Fußgängers, wie in Schritt S48-2 in 8 gezeigt. Insbesondere entspricht der obige Prozess von Schritt S97 zu Schritt S100 einem Verfahren zur Bestimmung, ob eine Fläche, von der geschlossen wird, dass sie dem Kopf des Fußgängers entspricht, in dem Objekt existiert, das in der Fläche FLÄCHE0 aufgenommen ist.
Hier umfasst in der Ausführung der vorliegenden Erfindung die Bildverarbeitungseinheit 1 eine Fußgänger-Kopfflächen-Berechnungseinheit, eine Fußgänger-Überschulterflächen-Berechnungseinheit, eine Fußgängerform-Erkennungseinheit sowie eine Fußgängerform-Erkennungseinheit. Insbesondere entsprechen die Schritte in 17 von S91 zu S94 einer Fußgänger-Kopfflächen-Berechnungseinheit. Der Schritt S95 in 17 entspricht einer Fußgänger-Überschulterflächen-Berechnungseinheit. Auch entsprechen die Schritte S97 und S99 in 17 der Fußgängerform-Erkennungseinheit. Die Schritte S96, S98 und S100 entsprechen der Fußgängerform- Erkennungseinheit.
Wie oben erläutert, wird in der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs gemäß der Ausführung der vorliegenden Erfindung ein Objekt wie etwa ein Fußgänger aus dem Graustufenbild extrahiert, das mit einer Infrarotstrahlenkamera aufgenommen ist, indem ein binärer Prozess durchgeführt wird. Danach wird eine Fläche, aus der geschlossen wird, dass sie dem Kopf des Fußgängers entspricht, als Referenzfläche auf dem Graustufenbild, das das binäre Objekt enthält, durch die Fußgänger-Kopfflächen-Berechnungseinheit etabliert. Anschließend etabliert eine Fußgänger-Überschulterflächen-Berechnungseinheit zwei Objektflächen, aus denen geschlossen wird, dass sie Räumen oberhalb der Schultern des Fußgängers an beiden Seiten oberhalb der Referenzfläche entsprechen.
Auf diese Weise erkennt die Fußgängerform-Erkennungseinheit eine Fläche, die dem Kopf und den Schultern des Fußgängers entspricht, in einem Bild, das von einer Infrarotstrahlenkamera aufgenommen ist, unter Berücksichtigung eines Merkmals darin, dass der Kopf des Fußgängers einen höheren Luminanzkontrast hat als der Luminanzkontrast im Hintergrund, der sich an beiden Seiten des Kopfs oberhalb der Schultern des Fußgängers befindet.
Ferner wird eine Objektfläche, aus der geschlossen wird, dass sie einer Fläche oberhalb der Schultern des Fußgängers entspricht, mit einer anderen Objektfläche, die durch die Fußgänger-Schulterflächen-Berechnungseinheit etabliert wird, um daraus zu schließen, dass sie den Schultern und Armen des Fußgängers entspricht, verglichen. Somit wird die Fläche, die den Schultern und den Armen des Fußgängers in einem Bild entspricht, das von einer Infrarotstrahlenkamera aufgenommen ist, gemäß einer Theorie erkannt, dass der Luminanzkontrast in den Schultern und Armen des Fußgängers sich von dem Luminanzkontrast im Hintergrund an beiden Seiten des Fußgängerkopfs oberhalb der Schultern unterscheidet.
Dementsprechend versteht es sich, dass ein Abstand für einen gesamten Fußgänger gleich einem Abstand zu den Schultern und Armen ist. Wenn daher unter der Bedingung, dass der Abstand für den gesamten Fußgänger und der Abstand zu den Schultern und Armen vergleichbar ist, eine Differenz zwischen den obigen Abständen kleiner als ein bestimmter Wert ist, kann die Fußgängerform-Erkennungseinheit erkennen, dass das binäre Objekt, das die Fläche enthält, die den Kopf und den Schultern des Fußgängers entspricht, und die Fläche, die den Schultern und Armen entspricht, einen Fußgänger bezeichnet.
Wenn demzufolge der Fußgänger in einem Bild aufgenommen wird, das von einer Infrarotstrahlenkamera in Schrägstellung aufgenommen wird, wird eine Fläche, die dem Kopf und den Schultern des Fußgängers entspricht, in denen ein auffallendes Merkmal des Fußgängers beobachtet werden kann, von dem Bild als das Objekt erfasst, durch Verwendung der zwei Objektflächen, die über der Referenzfläche angeordnet sind, so dass eine Fläche, die keine Zielfläche ist, nicht in die Objektfläche eintreten soll. Als Nächstes wird eine Fläche erfasst, die den Schultern und Armen entspricht, worin ein auffallendes Merkmal des Fußgängers beobachtet werden kann. Ferner wird bestätigt, dass ein Abstand von einer Fläche, die einen gesamten Fußgänger enthält, gleich einem Abstand von einer Fläche ist, die den Schultern und Armen des Fußgängers entspricht. Danach wird erkannt, dass das binäre Objekt, das eine Fläche enthält, die dem Kopf des Fußgängers und den Schultern entspricht, und eine Fläche, die den Schultern und Armen entspricht, den Fußgänger bezeichnet. Auf diese Weise ist es möglich, einen Effekt zu realisieren, indem es möglich ist, die Genauigkeit zur Erfassung des Fußgängers zu verbessern.
Wie oben erläutert, etabliert, gemäß der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs der vorliegenden Erfindung, eine Fußgänger-Kopfflächen-Berechnungseinheit eine Fläche, die vermutlich einem Kopf des Fußgängers entspricht, als eine Referenzfläche, und eine Fußgänger-Überschulterflächen-Berechnungseinheit etabliert zwei Objektflächen, die mut maßlich den Überschulterflächen des Fußgängers entsprechen, an beiden Seiten der Referenzfläche. Durch diese Maßnahme erkennt eine Fußgängerform-Erkennungseinheit eine Fläche, die dem Kopf und den Schultern des Fußgängers entspricht, in einem Bild, das von einer Infrarotstrahlenkamera aufgenommen ist, durch Nutzung eines Merkmals, dass der Kopf des Fußgängers einen höheren Luminanzkontrast als der Luminanzkontrast im Hintergrund an beiden Seiten des Kopfs hat.
Dementsprechend ist es möglich, einen Effekt zu realisieren, um die Genauigkeit zur Erfassung des Fußgängers zu verbessern, indem eine Fläche, die dem Kopf und den Schultern entspricht, aus dem Bild für das Objekt erfasst wird, derart, dass ein auffallendes Merkmal des Fußgängers beobachtet werden kann.
Gemäß der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs in einem anderen Aspekt der vorliegenden Erfindung ist es möglich, zu verhindern, dass ein Bild in einer Fläche, die sich von der gewünschten Fläche unterscheidet, in die Objektfläche eintritt, indem das Objekt in einem Bild schräg gestellt wird, das von einer Infrarotstrahlenkamera aufgenommen ist.
Auf diese Weise ist es möglich, einen Effekt zum Verbessern der Genauigkeit zur Erfassung des Fußgängers zu realisieren, ohne einen ungewünschten Einfluss von dem Fußgänger in einem Bild zu erhalten, das von einer Infrarotstrahlenkamera aufgenommen ist.
Gemäß der Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs in einem anderen Aspekt der Erfindung wird eine Objektfläche, aus der geschlossen wird, dass sie dem Raum oberhalb der Schultern des Fußgängers entspricht, mit einer anderen Objektfläche, aus der geschlossen wird, dass sie den Schultern und Armen des Fußgängers entspricht, die durch die Fußgänger-Schulterflächen-Berechnungseinheit etabliert sind, miteinander verglichen. Demzufolge kann die Fußgängerform-Erkennungseinheit eine Fläche erkennen, die den Schultern und Armen des Fußgängers in einem Bild entspricht, das von einer Infrarotstrahlenkamera aufgenommen ist, durch Nutzung eines Merkmals, dass die Schultern und Arme des Fußgängers einen unterschiedlichen Luminanzkontrast von dem Luminanzkontrast im Hintergrund an beiden Seiten des Kopfs haben.
Dementsprechend wird eine Fläche, die dem Kopf und den Schultern des Fußgängers entspricht, in denen ein auffallendes Merkmal des Fußgängers beobachtet werden kann, aus dem Bild als das Objekt erfasst. Zusätzlich wird ferner eine Fläche, die den Schultern und Armen entspricht, in denen ein auffallendes Merkmal des Fußgängers beobachtet werden kann, aus dem Bild als das Objekt erfasst. Auf diese Weise ist es möglich, einen Effekt zu realisieren, um die Genauigkeit zur Erfassung des Fußgängers zu verbessern.
Obwohl somit Ausführungsbeispiele der Erfindung beschrieben wurden, wird es ersichtlich, dass der Fachmann verschiedene Änderungen, Modifikationen und Verbesserungen leicht erkennen wird.
Eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs, die in der Lage ist, um das Fahrzeug herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen ist. Eine Fläche, aus der geschlossen wird, dass sie dem Kopf des Fußgängers entspricht, wird als Referenzfläche etabliert. Zwei Objektflächen werden über der Referenzfläche etabliert, so dass sie Räumen oberhalb der Schultern an beiden Seiten des Fußgängerkopfes entsprechen. Eine Fläche, die dem Kopf und den Schultern in einem Infrarotstrahlenbild entspricht, wird erkannt. Eine andere Objektfläche, aus der geschlossen wird, dass sie den Schultern und Armen des Fußgängers entspricht, wird etabliert. Wenn ein Abstand von einem gesamten Fußgänger und ein Abstand von einer Fläche, die den Schultern und Armen entspricht, gleich sind, wird erkannt, dass ein binäres Objekt, das die Fläche enthält, die den Schultern und Armen entspricht, einen Fußgänger anzeigt.

Claims

Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs (10), die in der Lage ist, um das Fahrzeug (10) herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug (10) vorgesehenes Infrarotkameraelement (2R, 2L) aufgenommen ist, wobei die Vorrichtung umfasst: eine Fußgänger-Kopfflächen-Berechnungseinheit (S91–S94), die eine Fläche, die mutmaßlich einem Kopf eines Fußgängers in dem aufgenommenen Bild entspricht, als Referenzfläche etabliert; eine Fußgänger-Schulter-Berechnungseinheit (S95) zum Erkennen der Schultern des Fußgängers, und eine Fußgängerform-Erkennungseinheit (S96, S98, S100) zum Erkennen des Objekts in dem aufgenommenen Bild als Fußgänger, dadurch gekennzeichnet, dass die Fußgänger-Schulter-Berechnungseinheit (S95) eine Fußgänger-Überschulterflächen-Berechnungseinheit (S95) bildet, die zwei erste Objektflächen, die mutmaßlich den über den Schultern des Fußgängers liegenden Flächen entsprechen, an beiden Seiten der Referenzfläche etabliert; und dass die Fußgängerform-Erkennungseinheit (S96, S98, S100) den Fußgänger durch Vergleich eines Luminanzmerkmals der Referenzfläche mit einem Luminanzmerkmal der ersten Objektflächen erkennt, wobei die zwei ersten Objektflächen von der Referenzfläche aufwärts versetzt sind.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs (10), die in der Lage ist, um das Fahrzeug (10) herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug (10) vorgesehenes Infrarotkameraelement (2R, 2L) aufgenommen ist, wobei die Vorrichtung umfasst: eine Fußgänger-Kopfflächen-Berechnungseinheit (S91–S94), die eine Fläche, die mutmaßlich einem Kopf eines Fußgängers in dem aufgenommenen Bild entspricht, als Referenzfläche etabliert; eine Fußgänger-Schulter-Berechnungseinheit (S95) zum Erkennen der Schultern des Fußgängers, und eine Fußgängerform-Erkennungseinheit (S96, S98, S100) zum Erkennen des Objekts in dem aufgenommenen Bild als Fußgänger, dadurch gekennzeichnet, dass die Fußgänger-Schulter-Berechnungseinheit (S95) eine Fußgänger-Überschulterflächen-Berechnungseinheit (S95) bildet, die zwei erste Objektflächen, die mutmaßlich den über den Schultern des Fußgängers liegenden Flächen entsprechen, an beiden Seiten der Referenzfläche etabliert; und dass die Fußgängerform-Erkennungseinheit (S96, S98, S100) den Fußgänger durch Vergleich eines Luminanzmerkmals der Referenzfläche mit einem Luminanzmerkmal der ersten Objektflächen erkennt, und dass eine Fußgänger-Schulterflächen-Berechnungseinheit (S97, S99) vorgesehen ist, die zweite Objektflächen zum Erkennen der Arme und Schultern des Fußgängers unterhalb der jeweiligen ersten Objektflächen etabliert, worin die Fußgängerform-Erkennungseinheit (S96, S98, S100) den Fußgänger in dem aufgenommenen Bild ferner durch Vergleich des Luminanzmerkmals der ersten Objektflächen mit einem Luminanzmerkmal der zweiten Objektflächen erkennt.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Luminanzmerkmal in der Referenzfläche und das Luminanzmerkmal in den ersten Objektflächen in Bezug auf die durchschnittliche Luminanz verglichen werden.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 2, dadurch gekennzeichnet, dass das Luminanzmerkmal in den ersten Objektflächen und das Luminanzmerkmal in den zweiten Objektflächen in Bezug auf einen relativen Fehlerwert zwischen den ersten Objektflächen und den zweiten Objektflächen verglichen werden.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 1 oder 2, gekennzeichnet durch eine Anzeigevorrichtung (7), die ein Objekt, das durch die Fußgängerform-Erkennungseinheit (S96, S98, S100) als Fußgänger erkannt wird, von dem Objekt, das nicht als Fußgänger erkannt wird, unterscheidbar anzeigt.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 1, 2 oder 5, gekennzeichnet durch eine Alarmbestimmungsvorrichtung, die bestimmt, ob für das Objekt, das durch die Fußgängerform-Erkennungseinheit (S96, S98, S100) als Fußgänger erkannt wird, ein Alarm erzeugt werden sollte oder nicht.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anzeigevorrichtung (7) das Objekt, das durch die Fußgängerform-Erkennungseinheit (S96, S98, S100) als Fußgänger erkannt ist, in hervorgehobener Weise unterscheidbar anzeigt.
Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs (10), die in der Lage ist, um das Fahrzeug (10) herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug (10) vorgesehenes Infrarotkameraelement (2R, 2L) aufgenommen ist, wobei die Vorrichtung umfasst: eine Fußgänger-Kopfflächen-Berechnungseinheit (S91–S94), die eine Fläche, die mutmaßlich einem Kopf eines Fußgängers in dem aufgenommenen Bild entspricht, als Referenzfläche etabliert; eine Fußgänger-Schulter-Berechnungseinheit (S95) zum Erkennen der Schultern des Fußgängers, und eine Fußgängerform-Erkennungseinheit (S96, S98, S100) zum Erkennen des Objekts in dem aufgenommenen Bild als Fußgänger, dadurch gekennzeichnet, dass die Fußgänger-Schulter-Berechnungseinheit (S95) eine Fußgänger- Überschulterflächen-Berechnungseinheit (S95) bildet, die zwei erste Objektflächen, die mutmaßlich den über den Schultern des Fußgängers liegenden Flächen entsprechen, etabliert, wobei die zwei ersten Objektflächen horizontal an beiden Seiten der Referenzfläche liegen und die Schultern des Fußgängers nicht enthalten; und dass die Fußgängerform-Erkennungseinheit (S96, S98, S100) den Fußgänger durch Vergleich eines Luminanzmerkmals der Referenzfläche mit einem Luminanzmerkmal der ersten Objektflächen erkennt, wobei die zwei ersten Objektflächen von der Referenzfläche aufwärts versetzt sind.