-
Die
Erfindung betrifft eine Fahrzeugumgebungs-Überwachungsvorrichtung, die
ein Objekt erkennt, das die Fahrt des Fahrzeugs behindert.
-
Zum
Beispiel ist in der JP-A-11(1999)-328364 eine Fahrzeugumgebungs-Überwachungsvorrichtung vorgeschlagen worden,
die einen Displayprozessor aufweist, der eine Bildfläche eines
Fußgängers, der
wahrscheinlich mit dem betreffenden Fahrzeug in Kontakt kommt, aus
einem Bild der Umgebung des Fahrzeugs, das von einer Infrarotkamera
aufgenommen wurde, extrahiert und dem Fahrzeugfahrer visuelle Information
liefert. Diese Vorrichtung binärisiert
das aufgenommene Infrarotbild, um einen Hochluminanzbereich herauszufinden,
und bestimmt den Hochluminanzbereich als Kopf eines Fußgängers, wenn
die Schwerpunktposition, das Flächenverhältnis, die
Nettofläche
und dergleichen des Hochluminanzbereichs vorbestimmten Kopf-Bestimmungsbedingungen
genügen.
Nachdem die Fläche
des Fußgängerkopfs
bestimmt worden ist, setzt sie dann eine dem Körper des Fußgängers enthaltende Fläche und stellt
diese Flächen
von anderen Flächen
getrennt dar. Hierdurch wird die Position des gesamten Fußgängerkörpers in
dem aufgenommenen Infrarotbild identifiziert, und die Information
wird dem Fahrzeugfahrer als visuelle Hilfe angezeigt.
-
Jedoch
ist ein Objekt, das sich in der Umgebung des Fahrzeugs befindet
und möglicherweise mit
dem Fahrzeug in Kontakt kommt, nicht auf einen Fußgänger beschränkt. Zum
Beispiel könnte
ein großes
Tier, wie etwa ein Hirsch, auf der Straße sein und mit dem Fahrzeug
in Kontakt kommen. In dieser Situation wird unter den obigen Bestimmungsbedingungen,
die auf der Position des Schwerpunkts, dem Flächenverhältnis, der Nettofläche und
dergleichen des Hochluminanzbereichs beruhen, das große Tier
nicht als Fußgänger bestimmt.
Daher hat diese Vorrichtung den Nachteil, dass Information über das
große Tier
dem Fahrzeugfahrer nicht als warnende Information dargeboten wird,
obwohl das große
Tier mit dem Fahrzeug wahrscheinlich in Kontakt kommt.
-
Aufgabe
der Erfindung ist es daher, eine Fahrzeugumgebungs-Überwachungsvorrichtung anzugeben,
die in der Lage ist, einen Objekttyp zu bestimmen, und insbesondere
eine solche Fahrzeugumgebungs-Überwachungsvorrichtung,
die in der Lage ist, unter Objekten ein anderes Lebewesen als einen
Menschen zu bestimmen.
-
Zur
Lösung
der Aufgabe wird gemäß einem Aspekt
der Erfindung eine Fahrzeugumgebungs-Überwachungsvorrichtung angegeben,
die die Umgebung eines Fahrzeugs mittels eines von einer am Fahrzeug
angebrachten Kamera aufgenommenen Bilds überwacht, umfassend: eine Objektextraktionsprozesseinheit,
die eine Bildfläche
eines Objekts aus dem von der Kamera aufgenommenen Bild extrahiert;
und eine Objekttypbestimmungsprozesseinheit, die einen Objekttyp
in Abhängigkeit
davon bestimmt, ob die Bildfläche
des von der Objektextraktionsprozesseinheit extrahierten Objekts
eine erste Objektfläche
mit umgekehrter Dreieckform und eine zweite Objektfläche, die
unter der ersten Objektfläche
und innerhalb einer vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
-
Allgemein
erhält
man in Abhängigkeit
von der Art des Tiers eine Bildfläche, die eine erste Objektfläche in der
Form eines einem Tierkopf entsprechenden umgekehrten Dreiecks sowie,
unterhalb der ersten Objektfläche,
eine einem Tierkörper
entsprechende zweite Objektfläche
aufweist, für
den Fall, dass das Tier mit der Kamera von der Vorder- oder Rückseite
her aufgenommen wird. Daher bestimmt die Fahrzeugumgebungs-Überwachungsvorrichtung der
Erfindung den Objekttyp unter der Bedingung, dass die Bildfläche des
Objekts die erste Objektfläche
mit umgekehrter Dreieckform und die zweite Objektfläche, die
unterhalb der ersten Objektfläche
und innerhalb der vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
Hierdurch lässt
sich bestimmen, ob der Objekttyp ein Tier ist, das die umgekehrte
dreieckförmige
Bildfläche
aufweist.
-
Bevorzugt
bestimmt die Objekttypbestimmungsprozesseinheit, dass der Objekttyp
ein anderes Lebewesen als ein Mensch ist, falls die Bildfläche des
von der Objektextraktionsprozesseinheit extrahierten Objekts die
erste Objektfläche
mit umgekehrter Dreieckform und die zweite Objektfläche, die
unter der ersten Objektfläche
und innerhalb der vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
-
Erfindungsgemäß bestimmt
die Objekttypbestimmungsprozesseinheit, ob das Objekt ein anderes Lebewesen
als ein Tier ist, unter der Bedingung, dass die Bildfläche des
Objekts die umgekehrt dreieckförmige
erste Objektfläche
und die zweite Objektfläche, die
unterhalb der ersten Objektfläche
und innerhalb der vorbestimmten Reichweite von der ersten Objektfläche geordnet
ist, enthält.
Hierdurch lässt
sich bestimmen, ob das Objekt ein anderes Lebewesen als ein Mensch
ist, zur Unterscheidung einer Anzeigetafel, eines Verkehrszeichen
oder dergleichen, das nicht umgekehrt dreieckförmig ist.
-
Bevorzugt
hat die erste Objektfläche
eine vorbestimmte Größe.
-
Allgemein
ist die Größe der dem
Kopf entsprechenden ersten Objektfläche von der Art des Tieres
abhängig.
Daher bestimmt die Objekttypbestimmungsprozesseinheit den Objekttyp
unter der Bedingung, dass die Bildfläche die umgekehrt dreieckförmige erste
Objektfläche
aufweist, welche die vorbestimmte Größe hat. Hierdurch kann der
Objekttyp genauer bestimmt werden.
-
Bevorzugt
bestimmt die Objekttypbestimmungsprozesseinheit den Objekttyp basierend
auf einer Beziehung zwischen einer ersten Flächenbreite und einer zweiten
Flächenbreite,
wobei die erste Flächenbreite
gegeben ist als die Länge
einer Seite, die dem Scheitelwinkel gegenüberliegt, der an der tiefsten
Position der ersten Objektfläche
der umgekehrten Dreieckform angeordnet ist, oder als der Maximalwert
der horizontalen Breite der umgekehrten Dreieckform, und die zweite
Flächenbreite
gegeben ist als der Maximalwert der horizontalen Breite der zweiten
Objektfläche.
-
Allgemein
ist die Beziehung zwischen der ersten Flächenbreite, die der Breite
eines Tierkopfs entspricht, und der zweiten Flächenbreite, die einem Tierkörper entspricht,
von der Art des Tieres abhängig.
Daher bestimmt die Objekttypbestimmungsprozesseinheit den Objekttyp
basierend auf der Beziehung zwischen der ersten Flächenbreite
und der zweiten Flächenbreite.
Hierdurch lässt
sich bestimmen, dass der Objekttyp ein Tier ist, wenn es der vorbestimmten
Beziehung zwischen der ersten Flächenbreite
und der zweiten Flächenbreite
genügt.
-
Bevorzugt
bestimmt die Objekttypbestimmungsprozesseinheit, dass der Objekttyp
ein anderes Lebewesen als ein Mensch ist, falls die zweite Flächenbreite
größer als
eine Hälfte
der ersten Flächenbreite
ist.
-
Allgemein
heißt
es, dass die Breite des den Kopf tragenden Körpers größer ist als zumindest eine Hälfte der
Breite des Kopfs, wenn das Objekt ein anderes Lebewesen als ein
Mensch ist. Daher kann mittels der Fahrzeugumgebungs-Überwachungsvorrichtung
der Erfindung das Objekt als ein anderes Lebewesen als ein Mensch
bestimmt werden, falls die zweite Flächenbreite größer ist
als eine Hälfte
der ersten Flächenbreite.
-
Bevorzugt
umfasst die Fahrzeugumgebungs-Überwachungsvorrichtung
der Erfindung ferner eine Abstandsberechnungs-Prozesseinheit, die einen
Abstand einer realen Raumposition, die der in dem aufgenommenen
Bild enthaltenen Bildfläche entspricht,
von dem Fahrzeug berechnet, wobei die Objekttypbestimmungsprozesseinheit
einen Objekttyp unter der Bedingung bestimmt, dass sich eine reale
Raumposition, die der zweiten Objektfläche entspricht, innerhalb eines
vorbestimmten Abstands von der realen Raumposition, die der ersten
Objektfläche entspricht,
befindet.
-
Wenn
man ein anderes Lebewesen als einen Menschen von der Vorderseite
her betrachtet, ist allgemein die dem Körper entsprechende zweite Objektfläche im wesentlichen
direkt unterhalb der dem Kopf entsprechenden ersten Objektfläche angeordnet.
Daher ist der Realraumabstand der ersten Objektfläche im wesentlichen
gleich jenem der zweiten Objektfläche. Wenn man es hingegen von
hinten her betrachtet, ist die zweite Objektfläche nicht direkt unterhalb
der ersten Objektfläche
angeordnet, sondern an dieser Seite. Daher entsteht ein gewisser
Unterschied im Realraumabstand zwischen der ersten Objektfläche und
der zweiten Objektfläche.
Daher bestimmt die Fahrzeugumgebungs-Überwachungsvorrichtung der
Erfindung den Objekttyp unter der Bedingung, dass sich die Realraumposition
der zweiten Objektfläche
innerhalb des vorbestimmten Abstands von der Realraumposition der
ersten Objektfläche befindet.
Hierdurch können
die erste Objektfläche und
die zweite Objektfläche
als Teile des selben Tiers bestimmt werden, ob nun das Objekt von
der Vorder- oder Rückseite
her betrachtet wird, wodurch der Objekttyp genauer bestimmt werden
kann.
-
Gemäß einem
weiteren Aspekt der Erfindung wird eine Fahrzeugumgebungs-Überwachungsvorrichtung
angegeben, die die Umgebung eines Fahrzeugs mittels eines Computers überwacht, der
in der Vorrichtung vorgesehen ist und eine Schnittstellenschaltung
zum Zugriff auf ein von einer am Fahrzeug angebrachten Kamera aufgenommenes
Bild enthält,
wobei der Computer durchführt:
einen Objektextraktionsprozess zum Extrahieren einer Bildfläche eines
Objekts aus dem von der Kamera aufgenommenen Bild; und einen Objekttypbestimmungsprozess
zur Bestimmung eines Objekttyps in Abhängigkeit davon, ob die Bildfläche des
durch den Objektextraktionsprozess extrahierten Objekts eine erste
Objektfläche
mit umgekehrter Dreieckform sowie eine zweite Objektfläche, die
unter der ersten Objektfläche
und innerhalb einer vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
-
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung
der Erfindung führt
der Computer den Objektextraktionsprozess aus, um die Bildfläche des
Objekts aus dem Bild zu extrahieren, und führt den Objekttypbestimmungsprozess
aus, um den Objekttyp unter der Bedingung zu bestimmen, dass die extrahierte
Bildfläche
die umgekehrt dreieckförmige erste
Objektfläche
und die zweite Objektfläche,
die unterhalb der ersten Objektfläche und innerhalb der vorbestimmten
Reichweite von der ersten Objektfläche angeordnet ist, enthält. Hierdurch
lässt sich
bestimmen, ob der Objekttyp ein Tier mit einer umgekehrt dreieckförmigen Bildfläche ist.
-
Gemäß einem
noch weiteren Aspekt der Erfindung wird, zur Lösung der obigen Aufgabe, ein Fahrzeug
angegeben, das mit der Fahrzeugumgebungs-Überwachungsvorrichtung ausgestattet
ist.
-
Bei
dem erfindungsgemäßen Fahrzeug
bestimmt die Fahrzeugumgebungs-Überwachungsvorrichtung
den Objekttyp unter der Bedingung, dass die Bildfläche des
Objekts die umgekehrt dreieckförmige erste
Objektfläche
und die zweite Objektfläche,
die unterhalb der ersten Objektfläche und innerhalb der vorbestimmten
Reichweite von der ersten Objektfläche angeordnet ist, enthält. Hierdurch
lässt sich
bestimmen, ob der Objekttyp ein Tier mit einer umgekehrt dreieckförmigen Bildfläche ist.
-
Gemäß einem
noch weiteren Aspekt der Erfindung wird, zur Lösung der obigen Aufgabe, ein Fahrzeugumgebungs-Überwachungsprogramm
angegeben, das bewirkt, dass ein im Fahrzeug eingebauter Computer,
der eine Prozesseinheit enthält,
die auf Daten eines von einer am Fahrzeug angebrachten Kamera aufgenommenen
Bilds zugreift, eine Funktion der Überwachung der Umgebung des
Fahrzeugs durchführt,
wobei das Programm bewirkt, dass der Computer fungiert als: eine
Objektextraktionsprozesseinheit, die eine Bildfläche eines Objekts aus dem von
der Kamera aufgenommenen Bild extrahiert; und eine Objekttypbestimmungsprozesseinheit,
die einen Objekttyp in Abhängigkeit
davon bestimmt, ob die Bildfläche
des von der Objektextraktionsprozesseinheit extrahierten Objekts
eine erste Objektfläche mit
umgekehrter Dreieckform und eine zweite Objektfläche, die unter der ersten Objektfläche und
innerhalb einer vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
-
Das
erfindungsgemäße Fahrzeugumgebungs-Überwachungsprogramm
wird von dem Computer ausgeführt,
um das Objekt aus dem aufgenommenen Bild mittels der Objektextraktionsprozesseinheit
zu extrahieren und mittels der Objekttypbestimmungsprozesseinheit
den Objekttyp unter der Bedingung zu bestimmen, dass die Bildfläche des
von der Objektextraktionsprozessenheit extrahierten Objekts die
umgekehrt dreieckförmige
erste Objektfläche
und die zweite Objektfläche,
die unterhalb der ersten Objektfläche und innerhalb der vorbestimmten
Reichweite von der ersten Objektfläche angeordnet ist, enthält. Hierdurch
lässt sich
bestimmen, ob der Objekttyp ein Tier mit der umgekehrt dreieckförmigen Bildfläche ist.
-
Gemäß einem
noch weiteren Aspekt der Erfindung wird zur Lösung der obigen Aufgabe ein Fahrzeugumgebungs-Überwachungsverfahren
angegeben, zum Überwachen
der Umgebung eines Fahrzeugs mittels eines im Fahrzeug eingebauten Computers,
der eine Prozesseinheit enthält,
die auf Daten eines von einer an dem Fahrzeug angebrachten Kamera
aufgenommenen Bilds zugreift, wobei das Verfahren umfasst: einen
Objektextraktionsschritt zum Bewirken, dass der Computer die Bildfläche eines
Objekts aus dem von der Kamera aufgenommenen Bild extrahiert; und
einen Objekttypbestimmungsschritt zum Bewirken, dass der Computer einen
Objekttyp in Abhängigkeit
davon bestimmt, ob die Bildfläche
des durch den Objektextraktionsschritt extrahierten Objekts eine
erste Objektfläche
mit umgekehrter Dreieckform sowie eine zweite Objektfläche, die
unter der ersten Objektfläche
und innerhalb einer vorbestimmten Reichweite von der ersten Objektfläche angeordnet
ist, enthält.
-
Gemäß dem erfindungsgemäßen Fahrzeugumgebungs-Überwachungsverfahren extrahiert
der Computer das Objekt aus dem aufgenommenen Bild in dem Objektextraktionsschritt
und bestimmt in dem Objekttypbestimmungsschritt den Objekttyp unter der
Bedingung, dass die Bildfläche
des im Objektextraktionsschritt extrahierten Objekts die umgekehrt dreieckförmige erste
Objektfläche
und die zweite Objektfläche,
die unterhalb der ersten Objektfläche und innerhalb des vorbestimmten
Bereichs von der ersten Objektfläche
angeordnet ist, enthält.
Hierdurch lässt
sich bestimmen, ob der Objekttyp ein Tier mit der umgekehrt dreieckförmigen Bildfläche ist.
-
Die
Erfindung wird nun anhand von Ausführungsbeispielen unter Hinweis
auf die beigefügten Zeichnungen
beschrieben.
-
1 zeigt
schematisch die Gesamtkonfiguration einer Ausführung der erfindungsgemäßen Fahrzeugumgebungs-Überwachungsvorrichtung;
-
2 zeigt
ein perspektivisches Schema eines Fahrzeugs, das mit der in 1 gezeigten
Fahrzeugumgebungs-Überwachungsvorrichtung
ausgestattet ist;
-
3 zeigt
ein Flussdiagramm des Prozesses der Bildverareitungseinheit, die
in der in 1 vorgesehenen Fahrzeugumgebungs-Überwachungsvorrichtung vorgesehen
ist;
-
4 zeigt
ein Flussdiagramm des Prozesses der Bildverarbeitungseinheit, die
in der in 1 gezeigten Fahrzeugumgebungs-Überwachungsvorrichtung
vorgesehen ist;
-
5 zeigt
ein Flussdiagramm eines Objekttypbestimmungsprozesses der Ausführung;
-
6 zeigt schematisch ein aufgenommenes
Bild in der Ausführung;
und
-
7 zeigt
ein Schema zur Erläuterung
des Prozesses der Bildverarbeitungseinheit.
-
Zuerst
wird die Systemkonfiguration einer Fahrzeugumgebungs-Überwachungsvorrichtung dieser
Ausführung
in Bezug auf 1 und 2 beschrieben. 1 ist
ein Blockdiagramm, das die Gesamtkonfiguration der Fahrzeugumgebungs-Überwachungsvorrichtung
zeigt, und 2 ist ein perspektivisches Schema
eines Fahrzeugs (vorliegenden Fahrzeugs), das mit der Fahrzeugumgebungs-Überwachungsvorrichtung
ausgestattet ist. In 2 sind Teilkomponenten der Fahrzeugumgebungs-Überwachungsvorrichtung nicht
gezeigt.
-
In
Bezug auf 1 und 2 enthält die Fahrzeugumgebungs-Überwachungsvorrichtung dieser
Ausführung
eine Bildverarbeitungseinheit 1. Die Bildverarbeitungseinheit 1 ist
mit zwei Infrarotkameras 2R und 2L verbunden,
die Bilder im Bereich vor dem Fahrzeug 10 aufnehmen, und
ist ferner verbunden mit einem Gierratensensor 3, der eine
Giergeschwindigkeit des Fahrzeugs 10 erfasst, als einem Sensor,
der den Fahrzustand des Fahrzeugs 10 erfasst, einem Fahrgeschwindigkeitssensor 4,
der eine Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 10 erfasst,
sowie einem Bremssensor 5, der erfasst, ob eine Bremse
des Fahrzeugs 10 betätigt
wird. Ferner ist die Bildverarbeitungseinheit 1 mit einem
Lautsprecher 6 verbunden, um hörbare Informationen auszugeben,
die sprachlich oder dergleichen eine Warnung ausgeben, und mit einem
Display 7 zum Anzeigen von Bildern, die von den Infrarotkameras 2R und 2L aufgenommen
wurden, und zum visuellen Warnen des Fahrers. Die Infrarotkameras 2R und 2L entsprechen
den Kameras der Erfindung.
-
Obwohl
hier nicht im Detail dargestellt, ist die Bildverarbeitungseinheit 1 aufgebaut
aus einer elektronischen Schaltung, die einen A/D-Wandler, einen Microcomputer
(mit einer CPU, einem RAM, einem ROM und dergleichen) und einem
Bildspeicher aufgebaut ist. Analoge Signale, die von den Infrarotkameras 2R und 2L,
dem Gierratensensor 3, dem Fahrgeschwindigkeitssensor 4 und
dem Bremssensor 5 ausgegeben werden, werden durch den A/D-Wandler in
digitale Daten umgewandelt und in einen Microcomputer eingegeben.
Danach erfasst der Microcomputer ein Objekt wie etwa einen Menschen
(einen Fußgänger oder
eine Person auf einem Fahrrad) basierend auf den eingegebenen Daten,
und wenn das erfasste Objekt vorbestimmten Bedingungen zum Ausgeben
einer Warnung genügt,
führt er
einen Prozess durch, um mittels des Lautsprechers 6 oder dem
Display 7 die Aufmerksamkeit des Fahrers auf das Objekt
zu lenken. Zum Beispiel hat die Bildverarbeitungseinheit 1 eine
Bildeingabeschaltung, die analoge Videosignale, die von den Infrarotkameras 2R und 2L aufgegeben
wurden, in digitale Daten umwandelt und sie in einem Bildspeicher
speichert, sowie eine Schnittstellenschaltung, die auf die in dem Bildspeicher
gespeicherten Daten zugreift (diese liest und schreibt), um verschiedene
arithmetische Prozesse für
das Bild vor dem Fahrzeug durchzuführen, das in dem Bildspeicher
gespeichert ist.
-
Die
Bildverarbeitungseinheit 1 fungiert als Objektextraktionsprozesseinheit,
Objekttypbestimmungsprozesseinheit sowie Abstandsberechnungsprozesseinheit
der Erfindung. Indem man den Microcomputer das Fahrzeugumgebungs-Überwachungsprogramm
der vorliegenden Erfindung ausführen lässt, fungiert
der Microcomputer als Objektextraktionsprozesseinheit und Objekttypbestimmungsprozesseinheit
der Erfindung. Indem man ferner den Microcomputer als Objektextraktionsprozesseinheit und
Objekttypbestimmungsprozesseinheit fungieren lässt, führt der Microcomputer den Objektextraktionsschritt
und den Objekttypbestimmungsprozess in dem Fahrzeugumgebungs-Überwachungsverfahren der vorliegenden
Erfindung durch.
-
Wie
in 2 gezeigt, sind die Infrarotkameras 2R und 2L an
dem vorderen Teil (einem Teil eines Frontgrills in 2)
des Fahrzeugs 10 angebracht, um Bilder vom Bereich vor
dem Fahrzeug 10 aufzunehmen. In diesem Fall sind die Infrarotkameras 2R und 2L – in der
Fahrzeugbreitenrichtung betrachtet – an der rechten Seite und
linken Seite in der Mitte des Fahrzeugs 10 angeordnet.
Diese Stellen sind in Bezug auf die Mitte des Fahrzeugs 10 in
der Fahrzeugbreitenrichtung symmetrisch. Die Infrarotkameras 2R und 2L sind
an dem vorderen Teil des Fahrzeugs 10 derart befestigt,
dass die optischen Achsen der Infrarotkameras 2R und 2L sich
in der Längsrichtung
des Fahrzeugs 10 parallel erstrecken, und dass die optischen
Achsen die gleiche Höhe
von der Straßenoberfläche haben.
Die Infrarotkameras 2R und 2L sind im fernen Infrarotbereich
empfindlich. Diese Infrarotkameras 2R und 2L haben
jeweils eine solche Charakteristik, dass, je höher die Temperatur eines von der
Infrarotkamera aufgenommenen Materials ist, desto höher Pegel
des ausgegebenen Videosignals ist (die Luminanz des Videosignals
höher ist).
-
In
dieser Ausführung
enthält
das Display ein Headup Display 7a (nachfolgend als HUD 7a bezeichnet),
das Bildinformation auf der Windschutzscheibe des Fahrzeugs 10 anzeigt.
Das Display 7 kann ein Display enthalten, das integral
an einer Anzeigeeinheit angebracht ist, die den Fahrzustand wie etwa
die Fahrgeschwindigkeit des Fahrzeugs 10 anzeigt, oder
ein Display, das in einem eingebauten Navigationssystem vorgesehen
ist, an Stelle des HUD 7a oder zusammen mit dem HUD 7a.
-
Nachfolgend
wird der Gesamtbetrieb der Fahrzeugumgebungs-Überwachungsvorrichtung dieser
Ausführung
in Bezug auf das in 3 gezeigte Flussdiagramm beschrieben.
Viele der Prozesse im in 3 gezeigten Flussdiagramm sind
die gleichen wie z. B. in 3 der JP-A-2001-6096 der vorliegenden
Anmeldung, und daher wird eine detaillierte Beschreibung dieser
Prozesse in dieser Beschreibung weggelassen.
-
Zuerst
erhält
die Bildverarbeitungseinheit 1 Infrarotbilder, die von
den Infrarotkameras 2R und 2L aufgenommen wurden
(Schritt 1). Die aufgenommenen Infrarotbilder sind Graustufenbilder,
die durch A/D-Wandlung
der Infrarotbilder erhalten wurden, die Ausgangssignale von den
Infrarotkameras 2R und 2L sind, und werden in
dem Bildspeicher gespeichert. Danach wird das von der Infrarotkamera 2R erhaltene
Bild und das von der Infrarotkamera 2L erhaltene Bild jeweils
als rechtes Bild bzw. linkes Bild bezeichnet, und insbesondere das
rechte Bild wird als das Standardbild bezeichnet. Während in
dieser Ausführung
das Standardbild das rechte Bild ist, kann es auch das linke Bild
sein.
-
Anschließend binärisiert
die Bildverarbeitungseinheit 1 das Standardbild (rechte
Bild) (Schritt 2). Die Binärisierung
ist ein Prozess zum Vergleichen eines Luminanzwerts jedes Pixels
des Standardbilds mit einem vorbestimmten Luminanzschwellenwert und
zum Setzen eines Werts von "1" (weiß) für eine Fläche, die
einen hohen Luminanzwert von gleich oder höher als dem vorbestimmten Luminanzschwellenwert
hat (relativ helle Fläche)
und zum Setzen eines Werts von "0" (schwarz) für eine Fläche mit
einem niedrigen Luminanzwert, der niedriger ist als der Luminanzschwellenwert
(relativ dunkle Fläche)
für das
Standardbild. Danach wird das Bild (das Schwarz-/Weißbild),
das durch die Binärisierung
erhalten ist, als das binäre
Bild bezeichnet. Die in dem binären
Bild auf "1" gesetzte Fläche wird
als Hochluminanzbereich bezeichnet. Das binäre Bild wird, separat von dem
Graustufenbild (dem rechten Bild und dem linken Bild) in den Bildspeicher
gespeichert.
-
Anschließend führt die
Bildverarbeitungseinheit 1 Prozesse der Schritte 3 bis
5 für das
binäre
Bild durch und extrahiert ein Objekt (genauer gesagt eine dem Objekt
entsprechende Bildfläche)
von dem binären
Bild. In anderen Worten, die Bildverarbeitungseinheit 1 klassifiziert
die Pixel, die die Hochluminanzfläche des binären Bilds darstellen, in Linien,
die jeweils eine Breite eines Pixels in der vertikalen Richtung
(Y-Richtung) des Standardbilds haben und sich in der horizontalen
Richtung (der X-Richtung) derselben erstrecken, und wandelt jede
Linie in Lauflängendaten
um, die Koordinaten der Position (der zweidimensionalen Position
in dem Standardbild) und der Länge
(der Anzahl der Pixel) enthalten (Schritt 3). Danach versieht die
Bildverarbeitungseinheit 1 jede der Liniengruppen, die
in der vertikalen Richtung des Standardbilds von jenen Linien, die
durch die Laufliniendaten repräsentiert
sind, überlappen,
mit einer Markierung (einer Kennung) (Schritt 4) und extrahiert jede
der Liniengruppen als ein Objekt (Schritt 5).
-
Das
Objekt, das durch den Prozess der Schritte 3 bis 5 extrahiert ist,
enthält
nicht nur einen Menschen (einen Fußgänger), sondern auch eine künstliche
Struktur wie etwa ein anderes Fahrzeug. Darüber hinaus könnten mehrere örtliche
Bereiche eines identischen Materials oder Körpers als ein Objekt extrahiert
werden.
-
Anschließend berechnet
die Bildverarbeitungseinheit 1 die Schwerpunktposition
(Position im Standardbild), die Fläche und das Aspektverhältnis eines
umschreibenden Rechtecks jedes Objekts, das wie oben beschrieben
extrahiert ist (Schritt 6). Die Fläche wird durch Addieren der
Längen
der Lauflängendaten
für das
selbe Objekt berechnet. Die Koordinaten des Schwerpunkts werden
als x-Koordinate der Linie, die die Fläche in der x-Richtung zweiteilt oder
halbiert, und die y-Koordinate der Linie, die diese in der y-Richtung
zweiteilt oder halbiert, berechnet. Das Aspektverhältnis wird
als jenes des die Lauflängendatenlinien
umschreibenden Rechtecks berechnet. Die Schwerpunktposition des
umschreibenden Rechtecks kann durch die Position des Schwerpunkts
G ersetzt werden.
-
Anschließend verfolgt
die Bildverarbeitungseinheit 1 das in Schritt 5 extrahierte
Objekt in Zeitintervallen, das heißt, erkennt identische Objekte
für jede
arithmetische Prozessperiode der Bildverarbeitungseinheit 1 (Schritt
7). In diesem Prozess sei angenommen, dass im Prozess von Schritt
5 ein Objekt A zum Zeitpunkt (diskreten Zeit) k in einer bestimmten
arithmetischen Prozessperiode extrahiert wird, und Prozess von Schritt
5 ein Objekt B zum Zeitpunkt k + 1 in der nächsten arithmetischen Prozessperiode extrahiert
wird, und die Identität
zwischen den Objekten A und B bestimmt wird. Die Identität kann zum Beispiel
beruhend auf der Form und Größe der Objekte
A und B in dem binären
Bild sowie einer Korrelation der Luminanzverteilungen der Objekte
A und B in dem Standardbild (Graustufenbild) bestimmt werden. Wenn
festgestellt wird, dass die Objekte A und B miteinander identisch
sind, wird die Kennung (die in Schritt 4 beigefügte Kennung) des zum Zeitpunkt
k + 1 extrahierten Objekts B zu der gleichen Kennung wie das Objekt
A geändert.
-
Anschließend liest
die Bildverarbeitungseinheit 1 die Ausgaben des Fahrgeschwindigkeitssensors 4 und
des Gierratensensors 3 aus (den erfassten Wert der Fahrgeschwindigkeit
und jenen der Gierrate) (Schritt 8). In Schritt 8 wird auch der
Drehwinkel (der Azimuth) des Fahrzeugs 10 durch Integrieren
der erfassten Werte der gelesenen Gierrate berechnet.
-
Andererseits
führt die
Bildverarbeitungseinheit 1 den Prozess von Schritt 10 parallel
zu den Prozessen der Schritte 7 und 8 durch. Die Prozesse der Schritte
10 bis 12 werden durchgeführt,
um einen Abstand jedes in Schritt 5 extrahierten Objekts von dem Fahrzeug 10 zu
berechnen. Kurz gesagt, die Bildverarbeitungseinheit 1 extrahiert
zuerst eine Fläche,
die jedem Objekt entspricht (z. B. die Fläche des das Objekt umschreibenden
Rechtecks) als Zielbild R1 im Standardbild (Schritt 10).
-
Danach
setzt die Bildverarbeitungseinheit 1 eine Suchfläche R2 im
linken Bild als eine Fläche oder
einen Bereich zum Suchen des gleichen Objekts wie jenes, das im
Zielbild R 1 des rechten Bilds enthalten ist. Ferner extrahiert
die Bildverarbeitungseinheit 1 eine Fläche, die die höchste Korrelation
mit dem Zielbild R1 in der Suchfläche R2 hat, als ein entsprechendes
Bild R3, das das dem Zielbild R1 entsprechende Bild ist (das dem
Zielbild R1 äquivalente Bild)
(Schritt 11). In diesem Fall extrahiert die Bildverarbeitungseinheit 1 die
Fläche,
deren Luminanzverteilung am engsten zur Luminanzverteilung des Zielbilds
R1 im rechten Bild passt, als das entsprechende Bild R3 aus der
Suchfläche
R2 des linken Bilds. Der Prozess von Schritt 11 wird nicht mit den
binären
Bildern durchgeführt
sondern mit den Grauwertbildern.
-
Anschließend berechnet
die Bildverarbeitungseinheit 1 die Anzahl von Pixeln einer
Differenz zwischen der horizontalen Position (der Position in der
x-Richtung) des Schwerpunkts des Zielbilds R1 im rechten Bild und
der horizontalen Position (der Position in der x-Richtung) des Schwerpunkt
des entsprechenden Bilds R3 in dem linken Bild als Parallaxe Δd. Die Bildverarbeitungseinheit 1 berechnet
einen Abstand z (der Abstand in der Längsrichtung des Fahrzeugs 10)
des Objekts von dem Fahrzeug 10 unter Verwendung der Parallaxe Δd (Schritt
12). Der Abstand z wird durch die folgende Gleichung (1) berechnet: z = (f·D)/(Δd·p) (1)wobei f die
Brennweite der Infrarotkameras 2R und 2L ist,
die die Basislänge
(der Abstand zwischen den optischen Achsen) der Infrarotkameras 2R und 2L ist, und
p die Pixelteilung (die Länge
eines Pixels) ist.
-
Das
oben stehende ist der Umriss der Prozesse der Schritte 10 bis 12.
Die Prozesse der Schritte 10 bis 12 werden für jedes in Schritt 5 extrahierte Objekt
durchgeführt.
-
Nach
Abschluss der Prozesse der Schritte 8 und 12 berechnet die Bildverarbeitungseinheit 1 anschließend eine
Realraumposition, die die Position jedes Objekts in dem realen Raum
ist (die relative Position zu dem Fahrzeug 10) (Schritt
13). Die Realraumposition ist die Position (X, Y, Z) in dem realen Raumkoordinatensystem
(XYZ-Koordinatensystem), dessen Mittelpunkt zwischen den Montagepositionen
der Infrarotkameras 2R und 2L als Ursprung gesetzt
ist, wie in 2 gezeigt. Die X-Richtung und die
Y-Richtung des realen
Raumkoordinatensystems sind die Fahrzeugbreitenrichtung und die
vertikale Richtung des Fahrzeugs 10. Die X-Richtung und
die Y-Richtung sind gleich der x-Richtung (Querrichtung) und y-Richtung
(senkrechten Richtung) des rechten Bilds bzw. linken Bilds. Die
Z-Richtung des realen Raumkoordinatensystems ist die Längsrichtung
des Fahrzeugs 10. Die reale Raumposition (X, Y, Z) des Objekts
wird durch die folgenden Gleichungen (2), (3) und (4) berechnet: X = x·z·p/f (2) Y = y·z·p/f (3) Z = z (4)wobei x und
y die x-Koordinate und y-Koordinate des Objekts im Standardbild
sind.
-
Anschließend kompensiert
die Bildverarbeitungseinheit 1 den Effekt der Änderung
des Drehwinkels des Fahrzeugs 10 und korrigiert die Position
X in der X-Richtung der Realraumposition (X, Y, Z) des Objekts,
um die Genauigkeit der Realraumposition des Objekts basierend auf
dem Wert, der durch die obige Gleichung (2) gemäß den Zeitseriendaten des in
Schritt 8 berechneten Drehwinkels berechnet ist zu erhöhen (Schritt
14. Hierdurch wird letztendlich die reale Raumposition des Objekts
erhalten. In der folgenden Beschreibung bedeutet der Begriff "Realraumposition
des Objekts" die
reale Raumposition des Objekts, die wie oben beschrieben korrigiert
ist.
-
Anschließend bestimmt
die Bildverarbeitungseinheit 1 einen Bewegungsvektor des
Objekts relativ zum Fahrzeug 10 (Schritt 15). Insbesondere bestimmt
sie eine gerade Linie, die Zeitseriendaten über eine bestimmte Dauer hinweg
(eine Dauer von der Gegenwart bis zu einem Zeitpunkt, der um eine vorbestimmte
Zeitdauer voraus liegt) der Realraumposition eines identischen Objekts
genähert
ist, und bestimmt dann einen Vektor von der Position (dem Punkt)
des Objekts auf der geraden Linie zu dem Zeitpunkt der um die vorbestimmte
Zeitdauer vorausliegt, zu der Position (dem Punkt) des Objekts der
geraden Linie zur gegenwärtigen
Zeit als Bewegungsvektor des Objekts. Dieser Bewegungsvektor ist
proportional zu einem relativen Geschwindigkeitsvektor des Objekts
in Bezug auf das Fahrzeug 10.
-
Danach
führt die
Bildverarbeitungseinheit 1 in Schritt 15, nach der Bestimmung
des relativen Bewegungsvektors, einen Warnbestimmungsprozess aus,
um die Kontaktmöglichkeit
zwischen dem Fahrzeug 10 und dem erfassten Objekt zu bestimmen (Schritt
16). Der Warnbestimmungsprozess wird später im Detail beschrieben.
-
Die
Bildverarbeitungseinheit 1 startet die Prozessabschnitte 1 erneut,
wenn sie im Warnbestimmungsprozess in Schritt 16 bestimmt (wenn
das Bestimmungsergebnis in Schritt 16 NEIN ist), dass kein Objekt
den Bedingungen zum Warnen genügt (kein
Objekt die Anforderungen zum Warnen erfüllt). Wenn sie in Schritt 16
bestimmt, dass irgendeines der Objekte den Bedingungen zum Warnen
genügt (wenn
in Schritt 16 das Bestimmungsergebnis JA ist), geht die Bildverarbeitungseinheit 1 zu
Schritt 17 weiter, um den Warnausgabebestimmungsprozess durchzuführen, zur
Bestimmung, ob tatsächlich
eine Warnung für
ein Objekt ausgegeben werden soll, das den Bedingungen zum Warnen
genügt
(Schritt 17). In diesem Warnausgabebestimmungsprozess wird auf der
Basis einer Ausgabe des Bremssensors 5 geprüft, ob der
Fahrer die Bremse des Fahrzeugs 10 betätigt, und es wird bestimmt,
dass keine Warnung ausgegeben werden sollte, wenn die Verzögerung (positiv
in der Verzögerungsrichtung
der Fahrgeschwindigkeit) des Fahrzeugs 10 größer als
ein vorbestimmter Schwellenwert (>0)
ist. Solange nicht der Fahrer die Bremse betätigt oder wenn die Verzögerung des
Fahrzeugs 10 gleich oder niedriger als der vorbestimmte
Schwellenwert ist, obwohl der Fahrer die Bremse betätigt, bestimmt
die Bildverarbeitungseinheit 1, dass die Warnung ausgegeben
werden sollte.
-
Wenn
die Bildverarbeitungseinheit 1 bestimmt, dass die Warnung
ausgegeben werden sollte (wenn das Bestimmungsergebnis in Schritt
17 JA ist), gibt sie Warnungsinformation aus (Schritt 18). Insbesondere
wird die Warnungsinformation durch eine Stimme über den Lautsprecher 6 ausgegeben,
und das Bild des Objekts, das den Warnbedingungen genügt, wird
in dem Standardbild auf dem Display 7 aufleuchtend dargestellt.
Hierdurch wird die Aufmerksamkeit des Fahrers auf das Objekt gerichtet.
-
Auch
besteht die Möglichkeit,
entweder nur den Lautsprecher 6 oder das Display 7 zu
benutzen, um den Fahrer zu warnen.
-
Wenn
in Schritt 17 bestimmt wird, dass die Warnung nicht ausgegeben werden
sollte (wenn bestimmt wird, dass für kein Objekt die Warnung ausgegeben
werden sollte), ist in Schritt 17 das Bestimmungsergebnis NEIN.
In diesem Fall startet die Bildverarbeitungseinheit 1 die
Prozesse ab Schritt 1 erneut.
-
Das
Obenstehende ist der Gesamtbetrieb der Fahrzeugumgebungs-Überwachungsvorrichtung dieser
Ausführung.
Die Einrichtung, die die Prozesse der Schritte 1 bis 6 mittels der
Bildverarbeitungseinheit 1 durchführt, entspricht der Objektextraktionsprozesseinheit
der Erfindung, und die Einreichung, die den Prozess von Schritt
12 durchführt, entspricht
der Abstandsberechnungsprozesseinheit der Erfindung. Die Prozesse
der Schritte 1 bis 6 entsprechend dem Objektextraktionsschritt in
dem Fahrzeugumgebungs-Überwachungsverfahren
der Erfindung.
-
Anschließend wird
der Warnbestimmungsprozess in Schritt 16 des in 3 gezeigten
Flussdiagramms im näheren
Detail in Bezug auf das in 4 gezeigte
Flussdiagramm beschrieben. Einige der Prozesse im in 4 gezeigten
Flussdiagramm sind die gleichen wie z. B. jene in 4 der JP-A-2001-6096 des vorliegenden
Anmelders, und daher wird eine detaillierte Beschreibung dieser
Prozesse in dieser Beschreibung weggelassen.
-
4 ist
ein Flussdiagramm der Warnbestimmungsprozessoperation dieser Ausführung. Der Warnbestimmungsprozess
wird ausgeführt,
um die Kontaktmöglichkeit
zwischen dem Fahrzeug 10 und dem erfassten Objekt durch
einen Kontaktbestimmungsprozess, einen Bestimmungsprozess zu Bestimmung,
ob sich das Objekt innerhalb eines nahen Objektbestimmungsbereichs
befindet, einem Annäherungsobjektkontaktbestimmungsprozess,
einem Fußgängerbestimmungsprozess,
einem künstliche
Struktur-Bestimmungsprozess sowie einem Objekttyp bestimmungsprozess
zu bestimmen, die sich auf die nachfolgend beschriebene Erfindung
beziehen.
-
Zuerst
führt die
Bildverarbeitungseinheit 1 einen Kontaktbestimmungsprozess
durch (Schritt 21. Der Kontaktbestimmungsprozess wird durch Berechnung
einer relativen Geschwindigkeit Vs des Objekts in Bezug auf das
Fahrzeug 10 in der Z-Richtung durchgeführt, basierend auf dem Abstand,
um den das Objekt dem Fahrzeug 10 für eine vorbestimmte Zeitdauer
nahe kommt, und Bestimmung, ob eine Kontaktmöglichkeit zwischen diesen beiden
innerhalb einer zulässigen
Zeit T besteht (zum Beispiel zwei bis fünf Sekunden), unter der Annahme,
dass sie sich bewegen, während
die relative Geschwindigkeit Vs beibehalten wird. Insbesondere wenn
der Abstand zwischen dem Fahrzeug 10 in dem Objekt gleich
oder kleiner als ein Wert ist, der durch Multiplizieren der relativen
Geschwindigkeit Vs mit der zulässigen
Zeit T erhalten wird, bestimmt die Bildverarbeitungseinheit 1,
dass eine Kontaktmöglichkeit
zwischen diesen besteht.
-
Wenn
dann in Schritt 21 die Kontaktmöglichkeit
zwischen dem Fahrzeug 10 und dem Objekt innerhalb der zulässigen Zeit
T vorhanden ist (wenn das Bestimmungsergebnis in Schritt 21 JA ist),
geht die Steuerung zu Schritt 22 weiter, wo die Bildverarbeitungseinheit 1 bestimmt,
ob sich das Objekt innerhalb des engen Objektbestimmungsbereichs
befindet, um die Zuverlässigkeit
der Bestimmung weiter zu erhöhen
(Schritt 22). Der Bestimmungsprozess zur Bestimmung, ob sich das
Objekt innerhalb des nahen Objektbestimmungsbereichs befindet, wird
durch die Bestimmung durchgeführt,
ob sich das Objekt innerhalb eines Bereichs befindet, der einer
Reichweite entspricht, die die Breite des Fahrzeugs 10 plus Spielräumen (zum
Beispiel in der Größenordnung von
50 bis 100 cm) an beiden Seiten des Fahrzeugs 10 hat, in
anderen Worten, innerhalb des nahen Objektbestimmungsbereichs, mit
einem extrem hohen Kontaktrisiko mit dem Fahrzeug 10, wenn
das Objekt dort weiterhin vorhanden ist, in einem Bereich, der durch
die Infrarotkameras 2R und 2L überwacht werden kann.
-
Ferner
führt in
Schritt 22, so lange sich nicht das Objekt innerhalb des nahen Objektbestimmungsbereichs
befindet (wenn in Schritt 22 das Bestimmungsergebnis NEIN ist),
die Bildverarbeitungseinheit 1 den Annäherungsobjektkontaktbestimmungsprozess
durch, zur Bestimmung, ob die Möglichkeit besteht,
dass das Objekt in den nahen Objektbestimmungsbereich eindringt
und mit dem Fahrzeug 10 in Kontakt kommt (Schritt 23).
Eine Fläche,
die X-Koordinaten mit größeren Absolutwerten
als jenen der X-Koordinaten des obigen nahen Objektbestimmungsbereichs
aufweist (einer Fläche
seitlich außerhalb
des nahen Objektbestimmungsbereichs) in dem Bildaufnahmebereich
der Kamera wird als der Annäherungsobjektbestimmungsbereich
bezeichnet. Der Annäherungsobjektbestimmungsprozess
erfolgt durch Bestimmung, ob das Objekt in diesem Bereich durch
Bewegung in den nahen Objektbestimmungsbereich eindringt und mit
dem Fahrzeug 10 in Kontakt kommt. Insbesondere wenn sich
der Bewegungsvektor (siehe Schritt 15) des Objekts, das sich in
dem nahem Objektbestimmungsbereich befindet, zu dem Fahrzeug 10 hin
erstreckt, bestimmt die Bildverarbeitungseinheit 1, dass
das Objekt mit dem Fahrzeug 10 wahrscheinlich in Kontakt
kommen wird.
-
Wenn
sich andererseits in Schritt 22 das Objekt innerhalb des nahen Objektbestimmungsbereichs
befindet (wenn in Schritt 22 das Bestimmungsergebnis JA ist), führt die
Bildverarbeitungseinheit 1 einen künstliche Struktur Bestimmungsprozess durch,
zur Bestimmung, ob das Objekt eine künstliche Struktur ist (Schritt
24). Der künstliche
Strukturbestimmungsprozess wird durchgeführt, indem ein Objekt als künstliche
Struktur bestimmt wird und das Objekt von dem Ziel der Warnung ausgeschlossen wird,
wenn ein für
einen Fußgänger unmögliches Merkmal
in der Bildfläche
des Objekts erfasst wird, wie zum Beispiel in den folgenden Bedingungen
(a) bis (d) angegeben:
- (a) Das Bild des Objekts
enthält
einen eine lineare Kante repräsentierenden
Abschnitt;
- (b) Das Bild des Objekts hat einen rechten Winkel;
- (c) Das Bild des Objekts enthält die gleichen Formen;
- (d) Die Form des Bilds des Objekts passt zu einem zuvor registrierten
Muster einer künstlichen Struktur.
-
Wenn
dann in Schritt 24 bestimmt wird, dass das Objekt keine künstliche
Struktur ist (wenn in Schritt 24 das Bestimmungsergebnis NEIN ist),
führt die
Bildverarbeitungseinheit 1 einen Fußgängerbestimmungsprozess durch
zur Bestimmung, ob die Möglichkeit
besteht, dass das Objekt ein Fußgänger ist,
um die Zuverlässigkeit
der Bestimmung zu erhöhen
(Schritt 25). Der Fußgängerbestimmungsprozess
wird durchgeführt,
indem das Objekt ein Fußgänger ist,
basierend auf Merkmalen wie etwa der Form, Größe, der Luminanzveränderung
oder dergleichen des Bildbereichs des Objekts in dem Graustufenbild.
-
Wenn
es ferner in Schritt 23 wahrscheinlich ist, dass das Objekt in dem
nahen Objektbestimmungsbereich eindringt und mit dem Fahrzeug 10 in Kontakt
kommt (wenn in Schritt 23 das Bestimmungsergebnis JA ist), und wenn
in Schritt 25 das Objekt wahrscheinlich ein Fußgänger ist (wenn in Schritt 25
das Bestimmungsergebnis JA ist), bestimmt die Bildverarbeitungseinheit 1,
dass das Objekt Ziel einer Warnung ist (Schritt 26) und betrachtet das
Bestimmungsergebnis im in 3 gezeigten Schritt
16 als JA. Dann geht die Steuerung zu Schritt 17 weiter, wo die
Bildverarbeitungseinheit 1 den Warnungsausgabebestimmungsprozess
durchführt (Schritt
17).
-
Wenn
andererseits im obigen Schritt 25 bestimmt wird, dass das Objekt
kein Fußgänger ist (wenn
in Schritt 25 das Bestimmungsergebnis NEIN ist), wird der erfindungsgemäße Objekttypbestimmungsprozess
durchgeführt,
dessen Details später beschrieben
werden. In dem Objekttypbestimmungsprozess wird bestimmt, ob sich
unter den Objekten ein anderes Lebewesen als ein Mensch befindet. Wenn
als Ergebnis des Objekttypbestimmungsprozesses bestimmt wird, dass
ein Objekt ein anderes Lebewesen als ein Mensch ist (wenn in Schritt
27 das Bestimmungsergebnis JA ist), bestimmt die Bildverarbeitungseinheit 1 das
erfasste Objekt als Ziel einer Warnung (Schritt 26) und betrachtet
das Bestimmungsergebnis im in 3 gezeigten
Schritt 16 als ein JA. Dann geht die Steuerung zu Schritt 17 weiter, wo
die Bildverarbeitungseinheit 1 den Warnungsausgabebestimmungsprozess
durchführt
(Schritt 17).
-
Wenn
andererseits im obigen Schritt 21 innerhalb der zulässigen Zeit
T keine Kontaktmöglichkeit
zwischen dem Fahrzeug 10 und dem Objekt vorliegt (wenn
in Schritt 21 das Bestimmungsergebnis NEIN ist), wenn in Schritt
23 das Objekt wahrscheinlich nicht in den nahen Objektbestimmungsbereich eindringt
und mit dem Fahrzeug 10 in Kontakt kommt (wenn in Schritt
23 das Bestimmungsergebnis NEIN ist), wenn in Schritt 24 bestimmt
wird, dass das Objekt eine künstliche
Struktur ist (wenn in Schritt 24 das Bestimmungsergebnis JA ist),
oder wenn in Schritt 27 bestimmt wird, dass das Objekt kein anderes
Lebewesen als ein Mensch ist (wenn in Schritt 27 das Bestimmungsergebnis
NEIN ist), dann bestimmt die Bildverarbeitungseinheit 1,
dass das erfasste Objekt kein Ziel der Warnung ist (Schritt 28)
und betrachtet das Bestimmungsergebnis in Schritt 16 als ein NEIN.
Dann kehrt die Steuerung zu Schritt 1 zurück, wo die Bildverarbeitungseinheit 1 den
Erfassungs- und Warnungsbetrieb für ein Objekt wie etwa einen
Fußgänger oder
dergleichen wiederholt.
-
Das
obige beschreibt den Warnbestimmungsprozess in Schritt 16 des in 3 gezeigten Flussdiagramms.
-
Nachfolgend
wird der erfindungsgemäße Objekttypbestimmungsprozess
von Schritt 27 in Bezug auf das in Schritt 5 gezeigte Flussdiagramm,
zusammen mit den 6 und 7 beschrieben.
-
Zuerst
erfasst die Bildverarbeitungseinheit 1 eine umgekehrte
Dreieckform vorbestimmter Größe in Abhängigkeit
vom Abstand zwischen dem Objekt und dem Fahrzeug 10 als
erste Objektfläche
durch ein bekanntes Formabgleichungsverfahren aus einem binären Bild
(siehe Schritt 2) jedes Objekts, das obigen Schritt 25 nicht als
Fußgänger bestimmt
wurde (Schritt 31). Übrigens
entspricht hier die umgekehrte Dreieckform vorbestimmter Größe den Kopf eines
großen
Tiers, wie etwa eines Hirsches, einer Kuh, eines Pferds oder eines
Kamels, und die vorbestimmte Größe wird
als jenes der umgekehrten Dreieckform gemäß einem Abstand des Objekts
und des Fahrzeugs 10 gesetzt. Wenn daher die Bildfläche des Objekts
eine umgekehrte Dreieckform enthält,
wird ein Verkehrszeichen, das nicht die dem Kopf eines großen Tiers
entsprechende Form eines umgekehrten Dreiecks hat, oder eine Zeichentafel,
die nicht eine vorbestimmte Größe hat,
nicht als die erste Objektfläche
erfasst.
-
Wenn
man zum Beispiel das Infrarotbild eines Hirsches, wie in 6(a) gezeigt, aufnimmt, hat das binäre Bild
des aufgenommenen Infrarotbilds die in 6(b) gezeigte
Außenform.
Danach wird eine dem Kopf des Tiers entsprechende umgekehrte Dreieckform,
wie in 7 gezeigt, aus der Außenform des Objekts in dem
binären
Bild mittels des Formabgleichungsverfahren als erste Objektfläche P1 erfasst.
-
Wenn
anschließend
die erste Objektfläche
in Schritt 31 erfasst wird (wenn in Schritt 31 das Bestimmungsergebnis
JA ist), geht die Steuerung zu Schritt 32 weiter, wo die Bildverarbeitungseinheit 1 eine Mehrzahl
zweiter Objektflächenkandidaten
extrahiert, die einer Bedingung genügen, dass sie unterhalb einer
ersten Objektfläche
und innerhalb einer vorbestimmten Reichweite (Abstand) von der ersten Objektfläche angeordnet
sind. Dann erfasst die Bildverarbeitungseinheit 1 eine
zweite Objektfläche
in einem zweiten Objektflächenkandidaten,
dessen Realraumposition innerhalb eines vorbestimmten Abstands von
der Leerraumposition der ersten Objektfläche angeordnet ist, als zweite
Objektfläche,
die unter der Mehrzahl der zweiten Objektflächenkandidaten dem Körper entspricht
(Schritt 32). Übrigens
wird hier die vorbestimmte Reichweite gesetzt, indem eine Reichweite
in dem Bild angenommen wird, wo der Körper allgemein relativ zum
Kopf eines großen Tiers
angeordnet sein kann, wie etwa eines Hirsches, einer Kuh, eines
Pferds, eines Kamels oder dergleichen. Wenn das Tier als Objekt
von der Vorderseite her betrachtet wird, ist der Körper allgemein
direkt unterhalb des Kopfs angeordnet. Wenn es andererseits von
hinten her betrachtet wird, ist der Körper nicht direkt unterhalb
des Kopfes angeordnet, sondern an dieser Seite (der dem Fahrzeug 10 näheren Seite).
Daher wird der vorbestimmte Abstand gesetzt, in dem ein Abstand
angenommen wird, der äquivalent
einem Abstand von der Kopfposition zur weitesten Position des Körpers in
dem realen Raum ist.
-
Zum
Beispiel wird im in 7 gezeigten Fall eine Bildfläche P2,
die unterhalb der ersten Objektfläche P1 und innerhalb der vorbestimmten
Reichweite von der ersten Objektfläche P1 angeordnet ist, als zweiter
Objektflächenkandidat
erfasst, und wenn die Realraumposition der Bildfläche P2 innerhalb
des vorbestimmten Abstands von der Realraumposition der ersten Objektfläche P1 ist,
wird die Bildfläche
P2 als zweite Objektfläche
erfasst.
-
Wenn
anschließend
die zweite Objektfläche in
Schritt 32 erfasst ist (in Schritt 32 das Bestimmungsergebnis JA
ist), geht die Steuerung zu Schritt 33 weiter, wo die Bildverarbeitungseinheit 1 eine
erste Flächenbreite,
die die horizontale Breite der ersten Objektfläche des Objekts ist, und eine
zweite Flächenbreite,
die an der Position gemäß der Breite
ist, wo die zweite Objektfläche
die maximale horizontale Breite hat, berechnet (Schritt 33).
-
Zum
Beispiel berechnet im in 7 gezeigten Fall die Bildverarbeitungseinheit 1 eine
erste Flächenbreite
AW, die die horizontale (x-Achsenrichtung in 7) Breite
der ersten Objektfläche
P1 in dem binären
Bild ist, und eine zweite Flächenbreite
BW, die die maximale horizontale Breite der zweiten Objektfläche P2 ist.
Während
hier die erste Flächenbreite als
horizontale Breite AW der ersten Objektfläche P1 berechnet wird, besteht
auch die Möglichkeit,
unter Verwendung der Koordinaten in dem Bild die Länge einer
Seite (die Länge
zwischen Q1 und R1 in 7) zu berechnen, die zu dem
Scheitelwinkel weist, der an der untersten Position der umgekehrten
Dreieckform angeordnet ist, und die Länge als die erste Flächenbreite
zu betrachten. Während
ferner die zweite Flächenbreite
die Breite BW ist, die an der Position gemessen wird, wo die zweite
Objektfläche
P2 die maximale horizontale Breite hat, kann sie auch die Länge BW' zwischen beiden
Endrändern
Q2 und R2 der zweiten Objektfläche
P2 in der horizontalen Richtung sein.
-
Anschließend geht,
nachdem die erste Flächenbreite
und die zweite Flächenbreite
in Schritt 33 berechnet sind, die Steuerung zu Schritt 34 weiter, wo
die Bildverarbeitungseinheit 1 bestimmt, ob die zweite
Flächenbreite
gleich oder kleiner als eine Hälfte
der ersten Flächenbreite
ist (Schritt 34).
-
Zum
Beispiel wird im in 7 gezeigten Fall bestimmt, ob
der Wert BW/AW gleich oder kleiner als eine Hälfte der ersten Flächenbreite
ist, wobei AW die erste Flächenbreite
ist und BW die zweite Flächenbreite
ist, in dem binären
Bild. Der Grund, warum die Bestimmungsbedingung des Werts BW/AW
gleich oder kleiner als eine Hälfte
ist, ist der, dass die Breite des den Kopf tragenden Körpers vermutlich
größer ist
als zumindest eine Hälfte
der Breite des Kopfs. In anderen Worten, wenn die zweite Flächenbreite
BW als die Breite des Körpers
gleich oder kleiner als die erste Flächenbreite AW als Breite des
Kopfs ist, ist die Beziehung unmöglich
eine solche zwischen dem Kopf und dem den Kopf tragenden Körper des
Tiers. Daher wird allgemein eine künstliche Struktur wie etwa
ein Verkehrszeichen, dessen BW/AW Wert gleich oder kleiner als eine
Hälfte
ist, allgemein so bestimmt, dass sie kein anderes Lebewesen als
ein Mensch ist.
-
Wenn
in Schritt 34 die zweite Flächenbreite größer als
eine Hälfte
der ersten Flächenbreite
ist (wenn in Schritt 34 das Bestimmungsergebnis NEIN ist), bestimmt
die Bildverarbeitungseinheit 1 das Objekts als ein anderes
Lebewesen als ein Tier (Schritt 35) und beendet den Objekttypbestimmungsprozess.
-
Wenn
andererseits im obigen Schritt 31 im binären Bild die erste Objektfläche nicht
erfasst wird (wenn in Schritt 31 das Bestimmungsergebnis NEIN ist),
wenn in Schritt 32 die zweite Objektfläche nicht unterhalb der ersten
Objektfläche
erfasst wird (wenn in Schritt 32 das Bestimmungsergebnis NEIN ist), wenn
in Schritt 34 die zweite Flächenbreite
gleich oder kleiner als eine Hälfte
der ersten Flächenbreite ist
(wenn in Schritt 34 das Bestimmungsergebnis JA ist), dann bestimmt
die Bildverarbeitungseinheit 1, dass das Objekt kein anderes
Lebewesen als ein Mensch ist (Schritt 36) und beendet den Objekttypbestimmungsprozess.
-
Oben
sind die Details des Objekttypbestimmungsprozesses der Erfindung
beschrieben worden. Die Einrichtung, die die Prozesse von Schritt
31 bis 36 mittels der Bildverarbeitungseinheit 1 ausführt, entspricht
der Objekttypbestimmungsprozesseinheit der Erfindung. Darüber hinaus
entsprechend die Prozesse der Schritte 33 bis 36 dem Objekttypbestimmungsschritt
der Fahrzeugumgebungsüberwachungsverfahrens
der Erfindung.
-
Im
Objekttypbestimmungsprozess in Schritt 27 dieser Ausführung wird
mittels des binären
Bilds bestimmt, ob das Objekt ein anderes Lebewesen als ein Mensch
ist, unter den folgenden Bedingungen:
- (1) Das
Objekt enthält
die erste Objektfläche,
die die umgekehrte Dreieckform und die vorbestimmte Größe entsprechend
einem Kopf hat (Schritt 31);
- (2) Das Objekt enthält
die dem Körper
entsprechende zweite Objektfläche
(Schritt 32); und
- (3) das Objekt hat die zweite Flächenbreite, die größer ist
als eine Hälfte
der ersten Flächenbreite (Schritt
34).
-
Die
Bestimmung kann jedoch auch unter einem Teil der obigen Bedingungen
(1) bis (3) durchgeführt
werden. Zum Beispiel kann sie auch nur unter den obigen Bedingungen
(1) und (2) durchgeführt werden.
Darüber
hinaus kann die Bestimmung auch durchgeführt werden, wenn die obige
Bedingung (1) wie folgt geändert
ist: Das Objekt enthält
die erste Objektfläche
mit der umgekehrten Dreieckform (in der Bedingung ist "die vorbestimmte
Größe" nicht enthalten).
-
Obwohl
in dieser Ausführung
in dem Objekttypbestimmungsprozess in Schritt 27 bestimmt wird, ob
der Objekttyp ein anderes Lebewesen als ein Mensch ist, besteht
auch die Möglichkeit
zur Bestimmung, ob irgendein anderer Typ bestimmt werden kann. Zum
Beispiel besteht auch die Möglichkeit,
entsprechend der Größe der Bildfläche des
Objekts zu bestimmen, ob der Objekttyp ein großes Tier oder ein kleines Tier
ist. Alternativ besteht auch die Möglichkeit, unter den großen Tieren
zu bestimmen, ob der Objekttyp ein Hirsch, eine Kuh, ein Pferd oder
dergleichen ist, in dem ferner die Form identifiziert wird, die
aus der Bilfläche
des Objekts erfasst wird.
-
Während ferner
in dieser Ausführung
in dem Objekttypbestimmungsprozess in Schritt 27 die Prozesse der
Schritte 31 bis 37 anhand des binären Bilds durchgeführt werden,
ist der Objekttypbestimmungsprozess hierauf nicht beschränkt. Zum
Beispiel können
die Prozesse der Schritte 31 bis 37 auch mittels des Standardbilds
anstatt des binären
Bilds durchgeführt
werden, wie etwa unter Verwendung einer Luminanz-Varianz des Standardbilds.
-
Während ferner
in dieser Ausführung
in dem Objekttypbestimmungsprozess in Schritt 27 (Schritt 31) die
umgekehrte Dreieckform mit der vorbestimmten Größe in Abhängigkeit vom Abstand zwischen dem
Objekt und dem Fahrzeug 10 als die erste Objektfläche aus
der Außenform
des Objekts in dem binären
Bild mittels des bekannten Formabgleichverfahrens erfasst wird,
ist der Objekttypbestimmungsprozess hierauf nicht beschränkt. Zum
Beispiel wird das binäre
Bild des Objekts zwischen Flächen
abnehmender und zunehmender Änderung
der Lauflänge
des binären
Bilds des Objekts aufgeteilt. Dann ist es möglich, eine Fläche mit
vorbestimmter Größe dort
zu erfassen, wo die Lauflänge
in der abwärtigen Richtung
der geteilten Flächen
abnimmt, als umgekehrte Dreieckform.
-
Während ferner
in dieser Ausführung
die vorbestimmte Warnung basierend auf dem Verarbeitungsergebnis
der Bildverarbeitungseinheit 1 ausgegeben wird, kann auch
das Verhalten des Fahrzeugs basierend auf dem Verarbeitungsergebnis
gesteuert/geregelt werden.
-
Während in
dieser Ausführung
die zwei Infrarotkameras 2R und 21 vorgesehen
wurden, kann in dem Fahrzeug auch eine Infrarotkamera 2R oder 2L mit
einem Radar oder dergleichen ausgestattet sein, um den Abstand von
dem Objekt zu erfassen.
-
Es
wird eine Fahrzeugumgebungs-Überwachungsvorrichtung
angegeben, die in der Lage ist, einen Objekttyp zu bestimmen, insbesondere
unter Objekten ein anderes Lebewesen als einen Menschen zu bestimmen.
Die Fahrzeugumgebungs-Überwachungsvorrichtung,
welche die Umgebung eines Fahrzeugs (10) mittels eines
von einer am Fahrzeug angebrachten Kamera (2R, 2L)
aufgenommenen Bilds überwacht,
umfasst: eine Objektextraktionsprozesseinheit (S1 bis S6), die eine
Bildfläche
eines Objekts aus dem von der Kamera (2R, 2L) aufgenommenen
Bild extrahiert; und eine Objekttypbestimmungsprozesseinheit (S31-S36),
die einen Objekttyp in Abhängigkeit
davon bestimmt, ob die Bildfläche
des von der Objektextraktionsprozesseinheit (S1-S6) extrahierten
Objekts eine erste Objektfläche
(P1) mit umgekehrter Dreieckform und eine zweite Objektfläche (P2),
die unter der ersten Objektfläche
(P1) und innerhalb einer vorbestimmten Reichweite von der ersten
Objektfläche
(P1) angeordnet ist, enthält.