DE102005026875B4

DE102005026875B4 - Fahrzeugumgebungs-Überwachungsvorrichtung

Info

Publication number: DE102005026875B4
Application number: DE102005026875A
Authority: DE
Inventors: Fuminori Wako Taniguchi; Nobuharu Wako Nagaoka
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-06-14
Filing date: 2005-06-10
Publication date: 2008-03-27
Anticipated expiration: 2025-06-11
Also published as: JP2005354597A; US7233233B2; DE102005026875A1; US20050276447A1; JP3934119B2

Abstract

Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend:
eine Infrarotbildaufnahmevorrichtung (2R, 2L) zum Aufnehmen eines Grauwertbilds,
eine Fußgänger-Beinkennwertspeichervorrichtung (in 1) zum Speichern eines Kennwerts vom Bein eines Fußgängers,
eine Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) zum Extrahieren eines binärisierten Objekts durch Binärisierung des Grauwertbilds,
eine Beinbewertungsvorrichtung (S41–S44) zum Bewerten, ob das binärisierte Objekt das Bein des Fußgängers ist oder nicht, durch Vergleich des Kennwerts des von der Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) extrahierten binärisierten Objekts mit dem Kennwert des Beins eines Fußgängers, und
eine Fußgängererkennungsvorrichtung (S45) zum Erkennen des das binärisierte Objekt enthaltenden Objekts als Fußgänger, wenn das binärisierte Objekt von der Beinbewertungsvorrichtung (S41–S44) als Bein eines Fußgängers erkannt wird.

Description

Die Erfindung betrifft eine Fahrzeugumgebungs-Überwachungsvorrichtung, die durch Binärisierung eines Infrarotbilds ein Objekt extrahiert.
Herkömmlich gibt es eine Fahrzeugumgebungs-Überwachungsvorrichtung, die ein Objekt, wie etwa einen Fußgänger, der möglicherweise mit einem Fahrzeug kollidieren könnte, aus einem Bild der Fahrzeugumgebung, das von einer Infrarotbildaufnahmevorrichtung (Infrarotkamera) aufgenommen ist, extrahiert. Genauer gesagt, wird in dieser Vorrichtung ein Infrarotbild einem Binärisierungsprozess unterzogen, um den Bereich zu suchen, wo sich helle Teile konzentrieren (binärisiertes Objekt), und es wird bewertet, ob das Infrarotobjekt der Kopf des Fußgängers ist oder nicht, indem das Aspektverhältnis, der Anforderungserfüllungsprozentsatz des binärisierten Objekts und ferner der Abstand von einem momentanten Bereich zur Schwerpunktsposition in einer Anzeige berechnet wird. Wenn ferner gewertet wird, dass das binärisierte Objekt der Kopf des Fußgängers ist, wird die Höhe bzw. Größe des Fußgängers im Bild berechnet, um den Bereich zu bestimmen, der den Körper des Fußgängers abdeckt, und diese Bereiche werden angezeigt, wobei diese von den anderen Bereichen abgegrenzt sind. Auf diese Weise ist es möglich, noch effizienter eine visuelle Unterstützung durchzuführen, indem die Position des gesamten Körpers des Fußgängers in einem Infrarotbild spezifiziert wird, und diese Information dem Fahrer des Fahrzeugs angezeigt wird, wie z.B. in der JP-A-Nr. H11-328364 offenbart.
Ferner wird bei einigen Fahrzeugumgebungs-Überwachungsvorrichtungen der Fußgängererfassungsalarm unterdrückt, wenn das Wetter der Umgebung der Fahrzeuge regnerisch ist und der Fußgänger sich hinter einem Regenschutz, wie etwa einem Regenschirm, verbergen könnte. Genauer gesagt, könnte in dem Fall, in dem die Fußgängererfassung mittels eines Infrarotsensors durchgeführt wird, die Erfassungsgenauigkeit schlechter werden, wenn sich ein Fußgänger hinter einen Regenschutz, wie etwa einem Regenschirm verbirgt, wodurch verhindert wird, dass die Körpertemperatur an einem regnerischen Tag erfasst wird, zusätzlich zu der Tatsache, dass der Infrarotsensor die Wärme von Asphalt und Gebäuden erfassen könnte. Daher wird vorgeschlagen, die Ausgabe des Fußgängererfassungsalarms zu stoppen, wenn erfasst wird, dass die Niederschlagsmenge mehr als eine vorbestimmte Menge ist, d.h. eine solche Menge, dass der Fußgänger einen Regenschutz, wie etwa einen Regenschirm, benötigt und dass der Fußgänger sich hinter dem Regenschirm verbergen könnte, und wobei der Fahrer informiert wird, dass die Erfassungsgenauigkeit des Fußgängers abgenommen hat, wie z.B. in der JP-A-Nr. 2000-211453 offenbart. Daher kann ein nicht angemessener Fußgängererfassungsalarm unterdrückt werden, falls das Wetter in der Fahrzeugumgebung regnerisch ist.
Wie oben erwähnt, können vergleichsweise unterscheidbare körperliche Merkmale eines Fußgängers, der sich auf einer Straße befindet, wie etwa der Kopf des Fußgängers, nicht immer mit einer Infrarotkamera aufgenommen werden. Z.B. zeigt 13 ein Infrarotbild (Grauwertbild), das den Fußgänger zeigt, der einen Regenschirm trägt, wenn der Fußgänger den Regenschirm tief unten hält (der Abschnitt, der in 13 mit einem weißen Kreis markiert ist), sodass der Kopf des Fußgängers versteckt ist, und ein Problem auftritt, dass die Erkennung des Fußgängers schwierig werden könnte.
Um daher die visuelle Unterstützung eines Fahrzeugfahrer noch effizienter durchzuführen, ist es notwendig, den Erkennungsprozentsatz eines Fußgängers zu verbessern, indem die Extraktion eines Fußgängers nicht nur anhand vergleichsweise unterscheidbarer körperlicher Merkmale eines Fußgängers durchgeführt wird, wie etwa der Bewertung auf der Basis der Haltung, des Kopfs und des Rumpfs des Körpers, und nur auf der Basis des Kopfs, wie in der JP-A-H11-328364 offenbart), sondern auch auf der Basis anderer Merkmale als den vergleichsweise unterscheidbaren körperlichen Merkmalen eines Fußgängers.
Selbst wenn das Wetter in der Fahrzeugumgebung regnerisch ist und sich ein Fußgänger in der Umgebung des Fahrzeugs befindet, ist es notwendig, den Fußgänger richtig zu erfassen und einen Alarm auszugeben, um die Aufmerksamkeit des Fahrzeugfahrers zu erregen, gerade weil durch das regnerische Wetter die Sicht schlecht ist, ohne die Ausgabe des Fußgängererfassungsalarms zu stoppen, wie in der JP-A-2000-211453 offenbart.
Die prioritätsältere, aber nachveröffentlichte DE 10 2004 012 811 A1 zeigt eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs, die in der Lage ist, um das Fahrzeug herum befindliche Objekte auf der Basis eines Bilds zu erfassen, das durch zumindest ein mit dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen ist. Eine Fläche, aus der geschlossen wird, dass sie dem Kopf des Fussgängers entspricht, wird als Referenzfläche etabliert. Zwei Objektflächen werden über der Referenzfläche etabliert, so dass sie Räumen oberhalb der Schultern an beiden Seiten des Fussgängerkopfes entsprechen. Eine Fläche, die dem Kopf und den Schultern in einem Infrarotstrahlenbild entspricht, wird erkannt. Eine andere Objektfläche, aus der geschlossen wird, dass sie den Schultern und Armen des Fussgängers entspricht, wird etabliert. Wenn ein Abstand von einem gesamten Fussgänger und ein Abstand von einer Fläche, die den Schultern und Armen entspricht, gleich sind, wird erkannt, dass ein binäres Objekt, das die Fläche enthält, die den Schultern und Armen entspricht, einen Fussgänger anzeigt.
Aus der EP 1 215 618 A2 ist ein Bildverarbeitungsverfahren zum Erkennen menschenartiger Figuren in einem digitalen Farbbild bekannt, mit den Schritten: Erzeugen eines digitalen Farbbildes; Unterteilen des Bildes in dicht überlappende Bereiche, homogener Farbe oder Textur; Erfassen von Bereichen mit menschlicher Hautfarbe; und Erfassen von Bereichen menschlicher Gesichter, wobei für jeden solchen Gesichtsbereich eine menschliche Figur konstruiert wird indem Bereiche in der Nähe des Gesichtsbereichs entsprechend einem vordefinierten graphischen Modell einer menschlichen Figur gruppiert werden, wobei Bereichen mit menschlicher Hauptfarbe Priorität gegeben wird.
Die DE 102 47 371 A1 zeigt eine Fahrzeuginformation-Bereitstellungsvorrichtung vor, die den Bereich des Vorhandenseins einer Person auf der Basis der Charakteristiken von Bildern, die von Infrarotkameras aufgezeichnet wurden, bestimmt und anzeigt. Die Bildverarbeitungseinheit führt einen Helligkeitsänderungs-Suchprozess in der Infrarotkamera-Bildzone, die durch eine Graustufe repräsentiert ist, unter Verwendung eines Suchbereichs aus, worin die Größe eines zuerst erfassten Bereichs, der durch Binärisierung und eine Korrelationsoperation erfasst ist, als die Referenz dient. Zusätzlich wird die Parallaxe zwischen dem zuerst erfassten Bereich und dem gesuchten Bereich, der eine Helligkeitsänderung aufweist, verglichen, wird ein Suchbereich, der eine Parallaxe hat, die sich von jener des zuerst gesuchten Bereichs unterscheidet, eliminiert, und wird der Suchbereich, der eine Parallaxe hat, die mit jener des zuerst erfassten Bereichs identisch ist, mit einer aufleuchtenden Anzeige versehen, als ein Objekt, das mit jenem des zuerst erfassten Bereichs identisch ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Aufgabe der Erfindung ist es daher, eine Fahrzeugumgebungs-Überwachungsvorrichtung anzugeben, die ein unbestimmtes binärisiertes Objekt, das aus einem Infrarotbild extrahiert ist, präzise bewerten kann und die einen Fußgänger sicher erkennen kann.
Zur Lösung der Aufgabe wird gemäß einem ersten Aspekt der Erfindung eine Fahrzeugumgebungs-Überwachungsvorrichtung angegeben, die ein Objekt der Umgebung des Fahrzeugs unter Verwendung eines von einer Infrarotbildaufnahmevorrichtung aufgenommenen Grauwertbilds extrahiert, enthaltend: eine Infrarotbildaufnahmevorrichtung zum Aufnehmen eines Grauwertbilds, eine Fußgänger-Beinkennwertspeichervorrichtung zum Speichern eines Kennwerts vom Bein eines Fußgängers, eine Binärisiertes-Objekt-Extraktionsvorrichtung zum Extrahieren eines binärisierten Objekts durch Binärisierung des Grauwertbilds, eine Beinbewertungsvorrichtung zum Bewerten, ob das binärisierte Objekt das Bein des Fußgängers ist oder nicht, durch Vergleich des Kennwerts des von der Binärisiertes-Objekt-Extraktionsvorrichtung extrahierten binärisierten Objekts mit dem Kennwert des Beins eines Fußgängers, und eine Fußgängererkennungsvorrichtung zum Erkennen des das binärisierte Objekt enthaltenden Objekts als Fußgänger, wenn das binärisierte Objekt von der Beinbewertungsvorrichtung als Bein eines Fußgängers erkannt wird.
In dieser Fahrzeugumgebungs-Überwachungsvorrichtung wird ein binärisiertes Objekt durch die Binärisiertes-Objekt-Extraktionsvorrichtung aus dem von der Infrarotaufnahmevorrichtung aufgenommenen Grauwertbild extrahiert, wobei der Kennwert des extrahierten binärisiertes Objekts mit dem Kennwert des Beins eines Fußgängers verglichen wird, der in der Fußgängerbeinkennwertspeichervorrichtung gespeichert ist, wodurch die Beinbewertungsvorrichtung bewertet, ob das binärisierte Objekt das Bein des Fußgängers ist oder nicht. Wenn die Beinbewertungsvorrichtung bewertet, dass es das Bein des Fußgängers ist, erkennt die Fußgängererkennungsvorrichtung das Objekt, das das binärisierte Objekt enthält, als Fußgänger. Im Ergebnis ist es möglich, einen Fußgänger zu erkennen, der sich in der Umgebung des Fahrzeugs befindet, und zwar aus der Existenz des Beins des von der Infrarotaufnahmevorrichtung aufgenommenen Fußgängers.
Wenn gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom ersten Aspekt der Erfindung die Beinbewertungsvorrichtung bewertet, dass das binärisierte Objekt ein Fußgängerbein ist, erkennt die Fußgängererkennungsvorrichtung das Objekt, das das binärisierte Objekt enthält, als Fußgänger, wodurch es möglich wird, den Fußgänger in der Umgebung des Fahrzeugs aus der Existenz eines Fußgängerbeins zu erkennen, das von der Infrarotbildaufnahmevorrichtung aufgenommen ist.
Wenn daher der Fußgänger in der Umgebung des Fahrzeugs mittels eines Infrarotbilds erkannt wird, bewertet die Fahrzeugumgebungs-Überwachungsvorrichtung die unbestimmte Form des binärisiertes Objekts, das aus einem Infrarotbild extrahiert ist, präzise, selbst wenn körperliche Eigenschaften des Fußgängers, die sonst leicht bewertet werden können, wie etwa der Kopf eines Fußgängers, nicht erfassbar sind, indem die Existenz des Fußgängerbeins aus einem Infrarotbild gewertet wird, wodurch es möglich ist, einen Fußgänger sicher zu erkennen.
Gemäß einem zweiten Aspekt der Erfindung wird eine Fahrzeugumgebungs-Überwachungsvorrichtung angegeben, die ein Objekt aus der Umgebung des Fahrzeugs unter Verwendung eines von einer Infrarotbildaufnahmevorrichtung aufgenommenen Grauwertbilds extrahiert, enthaltend: eine Infrarotbildaufnahmevorrichtung zum Aufnehmen eines Grauwertbilds, eine Regenschirmkennwertspeichervorrichtung zum Speichern eines Kennwerts eines Regenschirms im von einem Fußgänger gehaltenen Zustand, eine Binärisiertes-Objekt-Extraktionsvorrichtung zum Extrahieren eines binärisierten Objekts durch Binärisierung des Grauwertbilds, eine Umfangsbereichberechnungsvorrichtung zum Berechnen eines Umfangsbereichs auf dem Grauwertbild des von der Binärisiertes-Objekt-Extraktionsvorrichtung extrahierten binärisierten Objekts, eine Suchbereichsetzvorrichtung zum Setzen eines Suchbereichs zwischen ein Oberende des von der Umfangsbereichberechnungsvorrichtung berechneten Umfangsbereichs und das binärisierte Objekt, eine Regenschirmbewertungsvorrichtung zum Bewerten, ob sich der Regenschirm in dem Suchbereich befindet oder nicht, durch Vergleich eines Kennwerts des von der Suchbereichsetzvorrichtung gesetzten Suchbereichs mit dem Kennwert des Regenschirms im von einem Fußgänger gehaltenen Zustand, und eine Fußgängererkennungsvorrichtung zum Erkennen des das binärisierte Objekt enthaltenden Objekts als Fußgänger, wenn durch die Regenschirmbewertungsvorrichtung erkannt wird, dass sich der vom Fußgänger gehaltene Regenschirm in dem Suchbereich befindet.
In dieser Fahrzeugumgebungs-Überwachungsvorrichtung wird der Umfangsbereich des Grauwertbilds des binärisierten Objekt durch die Umfangsbereichberechnungsvorrichtung berechnet, während das binärisierte Objekt aus dem von der Infrarotaufnahmevorrichtung aufgenommenen Grauwertbild durch die Binärisiertes-Objekt- Extraktionsvorrichtung extrahiert wird, und ferner der Suchbereich durch die Suchbereichsetzvorrichtung zwischen das Oberende des von der Umfangsberechnungsvorrichtung berechneten Umfangsbereichs und das binärisierte Objekt gesetzt wird. Ferner wird der Kennwert des gesetzten Suchbereichs mit dem Kennwert des vom Fußgänger gehaltenen Regenschirms verglichen, der in der Regenschirmkennwertspeichervorrichtung gespeichert ist, sodass die Regenschirmspeichervorrichtung bewertet, ob sich der vom Fußgänger gehaltene Regenschirm innerhalb des Suchbereichs befindet oder nicht. Wenn die Regenschirmbewertungsvorrichtung bewertet, dass der vom Fußgänger gehaltene Regenschirm sich innerhalb des Suchbereichs befindet, erkennt die Fußgängererkennungsvorrichtung das das binärisierte Objekt enthaltende Objekt als Fußgänger. Im Ergebnis ist es möglich, den Fußgänger, der sich in der Fahrzeugumgebung befindet, aus der Existenz des vom Fußgänger gehaltenen Regenschirms, der von der Infrarotaufnahmevorrichtung aufgenommen ist, zu erkennen.
Wenn gemäß der Fahrzeugüberwachungsvorrichtung vom zweiten Aspekt der Erfindung die Regenschirmbewertungsvorrichtung bewertet, dass der vom Fußgänger hochgehaltene Regenschirm in dem Suchbereich oberhalb des binärisierten Objekts existiert, erkennt die Fußgängererkennungsvorrichtung das Objekt, das das binärisierte Objekt enthält, als Fußgänger, wodurch es möglich wird, einen Fußgänger in der Umgebung des Fahrzeugs aus der Existenz des vom Fußgänger hochgehaltenen Regenschirms zu erkennen, der von der Infrarotbildaufnahmevorrichtung aufgenommen ist.
Wenn daher der Fußgänger in der Umgebung des Fahrzeugs mittels eines Infrarotbilds erkannt wird, bewertet die Fahrzeugumgebungs-Überwachungsvorrichtung die unbestimmte Form des binärisierten Objekts, das aus einem Infrarotbild extrahiert ist, präzise, selbst wenn körperliche Eigenschaften des Fußgängers, die sonst leicht bewertet werden können, wie etwa der Kopf des Fußgängers, nicht erfassbar sind, weil der Fußgänger einen Regenschirm hochhält, indem die Existenz des vom Fußgänger hochgehaltenen Regenschirms aus einem Infrarotbild gewertet wird, wodurch es möglich wird, einen Fußgänger sicher zu erkennen.
In einem bevorzugten dritten Aspekt enthält die Erfindung ferner eine Umfangsbereichberechnungsvorrichtung zum Berechnen eines Umfangsbereichs des Grauwertbilds des von der Binäres-Objekt-Extraktionsvorrichtung extrahierten binärisierten Objekts, wobei die Beinbewertungsvorrichtung bewertet, dass das binärisierte Objekt das Bein eines Fußgängers ist, wenn die Breite des binärisierten Objekts innerhalb eines vorbestimmten Bereichs liegt, ein Aspektverhältnis des binärisierten Objekts nicht kleiner als ein vorbestimmter Schwellenwert ist und sich das binärisierte Objekt innerhalb des Umfangsbereichs eines vorbestimmten Bereichs vom Unterende des Umfangsbereichs befindet.
In dieser Ausführung berechnet die Umfangsberechnungsvorrichtung den Umfangsbereich auf dem Grauwertbild des binärisierten Objekts, das von der Binärisiertes-Objekt-Extraktionsvorrichtung extrahiert wird. Die Beinbewertungsvorrichtung bewertet, dass das binärisierte Objekt das Bein eines Fußgängers ist, wenn die Breite des binärisierten Objekts innerhalb des vorbestimmten Bereichs liegt, das Aspektverhältnis des binärisierten ObJekts nicht kleiner als ein vorbestimmter Aspektschwellenwert ist und das binärisierte Objekt sich innerhalb des Umfangsbereichs befindet, der ein vorbestimmter Bereich vom Unterende des Umfangsbereichs her ist. Im Ergebnis ist es möglich, das Vorhandensein des Fußgängers dadurch zu bewerten, ob das binärisierte Objekt die richtige Breite wie das Bein eines Fußgängers hat, ob das binärisierte Objekt eine richtige Längsform wie das Bein eines Fußgängers hat und ob das binärisierte Objekt sich im unteren Teil des Umfangsbereichs befindet oder nicht.
Indem in der Fahrzeugumgebungs-Überwachungsvorrichtung vom dritten Aspekt der Erfindung gewertet wird, ob das binärisierte Objekt eine Breite hat, die für ein Fußgängerbein geeignet ist, ob das binärisierte Objekt eine längliche Form hat, die als Fußgängerbein geeignet ist, und ferner, ob das binärisierte Objekt unterhalb des Umfangsbereichs existiert, ist es möglich, die Existenz eines Fußgängers zu bewerten.
Selbst wenn z.B. ein Hinweisschild mit einer ähnlichen Form wie ein Fußgängerbein etc. als binärisiertes Objekt extrahiert wird, ist es durch Ausschließen des binärisiertes Objekts, das nicht als Fußgängerbein geeignet ist, wegen seiner Form oder seiner Position in dem Bild möglich, zu verhindern, dass ein Hinweisschild mit einer ähnlichen Form wie ein Fußgängerbein etc. als Fußgängerbein erkannt wird.
In einem bevorzugten vierten Aspekt enthält die Erfindung ferner eine Luminanzänderungserfassungsvorrichtung zum Erfassen, ob eine zeitserielle Luminanzänderung des von der Binärisiertes-Objekt-Extraktionsvorrichtung extrahierten binärisierten Objekts vorhanden ist oder nicht, wobei die Beinbewertungsvorrichtung bewertet, dass das binärisierte Objekt das Bein eines Fußgängers ist, wenn die zeitserielle Luminanzänderung des binärisierten Objekts von der Luminanzänderungserfassungsvorrichtung erfasst wird.
Wenn in dieser Ausführung die Luminanzänderungserfassungsvorrichtung eine zeitserielle Luminanzänderung erfasst, bewertet die Beinbewertungsrichtung, dass das binärisierte Objekt das Bein eines Fußgängers ist. Im Ergebnis ist es möglich zu bewerten, ob das Objekt ein Fußgänger ist oder nicht, indem eine zeitserielle Luminanzänderung, die durch den Gang eines Fußgängers hervorgerufen wird, erfasst wird oder nicht.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom vierten Aspekt der Erfindung wird eine zeitserielle Luminanzveränderung durch das Gehen eines Fußgängers erfasst, wodurch es möglich wird zu bewerten, ob ein Objekt ein Fußgänger ist oder nicht.
Da sie ferner unter Verwendung der Luminanzänderung des Beins beim Gehen des Fußgängers bewertet, ob das Objekt ein Fußgänger ist oder nicht, welche herkömmlich die Erkennung eines Fußgängers behindert hatte, ist es im Ergebnis möglich, die Erkennungsgenauigkeit des Fußgängers zu erhöhen.
In einem bevorzugten fünften Aspekt enthält die Erfindung ferner: eine Regenschirmkennwertspeichervorrichtung zum Speichern eines Kennwerts eines Regenschirms im von einem Fußgänger gehaltenen Zustand, eine Suchbereichsetzvorrichtung zum Setzen eines Suchbereichs zwischen das Oberende des Umfangsbereichs und das binärisierte Objekt auf dem Grauwertbild des binärisierten Objekts, worin eine zeitserielle Luminanzänderung des binärisierten Objekts durch die Luminanzänderungserfassungsvorrichtung nicht erfasst wird, und eine Regenschirmbewertungsvorrichtung zum Bewerten, ob sich der Regenschirm innerhalb des Suchbereichs befindet oder nicht, durch Vergleich des Kennwerts des von der Suchbereichsetzvorrichtung gesetzten Suchbereichs mit dem Kennwert des Regenschirms im von einem Fußgänger gehaltenen Zustand, wobei die Fußgängererkennungsvorrichtung das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt, wenn durch die Beinbewertungsvorrichtung das binärisierte Objekt als Bein des Fußgängers gewertet wird, oder wenn durch die Regenschirmbewertungsvorrichtung gewertet wird, dass sich der vom Fußgänger gehaltene Regenschirm innerhalb des Suchbereichs befindet.
In dieser Ausführung wird durch die Suchbereichsetzvorrichtung der Suchbereich zwischen das Oberende des Umfangsbereichs des Grauwertbilds des binärisierten Objekts gesetzt, worin eine zeitserielle Luminanzänderung durch die Luminanzänderungserfassungsvorrichtung nicht erfasst wird, und das binärisierte Objekt gesetzt.
Durch Vergleich des Kennwerts des gesetzten Suchbereichs mit dem Kennwert des vom Fußgänger gehaltenen Regenschirms, der in der Regenschirmkennwertspeichervorrichtung gespeichert ist, bewertet die Regenschirmbewertungsvorrichtung, ob der vom Fußgänger gehaltene Regenschirm sich innerhalb des Suchbereichs befindet. Wenn die Regenschirmbewertungsvorrichtung bewertet, dass der vom Fußgänger gehaltene Regenschirm sich innerhalb des Suchbereichs befindet, kann die Fußgängererkennungsvorrichtung erkennen, dass das Objekt ein Fußgänger ist, selbst wenn das Objekt das binärisierte Objekt enthält, in dem eine zeitserielle Luminanzänderung nicht erfasst wird.
Wenn gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom fünften Aspekt der Erfindung die Regenschirmbewertungsvorrichtung bewertet, dass der vom Fußgänger hochgehaltene Regenschirm innerhalb des Suchbereichs existiert, kann die Fußgängererkennungsvorrichtung einen Fußgänger als das Objekt erkennen, selbst wenn das Objekt das binärisierte Objekt enthält, aus dem keine zeitserielle Luminanzänderung erfasst wird.
Daher ist es durch Bewertung, ob das Objekt ein Fußgänger ist oder nicht, unter Verwendung der Luminanzänderung beim Gehen eines Fußgängers möglich, einen Fußgänger aus der Existenz des den Regenschirm hochhaltenden Fußgängers zu erkennen, und zwar auch in dem Fall, in dem das Bein eines Fußgängers, der ohne zu gehen stillsteht, nicht erfasst werden kann. Im Ergebnis wird es möglich zu bewerten, ob das Objekt ein Fußgänger ist oder nicht, unabhängig davon, ob der Fußgänger geht oder nicht, wodurch es möglich wird, die Erkennungsgenauigkeit des Fußgängers zu erhöhen.
In einem bevorzugten sechsten Aspekt enthält die Erfindung ferner zwei Infrarotaufnahmevorrichtungen, eine Abstandsberechnungsvorrichtung zum Berechnen eines Abstands zum im Grauwertbild enthaltenen binärisierten Objekt unter Verwendung zweier Grauwertbilder, die von den zwei Infrarotaufnahmevorrichtungen aufgenommen sind, eine Sub-Bereichsetzvorrichtung zum Setzen von Sub-Suchbereichen auf den linken und den rechten Suchbereich, eine Integrierte-Suchbereich-Setzvorrichtung zum Setzen eines integrierten Suchbereichs, worin der Suchbereich und der Sub-Suchbereich integriert werden, wenn der Abstand zum im Suchbereich enthaltenen binärisierten Objekt mit dem Abstand zu dem im Sub-Suchbereich enthaltenen binärisierten Objekt identisch ist, eine Breitenmessvorrichtung zum Messen einer Breite des integrierten Suchbereichs, der durch die Integrierter-Suchbereich-Setzvorrichtung gesetzt ist, und eine Durchschnittliche-Luminanz-Berechnungsvorrichtung zum Berechnen einer durchschnittlichen Luminanz des integrierten Suchbereichs, der von der Integrierter-Suchbereich-Setzvorrichtung gesetzt ist, wobei die Regenschirmbewertungsvorrichtung bewertet, dass sich der Regenschirm innerhalb des Suchbereichs befindet, wenn die Breite des integrierten Suchbereichs innerhalb eines vorbestimmten Bereichs liegt und die durchschnittliche Luminanz des integrierten Suchbereichs nicht größer als ein vorbestimmter Luminanzschwellenwert ist.
In dieser Ausführung setzt die Sub-Suchbereichsetzvorrichtung den Sub-Suchbereich auf die rechte Seite und die linke Seite des Suchbereichs, und die Integrierte-Suchbereich-Setzvorrichtung setzt den integrierten Suchbereich, in dem der Suchbereich und der Sub-Suchbereich integriert sind, wenn der Abstand von dem binärisierten Objekt, das in dem Suchbereich enthalten ist, mit dem Abstand von dem binärisierten Objekt, das in dem Sub-Suchbereich enthalten ist, identisch ist, die durch die Abstandsberechnungsvorrichtung berechnet sind. Ferner bewertet die Regenschirmbewertungsvorrichtung, dass sich der Regenschirm in dem Suchbereich befindet, wenn die Breite des integrierten Suchbereichs, die durch die Bretenmessvorrichtung gemessen ist, innerhalb eines vorbestimmten Bereichs liegt, und die durchschnittliche Luminanz des integrierten Suchbereichs, die durch die Durchschnittsluminanzberechnungsvorrichtung gemessen wird, nicht kleiner als ein vorbestimmter Luminanzschwellenwert ist. Im Ergebnis ist es möglich zu bewerten, ob ein Fußgänger vorhanden ist oder nicht durch Bewertung, ob das im integrierten Suchbereich enthaltene binärisierte Objekt eine richtige Breite und eine richtige durchschnittliche Luminanz wie der vom Fußgänger gehaltene Regenschirm hat.
Indem in der Fahrzeugumgebungs-Überwachungsvorrichtung vom sechsten Aspekt der vorliegenden Erfindung gewertet wird, ob das in dem integrierten Suchbereich enthaltene binärisierte Objekt eine Breite und eine durchschnittliche Luminanz hat, die für einen vom Fußgänger hochgehaltenen Regenschirm geeignet sind, ist es möglich, die Existenz eines Fußgängers zu bewerten.
Durch Ausschluss des binärisierten Objekts, das nicht als der vom Fußgänger hochgehaltene Regenschirm geeignet ist, und zwar wegen seiner Breite und seiner durchschnittlichen Luminanz, wird es daher möglich, die Existenz des vom Fußgänger hochgehaltenen Regenschirms exakt zu bewerten, und zwar aus einem von der Infrarotaufnahmevorrichtung aufgenommenen Infrarotbild, um hierdurch die Erkrennungsgenauigkeit eines Fußgängers zu erhöhen.
In einem bevorzugten siebten Aspekt enthält die Erfindung ferner eine Binärisiertes-Objekt-Schwerpunktspositions-Berechnungsvorrichtung zum Berechnen einer Schwerpunktsposition des binärisierten Objekts, das durch die Binärisiertes-Objekt-Extraktionsvorrichtung extrahiert ist, und eine Bereichsschwerpunktspositions-Berechnungsvorrichtung ür eine Schwerpunktsposition des integrierten Suchbereichs, der durch die Integrierte-Suchbereich-Setzvorrichtung gesetzt ist, wobei die Regenschirmbewertungsvorrichtung bewertet, dass sich der Regenschirm innerhalb des Suchbereichs befindet, wenn die Breite des integrierten Suchbereichs innerhalb eines vorbestimmten Bereichs liegt und die durchschnittliche Luminanz des integrierten Suchbereichs nicht größer als ein vorbestimmter Luminanzschwellenwert ist, und ferner eine Positionsdifferenz in der Querrichtung zwischen dem Schwerpunkt des binärisierten Objekts und dem Schwerpunkt des integrierten Suchbereichs nicht größer als ein vorbestimmter Schwellenwert ist.
In dieser Ausführung bewertet die Regenschirmbewertungsvorrichtung, dass sich der Regenschirm innerhalb des Suchbereichs befindet, wenn die Breite des integrierten Suchbereichs, die durch die Breitenmessvorrichtung gemessen ist, innerhalb eines vorbestimmten Bereichs liegt, und die durchschnittliche Luminanz des integrierten Suchbereichs, die durch die Durchschnittliche-Luminanzmessvorrichtung gemessen ist, nicht größer als ein vorbestimmter Luminanzschwellenwert ist, und ferner die Differenz der Position in der Querrichtung zwischen dem Schwerpunkt des binärisierten Objekts und dem Schwerpunkt des integrierten Suchbereichs nicht größer ist als ein vorbestimmter Abstandsschwellenwert. Im Ergebnis ist es möglich zu bewerten, ob ein Fußgänger vorhanden ist oder nicht, durch Bewertung, ob der integrierte Suchbereich eine richtige Breite hat und eine richtige durchschnittliche Luminanz wie der vom Fußgänger gehaltene Regenschirm hat, und ob die spezielle Korrelation zwischen der Schwerpunktsposition dieses binärisierten Objekts, das möglicherweise ein Fußgänger ist, und der Schwerpunktsposition des integrierten Suchbereichs, der möglicherweise ein Bereich des vom Fußgänger gehaltenen Regenschirms ist, richtig ist oder nicht.
Indem gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom siebten Aspekt der Erfindung gewertet wird, ob der integrierte Suchbereich eine Breite und eine durchschnittliche Luminanz hat, die für jene des vom Fußgänger hochgehaltenen Regenschirms geeignet sind, und ob die räumliche Korrelation zwischen der Schwerpunktsposition des binärisierten Objekts, das als Fußgänger vermutet wird, und der Schwerpunktsposition des integrierten Suchbereichs, der als Bereich des vom Fußgänger hochgehaltenen Regenschirms vermutet wird, eine geeignete räumliche Korrelation haben oder nicht, ist es möglich, die Existenz eines Fußgängers zu bewerten.
Durch Ausschluss von dem, was eine Breite oder eine durchschnittliche Luminanz hat, die nicht für den vom Fußgänger hochgehaltenen Regenschirm geeignet sind, und von dem, was eine räumliche Korrelation hat, die nicht geeignet ist, weil die Schwerpunktsposition des Abschnitts, der als Fußgänger vermutet wird, von der Schwerpunktsposition des Abschnitts, der als der vom Fußgänger hochgehaltene Regenschirm vermutet wird, verschoben ist, ist es möglich zu verhindern, dass ein Fußgänger aus der Existenz eines Regenschirms oder eines Objekts erkannt wird, das nicht als der vom Fußgänger hochgehaltene Regenschirm gewertet werden kann.
In einem bevorzugten achten Aspekt enthält die Erfindung ferner eine Regenwettererfassungsvorrichtung zum Erfassen eines Niederschlagszustands der Fahrzeugumgebung, wobei die Fußgängererkennungsvorrichtung einen Prozess zur Erkennung eines Fußgängers aus der Existenz des Beins eines Fußgängers oder des von ihm gehaltenen Regenschirms nur dann durchführt, wenn durch die Regenwettererfassungsvorrichtung der Niederschlagszustand in der Fahrzeugumgebung erfasst wird.
In dieser Ausführung wird der Niederschlagszustand der Fahrzeugumgebung mit der Regenwettererfassungsvorrichtung erfasst, sodass der Prozess, worin die Fußgängererkennungsvorrichtung das Bein eines Fußgängers in dem Grauwertbild oder einen Fußgäners aus dem Vorhandensein des vom Fußgänger gehaltenen Regenschirms erkennt, nur dann stattfindet, wenn in der Umgebung des Fahrzeugs Niederschlag erfasst wird. Im Ergebnis ist es möglich, einen Fußgänger nur dann aus den Regenwetter-Charakteristiken eines Fußgängers zu erkennen, wenn die Fahrzeugumgebung regnerisch ist.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom achten Aspekt der Erfindung kann nur dann, wenn die Umgebung des Fahrzeugs regnerisch ist, ein Fußgänger aus den Regenwetter-Charakteristika des Fußgängers erkannt werden.
Wenn daher die Umgebung des Fahrzeugs regnerisch ist, wird ein Fußgänger aus jenen Regenwetter-Charakteristika des Fußgängers erkannt, wohingegen dann, wenn die Umgebung des Fahrzeugs nicht regnerisch ist, dieser nicht anhand der Regenwetter-Charakteristika des Fußgängers erkannt wird, wodurch es möglich wird, das Objekt, das weder das Fußgängergein noch der vom Fußgänger hochgehaltene Regenschirm ist, zu erfassen, um hierdurch die Erkennungsgenauigkeit eines Fußgängers zu erhöhen.
In einem bevorzugten neunten Aspekt enthält die Erfindung ferner eine Alarmausgabevorrichtung zur Ausgabe eines Alarms in Bezug auf einen Fußgänger, wenn die Fußgängererkennungsvorrichtung das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt.
In dieser Ausführung gibt die Alarmausgabevorrichtung einen Alarm zu einem Fußgänger aus, wenn die Fußgängererkennungsvorrichtung das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt. Im Ergebnis ist es möglich, einen Alarm nur dann auszugeben, wenn das Objekt als Fußgänger erkannt wird.
Indem gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom neunten Aspekt der Erfindung ein Alarm zu einem Fußgänger ausgegeben wird, wenn das Objekt, das das binärisierte Objekt enthält, von der Fußgängererkennungsvorrichtung als Fußgänger erkannt wird, ist es möglich, den Alarm nur für das Objekt auszugeben, das als Fußgänger erkannt wird.
Daher ist es möglich, den Fahrer des Fahrzeugs nur auf einen solchen Fußgänger aufmersam zu machen, ohne einen unnötigen Alarm für andere Objekte als einen Fußgänger auszugeben.
In einer bevorzugten zehnten Ausführung enthält die Erfindung ferner eine Anzeigevorrichtung zum Anzeigen der von der Infrarotaufnahmevorrichtung aufgenommenen Umgebung des Fahrzeugs, worin die Alarmausgabevorrichtung das Objekt, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung voneinander unterscheidbar anzeigt.
In dieser Ausführung zeigt die Alarmausgabevorrichtung das Objekt, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung voneinander unterscheidbar an. Im Ergebnis ist es möglich, das Objekt hervorzuheben, das als Fußgänger erkannt wird.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom zehnten Aspekt der Erfindung kann das Objekt herausgehoben werden, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt wird.
Daher kann das Vorhandensein eines Fußgängers noch stärker hervorgehoben werden, um hierdurch den Fahrer des Fahrzeugs auf einen Fußgänger aufmerksam zu machen.
In einem bevorzugten elften Aspekt gibt in der Erfindung die Alarmausgabevorrichtung einen Warnton aus, während sie das Objekt, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung voneinander unterscheidbar anzeigt.
In dieser Ausführung zeigt die Alarmausgabevorrichtung das Objekt, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung voneinander unterscheidbar an, und ferner gibt die Alarmausgabevorrichtung einen Warnton aus. Im Ergebnis ist es möglich, das Objekt, das als Fußgänger erkannt ist, hervorzuheben und ferner über die Umgebung zu informieren.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom elften Aspekt der Erfindung kann das Objekt hervorgehoben werden, das von der Fußgängererkennungsvorrichtung als Fußgänger erkannt ist, und kann weiter über die Umgebung informieren.
Daher wird die Möglichkeit, das Vorhandensein eines auf der Anzeigevorrichtung angezeigten Fußgängers zu übersehen, beseitigt, um das Vorhandensein eines Fußgängers noch stärker hervorzuheben, um hierdurch den Fahrer des Fahrzeugs noch stärker auf einen Fußgänger aufmerksam zu machen.
In einem bevorzugten zwölften Aspekt enthält die Erfindung ferner eine Alarmbewertungsvorrichtung zum Bewerten, ob ein Fußgänger ein Subjekt ist, für das ein Alarm ausgegeben werden sollte oder nicht, wenn die Fußgängererkennungsvorrichtung das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt, wobei die Alarmausgabevorrichtung das Objekt, das durch die Alarmbewertungsvorrichtung als ein Fußgänger bewertet wird, für den ein Alarm ausgegeben werden sollte, und das Objekt, das durch die Alarmbewertungsvorrichtung nicht als Fußgänger bewertet wird, für den ein Alarm ausgegeben werden sollte, auf der Anzeigevorrichtung voneinander unterscheidbar anzeigt.
In dieser Ausführung bewertet die Alarmbewertungsvorrichtung, ob ein Fußgänger ein Subjekt ist, für das ein Alarm ausgegeben werden sollte oder nicht. Wenn die Fußgängererkennungsvorrichtung das Objekt, das das binärisierte Objekt enthält, als Fußgänger erkennt, dann zeigt die Alarmausgabevorrichtung das Objekt, das als Fußgänger gewertet wird, für den durch die Alarmbewertungsvorrichtung ein Alarm ausgegeben werden sollte, und das Objekt, das nicht als Fußgänger gewertet wird, für den ein durch die Alarmbewertungsvorrichtung ein Alarm ausgegeben werden sollte, auf der Anzeigevorrichtung voneinander unterscheidbar an. Im Ergebnis ist es möglich, nur das Objekt hervorzuheben, das als Fußgänger gewertet wird, für den der Alarm ausgegeben werden soll.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom zwölften Aspekt der Erfindung kann nur das Objekt herausgehoben werden, das als Fußgänger gewertet wird, für den ein Alarm ausgegeben werden soll.
Daher ist es, ohne Ausgabe eines unnötigen Alarms zu anderen Objekten als einen Fußgänger, wenn es ein Fußgänger ist, möglich, den Fahrer des Fahrzeugs nur auf einen solchen Fußgänger aufmerksam zu machen, der besonders markiert sein sollte, wie etwa ein Fußgänger, der eine hohe Kollisionsmöglichkeit mit dem Fahrzeug hat.
In einem bevorzugten dreizehnten Aspekt zeigt die Alarmausgabevorrichtung das Objekt intensiv an, wenn die Alarmausgabevorrichtung das Objekt auf der Anzeigevorrichtung unterscheidbar anzeigt.
In dieser Ausführung zeigt die Alarmausgabevorrichtung das Objekt intensiv an. Im Ergebnis ist es möglich, leicht das Objekt zu bewerten, das hervorgehoben werden soll.
Gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung vom dreizehnten Aspekt der Erfindung kann das Objekt, das herausgehoben werden sollte, leicht unterschieden werden.
Indem die Existenz eines Fußgängers unterschiedbar markiert wird, wird es möglich, den Fahrer des Fahrzeugs klarer zu informieren, um hierdurch den Fahrer des Fahrzeugs noch stärker auf einen Fußgänger aufmerksam zu machen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm des Aufbaus der Fahrzeugumgebungs-Überwachungsvorrichtung einer Ausführung der Erfindung;
2 zeigt Montagepositionen etwa von Infrarotkameras, eines Sensors oder einer Anzeige etc. in dem Fahrzeug;
3 ist ein Flussdiagramm einer Objekterfassungs- und Alarmoperation der Fahrzeugumgebungs-Überwachungsvorrichtung;
4A zeigt ein von einer Infrarotkamera aufgenommenes Grauwertbild und 4B ein binärisiertes Bild des Bilds von 4A;
5 ist ein Flussdiagramm einer Alarmbewertungsprozessoperation in der Ausführung der Erfindung;
6 zeigt den Fall, wo leicht eine Kollision entstehen könnte;
7 zeigt die Bereichsklassifizierung vor dem Fahrzeug;
8 zeigt im Flussdiagramm die Fußgängerbewertungsprozessoperation, falls die Fahrzeugumgebung regnerisch ist;
9 zeigt die räumliche Korrelation zwischen dem binärisierten Objekt während der Durchführung der Beinexistenzbewertung eines Fußgängers im Fußgängerbewertungsprozess und einem Grauwertobjektbereich;
10 zeigt den Rand des Regenschirmbereichs während der Durchführung der Regenschirmexistenzbewertung des vom Fußgänger gehaltenen Regenschirms im Fußgängerbewertungsprozess;
11 zeigt die räumliche Korrelation zwischen dem Regenschirmbereich und dem Grauwertobjektbereich während der Durchführung der Regenschirmexistenzbewertung des vom Fußgänger gehaltenen Regenschirms im Fußgängerbewertungsprozess;
12 zeigt die räumliche Korrelation zwischen dem Regenschirmbereich, dem binärisierten Objekt und dem Grauwertobjektbereich während der Durchführung der Regenschirmexistenzbewertung des vom Fußgänger gehaltenen Regenschirms im Fußgängerbewertungsprozess; und
13 zeigt ein Infrarotbild (Grauwertbild) mit einem stehenden Fußgänger, der den Regenschirm trägt.
Nachfolgend werden Ausführungsbeispiele der vorliegenden Erfindung in Bezug auf die Zeichnungen erläutert.
Gesamtaufbau
1 zeigt im Blockdiagramm den Aufbau der Fahrzeugumgebungs-Überwachungsvorrichtung einer Ausführung der Erfindung.
In 1 ist eine Bildverarbeitungseinheit 1 gezeigt, die mit einer CPU (zentralen Prozessoreinheit) ausgestattet ist, die Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung steuert/regelt. Ein Bremssensor 5 zum Erfassen der Betätigung der Bremse, zwei Infrarotkameras 2R und 2L, die ferne Infrarotstrahlen erfassen können, ein Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, sowie ein Fahrzeuggeschwindigkeitssensor 4, der die Fahrgeschwindigkeit des Fahrzeugs erfasst, sind mit der Bildverarbeitungseinheit 1 verbunden. Hierdurch erfasst die Bildverarbeitungseinheit 1 ein sich bewegendes Objekt, wie etwa einen Fußgänger, der sich vor dem Fahrzeug befindet, sowie ein Tier aus einem Infrarotbild der Fahrzeugumgebung und dem Signal, das den Fahrzustand des Fahrzeugs anzeigt. Die Bildverarbeitungseinheit 1 gibt einen Alarm aus, wenn sie bewertet, dass die Möglichkeit einer Kollision hoch ist.
Ferner sind mit der Bildverarbeitungseinheit 1 verbunden ein Lautsprecher 6 zum Abgeben eines Alarmtons und eine Bildanzeigevorrichtung 7, die eine Vorrichtung enthält, die von den Infrarotkameras 2R und 2L aufgenommene Bilder anzeigt und den Fahrer des Fahrzeugs über ein Objekt, das eine hohe Kollisionsmöglichkeit hat, informiert, wie etwa eine Instrumentenanzeigeeinheit, in der ein Tacho, der den Fahrzustand des Fahrzeugs numerisch anzeigt, vereinigt ist, eine Navigationsanzeige, die an der Konsole des Fahrzeugs angebracht ist, und eine HUD (Head Up Anzeige) 7a, die Information auf einem Teil der Frontscheibe anzeigt, die die Sicht des Fahrers nicht behindert.
Ferner ist die Bildverarbeitungseinheit 1 ausgestattet mit einer A/D-Wandlerschaltung, die ein eingegebenes analoges Signal in ein digitales Signal umwandelt, einem Bildspeicher, der das digitalisierte Bildsignal abspeichert, einer CPU (zentralen Prozessoreinheit), die verschiedene Operationsprozesse durchführt, einem RAM (Direktzugriffsspeicher), der verwendet wird, damit die CPU die Daten während der Operation abspeichern kann, einem ROM (Festwertspeicher), das das Programm, das die CPU durchführt, eine Tabelle, ein Kennfeld etc. speichert, sowie einer Ausgabeschaltung, die das Treibersignal an den Lautsprecher 6 und das Anzeigesignal der Bildanzeigevorrichtung 7 etc. ausgibt. Jedes Ausgangssignal der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Geschwindigkeitssensors 4 und des Bremssensors 5 ist so aufgebaut, dass es in ein digitales Signal umgewandelt und in die CPU eingegeben werden kann.
Darüber hinaus ist die Bildverarbeitungseinheit 1 ausgestattet mit einer Fußgängerbeinkennwertspeichervorrichtung, in der der Kennwert des Beins eines Fußgängers gespeichert ist, sowie einer Regenschirmkennwertspeichervorrichtung, in der der Kennwert des vom Fußgänger gehaltenen Regenschirms gespeichert ist. Der Kennwert des Beins des Fußgängers wird in einem Fußgängerbewertungsprozess dazu genutzt, einen Fußgänger zu erkennen, der sich in der Umgebung des Fahrzeugs befindet, auch wenn die Fahrzeugumgebung regnerisch ist und daher ein Fußgänger einen Regenschirm hält und daher vergleichsweise unterscheidbare körperliche Eigenschaften eines Fußgängers, der sich gegenwärtig auf der Straße befindet, wie etwa Kopf des Fußgängers, von der Infrarotkamera nicht aufgenommen worden sind.
Wie ferner in 2 gezeigt, sind die Infrarotkameras 2R und 2L am Vorderteil des eigenen Kraftfahrzeugs 10 angebracht, an der Position, die angenähert symmetrisch zu einem Mittelteil in der Breitenrichtung des Fahrzeugs 10 ist, und sie sind so befestigt, dass die optischen Achsen der zwei Infrarotkameras 2R und 21 zueinander parallel sind und beide Höhen von der Straßenoberfläche zueinander identisch sein können. Anzumerken ist, dass die Infrarotkameras 2R und 2L die Eigenschaft haben, dass, je höher die Temperatur eines Objekts wird, desto höher der Ausgangssignalpegel wird (die Luminanz zunimmt).
Ferner ist eine HUD 7a so agneordnet, dass ein Anzeigebild an der Position angezeigt werden kann, die das vordere Blickfeld des Fahrers in der Windschutzscheibe des Fahrzeugs 10 nicht verbaut.
Nun wird der Betrieb dieser Ausführung anhand der Zeichnungen erläutert.
Objekterfassung und Alarmbetätigung
3 ist ein Flussdiagramm, das die Erfassung des Objekts und eine Alarmoperation eines Fußgängers etc. in der Bildverarbeitungseinheit 1 der Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung zeigt.
In 3 erfasst die Bildverarbeitungseinheit 1 zuerst ein Infrarotbild, das ein Ausgangssignal der Infrarotkameras 2R und 2L ist (Schritt S1) und führt eine A/D-Wandlung durch (Schritt S2), um ein Grauwertbild in einem Bildspeicher abzuspeichern (Schritt S3). Anzumerken ist, dass hier ein rechtes Bild von der Infrarotkamera 2R aufgenommen wird und ein linkes Bild von der Infrarotkamera 2L aufgenommen wird. Ferner verschiebt sich im rechten Bild und linken Bild die Höhenposition, die auf dem Anzeigeschirm desselben Objekts angezeigt wird, und daher kann der Abstand zu diesem Objekt in Abhängigkeit von diesem Abstand (Parallaxe) berechnet weren.
Wenn in Schritt S3 das Grauwertbild erhalten ist, wird als Nächstes der Binärisierungsprozess des Bilds durchgeführt, unter Verwendung des von der Infrarotkamera 2R erhaltenen rechten Bilds als Standardbild (Referenzbild). D.h. es wird ein Prozess durchgeführt, einen Bereich, der heller ist als ein Luminanzschwellenwert ITH als "1" (weiß) zu betrachten, hingegen einen Bereich, der dunkler ist als der Luminanzschwellenwert ITH, als "0" (schwarz) zu betrachten.
4A zeigt ein von der Infrarotkamera 2R erhaltenes Grauwertbild, und das Grauwertbild wird einem Binärisierungsprozess unterzogen, um das in 4B gezeigte Bild zu erhalten. Anzumerken ist, dass z.B. in 4B die mit den Rahmen P1 bis P4 umschlossenen Objekte als die Objekte bestimmt werden, die auf dem Anzeigeschirm als weiß dargestellt werden (nachfolgend als "Hochluminanzbereich" bezeichnet).
Wenn die binärisierten Bilddaten aus einem Infrarotbild erhalten werden, wird ein Prozess ausgeführt, um die Bilddaten in Lauflängendaten umzuwandeln (Schritt S5). Die durch Lauflängendaten ausgedrückte Linie zeigt den Bereich, der durch einen Binärisierungsprozess auf Pixelebene weiß geworden ist, und alles, was eine Breite von einem Pixel in der Y-Richtung hat, und hat die Länge der Pixel, die die Lauflängendaten angeben, jeweils in der X-Richtung.
Als Nächstes wird aus den Bilddaten, die in Lauflängendaten umgewandelt sind, eine Kennzeichnung (Schritt S6) eines Objekts durchgeführt, und hierdurch wird eine Extraktion des Objekts durchgeführt (Schritt S7). D.h. in den Linien, die in die Lauflängendaten umgewandelt sind, wird die Linie, die in der Y-Richtung überlappende Abschnitte hat, als ein Objekt betrachtet, und im Ergebnis wird z.B. jeder der Hochluminanzbereiche P1 bis P4, in 4B gezeigt, als Objekt erfasst (binärisiertes Objekt).
Wenn die Extraktion des binärisierten Objekts abgeschlossen ist, wird als Nächstes der (Form)Schwerpunkt des extrahierten binärisierten Objekts, die Flächenausdehnung S und das Aspektverhältnis ASPECT des Umschreibungsvierecks berechnet (Schritt S8).
Wenn hier die Lauflängendaten eines Objekts mit Kennung A als (x [i], y [i], run [i], A) (I = 0,, 1, 2, ... N – 1) angenommen werden, kann die Fläche S durch Integrieren der Länge (run [i] – 1) der Lauflängendaten an demselben Objekt (N Stücke von Lauflängendaten) berechnet werden. Darüber hinaus können die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A jeweils berechnet werden durch Multiplizieren der Länge jeder Lauflängendaten (run[i] – 1) mit den Koordinaten der jeweiligen Lauflängendaten x[i] oder y[i], und durch Integrieren des resultierenden Produkts an demselben Objekt, und dann Dividieren des resultierenden Integralwerts durch die Fläche S.
Ferner kann das Aspektverhältnis ASPECT berechnet werden als das Verhältnis Dy/Dx der Länge Dy in der Längsrichtung des Umrissvierecks des Objekts, und der Länge Dx in der Querrichtung.
Da übrigens die Lauflängendaten als Anzahl von Pixeln (Koordinatenzahl) (= run [i]) ausgedrückt werden, ist es notwendig, diese um eins zu reduzieren, d.h. "–1" durchzuführen (um 1 zu subtrahieren), um die tatsächliche Länge (= run [i] – 1) zu erhalten. Darüber hinaus kann die Schwerpunktsposition G durch die Schwerpunktsposition des Umrissvierecks ersetzt werden.
Wenn das Aspektverhältnis des Schwerpunkts des binärisierten Objekts, die Fläche und das Umrissviereck berechnet sind, wird als Nächstes eine Intervallnachführung eines Objekts, d.h. die Erkennung desselben Objekts für jede Abtastperiode, ausgeführt (Schritt S9). In der Intervallnachführung wird die Zeit t als analoger Wert mit einer Abtastperiode digitalisiert, um eine digitalisierte Zeit k zu erhalten, und wenn z.B. die Objekte A und B zur Zeit k extrahiert werden, dann wird bewertet, ob die Objekte C und D, die zu dieser Zeit (k + 1) extrahiert werden, mit den jeweiligen Objekten C und D identisch sind oder nicht. Und wenn bewertet wird, dass die Objekte A und B mit den Objekten C und D jeweils identisch sind, dann werden die Kennungen der Objekte C und D jeweils zu den Objekten A und B geändert, um hierdurch eine Intervallnachführung durchzuführen.
Darüber hinaus wird die Positionskoordinate (der Schwerpunkt) jedes Objekts, die auf diese Weise erkannt ist, in einem Speicher als zeitserielle Positionsdaten gespeichert und in dem späteren Operationsprozess verwendet.
Anzumerken ist, dass der Prozess der obigen Schritte S4 bis S9 an dem Standardbild (in dieser Ausführung dem rechten Bild), das binärisiert ist, ausgeführt wird.
Als Nächstes wird die vom Fahrgeschwindigkeitssensor 4 erfasste Fahrgeschwindigkeit VCAR und die vom Gierratensensor 3 erfasste Gierrate YR eingelesen, und die Gierrate YR wird einer Zeitintegration unterzogen, um den Drehwinkel 8R des Automobils 10 zu berechnen (Schritt S10). Andererseits wird, gleichzeitig mit dem Prozess von Schritt S9 und Schritt S10 der Prozess der Berechnung des Abstands Z zwischen einem Objekt und dem eigenen Fahrzeug 10 in den Schritten S11 bis S13 ausgeführt. Da diese Operation eine längere Zeit benötigt als jene der Schritte S9 und S10, wird sie bevorzugt in einem Zyklus (z.B. etwa dem Dreifachen des Ausführungszyklus der Schritte S1 bis S10) ausgeführt, der länger ist als jener der Schritte S9 und S10.
Zuerst wird in jedem Suchbild R1 (hier wird der mit einem Umrissviereck umgebene gesamte Bereich als Suchbild gesetzt, und das Umrissviereck dieses Suchbilds wird als Objektrahmen betrachtet) aus dem rechten Bild extrahiert, indem das eine Objekt ausgewählt wird, das dem binärisierten Bild des Standardbilds (rechten Bilds) nachfolgt (Schritt S11).
Als Nächstes wird ein Suchbereich zum Suchen eines Bilds (nachfolgend als "Korrespondenzbild" bezeichnet), das dem Suchbild R1 aus dem linken Bild entspricht, aufgestellt, es wird eine Korrelationsoperation ausgeführt und das Korrespondenzbild R4 wird extrahiert (Schritt S12).
Insbesondere wird der Suchbereich R2 im linken Bild aufgestellt, gemäß jeder Spitzenkoordinate des Suchbilds R1, und der Luminanzdifferenzgesamtwert C, der die Korrelationshöhe zu dem Suchbild R1 in dem Suchbereich R2 zeigt, wird berechnet, und der Bereich, wo der Gesamtwert C (a, b) das Minimum einnimmt, wird als Korrespondenzbild extrahiert. Anzumerken ist, dass diese Korrelationsoperation nicht unter Verwendung des binärisierten Bilds, sondern unter Verwendung des Grauwertbilds durchgeführt wird. Wenn es ferner vergangene Positionsdaten zu demselben Objekt gibt, wird auf der Basis der Positionsdaten ein Bereich R2a, der näher ist als der Suchbereich R2, als der Suchbereich aufgestellt.
Da durch den Prozess von Schritt S12 das Suchbild R1 und das Korrespondenzbild R4, das diesem Objekt entspricht, zur Innenseite des linken Bilds, in dem Standardbild (rechten Bild) extrahiert werden, werden als Nächstes die Schwerpunktsposition des Suchbilds R1, die Schwerpunktsposition des Korrespondenzbilds R4 und die Parallaxe Δd (Pixelzahl) erhalten, und der Abstand z zwischen diesem Fahrzeug 10 und einem Objekt wird daraus berechnet (Schritt S13).
Wenn darüber hinaus die Berechnung des Drehwinkels θr in Schritt S10 und des Abstands zu dem Objekt in Schritt S13 abgeschlossen sind, wird als Nächstes eine Drehwinkelkompensation durchgeführt, um die Positionsverschiebung an dem Bild zu kompensieren, die durch das Drehen und Kurvenfahren des eigenen Fahrzeugs 10 hervorgerufen wird (Schritt S14). Die Drehwinkelkompensation ist ein Prozess zum Kompensieren der Positionsverschiebung, die z.B. auftritt, wenn das Fahrzeug 10 um einen Schwenkwinkel 8R nach links dreht, während einer Dauer von der Zeit k bis zur Zeit (k + 1), wobei sich die Reichweite eines Bilds um Δx in der x-Richtung auf dem von einer Kamera erfassten Bild verschiebt.
Wenn darüber hinaus die Drehwinkelkompensation beendet ist, werden die Koordinaten (x, y) und der Abstand z in dem Bild in Echtraumkoordinaten (X, Y, Z) umgewandelt (Schritt S15).
Hier werden, wie in 2 gezeigt, die Echtraumkoordinaten X, Y, Z bestimmt, wobei der Ursprung O auf die Position (die zum Fahrzeug 10 feste Position) des Mittelpunkts der Montageposition der Infrarotkameras 2R und 2L gesetzt wird, wohingegen die Koordinaten in einem Bild bestimmt werden, wobei der Ursprung auf die Mitte des Bilds gelegt wird, während die Horizontalrichtung als x und die Vertikalrichtung als y betrachtet werden. Anzumerken ist, dass in der folgenden Erläuterung die Koordinaten nach der Winkelkompensation als (X, Y, Z) angezeigt werden.
Wenn dann die Drehwinkelkompensation zu den Echtraumkoordinaten abgeschlossen ist, wird aus N Stücken (z.B. N = angenähert 10) von Echtraumpositionsdaten nach der Drehwinkelkompensation bezüglich desselben Objekts, d.h. zeitserielle Daten, die gerade Annäherungslinie LMV entsprechend dem relativen Verlagerungsvektor eines Objekts dieses Fahrzeugs 10 erhalten.
Anschließend werden die neueste Positionskoordinate P(0)) = (X(0), Y(0), Z(0)) und die Positionskoordinate P(N – 1) = (X(N – 1), Y(N – 1), Z(N – 1) vor der (N – 1) ten Abtastung (vor der Zeit ΔT) in der Position auf der geraden Annäherungslinie LMV kompensiert, und werden die Positionskoordinaten nach der Kompensation Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv (N – 1), Yv(N – 1), Zv(N – 1)) erhalten. Hierdurch kann ein relativer Verlagerungsvektor aus der Positionskoordinate Pv(N – 1) als Vektor erhalten werden, der zu Pv(0) hin geht (Schritt S16).
Durch Berechnung der geraden Annäherungslinie, die der relativen Verlagerungsortskurve eines Objekts zum eigenen Fahrzeug 1 aus einer Mehrzahl von Daten in einer Überwachungsperiode ΔT (N Stücke) annähert, und Erhalt eines relativen Verlagerungsvektors wird es möglich, den Einfluss eines Positionserfassungsfehlers zu reduzieren und die Kollisionsmöglichkeit mit einem Objekt präziser vorherzusagen.
Wenn ferner in Schritt S16 der relative Verlagerungsvektor erhalten wird, wird als Nächstes ein Alarmbewertungsprozess zum Bewerten der Kollisionsmöglichkeit mit dem erfassten Objekt durchgeführt. Details zu dem Alarmbewertungsprozess werden später erläutert.
Wenn in Schritt S17 bewertet wird, dass es keine Kollisionsmöglichkeit zwischen dem Automobil 10 und dem erfassten Objekt gibt (NEIN in Schritt S17), geht es zu Schritt S1 zurück, und der obige Prozess wird wiederholt.
Wenn in Schritt S17 bewertet wird, dass es eine Kollisionsmöglichkeit des Fahrzeugs 10 mit dem erfassten Objekt gibt (JA in Schritt S17), geht es zu einem Alarmausgabebewertungsprozess in Schritt S18 weiter.
In Schritt S18 wird ein Alarmausgabebewertungsprozess durchgeführt, d.h. es wird bewertet, ob ein Alarm ausgegeben werden sollte oder nicht, durch Bewerten, ob der Fahrer des Fahrzeugs 10 bremst oder nicht, und zwar aus einer Ausgabe BR des Bremssensors 5 (Schritt S18).
Wenn der Fahrer des Fahrzeugs 10 bremst, wird die hierdurch erzeugte Beschleunigung Gs (die Verlangsamungsrichtung wird als positiv betrachtet) berechnet, und es wird gewertet, dass eine Kollision durch Bremsung vermieden wird, wenn die Beschleunigung Gs größer als ein Beschleunigungsschwellenwert GTH ist, und es wird ein Alarmausgabebewertungsprozess beendet (NEIN in Schritt S18), wobei es zu Schritt S1 zurückgeht und der obige Prozess wiederholt wird.
Wenn eine geeignete Bremsung durchgeführt wird, wird kein Alarm ausgegeben, um hierdurch eine Belästigung des Fahrers zu vermeiden.
Wenn ferner die Beschleunigung Gs nicht größer als der Beschleunigungsschwellenwert GTH ist oder wenn der Fahrer des Fahrzeugs 10 nicht bremst, geht der Prozess sofort zu Schritt S19 weiter (JA in Schritt S18), und da die Kontaktmöglichkeit mit dem Objekt hoch ist, wird durch den Lautsprecher 6 ein Alarmton ausgegeben (Schritt S19), und gleichzeitig wird z.B. ein von der Infrarotkamera 2R aufgenommenes Bild zu der Bildanzeigevorrichtung 7 ausgegeben, um hierdurch das sich annähernde Objekt als hervorgehobenes Bild dem Fahrer des Fahrzeugs 10 anzuzeigen (Schritt S20).
Übrigens ist der Beschleunigungsschwellenwert GTH ein Wert, der dem Zustand entspricht, dass das Fahrzeug 10 innerhalb dieses Abstands stoppen kann, wobei dieser nicht größer als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10 ist, wenn die Beschleunigung Gs während Bremsbetätigung so bleibt wie sie ist.
Alarmbewertungsprozess
Nun wird in Bezug auf das in 5 gezeigte Flussdiagramm der Alarmbewertungsprozess in Schritt S17 des in 3 gezeigten Flussdiagramms im Detail erläutert.
5 ist ein Flussdiagramm, das eine Alarmausgabebewertungs-Prozessoperation dieser Ausführung zeigt.
Der Alarmbewertungsprozess ist der Prozess zur Bewertung der Kollisionsmöglichkeit des Fahrzeugs 10 mit dem Objekt, das erfasst wird durch einen unten gezeigten Kollisionsbewertungsprozess, einen Bewertungsprozess zur Bewertung, ob es sich innerhalb eines Annäherungsbewertungsbereichs befindet oder nicht, einen Eindringkollisionsbewertungsprozess, einen Fußgängerbewertungsprozess und einen Künstliche-Struktur-Bewertungsprozess. Nachfolgend wird dies anhand des Falls erläutert, in dem ein Objekt 20 existiert, das sich mit einer Geschwindigkeit Vp aus einer Richtung von angenähert 90° zur Bewegungsrichtung des Fahrzeugs 10 voranbewegt, wie z.B. in 6 gezeigt.
Zuerst führt in 5 die Bildverarbeitungseinheit 1 den Kollisionsbewertungsprozess aus (Schritt S31).
In 6 ist der Kollisionsbewertungsprozess ein Prozess zur Bewertung, ob das Fahrzeug 10 mit dem Objekt 20 innerhalb einer zulässigen Zeit T kollidieren wird oder nicht, wenn sich das Objekt 20 aus dem ABstand Zv(N – 1) zu dem ABstand Zv(0) in der Zeit ΔT annähert, während eine Relativgeschwindigkeit Vs zwischen dem Objekt 20 und dem Automobil 10 in der Z-Richtung angenommen wird, und ferner angenommen wird, dass beide die Relativgeschwindigkeit Vs beibehalten und sich innerhalb einer Höhe H bewegen.
Hier dient die zulässige Zeit T dazu, die Möglichkeit einer Kollision vor der vorhergesagten Kollisionszeit um die Zeit T zu bewerten. Daher wird die zulässige Zeit T auf angenähert 2 bis 5 Sekunden gesetzt. Darüber hinaus ist H eine vorbestimmte Höhe, die die Reichweite in der Höhenrichtung spezifiziert, und ist z.B. auf angenähert das 2-fache der Fahrzeughöhe des eigenen Fahrzeugs 10 gesetzt.
Wenn dann in Schritt S31 das Fahrzeug 10 innerhalb der zulässigen Zeit T mit dem Objekt kollidieren könnte (JA in Schritt S31), bewertet die Bildverarbeitungseinheit 1, ob sich in dem Annäherungsbewertungsbereich ein Objekt befindet oder nicht (Schritt S32), um die Zuverlässigkeit der Bewertung weiter zu verbessern. Unter der Annahme, dass der Bereich, der von den Infrarotkameras 2R und 2L überwacht werden kann, ein Bereich AR0 ist, der ein durch die in 7 gezeigte dicke durchgehende Linie angegebenes äußeres Dreieck ist, ist die Bewertung, ob es sich innerhalb des Annäherungsbewertungsbereichs befindet oder nicht, ein Prozess zur Bewertung, ob sich ein Objekt innerhalb des Bereichs AR1 befindet oder nicht, der einem Bereich entspricht, der dem eigenen Fahrzeug näher ist als Z1 = Vs × T innerhalb des Bereichs AR0 und Reichweitenumgebungsgrenzbereichen β, β (z.B. angenähert 5 bis 100 cm), zusätzlich an beiden Seiten einer Breite α des Fahrzeugs 10, d.h. dem Annäherungsbewertungsbereich AR1, wo die Kollisionsmöglichkeit des Fahrzeugs 10 mit dem Objekt sehr hoch ist, wenn das Objekt so ist wie es ist. Übrigens hat auch der Annäherungsbewertungsbereich AR1 eine vorbestimmte Höhe H.
Wenn ferner in Schritt S32 sich kein Objekt in dem Annäherungsbewertungsbereich befindet (NEIN in Schritt S32), führt die Bildverarbeitungseinheit 1 einen Eindringkollisionsbewertungsprozess aus, um zu bewerten, ob ein Objekt in den Annäherungsbewertungsbereich hinein kommen könnte und mit dem Fahrzeug 10 kollidieren könnte (Schritt S33). Der Eindringkollisionsbewertungsprozess ist ein Prozess zur Bewertung, ob sich das Objekt, das sich innerhalb des Bereichs (Querrichtung außerhalb des Annäherungsbewertungsbereichs) AR2 oder AR3 befindet, wo der Absolutwert der X-Koordinate größer ist als jener des Annäherungsbewertungsbereichs AR1, in den Annäherungsbewertungsbereich AR1 hinein bewegen könnte und mit dem Fahrzeug 10 kollidieren könnte.
Übrigens haben auch die Eindringbewertungsbereiche AR2 und AR3 eine vorbestimmte Höhe H.
Wenn hingegen in Schritt S32 sich das Objekt innerhalb des Annäherungsbewertungsbereichs befindet (JA in Schritt S32), führt die Bildverarbeitungseinheit 1 den Fußgängerbewertungsprozess aus, um zu bewerten, ob das Objekt ein Fußgänger sein könnte oder nicht. Der Fußgängerbewertungsprozess wird im Detail später erläutert.
Wenn in Schritt S34 gewertet wird, dass das Objekt möglicherweise ein Fußgänger ist (JA in Schritt S34), wird, um die Zuverlässigkeit der Bewertung weiter zu verbessern, ein Künstliche-Struktur-Bewertungsprozess ausgeführt (Schritt S35), um zu bewerten, ob das Objekt eine künstliche Struktur ist oder nicht. Der Künstliche-Struktur-Bewertungsprozess ist ein Prozess zur Bewertung, dass dieses Objekt eine künstliche Struktur ist, und um das Objekt aus einer Alarmerzielung auszunehmen, wenn die folgenden Merkmale, die nicht jene eines Fußgängers sein können, in dem Bild des Objekts erfasst werden, z.B. die folgenden Merkmale (a) bis (d):

(a) wenn ein Abschnitt, der einen geradlinigen Rand zeigt, in dem Bild des Objekts enthalten ist;
(b) wenn der Winkel des Bilds des Objekts rechtwinklig ist;
(c) wenn mehrere Dinge der gleichen Form in dem Bild des Objekts enthalten sind;
(d) wenn das Bild des Objekts mit der Form der künstlichen Struktur, die vorab registriert ist, identisch ist.

Wenn daher die Möglichkeit besteht, dass das Objekt sich dem Bewertungsbereich annähern könnte und mit dem Fahrzeug 10 kollidieren könnte, in Schritt S33 (JA in Schritt S33), und wenn das Objekt, das als möglicher Fußgänger gewertet wird, keine künstliche Struktur ist in Schritt S35 (NEIN in Schritt S35), bewertet die Bildverarbeitungseinheit, dass es eine Möglichkeit gibt, dass das Fahrzeug 10 mit dem Objekt kollidieren könnte (es ist Ziel des Alarms) (Schritt S36), und der Prozess geht zu Schritt S18 weiter, wenn JA in Schritt S17 in 13, um einen Alarmausgabebewertungsprozess auszuführen (Schritt S18).
Wenn es andererseits in Schritt S31 keine Möglichkeit gibt, dass das Fahrzeug 10 mit dem Objekt innerhalb der zulässigen Zeit T kollidieren könnte (NEIN in Schritt S31), oder in Schritt S34 keine Möglichkeit besteht, dass das Objekt in den Annäherungsbewertungsbereich hinein kommt und mit dem Fahrzeug 10 kollidiert (NEIN in Schritt S33), wird gewertet, dass das Objekt unmöglich ein Fußgänger ist (NEIN in Schritt S34). Oder wenn das Objekt, das als möglicher Fußgänger gewertet wird, in Schritt S35 eine künstliche Struktur ist (JA in Schritt S35), dann bewertet die Bildverarbeitungseinheit 1, dass es keine Möglichkeit gibt, dass das Automobil 10 mit dem erfassten Objekt kollidieren könnte (es ist kein Ziel des Alarms) (Schritt S37). Der Prozess kehrt zu Schritt S1 zurück, wenn NEIN in Schritt S17 in 3, und wiederholt die Objekterfassung und Alarmoperation für einen Fußgänger etc.
Fußgängerbewertungsprozess
Als Nächstes wird anhand des Flussdiagramms von 8 und der schematischen Diagramme der 9 bis 12 der Fußgängerbewertungsprozess in Schritt S34 von 5 im Detail weiter erläutert. 8 ist ein Flussdiagramm, das die Fußgängerbewertungsprozessoperation zeigt, wenn die Umgebung des Fahrzeugs dieser Auführung regnerisch ist.
Wenn in dem Fußgängerbewertungsprozess dieser Ausführung die Umgebung des Fahrzeugs nicht regnerisch ist, wird ein Fußgänger aus einem Objekt durch Formbewertung vergleichsweise unterscheidbarer körperlicher Eigenschaften eines Fußgängers erkannt, der sich auf der Straße befindet, wie etwa normalerweise des Kopfs des Fußgängers. Um hingegen einen Fußgänger auch dann zu erkennen, wenn die Umgebung des Fahrzeugs regnerisch ist und der Fußgänger, der sich auf der Straße befindet, den Regenschirm hoch hält und daher seine vergleichsweise unterscheidbaren physikalischen Eigenschaften, wie etwa der Kopf des Fußgängers, von der Infrarotkamera nicht aufgenommen werden können, erkennt der Fußgängerbewertungsprozess dieser Ausführung eine Fußgänger, indem er die Existenz des Beins des Fußgängers in einem Grauwertbild oder die Existenz des Regenschirms, der vom Fußgänger gehalten wird, überprüft. Darüber hinaus führt der Fußgängerbewertungsprozess dieser Ausführung eine Serie der in 8 gezeigten Prozesse, z.B. mit einem Zyklus von 100 ms, aus, wenn die Umgebung des Fahrzeugs regnerisch ist.
Ob die Umgebung des Fahrzeugs regnerisch ist oder nicht, kann z.B. aus dem Betriebszustand des Scheibenwischers gewertet werden, der am eigenen Fahrzeug 10 vorgesehen ist, welches mit einer Wischerbetriebszustanderfassungsvorrichtung ausgestattet ist, um den Betriebszustand des Wischers zu erfassen, oder aus einem Ausgangssignal eines Regentropfensensors, der am Fahrzeug 10 angeordnet ist, das mit einem Regentropfensensor ausgestattet ist, der einen Regentropfen erfasst.
Der Fußgängerbewertungsprozess wird im Detail anhand des Fahrzeugs erläutert, in dem die Umgebung des Fahrzeugs regnisch ist. Um das Vorhandensein des Beins des Fußgängers im Grauwertbild zu überprüfen, bewertet in 8 zuerst die Bildverarbeitungseinheit 1, ob die Breite WB im Echtraum des binärisierten Zielobjekts 100 eine Breite ist, die als Fußgängerbein geeignet wäre, und ob Breite WB im Echtraum des binärisierten Objekts 100 innerhalb des vorbestimmten Bereichs liegt (Schritt S41), wie in 9 gezeigt, welche die räumliche Korrelation zwischen dem binärisierten Objekt während der Ausführung einer Beinexistenzbewertung eines Fußgängers und einem Grauwertobjektbereich zeigt. Insbesondere wird bewertet, ob die Breite WB im Echtraum des binärisierten Objekts 100, die durch die folgende Formel (1) berechnet ist, kleiner als die zuvor festgelegte minimale Beinbreite ist (z.B. 30 cm), und nicht größer ist als die zuvor festgelegte maximale Beinbreite (z.B. 70 cm). WB = wbx Abstand/(F/p) (1)
In der Formel (1) bezeichnet wb die Breite (Breite des Umrissvierecks des binärisierten Objekts) an dem Bild des binärisierten Objekts 100, wie in 9 gezeigt, und "Abstand" bezeichnet den Abstand (m) zwischen dem binärisierten Objekt 100 des eigenen Fahrzeugs 10 im Echtraum, F bezeichnet die Brennweite (m) der Infrarotkameras 2R und 2L, und p repräsentiert das Pixelraster (m/Pixel).
Wenn in Schritt S41 bewertet wird, dass die Breite WB im Echtraum des binärisierten Objekts 100 nicht kleiner als die minimale Beinbreite ist (z.B, 30 cm), und nicht größer als die maximale Beinbreite (z.B. 70 cm), und dass die Breite WB im Echtraum des binärisierten Zielobjekts 100 eine Breite ist, die als Fußgängerbein geeignet wäre (JA in Schritt S41), bewertet die Bildverarbeitungseinheit 1 als Nächstes, ob das binärisierte Zielobjekt 100 eine längliche Form hat oder nicht (Schritt S42). Insbesondere bewertet sie, ob das Verhältnis (hb/wb) der Höhe (Höhe des Umrissvierecks des binärisierten Objekts) hb an dem Bild des binärisierten Objekts 100 und die Breite wb an dem Bild des binärisierten Objekts 100 nicht kleiner als der Aspektverhältnisschwellenwert (z.B. 1) ist, und wenn "(hb/wb) ≥ Aspektverhältnisschwellenwert", wird gewertet, dass das binärisierte Objekt 100 eine längliche Form hat.
Wenn in Schritt S42 gewertet wird, dass "(hb/wb) ≥ Aspektverhältnisschwellenwert", und dass das binärisierte Zielobjekt 100 eine längliche Form hat (JA in Schritt S42), bewertet die Bildverarbeitungseinheit 1, ob die untere Endposition des binärisierten Objekts 100 innerhalb des unteren Teils (der unteren Hälfte) des Grauwertobjektbereichs (des Objekts auf einem Grauwertbild) existiert oder nicht (Schritt S43). Insbesondere wird, wie in 9 gezeigt, ein Grauwertobjektbereich 101, der ein Bereich des Objekts auf dem Grauwertbild ist, der das binärisierte Objekt 100 enthält, aufgestellt und es wird gewertet, ob die Position des binärisierten Objekts 100 der folgenden Formel (2) zur Höhe hg dieses Grauwertobjektbereichs 101 erfüllt oder nicht. yb + hb ≥ yg + hg/2 (2)
Übrigens bezeichnet in der Formel (2) yb die X-Achsenkoordinaten der oberen linken Endkoordinaten (xb, yb) des binärisierten Objekts 100, während das obere linke Ende des Grauwertbilds als Ursprung (0, 0) betrachtet wird, wie in 9 gezeigt. Darüber hinaus repräsentiert yg die X-Achsenkoordinaten der oberen linken Endkoordinaten (xg, yg) des Grauwertobjektbereichs 101, während das obere linke Ende des Grauwertbilds als Ursprung (0, 0) betrachtet wird.
Darüber hinaus ordnet die Bildverarbeitungseinheit 1 mehrere Maskenbereiche einer vorbestimmten Größe vom Oberende des binärisierten Objektumrissvierecks an, und stellt diese auf dem Grauwertbild auf und extrahiert einen Bereich, der einen Maskenbereich enthält, wo die Luminanzänderung in dem Maskenbereich groß ist (das Objekt und das Hintergrundbild sind enthalten), wobei der Korrelationsgrad des Maskenbereichs zwischen dem rechten Bild und dem linken Bild hoch ist, und der gleiche Abstand (die gleiche Parallaxe) wie das binärisierte Objekt vorliegt, um hierdurch den Grauwertobjektbereich 101 zu erhalten.
Wenn ferner in Schritt S43 gewertet wird, dass die Position des binärisierten Objekts 100 zur Höhe hg des Grauwertobjektbereichs 101 der Formel (2) genügt, und dass die untere Endposition des binärisierten Objekts 100 innerhalb des unteren Teils (der unteren Hälfte) des Grauwertobjektbereichs 101 liegt (JA in Schritt S43), wird gewertet, ob die Bildverarbeitungseinheit 1 eine zeitserielle Luminanzänderung in dem binärisierten Objekt 100 hat oder nicht (Schritt S44). Da sich die Form des Objekts verändert, wenn ein Fußgänger geht, wird, wenn das binärisierte Objekt 100 das Bein eines Fußgängers ist, dieser Prozess ausgeführt, um diese Änderung zu erfassen.
Insbesondere wird die Luminanzverteilung des Umrissvierecks des binärisierten Objekts erhalten, und die Standardabweichung σ der Luminanzverteilung wird aus der Variante dieser Luminanzverteilung errechnet. Dann wird gewertet, ob die berechnete Standardabweichung σ kleiner als der Luminanzverteilungsschwellenwert σTH ist oder nicht. Wenn die Bildverarbeitungseinheit 1 die Standardabweichung σ der Luminanzverteilung berechnet, dann berechnet der Ausführungszyklus des Prozesses die Standardabweichung σ der Luminanzverteilung z.B. angenähert 0,5 Sekunden aus der Varianz in m Luminanzverteilungen, die in diesen 0,5 Sekunden erhalten ist.
Wenn in Schritt S44 gewertet wird, dass die berechnete Standardabweichung σ nicht kleiner als der Luminanzverteilungsschwellenwert σTH ist und dass eine zeitserielle Luminanzveränderung in dem binärisierten Objekt 100 vorhanden ist, wird das binärisierte Objekt 100 als Fußgängerbein erkannt (JA in Schritt S44), und die Bildverarbeitungseinheit 1 bewertet, dass das Objekt ein Fußgänger ist (Schritt S45), um den Fußgängerbewertungsprozess abzuschließen, und geht zu Schritt S35 in 5 weiter, wenn JA in Schritt S34 in 5, um hierdurch die Bewertung einer künstlichen Struktur durchzuführen.
Wenn hingegen bewertet wird, ob eine zeitserielle Luminanzveränderung auftritt oder nicht, obwohl das Bein eines gehenden Fußgängers erkannt wird und hierbei der Fußgänger stillsteht, wird sich die Form des Bilds im Zeitverlauf nicht verändern, obwohl das binärisierte Objekt das Fußgängerbein ist, und daher ist es nicht möglich, das Fußgängerbein als solches zu erkennen. Wenn dann in Schritt S44 die berechnete Standardabweichung σ kleiner als der Luminanzverteilungsschwellenwert σTH ist und gewertet wird, dass es keine zeitserielle Luminanzveränderung in dem binärisierten Objekt 100 gibt (NEIN in Schritt S44), prüft die Bildverarbeitungseinheit 1 das Vorhandensein des vom Fußgänger hochgehaltenen Regenschirms im Grauwertbild, um hierdurch den Fußgänger zu erkennen.
Um dies im Detail zu erläutern, stellt die Bildverarbeitungseinheit 1 zuerst den Regenschirmbereich auf, in dem verrmutlich der Regenschirm vom Fußgänger hochgehalten wird (Schritt S46). Insbesondere wird, wie in 10 gezeigt, die den Rand des Regenschirmbereichs bei der Durchführung der Regenschirmexistenzbewertung zeigt, zuerst das Grauwertbild mittels eines Differenzierungsfilters differenziert und dann binärisiert, um die Existenz des Randabschnitts 103 des Bereichs zu bewerten, der vermutlich der Regenschirm ist, den der Fußgänger hochhält. Und wenn ein Randabschnitt 103 mit einer starken Luminanzänderung oberhalb des binärisierten Objekts 100 existiert, werden die Y-Achsenkoordinaten des Randabschnitts 103 erhalten und bilden die untere Endposition Ay des Regenschirmbereichs. Hingegen werden die Y-Achsenkoordinaten der oberen Endposition des Grauwertobjektbereichs 101 zur oberen Endposition By des Regenschirmbereichs.
Wenn darüber hinaus der Randabschnitt 103 existiert, wie in 11 gezeigt, die die räumliche Korrelation zwischen dem Regenschirmbereich und dem Grauwertobjektbereich zeigt, bei der Durchführung der Regenschirmexistenzbewertung des vom Fußgänger hochgehaltenen Regenschirms, werden zur rechten Seite und linken Seite des Grauwertobjektbereichs 101, mehrere Maskenbereiche M1, M2, M3 und M4 ..., die eine Breite Mw haben und zwischen der unteren Endposition Ay des Regenschirmbereichs und der oberen Endposition By des Regenschirmbereichs liegen, aufgestellt, und der Abstand zwischen dem Automobil 10 und jedem Maskenbereich M1, M2, M3 und M4 wird berechnet. Wie in 12 gezeigt, die die räumliche Korrelation zwischen dem Regenschirmbereich, dem binärisierten Objekt und dem Grauwertobjektbereich zeigt, werden, bei der Durchführung der Regenschirmexistenzbewertung des vom Fußgänger hochgehaltenen Regenschirms, alle Maskenbereiche, die sich in dem gleichen Abstand wie das binärisierte Objekt 100 befinden, integriert, um den Regenschirmbereich 104 anzunehmen, der den Bereich zeigt, der vermutlich der Regenschirm 102 ist, den der Fußgänger hochhält.
D.h. in der in 11 gezeigten Ausführung werden die Maskenbereiche M1, M2 und M3 integriert, um die X-Achsenkoordinaten am rechten Ende des Maskenbereichs M1 zu erhalten, der mit dem gleichen Abstand wie das binärisierte Objekt 100 existiert, und dies wird zur rechten Endposition Cx des Regenschirmbereichs gemacht. Ähnlich werden die X-Achsenkoordinaten am linken Ende des Maskenbereichs M3, der mit dem gleichen Abstand wie das binärisierte Objekt 100 existiert, erhalten, und dieser wird zur linken Endposition Dx des Regenschirmbereichs gemacht, und, wie in 12 gezeigt, wird der Bereich, der von den Koordianten Ay, By, Cx und Dx umgeben ist, zum Regenschirmbereich 104 gemacht.
Wen hingegen in Schritt S46 der Regenschirmbereich 104, der vermutlich der vom Fußgänger hochgehaltene Regenschirm 102 ist, aufgestellt werden kann, führt die Bildverarbeitungseinheit 1 die Luminanzbewertung des aufgestellten Regenschirmbereichs 104 durch und bewertet, ob ein Bereich (Bereich mit geringer Luminanz), dessen Temperatur niedrig ist, über dem binärisierten Objekt 100 existiert oder nicht (Schritt S47). Insbesondere wird gewertet, ob die durchschnittliche Luminanz AVE des Regenschirmbereichs 104 geringer ist als der Regenschirmbewertungsluminanzschwellenwert TH1 oder nicht.
Wenn ferner in Schritt S47 die durchschnittliche Luminanz AVE des Regenschirmbereichs 104 geringer ist als der Regenschirmbewertungsluminanzschwellenwert TH1 und gewertet wird, dass ein Bereich (ein Bereich mit geringer Luminanz) mit geringer Temperatur oberhalb des binärisierten Objekts 100 existiert (JA in Schritt S47), wertet die Bildverarbeitungseinheit 1, ob die Breite des Regenschirmbereichs 104 eine Breite hat, die für einen vom Fußgänger hochgehaltenen Regenschirm geeignet ist oder nicht, und ob die Breite des Regenschirmbereichs 104 innerhalb einer vorbestimmten Reichweite liegt oder nicht (Schritt S48). Insbesondere wird gewertet, ob die folgende Formel (3) erfüllt ist oder nicht, zur Breite des Regenschirmbereichs 104 (= |Cx – Dx|). TH2 ≤ |Cx – Dx| ≤ TH3 (3)
Übrigens bezeichnet in der Formel (3) TH2 den minimalen Schwellenwert der Breite des Regenschirmbereichs, und TH3 bezeichnet den maximalen Schwellenwert der Breite des Regenschirmbereichs. Darüber hinaus ist der minimale Schwellenwert TH2 der Breite eines Regenschirmbereichs z.B. auf 70 cm gelegt, unter der Annahme der Schulterlänge eines Fußgängers. Ähnlich ist der maximale Schwellenwert TH3 der Breite des Regenschirmbereichs z.B. auf 150 cm gesetzt, unter der Annahme der Breite eines häufig benutzten Regenschirms, den der Fußgänger hochhält.
Wenn ferner in Schritt S48 die Breite des Regenschirmbereichs 104 (= |Cx – Dx|) der Formel (3) genügt und bewertet wird, dass die Breite des Regenschirmbereichs 104 eine Breite hat, die für einen vom Fußgänger hochgehaltenen Regenschirm geeignet ist (JA in Schritt S48), wertet die Bildverarbeitungseinheit 1, ob die räumliche Korrelation zwischen dem Fußgänger und dem vom Fußgänger hochgehaltenen Regenschirm geeignet ist oder nicht, und ob die räumliche Korrelation zwischen der Schwerpunktsposition des Regenschirmbereichs 104 und der Schwerpunktsposition des binärisierten Objekts 100 innerhalb der Bedingung liegt oder nicht (Schritt S49). Insbesondere wird in 12 gewertet, ob die Korrelation zwischen den X-Achsenkoordinaten Ux der Schwerpunktspositionskoordinate (Ux, Uy) des Regenschirmbereichs 104 und den X-Achsenkoordinaten Lx der Schwerpunktspositionskoordinate (Lx, Ly) des binärisierten Objekts 100 der folgenden Formel (4) genügt oder nicht. |Ux – Lx| ≤ TH4 (4)
Übrigens bezeichnet in der Formel (4) TH4 den Schwerpunktsverschiebungsschwellenwert zur Schwerpunktsverschiebung. Darüber hinaus wird der Schwerpunktsverschiebungsschwellenwert TH4 z.B. auf 35 cm gelegt, als Hälfte der Schulterlänge des vermuteten Fußgängers.
Und wenn in Schritt S49 die Korrelation zwischen den X-Achsenkoordinaten Ux der Schwerpunktspositionskoordinate des Regenschirmbereichs 104 und den X-Achsenkoordinaten Lx der Schwerpunktspositionskoordinate des binärisierten Objekts 100 der obigen Formel (4) genügt und gewertet wird, dass die räumliche Korrelation zwischen der Schwerpunktspositionskoordinate des Regenschirmbereichs 104 und der Schwerpunktspositionskoordinate des binärisierten Objekts 100 als räumliche Korrelation zwischen einem Fußgänger und dem vom Fußgänger hochgehaltenen Regenschirm geeignet ist, wird erkannt, dass der Regenschirm, den der Fußgänger hochhält, oberhalb des binärisierten Objekts 100 existiert (JA in Schritt S49), wobei die Bildverarbeitungseinheit 1 bewertet, dass das erfasste Objekt ein Fußgänger ist (Schritt S45), um den Fußgängerbewertungsprozess zu beenden, und geht zu Schritt S35 von 5 weiter, als JA in Schritt S34 in 5, und führt dann die Künstliche-Struktur-Bewertung aus.
Wenn hingegen in Schritt S41 gewertet wird, dass die Breite WB im Echtraum des binärisierten Objekts 100 kleiner ist als die minimale Beinbreite (z.B. 30 cm), oder größer ist als die maximale Beinbreite (z.B. 70 cm), und dass die Breite WB im Echtraum des binärisierten Zielobjekts 100 keine Breite ist, die als Fußgängerbein geeignet wäre (NEIN in Schritt S41), bewertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist (Schritt S50), und beendet den Fußgängerbewertungsprozess, und geht zu Schritt S37 von 5 weiter, wenn NEIN in Schritt S34 in 5, und bewertet, dass das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Wenn ferner in Schritt S42 "(hb/wb) < Aspektverhältnisschwellenwert" und gewertet wird, dass das binärisierte Zielobjekt keine längliche Form hat (NEIN in Schritt S42), wertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist (Schritt S50), um den Fußgängerbewertungsprozess abzuschließen, und geht zu Schritt S37 von 5 weiter, wenn NEIN in Schritt S34 in 5, und bewertet, dass das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Wenn ferner in Schritt S43 die Position des binärisierten Objekts 100 zur Höhe hg des Grauwertobjektbereichs 101 nicht der Formel (2) genügt, und bewertet wird, dass die untere Endposition des binärisierten Objekts 100 nicht in dem unteren Teil (der unteren Hälfte) des Grauwertobjektbereichs 101 liegt (NEIN in Schritt S43) (Schritt S50), bewertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist, um den Fußgängerbewertungsprozess zu beenden, und geht zu Schritt S37 in 5 weiter, wenn NEIN in Schritt S34 in 5, und bewertet, dass das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Wenn ferner in Schritt S47 die durchschnittliche Luminanz AVE des Regenschirmbereichs 104 nicht kleiner als die Regenschirmbewertungsluminanzschwellenwerte TH ist und gewertet wird, dass ein Bereich (Bereich mit geringer Luminanz) mit geringer Temperatur nicht oberhalb des binärisierten Objekts 100 existiert (NEIN in Schritt S47), wertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist (Schritt S50), um den Fußgängerbewertungsprozess zu beenden, und geht zu Schritt S37 in 5 weiter, wenn NEIN in Schritt S34 in 5, und wertet, dass das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Wenn ferner in Schritt S48 die Breite des Regenschirmbereichs 104 (= |Cx – Dx|) nicht der Formel (3) genügt und bewertet wird, dass die Breite des Regenschirmbereichs 104 keine Breite ist, die für einen vom Fußgänger hochgehaltenen Regenschirm geeignet ist (NEIN in Schritt S48), wertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist (Schritt S50), um den Fußgängerbewertungsprozess zu beenden, und geht zu Schritt S47 in 5 weiter, wenn NEIN in Schritt S34 in 5, und wertet, dass das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Wenn ferner in Schritt S49 die Korrelation zwischen den X-Achsenkoordinaten Ux der Schwerpunktspositionskoordinate des Regenschirmbereichs 104 und die X-Achsenkoordinaten Lx der Schwerpunktspositionskoordinate des binärisierten Objekts 100 nicht der obigen Formel (4) genügen, und gewertet wird, dass die räumliche Korrelation zwischen der Schwerpunktspositionskoordinate des Regenschirmbereichs 104 und der Schwerpunktspositionskoordinate des binärisierten Objekts 100 nicht als räumliche Korrelation zwischen einem Fußgänger und dem vom Fußgänger hochgehaltenen Regenschirm geeignet ist (NEIN in Schritt S49), wertet die Bildverarbeitungseinheit 1, dass das erfasste Objekt kein Fußgänger ist (Schritt S50), um den Fußgängerbewertungsprozess zu beenden, und geht zu Schritt S37 in 5 weiter, wenn "NEIN" in Schritt S34 in 5, und wertet, das das Objekt kein Ziel zur Ausgabe eines Alarms ist.
Ferner enthält in dieser Ausführung die Bildverarbeitungseinheit 1 die Binärisiertes-Objekt-Extraktionsvorrichtung, eine Alarmbewertungsvorrichtung, die Alarmausgabevorrichtung, die Beinbewertungsvorrichtung, die Luminanzänderungserfassungsvorrichtung und die Fußgängererkennungsvorrichtung. Ferner entspricht der Prozess der Schritte S4 bis S7 in 3 der Binärisiertes-Objekt-Extraktionsvorrichtung, der Prozess von Schritt S18 in 3 entspricht einer Alarmbewertungsvorrichtung, der Prozess in Schritt S19 in 3 und Schritt S20 entspricht einer Alarmausgabevorrichtung, der Prozess von Schritt S41 bis S44 in 8 entspricht einer Beinbewertungsvorrichtung, der Prozess in Schritt S44 in 8 entspricht einer Luminanzänderungserfassungsvorrichtung, und der Prozess in Schritt S45 in 8 entspricht einer Fußgängererkennungsvorrichtung.
Ferner enthält in dieser Ausführung die Bildverarbeitungseinheit 1 die Umfangsbereichberechnungsvorrichtung, eine Suchbereichsetzvorrichtung, eine Abstandsberechnungsvorrichtung und eine Integrierter-Suchbereich-Setzvorrichtung. Insbesondere enthält der Prozess von Schritt S46 in 8 sowohl die Umfangsbereichberechnungsvorrichtung als auch die Suchbereichsetzvorrichtung als auch die Abstandsberechnungsvorrichtung als auch die Integrierter-Suchbereich-Setzvorrichtung.
Ferner enthält in dieser Ausführung die Bildverarbeitungseinheit 1 eine Regenschirmbewertungsvorrichtung, eine Durchschnittliche-Luminanz-Berechnungsvorrichtung, eine Breitenmessvorrichtung, eine Binärisiertes-Objekt-Schwerpunktspositions-Berechnungsvorrichtung sowie eine Bereichsschwerpunktspositions-Berechnungsvorrichtung. Insbesondere entspricht der Prozess der Schritte S47 bis S49 in 8 der Regenschirmbewertungsvorrichtung, der Prozess von Schritt S47 in 8 entspricht der Durchschnittliche-Luminanz-Berechnungsvorrichtung, der Prozess von Schritt S48 in 8 entspricht der Breitenmessvorrichtung, und der Prozess von Schritt S49 in 8 entspricht der Binärisiertes-Objekt-Schwerpunktspositions-Berechnungsvorrichtung und der Bereichsschwerpunktspositions-Berechnungsvorrichtung.
Wenn, wie oben erläutert, die Umgebung des Fahrzeugs nicht regnerisch ist, erkennt die Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung einen Fußgänger aus einem Objekt in Abhängigkeit von vergleichsweise unterscheidbaren körperlichen Eigenschaften eines Fußgängers, der sich auf der Straße befindet, wie etwa dem Kopf des Fußgängers. Wenn hingegen die Umgebung des Fahrzeugs regnerisch ist und ein Fußgänger einen Regenschirm hochhält und daher die vergleichsweise unterscheidbaren körperlichen Charakteristiken des Fußgängers, der sich auf der Straße befindet, wie etwa der Kopf des Fußgängers, von der Infrarotkamera nicht aufgenommen werden können, wird der Fußgänger erkannt, indem das Vorhandensein des Beins des Fußgängers in dem Grauwertbild oder das Vorhandensein des Regenschirms, den der Fußgänger hochhält, überprüft und bestätigt wird.
Insbesondere wenn das Vorhandensein des Beins des Fußgängers im Grauwertbild zur Erkennung eines Fußgängers geprüft wird, wie in 9 gezeigt, wird bewertet, dass das binärisierte Zielobjekt 100 ein Fußgängerbein ist, und es wird erkannt, dass das erfasste Objekt ein Fußgänger ist, wenn alle Bedingungen erfüllt sind, dass nämlich die Breite WB im Echtraum des binärisierten Zielobjekts 100 eine Breite hat, die für ein Fußgängerbein geeignet ist, das ähnlich das binärisierte Zielobjekt 100 eine längliche Form hat, dass ähnlich die untere Endposition des binärisierten Zielobjekts 100 in dem unteren Teil (der unteren Hälfte) des Grauwertobjektbereichs 101 existiert, und dass ähnlich eine zeitserielle Luminanzveränderung innerhalb des binärisierten Zielobjekts 100 vorhanden ist.
Wenn hingegen keine zeitserielle Luminanzveränderung in dem binärisierten Zielobjekt 100 vorhanden ist, und die Existenz des Regenschirms, der vom Fußgänger hochgehalten wird, im Grauwertbild bestätigt wird, und ein Fußgänger erkannt, wie in 12 gezeigt. Falls alle Bedingungen erfüllt sind, dass der Bereich (ein Bereich mit geringer Luminanz) mit geringer Temperatur wie ein Regenschirmbereich 104 oberhalb des binärisierten Zielobjekts 100 existiert, dass die Breite des Regenschirmbereichs 104 für einen vom Fußgänger hochgehaltenen Regenschirm geeignet ist, dass die räumlichen Korrelationen zwischen der Schwerpunktspositionskoordinate des Regenschirmbereichs 104 und der Schwerpunktspositionskoordinate des binärisierten Objekts 100 als räumliche Korrelation zwischen einem Fußgänger und dem vom Fußgänger hochgehaltenen Regenschirm geeignet ist, dann existiert der vom Fußgänger hochgehaltene Regenschirm oberhalb des binärisierten Zielobjekts 100, und daher wird das erfasste Objekt als Fußgänger erkannt.
Wenn daher der Fußgänger in der Umgebung des Fahrzeugs mittels eines Infrarotbilds erkannt wird, obwohl der Kopf eines Fußgängers, der eine leicht unterscheidbare körperliche Charakteristik eines Fußgängers ist, normalerweise nicht erfassbar ist, erhält man durch Bewertung der Existenz eines Fußgängerbeins aus dem Infrarotbild den Effekt, dass die Fahrzeugumgebungs-Überwachungsvorrichtung eine unbestimmte Form des binärisierten Objekts, die aus einem Infrarotbild extrahiert ist, präzise bewerten kann und den Fußgänger sicher erkennen kann. Wenn sie ferner den Kopf des Fußgängers nicht durch problemlose Bewertung körperlicher Merkmale des Fußgängers, wie oben angegeben, erfassen kann, weil der Fußgänger den Regenschirm hochhält, und sie ferner auch das Bein des Fußgängers nicht erkennen kann, erhält man ferner durch Bewertung der Existenz des vom Fußgänger hochgehaltenen Regenschirms aus dem Infrarotbild den Effekt, dass die Fahrzeugumgebungs-Überwachungsvorrichtung die unbestimmte Form des binärisierten Objekts, das aus einem Infrarotbild extrahiert ist, präzise bewerten kann und den Fußgänger sicher erkennen kann.
Insbesondere, wenn die Existenz eines Fußgängerbeins bewertet wird, wird bewertet, ob das binärisierte Objekt 100 eine Breite hat, die für ein Fußgängerbein geeignet ist, ob das binärisierte Objekt 100 eine längliche Form hat, die als Fußgängerbein geeignet ist, und ferner, ob das binärisierte Objekt 100 unterhalb des Umfangsbereichs liegt. Selbst wenn daher z.B. ein Hinweisschild, das eine ähnliche Form wie ein Fußgängerbein hat, als binärisiertes Objekt 100 extrahiert wird, erhält man durch Ausschließen des binärisierten Objekts, das von der Form oder von der Platzierung in dem Bild her nicht als Fußgängerbein geeignet ist, den Effekt, dass man verhindern kann, z.B. ein Hinweisschild als Fußgängerbein zu erkennen.
Fenrer wird gewertet, ob das binärisierte Objekt 100 ein Fußgänger ist oder nicht, unter Verwendung der Luminanzänderung des Beins, die mit dem Gang des Fußgängers auftritt, um hierdurch die Erkennungsgenauigkeit zu erhöhen. Hingegen ist es, selbst wenn der Fußgänger stillsteht und daher das Fußgängerbein nicht erfasst werden kann, möglich, einen Fußgänger auf der Basis der Existenz des vom Fußgänger hochgehaltenen Regenschirms zu erkennen. Im Ergebnis wird es möglich zu bewerten, ob das Objekt ein Fußgänger ist oder nicht, unabhängig davon, ob der Fußgänger geht oder nicht, indem die Erkennungsgenauigkeit eines Fußgängers erhöht wird.
Insbesondere, wenn die Existenz des vom Fußgänger hochgehaltenen Regenschirms bewertet wird, wird die Existenz eines Fußgängers dadurch bewertet, ob der Bereich, der als Regenschirm angesehen wird, eine Breite und eine durchschnittliche Luminanz hat, die für einen Regenschirm geeignet sind, und ob die Korrelation zwischen der Schwerpunktsposition des binärisierten Objekts, das als Fußgänger angesehen wird, und der Schwerpunktsposition des Bereichs, der als der Bereich des vom Fußgänger hochgehaltenen Regenschirms betrachtet wird, in einer geeigneten räumlichen Beziehung liegen oder nicht. Somit werden jene, die nicht als der vom Fußgänger hochgehaltene Regenschirm geeignet sind, aufgrund der Breite, der durchschnittlichen Luminanz und der Position davon ausgeschlossen, um hierdurch zu verhindern, dass der Fußgänger auf der Basis eines Regenschirms erkannt wird, der nicht als der vom Fußgänger hochgehaltene Regenschirm bewertet werden kann, und das Objekt ein anderes ist als der Fußgänger.
Falls ferner die Umgebung des Fahrzeugs regnerisch ist, wird ein Fußgänger aus der Existenz des Fußgängerbeins oder des vom Fußgänger hochgehaltenen Regenschirms erkannt, wohingegen anderenfalls diese Charakteristiken nicht dazu genutzt werden, um zu verhindern, dass das Objekt, das weder das Fußgängerbein noch der vom Fußgänger hochgehaltene Regenschirm ist, erfasst wird, wenn die Umgebung des Fahrzeugs nicht regnerisch ist, um hierdurch die Erkennungsgenauigkeit eines Fußgängers zu erhöhen.
Übrigens erhält man den Effekt, dass ein Alarm nur für das Objekt ausgegeben wird, das als Fußgänger erkannt wird, und ferner dieser Alarm nur für einen Fußgänger ausgegeben wird, der besonders markiert sein soll, wie etwa einen Fußgänger, der mit einer gewissen Wahrscheinlichkeit mit einem Automobil kollidiert, um die Existenz eines solchen Fußgängers hervorzuheben, der markiert werden soll, um hierdurch die Aufmerksamkeit des Fahrzeugfahrers noch stärker anzusprechen.
Wenn in der erfindungsgemäßen Fahrzeugumgebungs-Überwachungsvorrichtung ein Fußgänger aus der Existenz des Beins erkannt wird, wird erkannt, dass das binärisierte Objekt 100 ein Fußgänger ist, falls die Breite WB in dem Echtraum des binärisierten Objekts 100 als Fußgängerbein geeignet ist, das binärisierte Objekt 100 eine längliche Form hat, die untere Endposition des binärisierten Objekts 100 im unteren Teil (in der unteren Hälfte) des Grauwertobjektbereichs 101 liegt, und eine serielle Luminanzveränderung in dem binärisierten Objekt 100 vorliegt. Wenn hingegen ein Fußgänger aus der Existenz des vom Fußgänger hochgehaltenen Regenschirms erkannt wird, wird erkannt, dass das binärisierte Objekt 100 ein Fußgänger ist, falls der Regenschirmbereich 104 mit niedriger Temperatur oberhalb des binärisierten Objekts 100 vorhanden ist, die Breite des Regenschirmbereichs 104 als Regenschirm des Fußgäners geeignet ist und die räumliche Korrelation zwischen der Schwerpunktsposition des Regenschirmbereichs 104 und der Schwerpunktsposition des binärisierten Objekts 100 als räumliche Beziehung zwischen einem Fußgäner und seinem Regenschirm geeignet ist.

Claims

Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend: eine Infrarotbildaufnahmevorrichtung (2R, 2L) zum Aufnehmen eines Grauwertbilds, eine Fußgänger-Beinkennwertspeichervorrichtung (in 1) zum Speichern eines Kennwerts vom Bein eines Fußgängers, eine Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) zum Extrahieren eines binärisierten Objekts durch Binärisierung des Grauwertbilds, eine Beinbewertungsvorrichtung (S41–S44) zum Bewerten, ob das binärisierte Objekt das Bein des Fußgängers ist oder nicht, durch Vergleich des Kennwerts des von der Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) extrahierten binärisierten Objekts mit dem Kennwert des Beins eines Fußgängers, und eine Fußgängererkennungsvorrichtung (S45) zum Erkennen des das binärisierte Objekt enthaltenden Objekts als Fußgänger, wenn das binärisierte Objekt von der Beinbewertungsvorrichtung (S41–S44) als Bein eines Fußgängers erkannt wird.
Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend: eine Infrarotbildaufnahmevorrichtung (2R, 2L) zum Aufnehmen eines Grauwertbilds, eine Regenschirmkennwertspeichervorrichtung (in 1) zum Speichern eines Kennwerts eines Regenschirms im von einem Fußgänger gehaltenen Zustand, eine Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) zum Extrahieren eines binärisierten Objekts durch Binärisierung des Grauwertbilds, eine Umfangsbereichberechnungsvorrichtung (S46) zum Berechnen eines Umfangsbereichs auf dem Grauwertbild des von der Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) extrahierten binärisierten Objekts, eine Suchbereichsetzvorrichtung (S46) zum Setzen eines Suchbereichs zwischen ein Oberende des von der Umfangsbereichberechnungsvorrichtung (S46) berechneten Umfangsbereichs und das binärisierte Objekt, eine Regenschirmbewertungsvorrichtung (S47–S49) zum Bewerten, ob sich der Regenschirm in dem Suchbereich befindet oder nicht, durch Vergleich eines Kennwerts des von der Suchbereichsetzvorrichtung gesetzten Suchbereichs mit dem Kennwert des Regenschirms im von einem Fußgänger gehaltenen Zustand, und eine Fußgängererkennungsvorrichtung (S45) zum Erkennen des das binärisierte Objekt enthaltenden Objekts als Fußgänger, wenn durch die Regenschirmbewertungsvorrichtung (S47–S49) erkannt wird, dass sich der vom Fußgänger gehaltene Regenschirm in dem Suchbereich befindet.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1, gekennzeichnet durch eine Umfangsbereichberechnungsvorrichtung (S46) zum Berechnen eines Umfangsbereichs des Grauwertbilds des von der Binäres-Objekt-Extraktionsvorrichtung (S4–S7) extrahierten binärisierten Objekts, wobei die Beinbewertungsvorrichtung (S41–S44) bewertet, dass das binärisierte Objekt das Bein eines Fußgängers ist, wenn die Breite des binärisierten Objekts innerhalb eines vorbestimmten Bereichs liegt, ein Aspektverhältnis des binärisierten Objekts nicht kleiner als ein vorbestimmter Schwellenwert ist und sich das binärisierte Objekt innerhalb des Umfangsbereichs eines vorbestimmten Bereichs vom Unterende des Umfangsbereichs befindet.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 3, gekennzeichnet durch eine Luminanzänderungserfassungsvorrichtung (S44) zum Erfassen, ob eine zeitserielle Luminanzänderung des von der Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) extrahierten binärisierten Objekts vorhanden ist oder nicht, wobei die Beinbewertungsvorrichtung (S41–S44) bewertet, dass das binärisierte Objekt das Bein eines Fußgängers ist, wenn die zeitserielle Luminanzänderung des binärisierten Objekts von der Luminanzänderungserfassungsvorrichtung (S44) erfasst wird.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 4, gekennzeichnet durch: eine Regenschirmkennwertspeichervorrichtung (in 1) zum Speichern eines Kennwerts eines Regenschirms im von einem Fußgänger gehaltenen Zustand, eine Suchbereichsetzvorrichtung (S46) zum Setzen eines Suchbereichs zwischen das Oberende des Umfangsbereichs und das binärisierte Objekt auf dem Grauwertbild des binärisierten Objekts, worin eine zeitserielle Luminanzänderung des binärisierten Objekts durch die Luminanzänderungserfassungsvorrichtung (S44) nicht erfasst wird, und eine Regenschirmbewertungsvorrichtung (S47–S49) zum Bewerten, ob sich der Regenschirm innerhalb des Suchbereichs befindet oder nicht, durch Vergleich des Kennwerts des von der Suchbereichsetzvorrichtung (S46) gesetzten Suchbereichs mit dem Kennwert des Regenschirms im von einem Fußgänger gehaltenen Zustand, wobei die Fußgängererkennungsvorrichtung (S45) das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt, wenn durch die Beinbewertungsvorrichtung (S41–S44) das binärisierte Objekt als Bein des Fußgängers gewertet wird, oder wenn durch die Regenschirmbewertungsvorrichtung (S47–S49) gewertet wird, dass sich der vom Fußgänger gehaltene Regenschirm innerhalb des Suchbereichs befindet.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1 oder 2, gekennzeichnet durch zwei Infrarotaufnahmevorrichtungen (2R, 2L), eine Abstandsberechnungsvorrichtung (S46) zum Berechnen eines Abstands zum im Grauwertbild enthaltenen binärisierten Objekt unter Verwendung zweier Grauwertbilder, die von den zwei Infrarotaufnahmevorrichtungen (2R, 2L) aufgenommen sind, eine Sub-Suchbereichsetzvorrichtung zum Setzen von Sub-Suchbereichen auf den linken und den rechten Suchbereich, eine Integrierter-Suchbereich-Setzvorrichtung (S46) zum Setzen eines integrierten Suchbereichs, worin der Suchbereich und der Sub-Suchbereich integriert werden, wenn der Abstand zum im Suchbereich enthaltenen binärisierten Objekt mit dem Abstand zu dem im Sub-Suchbereich enthaltenen binärisierten Objekt identisch ist, eine Breitenmessvorrichtung (S48) zum Messen einer Breite des integrierten Suchbereichs, der durch die Integrierter-Suchbereich-Setzvorrichtung (S46) gesetzt ist, und eine Durchschnittliche-Luminanz-Berechnungsvorrichtung (S47) zum Berechnen einer durchschnittlichen Luminanz des integrierten Suchbereichs, der von der Integrierter-Suchbereich-Setzvorrichtung (S46) gesetzt ist, wobei die Regenschirmbewertungsvorrichtung (S47–S49) bewertet, dass sich der Regenschirm innerhalb des Suchbereichs befindet, wenn die Breite des integrierten Suchbereichs innerhalb eines vorbestimmten Bereichs liegt und die durchschnittliche Luminanz des integrierten Suchbereichs nicht größer als ein vorbestimmter Luminanzschwellenwert ist.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 6, gekennzeichnet durch: eine Binärisiertes-Objekt-Schwerpunktspositions-Berechnungsvorrichtung (S49) zum Berechnen einer Schwerpunktsposition des binärisierten Objekts, das durch die Binärisiertes-Objekt-Extraktionsvorrichtung (S4–S7) extrahiert ist, und eine Bereichsschwerpunktspositions-Berechnungsvorrichtung (S49) für eine Schwerpunktsposition des integrierten Suchbereichs, der durch die Integrierter-Suchbereich-Setzvorrichtung (S46) gesetzt ist, wobei die Regenschirmbewertungsvorrichtung (S47–S49) bewertet, dass sich der Regenschirm innerhalb des Suchbereichs befindet, wenn die Breite des integrierten Suchbereichs innerhalb eines vorbestimmten Bereichs liegt und die durchschnittliche Luminanz des integrierten Suchbereichs nicht größer als ein vorbestimmter Luminanzschwellenwert ist, und ferner eine Positionsdifferenz in der Querrichtung zwischen dem Schwerpunkt des binärisierten Objekts und dem Schwerpunkt des integrierten Suchbereichs nicht größer als ein vorbestimmter Schwellenwert ist.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß einem der Ansprüche 1 bis 5, gekennzeichnet durch eine Regenwettererfassungsvorrichtung zum Erfassen eines Niederschlagszustands der Fahrzeugumgebung, wobei die Fußgängererkennungsvorrichtung (S45) einen Prozess zur Erkennung eines Fußgängers nur dann durchführt, wenn durch die Regenwettererfassungsvorrichtung der Niederschlagszustand in der Fahrzeugumgebung erfasst wird.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1 oder 2, gekennzeichnet durch eine Alarmausgabevorrichtung (S19, S20) zur Ausgabe eines Alarms in Bezug auf einen Fußgänger, wenn die Fußgängererkennungsvorrichtung (S45) das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 9, gekennzeichnet durch eine Anzeigevorrichtung (7) zum Anzeigen der von der Infrarotaufnahmevorrichtung (2L, 2R) aufgenommenen Umgebung des Fahrzeugs, worin die Alarmausgabevorrichtung (S19, S20) das Objekt, das von der Fußgängererkennungsvorrichtung (S45) als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung (S45) nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung (7) voneinander unterscheidbar anzeigt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass die Alarmausgabevorrichtung (S19, S20) einen Warnton ausgibt, während sie das Objekt, das von der Fußgängererkennungsvorrichtung (S45) als Fußgänger erkannt ist, und das Objekt, das von der Fußgängererkennungsvorrichtung (S45) nicht als Fußgänger erkannt ist, auf der Anzeigevorrichtung (7) voneinander unterscheidbar anzeigt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 10, gekennzeichnet durch eine Alarmbewertungsvorrichtung (S18) zum Bewerten, ob ein Fußgänger ein Subjekt ist, für das ein Alarm ausgegeben werden sollte oder nicht, wenn die Fußgängererkennungsvorrichtung (S45) das das binärisierte Objekt enthaltende Objekt als Fußgänger erkennt, wobei die Alarmausgabevorrichtung (S19, S20) das Objekt, das durch die Alarmbewertungsvorrichtung (S19, S20) als ein Fußgänger bewertet wird, für den ein Alarm ausgegeben werden sollte, und das Objekt, das durch die Alarmbewertungsvorrichtung (S19, S20) nicht als Fußgänger bewertet wird, für den ein Alarm ausgegeben werden sollte, auf der Anzeigevorrichtung voneinander unterscheidbar anzeigt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass die Alarmausgabevorrichtung (S19, S20) das Objekt intensiv anzeigt, wenn die Alarmausgabevorrichtung (S19, S20) das Objekt auf der Anzeigevorrichtung (7) unterscheidbar anzeigt.