DE10301468A1

DE10301468A1 - Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs

Info

Publication number: DE10301468A1
Application number: DE10301468A
Authority: DE
Inventors: Nobuharu Nagaoka; Takayuki Tsuji; Masahito Watanabe; Hiroshi Hattori; Izumi Takatsudo; Masakazu Saka
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-01-18
Filing date: 2003-01-16
Publication date: 2003-10-23
Anticipated expiration: 2023-01-17
Also published as: US20030138133A1; DE10301468B4; US7130448B2

Abstract

Eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes zu erfassen, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird. Die Vorrichtung umfasst eine binäre Objekt-Extraktionseinheit, die ein Grauwertbild des von dem Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein binäres Objekt aus dem Grauwertbild extrahiert; eine Grauwertobjekt-Extraktionseinheit, die ein Grauwertobjekt, wovon ein Bereich das binäre Objekt enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes aus dem Grauwertbild extrahiert; und eine Fußgänger-Bestimmungseinheit, die einen Suchbereich in einem Bereich einstellt, der das Grauwertobjekt enthält, und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.

Description

HINTERGRUND DER ERFINDUNG

Gebiet der Erfindung

Die vorliegende Erfindung betrifft Vorrichtungen zur Beobachtung der Umgebung eines Fahrzeugs. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, bei welcher eine Ziel-Extraktion durchgeführt wird, indem ein von einer Infrarotkameravorrichtung aufgenommenes Bild einem binären Schwellenvergleichsverfahren unterzogen wird.

Beschreibung des Standes der Technik

Es wurden Vorrichtungen zur Beobachtung der Umgebung von Fahrzeugen vorgeschlagen, bei denen Objekte, die mit dem Fahrzeug kollidieren können, wie zum Beispiel Fußgänger, aus einem mit einer Infrarotkamera aufgenommenes Umgebungsbild des Fahrzeugs extrahiert werden und eine solche Information an einen Fahrer des Fahrzeugs übermittelt wird. Bei diesen Vorrichtungen wird die Wahrscheinlichkeit, dass das Fahrzeug ein Objekt trifft, zum Beispiel einen Fußgänger, auf der Basis der relativen Distanz zwischen dem Fahrzeug und dem Objekt und der relativen Geschwindigkeit des Fahrzeugs berechnet.
Ein Beispiel solcher Vorrichtungen zur Beobachtung der Umgebung eines Fahrzeugs, die ein Objekt, das mit dem Fahrzeug kollidieren kann, aus einem mit einer Infrarotkamera aufgenommenen Umgebungsbild eines Fahrzeugs extrahieren, ist wie folgt. Das heißt, in der Vorrichtung wird das aufgenommene Infrarotbild einem binären (2-Ebenen)-Schwellenvergleichsverfahren (engl. thresholding) unterzogen, und es wird nach einem Bereich gesucht, in dem helle (weiße) Anteile konzentriert sind. Dann wird unter Verwendung des Seitenverhältnisses (Verhältnis von Länge zu Breite) und der Vollständigkeitsrate des Bereichs und weiterhin durch eine Berechnung der Distanz zwischen dem Fahrzeug und dem Bereich unter Verwendung des tatsächlichen Oberflächenbereichs und der Schwerpunktposition auf dem Bild bestimmt, ob der Bereich ein Kopfteil eines Fußgängers ist. Wenn der Kopfteilbereich eines Fußgängers bestimmt wurde, wird ein den Körper des Fußgängers bildender Bereich durch Berechnen der Höhe/Größe des Fußgängers auf dem Bild auf der Basis der Distanz zwischen dem als Kopfteil bestimmten Bereich und der Kamera und der durchschnittlichen Größe eines Erwachsenen bestimmt. Diese Bereiche werden so angezeigt, dass sie von anderen Bildregionen unterschieden werden. Auf diese Weise wird die Position des gesamten Körpers des Fußgängers auf dem Infrarotbild bestimmt, und diese Information wird für den Fahrer angezeigt, um die Sicht des Fahrers wirksam zu unterstützen (siehe z. B. die ungeprüfte japanische Patentanmeldung, Erstveröffentlichung Nr. Hei 11-328364).
Bei Anwendung des Schwellenvergleichsverfahrens können jedoch nur der Kopfteil, ein Teil des Kopfteils oder der gesamte Körper oder nur eine obere oder untere Körperhälfte eines Fußgängers aus einem Infrarotbild extrahiert werden, abhängig von den Wirkungen eines Huts oder der Kleidung, die der Fußgänger trägt, oder von der Umgebung des Fußgängers, weshalb die Gestalt des Fußgängers, die man durch das binäre Schwellenvergleichsverfahren erhält, uneindeutig wird. Auch wird, wenn ein Fahrzeug fährt, die Größe eines Fußgängers, vom Kind bis zum Erwachsenen, unter dem Einfluss des Verlaufs einer vorausliegenden Straße oder durch das Überfahren von Schlaglöchern allgemein von dessen tatsächlicher Größe abweichend erfasst.
Da die baryzentrischen Koordinaten (Schwerpunktskoordinaten) von Zielobjekten wie beispielsweise Fußgängern hinsichtlich der Distanz auf dem Bild nicht fixiert werden können, besteht eine Möglichkeit, dass die Fußgänger nicht stabil extrahiert werden können, wenn die Extraktion nur auf der Basis der Gestalt der Fußgänger vorgenommen wird, wie bei der vorstehend genannten konventionellen Vorrichtung.
Es gibt auch andere Arten konventioneller Vorrichtungen, bei denen Bereiche hoher Temperatur auf einem Umgebungsbild des Fahrzeugs, das von einer linken und einer rechten Kamera eines Stereokamerapaares aufgenommen wird, als Objekte erkannt werden, und bei denen die Distanz zwischen dem Fahrzeug und den Objekten durch Ermitteln der Parallaxe der Objekte berechnet wird, so dass Zielobjekte, die den Kurs des Fahrzeugs kreuzen könnten, auf der Basis einer Bewegungsrichtung und einer Position der Objekte erfasst werden können und ein Alarm ausgelöst werden kann (siehe z. B. die ungeprüfte japanische Patentanmeldung, Erstveröffentlichung Nr. 2001-6096).
Wenn, wie oben erwähnt, die Extraktion unter Anwendung des Schwellenvergleichsverfahrens nur auf der Basis der Form/Gestalt des Objekts durchgeführt wird, wie bei der vorgenannten konventionellen Vorrichtung, so wird die Form/Gestalt des Zielobjekts wegen des Einflusses eines Huts oder der Kleidung, die das Zielobjekt (d. h. ein Fußgänger etc.) trägt, und der Umgebung des Fußgängers unbestimmt. Auch wird, wenn ein Fahrzeug fährt, die Größe eines Fußgängers wegen des Einflusses des Verlaufs der vorausliegenden Straße oder wegen des Überfahrens von Schlaglöchern allgemein von dessen tatsächlicher Größe abweichend erfasst. Demzufolge ist es schwierig, die Extraktion nur von Fußgängern stabil durchzuführen.
Aus den oben genannten Gründen wurden Verfahren vorgeschlagen, bei denen nur Objekte, die wahrscheinlich Fußgänger sind, extrahiert werden, indem die Größe der Objekte im wirklichen Raum basierend auf einem Grauwertbild berechnet und das Positionsverhältnis der Objekte, deren Abbildungen einem Schwellenvergleichsverfahren unterzogen wurden, bestimmt wird, oder bei denen Strukturen/Gebilde auf der Straße und Fahrzeuge aus dem Schwellenvergleichsverfahren unterzogenen Objekten extrahiert werden und als andere Objekte als Fußgänger erkannt werden, um so aus den Objekten, die einen Alarm erfordern, ausgesondert zu werden. Bei Anwendung der vorgenannten Verfahren besteht aber das Problem, dass die Extraktion von Fußgängern nicht stabil durchgeführt werden kann, wenn ein Fahrzeug zum Beispiel im Regen fährt, da Objekte durch den Regen beeinträchtigt werden und die Menge an Infrarotstrahlen geändert wird.
Das heißt, in einer typischen Umgebung wird es schwierig, wärmehaltende Objekte mittels einer Infrarotkamera zu erfassen (d. h. sie neigen dazu, auf einem Infrarotbild nicht zu erscheinen), da die Temperatur von wärmehaltenden Objekten, die nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, wie z. B. Hinweisschilder, Wände und Telegraphenmasten, wegen des Regens abnimmt. Obwohl wärmeerzeugende Objekte, die selbst Wärme erzeugen, wie zum Beispiel Verkaufsautomaten, unter Verwendung einer Infrarotkamera erfassbar sind, nehmen die Bereiche, die Infrarotstrahlen aussenden und erfasst werden können, im Regen ab, und es besteht eine Tendenz zu einer erschwerten genauen Bestimmung ihrer Form/Gestalt.
Wenngleich exponierte Teile (z. B. der Kopf) eines Fußgängers erfasst werden können, so können Teile von ihm, die mit Kleidung bedeckt sind, unter Verwendung einer Infrarotkamera möglicherweise nicht erfasst werden, je nachdem, wie feucht die Kleidung ist. Das heißt, dass je nach Wetter die Situation an derselben Stelle der Umgebung eines Fahrzeugs differieren kann und dass die Form/Gestalt aller Objekte auf einem von einer Infrarotkamera erfassten Grauwertbild variiert. Demzufolge besteht bei den herkömmlichen Verfahren eine Gefahr, dass die Extraktion nur von Fußgängern aus dem Bild nicht stabil durchgeführt werden kann.
Darüber hinaus besteht bei Regen eine Tendenz, dass die Form/Gestalt von Objekten auf dem Bild unbestimmt wird, da Regentropfen an der Linsenfläche einer Kamera haften, was die Bestimmung der Form/Gestalt der Objekte noch mehr erschwert.

ZUSAMMENFASSUNG DER ERFINDUNG

Unter Berücksichtigung der vorstehend genannten Umstände ist es eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung zu stellen, bei der undeutliche Bilder/Abbildungen von Objekten, die man erhält, indem diese einem binären Schwellenvergleichsverfahren unterzogen werden, und die aus einem von einer Kamera aufgenommenen Bild extrahiert werden, genau bestimmt werden, um eine stabile Extraktion von Zielobjekten wie zum Beispiel Fußgängern durchzuführen. Weitere Aufgaben und Merkmale der Erfindung ergeben sich aus deren nachfolgender Beschreibung unter Bezugnahme auf die anliegenden Zeichnungen.
Zur Lösung der oben genannten Aufgaben stellt die vorliegende Erfindung eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs bereit, die in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes erfassen kann, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement eingefangen wird, wobei die Vorrichtung eine Binärobjekt- Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1-S13) aufweist, die ein Grauwertbild des von dem Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein Binärobjekt aus dem Grauwertbild extrahiert; eine Grauwertobjekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterten Schritte S41-S42), die ein Grauwertobjekt, dessen Spanne/Bereich das Binärobjekt enthält, auf der Basis einer Änderung der Luminanz/Leuchtdichte des Grauwertbilds aus dem Grauwertbild extrahiert; und eine Fußgänger-Bestimmungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterten Schritte S43-S80), die einen Suchbereich (z. B. in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterte Maskenbereiche AREA1, AREA2 und AREA3) in einem das Grauwertobjekt enthaltenden Bereich (z. B. AREA0, wie in den nachstehend beschriebenen Ausführungsformen der Erfindung erläutert) einstellt und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird die Position des Binärobjekts auf dem Grauwertbild durch die Binärobjekt-Extraktionseinheit erkannt. Es wird möglich, durch Einstellen eines Grauwertobjekts, dessen Bereich das Binärobjekt enthält, mittels der Grauwertobjekt-Extraktionseinheit und durch das Berechnen der Leuchtdichteverteilung in jedem in dem Grauwertobjekt festgelegten Suchbereich mittels der Fußgänger-Bestimmungseinheit auf der Basis der Charakteristiken der Leuchtdichteverteilung in dem Suchbereich zu bestimmen, ob das Binärobjekt ein Fußgänger ist oder nicht. Dem gemäß lässt sich die Genauigkeit bei der Erfassung eines Fußgängers verbessern, indem Bilder von Objekten, deren Leuchtdichteverteilung sich von jener eines Bildes eines Fußgängers unterscheidet, aus dem aufgenommenen Bild entfernt werden.
In Übereinstimmung mit einem weiteren Aspekt der Erfindung stellt die Fußgänger-Bestimmungseinheit bei obenstehender Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs den Suchbereich in der Weise ein, dass eine Größe in einer transversalen Richtung des Suchbereichs mit einer Breite des binären Objekts übereinstimmt und dass eine Größe in einer Längsrichtung des Suchbereichs mit einer Höhe des binären Objekts übereinstimmt.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich zu bestimmen, ob das binäre Objekt ein Fußgänger ist oder nicht, indem die Breite des Suchbereichs auf einem Grauwertbild, von dem die Leuchtdichteverteilung ermittelt wird, an die Breite des binären Objekts angepasst wird, so dass die Breite des Suchbereichs zu einer für die Erkennung eines Fußgängers geeigneten Größe wird. Dem gemäß kann die Genauigkeit bei der Erfassung eines Fußgängers dadurch verbessert werden, dass Objekte, die Leuchtdichteverteilungscharakteristiken haben, die jenen von Fußgängern auf dem Bild ähnlich sind, wie zum Beispiel eine Wand, aus dem die Objekte enthaltenden Bild entfernt werden.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung stellt die Fußgänger-Bestimmungseinheit bei der oben genannten Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs auf der Basis eines oberen Endes des Grauwertobjekts als Suchbereich einen Kopfteilbereich ein, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich zu bestimmen, ob das binäre Objekt ein Fußgänger ist oder nicht, indem die Größe des Suchbereichs auf dem Grauwertbild, von dem die Leuchtdichteverteilung ermittelt wird, an eine für die Erkennung eines Kopfteils eines Fußgängers geeignete Größe angepasst wird. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem Objekte aus dem Bild entfernt werden, die eine Größe haben, die sich von der Größe eines Kopfteils eines Menschen unterscheidet, die für die Leuchtdichteverteilung auf der Abbildung eines Fußgängers charakteristisch ist.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung stellt die Fußgänger-Bestimmungseinheit bei der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs einen Kopfteilbereich, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht, auf der Basis eines oberen Endes des Grauwertobjekts und einen Körperteilbereich, dessen Größe einem Körperteil eines Fußgängers entspricht und größer ist als der Kopfteilbereich, unterhalb des Kopfteilbereichs als Suchbereich ein.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich zu bestimmen, ob das Binärobjekt ein Fußgänger ist oder nicht, indem die Suchbereiche auf dem Grauwertbild, von denen die Leuchtdichteverteilung ermittelt wird, d. h. der Suchbereich, dessen Größe für die Erkennung eines Kopfteils eines Fußgängers geeignet ist, und der Suchbereich, dessen Größe für die Erkennung eines Körperteils eines Fußgängers geeignet ist, eingestellt werden. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers dadurch verbessert werden, dass Objekte mit Leuchtdichteverteilungscharakteristiken, die denen von Fußgängern auf dem Bild ähnlich sind, wie zum Beispiel ein gewölbter Spiegel, aus dem die Objekte enthaltenden Bild entfernt werden.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung ist die Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs eine Vorrichtung, die als eine Nachtsichtvorrichtung verwendet wird.
Die vorliegende Erfindung stellt auch eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung, die in der Lage ist, um das Fahrzeug herum anwesende Objekte auf der Basis eines Bildes, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird, zu erkennen, wobei die Vorrichtung umfasst: eine Objekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1-S13), die Infrarotstrahlen abgebende Objekte aus dem Infrarotbild extrahiert; eine Extraktionseinheit für wärmehaltende Objekte (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S45, S46, S47, S52, S53, S53-1, S60, S61 und S62), die wärmehaltende Objekte, welche selbst keine Wärme erzeugen, jedoch von außen aufgebrachte Wärme halten, aus den mittels der Objekt-Extraktionseinheit extrahierten Objekten extrahiert; und eine Fußgänger- Erkennungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S48-S50, S54-S59 und S63-S80), die einen Fußgänger aus Objekten, die durch die Objekt-Extraktionseinheit extrahiert wurden, erkennt und wärmehaltende Objekte, die durch die Extraktionseinheit für wärmehaltende Objekte extrahiert wurden, ausschließt.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich, lediglich anhand erfasster Objekte mit ähnlichen Charakteristiken wie die eines Fußgängers, aus denen wärmehaltende Objekte mit Charakteristiken, die sich von jenen eines Fußgängers zwar unterscheiden, wegen des Einflusses der äußeren Umgebung etc. aber dennoch als ein Fußgänger erkannt werden könnten, unter Verwendung der Extraktionseinheit für wärmehaftende Objekte ausgeschlossen werden, zu bestimmen, ob ein Objekt ein Fußgänger ist oder nicht. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem Objekte, die Wärme (Infrarotstrahlen) abgeben, die jener eines Fußgängers ähnlich ist, wie zum Beispiel eine von der Sonne bestrahlte Wand, auf der Basis der Charakteristiken der Leuchtdichteverteilung entfernt werden.
Die vorliegende Erfindung stellt auch eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung, die in der Lage ist, auf der Basis eines Infrarotbildes, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird, um das Fahrzeug herum anwesende Objekte zu erfassen, wobei die Vorrichtung umfasst: eine Wetter-Erfassungseinheit (z. B. Schritt S41, der in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläutert ist), die das Wetter um das Fahrzeug herum erfasst; eine Objekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1-S13), die Infrarotstrahlen abgebende Objekte aus einem Infrarotbild extrahiert; eine Einheit zur Extraktion wärmehaltender Objekte (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S45, S46, S47, S52, S53, S53-1, S60, S61 und S62), die wärmehaltende Objekte, welche nicht selbst Wärme erzeugen, jedoch von außen aufgebrachte Wärme halten, aus den Objekten extrahiert, die durch die Objekt-Extraktionseinheit extrahiert wurden; und eine Fußgänger-Erkennungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S48-S50, S54-S59 und S63-S80), die aus den durch die Objekt-Extraktionseinheit extrahierten Objekten einen Fußgänger erkennt, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum regnet (wobei der Begriff Regen im Rahmen der Erfindung auch Wetter beinhalten kann, das den gleichen Effekt wie Regen hat), wobei die Fußgänger-Erkennungseinheit, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum nicht regnet, unter den durch die Objekt-Extraktionseinheit extrahierten Objekten einen Fußgänger erkennt, indem sie die durch die Einheit zur Extraktion wärmehaltender Objekte extrahierten wärmehaltenden Objekte ausschließt.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs erkennt die Fußgänger-Erkennungseinheit, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum regnet, Fußgänger direkt aus den extrahierten Objekten, da der Betrag der Infrarotstrahlen, die von den mittels der Objekt-Extraktionseinheit extrahierten Objekten abgegeben werden, abnimmt. Wenn andererseits durch die Wetter- Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum nicht regnet, wird es möglich, ein geeignetes Fußgängererkennungsverfahren in Übereinstimmung mit den Gegebenheiten in der Umgebung des Fahrzeugs durch Extrahieren der wärmehaltenden Objekte unter Verwendung der Einheit zur Extraktion von wärmehaltenden Objekten durchzuführen, so dass die Fußgänger- Erkennungseinheit unter den Objekten einen Fußgänger erkennen kann, indem sie die wärmehaftenden Objekte ausschließt, da der Unterschied zwischen den wärmehaltenden Objekten, die nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, und Fußgängern, die selbst Wärme erzeugen, wegen der Infrarotstrahlen, die von den durch die Objekt-Extraktionseinheit extrahierten Objekten abgegeben werden, an der Leuchtdichteverteilung auf der Abbildung des Objekts sichtbar wird.
Daher kann, wenn bestimmt wird, dass das Wetter um das Fahrzeug herum nicht Regen ist, die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem auf der Basis der Charakteristiken der Leuchtdichteverteilung Objekte entfernt werden, die Wärme (Infrarotstrahlen) abgeben, die jener von einem Fußgänger ähnlich ist, wie zum Beispiel eine von der Sonne bestrahlte Wand. Auch wird, wenn bestimmt wird, dass es um das Fahrzeug herum regnet, die Bestimmung auf der Basis der Leuchtdichteverteilung nicht durchgeführt, so dass Fehler bei der Erfassung eines Fußgängers auf der Basis der Bestimmung unter Anwendung der Leuchtdichteverteilung vermieden werden können und die Genauigkeit bei der Erfassung eines Fußgängers beibehalten werden kann.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung umfasst die Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs ferner eine Form/Gestalt-Bestimmungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung beschriebenen Schritte S59 und S73), die die Form/Gestalt von Objekten bestimmt, wobei die Form/Gestalt- Bestimmungseinrichtung deaktiviert wird, wenn durch die Wetter-Erfassungseinheit festgestellt wird, dass es um das Fahrzeug herum regnet.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird das Form/Gestalt-Bestimmungsverfahren gestoppt, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs Regen ist, so dass bei dem die Fußgänger-Erkennungseinheit verwendenden Bestimmungsverfahren Fehler aufgrund der undeutlichen Gestalt von Objekten, die durch an der Linsenfläche einer Kamera haftende Regentropfen verursacht wird, vermieden werden können. Dementsprechend kann, wenn bestimmt wird, dass es um das Fahrzeug herum regnet, die Genauigkeit der Erfassung eines Fußgängers verbessert werden, indem auf der Form/Gestalt der Objekte basierende Fehler bei der Erfassung eines Fußgängers vermieden werden.

FIGURENKURZBESCHREIBUNG

Einige der Merkmale und Vorteile der Erfindung wurden beschrieben und andere/weitere ergeben sich aus der nachfolgenden Detailbeschreibung und aus den anliegenden Zeichnungen. Darin zeigt:
Fig. 1 ein Blockdiagramm zur Darstellung der Struktur einer Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß einer Ausführungsform der Erfindung;
Fig. 2 ein Diagramm zur Darstellung der Positionen einer Infrarotstrahlenkamera, eines Sensors, eines Display etc., die an einem Fahrzeug angebracht sind, gemäß der Ausführungsform der vorliegenden Erfindung;
Fig. 3 ein Flussdiagramm zur Darstellung einer Objekterfassungs- und Alarmierungsoperation der Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung;
Fig. 4A und 4B Diagramme, die ein durch die Verwendung einer Infrarotkamera erhaltenes Grauwertbild respektive ein binäres Bild davon zeigen;
Fig. 5 ein Flussdiagramm zur Erläuterung eines Alarm- Bestimmungsverfahrens gemäß der Ausführungsform der vorliegenden Erfindung;
Fig. 6 ein Diagramm, das Orte zeigt, an denen eine stattfindende Kollision eines Fahrzeugs wahrscheinlich ist;
Fig. 7 ein Diagramm, das Bereiche und Sektionen vor einem Fahrzeug gemäß der Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 8 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 9 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 10 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 11 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 12 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 13 ein Flussdiagramm zur Erläuterung eines Fußgänger-Bestimmungsverfahrens gemäß der Ausführungsform vorliegender Erfindung;
Fig. 14 ein Diagramm das Form/Gestaltmerkmalswerte eines binären Objekts gemäß der Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 15 ein Diagramm, das die Anordnung von Maskenbereichen gemäß der Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 16A-16C Diagramme zur Darstellung einer Leuchtdichteverteilung eines Maskenbereichs AREA3 jeweils für den Fall, in dem das Objekt ein Teil eines Fußgängers, ein Ganzes eines Fußgängers und eine Wand ist;
Fig. 17A und 17B Diagramme zur Darstellung eines Beispiels eines Grauwertbildes, das von einer Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung an einem schönen Tag (Fig. 17A) und an einem regnerischen Tag (Fig. 17B) aufgenommen wurde;
Fig. 18 eine Graphik, die ein Histogramm des Grauwertbildes an einem schönen Tag im Vergleich zu jenem an einem regnerischen Tag zeigt.

DETAILBESCHREIBUNG DER ERFINDUNG

Die vorstehend zusammengefasste und durch die anliegenden Ansprüche definierte Erfindung wird anhand der folgenden Detailbeschreibung, die im Zusammenhang mit den anliegenden Zeichnungen gelesen werden sollte, besser verständlich. Die detaillierte Beschreibung besonders bevorzugter Ausführungsformen, die nachstehend angegeben sind, damit die Erfindung gebaut werden kann und damit besondere Implementierungen der Erfindung angewendet werden können, soll die anliegenden Ansprüche nicht einschränken, sondern lediglich als besonderes Beispiel dafür dienen.
Fig. 1 ist ein Blockdiagramm, das eine Konfiguration einer Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung zeigt.
In Fig. 1 bezeichnet Bezugsziffer 1 eine Bildverarbeitungseinheit, die eine zentrale Verarbeitungseinheit (CPU) enthält, die die Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform steuert. Mit der Bildverarbeitungseinheit 1 verbunden sind zwei Infrarotkameras 2R und 2L, die zur Erfassung von fernen Infrarotstrahlungen in der Lage sind, einen Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, einen Geschwindigkeitssensor 4, der die Fahrrate (Geschwindigkeit) des Fahrzeugs erfasst, und einen Bremssensor 5 zur Erfassung einer Bremsbetätigung. In dieser Konfiguration erfasst die Bildverarbeitungseinheit 1 Fußgänger oder Tiere vor dem Fahrzeug auf der Basis eines Infrarot-Umgebungsbildes des Fahrzeugs und von Signalen, die den Fahrzustand des Fahrzeugs angeben, und erzeugt einen Alarm, wenn bestimmt wird, dass die Möglichkeit einer Kollision groß ist.
Mit der Bildverarbeitungseinheit 1 sind auch ein Laufsprecher 6 zur Erzeugung eines akustischen Alarms und ein Bildanzeigegerät 7 verbunden, das von den Infrarotkameras 2R und 2L aufgenommene Bilder anzeigt und den Fahrer eines Fahrzeugs Objekte erkennen lässt, die von dem Fahrzeug getroffen werden können. Das Bildanzeigegerät 7 kann zum Beispiel eine mit einem Zähler kombinierte Anzeige aufweisen, die den Fahrzustand des Fahrzeugs anhand von Zahlen anzeigt, eine in der Konsole des Fahrzeugs vorgesehene Navigationsanzeige und/oder ein Headup-Display (HUD) 7a zur Anzeige von Informationen an einer die Sicht des Fahrers nicht störenden Position an der Frontscheibe.
Darüber hinaus kann die Bildverarbeitungseinheit 1 eine A/D-Umwandlungsschaltung aufweisen, die eingegebene analoge Signale in digitale Signale umwandelt, einen Bildspeicher, der digitalisierte Bildsignale speichert, eine zentrale Verarbeitungseinheit (CPU), die verschiedene Operation durchführt, einen Speicher mit wahlfreiem Zugriff (RAM), der zum Speichern von Daten dient, die von der CPU bearbeitet werden, einen Nur-Lese-Speicher (ROM), der Programme, Tabellen, Kennfelder etc. speichert, mit denen die CPU arbeitet, und Ausgabeschaltungen, durch welche Ansteuersignale für den Lautsprecher, Display-Signale für das HUD 7a etc. ausgegebenen werden. Demzufolge werden Signale, die jeweils von den Infrarotkameras 2R und 2L, dem Gierratensensor 3, dem Geschwindigkeitssensor 4 und dem Bremssensor 5 ausgegeben werden, in digitale Signale umgewandelt und in die CPU eingegeben.
Auch sind, wie in Fig. 2 gezeigt, die Infrarotkameras 2R und 2L an der Front eines Fahrzeugs 10 bezogen auf dessen Mitte in der Breitenrichtung in symmetrischen Positionen angeordnet, so dass die optische Achse jeder der Infrarotkameras 2R und 2L parallel zur jeweils anderen verläuft und die Kameras 2R und 2L von der Straßenoberfläche aus in gleicher Höhe liegen. Es ist zu beachten, dass jede der Infrarotkameras 2R und 2L Charakteristiken aufweist, wonach der Pegel der Ausgangssignale mit zunehmender Temperatur eines Objekts höher wird (d. h. die Luminanz/Leuchtdichte zunimmt).
Des weiteren ist das Anzeigefeld des HUD 7a an einer Position der Windschutzscheibe des Fahrzeugs angeordnet, wo die Sicht des Fahrers durch das Anzeigefeld nicht gestört wird.
Als nächstes wird der Betrieb der Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die anliegenden Zeichnungen beschrieben.
Fig. 3 ist ein Flussdiagramm, das Operationen für die Erfassung eines Zielobjekts wie beispielsweise eines Fußgängers und für die Erzeugung eines Alarms darstellt, die in der Bildverarbeitungseinheit 1 der Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung durchgeführt werden.
Zuerst erhält die Bildverarbeitungseinheit 1 ein Infrarotbild (Schritt S1), welches Ausgangssignale aus den Infrarotkameras 2R und 2L sind, unterzieht die Signale einem A/D-Umwandlungsprozess (Schritt S2) und speichert das erhaltene Grauwertbild in einem Bildspeicher (Schritt S3). Es zu beachten, dass in dieser Ausführungsform das Bild der rechten Seite von der Infrarotkamera 2R und das Bild der linken Seite von der Infrarotkamera 2L erhalten wird. Da die horizontale Position desselben Objekts auf dem rechten Bild von jener auf dem linken Bild verschoben ist, wenn die Bilder angezeigt werden, ist es möglich, die Distanz zu dem Zielobjekt auf der Basis der Verschiebung (Parallaxe) zu berechnen.
Nachdem in Schritt S3 das Grauwertbild erhalten wurde, wird das von der Infrarotkamera 2R erhaltene rechte Bild als ein Referenzbild verwendet und seine Bildsignale einem binären Schwellenvergleichsverfahren unterzogen, d. h. einem Verfahren, bei dem ein Bereich, dessen Leuchtdichte höher als ein Schwellenwert ITH ist, so eingestellt wird, dass er "1" (weiß) ist, und ein Bereich, dessen Leuchtdichte niedriger als der Schwellenwert IHT ist, so eingestellt wird, dass er "0" (schwarz) ist (Schritt S4).
Fig. 4A zeigt ein Grauwertbild, das durch die Verwendung der Infrarotkamera 2R erhalten wird, und ein in Fig. 4B gezeigtes Bild wird erhalten, indem das in Fig. 4a gezeigte Grauwertbild dem binären Schwellenvergleichsverfahren unterzogen wird. Es ist zu beachten, dass in Fig. 4B in jedem der Rahmen P1-P4 enthaltene Objekte Zielobjekte sind (im Folgenden auch als "Hochluminanzbereiche" bezeichnet), die in dem angezeigten Bild in weiß dargestellt sind.
Nachdem dem Schwellenvergleichsverfahren unterzogene Bilddaten von dem Infrarotbild erhalten wurden, wird ein Verfahren durchgeführt, in dem die erhaltenen Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5). Zeilen, die durch Lauflängendaten ausgedrückt werden, werden von Bereichen gebildet, die aufgrund des Schwellenvergleichsverfahrens auf Pixelebene weiß geworden sind. Jede der Zeilen hat eine Breite von einem Pixel in der y-Richtung und hat eine der Länge des Pixel, das die Lauflängendaten in der x-Richtung bildet, entsprechende Länge.
Als nächstes werden Objekte in den in die Lauflängendaten umgewandelten Bilddaten markiert (Schritt S6), so dass ein Extraktionsverfahren für die Objekte durchgeführt werden kann (Schritt S7). Das heißt, unter den als Lauflängendaten angegebenen Zeilen kann jeder der z. B. in Fig. 4B gezeigten Hochluminanzbereiche P1-P4 als ein Zielobjekt (binäres Zielobjekt) erkannt werden, indem eine Zeile, die in der y-Richtung von einem Bereich überlagert wird, als Objekt angesehen wird.
Nachdem die Extraktion der Zielobjekte abgeschlossen ist, werden der Schwerpunkt G, der Oberflächenbereich S und das Seitenverhältnis (Verhältnis von Länge zu Breite) eines umschriebenen Vierecks berechnet (Schritt S8).
In dieser Ausführungsform wird der Oberflächenbereich berechnet, indem die Lauflängendaten eines Objekts von Markierung A als (x [i], y [i], run [i], A) (i = 0, 1, 2, . . . N-1) angenommen werden und die Längen der Lauflängendaten (run [i] -1) für dasselbe Objekt (N Lauflängendaten) summiert werden. Auch die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A werden berechnet, indem die Länge eines jeden Datenelements der Lauflängendaten (run [i] -1) mit der Koordinate x [i] oder y [i] eines jeden Datenelements der Lauflängendaten multipliziert wird und des weiteren für jedes Objekt die resultierenden Werte miteinander multipliziert werden und der erhaltene Wert durch den Oberflächenbereich S dividiert wird.
Darüber hinaus wird das Seitenverhältnis als das Verhältnis von Dy/Dx berechnet, wobei Dy die Länge des umschriebenen Vierecks für das Objekt in der Längsrichtung und Dx die Länge des umschriebenen Vierecks für dasselbe Objekt in der Querrichtung ist.
Es ist zu beachten, dass es notwendig ist, eins zu subtrahieren, um die tatsächliche Länge zu erhalten ( = run [i] -1), da die Lauflängendaten als eine Pixelzahl (eine Koordinatenzahl) ( = run [i]) angegeben werden. Es ist auch möglich, die Position des Schwerpunkts des umschriebenen Vierecks durch die Position des Schwerpunkts G zu ersetzen.
Nach dem Schwerpunkt werden der Oberflächenbereich und das Seitenverhältnis des umschriebenen Vierecks berechnet und es wird ein Verfahren für die Verfolgung des Objekts in Relation zur Zeit durchgeführt, d. h. ein Verfahren, in dem dasselbe Objekt in jeder Abtastperiode erkannt wird (Schritt S9). In dem zeitbezogenen Verfolgungsverfahren werden Objekte A und B zu einer Zeit k extrahiert, die durch Diskretisieren der analogen Zeit t zum Beispiel unter Verwendung der Abtastperiode erhalten wird, und es wird bestimmt, ob Objekte C und D, die zur Zeit (k + 1) extrahiert werden, jeweils dieselben Objekte wie die Objekte A und B sind. Dann, wenn bestimmt wurde, dass die Objekte A und B und die Objekte C und D dieselben Objekte sind, werden die Markierungen der Objekte C und D jeweils in die Markierungen A und B geändert, um das Verfolgungsverfahren bezogen auf die Zeit durchzuführen.
Auch werden die Positionskoordinaten eines jeden (Schwerpunkts) der dadurch erkannten Objekte als Zeitreihen-Positionsdaten in einem Speicher gespeichert und für die nachfolgenden Operationen des Verfahrens verwendet.
Zu beachten ist, dass die in den vorstehenden Schritten S4-S9 erläuterten Verfahren für das binäre Referenzbild (das rechte Bild in dieser Ausführungsform) durchgeführt werden.
Dann werden die durch den Geschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die durch den Gierratensensor 3 erfasste Gierrate YR ausgelesen, und der Drehwinkel/Einschlagwinkel θr des Fahrzeugs 10 wird berechnet, indem die Gierrate YR einer Zeitintegration unterzogen wird (Schritt S10).
Zum anderen wird ein Verfahren für das Berechnen der Distanz z zwischen dem Zielobjekt und dem Fahrzeug 10 (Schritte S11-S13) gleichzeitig mit dem Verfahren der Schritte S9 und S10 durchgeführt. Da dieses Verfahren für das Berechnen der Distanz z eine Zeitspanne benötigt, die länger ist als die in den Schritten S9 und S10 benötigte Zeit, wird es unter Einräumung einer längeren Zeit als in den Schritten S9 und S10 (z. B. etwa dreimal so lange wie die für die Durchführung der Schritte S1-S10 benötigte Zeit) durchgeführt.
Zuerst wird eines der unter Verwendung der binären Abbildung des Referenzbildes (rechtes Bild) verfolgten Objekte ausgewählt, um ein Suchbild R1 (in dieser Ausführungsform wird der gesamte, von dem umschriebenen Vierecke umgebene Bereich als Suchbild betrachtet) aus dem rechten Bild zu extrahieren (Schritt S11).
Dann wird ein Suchbereich, von dem ein dem Suchbild R1 entsprechendes Bild (im Folgenden auch als ein "korrespondierendes Bild" bezeichnet) gesucht wird, auf dem linken Bild eingestellt und das korrespondierende Bild durch Ausführen einer Korrelationsoperation extrahiert (Schritt S12). Insbesondere wird ein Suchbereich R2 auf dem linken Bild in Übereinstimmung mit jeder Spitzenkoordinate des Suchbildes R1 eingestellt, und ein Leuchtdichtedifferenz-Summierungswert C (a, b), der den Grad der Korrelation mit dem Suchbild R1 innerhalb des Suchbereichs R2 zeigt, wird berechnet. Der Bereich, in dem der summierte Wert C (a, b) minimal ist, wird als korrespondierendes Bild extrahiert. Es ist zu beachten, dass die Korrelationsoperation unter Verwendung des Grauwertbildes, nicht des binären Bildes durchgeführt wird.
Wenn frühere Positionsdaten für dasselbe Objekt vorhanden sind, wird ein Bereich R2a, der schmaler als der Suchbereich R2 ist, auf der Basis der früheren Positionsdaten als ein Suchbereich eingestellt.
Da das Suchbild R1 und das korrespondierende Bild R4, das dem Suchbild R1 entspricht, in Schritt S12 jeweils auf dem Referenzbild (rechtes Bild) und auf dem linken Bild extrahiert werden, erhält man die Position des Schwerpunkts des Suchbildes R1 und die des korrespondierenden Bildes R4 und den Parallaxengrad Δd (Pixelzahl) und es kann die Distanz z zwischen dem Fahrzeug 10 und dem Objekt unter Verwendung dieser Faktoren berechnet werden (in Schritt S13).
Nachdem die Berechnung des Drehwinkels θr in Schritt S10 und die Berechnung der Distanz zwischen dem Objekt in Schritt S13 abgeschlossen sind, werden die Koordinate (x, y) auf dem Bild und die Distanz z umgewandelt, um die Koordinate (X, Y, Z) des wirklichen Raumes (in Schritt S14) zu erhalten.
In dieser Ausführungsform wird die Koordinate (X, Y, Z) des wirklichen Raumes, wie in Fig. 2 dargestellt, mit dem Ursprung O definiert, der der Mittenposition der Anbringungspositionen für die Infrarotkameras 2R und 2L (der an dem Fahrzeug 10 festgelegten Position) entspricht. Die Koordinate auf dem Bild wird zum anderen so definiert, dass die hinsichtlich des Ursprungs, welcher die Mitte des Bildes ist, horizontale Richtung zu x und die vertikale Richtung zu y wird.
Wenn die Koordinate in dem wirklichen Raum ermittelt wird, wird ein Drehwinkel- Korrekturverfahren zum Korrigieren der Positionsverschiebung auf dem Bild, die durch das Wenden des Fahrzeugs 10 verursacht wird, durchgeführt (in Schritt S15). Das heißt, wenn das Fahrzeug (der Frontbereich des Fahrzeugs) 10 von der Zeit k bis (k + 1) in der linken Richtung in einem Winkel θr gedreht wird, verschiebt sich der Bereich des durch die Kameras erhaltenen Bildes um Δx in der x-Richtung, und diese Verschiebung wird in dem Drehwinkel-Korrekturverfahren korrigiert.
In der folgenden Erläuterung ist zu beachten, dass die Koordinate nach dem Drehwinkel-Korrekturverfahren als (X, Y, Z) angegeben wird.
Nachdem die Drehwinkelkorrektur für die Koordinate des wirklichen Raums abgeschlossen ist, wird eine einem Vektor der relativen Bewegung zwischen dem Objekt und dem Fahrzeug 10 entsprechende Approximationsgerade LMV von den dem Drehwinkel-Korrekturverfahren unterzogenen N Positionsdaten des wirklichen Raumes (z. B. = N etwa 10), die innerhalb der Beobachtungsperiode von ΔT für dasselbe Objekt erhalten werden, d. h. den Zeitreihen-Daten, erhalten.
Dann werden die neueste Positionskoordinate P(0) = (X(0), Y(0), Z(0)) und die Positionskoordinate P(N-1) = (X(N-1), Y(N-1), Z(N-1)) vor der (N-1)-Abfrage (d. h. vor der Zeit LT) korrigiert, so dass sie auf der Approximationsgeraden LMV liegen, und es werden die Positionskoordinaten nach der Korrektur, Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N-1) = (Xv(N-1), Yv(N-1), Zv(N-1)) erhalten.
Auf diese Weise kann der Vektor der relativen Bewegung als ein auf Pv(0) gerichteter Vektor aus der Positionskoordinate Pv(N-1) (in Schritt S16) ermittelt werden.
Wie vorstehend erläutert, wird es gemäß der Ausführungsform der vorliegenden Erfindung möglich, die Möglichkeit einer Kollision des Fahrzeugs mit einem Objekt genauer und mit einem geringeren Fehlergrad bei der Positionserfassung zu schätzen, indem eine Approximationsgerade berechnet wird, die für die Approximation einer relativen Bewegungsbahn des Objekts mit Bezug auf das Fahrzeug 10 basierend auf einer Mehrzahl (N) von Daten, die in der Beobachtungsperiode ΔT entnommen werden, verwendet wird.
Nachdem der Vektor der relativen Bewegung in Schritt S16 ermittelt wurde, wird ein Alarm-Bestimmungsverfahren, in dem die Möglichkeit einer Kollision mit dem erfassten Objekt bestimmt wird, durchgeführt (in Schritt S17). Das Alarm- Bestimmungsverfahren wird später im Detail beschrieben.
Wenn in Schritt S17 bestimmt wird, dass keine Möglichkeit einer Kollision des Fahrzeugs 10 mit dem erfassten Objekt gegeben ist (d. h. "NEIN" in Schritt S17), kehrt der Ablauf zu Schritt S1 zurück, um die oben genannten Verfahren zu wiederholen.
Wenn bestimmt wird, dass eine Möglichkeit einer Kollision des Fahrzeugs 10 mit dem erfassten Objekt gegeben ist (d. h. "JA" in Schritt S17), schreitet der Ablauf fort zu einem Alarmausgabe-Bestimmungsverfahren in Schritt S18.
In Schritt S18 wird bestimmt, ob das Alarmausgabe-Bestimmungsverfahren durchgeführt werden, d. h. die Alarmausgabe erfolgen sollte, indem auf der Basis der Ausgabe BR von dem Bremssensor 5 bestimmt wird, ob der Fahrer des Fahrzeugs 10 eine Bremse betätigt (in Schritt S18).
Wenn der Fahrer des Fahrzeugs 10 die Bremse betätigt, wird die durch die Bremsoperation erzeugte Beschleunigung Gs (deren Verzögerungsrichtung als positiv betrachtet wird) berechnet. Ist die Beschleunigung Gs größer als ein vorgegebener Schwellenwert GTH, wird bestimmt, dass die Kollision durch die Betätigung der Bremse vermieden werden wird, und das Alarmausgabe- Bestimmungsverfahren wird beendet (d. h. "NEIN" in Schritt S18). Dann kehrt der Ablauf zurück zu Schritt S1, um die vorstehend erläuterten Verfahren zu wiederholen.
Auf diese Weise wird kein Alarm erzeugt, wenn eine angemessene Bremsoperation durchgeführt wird, so dass es vermieden werden kann, den Fahrer zu stören.
Wenn die Beschleunigung Gs gleich oder kleiner als der vorgegebene Schwellenwert ist oder wenn der Fahrer des Fahrzeugs 10 die Bremse nicht betätigt (d. h. "JA" in Schritt S18), führt der Ablauf direkt weiter zu Schritt S19 und lässt einen Alarm für den Fahrer ertönen, indem zum Beispiel über den Lautsprecher 6 eine Sprachmitteilung erfolgt, dass die Möglichkeit, ein Objekt zu treffen, groß ist. Darüber hinaus wird das durch die Infrarotkamera 2a erhaltene Bild zum Beispiel an das Bildanzeigegerät 7 ausgegeben, so dass das sich nähernde Objekt dem Fahrer des Fahrzeugs 10 als ein hervorgehobenes Bild angezeigt werden kann (in Schritt S20).
Es ist zu beachten, dass der vorgegebene Schwellenwert GTH ein Wert ist, der die Bedingungen für das Stoppen des Fahrzeugs 10 innerhalb einer Fahrdistanz, die kürzer als die Distanz Zv(0) zwischen dem Objekt und dem Fahrzeug 10 ist, erfüllt, wenn die Beschleunigung Gs während der Bremsoperation unverändert beibehalten wird.
Es wurde der Vorgang für die Erfassung des Objekts und die Alarmierung des Fahrers in der Bildverarbeitungseinheit 1 der Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung beschrieben. Als nächstes folgt eine detaillierte Beschreibung des Alarm-Bestimmungsverfahrens in Schritt S17 des in Fig. 3 dargestellten Flussdiagramms unter Bezugnahme auf das Flussdiagramm in Fig. 5.
Fig. 5 ist ein Flussdiagramm, das den Ablauf des Alarm-Bestimmungsverfahrens gemäß der Ausführungsform der vorliegenden Erfindung zeigt.
Das Alarm-Bestimmungsverfahren ist ein Verfahren, in dem die Möglichkeit einer Kollision des Fahrzeugs 10 mit einem erfassten Objekt bestimmt wird auf der Basis des folgenden Kollisions-Bestimmungsverfahrens, eines Verfahrens zum Bestimmen, ob sich ein Objekt innerhalb eines Annäherungs-Bestimmungsbereichs befindet, eines Verfahrens zur Bestimmung des Eintritts in eine Kollision, eines Fußgänger-Bestimmungsverfahrens und eines Verfahrens zum Bestimmen eines künstlichen Gebildes/Kunstgebildes. Dies wird unter Verwendung eines Beispiels beschrieben, bei dem sich ein Objekt 20 mit einer Geschwindigkeit Vp in einem Winkel von annähernd 90° zur Fahrtrichtung des Fahrzeugs 10 fortbewegt, wie in Fig. 6 gezeigt.
In dem in Fig. 5 dargestellten Flussdiagramm führt die Bildverarbeitungseinheit 1 zuerst das Kollisions-Bestimmungsverfahren durch (in Schritt S31). Das Kollisions-Bestimmungsverfahren ist ein Verfahren, in dem, wenn sich das Objekt 20 dem Fahrzeug 10 in der Zeit ΔT aus der Distanz Zv(N-1) bis zur Distanz Zn(0) nähert, wie das in Fig. 6 dargestellt ist, die relative Geschwindigkeit Vs bezogen auf das Fahrzeug 10 in der Richtung Z ermittelt wird, und es wird bestimmt, ob das Objekt von dem Fahrzeug 10 innerhalb einer Zeitspanne T getroffen wird, unter der Annahme, dass das Objekt 20 und das Fahrzeug 10 sich weiter bewegen und dabei die relative Geschwindigkeit Vs und den Bereich der Höhe H beibehalten. Hier ist die Zeitspanne T vorgesehen, so dass die Bestimmung der Möglichkeit einer Kollision mit der Zeitspanne T vor dem geschätzten Kollisionszeitpunkt gemacht werden kann. Dementsprechend ist die Zeitspanne T z. B. auf etwa 2 bis 5 Sekunden eingestellt. Auch die Höhe H ist eine vorgegebene Höhe zum Definieren des Bereichs in der Höhenrichtung, und die Höhe H kann so bemessen werden, dass sie zum Beispiel zweimal die Höhe des Fahrzeugs 10 beträgt.
Wenn als nächstes in Schritt S31 die Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Zeitspanne T gegeben ist (d. h. "JA" in Schritt S31), führt die Bildverarbeitungseinheit 1 das Verfahren durch, in welchem bestimmt wird, ob sich das Objekt in einem Annäherungs-Bestimmungsbereich befindet (in Schritt S32), um die Zuverlässigkeit der Bestimmung noch weiter zu verbessern. Das Verfahren zum Bestimmen, ob sich das Objekt in einem Annäherungs-Bestimmungsbereich befindet, ist ein Verfahren, in dem bestimmt wird, ob das Objekt in einem in Fig. 7 gezeigten Annäherungs-Bestimmungsbereich AR1 anwesend ist, wo die Möglichkeit einer Kollision mit dem Fahrzeug 10 extrem groß ist, wenn das Objekt dort verbleibt. Wie in Fig. 7 dargestellt ist, ist der Annäherungs-Bestimmungsbereich AR1 zusammen mit den Eintritts-Bestimmungsbereichen AR2 und AR3 als ein Bereich innerhalb eines mittels der durchgezogenen Linie angegebenen Dreieckbereichs AR0 definiert, der einen Bereich zeigt, der unter Verwendung der Infrarotkameras 2R und 2L überwacht/beobachtet werden kann und der hinsichtlich der Z1 = Vs × T angebenden Linie näher zum Fahrzeug 10 liegt. Von den Bereichen AR1, AR2 und AR3 entspricht der Annäherungs-Bestimmungsbereich AR1 einem Bereich mit einer Breite von α + 2ß, wobei α die Breite des Fahrzeugs 10 und β ein auf beiden Seiten der Breite α des Fahrzeugs 10 zugegebener Rand (z. B. etwa 50 bis 100 cm) ist, wie das in Fig. 7 gezeigt ist. Es ist zu beachten, dass der Annäherungs-Bestimmungsbereich AR1 auch die vorgegebene Höhe H hat.
Wenn in Schritt S32 bestimmt wird, dass kein Objekt in dem Annäherungs- Bestimmungsbereich AR1 anwesend ist (d. h. "NEIN" in Schritt S32), führt die Bildverarbeitungseinrichtung 1 das Verfahren zur Bestimmung des Kollisionseintritts durch, in dem bestimmt wird, ob eine Möglichkeit gegeben ist, dass ein Objekt den Annäherungs-Bestimmungsbereich AR1 betritt und von dem Fahrzeug 10 getroffen wird (in Schritt S33). Wie in Fig. 7 gezeigt ist, ist in den Eintritts-Bestimmungsbereichen AR2 und AR3 der Absolutwert der X-Koordinate größer als der des vorgenannten Annäherungs-Bestimmungsbereichs AR1, und das Kollisionseintritt-Bestimmungsverfahren ist ein Verfahren, in dem bestimmt wird, ob sich ein in dem Bereich AR2 oder AR3 anwesendes Objekt bewegen und den Annäherungs-Bestimmungsbereich AR1 betreten und von dem Fahrzeug 10 getroffen werden kann. Es ist zu beachten, dass jeder der Eintritts- Bestimmungsbereiche AR2 und AR3 auch die vorgegebene Höhe H hat.
Wenn andererseits in Schritt S32 ein Objekt in dem Annäherungs-Bestimmungsbereich anwesend ist (d. h. "JA" in Schritt S32), führt die Bildverarbeitungseinrichtung 1 das Fußgänger-Bestimmungsverfahren durch, in dem bestimmt wird, ob eine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (in Schritt S34). Das Fußgänger-Bestimmungsverfahren wird später im Detail beschrieben.
Wenn in Schritt S34 bestimmt wird, dass eine Möglichkeit, dass das Objekt ein Fußgänger ist, vorhanden ist (d. h. "JA" in Schritt 34), wird das Kunstgebilde- Bestimmungsverfahren durchgeführt, in dem bestimmt wird, ob das Objekt ein Fußgänger ist oder nicht (in Schritt S35), um die Zuverlässigkeit bei der Bestimmung zu erhöhen. Das Kunstgebilde-Bestimmungsverfahren ist ein Verfahren, in dem bestimmt wird, dass das Objekt ein künstliches Gebilde ist, wenn die folgenden Merkmale, die bei einem Fußgänger nicht vorhanden sein können, auf dem Bild des Objekts erfasst werden, und das Objekt aus den Objekten, die das Ertönen eines Alarms erfordern, entfernt wird:

1. wenn das Bild des Objekts einen Bereich enthält, der einen Rand mit einer geraden Linie zeigt;
2. wenn eine Ecke des Bildes des Objekts rechtwinklig ist;
3. wenn das Bild des Objekts mehrere Bereiche gleicher Gestalt/Form aufweist, und
4. wenn das Bild des Objekts mit der Form/Gestalt früher registrierter künstlicher Objekte übereinstimmt.

Wenn demzufolge in dem oben genannten Schritt S33 eine Möglichkeit gegebenen ist, dass ein Objekt den Annäherungs-Bestimmungsbereich betritt und mit dem Fahrzeug 10 kollidiert (d. h. "JA" in Schritt S33), und wenn das in Schritt S35 als möglicher Fußgänger bestimmte Objekt kein künstliches Gebilde ist (d. h. "NEIN" in Schritt S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt S36, dass eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Objekt gegeben ist (d. h. das Objekt wird als ein Objekt betrachtet, das die Ausgabe eines Alarms notwendig macht), und der Ablauf führt weiter zu Schritt S18 (über "JA" in Schritt 17), um ein Alarmausgabe-Bestimmungsverfahren durchzuführen (in Schritt S18).
Wenn dagegen bestimmt wird, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Zeitspanne T in dem oben genannten Schritt S31 gegeben ist (d. h. "NEIN" in Schritt S31), oder wenn in Schritt S33 keine Möglichkeit gegeben ist, dass das Objekt den Annäherungs- Bestimmungsbereich betritt und mit dem Fahrzeug 10 kollidiert (d. h. "NEIN" in Schritt S33), oder wenn in Schritt S34 bestimmt wird, dass keine Möglichkeit gegeben ist, dass das Objekt ein Fußgänger ist (d. h. "NEIN" in Schritt S34), oder wenn das als möglicher Fußgänger bestimmte Objekt in Schritt S35 ein künstliches Gebilde ist (d. h. "JA" in Schritt S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt S37, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem Objekt gegeben ist (d. h. das Objekt ist kein Objekt, bei dem ein Alarm ertönen muss), und der Ablauf kehrt über "NEIN" in dem in Fig. 3 gezeigten Schritt S17 zurück zu Schritt S1. Auf diese Weise wird der Ablauf für der Erfassung und die Alarmausgabe für Objekte wie beispielsweise Fußgänger wiederholt.
Als nächstes wird das Fußgänger-Bestimmungsverfahren in Schritt S34 des in Fig. 5 dargestellten Flussdiagramms unter Bezugnahme auf die in den Fig. 8 bis 13 dargestellten Flussdiagramme im Detail erläutert.
Die Fig. 8 bis 13 sind Flussdiagramme, die das Fußgänger-Bestimmungsverfahren gemäß der Ausführungsform der vorliegenden Erfindung darstellen.
Wie in dem in Fig. 8 dargestellten Flussdiagramm gezeigt ist, berechnet die Bildverarbeitungseinheit 1 Form/Gestaltmerkmalswerte eines binären Objekts (Schritt S41), die Charakteristiken in der Gestalt eines binären Objekts im wirklichen Raum zeigen, auf der Basis des Schwerpunkts G (xc, yc) des in Schritt S8 in dem in Fig. 3 gezeigten Flussdiagramm berechneten binären Objekts (d. h. der Schwerpunkt G100 des in Fig. 14 gezeigten binären Objekts), des Oberflächenbereichs S (die Oberfläche S101 des in Fig. 14 gezeigten binären Objekts), des Seitenverhältnisses des umschriebenen Vierecks für das Objekt und der Distanz z zwischen dem Fahrzeug 10 und dem in Schritt S13 berechneten Objekt zusätzlich zu der Höhe hb und der Breite wb des umschriebenen Vierecks des in Fig. 14 gezeigten binären Objekts und den baryzentrischen Koordinaten (xb, yb) des umschriebenen Vierecks (d. h. des Schwerpunkts 102 des in Fig. 14 gezeigten umschriebenen Vierecks). Es ist zu beachten, dass die Gestaltmerkmalswerte des binären Objekts unter Verwendung der Länge D (m) einer Basislinie der Kamera, der Brennweite f (m) der Kamera, des Pixelabstands (m/pixel) und des unter Verwendung der Korrelationsanpassung des rechten und des linken Bildes berechneten Parallaxenbetrags Δd (pixel) berechnet werden.
Da die Rate zwischen dem umschriebenen Vereck und dem Oberflächenbereich S des Objekts angegeben werden kann als:

Rate = S/(hb × wb) . . . (1),

kann insbesondere das Seitenverhältnis (Asp) des umschriebenen Vierecks, das das Verhältnis der Länge zur Breite des umschriebenen Vierecks angibt, angegeben werden als:

Asp = hb/wb . . . (2),

und die Distanz z zwischen dem Fahrzeug 10 und dem Objekt kann angegeben werden als:

z = (f × D)/(Δd × p) . . . (3),

die Breite ΔWb und die Höhe ΔHb des binären Objekts im wirklichen Raum können berechnet werden als:

ΔWb = wb × z × p/f
ΔHb = hb × z × p/f . . . (4),

die baryzentrischen Koordinaten (Xc, Yc, Zc) des binären Objekts können berechnet werden als:

Xc = xc × z × p/f
Yc = yc × z × p/f
Zc = z . . . (5),

die baryzentrischen Koordinaten (Xb, Yb, Zb) des umschriebenen Vierecks für das binäre Objekt können berechnet werden als:

Xb = xb × z × p/f
Yb = yb × z × p/f
Zb = z . . . (6),

und die Positionskoordinaten (Xt, Yt, Zt) des oberen Endes des binären Objekts können berechnet werden als:

Xt = xb × z × p/f
Yt = yb × z × p/f - ΔHb/2
Zt = z . . . (7).
Nachdem die Form/Gestaltmerkmalswerte für das binäre Objekt berechnet wurden, wird ein Wetter-Erfassungsverfahren durchgeführt, in welchem das Wetter in der Umgebung des Fahrzeugs 10 erfasst wird (Schritt S41-1).
Das Wetter-Erfassungsverfahren ist ein Verfahren, in dem ein Leuchtdichte- Histogramm für ein Grauwertbild, das z. B. durch die Verwendung der Infrarotkamera 2R erhalten wurde, erstellt wird und das Wetter in der Umgebung des Fahrzeugs 10 auf der Basis des Leuchtdichte-Histogramms bestimmt wird. Insbesondere ist das Wetter-Erfassungsverfahren ein Verfahren zum Bestimmen, ob es in der Umgebung des Fahrzeugs 10 regnet. Da bezugnehmend auf die Fig. 17A und 17B insbesondere der Betrag an Infrarotstrahlen, die von einem Objekt abgegeben werden, wegen der durch den Regen verursachten Temperaturabnahme differiert und daher zwischen dem an einem nicht regnerischen Tag aufgenommenen Grauwertbild, wie in Fig. 17A gezeigt, und dem an einem regnerischen Tag aufgenommenen Grauwertbild, wie in Fig. 17B gezeigt, Differenzen entstehen, werden durch die Berechnung des respektiven Leuchtdichte-Histogramms Ergebnisse erhalten, wie diese in einer Graphik in Fig. 18 dargestellt sind.
Fig. 18 zeigt die Graphik, in der das Histogramm des Grauwertbildes an einem nicht regnerischen Tag und das an einem regnerischen Tag verglichen werden. Wie in Fig. 18 dargestellt ist, zeigt die Standardabweichung σ des Leuchtdichte-Histogramms für das gesamte Bild eine Tendenz, sich an einem regnerischen Tag im Vergleich zu jener an einem nicht regnerischen Tag zu verringern (d. h. die Distanz zwischen 2 σ wird gering). Wenn demzufolge die Standardabweichung σ des Leuchtdichte-Histogramms für das gesamte Bild geringer ist als der Schwellenwert TH von 24, wird bestimmt, dass es in der Umgebung des Fahrzeugs 10 regnet.
Es ist zu beachten, dass die Wetterbestimmung in der Umgebung des Fahrzeugs 10 auf der Basis des oben genannten Leuchtdichtehistogramms eines Grauwertbildes nicht notwendig ist und dass es möglich ist, das Wetter in der Umgebung des Fahrzeugs 10 auf der Basis von Signalen eines an dem Fahrzeug 10 vorgesehenen Regensensors zum Nachweis von Regen oder von Signalen zur Steuerung der Betätigung eines Wischers zum Wischen der Regentropfen von der Windschutzscheibe (zum Beispiel die AN/AUS-Signale des Scheibenwischers) zu bestimmen.
Nachdem das Wetter in der Umgebung des Fahrzeugs 10 in Schritt S41-1 bestimmt wurde, wird bestimmt, dass es in der Umgebung des Fahrzeugs 10 regnet oder dass es nicht regnet (in Schritt S41-2).
Wenn in Schritt S41-2 bestimmt wird, dass es in der Umgebung des Fahrzeugs 10 nicht regnet (d. h. "NEIN" in Schritt 41-2), dann wird die Höhe des Objekts auf dem Grauwertbild, das das in Schritt S7 extrahierte binäre Objekt enthält, unter Verwendung des in Schritt S3 in dem in Fig. 3 gezeigten Flussdiagramm erhaltenen Grauwertbildes ermittelt (Schritt S42). Die Höhe des Objekts auf dem Grauwertbild kann ermittelt werden, indem eine Mehrzahl von Maskenbereichen einer vorgegebenen Größe von dem oberen Ende des umschriebenen Vierecks für das binäre Objekt eingestellt wird, ein Bereich extrahiert wird, der den Maskenbereich als einen Bereich für das Grauwertobjekt enthält, bei dem die Änderung der Leuchtdichte in dem Maskenbereich groß ist (d. h. der Maskenbereich enthält das Objekt und das Hintergrundbild), der Grad der Korrelation zwischen den Maskenbereichen des rechten und des linken Bildes hoch ist (d. h. mehr als zwei Objekte sind in dem Maskenbereich nicht vorhanden) und die Distanz die gleiche ist wie das binäre Objekt (d. h. die gleiche Parallaxe), und die Höhe (Pixel) (in der folgenden Formel (8) als "Height" angegeben) des Bereichs für das Grauwertobjekt auf dem Bild berechnet wird, um die Höhe ΔHg des Grauwertobjekts unter Verwendung der Formel (8) zu erhalten:

ΔHg = z × Height × p/f ... (8)
Auch werden, wie in Fig. 15 gezeigt, die Maskenbereiche AREA1, AREA2 und AREA3 in dem Bereich des Grauwertobjekts AREA0 auf dem Bild eingestellt, um den mittleren Leuchtdichtewert und die Änderung (Dispersion) der Leuchtdichte in jedem Maskenbereich zu berechnen (Schritt S43). Hier wird der mittlere Leuchtdichtewert von AREA1 als Ave_A1 bezeichnet, und die Dispersion/Verteilung der Leuchtdichte von AREA2 und AREA3 wird jeweils als Ave_A2 und Ave_A3 bezeichnet. Es ist zu beachten, dass in dem folgenden Verfahren AREA1 für die Bestimmung bei einem vorhandenen Kopfteil des Objekts, AREA2 für die Bestimmung bei einem vorhandenen Körperteil des Objekts und AREA3 für die Bestimmung bei einer Änderung der Form/Gestalt von dem Kopfteil in die untere Hälfte des Körperteils verwendet wird. AREA3 wird auch verwendet, wenn ein Teil eines Objekts, das ein wärmehaltendes Objekt ist, welches nicht selbst Wärme erzeugt, sondern von außen aufgebrachte Wärme speichert, wie zum Beispiel eine Wand, und das eine einfache Änderung der Leuchtdichte zeigt, durch das binäre Verfahren extrahiert wird, um das Objekt von dem Fußgänger zu unterscheiden. Es ist zu beachten, dass Fig. 15 ein Diagramm für die schematische Darstellung eines von einer Kamera aufgenommenen Fußgängers ist. In Fig. 15 gibt der schattierte Bereich einen Teil des durch das binäre Verfahren erfassten Objekts an, und die von den gestrichelten Linien umgebenen Bereiche geben Teile des Objekts an, dessen Gegenwart hinsichtlich seines Hintergrunds durch das Grauwertbild bestätigt werden kann, jedoch durch das binäre Verfahren noch nicht erkennbar gemacht worden ist. Auch ist die Größe eines jeden Teils in Fig. 15 ein Beispiel für die Größe des Teils im wirklichen Raum.
Nachdem die Einstellungen in den Maskenbereichen AREA1, AREA2 und AREA3 abgeschlossen sind, werden das Bestimmungsverfahren für einen Fußgänger auf der Basis der Form/Gestalt des binären Objekts und das Bestimmungsverfahren für einen Fußgänger unter Verwendung der Leuchtdichteverteilung in jedem Maskenbereich auf dem Grauwertbild durchgeführt.
Die Bildverarbeitungseinheit 1 bestimmt zuerst, ob die Werte der Höhe, Breite, mittleren Leuchtdichte, Leuchtdichteverteilung etc. des binären Objekts in dem für einen Fußgänger passenden Bereich liegen.
Da die zu erfassenden Objekte Fußgänger sind, wird insbesondere bestimmt, ob der Schwellenwert TH der Breite ΔWb des binären Objekts im Bereich von (1 ≤ TH ≤ 2), d. h. in dem für die Breite eines Fußgängers passenden Bereich liegt (in Schritt S44).
Auch wird in Schritt S41-2, wenn das Wetter in der Umgebung des Fahrzeugs 10 als Regen bestimmt wird (d. h. "JA" in Schritt 41-2), die Berechnung der Höhe des Objekts auf dem Grauwertbild in Schritt S42 oder die Einstellung der Maskenbereiche AREA1, AREA2 und AREA3 in Schritt S43 nicht durchgeführt, und der Ablauf führt weiter zu Schritt S44. Da die zu erfassenden Objekte Fußgänger sind, wird, wie vorstehend erwähnt, in Schritt S44 bestimmt, ob der Schwellenwert TH der Breite ΔWb des binären Objekts im Bereich von (1 ≤ TH ≤ 2) liegt.
Wenn in Schritt S44 bestimmt wird, dass der Schwellenwert TH der Breite ΔWb des binären Objekts im Bereich von (1 ≤ TH ≤ 2) liegt (d. h. "JA" in Schritt S44), wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 regnet oder nicht (in Schritt S44-1).
Wird in Schritt S44-1 bestimmt, dass das Wetter in der Umgebung des Fahrzeugs 10 nicht Regen ist (d. h. "NEIN" in Schritt S44-1), wird bestimmt, ob die Höhe ΔHb des binären Objekts geringer ist als der Schwellenwert TH3, d. h. in dem für die Höhe/Größe eines Fußgängers passenden Bereich, und ob die Höhe ΔHg des Grauwertbilds geringer ist als der Schwellenwert TH4, d. h. in dem für die Höhe/Größe eines Fußgängers passenden Bereich (in Schritt S45).
Wenn andererseits in Schritt S44-1 bestimmt wird, dass das in der Umgebung des Fahrzeugs 10 Regen ist (d. h. "JA" in Schritt 44-1), wird bestimmt, ob die Höhe ΔHb des binären Objekts geringer ist als der Schwellenwert TH3, d. h. in dem für Höhe/Größe eines Fußgängers passenden Bereich (in Schritt S45-1).
Wenn in Schritt S45 bestimmt wird, dass die Höhe ΔHb des Grauwertobjekts geringer ist als der Schwellenwert TH4 (d. h. "JA" in Schritt S45) oder wenn in Schritt S45-1 bestimmt wird, dass die Höhe ΔHb des binären Objekts niedriger als der Schwellenwert TH3 ist (d. h. "JA" in Schritt S45-1), wird in Schritt S46 bestimmt, ob die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Straße niedriger ist als der Schwellenwert TH5, d. h. in dem für die Höhe/Größe eines Fußgängers passenden Bereich.
Wenn in Schritt S46 die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Straße niedriger ist als der Schwellenwert TH5 (d. h. "JA" in Schritt S46), wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 regnet oder nicht (in Schritt S46-1).
Wird in Schritt S46-1 bestimmt, dass das Wetter in der Umgebung des Fahrzeugs 10 nicht Regen ist (d. h. "NEIN" in Schritt S46-1), wird bestimmt, ob die Leuchtdichteverteilung Var_A3 des Maskenbereichs AREA3 größer ist als der Schwellenwert TH6 (in Schritt S47). Dieses Verfahren wird mit Bezugnahme auf die Fig. 16A bis 16C erläutert, die die Leuchtdichteverteilung in dem Maskenbereich AREA3 für den Fall zeigen, in dem das Objekt ein Teil oder das Ganze eines Fußgängers oder einer Wand ist.
Wenn, wie in Fig. 16A gezeigt, durch das binäre Verfahren unter Verwendung der Breite des Maskenbereichs AREA3 als die Breite des binären Objekts nur ein Kopfteil eines Fußgängers extrahiert wird, entsteht eine Differenz im Leuchtdichtegrad zwischen dem Kopfteil und der unteren Hälfte des Körperteils. Auch wird, wenn der gesamte Körper oder zumindest die obere Hälfte eines Fußgängers unter Verwendung des binären Schwellenvergleichsverfahrens extrahiert wird, wie in Fig. 16B gezeigt, die Differenz im Leuchtdichtegrad zwischen dem Körperteil des Fußgängers und dem Hintergrund verursacht. Andererseits ist, wie in Fig. 16C gezeigt, bei dem Objekt, bei dem der Temperaturunterschied über sämtliche Teile der Objekte wie beispielsweise eine Wand gering ist, die Differenz im Leuchtdichtegrad zwischen den durch das binäre Verfahren extrahierten Teilen und den durch das binäre Verfahren nicht extrahierten Teilen ebenso gering. Darüber hinaus wird das Objekt durch Abschnitte von Geraden wie in AREA3 gebildet. Aus diesem Grund ist die Leuchtdichteverteilung Var_A3 in AREA3 bei einem Fußgänger hoch und bei einem Objekt wie beispielsweise einer Wand gering.
Dem gemäß wird in Schritt S47 bestimmt, ob das Objekt ein Fußgänger ist, indem bestimmt wird, ob die Leuchtdichteverteilung Var_A3 des Maskenbereichs AREA3 größer als der Schwellenwert TH6 ist.
Wenn in Schritt S47 die Leuchtdichteverteilung Var_A3 des Maskenbereichs AREA3 größer als der Schwellenwert TH6 ist (d. h. "JA" in Schritt S47), wird das Fußgänger-Bestimmungsverfahren auf der Basis der Änderung der Form/Gestalt des Objekts über die Zeit durchgeführt.
Da das Objekt eine binäre Abbildung eines Fußgänger ist, gilt insbesondere, dass sich die Form/Gestalt der binären Abbildung über die Zeit nicht bedeutend ändert. Aus diesem Grund wird bestimmt, ob die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs zwischen dem umschriebenen Viereck und der binären Abbildung innerhalb einer bestimmten Zeitperiode angibt, geringer ist als der Schwellenwert TH7 (in Schritt S48).
Wenn in Schritt S46-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. "JA" in Schritt S46-1), wird die Bestimmung der Leuchtdichteverteilung Var_A3 für den Maskenbereich AREA3 in Schritt S47 nicht durchgeführt, und es folgt Schritt S48 in dem Ablauf. In Schritt S48 wird, wie oben erläutert, bestimmt, ob die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs zwischen dem umschriebenen Viereck und dem binären Objekt innerhalb einer bestimmten Zeitperiode angibt, niedriger ist als der Schwellenwert TH7 (in Schritt S48).
Wenn andererseits in Schritt S44 die Breite ΔHb des binären Objekts kleiner ist als der Schwellenwert TH1 oder größer als der Schwellenwert TH2 (d. h. "NEIN" in Schritt S44) oder wenn in Schritt S45 die Höhe ΔHb des binären Objekts gleich oder größer als der Schwellenwert TH3 ist oder wenn die Höhe ΔHg des Grauwertobjekts gleich oder größer als der Schwellenwert TH4 ist (d. h. "NEIN" in Schritt S45) oder wenn in Schritt S45-1 die Höhe ΔHb des binären Objekts gleich oder größer als der Schwellenwert TH3 ist (d. h. "NEIN" in Schritt S45-1) oder wenn in Schritt S46 bestimmt wird, dass die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Straße gleich oder größer als der Schwellenwert TH5 ist (d. h. "NEIN" in Schritt S46), wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (in Schritt S49), und das Fußgänger- Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S37 in dem in Fig. 5 dargestellten Flussdiagramm (über "NEIN" in Schritt S34), um zu bestimmen, dass das erfasste Objekt nicht ein Objekt ist, das die Ausgabe eines Alarms erfordert.
Ähnlich wird, wenn in Schritt S47 die Leuchtdichteverteilung in dem Maskenbereich AREA3 gleich oder größer als der Schwellenwert TH6 ist (d. h. "NEIN" in Schritt S47) oder wenn in Schritt S48 die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs zwischen dem umschriebenen Viereck und dem binären Objekt innerhalb einer bestimmten Zeitperiode angibt, gleich oder größer als der Schwellenwert TH7 ist (d. h. "NEIN" in Schritt S48), bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S49), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S37 in dem in Fig. 5 dargestellten Flussdiagramm (über "NEIN" in Schritt S34), um zu bestimmen, dass das erfasste Objekt kein Objekt ist, bei dem ein Alarm ertönen muss.
Wenn in Schritt S48 die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs zwischen dem umschriebenen Viereck und dem binären Objekt innerhalb einer bestimmten Zeitperiode angibt, niedriger als der Schwellenwert TH7 ist (d. h. "JA" in Schritt S48), dann führt die Bildverarbeitungseinheit 1 das Fußgänger-Bestimmungsverfahren für die Form/Gestalt eines jeden extrahierten Objekts in weiterem Detail durch.
Insbesondere wird bestimmt, ob die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Straße den Schwellenwert TH8 übersteigt (der ein geeigneter Wert für die Höhenunterscheidung der oberen Hälfte von der unteren Hälfte des Körpers eines Fußgängers ist) (in Schritt S50).
Wenn in Schritt S50 die Höhenposition Yt des oberen Endes des Objekts von der Oberfläche der Straße gleich oder kleiner ist als der Schwellenwert TH8 (d. h. "NEIN" in Schritt S51), führt der Ablauf weiter zu dem in dem Flussdiagramm von Fig. 9 gezeigten Schritt S51. In Schritt S51 wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist (welcher ein passender Wert für die Breite des Körpers eines Fußgängers ist), um zu bestimmen, ob es die untere Körperhälfte eines Fußgängers ist oder ab es ein sitzender Fußgänger ist.
Fig. 9 ist ein Flussdiagramm, das das Verfahren für die Unterscheidung eines Fußgängers darstellt, dessen untere Körperhälfte durch das binäre Verfahren extrahiert wurde, oder der sitzt. Wenn in Schritt S51 des Flussdiagramms die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist (d. h. "JA" in Schritt S51), wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 regnet oder nicht (in Schritt S51-1).
Wenn in Schritt S51-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist (d. h. "NEIN" in Schritt S51-1), wird bestimmt, ob die Höhe ΔHg des Grauwertobjekts niedriger als der Schwellenwert TH10 ist, welcher ein für die Höhe/Größe eines Fußgängers passender Wert ist, um zu bestimmen, ob das Objekt ein sitzender Fußgänger ist (in Schritt S52).
Wenn in Schritt S52 die Höhe AHg des Grauwertobjekts gleich oder größer als der Schwellenwert TH10 ist (d. h. "NEIN" in Schritt S52), wird angenommen, dass das Objekt dem Körper oder der unteren Körperhälfte eines Fußgängers entspricht. Um dann zu bestimmen, ob bei dem obigen Objekt ein Kopfteil vorhanden ist, wird bestimmt, ob der mittlere Leuchtdichtewert Ave_A1 des in Fig. 15 gezeigten Maskenbereichs AREA1 größer als der Schwellenwert TH11 ist (in Schritt S53).
Wenn in Schritt S53 bestimmt wird, dass der mittlere Leuchtdichtewert Ave A1 des Maskenbereichs AREA1 größer als der Schwellenwert TH11 ist (d. h. "JA" in Schritt S53), wird bestimmt, ob die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 größer als der Schwellenwert TH18 ist, wobei angenommen wird, dass AREA2 ein Leuchtdichtemuster auf dem Grauwertbild hat, da der Körperteil Bereiche enthält, die aufgrund der Wirkung von Kleidung, die getragen wird, nicht ohne weiteres Wärme abstrahlen (in Schritt S53-1).
Wenn in Schritt S53-1 die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 größer als der Schwellenwert TH18 ist (d. h. "JA" in Schritt S53-1), wird bestimmt, dass das erfasste Objekt 8 (oder das in dem Bereich AREA0 eingefangene Objekt) ein Fußgänger ist (in Schritt S54), und das Fußgänger- Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S35 in Fig. 5 (über "JA" in Schritt S34), um das Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn in Schritt S51-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. "JA" in Schritt S51-1), werden die Bestimmungsverfahren von Schritt S52 bis S53-1 nicht durchgeführt. Dann führt der Ablauf weiter zu Schritt S54, um zu bestimmen, dass das erfasste Objekt ein Fußgänger ist (in Schritt S54), und das Fußgänger-Bestimmungsverfahren wird beendet. Danach führt der Ablauf zu dem in Fig. 5 dargestellten Schritt S53 (über "JA" in Schritt S34), um das Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn andererseits bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH9 ist (d. h. "NEIN" in Schritt S51), oder wenn in Schritt S53 der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs AREA1 gleich oder größer als der Schwellenwert 11 ist (d. h. "NEIN" in Schritt S53), oder wenn in Schritt S53-1 die Leuchtdichteverteilung Var_A2 der Maske AREA2 gleich oder kleiner als der Schwellenwert TH18 ist (d. h. "NEIN" in Schritt S53-1), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S55), und das Fußgänger Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S37 in Fig. 5 (über "NEIN" in Schritt S34), um zu bestimmen, dass das Objekt kein Objekt ist, welches die Ausgabe eines Alarms erfordert.
Wenn in Schritt S52 bestimmt wird, dass die Höhe ΔHg des Grauwertobjekts niedriger als der Schwellenwert TH10 ist (d. h. "JA" in Schritt S52), wird angenommen, dass das Objekt ein sitzender Fußgänger ist, und es wird bestimmt, ob die Höhenposition Yt des oberen Endes des binären Objekts ausgehend von der Oberfläche der Straße höher ist als der Schwellenwert TH12, d. h. ein geeigneter Wert für die Unterscheidung der Höhe eines sitzenden Fußgängers von einem stehenden Fußgänger (in Schritt S56).
Wenn in Schritt S56 die Höhenposition Yt des oberen Endes des binären Objekts ausgehend von der Oberfläche der Straße höher ist als der Schwellenwert TH12 (d. h. "JA" in Schritt S56), wird bestimmt, ob Asp, wodurch das Seitenverhältnis (d. h. das Verhältnis von Länge zu Breite) des umschriebenen Vierecks für das binäre Objekt ausdrückt wird, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. ein für einen Fußgänger passender Wert) in Schritt S57.
Wenn in Schritt S57 der Wert von Asp, der das Seitenverhältnis eines umschriebenen Vierecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. "JA" in Schritt S57), wird bestimmt, ob die Distanz Dis_c zwischen dem Schwerpunkt bei dem umschriebenen Vereck 102 und dem Schwerpunkt G100 bei dem binären Objekt im wirklichen Raum, was durch die folgende Gleichung (9) ausgedrückt werden kann, geringer ist als der Schwellenwert TH15, d. h. ein für einen Fußgänger passender Wert (in Schritt S58).

Dis_c = SQRT ((Xb - Xc)² + (Yb - Yc)²) . . . (9)
Wenn in Schritt S58 die Distanz Dis_c geringer als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S58), wird bestimmt, ob ein Teil, der eine hohe Korrelation mit den vorgegebenen Mustern eines Kopfteils zeigt, in dem Maskenbereich AREA1 des binären Objekts vorhanden ist, da andere Objekte als Fußgänger, wie zum Beispiel der Frontbereich eines Fahrzeugs, zum Beispiel in Objekten enthalten sein können, bei denen ΔWb 1,0 m oder weniger und ΔHg weniger als 1,0 m sind (in Schritt S59).
Wenn in Schritt S59 ein Bereich mit einem hohen Korrelationsgrad mit vorregistrierten Mustern eines Kopfteils in dem Maskenbereich AREA1 des binären Objekts vorhanden ist (d. h. "JA" in Schritt S59), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) ein Fußgänger ist (in Schritt S54), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S35 in Fig. 5 (über "JA" in Schritt S34), um ein Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn andererseits in Schritt S56 bestimmt wird, dass die Höhenposition Yt des oberen Endes des binären Objekts ausgehend von der Oberfläche der Straße gleich oder niedriger als der Schwellenwert TH12 ist (d. h. "NEIN" in Schritt 556), oder wenn in Schritt S57 der Wert von Asp, der das Seitenverhältnis eines umschriebenen Vierecks für das binäre Objekt ausdrückt, kleiner als der Schwellenwert TH13 oder größer als der Schwellenwert TH14 ist (d. h. "NEIN" in Schritt S57) oder wenn in Schritt S58 die Distanz Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S58) oder wenn in Schritt S59 ein Bereich, deren einen hohen Grad einer Korrelation mit vorregistrierten Mustern eines Kopfteils zeigt, in dem Maskenbereich AREA1 des binären Objekts nicht vorhanden ist (d. h. "NEIN" in Schritt S59), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S55), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S37 in Fig. 5 (über "NEIN" in Schritt S34), und es wird bestimmt, dass das Objekt kein Objekt ist, das eine Alarmausgabe erfordert.
Wenn in Schritt S50 in Fig. 9 bestimmt wird, dass die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Straße höher ist als ein Schwellenwert TH8, d. h. ein für die Höhenunterscheidung der oberen Hälfte von der unteren Hälfte des Körpers eines Fußgängers geeigneter Wert (d. h. "JA" in Schritt S50), führt der Ablauf zu Schritt S50-1, der in Fig. 10 dargestellt ist, und es wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 regnet oder nicht (in Schritt S50-1).
Wenn in Schritt S50-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist (d. h. "NEIN" in Schritt S50-1), wird bestimmt, ob die Höhe ΔHg des Grauwertobjekts größer als der Schwellenwert TH16 ist, weicher der gleiche Wert ist wie der oben genannte Schwellenwert TH8, um in Schritt S60 zu bestimmen, ob das Objekt ein in der Luft anwesender Gegenstand ist (z. B. ein gewölbter Spiegel).
Fig. 10 ist ein Flussdiagramm, das einen Ablauf für die Unterscheidung eines Fußgängers zeigt, dessen Kopfteil oder obere Körperhälfte mit Hilfe des binären Schwellenvergleichsverfahrens extrahiert wurden. Wenn in Schritt 60 die Höhe ΔHg des Grauwertobjekts größer als der Schwellenwert TH16 ist (d. h. "JA" in Schritt 860), wird bestimmt, dass das Objekt kein in der Luft anwesender Gegenstand ist. Dann wird bestimmt, ob ein Kopfteil im oberen Abschnitt in dem Objektbereich (d. h. in AREA0) vorhanden ist oder ob ein Körperteil vorhanden ist. Insbesondere wird bestimmt, ob der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs AREA1 größer als der Schwellenwert TH17 ist, da der Kopfteil zur Außenseite exponiert ist (in Schritt S61).
Wenn in Schritt S61 bestimmt wird, dass der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs AREA1 größer als der Schwellenwert TH17 ist (d. h. "JA" in Schritt S61), wird bestimmt, ob die Leuchtdichteverteilung Var_A2 des Maskenbereichs 2 größer als der Schwellenwert TH18 ist, in Anbetracht dessen, dass AREA2 ein Leuchtdichtemuster auf dem Grauwertbild hat, da der Körperteil Bereiche enthält, die aufgrund der Wirkung von Kleidung, die getragen wird, nicht ohne weiteres Wärme abstrahlt (in Schritt S62).
Wenn in Schritt S62 bestimmt wird, dass die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 größer als der Schwellenwert TH18 ist (d. h. "JA" in Schritt S62), wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH19 ist, welcher ein geeigneter Wert für die Breitenunterscheidung eines Kopfteils oder einer oberen Körperhälfte eines Fußgängers ist, um zu bestimmen, ob es ein Fußgänger ist, dessen Kopfteil oder obere Körperhälfte unter Anwendung des binären Verfahrens extrahiert wurden (in Schritt S63).
Wenn in Schritt S50-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. "JA" in Schritt S50-1), wird das Bestimmungsverfahren für die Maskenbereiche von Schritt S60 bis S62 nicht durchgeführt, und der Ablauf führt weiter zu Schritt S63. In Schritt S63 wird, wie oben erwähnt, bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH19 ist, welcher ein geeigneter Wert für die Breitenunterscheidung eines Kopfteils oder einer oberen Körperhälfte eines Fußgängers ist, um zu bestimmen, ob es ein Fußgänger ist, dessen Kopfteil oder obere Körperhälfte unter Anwendung des binären Verfahrens extrahiert wurde (in Schritt S63).
Wenn in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH19 ist (d. h. "NEIN" in Schritt S63), dann wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist, welcher ein für die Breite eines Körpers eines Fußgängers passender Wert ist, um zu bestimmen, ob es ein Fußgänger ist, dessen Körper oder zumindest obere Körperhälfte durch das binäre Verfahren extrahiert wurden (Schritt S64).
Wenn in Schritt S64 die Breite ΔWb des binären Objekts größer als der Schwellenwert TH9 ist (d. h. "NEIN" in Schritt S64), wird darüber hinaus bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH2 ist, welcher ein für die Breite eines Körpers eines Fußgängers passender Wert ist, um zu bestimmen, ob sich eine Mehrzahl von Fußgängern parallel bewegt (in Schritt S65).
Wenn ferner in den oben genannten Bestimmungsverfahren in Schritt S60 die Höhe ΔHg des Grauwerts gleich oder kleiner als der Schwellenwert TH16 ist (d. h. "NEIN" in Schritt S60) oder wenn in Schritt S61 bestimmt wird, dass der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs AREA1 gleich oder kleiner als der Schwellenwert TH17 ist (d. h. "NEIN" in Schritt S61), oder wenn in Schritt S62 bestimmt wird, dass die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 gleich oder kleiner als der Schwellenwert TH18 ist (d. h. "NEIN" in Schritt S62), oder wenn in Schritt S65 bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH2 ist (d. h. "NEIN" in Schritt S65), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S66), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf (über "NEIN" in Schritt S34) weiter zu Schritt S37, der in Fig. 5 dargestellt ist, und es wird bestimmt, dass das Objekt kein Objekt ist, das eine Alarmausgabe erfordert.
Wenn dagegen in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts gleich oder kleiner als ein Schwellenwert TH19 ist (d. h. "JA" in Schritt S63), wird bestimmt, dass das Objekt ein Fußgänger ist, dessen Kopfteil oder obere Körperhälfte durch das binäre Verfahren extrahiert wurden, und der Ablauf führt in dem in Fig. 11 dargestellten Flussdiagramm weiter zu Schritt S67. In Schritt S67 wird bestimmt, ob der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, gleich oder größer als der Schwellenwert TH20 und gleich oder kleiner als der Schwellenwert TH21 ist, d. h. ein Wert, der für einen Kopfteil oder die obere Hälfte eines Fußgängers passend ist.
Fig. 11 ist ein Flussdiagramm, das einen Ablauf für die Unterscheidung eines Fußgängers darstellt, dessen Kopfteil oder obere Körperhälfte unter Anwendung des binären Verfahrens extrahiert wurden. Wenn in Schritt S67 der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, gleich oder größer als der Schwellenwert TH20 und gleich oder kleiner als der Schwellenwert TH21 ist (d. h. "JA" in Schritt S67), wird bestimmt ob die Distanz Dis_c zwischen dem Schwerpunkt bei dem oben genannten umschriebenen Viereck 102 und dem Schwerpunkt G100 bei dem binären Objekt im wirklichen Raum geringer ist als der Schwellenwert TH15 (in Schritt S68).
Wenn in Schritt S68 bestimmt wird, dass die Distanz Dis_c kleiner als der Schwellenwert TH15 ist (d. h. "JA" in Schritt S68), wird das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) als Fußgänger betrachtet (in Schritt S69), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf (über "JA" in Schritt S34) weiter zu dem in Fig. 5 dargestellten Schritt S35, um das Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn dagegen der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt ausdrückt, kleiner als der Schwellenwert TH20 oder größer als der Schwellenwert TH21 ist (d. h. "NEIN" in Schritt S67) oder wenn in Schritt S68 bestimmt wird, dass die Distanz Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S68), wird das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) nicht als Fußgänger betrachtet (in Schritt S70), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf (über "NEIN" in Schritt S34) weiter zu dem in Fig. 5 dargestellten Schritt S37, und es wird bestimmt, dass das Objekt kein Objekt ist, das eine Alarmausgabe erfordert.
Wenn in Schritt S64 in Fig. 10 die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 in Schritt S64 ist (d. h. "JA" in Schritt S64), wird bestimmt, dass das Objekt ein Fußgänger ist, dessen Kopfbereich oder obere Körperhälfte durch das binäre Verfahren extrahiert wurden, und der Ablauf führt weiter zu Schritt S71 in dem in Fig. 12 gezeigten Flussdiagramm. In Schritt S71 wird bestimmt, ob der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt ausdrückt, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH21 ist, d. h. ob der Wert für den gesamten Körper oder für die obere Körperhälfte eines Fußgängers passend ist.
Fig. 12 ist ein Flussdiagramm, das den Ablauf für die Unterscheidung eines Fußgängers zeigt, dessen Kopfteil oder obere Körperhälfte unter Anwendung des binären Verfahrens extrahiert wurden. Wenn in Schritt S71 der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, gleich oder größer als der Schwellenwert TH13 und gleich oder größer als der Schwellenwert TH21 ist (d. h. "JA" in Schritt S71), wird bestimmt, ob die Distanz Dis_c zwischen dem Schwerpunkt bei dem oben genannten umschriebenen Viereck 102 und dem Schwerpunkt G100 bei dem binären Objekt im wirklichen Raum geringer ist als der Schwellenwert TH15 (in Schritt S72).
Wenn in Schritt S72 bestimmt wird, dass die Distanz Dis_c geringer ist als der Schwellenwert TH15 (d. h. "JA" in Schritt S72), wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 regnet oder nicht (in Schritt S72-1).
Wenn in Schritt S72-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist (d. h. "NEIN" in Schritt 72-1), wird bestimmt, ob ein Teil, der eine hohe Korrelation mit vorregistrierten Mustern eines Kopfteils zeigt, in dem Maskenbereich AREA1 des binären Objekts vorhanden ist, da andere Objekte als Fußgänger, zum Beispiel der Frontbereich eines Fahrzeugs, in den Objekten enthalten sein können (in Schritt S73).
Wenn in Schritt S73 ein Teil mit einem hohen Grad einer Korrelation mit vorregistrierten Mustern in dem Maskenbereich AREA1 des binären Objekts vorhanden ist (d. h. "JA" in Schritt S73), wird das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) als Fußgänger betrachtet (in Schritt S74), und das Fußgänger Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S35 in Fig. 5 (über "JA" in Schritt S34), um das Kunstgebilde- Bestimmungsverfahren durchzuführen.
Wenn in Schritt S72-1 bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. "JA" in Schritt S72-1), wird das Bestimmungsverfahren für den Maskenbereich in Schritt S73 nicht durchgeführt. Dann führt der Ablauf weiter zu Schritt S74, um zu bestimmen, dass das erfasste Objekt ein Fußgänger ist (in Schritt S74), und das Fußgänger-Bestimmungsverfahren wird beendet. Danach folgt in dem Ablauf der in Fig. 5 dargestellte Schritt S35 (über "JA" in Schritt S34), um das Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn andererseits bestimmt wird, dass der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, kleiner als der Schwellenwert TH13 oder größer als der Schwellenwert TH21 ist (d. h. "NEIN" in Schritt S71), oder wenn in Schritt S72 bestimmt wird, dass die Distanz Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S72) oder wenn in Schritt S73 ein Teil mit einem hohen Grad einer Korrelation mit vorregistrierten Mustern eines Kopfteils in dem Maskenbereich AREA1 des binären Objekts nicht vorhanden ist (d. h. "NEIN" in Schritt S73), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S74), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu Schritt S37 in Fig. 5 (über "NEIN" in Schritt S34), um zu bestimmen, dass das Objekt kein Objekt ist, das die Ausgabe eines Alarms erfordert.
Wenn in Schritt S65 des in Fig. 10 dargestellten Flussdiagramms bestimmt wird, dass die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH2 ist (d. h. "JA" in Schritt S65) wird in Betracht gezogen, dass ein großer Hintergrundbereich in dem umschriebenen Viereck für das Objekt enthalten ist, da das Objekt eine Mehrzahl von Fußgängern, die parallel gehen, enthält. Der Ablauf führt weiter zu Schritt S76 in Fig. 13, um zu bestimmen, ob der Wert von RATE, welcher das Verhältnis des Oberflächenbereichs des umschriebenen Vierecks zu jenem der binären Abbildung innerhalb einer bestimmten Zeitperiode ist, kleiner als der Schwellenwert TH22 ist (in Schritt S76).
Fig. 13 ist ein Flussdiagramm, das ein Verfahren für den Fall zeigt, in dem das Objekt mehrere Fußgänger sind, die parallel gehen. Wenn in Schritt S76 bestimmt wird, dass der Wert von RATE, welcher das Verhältnis des Oberflächenbereichs des umschriebenen Vierecks zu jenem der binären Abbildung innerhalb einer bestimmten Zeitperiode ist, kleiner als der Schwellenwert TH22 ist (d. h. "JA" in Schritt S76), wird bestimmt, dass der Wert von Asp, der das Seitenverhältnis des umschriebenen Verecks für das binäre Objekt angibt, gleich oder größer als der Schwellenwert TH23 und gleich oder kleiner als der Schwellenwert TH14 ist, d. h. der für die Bestimmung von Fußgängern, die parallel gehen, geeignete Wert (in Schritt S77).
Wenn der Wert von Asp in Schritt S77, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, gleich oder größer als der Schwellenwert TH23 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. "JA" in Schritt S77), wird bestimmt, ob die Distanz Dis_c zwischen dem Schwerpunkt bei dem vorgenannten umschriebenen Viereck 102 und dem Schwerpunkt G100 bei dem binären Objekt im wirklichen Raum geringer ist als der Schwellenwert TH15 (in Schritt S78).
Wenn in Schritt S78 bestimmt wird, dass die Distanz Dis_c geringer ist als der Schwellenwert TH15 (d. h. "JA" in Schritt S78), wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) ein Fußgänger ist (in Schritt S79), und das Fußgänger-Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu dem in Fig. 5 gezeigten Schritt S35 (über "JA" in Schritt S34), um das Kunstgebilde-Bestimmungsverfahren durchzuführen.
Wenn dagegen in Schritt S76 bestimmt wird, dass der Wert von RATE, der das Verhältnis des Oberflächenbereichs des umschriebenen Vierecks zu jenem der binären Abbildung innerhalb einer bestimmten Zeitperiode ist, gleich oder größer als der Schwellenwert TH22 in Schritt S76 ist (d. h. "NEIN" in Schritt S76), oder wenn in Schritt S77 bestimmt wird, dass der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks für das binäre Objekt angibt, kleiner ist als der Schwellenwert TH23 oder größer als der Schwellenwert TH14 (d. h. "NEIN" in Schritt S77) oder wenn in Schritt S78 bestimmt wird, dass die Distanz Dis_c gleich oder größer als der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S78), wird das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) nicht als ein Fußgänger betrachtet (in Schritt S80), und das Fußgänger- Bestimmungsverfahren wird beendet. Dann führt der Ablauf weiter zu dem in Fig. 5 gezeigten Schritt S37 (über "NEIN" in Schritt S34), um zu bestimmen, dass das Objekt kein Objekt ist, das eine Alarmausgabe erfordert.
Es ist zu beachten, dass in dieser Ausführungsform der vorliegenden Erfindung die Bildverarbeitungseinheit 1 eine Wetter-Erfassungseinheit, eine Objekt- Extraktionseinheit, eine Extraktionseinheit für wärmehaltende Objekte, eine Fußgänger Erkennungseinheit und eine Form/Gestalt-Bestimmungseinheit umfasst.
Insbesondere entspricht der in Fig. 8 gezeigte Schritt S41-1 der Wetter-Erfassungseinheit, die Schritte S1-S13 in Fig. 3 entsprechen der Objekt-Extraktionseinheit, und die Schritte S45, S46 und S47 in Fig. 8, die Schritte S52, S53 und S53-1 in Fig. 9 und die Sehritte S60, S61 und S62 in Fig. 10 entsprechen der Extraktionseinheit für wärmehaltende Objekte.
Die Schritte S48 und S49 in Fig. 8, die Schritte S50 und S54-S59 in Fig. 9, die Schritte S63-S66 in Fig. 10, die Schritte S67-S70 in Fig. 11, die Schritte S71-S75 in Fig. 12 und die Schritte S76-S80 in Fig. 13 entsprechen der Fußgänger-Erkennungseinheit. Insbesondere entsprechen Schritt S59 in Fig. 9 und Schritt S73 in Fig. 12 der Form/Gestalt-Bestimmungseinheit.
Wie vorstehend erläutert wurde, extrahiert die Vorrichtung zur Beobachtung der Umgebung des Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung nach dem Extrahieren eines Objekts wie beispielsweise eines Fußgängers unter Anwendung des binären Schwellenvergleichsverfahrens aus einem Grauwertbild eines durch eine Infrarotkamera aufgenommenen Bildes ein Grauwertobjekt, welches das binäre Objekt aus dem Grauwertbild enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes und stellt des weiteren eine Mehrzahl von Suchbereichen in den Bereichen des Grauwertobjekts ein, um auf der Basis der Form/Gestalt oder der Leuchtdichteverteilung in den Suchbereichen einen Fußgänger in den Suchbereichen zu erkennen.
Wenn bestimmt wird, dass es in der Umgebung des Fahrzeugs 10 regnet, werden lediglich die Bedingungen für die Gegenwart des binären Objekts bestimmt, und Fußgänger auf dem binären Bild werden auf der Basis der Höhe oder der Größe des binären Objekts auf dem binären Bild erkannt.
Wenn bestimmt wird, dass es in der Umgebung des Fahrzeugs 10 nicht regnet, werden auf diese Weise Objekte, die auf der Basis der Breite oder der Höhe des Objekts auf dem Bild wahrscheinlich kein Fußgänger sind, aus den Zielobjekten auf dem Bild entfernt. Auch wird bestimmt, ob die restlichen Objekte charakteristisch für einen Fußgänger einen Bereich auf aufweisen, der einem Kopfteil entspricht, bei dem die Leuchtdichteverteilung hoch ist, und einen Bereich, der einem Körperteil entspricht, bei dem die Leuchtdichteverteilung relativ hoch ist. Darüber hinaus wird bestimmt, ob das Objekt nicht ein Objekt mit einer relativ schwachen Leuchtdichteverteilung ist, wie zum Beispiel eine Wand. Dann werden Abbildungen von Objekten, deren Leuchtdichteverteilung sich von jener bei einem Fußgänger unterscheidet, aus dem Bild entfernt, um die Genauigkeit bei der Erfassung von Fußgängern zu verbessern.
Außerdem wird, wenn bestimmt wird, dass es in der Umgebung des Fahrzeugs 10 regnet, das Bestimmungsverfahren auf der Basis der Leuchtdichteverteilung nicht durchgeführt, da der Betrag der von den Objekten ausgesandten Infrarotstrahlen verringert wird, und es wird lediglich ein Verfahren durchgeführt, in dem Objekte, die angesichts der Breite und der Höhe des Objekts auf dem Bild wahrscheinlich keine Fußgänger sind, aus den Zielobjekten auf dem Bild entfernt werden. Demzufolge können auf der Leuchtdichteverteilung basierende Fehler bei der Erfassung eines Fußgängers vermieden werden, und erfindungsgemäß kann die Genauigkeit bei der Erfassung eines Fußgängers beibehalten werden.
Vorstehend wurden Ausführungsbeispiele der vorliegenden Erfindung beschrieben. Für den Fachmann ist es jedoch offensichtlich, dass verschiedene Änderungen, Modifikationen und Verbesserungen möglich sind, die, wenngleich sie vorstehend nicht ausdrücklich beschrieben sind, dennoch beabsichtigt und impliziert sind, ohne vom Kern der Erfindung abzuweichen oder den Rahmen der Erfindung zu verlassen. Demzufolge dient die vorstehende Beschreibung lediglich zum Zweck der Darstellung, und die Erfindung ist allein durch die folgenden Ansprüche und ihre Äquivalente begrenzt und definiert.
Eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes zu erfassen, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird. Die Vorrichtung umfasst eine binäre Objekt-Extraktionseinheit, die ein Grauwertbild des von dem Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein binäres Objekt aus dem Grauwertbild extrahiert; eine Grauwertobjekt-Extraktionseinheit, die ein Grauwertobjekt, wovon ein Bereich das binäre Objekt enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes aus dem Grauwertbild extrahiert; und eine Fußgänger-Bestimmungseinheit, die einen Suchbereich in einem Bereich einstellt, der das Grauwertobjekt enthält, und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.

Claims

1. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes, das durch zumindest ein an dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen wird, zu erfassen, wobei die Vorrichtung umfasst:
eine Binärobjekt-Extraktionseinheit, die ein Grauwertbild des durch das Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein binäres Objekt aus dem Grauwertbild extrahiert;
eine Grauwertobjekt-Extraktionseinheit, die ein Grauwertobjekt, wovon ein Bereich das binäre Objekt enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes aus dem Grauwertbild extrahiert; und
eine Fußgänger-Bestimmungseinheit, die in einem das Grauwertobjekt enthaltenden Bereich einen Suchbereich einstellt und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.

2. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei die Fußgänger-Bestimmungseinheit den Suchbereich in der Weise einstellt, dass eine Größe in einer transversalen Richtung des Suchbereichs mit einer Breite des binären Objekts übereinstimmt und dass eine Größe in einer Längsrichtung des Suchbereichs mit einer Höhe des binären Objekts übereinstimmt.

3. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei die Fußgänger-Bestimmungseinheit als den Suchbereich einen Kopfteilbereich, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht, auf der Basis eines oberen Endes des Grauwertobjekts einstellt.

4. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei die Fußgänger-Bestimmungseinheit als den Suchbereich einen Kopfteilbereich, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht, auf der Basis eines oberen Endes des Grauwertobjekts und einen Körperteilbereich, dessen Größe einem Körperteil eines Fußgängers entspricht und der größer ist als der Kopfteilbereich, unter dem Kopfteilbereich einstellt.

5. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei die Vorrichtung als Nachtsichtvorrichtung verwendet wird.

6. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Infrarotbildes, das durch zumindest ein an dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen wird, zu erfassen, wobei die Vorrichtung umfasst:
eine Objekt-Extraktionseinheit, die Objekte, welche Infrarotstrahlen abgeben, aus dem Infrarotbild extrahiert;
eine Einheit zum Extrahieren von wärmehaltenden Objekten, die wärmehaltende Objekte, welche nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, aus den durch die Objekt- Extraktionseinheit extrahierten Objekten extrahiert; und
eine Fußgänger-Erkennungseinheit, die einen Fußgänger aus den durch die Objekt-Extraktionseinheit extrahierten Objekten erkennt, indem sie die durch Einheit zum Extrahieren von wärmehaltenden Objekten extrahierten wärmehaltenden Objekte ausschließt.

7. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Infrarotbildes, das durch zumindest ein an dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen wird, zu erfassen, wobei die Vorrichtung umfasst:
eine Wetter-Erfassungseinheit, die das Wetter in der Fahrzeugumgebung erfasst;
eine Objekt-Extraktionseinheit, die Objekte, welche Infrarotstrahlen abgeben, aus dem Infrarotbild extrahiert;
eine Einheit zum Extrahieren von wärmehaltenden Objekten, die wärmehaltende Objekte, welche nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, aus den durch die Objekt- Extraktionseinheit extrahierten Objekten extrahiert; und
eine Fußgänger-Erkennungseinheit, die einen Fußgänger aus den durch die Objekt-Extraktionseinheit extrahierten Objekten erkennt, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs Regen ist, wobei, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs kein Regen ist, die Fußgänger Erkennungseinheit einen Fußgänger aus den durch die Objekt-Extraktionseinheit extrahierten Objekten erkennt, indem sie durch die Einheit zum Extrahieren von wärmehaltenden Objekten extrahierte wärmehaltende Objekte ausschließt.

8. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs nach Anspruch 7, ferner umfassend:
eine Form/Gestalt-Erfassungseinheit, die eine Form/Gestalt der Objekte bestimmt, wobei die Form/Gestalt-Erfassungseinheit deaktiviert wird, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs Regen ist.