DE102004041919B4

DE102004041919B4 - Fahrzeugumgebungs-Überwachungseinrichtung

Info

Publication number: DE102004041919B4
Application number: DE102004041919A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Masakazu Wako Saka; Takayuki Wako Tsuji
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-09-01
Filing date: 2004-08-30
Publication date: 2008-05-08
Anticipated expiration: 2024-08-31
Also published as: US7672510B2; JP3987013B2; DE102004041919A1; JP2005079999A; US20050063565A1

Abstract

Überwachungseinrichtung zur Überwachung von in einer Umgebung eines Fahrzeugs (10) vorhandenen Körpern, umfassend Infrarotkameras (2R, 2L) und eine Bildverarbeitungseinheit (1), welche derart ausgebildet ist, dass sie
– aus von den Infrarotkameras (2R, 2L) aufgenommenen Signalen ein Graustufenbild erzeugt (S3),
– aus dem Graustufenbild ein binärisiertes Bild erzeugt (S4), ein binärisiertes Objekt aus dem binärisierten Bild extrahiert (S7, S31),
– die Höhe (ΔHb) des binärisierten Objekts berechnet (S8),
– ein dem binärisierten Objekt entsprechendes Graustufenobjekt aus dem Graustufenbild extrahiert,
– die Höhe (ΔHg) des Graustufenobjekts berechnet,
– die Höhe (ΔHb) des binärisierten Objekts mit der Höhe (ΔHg) des Graustufenobjekts vergleicht (S34) und
auf Grundlage des Ergebnisses des Vergleichs bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist,
wobei die Bildverarbeitungseinheit dann bestimmt, dass das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist, wenn der Betrag der Differenz zwischen der Höhe (ΔHg) des Graustufenobjekts und...

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Überwachungseinrichtung zur Überwachung der Umgebung eines Fahrzeugs, die Objekte durch Ausführen einer Binärisierungsverarbeitung von durch Infrarotkameras aufgenommenen Bildern extrahiert.
Beschreibung verwandter Technik
Herkömmliche Fahrzeugumgebungs-Überwachungseinrichtungen extrahieren Objekte, bei denen eine Chance besteht, dass das Fahrzeug mit ihnen kollidiert, beispielsweise Fußgänger, aus Bildern der Umgebung des Fahrzeugs, die durch eine Abbildungseinrichtung, beispielsweise eine Infrarotkamera, aufgenommen wurden, und stellen diese Information dem Fahrer des Fahrzeugs zur Verfügung. Bei diesen Einrichtungen werden solche Teile durch ein Paar aus einer linken und einer rechten Stereokamera aufgenommenen Bilder der Fahrzeugumgebung, die hohe Temperaturen aufweisen, Objekten zugeordnet. Der Abstand zu den Objekten wird durch Bestimmung der Parallaxe derselben berechnet und aus der Bewegungsrichtung und -position der Objekte werden diejenigen, die sehr wahrscheinlich die Bewegung des Fahrzeugs beeinträchtigen, erfasst und eine Warnung wird ausgegeben (siehe beispielsweise JP 2001-6096 A ).
Wird wie bei herkömmlichen Einrichtungen jedoch die Extrahierung von Fußgängern lediglich aufgrund einer Formbestimmung durchgeführt, dann kann aufgrund von Faktoren, etwa der Tatsache, dass der Fußgänger einen Hut trägt, der Wirkung von Kleidung oder der Umgebung um den Fußgänger, die binäre Form der Fußgänger selbst im Infrarotbild unbestimmt werden. Wenn ein Fahrzeug allgemein fährt, hat eine Veränderung der Form der Straßenfläche vor dem Fahrzeug oder ein Neigen des Fahrzeugs eine Wirkung auf das Bild. Die Höhe eines Fußgängers, ob Erwachsener oder Kind, kann nicht genau als die tatsächliche Höhe eines Fußgängers wiedergebend erfasst werden. Daher existiert eine Möglichkeit, dass die Koordinaten des Schwerpunkts des Objekts auf dem Schirm bezüglich des Abstands nicht fixiert werden können und dass Fußgänger allein nicht in einer stabilen Weise extrahiert werden können. Hier sind zusätzlich zur Berechnung der Größe eines Objekts im realen Raum aus einem Graustufenbild, wie bei herkömmlichen Einrichtungen, Verfahren vorgeschlagen worden, bei denen auf Grundlage der Positionsbeziehungen von binärisierten Objekten fußgängerartige Objekte allein extrahiert werden, oder bei denen Straßenseitenstrukturen und Fahrzeuge aus den binärisierten Objekten extrahiert werden, als Nicht-Fußgängerobjekte deklariert werden und von der Betrachtung als Objekte, die eine Warnung gerechtfertigen, ausgeschlossen werden.
Ferner tendieren Wärmespeicher, wie Plakatflächen, Wände und Nutzstangen in der allgemeinen Umgebung, die nicht selbst Wärme abgeben, sondern von externen Quellen aufgenommene Wärme speichern, dazu, von dem Infrarotbild zu verschwinden (sie werden nicht länger durch die Infrarotkameras erfasst) aufgrund ihrer während Niederschlag zurückgehenden Temperatur, und bei Wärmeerezeugern, wie Automaten, die selbst Wärme erzeugen, verringert sich während Niederschlag der Anteil von Infrarotstrahlung (auf beinahe null), obwohl diese durch die Infrarotkameras erfasst werden. Daher ist es schwierig, eine Form genau zu bestimmen. Weil Niederschlag eine Veränderung der Strahlungsmenge von Infrarotstrahlen verursachen kann, werden auf dieselbe Weise mit Kleidung bedeckte Teile durch die Infrarotkameras nicht erfasst, weil die Kleidung nass ist, obwohl freiliegende Teile von Menschen (der Kopf und dergleichen) erfasst werden. Auf diese Weise kann der Zustand der Fahrzeugumgebung sogar an derselben Stelle unterschiedlich sein, abhängig davon, ob es regnet oder nicht, und es gibt eine Variation in der Form aller der Objekte in den Graustufenbildern, die durch die Infrarotkameras erfasst werden. Daher sind herkömmliche Verfahren vorgeschlagen worden, bei denen Niederschlag auf Grundlage von Signalen der Betätigung der Wischer des Fahrzeugs oder einem Erfassungssignal eines Regentropfensensors erfasst wird und bei normalem Wetter und während Niederschlag eine getrennte Verarbeitung verwendet wird.
Weiterhin sind Verfahren vorgeschlagen worden, bei denen der Zustand des Histogramms des gesamten Bilds verwendet wird, um zu bestimmen, ob Niederschlag fällt oder nicht (siehe US 2003/0138133 A1 ).
Bei Wetterbedingungen, bei denen eine große Menge Niederschlag dauerhaft fällt, ist es möglich, Fußgänger in einer stabilen Weise zu erfassen, indem Niederschlag auf Grundlage von Signalen der Betätigung der Wischer des Fahrzeugs oder erfasster Signale eines Regentropfensensors erfasst werden, und eine getrennte Verarbeitung für normale Zeiten und Niederschlagszeiten durchgeführt wird, wobei jedoch bei unterschiedlichen Bedingungen, beispielsweise wenn Sprühregen oder Niederschlag einzusetzen beginnt, aufhört oder gerade aufgehört hat, es möglich ist, dass die Extrahierung in einer stabilen Weise von Fußgängern allein behindert wird. Weil keine Verbindung zwischen der Niederschlagsbestimmungsverarbeitung, die unter Verwendung der Signale von der Betätigung der Wischer des Fahrzeugs oder erfasster Signale eines Regentropfensensors durchgeführt wird, und der Fußgängerbestimmungsverarbeitung, die Fußgänger aus den Infrarotbildern extrahiert, existiert bei Bedingungen, wie beispielsweise wenn Sprühregen oder Niederschlag einsetzt, aufzuhören beginnt oder gerade aufgehört hat, ist es insbesondere dann, wenn die Signale von der Betätigung der Wischer des Fahrzeugs oder erfasster Signale eines Regentropfensensors die Prozedur aufrufen, die für Normalbedingungen durchzuführen ist, trotz der Tatsache, dass die Fußgängerbestimmungsverarbeitung für feuchte Wetterbedingungen geeigneter wäre, möglich, dass die Fähigkeit zur genauen Bestimmung der Formen von feuchten Körpern beeinträchtigt ist.
Ferner ist die Verwendung des Histogramms des gesamten Bilds zur Bestimmung, ob Niederschlag fällt, in Fällen wirksam, in denen in einem Bild eines Körpers und seines Hintergrunds das Histogramm eine Veränderung zwischen Zeiten normaler Wetterbedingungen und Zeiten von Niederschlag sowohl im Körper als auch seinem Hintergrund anzeigt, aber es existiert ein Problem darin, dass in Fällen, in denen keine Veränderung des Histogramms im Hintergrund zwischen Zeiten normaler Wetterbedingungen und Niederschlag existiert (wenn der Hintergrund des Körpers eine Naturansicht, zum Beispiel ein Reisfeld, ist), sich die Genauigkeit der Niederschlagsbestimmung verringert. Insbesondere in einer Situation, in der keine Histogrammveränderung im Hintergrund zwischen normalem Wetter und Niederschlag deutlich ist und lediglich ein Körper vorhanden ist, ist es möglich, dass sogar dann, wenn das Histogramm des Körpers sich verändert, der Veränderungsgrad relativ zum Histogramm des gesamten Bilds zu klein ist, was bedeutet, dass die Veränderung nicht im Histogramm im Vergleich zum gesamten Bild unterschieden werden kann und Niederschlag nicht genau erfasst werden kann (der Zustand des Körpers kann nicht bestimmt werden).
ZUSAMMENFASSUNG DER ERFINDUNG
Aufgabe ist es, eine Fahrzeugumgebungs-Überwachungseinrichtung bereitzustellen, die aus einem durch eine Kamera aufgenommenen Bild in geeigneter Weise bestimmen kann, ob der Zustand eines Körpers durch Feuchtigkeit beeinflusst ist.
Zur Lösung der obigen Aufgabe ist gemäß einem ersten Aspekt der Erfindung eine Fahrzeugumgebungs-Überwachungseinrichtung gemäß Anspruch 1 angegeben. Gemäß einem zweiten Aspekt der Erfindung ist eine Überwachungseinrichtung gemäß Anspruch 5 angegeben.
Die Fahrzeugumgebungs-Überwachungseinrichtung erfasst in einer Umgebung eines Fahrzeugs (z.B. des in den folgenden Ausführungsformen beschriebenen Fahrzeugs 10) vorhandene Körper aus durch Infrarotkameras (z.B. der in den folgenden Ausführungsformen beschriebenen Infrarotkameras 2R und 2L) aufgenommenen Infrarotbildern. Sie umfasst: eine Extraktionseinrichtung für ein binärisiertes Objekt, die durch Binärisieren von Graustufenbildern der Infrarotbilder die Körper als binärisierte Objekte extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in den Schritten S7 und S31), eine Berechnungseinrichtung, die eine Höhe des binärisierten Objekts berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in den Schritten S8 und S71), eine Extraktionseinrichtung für ein Objektbild, die ein Bild eines dem binärisierten Objekt entsprechenden Graustufenobjekts aus dem Graustufenbild extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung den Schritten S33 und S73), eine Berechnungseinrichtung, die eine Höhe (auch als charakteristische Kenngröße bezeichnet) des Graustufenobjekts berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S33 und Schritt S73), eine Merkmalsquantitäts-Vergleichseinrichtung, die die Höhe des binärisierten Objekts vergleicht (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S34), und eine Körperzustandsbestimmungseinrichtung, die den Zustand des Körpers auf Grundlage der Ergebnisse des Vergleichs, der in der Merkmalsquantitäts-Vergleichseinrichtung durchgeführt worden ist, berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S35 bis Schritt S52).
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung eine Höhe des binärisierten Objekts als Merkmalsquantität des binärisierten Objekts mit der Höhe des Graustufenobjekts als Merkmalsquantität des Graustufenobjekts vergleicht, und die Körperzustands-Bestimmungseinrichtung den Zustand des Körpers auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung bestimmt, den Zustand eines Körpers aus dem Bild selbst bestimmen, einschließlich dessen, ob der Körper durch Niederschlag beeinträchtigt ist oder ob das Kameraobjektiv verschmutzt ist.
Die Merkmalsquantitäts-Vergleichseinrichtung kann für eine Mehrzahl von Körpern die Höhe des Graustufenobjekts mit der Höhe des binärisierten Objekts vergleichen, und die Körperzustandsbestimmungseinrichtung kann den Zustand der Körper nach Maßgabe des Anteils von Körpern bestimmen, die aufgrund der Ergebnisse des Vergleichs der Merkmalsquantitätsvergleichseinrichtung spezifiziert sind.
Die Fahrzeugumgebungs-Überwachungseinrichtung, die die obige Konstruktion umfasst, kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts für eine Mehrzahl von Körpern vergleicht, die zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Beurteilung des Zustands von Körpern auf Grundlage der zusätzlichen zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen ausführen.
Die Merkmalsquantitäts-Vergleichseinrichtung kann die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts über eine Mehrzahl von Bildrahmen hinweg vergleichen, und die Körperzustandsbestimmungseinrichtung kann den Zustand der Körper nach Maßgabe des Anteils von Bildrahmen bestimmen, bei denen der Anteil von Körpern, die aufgrund der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung spezifiziert sind, auf oder oberhalb eines vorbestimmten Niveaus liegt.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts und die Höhe des Graustufenobjekts über eine Mehrzahl von Rahmen bzw. Frames hinweg vergleicht, die zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Beurteilung des Zustands des Körpers auf Grundlage der zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten zusätzlichen Ressourcen ausführen.
In der Umgebung eines Fahrzeugs (z.B. dem in den folgenden Ausführungsformen beschriebenen Fahrzeug 10) vorhandene Körper können aus durch Infrarotkameras (z.B. den in den folgenden Ausführungsformen beschriebenen Infrarotkameras 2R, 2L) aufgenommenen Infrarotbildern erfasst werden, und zwar mit: einer Extraktionseinrichtung für ein binärisiertes Objekt, die durch Binärisieren von Graustufenbildern von den Infrarotkameras die Körper als binärisierte Objekte extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S7 und Schritt S31), einer Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt, die eine Höhe der binärisierten Objekte berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S8 und Schritt S71), einer Extraktionseinrichtung für ein Objektbild, die ein Bild eines dem binärisierten Objekt entsprechenden Graustufenobjekts aus dem Graustufenbild extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S33 und Schritt S73), einer Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild, die eine Höhe des Graustufenobjekts berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S33 bis Schritt S73), einer Fußgängererkennungseinrichtung, die Fußgänger unter Verwendung der Höhe eines binärisierte Objekts extrahiert worden ist, und der der Höhe des binärisierten Objekts erkennt (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S72 und Schritt S74 bis Schritt S118), und einer Merkmalsquantitäts-Vergleichseinrichtung, die die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts vergleicht (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S34) und wobei die Fußgängererkennungseinrichtung das Fußgängererkennungsverarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung wechselt.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts vergleicht und die Fußgängererkennungseinrichtung, die Fußgänger unter Verwendung der Höhe des binärisierten Objekts und der Höhe des Graustufenobjekts erkennt, das Fußgängererkennungs-Verarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung ändert, das Fußgängererkennungs-Verarbeitungsverfahren aus dem Bild selbst bestimmen und Fußgänger allein in einer stabilen Weise erkennen.
Die Merkmalsquantitäts-Vergleichseinrichtung kann für eine Mehrzahl von Körpern die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts vergleichen, und die Fußgängererkennungseinrichtung kann das Fußgängererkennungsverfahren nach Maßgabe des Anteils von Körpern wechseln, die aufgrund der Ergebnisse des Vergleichs der Merkmalsquantitäts-Vergleichseinrichtung spezifiziert sind.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts und die Höhe des Graustufenobjekts für eine Mehrzahl von Körpern vergleicht, die zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Fußgängererkennung auf Grundlage der zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten zusätzlichen Ressourcen durchführen.
Die Merkmalsquantitäts-Vergleichseinrichtung kann die Höhe des binärisierten Objekts mit der Höhe des Graustufenobjekts über eine Mehrzahl von Bildrahmen hinweg vergleichen, und die Fußgängererkennungseinrichtung kann das Fußgängererkennungs-Verarbeitungsverfahren nach Maßgabe des Anteils von Bildrahmen bestimmen, bei denen der Anteil von Körpern, die aufgrund der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung spezifiziert sind, auf oder oberhalb eines vorbestimmten Niveaus liegt.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts und die Höhe des Graustufenobjekts über eine Mehrzahl von Rahmen bzw. Frames hinweg vergleicht, die zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Fußgängererkennung auf Grundlage der zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten zusätzlichen Ressourcen durchführen.
Die Merkmalsquantitäts-Vergleichseinrichtung vergleicht die Höhe des binärisierten Objekts, das durch die Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt extrahiert worden ist, mit der Höhe des Graustufenobjekts, das durch die Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild extrahiert worden ist.
Die Fahrzeugumgebungs-Überwachungseinrichtung, die die obige Konstruktion aufweist, kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe des binärisierten Objekts und die Höhe des Graustufenobjekts vergleicht, eine Körperzustands-Bestimmungseinrichtung dazu veranlassen, die genaue Körperzustandsbestimmung durchzuführen, wenn die beiden Infrarotkameras Seite an Seite angeordnet sind.
Gemäß einem zweiten Aspekt der Erfindung können in einer Umgebung eines Fahrzeugs (z.B. des in den folgenden Ausführungsformen beschriebenen Fahrzeugs 10) vorhandene Körper aus durch Infrarotkameras (z.B. die in den folgenden Ausführungsformen beschriebenen Infrarotkameras 2R, 21) aufgenommenen Infrarotbildern erfasst werden, und zwar durch: eine Extraktionseinrichtung für ein binärisiertes Objekt, die die Körper als eine Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten durch Binärisieren von Graustufenbildern von den Infrarotkameras nach Maßgabe einer Mehrzahl von Luminanz- Schwellenwerten extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S125, Schritt S141 und Schritt S146), eine Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt, die jeweils eine Fläche der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S125, S142 bis Schritt S145 und Schritt 147 bis Schritt 150), eine Merkmalsquantitäts-Vergleichseinrichtung, die die Flächen der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die durch die Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt extrahiert worden sind, miteinander vergleicht (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S126 bis Schritt 130) und eine Körperzustandsbestimmungseinrichtung, die den Zustand der Körper auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S131 bis Schritt S133).
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Flächen der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz (Bildhelligkeits)-Schwellenwerten miteinander vergleicht und die Körperzustands-Bestimmungseinrichtung den Zustand der Körper auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung bestimmt, den Zustand eines Körpers aus dem Bild selbst bestimmen, einschließlich dessen, ob die Körper durch Niederschlag beeinträchtigt sind oder ob das Kameraobjektiv verschmutzt ist.
Die Merkmalsquantitäts-Vergleichseinrichtung kann die Flächen der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die durch die Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt extrahiert worden sind, für eine Mehrzahl von Körpern miteinander vergleichen, und die Körperzustandsbestimmungseinrichtung den Zustand der Körper nach Maßgabe des Anteils von Körpern bestimmen, die aufgrund der Ergebnisse des Vergleichs der Merkmalsquantitäts-Vergleichseinrichtung spezifiziert sind.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Flächen einer Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten für eine Mehrzahl von Körpern vergleicht, die zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Beurteilung des Zustands der Körper auf Grundlage der zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten zusätzlichen Ressourcen ausführen.
In der Umgebung eines Fahrzeugs (z.B. des in den folgenden Ausführungsformen beschriebenen Fahrzeugs 10) vorhandene Körper können aus durch Infrarotkameras (z.B. der in den folgenden Ausführungsformen beschriebenen Infratorkameras 2R, 2L) aufgenommenen Infrarotbildern erfasst werden, und zwar durch: eine Extraktionseinrichtung für ein binärisiertes Objekt, die die Körper als eine Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten durch Binärisieren von Graustufenbildern von den Infrarotkameras nach Maßgabe einer Mehrzahl von Luminanz-Schwellenwerten extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S125, Schritt S141 und Schritt S146), eine Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt, die jeweils eine Höhe der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S71, Schritt S125, Schritt 142 bis Schritt S145 und Schritt S147 bis Schritt S150), eine Extraktionseinrichtung für ein Objektbild, die Bilder von den binärisierten Objekten entsprechenden Graustufenobjekten aus den Graustufenbildern extrahiert (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S33 und Schritt S73), eine Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild, die eine Höhe der Graustufenobjekte berechnet (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S33 und Schritt S73), eine Fußgängererkennungseinrichtung, die Fußgänger unter Verwendung der Höhe des binärisierten Objekts und der Höhe, die durch die Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild extrahiert worden ist (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S72 und Schritt S74 bis Schritt S118), erkennt, und eine Merkmalsquantitäts-Vergleichseinrichtung, die die Höhe der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die durch die Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt extrahiert worden sind, miteinander vergleicht (z.B. die in den folgenden Ausführungsformen beschriebene Verarbeitung in Schritt S126 bis Schritt S130) und wobei die Fußgängererkennungseinrichtung das Fußgängererkennungs Verarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitätsvergleichseinrichtung wechselt.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Höhe einer Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz (Bildhelligkeits)-Schwellenwerten miteinander vergleicht und die Fußgängererkennungseinrichtung, die Fußgänger unter Verwendung der Höhe des binärisierten Objekts und der Höhe des Graustufenobjekts erkennt, das Fußgängererkennungs-Verarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung ändert, das Fußgängererkennungs-Verarbeitungsverfahren aus dem Bild selbst bestimmen und einzelne Fußgänger in einer stabilen Weise erkennen.
Die Merkmalsquantitäts-Vergleichseinrichtung kann die Flächen der Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die durch die Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt extrahiert worden sind, für eine Mehrzahl von Körpern miteinander vergleichen, und die Fußgängererkennungseinrichtung kann das Fußgängererkennungsverarbeitungsverfahren nach Maßgabe des Anteils von Körpern bestimmen, die aufgrund der Ergebnisse des Vergleichs der Merkmalsquantitätsvergleichseinrichtung spezifiziert sind.
Die Fahrzeugumgebungs-Überwachungseinrichtung gemäß der obigen Konstruktion kann durch ein Verfahren, bei dem die Merkmalsquantitäts-Vergleichseinrichtung die Flächen einer Mehrzahl von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten für eine Mehrzahl von Körpern vergleicht, die zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten Ressourcen erhöhen und eine genaue Fußgängererkennung auf Grundlage der zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten zusätzlichen Ressourcen ausführen.
Gemäß der Fahrzeugumgebungs-Überwachungseinrichtung der Erfindung wird der Zustand eines Körpers, beispielsweise, ob der Körper durch Niederschlag beeinträchtigt ist oder das Kameraobjektiv verschmutzt ist oder dergleichen, aus dem Bild selbst bestimmt werden. Weil ein Zustand eines Körpers bestimmt werden kann, ohne auf Wischerbetätigungssignale oder erfasste Signale eines Regentropfensensors zu beruhen, gibt es daher keinen Bedarf, die durch diese Systeme erforderlichen Sensoren und dergleichen vorzusehen, was die Wirkung hat, dass die Kosten verringert werden und die Zuverlässigkeit der Körperzustandsbestimmung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die den Zustand eines Körpers korrekt bestimmt. Ferner kann im Gegensatz zu einem Fall, in dem der Zustand des Histogramms des gesamten Bilds verwendet wird, um Niederschlag zu bestimmen, der Zustand des Körpers direkt bestimmt werden, was die Wirkung hat, dass eine Fahrzeugumgebungs-Überwachungseinrichtung realisiert werden kann, die den Zustand eines Körpers präzise und genau bestimmen kann, ohne durch den Inhalt des Hintergrunds beeinträchtigt zu sein.
Weiterhin ist es möglich, die zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen bzw. Hilfsmittel zu erhöhen und eine genaue Bestimmung des Zustands des Körpers auf Grundlage der zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten zusätzlichen Ressourcen bzw. Hilfsmittel durchzuführen. Demzufolge wird eine Wirkung erhalten, dass die Zuverlässigkeit der Körperzustandsbestimmung, die durch die Körperzustands-Bestimmungseinrichtung durchgeführt wird, ferner verbessert wird und Bestimmungsfehler der Körperzustandsbestimmung, die durch die Körperzustands-Bestimmungseinrichtung durchgeführt wird, verhindert werden können.
Die Fußgängererkennungseinrichtung kann das Fußgängererkennungs-Verarbeitungsverfahren aus dem Bild selbst bestimmen und alleinige Fußgänger in einer stabilen Weise erkennen, indem sie das Fußgängererkennungs-Verarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung ändert. Weil der Zustand eines Körpers bestimmt werden kann, ohne auf Wischerbetätigungssignale oder erfasste Signale eines Regentropfensensors zu beruhen, gibt es demzufolge keinen Bedarf, die durch diese Systeme erforderten Sensoren und dergleichen vorzusehen, was einen Effekt hat, dass die Kosten verringert werden, die Zuverlässigkeit der Fußgängererkennung verbessert wird und eine Fahrzeugumgebungs-Überwachungseinrichtung realisiert werden kann, die einzelne Fußgänger in einer stabilen Weise erkennen kann. Weiterhin wird eine Wirkung erzielt, dass die Genauigkeit der Fußgängererkennung ungeachtet des Zustands des Körpers aufrechterhalten werden kann.
Die zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten Ressourcen bzw. Hilfsmittel können erhöht werden, was es ermöglicht, dass eine genaue Fußgängererkennung auf Grundlage der zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten zusätzlichen Ressourcen ausgeführt wird. Demzufolge wird eine Wirkung erzielt, dass die Zuverlässigkeit der Fußgängererkennung in der Fußgängererkennungseinrichtung ferner verbessert wird, wodurch Fußgängererkennungsfehler in der Fußgängererkennungseinrichtung verhindert werden.
Durch Auswählen der optimalen Merkmalsquantität eines Vergleichsobjekts in der Merkmalsquantitätvergleichseinrichtung auf Grundlage dessen, wie die Infrarotkameras angeordnet sind, kann demzufolge eine Wirkung erzielt werden, dass eine Fahrzeugumgebungs-Überwachungseinrichtung realisiert werden kann, die mit einer beliebigen Infrarotkameraanordnung kompatibel ist.
Es ist möglich, den Zustand eines Körpers, beispielsweise, ob der Körper durch Niederschlag beeinträchtigt ist oder ob das Kameraobjektiv verschmutzt ist, aus dem Bild selbst zu bestimmen. Weil der Zustand eines Körpers bestimmt werden kann, ohne auf Wischerbetätigungssignale oder erfasste Signale eines Regentropfensensors zu beruhen, gibt es demzufolge kein Erfordernis, die durch diese Systeme erforderten Sensoren und dergleichen vorzusehen, was einen Effekt erzielt, dass die Kosten verringert werden und die Zuverlässigkeit der Körperzustandsbestimmung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die den Zustand eines Körpers korrekt bestimmt. Weil der Zustand eines Körpers durch Vergleichen einer Merkmalsquantität, beispielsweise der Fläche jedes binärisierten Objekts, das unter Verwendung verschiedener Luninanzschwellenwerte binärisiert wurde, oder durch Vergleich einer Merkmalsquantität, nämlich der Fläche oder Höhe eines dem binärisierten Objekt entsprechenden umschriebenen Vierecks, gibt es keinen Bedarf, eine Verarbeitung zum Suchen des Graustufenbilds auszuführen, und dies verringert die Verarbeitungszeit.
Die zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten Ressourcen bzw. Hilfsmittel können erhöht werden, was es ermöglicht, dass eine genaue Körperzustandsbestimmung auf Grundlage der zur Beurteilung in der Körperzustands-Bestimmungseinrichtung verwendeten zusätzlichen Ressourcen bzw. Hilfsmittel möglich wird. Demzufolge kann eine Wirkung erreicht werden, dass die Zuverlässigkeit der durch die Körperzustands-Bestimmungseinrichtung durchgeführten Körperzustandsbestimmung ferner verbessert wird und Bestimmungsfehler der durch die Körperzustands-Bestimmungseinrichtung durchgeführten Zustandsbestimmung verhindert werden können.
Die Fußgängererkennungseinrichtung kann das Fußgängererkennungsverfahren aus dem Bild selbst bestimmen und Fußgänger allein in einer stabilen Weise erkennen, indem das Fußgängererkennungs-Verarbeitungsverfahren auf Grundlage der Vergleichsergebnisse der Merkmalsquantitäts-Vergleichseinrichtung verändert wird. Weil der Zustand eines Körpers bestimmt werden kann, ohne auf Wischerbetätigungssignale oder erfasste Signale eines Regentropfensensors zu beruhen, gibt es demzufolge keinen Bedarf, die durch diese Systeme erforderlichen Sensoren und dergleichen vorzusehen, was einen Effekt erzielt, dass Kosten verringert werden, die Zuverlässigkeit der Fußgängererkennung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die Fußgänger allein in einer stabilen Weise erkennt. Weil der Zustand eines Körpers durch Vergleichen einer Merkmalsquantität, nämlich der Fläche eines binärisierten Objekts, das unter Verwendung verschiedener Luminanz-Schwellenwerte binärisiert wurde, oder durch Vergleich einer Merkmalsquantität, nämlich der Fläche oder Höhe eines umschriebenen Vierecks, das dem binärisierten Objekt entspricht, bestimmt wird, gibt es keinen Bedarf, eine Verarbeitung zum Suchen des Graustufenbilds durchzuführen und dies verringert die Verarbeitungszeit.
Die zur Beurteilung in der Fußgängererkennungseinrichtung verwendeten Ressourcen bzw. Hilfsmittel können erhöht werden, wodurch es ermöglicht wird, dass eine genaue Fußgängererkennung auf Grundlage der zusätzlichen Ressourcen bzw. Hilfsmittel, die zur Beurteilung in der Fußgängererkennungseinrichtung verwendet werden, ermöglicht wird. Demzufolge wird eine Wirkung erzielt, dass die Zuverlässigkeit der Fußgängererkennung in der Fußgängererkennungseinrichtung ferner verbessert wird, wodurch Fußgängererkennungsfehler in der Fußgängererkennungseinrichtung verhindert werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das die Konstruktion einer Fahrzeugumgebungs-Überwachungseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das die Installationspositionen von Infrarotkameras, Sensoren und Anzeigen und dgl. am Fahrzeug in dieser Ausführungsform zeigt.
3 ist ein Flussdiagramm, das die Objekterfassungs- und Warnvorgänge bei der Fahrzeugumgebungs-Überwachungseinrichtung dieser Ausführungsform zeigt.
4A und 4B sind Diagramme, die ein durch die Infrarotkamera erhaltenes Graustufenbild (4A) und ein aus dem Graustufenbild erhaltenes binärisiertes Bild (4B) zeigen.
5 ist ein Diagramm, das die Form-Merkmalsquantität eines binärisierten Objekts zeigt.
6 ist ein Diagramm, das ein Verfahren zur Extrahierung eines Graustufenbilds und einer Merkmalsquantität des Graustufenobjekts zeigt.
7 ist ein Flussdiagramm, das die Niederschlagsbestimmungsverarbeitung in dieser Ausführungsform zeigt.
8 ist ein Flussdiagramm, das die Niederschlagsbestimmungsverarbeitung in dieser Ausführungsform zeigt.
9 ist ein Diagramm, das die Höhe des Graustufenobjekts und des binärisierten Objekts in einem Normalzustand und in einem durch Niederschlag beeinträchtigten Zustand zeigt.
10 ist ein Flussdiagramm, das eine Warnungsbestimmungsverarbeitung in dieser Ausführungsform zeigt.
11 ist ein Diagramm, das einen Fall zeigt, in dem sehr wahrscheinlich eine Kollision auftreten wird.
12 ist ein Diagramm, das die Klassifikation von Bereichen vor dem Fahrzeug zeigt.
13 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
14 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
15 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
16 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
17 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
18 ist ein Flussdiagramm, das die Fußgängerbestimmungsverarbeitung in dieser Ausführungsform zeigt.
19 ist ein Diagramm, das das Festlegen von Maskenbereichen in dieser Ausführungsform zeigt.
20A, 20B und 20C sind Diagramme, die die Luminanzdispersion bzw. Bildhelligkeitsstreuung des Maskenbereichs FLÄCHE3 zeigt, wenn das Objekt ein Teil eines Fußgängers (20A), ein ganzer Fußgänger (20B) oder eine Wand (20C) ist.
21 ist ein Diagramm, das die Objekterfassungs- und Warnvorgänge in einer Fahrzeugumgebungs-Überwachungseinrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
22 ist ein Diagramm, das die Objekterfassungs- und Warnvorgänge in einer Fahrzeugumgebungs-Überwachungseinrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
23 ist ein Diagramm, das ein Verfahren zum Suchen der binärisierten Objekte zeigt, das auf zwei Luminanz-Schwellenwerten für binärisierte Objekte, die Körpern in derselben Position entsprechen, beruht.
24 ist ein Flussdiagramm, das die Merkmalsquantitäts-Berechnungsverarbeitung für die binärisierten Objekte auf Grundlage der beiden Luminanz-Schwellenwerte in dieser Ausführungsform zeigt.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Es folgt eine Beschreibung einer Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen.
[Erste Ausführungsform]
(Gesamtkonstruktion)
1 ist ein Blockdiagramm, das die Konstruktion einer Fahrzeugumgebungs-Überwachungseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
In 1 bezeichnet das Bezugszeichen 1 eine Bildverarbeitungseinheit umfassend eine CPU (zentrale Prozessoreinheit), die die Fahrzeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform steuert/regelt und die mit zwei Infrarotkameras 2R, 2L verbunden ist, die Strahlung im fernen Infrarot erfassen, einen Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, einen Fahrzeuggeschwindigkeitssensor 4, der die Bewegungsgeschwindigkeit des Fahrzeugs (Fahrzeuggeschwindigkeit) erfasst, und einen Bremssensor 5, der Bremsenbetätigung erfasst. Demzufolge erfasst die Bildverarbeitungseinheit 1 sich bewegende Körper, wie Fußgänger oder Tiere vor dem Fahrzeug aus Infrarotbildern der Umgebung des Fahr zeugs und Signalen, die den Bewegungszustand des Fahrzeugs anzeigen, und emittiert eine Warnung, wenn eine Bestimmung gemacht wird, dass eine Kollision wahrscheinlich ist.
Ferner umfasst die Bildverarbeitungseinheit 1 ferner einen Lautsprecher 6, der eine Warnung durch Sprache emittiert, und eine geeignete Art einer Anzeigeeinrichtung 7 zum Anzeigen von Bildern, die durch die Infrarotkameras 2R und 2L aufgenommen wurden und zum Aufmerksammachen des Fahrers des Fahrzeugs auf Objekte, mit denen eine hohe Gefahr einer Kollision besteht, zum Beispiel eine in ein Messinstrument integrierte Anzeigeeinrichtung, bei der das Messinstrument den Bewegungszustand des aktuellen Fahrzeugs nummerisch wiedergibt, ein NAVI-Display, das an der Konsole des vorhandenen Fahrzeugs angebracht ist, oder ein HUD (Head-Up-Display bzw. projizierte Frontscheibenanzeige) 7a zum Anzeigen von Information, das hinter der vorderen Windschutzscheibe an einer Stelle angebracht ist, an der die Sicht des Fahrers nach vorne nicht gestört ist.
Die Bildverarbeitungseinheit 1 umfasst ferner einen A/D-Wandler, der analoge Eingangssignale in digitale Signale umwandelt, einen Bildspeicher, der digitalisierte Bildsignale speichert, eine CPU (zentrale Prozessoreinheit), die verschiedene arithmetische Verarbeitungsprozeduren durchführt, ein RAM (Arbeitsspeicher), der zur arithmetischen Verarbeitung verwendete Daten speichert, ein ROM (Nur-Lesespeicher), der durch die CPU ausgeführte Programme, Tabellen, Kennfelder und dergleichen speichert, sowie eine Ausgangsschaltung, die Treibersignale für die Lautsprecher 6 und Anzeigesignale für die Anzeigeeinrichtung 7 ausgibt. Die Bildverarbeitungseinheit 1 ist derart konstruiert, dass die Ausgangssignale der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Fahrzeuggeschwindigkeitssensors 4 und des Bremssensors 5 in die CPU nach Umwandlung in digitale Signale eingegeben werden.
Wie in 2 gezeigt ist, sind ferner zwei Infrarotkameras 2R und 2L an der Vorderseite des Fahrzeugs 10 an Stellen symmetrisch relativ zur Mittelachse des Fahrzeugs 10 in der Breitenrichtung angeordnet. Die optischen Achsen beider Kameras 2R und 2L sind parallel zueinander und beide Infrarotkameras 2R und 2L sind in derselben Höhe von der Straßenoberfläche aus befestigt. Eine Charakteristik der Infrarotkameras 2R und 2L ist es, dass der Ausgangssignalpegel (Luminanz bzw. Bildhelligkeit) ansteigt, wenn die Temperatur des Objekts ansteigt.
Weiterhin ist ein HUD 7a derart angeordnet, dass es die Bilder an einer Stelle auf der Frontscheibe des Fahrzeugs 10 anzeigt, an der das Sichtfeld des Fahrers nach vorne nicht beeinträchtigt ist.
Im Folgenden wird die Funktion dieser Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben.
(Objekterfassung/Alarmbetätigung)
3 ist ein Flussdiagramm, das die Vorgänge zum Erfassen von Objekten, wie Fußgängern, und zum Erzeugen eines Alarms in der Bildverarbeitungseinheit 1 der Fahrzeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform zeigt.
In 3 nimmt zunächst die Bildverarbeitungseinheit 1 die Infrarotbilder als die Ausgangssignale der Infrarotkameras 2R und 2L auf (Schritt S1), führt eine A/D-Umwandlung durch (Schritt S2) und speichert das Graustufenbild im Bildspeicher (Schritt S3). Hierbei nimmt die Infrarotkamera 2R das rechte Bild auf und die Infrarotkamera 2L nimmt das linke Bild auf. Weil im rechten Bild und im linken Bild dasselbe Objekt in der horizontalen Richtung auf dem Anzeigeschirm versetzt erscheint, ermöglicht ferner diese Verschiebung (Parallaxe) eine Berechnung des Abstands zu dem Objekt.
Wenn das Graustufenbild in Schritt S3 erhalten wird, wird das durch die Infrarotkamera 2R erhaltene Bild auf der rechten Seite als das Referenzbild zugeordnet, und eine Binärisierungsverarbeitung dieses Bildsignals wird durchgeführt, das heißt, Bereiche, die heller sind als ein Luminanz-Schwellenwert ITH werden auf "1" (weiß) gesetzt und dunklere Bereiche werden auf "0" (schwarz) gesetzt (Schritt S4).
4A zeigt ein durch die Infrarotkamera 2R erhaltenes Graustufenbild. Wenn das Bild binärisiert wird, wird das in 4B gezeigte Bild erhalten. Die durch die Rahmen P1 bis P4 eingeschlossenen Körper in 4B werden Objekten zugeordnet (hierin im Folgenden als "Bereiche mit großer Luminanz"), die auf dem Anzeigeschirm weiß erscheinen.
Wenn die aus den Infrarotbildern binärisierten Bilddaten erhalten werden, wird eine Verarbeitung durchgeführt, um die binärisierten Bilddaten in Lauflängendaten umzuwandeln (Schritt S5). Eine Linie der Lauflängendaten wird gebildet, indem durch die Binärisierungsverarbeitung bestimmte weiße Bereiche auf dem Pixelniveau gezeigt werden. Das heißt, die Breite jeder Linie in der y-Richtung ist ein Pixel, und die Länge der Lauflängenlinie in der x-Richtung entspricht der Gesamtlänge der die Linie bildenden Pixel.
Danach wird durch Markieren von Objekten aus den zu Lauflängendaten umgewandelten Bilddaten (Schritt S6) eine Verarbeitung zum Extrahieren von Objekten durchgeführt (Schritt S7). Mit anderen Worten, können durch Annehmen, dass ein Objekt vorhanden ist, wo Linien von Lauflängendaten in der y-Richtung überlappende Teile aufweisen, die Bereiche großer Luminanz P1 bis P4 in 4B als Objekte (binärisierte Objekte) extrahiert werden.
Wenn die Extraktion der binärisierten Objekte vollständig ist, werden als Nächstes der Schwerpunkt G, die Fläche S und das Seitenverhältnis ASPECT der umschriebenen Vierecke berechnet (Schritt S8).
Hierbei werden die Flächen S durch Addieren der Längen (Lauf [i] – 1) der Lauflängendaten (N Stücke von Lauflängendaten) für dasselbe Objekt berechnet, unter der Annahme, dass die Lauflängendaten des mit A bezeich neten Objekts (x[i], y[i], Lauf [i], A) (i = 0, 1, 2, ..., N – 1) sind. Ferner werden die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A durch Multiplizieren der Länge (Lauf [i] – 1) jedes Stücks von Lauflängendaten mit den Koordinaten x[i] oder y[i], Addieren der Multiplikationsprodukte für dasselbe Objekt und Dividieren des Ergebnisses durch die Fläche S berechnet.
Weiterhin wird das Seitenverhältnis ASPECT als das Verhältnis Dy/Dx der Länge Dy des umschriebenen Vierecks in der Vertikalrichtung zur Länge Dx in der Horizontalrichtung berechnet.
Da die Lauflängendaten durch eine Anzahl von Pixeln (Anzahl von Koordinaten) (= Lauf [i]) wiedergegeben werden, ist es notwendig, von der tatsächlichen Länge 1 zu subtrahieren (= Lauf [i] – 1). Ferner kann für den Schwerpunkt G der Schwerpunkt des umschriebenen Vierecks des Objekts eingesetzt werden.
Wenn der Schwerpunkt, die Fläche und das Seitenverhältnis für das umschriebene Viereck für das binärisierte Objekt berechnet wird, wird ein zeitliches Verfolgen des Objekts durchgeführt, d.h., dasselbe Objekt wird in jeder Abtastperiode erkannt (Schritt S9). Das zeitliche Verfolgen wird durchgeführt, um zu bestimmen, ob zwei zu einer Zeit k extrahierte Körper A und B, welche eine innerhalb einer Abtastperiode diskrete Analogzeit t ist, dieselben sind wie die Körper C und D, die zur diskreten Zeit (k + 1) extrahiert werden. Wenn bestimmt wird, dass die Körper A und B dieselben sind wie die Körper C und D, werden die Körper C und D als die Körper A und B ummarkiert, und das zeitliche Verfolgen wird durchgeführt.
Ferner werden die Koordinaten (des Schwerpunkts) für jedes der auf diese Weise verfolgten Objekte im Speicher als Zeitserien von Positionsdaten zur Verwendung bei späteren Berechnungen gespeichert.
Die in Schritt S4 bis S9 oben beschriebene Verarbeitung wird für das binärisierte Referenzbild (das rechte Bild in der vorliegenden Ausführungsform) ausgeführt.
Als Nächstes wird die durch den Fahrzeuggeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die durch den Gierratensensor 3 erfasste Gierrate YR gelesen, und durch Bilden des zeitlichen Integrals der Gierrate YR wird der Lenkwinkel θr des Fahrzeugs 10 berechnet (Schritt S10).
Andererseits wird parallel zu der Verarbeitung in Schritt S9 und Schritt 510 eine Verarbeitung zur Berechnung des Abstands z zwischen dem Objekt und dem Fahrzeug 10 in Schritt S11 bis Schritt S13 durchgeführt. Weil diese Berechnungen mehr Zeit erfordern als diejenigen in Schritt S9 und S10, werden die Berechnungen auf Grundlage einer längeren Zeitdauer ausgeführt als Schritt S9 und S10 (beispielsweise einer Zeitdauer, die ungefähr dreimal länger ist als die Zeitdauer für Schritt S1 bis S10).
Zunächst wird eines der in dem binärisierten Bild des Referenzbilds (rechtes Bild) verfolgten Objekte ausgewählt und als ein Suchbild R1 extrahiert (hier ist das Suchbild der gesamte Bereich, der durch das umschriebene Viereck eingeschlossen ist, und das umschriebene Viereck des Suchbilds wird als Objektrahmen bezeichnet) (Schritt S11).
Als Nächstes wird ein Suchbereich (hierin im Folgenden als ein "entsprechendes Bild" bezeichnet) zum Suchen des dem Suchbereich R1 entsprechenden Bildes im linken Bild festgesetzt und eine Korrelationsberechnung wird ausgeführt, um ein entsprechendes Bild R4 zu extrahieren (Schritt S12).
Insbesondere wird ein Suchbereich R2 im linken Bild nach Maßgabe der Vertex(bzw. Scheitel-)koordinaten des Suchbilds R1 gesetzt, ein Luminanzdifferenz-Summationswert C (a, b), der den Korrelationsgrad des Suchbilds R1 im Suchbereich R2 zeigt, wird berechnet und der Bereich, in dem dieser Summationswert C (a, b) am niedrigsten ist, wird als das entsprechende Bild extrahiert. Diese Korrelationsberechnung wird unter Verwendung des Grau stufenbilds, nicht des binärisierten Bilds, ausgeführt. Wenn für dasselbe Objekt Positionsdaten aus der Vergangenheit zur Verfügung stehen, wird ein Bereich R2a, der schmaler ist als der Suchbereich R2, auf Grundlage dieser Positionsdaten gesetzt.
Nach Maßgabe der Verarbeitung in Schritt S12 wird ein Suchbild R1 im Referenzbild (rechtes Bild) extrahiert und ein entsprechendes Bild R4 entsprechend demselben Objekt wird im linken Bild extrahiert, wobei die Positionen der Schwerpunkte sowohl des Suchbilds R1 als auch des entsprechenden Bildes R4 und die Parallaxe Δd (Anzahl von Pixeln) erhalten werden und der Abstand z zwischen dem Fahrzeug 10 und dem Objekt berechnet wird (Schritt S13).
Wenn die Berechnung des Lenkwinkels θr in Schritt S10 und die Berechnung des Abstands z zu dem Objekt vollständig sind, wird ferner eine Lenkwinkelkorrektur durchgeführt, um die Verschiebung des Objekts auf dem Schirm zu kompensieren, die durch Wenden des Fahrzeugs 10 verursacht wird (Schritt S14). Diese Lenkwinkelkorrekturverarbeitung dient zur Kompensation einer Verschiebung um Δx in der x-Richtung im Bereich des durch die Kamera aufgenommenen Bilds, wenn das Fahrzeug 10 sich um einen Winkel θr innerhalb einer Zeitdauer von der Zeit k zur Zeit (k + 1) lenkt.
Wenn die Lenkwinkelkorrektur vollständig ist, werden ferner die Koordinaten in dem Bild (x, y) und der Abstand z in reale Raumkoordinaten (X, Y, Z) umgewandelt (Schritt S15).
Wie in 2 gezeigt ist, sind hier die realen Raumkoordinaten (X, Y, Z) definiert durch Zuordnen der Mittelposition der Montageposition der Infrarotkameras 2R, 2L (die an dem Fahrzeug 10 befestigte Position) als Ursprung O, wie in der Figur gezeigt, und die Koordinaten im Bild sind als x (die Horizontalrichtung) und y (die Vertikalrichtung) definiert, wobei die Mitte des Bilds der Ursprung ist. In der folgenden Beschreibung werden die Koordinaten nach der Lenkwinkelkorrektur durch (X, Y, Z) wiedergegeben.
Wenn die Lenkwinkelkorrektur der realen Koordinaten vollständig ist, wird als Nächstes eine angenäherte gerade Linie LMV, die dem relativen Bewegungsvektor zwischen dem Objekt und dem Fahrzeug 10 entspricht, aus N (beispielsweise ist N = ungefähr 10) Stücken von realen Raumpositionsdaten bestimmt, d.h. Zeitseriendaten, die einer Lenkwinkelkorrektur unterzogen worden sind, die für dasselbe Objekt während einer Überwachungsszeitdauer ΔT erhalten worden sind.
Die am wenigsten zurücliegenden Koordinaten P(0) = (X(0), Y(0), Z(0)) und die Koordinaten P vor dem Aufnehmen (vor der Zeit ΔT) (N – 1) = (X(N – 1), (N – 1), Z(N – 1) werden zu den Positionen auf der ungefähr geraden Linie LMV korrigiert und die korrigierten Koordinaten Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)) werden bestimmt.
Diese Verarbeitung erhält den Relativbewegungsvektor als einen sich von den Koordinaten Pv(N – 1) zu den Koordinaten Pv(0) hin bewegenden Vektor (Schritt S16).
Durch Bestimmen eines Relativbewegungsvektors durch Berechnen einer ungefähren geraden Linie, die die Relativbewegungsspur des Objekts relativ zum Fahrzeug 10 aus einer Mehrzahl (N) von Datenstücken annähert, die innerhalb der Überwachungsperiode ΔT erhalten worden sind, ist es möglich, mit besserer Genauigkeit abzuschätzen, ob eine Möglichkeit einer Kollision mit einem Objekt besteht, wodurch der Effekt von Positionserfassungsfehlern verringert wird.
Nachdem der Relativbewegungsvektor erhalten wurde, wird ferner in Schritt S16 eine Warnungsbestimmungsverarbeitung ausgeführt, um die Möglichkeit einer Kollision mit dem erfassten Objekt zu bestimmen (Schritt S17). Details der Warnungsbestimmungsverarbeitung werden im Folgenden angegeben.
Wenn in Schritt S17 bestimmt wird, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Objekt besteht (NEIN in Schritt S17), kehrt der Ablauf zu Schritt S1 zurück und die oben beschriebene Verarbeitung wird wiederholt.
Wenn in Schritt S17 bestimmt wird, dass eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Objekt besteht (JA in Schritt S17), geht weiterhin der Ablauf zur Warnungsausgabe-Bestimmungsverarbeitung in Schritt S18 weiter.
In Schritt S18 wird durch Bestimmen aus der Ausgabe BR des Bremssensors 5, ob der Fahrer des Fahrzeugs 10 die Bremse betätigt, die Warnungsausgabeverarbeitung durchgeführt, d.h. es wird bestimmt, ob eine Warnung ausgegeben werden soll (Schritt S18).
Wenn der Fahrer des Fahrzeugs 10 die Bremse betätigt, wird ein durch die Bremsbetätigung erzeugter Beschleunigungsgrad Gs (positiv in der Verzögerungsrichtung) berechnet, und wenn dieser Beschleunigungsgrad Gs oberhalb einer vorbestimmten Schwelle GTH liegt, wird bestimmt, dass die Kollision durch die Bremsbetätigung vermieden werden kann und die Warnungsausgabe-Bestimmungsverarbeitung endet (NEIN in Schritt S18), der Ablauf kehrt zu Schritt S1 zurück und die oben beschriebene Verarbeitung wird wiederholt.
Es ist daher möglich, zu verhindern, dass eine Warnung ausgegeben wird, wenn eine geeignete Bremsbetätigung stattfindet, wodurch eine unnötige Störung des Fahrers vermieden wird.
Wenn der Beschleunigungsgrad Gs unterhalb der vorbestimmten Schwelle GTH liegt oder der Fahrer die Bremse nicht betätigt, geht der Ablauf sofort weiter zur Verarbeitung in Schritt S19 (JA in Schritt S18), und weil eine große Wahrscheinlichkeit einer Kollision mit dem Objekt besteht, wird über die Lautsprecher 6 ein Alarm ausgegeben (Schritt S19), und beispielsweise wird das durch die Infrarotkamera 2R erhaltene Bild ausgegeben und für den Fahrer des Fahrzeugs 10 angezeigt, wodurch das sich nähernde Objekt hervorgehoben wird (Schritt S20).
Der vorbestimmte Schwellenwert GTH ist ein Wert, der einer Beschleunigung entspricht, die dazu führen würde, dass das Fahrzeug 10 nach einem Fahrabstand weniger als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10 anhält, wenn der Beschleunigungsgrad Gs während der Bremsbetätigung aufrechterhalten bleibt.
Bei der Bildverarbeitungseinheit 1 der Fahrzeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform wird eine Niederschlagsbestimmungsverarbeitung parallel zur Verarbeitung von Schritt S9 bis Schritt S16 durchgeführt (Schritt S21). Diese Niederschlagsbestimmungsverarbeitung bestimmt, ob Körper in der Fahrzeugumgebung durch Niederschlag beeinträchtigt wurden und nass geworden sind, und wird verwendet, um den Betriebsmodus der Fußgängerbestimmungsverarbeitung zu bestimmen, die Teil der unten beschriebenen Warnungsbestimmungsverarbeitung ist. Das für die Fußgängerbestimmungsverarbeitung in der unten beschriebenen Warnungsbestimmungsverarbeitung verwendete Verarbeitungsverfahren wird nach Maßgabe des gewählten Betriebsmodus gewechselt.
Die Niederschlagsbestimmungsverarbeitung, die Warnungsbestimmungsverarbeitung und die Fußgängerbestimmungsverarbeitung werden im Detail in dieser Reihenfolge unten beschrieben.
(Merkmalsquantitäts-Berechnungsverfahren)
Vor einer Beschreibung der Details der Niederschlagsbestimmungsverarbeitung, der Warnungsbestimmungsverarbeitung und der Fußgängerbestimmungsverarbeitung soll zunächst das bei der Verarbeitung verwendete Verfahren der Berechnung einer Merkmalsquantität des binärisierten Objekts oder einer Merkmalsquantität des Objekts (Graustufenobjekt) im dem ex trahierten binärisierten Objekt entsprechenden Graustufenbild in konkreten Ausdrücken beschrieben werden.
Zunächst wird die Form-Merkmalsquantität des binärisierten Objekts, die die Eigenschaften der Form des binärisierten Objekts im realen Raum beschreibt, berechnet unter Verwendung des in Schritt S8 in dem in 3 gezeigten Flussdiagramm berechneten Schwerpunkts G (xc, yc) (der Schwerpunkt G100 des in 5 gezeigten binärisierten Objekts), der Fläche S (die Fläche S101 des in 5 gezeigten binärisierten Objekts), des Seitenverhältnisses ASPECT des umschriebenen Vierecks des Objekts, des Abstands z zwischen dem Fahrzeug 10 und dem in Schritt S13 berechneten Objekt, der Werte der Höhe hb und der Breite wb des umschriebenen Quadrats des in 5 gezeigten binärisierten Objekts und der Koordinaten (xb, yb) des Schwerpunkts des umschriebenen Vierecks (des Schwerpunkts 102 des in 5 gezeigten umschriebenen Vierecks) sowie wie der Basislänge D [m] der Kamera, der Brennweite f [m] der Kamera, der Pixelteilung p [m/Pixel], sowie der Parallaxe Δd [Pixel], die durch eine Korrelationsberechnung des linken und des rechten Bildes berechnet wurde.
Insbesondere wird das Verhältnis Rate der Fläche des umschriebenen Vierecks zu derjenigen der Objektfläche ausgedrückt als Rate = S/(hb × wb) (1)
Asp, welches das Seitenverhältnis ASPECT des umschriebenen Vierecks anzeigt, wird ausgedrückt als Asp = hb/wb (2)und der Abstand z zwischen dem Fahrzeug 10 und dem Objekt wird ausgedrückt als z = (f × D)/(Δd × p) (3) und daher kann die Breite ΔWb und Höhe ΔHb des binärisierten Objekts im realen Raum wie folgt berechnet werden: ΔWb = wb × z × p/fΔHb = hb × z × p/f (4)
Die Koordinaten (Xc, Yc, Zc) des Schwerpunkts des binärisierten Objekts können wie folgt berechnet werden: Xc = xb × z × p/fYc = yc × z × p/fZc = z (5)
Die Koordinaten (Xb, Yb, Zb) des Schwerpunkts des umschriebenen Vierecks des Objekts können wie folgt berechnet werden: Xb = xb × z × p/fYb = yb × z × p/fZb = z (6)und die Koordinaten (Xt, Yt, Zt) der oberen Position des binärisierten Objekts können wie folgt berechnet werden: Xt = xb × z × p/fYt = yb × z × p/f – ΔHb/2Zt = z (7)
Ferner wird die Höhe, die eine Merkmalsquantität des Graustufenbilds ist, in der unten beschriebenen Weise berechnet.
Wie in 6 gezeigt ist, wird insbesondere eine Mehrzahl von rechteckigen Maskenbereichen (bezeichnet als MASK [I], wobei I = 0, 1, 2, ...), wobei die Größe im realen Raum W [m] × H [m] ist und die Maskenbereichsgröße auf dem Bildschirm Wp [Pixel] × Hp [Pixel] ist, in einer Reihe von der Oberseite des umschriebenen Quadrates des binärisierten Objekts im in Schritt S3 erhaltenen Graustufenbild gesetzt, und der Bereich, der die Maskenbereiche enthält, welche die unten beschriebenen Bedingungen 1 bis 3 erfüllen, (beispielsweise die als WAHR in 6 bestimmten Maskenbereiche), wird als der Bereich des Graustufenobjekts extrahiert.

Bedingung 1: Es gibt einen großen Betrag von Luminanzvariation innerhalb des Maskenbereichs (der Bereich enthält sowohl ein Objekt als auch ein Hintergrundbild).
Bedingung 2: Es gibt einen hohen Korrelationsgrad im Maskenbereich zwischen dem linken und dem rechten Bild (es gibt nicht mehr als ein Objekt innerhalb des Maskenbereichs).
Bedingung 3: Der Abstand (Parallaxe) ist derselbe wie für das binärisierte Objekt.

Die Höhe auf dem Bildschirm Höhe (Pixel) des Bereichs des Graustufenobjekts wird berechnet und die Höhe ΔHg des Graustufenobjekts wird dann unter Verwendung der folgenden Gleichung (8) berechnet: ΔHg = z × Höhe × p/f (8)
(Niederschlagsbestimmungsverarbeitung)
Im Folgenden wird die Niederschlagsbestimmungsverarbeitung in Schritt S21 des in 3 gezeigten Flussdiagramms detaillierter beschrieben unter Bezugnahme auf die Flussdiagramme, die in 7 und 8 gezeigt sind. Diese Flussdiagramme zeigen die Funktion der Niederschlagsbestimmungsverarbeitung bei der vorliegenden Ausführungsform, wobei die bei der Bestimmung des Vorhandenseins von Niederschlag für eine Mehrzahl von Bildrahmen und Auswählen des Betriebsmodus der Fußgängerbestimmungsverarbeitung auf Grundlage der durch dieses Verfahren erhaltenen Resultate angezeigt werden.
In 7 extrahiert die Bildverarbeitungseinheit 1 zunächst willkürliche N1 binärisierte Objekte (wobei N1 eine ganze Zahl ist, beispielsweise jeder Körper auf dem Schirm) aus einem einzelnen Rahmen (Schritt S31).
Darauf werden die Variable I und die Variable C auf "null" gesetzt (Schritt S32).
Die Höhe des Graustufenobjekts, die einem der durch das oben skizzierte Verfahren extrahierten binärisierten Objekte entspricht, wird dann berechnet (Schritt S33).
Danach wird bestimmt, ob der Absolutwert der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts kleiner ist als ein vorbestimmter Wert ΔH (Schritt S34).
Anders ausgedrückt: Obwohl es normalerweise möglich ist, zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts zu unterscheiden, wie in 9(1) gezeigt ist, tendiert dann, wenn das Bild durch Niederschlag beeinträchtigt ist, wie in 9(2) gezeigt ist, die beispielsweise durch auf der Kameralinse befindliche Regentropfen, Wasserdampf oder Regentropfen in der Luft oder Feuchtigkeit verursachte Wirkung auf den Zustand des Körpers dazu, den Unterschied zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts zu eliminieren (das Graustufenobjekt und das binärisierte Objekt sind gleich). Durch Vergleichen des Unterschieds zwischen der Höhe ΔHb des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts mit dem vorbestimmten Wert ΔH ist es demzufolge möglich, zwischen einem Zustand, in dem die Fahrzeugumgebung und die Kamera normal sind, und einem Zustand, in dem die Fahrzeugumgebung und die Kamera durch Niederschlag beeinträchtigt sind (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), zu unterscheiden. Alternativ kann der Wert der Höhe ΔHb des binärisierten Objekts bei der unten beschriebenen Fußgängerbestimmungsverarbeitung berechnet werden oder gemeinsam mit der Höhe des Graustufenobjekts in Schritt S33 berechnet werden.
Wenn in Schritt S34 der Absolutwert |ΔHg – ΔHb| der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts geringer ist als der vorbestimmte Wert ΔH (JA in Schritt S34), dann erhöht die Bildverarbeitungseinheit 1 die Variable C um 1, und die Anzahl von binärisierten Objekten, für die der Absolutwert |ΔHg – ΔHb| der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts kleiner ist als der vorbestimmte Wert ΔH, wird gezählt als binärisierte Objekte, die wahrscheinlich durch Niederschlag beeinträchtigt sind (Schritt S35).
Nachfolgend wird die Variable I um 1 erhöht (Schritt S36).
Wenn in Schritt S34 der Absolutwert |ΔHg – ΔHb| der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts größer als der vorbestimmte Wert ΔH oder gleich dem vorbestimmten Wert ΔH ist (NEIN in Schritt S34), schreitet der Ablauf ferner zu Schritt S36 fort, und die Bildverarbeitungseinheit 1 erhöht die Variable I um 1 (Schritt S36).
Es wird dann bestimmt, ob die Variable I die Gesamtzahl N1 von binärisierten Objekten erreicht oder überschritten hat (Schritt S37), und wenn die Variable I kleiner ist als die Gesamtzahl N1 von binärisierten Objekten (NEIN in Schritt S37), geht der Ablauf zurück zu Schritt S33 und die Bildverarbeitungseinheit 1 berechnet die Höhe des Graustufenobjekts entsprechend dem nächsten extrahierten binärisierten Objekt und wiederholt die oben beschriebene Verarbeitung.
Wenn andererseits in Schritt S37 die Variable I größer als die Gesamtzahl N1 oder gleich der Gesamtzahl N1 von binärisierten Objekten ist (JA in Schritt S37), wird eine Bestimmung gemacht, ob das Verhältnis [C/N1] der Variablen C zur Gesamtzahl N1 von binärisierten Objekten, d.h. das Verhältnis [C/N1] der Gesamtzahl C von binärisierten Objekten, bei denen der Absolutwert |ΔHg – ΔHb| der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts kleiner ist als der vorbestimmte Wert ΔH, zur Gesamtzahl N1 von binärisierten Objekten, größer ist als ein vorbestimmter Wert X1 (Schritt S38).
Wenn in Schritt S38 bestimmt wird, dass das Verhältnis [C/N1] der Anzahl von binärisierten Objekten C, bei denen der Absolutwert der Höhendifferenz geringer ist als der vorbestimmte Wert ΔH, zur Gesamtzahl N1 von binärisierten Objekten größer ist als der vorbestimmte Wert X1 (JA in Schritt S38), wird der betreffende Bildrahmen als durch Niederschlag beeinträchtigt bestimmt und das Flag F[0], das den Zustand des letzten Bildrahmens wiedergibt, wird auf [1] gesetzt (Schritt S39).
Wenn andererseits in Schritt S38 bestimmt wird, dass das Verhältnis [C/N1] der Anzahl von binärisierten Objekten C, bei denen der Absolutwert der Höhendifferenz geringer ist als der vorbestimmte Wert ΔH, zur Gesamtanzahl von binärisierten Objekten N1 geringer als der vorbestimmte Wert X1 oder gleich dem vorbestimmten Wert X1 ist (NEIN in Schritt S38), wird der betreffende Bildrahmen als ein normaler Rahmen bestimmt, und das Flag F[0], das den Zustand des letzten Rahmens wiedergibt, wird auf [0] gesetzt (Schritt S40).
Die Verarbeitung in Schritt S31 bis Schritt S40 oben wird auf einen einzelnen Rahmen angewendet. Um Information darüber zu erhalten, ob in der Vergangenheit Bildrahmen für eine Mehrzahl von Rahmen durch Niederschlag beeinträchtigt waren oder normale Bildrahmen waren, setzt die Bildverarbeitungseinheit 1 die Variablen J und K auf "null" (Schritt S41).
Es wird dann bestimmt, ob das Flag F[J], das den Zustand des durch die Variable J spezifizierten Bildrahmens anzeigt, "1" ist (Schritt S42).
Wenn in Schritt S42 das Flag F[J], das den Zustand des durch die Variable J spezifizierten Bildrahmens anzeigt, "1" ist (JA in Schritt S42), erhöht die Bildverarbeitungseinheit die Variable K um "1" (Schritt S43).
Danach wird die Variable J um "1" erhöht (Schritt S44).
Wenn in Schritt S42 das Flag F[J], das den Zustand des durch die Variable J spezifizierten Bildrahmens anzeigt, "0" ist (NEIN in Schritt S42), geht der Ablauf ferner weiter zu Schritt S44 und die Bildverarbeitungseinheit 1 erhöht lediglich die Variable J um "1" (Schritt S44).
Dann wird eine Bestimmung gemacht, ob die Variable J gleich dem vorbestimmten Wert M oder größer als der vorbestimmte Wert M, der die gesamte Anzahl von Bildrahmen zur Bestimmung bezeichnet, geworden ist (Schritt S45), und wenn die Variable J kleiner ist als der vorbestimmte Wert M, der die Gesamtzahl von Bildrahmen zur Bestimmung anzeigt (NEIN in Schritt S45), geht der Ablauf zurück zu Schritt S42 und die Bildverarbeitungseinheit 1 führt die Bestimmung an dem Flag F[J], das den Zustand des nächsten durch die Variable J spezifizierten Bildrahmens anzeigt, durch und die oben beschriebene Verarbeitung wird wiederholt.
Wenn andererseits in Schritt S45 die Variable J gleich dem vorbestimmten Wert M oder größer als der vorbestimmte Wert M, der die gesamte Anzahl von Bildrahmen zur Bestimmung anzeigt, geworden ist (JA in Schritt S45), geht die Bildverarbeitungseinheit 1 weiter zu Schritt S46 in 8 und eine Bestimmung wird gemacht, ob das Verhältnis [K/M] der Variablen K zur Gesamtzahl von Bildrahmen M, d.h. das Verhältnis [K/M] der Anzahl K von als durch Niederschlag beeinträchtigt bestimmten Bildrahmen zur Gesamtanzahl von Bildrahmen M, größer ist als ein vorbestimmter Wert Y (Schrift S46).
Wenn in Schritt S46 das Verhältnis [K/M] der als durch Niederschlag beeinträchtigt bestimmten Bildrahmen K zur Gesamtzahl von Bildrahmen M größer als der vorbestimmte Wert Y ist (JA in Schritt S46), wird der Betriebsmodus der Fußgängerbestimmungsverarbeitung als der Niederschlagsmodus bestimmt, und das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmung anzeigt, wird auf "1" gesetzt (Schritt S47).
Wenn andererseits in Schritt S46 der Anteil [K/M] der Anzahl von als durch Niederschlag beeinträchtigten bestimmten Bildrahmen K zur Gesamtanzahl von Bildrahmen M geringer als der vorbestimmte Wert oder gleich dem vorbestimmten Wert ist (NEIN in Schritt S46), wird der Betriebsmodus der Fußgängerbestimmungsverarbeitung als der Normalmodus bestimmt, und das Flag "Niederschlags_Flag", welches den Betriebsmodus der Fußgängerbestimmungsverarbeitung anzeigt, wird auf "0" gesetzt (Schritt S48).
Nachdem die Niederschlagsbestimmung für eine Mehrzahl von Bildrahmen wie oben beschrieben durchgeführt wurde und der Betriebsmodus der Fußgängerbestimmungsverarbeitung auf Grundlage der erhaltenen Resultate dieser Niederschlagsbestimmung ausgewählt wurde, setzt die Bildverarbeitungseinheit 1 dann die Variable J auf einen Wert, der um eins niedriger ist als die Gesamtzahl von Bildrahmen M (Schritt S49), kopiert die Inhalte des Flags F[J – 1] in das Flag F[J], was den Zustand des durch die Variable J spezifizierten Bildrahmens anzeigt (Schritt S50) und verringert die Variable J um "1" (Schritt S51).
Es wird dann bestimmt, ob die Variable J größer als "0" ist (Schritt S52), und wenn die Variable J größer als "0" ist (JA in Schritt S52), kehrt der Ablauf zurück zu Schritt S50 und die oben beschriebene Verarbeitung wird wiederholt.
Wenn andererseits in Schritt S52 die Variable J niedriger als "0" oder gleich "0" ist (NEIN in Schritt S52), wird die Niederschlagsbestimmungsverarbeitung beendet. Anders ausgedrückt, werden durch die Verarbeitung in Schritt S49 bis Schritt S52 die Inhalte der Flags, die den Zustand der Bildrahmen anzeigen, nacheinander verschoben, bis das Flag F[0], das den Zustand des letzten Bildrahmens anzeigt, leer ist.
(Alternativmodus der Niederschlagsbestimmungsverarbeitung in der ersten Ausführungsform)
In der Verarbeitung von Schritt S31 bis Schritt S52, die in 7 und 8 gezeigt sind, wurden Schritte beschrieben, bei denen zur Verbesserung der Robustheit des Systems eine Niederschlagsbestimmung für eine Mehrzahl von Bildrahmen durchgeführt wurde, und der Betriebsmodus der Fußgängerbestimmungsverarbeitung auf Grundlage der erhaltenen Resultate gewählt wird. Um jedoch die Schritte in der Verarbeitung zu vereinfachen, kann der Betriebsmodus der Niederschlagsbestimmungsverarbeitung auf Grundlage der Ergebnisse eines einzelnen Bildrahmens anstelle der Verwendung der für eine Mehrzahl von Bildrahmen erhaltenen Ergebnisse gewählt werden. Insbesondere geht dann, wenn in dem in 7 gezeigten Schritt S38 das Verhältnis [C/N1] der Variablen C zur Gesamtzahl N1 von binärisierten Objekten, d.h. das Verhältnis [C/N1] der Anzahl von binärisierten Objekten C, in denen der Absolutwert der Höhendifferenz geringer ist als der vorbestimmte Wert ΔH, zur Gesamtzahl N1 von binärisierten Objekten, größer ist als der vorbestimmte Wert X1 (JA in Schritt S38), die Bildverarbeitungseinheit 1 weiter zu Schritt S47, bestimmt, dass der Betriebsmodus der Fußgängerbestimmungsverarbeitung der Niederschlagsmodus sein soll und setzt das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung anzeigt, auf "1".
Wenn weiterhin in Schritt S38 das Verhältnis [C/N1] der Anzahl von binärisierten Objekten C, bei denen der Absolutwert der Höhendifferenz geringer ist als der vorbestimmte Wert ΔH, zur Gesamtzahl N1 von binärisierten Objekten, niedriger als der vorbestimmte Wert X1 oder gleich dem vorbestimmten Wert X1 ist (NEIN in Schritt S38), schreitet die Bildverarbeitungseinheit 1 weiter zu Schritt S48 und bestimmt, dass der Betriebsmodus der Fußgängerbestimmungsverarbeitung der Normalmodus sein soll und setzt das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung anzeigt, auf "0".
Wenn die Ergebnisse der Bestimmung des Zustands eines einzelnen Bildrahmens verwendet werden, um den Betriebsmodus der Fußgängerbestim mungsverarbeitung festzusetzen, anstelle der Verwendung von Resultaten, die für eine Mehrzahl von Bildrahmen erhalten wurden, ist es nicht erforderlich, die nachfolgende Verarbeitung zum Erhalten der Bestimmungsinhalte der Mehrzahl von Bildrahmen auszuführen, die in Schritt S39 bis Schritt S46 und Schritt S49 bis Schritt S52 ausgeführt werden.
(Warnungsbestimmungsverarbeitung)
Im Folgenden wird die Warnungsbestimmungsverarbeitung in Schritt S17 in 3 detaillierter unter Bezugnahme auf das in 10 gezeigte Flussdiagramm beschrieben.
10 ist ein Flussdiagramm, das die Funktion der Warnungsbestimmungsverarbeitung der vorliegenden Ausführungsform zeigt.
Die Warnungsbestimmungsverarbeitung bestimmt die Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und einem erfassten Objekt auf Grundlage der Kollisionsbestimmungsverarbeitung, der Verarbeitung zur Bestimmung, ob ein Objekt sich in einem Annäherungsbestimmungsbereich befindet, einer Eindringkollisionsbestimmungsverarbeitung, der Fußgängerbestimmungsverarbeitung und einer Prozedur zur Bestimmung einer künstlich hergestellten Struktur, die im Folgenden beschrieben werden. Die folgende Beschreibung verwendet Beispiel, wie in 11 gezeigt, bei dem ein Objekt 20 sich zu dem Fahrzeug mit einer Geschwindigkeit Vp aus einem Winkel von im Wesentlichen 90° relativ zur Bewegungsrichtung des Fahrzeugs 10 hin bewegt.
In 10 führt zunächst die Bildverarbeitungseinheit 1 eine Kollisionsbestimmungsverarbeitung aus (Schritt S61). Diese Kollisionsbestimmungsverarbeitung berechnet die Relativgeschwindigkeit des Fahrzeugs 10 und des Objekts 20 in der Z-Richtung, wenn das Objekt 20 sich aus einem Abstand von Zv (N – 1) bis auf einen Abstand von Zv (0) während einer Zeitdauer ΔT wie in 11 nähert, und bestimmt unter der Annahme, dass die Höhe bei der niedriger ist als H und die Relativgeschwindigkeit Vs beibehalten wird, ob die beiden innerhalb der verbleibenden Zeit T miteinander kollidieren werden. Hierbei soll die Vorgabezeit T eine Bestimmung der Möglichkeit einer Kollision im Voraus zur geschätzten Kollisionszeit um eine Zeitlänge T ermöglichen. Demzufolge kann die Vorgabezeit T beispielsweise auf ungefähr 2 bis 5 Sekunden gesetzt werden. Ferner ist H eine vorbestimmte Höhe, die den Bereich der Höhenrichtung definiert, und wird beispielsweise auf ungefähr zweimal die Höhe des Fahrzeugs 10 gesetzt.
Wenn in Schritt S61 eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Vorgabezeit T besteht (JA in Schritt S61), bestimmt als Nächstes die Bildverarbeitungseinheit 1 zur weiteren Verbesserung der Zuverlässigkeit der Bestimmung, ob das Objekt sich innerhalb eines Annäherungsbestimmungsbereichs befindet (Schritt S62). In dieser Bestimmungsverarbeitung, ob das Objekt sich innerhalb eines Annäherungsbestimmungsbereichs befindet, wird, wie in 12 gezeigt ist, ein Bereich der durch die Infrarotkameras 2R und 2L überwacht werden kann, als der äußere Dreiecksbereich AR0 definiert, der durch die fette durchgezogene Linie gezeichnet ist, und die Verarbeitung bestimmt, ob das Objekt sich innerhalb eines Bereichs AR1 innerhalb des Bereichs AR0 befindet, der näher zum Fahrzeug 10 als Z1 = Vs × T liegt und dem entspricht, wo das Objekt sich innerhalb eines Bereichs befindet, für den eine Zugabe von β (beispielsweise ungefähr 50 bis 100 cm) zu beiden Seiten der Breite α des Fahrzeugs 10 addiert wurde, und der ein Annäherungsbestimmungsbereich AR1 ist, in dem eine hohe Wahrscheinlichkeit dafür vorhanden ist, dass eine Kollision mit dem Fahrzeug 10 auftritt, wenn das Objekt an dieser Stelle bleibt. Der Annäherungsbestimmungsbereich AR1 besitzt auch eine vorbestimmte Höhe H.
Wenn in Schritt S62 das Objekt nicht innerhalb des Annäherungsbestimmungsbereichs vorhanden ist (NEIN in Schritt S62), führt die Bildverarbeitungseinheit 1 weiterhin eine Eindringkollisionsbestimmungsverarbeitung durch, um zu bestimmen, ob eine Möglichkeit besteht, dass das Objekt in den Annäherungsbestimmungsbereich eintritt und mit dem Fahrzeug 10 kollidiert (Schritt S63). Diese Eindringkollisionsbestimmungsverarbeitung nimmt die Bereiche AR2 und AR3 als Eindringbestimmungsbereiche an, für die der Absolutwert der X-Koordinate größer ist als der des oben beschriebenen Annäherungsbestimmungsbereichs AR1 (in der äußeren Querrichtung des Annäherungsbestimmungsbereichs) und bestimmt, ob die Objekte innerhalb dieser Bereiche sich in den Annäherungsbestimmungsbereich AR1 bewegen werden und mit dem Fahrzeug 10 kollidieren werden. Diese Eindringbestimmungsbereiche AR2 und AR3 besitzen ebenfalls dieselbe vorbestimmte Höhe H.
Wenn in Schritt S62 andererseits das Objekt sich innerhalb des Annäherungsbestimmungsbereichs befindet (JA in Schritt S62), führt die Bildverarbeitungseinheit 1 eine Fußgängerbestimmungsverarbeitung aus, um zu bestimmen, ob das Objekt ein Fußgänger sein kann (Schritt S64). Die Fußgängerbestimmungsverarbeitung wird im Folgenden im Detail beschrieben.
Wenn in Schritt S64 ferner bestimmt wird, dass das Objekt ein Fußgänger sein kann (JA in Schritt S64), wird zur weiteren Verbesserung der Zuverlässigkeit der Bestimmung eine Bestimmung einer künstlich hergestellten Struktur durchgeführt, um zu bestimmen, ob das Objekt eine künstlich hergestellte Struktur ist (Schritt S65). Diese Verarbeitung zur Bestimmung einer künstlich hergestellten Struktur bestimmt, dass das Objekt eine künstlich hergestellte Struktur ist und schließt das Objekt aus einer Warnungsbestimmung aus, wenn bestimmte Eigenschaften wie die unten genannten in dem Objekt aufgefunden werden, was bedeutet, dass das Objekt kein Fußgänger sein kann:

(1) einige Teile des Bilds des Objekts besitzen gerade Ränder,
(2) einige Winkel im Bild des Objekts sind rechte Winkel,
(3) dieselbe Form tritt mehrere Male in dem Bild des Objekts auf,
(4) das Bild des Objekts stimmt mit einer registrierten Form einer künstlich hergestellten Struktur überein.

Wenn in Schritt S63 eine Möglichkeit, dass das Objekt in den Annäherungsbestimmungsbereich eintritt und mit dem Fahrzeug 10 kollidiert, besteht (JA in Schritt S63), und in Schritt S65 bestimmt wird, dass das möglicherweise einen Fußgänger darstellende Objekt keine künstlich hergestellte Struktur ist (NEIN in Schritt S65), bestimmt die Bildverarbeitungseinheit 1 demzufolge, dass eine Möglichkeit besteht, dass des Fahrzeug 10 mit dem erfassten Objekt zusammenstößt (eine Warnung gerechtfertigt ist) (Schritt S66). Da dies bedeutet, dass Schritt S17 in 3 JA ist, geht der Ablauf weiter zu Schritt S18 und eine Warnungsausgabebestimmungsverarbeitung wird durchgeführt (Schritt S18).
Wenn andererseits in Schritt S61 keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Vorgabezeit T besteht (NEIN in Schritt S61), oder in Schritt S63 keine Möglichkeit besteht, dass das Objekt in den Annäherungsbestimmungsbereich eindringt und mit dem Fahrzeug 10 zusammenstößt (NEIN in Schritt S63) oder in Schritt S64 eine Bestimmung gemacht wurde, dass das Objekt kein Fußgänger sein kann (NEIN in Schritt S64) oder wenn das als möglicherweise ein Fußgänger bestimmte Objekt in Schritt S65 eine künstlich hergestellte Struktur ist (JA in Schritt S65), bestimmt die Bildverarbeitungseinheit 1, dass keine Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht (eine Warnung nicht gerechtfertigt ist) (Schritt S67). Dies bedeutet, dass Schritt S17 in 3 NEIN ist, der Ablauf kehrt zurück zu Schritt S1 und die Erfassung eines Objekts (beispielsweise eines Fußgängers) und Warnfunktionen werden wiederholt.
(Fußgängerbestimmungsverarbeitung)
Im Folgenden wird die Fußgängerbestimmungsverarbeitung in Schritt S64 des in 10 gezeigten Flussdiagramms detaillierter unter Bezugnahme auf 13 bis 18 beschrieben. Diese sind Flussdiagramme, die die Funktion der Fußgängerbestimmungsverarbeitung für die vorliegende Ausfüh rungsform zeigen. Das Verarbeitungsverfahren der Fußgängerbestimmungsverarbeitung ändert sich nach Maßgabe des Betriebsmodus, der durch die Niederschlagsbestimmungsverarbeitung gewählt wurde.
Insbesondere berechnet in 13 die Bildverarbeitungseinheit 1 zunächst die Form-Merkmalsquantität des binärisierten Objekts, die die Eigenschaften der Form des binärisierten Objekts im realen Raum anzeigt (Schritt S71).
Wenn die Form-Merkmalsquantität des binärisierten Objekts berechnet wird, wird ferner bestimmt, ob die Umgebung des Fahrzeugs sich in einem durch Niederschlag beeinträchtigten Zustand befindet, indem bestimmt wird, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S72).
Wenn in Schritt S72 die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt ist (NEIN in Schritt S72), berechnet die Bildverarbeitungseinheit 1 die Höhe des Graustufenbilds, das dem durch Verwendung der oben beschriebenen Verfahren extrahierten binärisierten Objekt entspricht (Schritt S73).
Wie in 19 gezeigt ist, wird ferner der Bereich, den das Graustufenobjekt auf dem Schirm einnimmt, als FLÄCHE0 angenommen, Maskenbereiche FLÄCHE1, FLÄCHE2 und FLÄCHE3 werden innerhalb der FLÄCHE0 festgesetzt und die durchschnittliche Luminanz und Luminanzvariation (Dispersion bzw. Streuung) wird für jede Maske berechnet (Schritt S74). Hier wird als durchschnittliche Luminanz von FLÄCHE1 Ave_A1 angenommen, die Luminanzdispersion von FLÄCHE2 wird als Var_A2 angenommen und die Luminanzdispersion von FLÄCHE3 wird als Var_A3 angenommen. In der folgenden Bearbeitung wird FLÄCHE1 benutzt, um das Vorhandensein des Kopfs des Objekts zu bestimmen, FLÄCHE2 wird benutzt, um das Vorhandensein des Rumpfs des Objekts zu bestimmen, und FLÄCHE3 wird verwendet, um zu bestimmen, ob eine Änderung der Form des Kopfs zum unteren Körper vorhanden ist. Ferner wird FLÄCHE3 verwendet, um das Objekt als einen Fußgänger zu identifizieren, wenn ein Teil des durch den Binärisierungs- Prozess extrahierten Objekts ein Wärmereservoir ist, etwa eine Wand, die von einer externen Quelle empfangene Wärme speichert, aber nicht selbst Wärme emittiert, und eine einheitliche Luminanzvariation zeigt. 19 zeigt einen durch die Kameras in der Form eines Musters eingefangenen Fußgänger, wobei die diagonal schraffierten Bereiche die Teile des durch Binärisierung eingefangenen Objekts sind, und die durch die gestrichelten Linien eingeschlossenen Bereiche Teile des Objekts sind, die durch die Binärisierung nicht eingefangen wurden, aber welche als Körper gegenüber dem Hintergrund im Graustufenbild erkannt werden könnten. Ferner sind die Abmessungen jedes in 19 gezeigten Teils ein Beispiel der Abmessungen jedes Teils im realen Raum.
Wenn die Maskenbereiche FLÄCHE1, FLÄCHE2 und FLÄCHE3 festgesetzt sind, werden die Fußgängerbestimmung auf Grundlage der Form des binärisierten Objekts wie unten gezeigt und die Fußgängerbestimmung unter Verwendung der Luminanzdispersion jedes der Maskenbereiche des Graustufenbilds durchgeführt.
Zuerst bestimmt die Bildverarbeitungseinheit 1, ob die Höhe, Breite, vorhandene Höhe, durchschnittliche Luminanz und Luminanzdispersion des binärisierten Objekts sich innerhalb eines für einen Fußgänger geeigneten Bereichs befindet.
Insbesondere wird zur Erfassung von Fußgängern bestimmt, ob die Breite ΔWb des binärisierten Objekts oberhalb der Schwelle TH1 und unterhalb der Schwelle TH2 liegt (für einen Fußgänger geeignete Werte) (Schritt S75).
Wenn in Schritt S72 die Umgebung des Fahrzeugs als durch Niederschlag beeinträchtigt bestimmt wird (JA in Schritt S72), wird ferner die Berechnung der Höhe des Objekts im Graustufenbild und das Festsetzen der Maskenbereiche FLÄCHE1, FLÄCHE2 und FLÄCHE3 in Schritt S73 und Schritt S74 nicht durchgeführt, der Ablauf geht weiter zu Schritt S75, und um Fußgänger zu erfassen, wird eine Bestimmung gemacht, ob die Breite ΔWb des binä risierten Objekts oberhalb der Schwelle TH1 und unterhalb der Schwelle TH2 liegt (Schritt S75).
Wenn in Schritt S75 die Breite ΔWb des binärisierten Objekts größer als die Schwelle TH1 oder gleich der Schwelle TH1 ist und niedriger als die Schwelle TH2 oder gleich der Schwelle TH2 ist (JA in Schritt S75), wird bestimmt, ob die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist, indem bestimmt wird, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S76).
Wenn in Schritt S76 bestimmt wird, dass die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt ist (NEIN in Schritt S76), wird dann eine Bestimmung gemacht, ob die Höhe ΔHb des binärisierten Objekts niedriger als ein Schwellenwert TH3 ist (ein für die Höhe eines Fußgängers geeigneter Wert) und die Höhe ΔHg des Graustufenobjekts niedriger ist als ein Schwellenwert TH4 (ein für die Höhe eines Fußgängers geeigneter Wert) (Schritt S77).
Wenn andererseits in Schritt S76 bestimmt wird, dass die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist (JA in Schritt S76), dann wird eine Bestimmung gemacht, ob die Höhe ΔHb des binärisierten Objekts niedriger als ein Schwellenwert TH3 ist (ein für die Höhe eines Fußgängers geeigneter Wert) (Schritt S78).
Wenn in Schritt S77 die Höhe ΔHb des binärisierten Objekts niedriger als der Schwellenwert TH3 ist (ein für die Höhe eines Fußgängers geeigneter Wert) und die Höhe ΔHg des Graustufenobjekts niedriger als der Schwellenwert TH4 ist (JA in Schritt S77) oder in Schritt S78 die Höhe ΔHb des binärisierten Objekts niedriger als der Schwellenwert TH3 ist (JA in Schritt S78), dann wird eine Bestimmung gemacht, ob die höchste Position Yt des Objekts von der Straßenfläche niedriger als ein Schwellenwert TH5 (ein für die Höhe eines Fußgängers geeigneter Wert) ist (Schritt S79).
Wenn in Schritt S79 die höchste Position Yt des Objekts von der Straßenflä che niedriger als ein Schwellenwert TH5 ist (JA in Schritt S79), wird eine Bestimmung gemacht, ob die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist, indem bestimmt wird, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S80).
Wenn in Schritt S80 bestimmt wird, dass die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt ist (NEIN in Schritt S80), wird eine Bestimmung gemacht, ob die Luminanzdispersion Var_A3 des Maskenbereichs FLÄCHE3 größer als ein Schwellenwert TH6 ist (Schritt S81). Diese Verarbeitung wird beschrieben unter Verwendung eines Diagramms, das die Luminanzdispersion des Maskenbereichs FLÄCHE3 unter Verwendung von Beispielen in 20 zeigt, wobei das Objekt Teil eines Fußgängers ist, ein ganzer Fußgänger ist oder eine Wand ist.
Insbesondere gibt es unter der Annahme, dass die Breite des Maskenbereichs FLÄCHE3 die Breite des binärisierten Objekts ist, falls, wie in 20A gezeigt ist, lediglich der Kopf des Fußgängers durch den Binärisierungsprozess extrahiert wird, eine Differenz der Luminanz zwischen dem Kopf und dem unteren Körperteil. Wenn ferner wenigstens der obere Körper oder der gesamte Körper des Fußgängers durch den Binärisierungsprozess extrahiert wird, wie in 20B gezeigt ist, tritt eine Differenz der Luminanz zwischen dem Fußgänger und dem Hintergrund auf. Andererseits tritt in dem Fall eines Objekts, wie einer Wand, bei dem kaum eine Differenz der Temperatur über das Gesamtobjekt hinweg auftritt, wie in 20C gezeigt, eine lediglich geringe Differenz der Luminanz zwischen den Teilen auf, die durch die Binärisierung extrahiert wurden, und denjenigen, die nicht extrahiert wurden, und das Objekt wird aus geraden Linien gebildet und ist wie FLÄCHE3 geformt. Demzufolge besitzt die Luminanzdispersion Var_A3 von FLÄCHE3 einen hohen Wert im Fall eines Fußgängers und einen niedrigen Wert im Fall eines Objekts wie einer Wand.
Demzufolge wird in Schritt S81 bestimmt, ob das Objekt ein Fußgänger ist durch Bestimmen, ob die Luminanzdispersion Var_A3 des Maskenbereichs FLÄCHE3 größer als der Schwellenwert TH6 ist.
Wenn in Schritt S81 weiterhin die Luminanzdispersion Var_A3 des Maskenbereichs FLÄCHE3 größer als der Schwellenwert TH6 ist (JA in Schritt S81), wird eine Fußgängerbestimmung auf Grundlage der Variation der Form des Objekts über die Zeit hinweg durchgeführt.
Insbesondere ist es für ein als ein Fußgänger anzusehendes binärisiertes Objekt nicht wahrscheinlich, dass eine große Variation der Form des binärisierten Objekts über die Zeit hinweg auftritt. Demzufolge kann eine Bestimmung gemacht werden, ob die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate von Rate, was das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts ist, geringer ist als ein Schwellenwert TH7 innerhalb einer definierten Zeit (Schritt S82).
Wenn ferner in Schritt S80 eine Bestimmung gemacht wird, dass die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist (JA in Schritt S80), wird die Bestimmung der Luminanzdispersion Var_A3 des Maskenbereichs FLÄCHE3 in Schritt S81 nicht durchgeführt, der Ablauf geht weiter zu Schritt S82 und eine Bestimmung wird gemacht, ob die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate von Rate, der das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts ist, niedriger als ein Schwellenwert TH7 innerhalb einer definierten Zeitdauer ist (Schritt S82).
Wenn andererseits in Schritt S75 die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH1 ist oder größer als TH2 ist (NEIN in Schritt S75) oder in Schritt S77 die Höhe ΔHb des binärisierten Objekts größer als der Schwellenwert TH3 oder gleich dem der Schwellenwert TH3 ist oder die Höhe ΔHg des Graustufenobjekts größer als der Schwellenwert TH4 oder gleich dem Schwellenwert TH4 ist (NEIN in Schritt S77), oder in Schritt S78 die Höhe ΔHb des binärisierten Objekts größer als der Schwel lenwert TH3 oder gleich dem Schwellenwert TH3 ist (NEIN in Schritt S78) oder in Schritt S79 die höchste Position Yt des Objekts von der Straßenoberfläche größer als der Schwellenwert TH5 oder gleich dem Schwellenwert TH5 ist (NEIN in Schritt S79), dann wird bestimmt, dass das Objekt kein Fußgänger ist (Schritt S83) und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 in 10 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
In derselben Weise wird dann, wenn in Schritt S81 die Luminanzdispersion Var_A3 des Maskenbereichs FLÄCHE3 niedriger als der Schwellenwert TH6 oder gleich dem Schwellenwert TH6 ist (NEIN in Schritt S81), oder in Schritt S82 die Differenz zwischen dem Maximalwert Max_Rate und Minimalwert Min_Rate von Rate, was das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts innerhalb einer definierten Zeitdauer ist, größer als der Schwellenwert TH7 oder gleich dem Schwellenwert TH7 ist (NEIN in Schritt S82), bestimmt, dass das Objekt kein Fußgänger ist (Schritt S83) und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 in 10 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
Wenn ferner in Schritt 882 die Differenz zwischen dem Maximalwert Max_Rate und Minimalwert Min_Rate von Rate, was das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts innerhalb einer definierten Zeitdauer ist, niedriger ist als der Schwellenwert TH7 (JA in Schritt S82), dann führt nachfolgend die Bildverarbeitungseinheit 1 eine detailliertere Fußgängerbestimmung für jede der Formen, die das extrahierte Objekt bilden, aus.
Insbesondere wird in 14 zunächst bestimmt, ob die höchste Position Yt des Objekts von der Straßenoberfläche größer als ein Schwellenwert TH8 ist (ein Wert, der geeignet ist, um eine Unterscheidung zwischen dem oberen Körper und dem unteren Körper eines Fußgängers zu ermöglichen) (Schritt S84).
Wenn in Schritt S84 die höchste Position Yt des Objekts von der Straßenoberfläche geringer als ein Schwellenwert TH8 oder gleich einem Schwellenwert TH8 ist (NEIN in Schritt S84), wird zur Bestimmung, ob das Objekt der untere Körper eines Fußgängers ist oder ein Fußgänger in einer sitzenden Stellung ist, eine Bestimmung gemacht, ob die Breite ΔWb des binärisierten Objekts niedriger als ein Schwellenwert TH9 oder gleich einem Schwellenwert TH9 ist (einem Wert, der für die Breite des Rumpfs eines Fußgängers geeignet ist) (Schritt S85).
14 zeigt die in der Verarbeitung enthaltenen Schritte, wenn die Binärisierungsverarbeitung den unteren Körper eines Fußgängers extrahiert und die Bearbeitung zur Identifizierung eines Fußgängers in einer sitzenden Stellung. Wenn in Schritt S85 die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH9 oder gleich dem Schwellenwert TH9 ist (JA in Schritt S85), wird eine Bestimmung gemacht, ob die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist durch Bestimmen, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S86).
Wenn in Schritt S86 die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt ist (NEIN in Schritt S86), dann wird zur Bestimmung, ob das Objekt ein Fußgänger in einer sitzenden Stellung ist, bestimmt, ob die Höhe ΔHg des Graustufenobjekts niedriger als ein Schwellenwert TH10 (ein für die Höhe eines Fußgängers geeigneter Wert) ist (Schritt S87).
Wenn in Schritt S87 die Höhe ΔHg des Graustufenobjekts größer als ein Schwellenwert TH10 oder gleich einem Schwellenwert TH10 ist (NEIN in Schritt S87), wird angenommen, dass das Objekt dem Rumpf oder unteren Körper eines Fußgängers entspricht, und zur Bestimmung, ob ein Kopf oberhalb des Objekts vorhanden ist oder nicht, wird dann bestimmt, ob die durchschnittliche Luminanz Ave_A1 des oberen Maskenbereichs FLÄCHE1 in 19 größer als ein Schwellenwert T11 ist (Schritt S88).
Wenn in Schritt S88 die durchschnittliche Luminanz Ave_A1 des oberen Maskenbereichs FLÄCHE1 größer als der Schwellenwert T11 ist (JA in Schritt S88), wird aufgrunddessen, dass in einigen Fällen der Effekt von Kleidung auf den Rumpf des Körpers zu einem niedrigen Pegel von abgestrahlter Wärme führt, bestimmt, ob für Objekte mit Luminanzmustern im Graustufenbild die Luminanzdispersion Var_A des Maskenbereichs FLÄCHE2 größer ist als der Schwellenwert TH18 (Schritt S89).
Wenn in Schritt S89 die Luminanzdispersion Var_A des Maskenbereichs FLÄCHE2 größer als der Schwellenwert TH18 ist (JA in Schritt S89), wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S90), und die Fußgängerbestimmungsverarbeitung wird beendet, und da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65 und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn in Schritt S86 die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist (JA in Schritt S86), wird die Maskenbereichsbestimmung in Schritt S87 bis Schritt S89 nicht durchgeführt, der Ablauf geht weiter zu Schritt S90, es wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt 90) und die Fußgängerbestimmungsverarbeitung wird beendet, und da dies bedeutet, dass Schritt S64 in Fig. JA ist, geht der Ablauf weiter zu Schritt S65 und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn andererseits in Schritt S85 die Breite ΔWb des binärisierten Objekts größer als der Schwellenwert TH9 ist (NEIN in Schritt S85) oder in Schritt S88 die durchschnittliche Luminanz Ave_A1 des oberen Maskenbereichs FLÄCHE1 geringer als der Schwellenwert T11 oder gleich dem Schwellenwert T11 ist (NEIN in Schritt S88) oder in Schritt S89 die Luminanzdispersion Var_A2 des Maskenbereichs FLÄCHE2 geringer als ein Schwellenwert TH18 oder gleich einem Schwellenwert TH18 ist (NEIN in Schritt S89), wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S91), und da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt 867 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
Wenn in Schritt S87 die Höhe ΔHg des Graustufenobjekts geringer ist als der Schwellenwert TH10 (JA in Schritt S87), wird angenommen, dass das Objekt ein Fußgänger in einer sitzenden Stellung ist, und es wird bestimmt, ob die höchste Position Yt des binärisierten Objekts von der Straßenoberfläche größer als ein Schwellenwert TH12 ist (ein zur Unterscheidung zwischen einem sitzenden Fußgänger und einem stehenden Fußgänger geeigneter Wert) (Schritt S92).
Wenn in Schritt S92 die höchste Position Yt des binärisierten Objekts von der Straßenoberfläche größer als der Schwellenwert TH12 ist (JA in Schritt S92), wird bestimmt, ob Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, größer als ein Schwellenwert TH13 oder gleich einem Schwellenwert TH13 ist und niedriger als ein Schwellenwert TH14 oder gleich einem Schwellenwert TH14 ist (für einen Fußgänger geeignete Werte) (Schritt S93).
Wenn in Schritt S93 Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, größer als ein Schwellenwert TH13 oder gleich einem Schwellenwert TH13 ist und geringer als ein Schwellenwert TH14 oder gleich einem Schwellenwert TH14 ist (JA in Schritt S93), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt 102 des umschriebenen Vierecks und dem Schwerpunkt G100 des binärisierten Objekts im realen Raum, ausgedrückt durch Gleichung (9), geringer als ein Schwellenwert TH15 ist (ein für einen Fußgänger geeigneter Wert) (Schritt S94). Dis_c = QUADRATWURZEL((Xb – Xc)2 + (Yb – Yc)2) (9)
Wenn in Schritt S94 der Abstand Dis_c nicht geringer als der Schwellenwert TH15 ist (JA in Schritt S94), wird, weil beispielsweise Objekte, bei denen ΔWb geringer oder gleich 1,0 m ist und ΔHg geringer als 1,0 m ist, auch andere Objekte als Fußgänger sein könnten, einschließlich insbesondere den Frontteilen von Fahrzeugen und dergleichen, eine Bestimmung gemacht, ob ein Teil im oberen Masekenbereich FLÄCHE1 des binärisierten Objekts vorhanden ist, der einen hohen Korrelationsgrad zu einem vorregistrierten Kopfmuster aufweist (Schritt S95).
Wenn in Schritt S95 ein Teil im oberen Maskenbereich FLÄCHE1 des binärisierten Objekts existiert, der einen hohen Korrelationsgrad mit einem vorregistrierten Kopfmuster aufweist (JA in Schritt S95), wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S90) und die Fußgängerbestimmungsverarbeitung wird beendet, und da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65 und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn andererseits in Schritt S92 die höchste Position Yt des binärisierten Objekts von der Straßenoberfläche geringer als der Schwellenwert TH12 oder gleich dem Schwellenwert TH12 ist (NEIN in Schritt S92) oder in Schritt S93 Asp, welches das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, geringer als der Schwellenwert TH13 ist oder größer als ein Schwellenwert TH14 ist (NEIN in Schritt S93) oder in Schritt S94 der Abstand Dis_c größer als der Schwellenwert TH15 oder gleich dem Schwellenwert TH15 ist (NEIN in Schritt S94) oder in Schritt S95 kein Teil in dem oberen Maskenbereich FLÄCHE1 des binärisierten Objekts existiert, der einen hohen Korrelationsgrad mit einem vorbestimmten Kopfmuster aufweist (NEIN in Schritt S95), wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S91), und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 in 10 und eine Bestimmung wird gemacht, dass das Objekt keine Warnung rechtfertigt.
Ferner geht in Schritt S84 in 14 dann, wenn die höchste Position Yt des binärisierten Objekts von der Straßenoberfläche aus größer als der Schwellenwert TH8 ist (ein geeigneter Wert, um es zu ermöglichen, dass der obere Körper und der untere Körper eines Fußgängers unterschieden wird) (JA in Schritt S84), der Ablauf weiter zu Schritt S96 in 15 und es wird bestimmt, ob die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist, indem bestimmt wird, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S96).
Wenn in Schritt S96 bestimmt wird, dass die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt wird (NEIN in Schritt S96), dann wird zur Bestimmung, ob das Objekt ein in Luft aufgehängter Körper ist (beispielsweise ein gekrümmter Spiegel), eine Bestimmung gemacht, ob die Höhe ΔHg des Graustufenobjekts größer als ein Schwellenwert TH16 ist (derselbe Wert wie der oben genannte Schwellenwert TH8) (Schritt S97).
15 zeigt die bei der Verarbeitung zur Identifizierung eines Fußgängers, dessen Kopf oder oberer Körper durch die Binärisierungsverarbeitung extrahiert wurde, involvierten Schritte. Wenn in Schritt S97 die Höhe ΔHg des Graustufenobjekts größer ist als der Schwellenwert TH16 (JA in Schritt S97), ist das Objekt kein in Luft aufgehängter Körper und daher wird dann bestimmt, ob ein Kopf auf der Oberseite des Objektbereichs (FLÄCHE0) vorhanden ist, oder ob dort ein Rumpf vorhanden ist. Insbesondere wird bestimmt, ob die durchschnittliche Luminanz Ave_A1 des Maskenbereichs FLÄCHE1 größer als ein Schwellenwert TH17 ist, weil ein Kopf exponiert ist (Schritt S98).
Wenn in Schritt S98 die durchschnittliche Luminanz Ave_A1 des Maskenbereichs FLÄCHE1 größer als der Schwellenwert TH17 ist (JA in Schritt S98), wird, weil in einigen Fällen der Effekt der Bekleidung am Rumpf des Fußgängers zu einem geringen Pegel abgestrahlter Wärme führt, dann bestimmt, ob für Objekte mit Luminanzmustern auf dem Graustufenbild die Luminanzdispersion Var_A2 des Maskenbereichs FLÄCHE2 größer ist als der Schwellenwert TH18 (Schritt S99).
Wenn in Schritt S99 ferner die Luminanzdispersion Var_A2 des Maskenbereichs FLÄCHE2 größer als der Schwellenwert TH18 ist (JA in Schritt S99), wird zunächst zur Identifizierung eines Fußgängers, dessen Kopf oder oberer Körper durch die Binärisierungsverarbeitung extrahiert wurde, bestimmt, ob die Breite ΔWb des binärisierten Objekts geringer als ein Schwellenwert TH19 oder gleich einem Schwellenwert TH19 ist (einem als eine Breite geeigneten Wert, der es ermöglicht, dass zwischen dem Kopf oder oberen Körper eines Fußgängers unterschieden wird) (Schritt S100).
Wenn ferner in Schritt S96 bestimmt wird, dass die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist (JA in Schritt S96), wird die Maskenbereichsbestimmung in Schritt S97 bis S99 nicht durchgeführt, der Ablauf geht zu Schritt S100 weiter und zur Identifizierung eines Fußgängers, dessen Kopf oder oberer Körper durch die Binärisierungsverarbeitung extrahiert wurde, wird bestimmt, ob die Breite ΔWb des binärisierten Objekts geringer als der Schwellenwert TH19 oder gleich dem Schwellenwert TH19 ist (Schritt S100).
Wenn in Schritt S100 die Breite ΔWb des binärisierten Objekts größer als der Schwellenwert TH19 ist (NEIN in Schritt S100), wird zur Identifizierung von Fußgängern, deren gesamter Körper oder wenigstens oberer Körper durch die Binärisierungsverarbeitung extrahiert wurde, dann bestimmt, ob die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH19 oder gleich dem Schwellenwert TH9 ist (einem für die Rumpfbreite eines Fußgängers geeigneten Wert) (Schritt S101).
Weiterhin wird dann, wenn in Schritt S101 die Breite ΔWb des binärisierten Objekts größer als der Schwellenwert TH9 ist (NEIN in Schritt S101), zur Bestimmung, ob eine Mehrzahl von Fußgängern parallel zueinander laufen, bestimmt, ob die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH2 oder gleich dem Schwellenwert TH2 ist (einem für die Breite eines Rumpfs eines Fußgängers geeigneten Wert) (Schritt S102).
Ferner wird bei den obigen Bestimmungen dann, wenn in Schritt S97 die Höhe ΔHg des Graustufenobjekts niedriger als der Schwellenwert TH16 oder gleich dem Schwellenwert TH16 ist (NEIN in Schritt S97), in Schritt S98 die durchschnittliche Luminanz Ave_A1 des Maskenbereichs FLÄCHE1 niedriger als der Schwellenwert TH17 oder gleich dem Schwellenwert TH17 ist (NEIN in Schritt S98) oder in Schritt S99 die Luminanzdispersion Var_A2 des Maskenbereichs FLÄCHE2 niedriger als der Schwellenwert TH18 oder gleich dem Schwellenwert TH18 ist (NEIN in Schritt S99), oder in Schritt S102 die Breite ΔWb des binärisierten Objekts größer als der Schwellenwert TH2 ist (NEIN in Schritt S102), bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S103), und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht die Verarbeitung weiter zu Schritt S67 in 10 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
Wenn andererseits in Schritt S100 die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH19 oder gleich dem Schwellenwert TH19 ist (JA in Schritt S100), wird unter der Annahme, dass das Objekt der Kopf oder obere Körper eines Fußgängers ist, der durch die Binärisierungsverarbeitung extrahiert wurde, weiter zu Schritt S104 in 16, und es wird bestimmt, ob Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, größer als ein Schwellenwert T20 oder gleich einem Schwellenwert TH20 ist und niedriger als ein Schwellenwert TH21 oder gleich einem Schwellenwert TH21 ist (Werten, die für den Kopf oder oberen Körper eines Fußgängers geeignet sind) (Schritt S104).
16 zeigt die bei der Verarbeitung zur Identifizierung eines Fußgängers, dessen Kopf oder oberer Körper durch die Binärisierungsverarbeitung extrahiert wurde, involvierten Schritte, und wenn in Schritt S104 Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, größer als ein Schwellenwert TH20 oder gleich einem Schwellenwert TH20 ist und niedriger als ein Schwellenwert TH21 oder gleich einem Schwellenwert TH21 ist (JA in Schritt S104), dann wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt 102 des umschriebenen Vierecks und dem Schwerpunkt G100 des binärisierten Objekts im realen Raum wie oben genannt niedriger ist als der Schwellenwert TH15 (Schritt S105).
Wenn in Schritt S105 der Abstand Dis_c niedriger ist als der Schwellenwert TH15 (JA in Schritt S105), wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S106), und die Fußgängerbestimmungsverarbeitung wird beendet, und da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65 in 10 und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn andererseits in Schritt S104 Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, niedriger als der Schwellenwert TH20 oder größer als der Schwellenwert TH21 ist (NEIN in Schritt S104) oder in Schritt S105 der Abstand Dis_c größer als der Schwellenwert TH15 oder gleich dem Schwellenwert TH15 ist (NEIN in Schritt S105), dann wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S107) und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 in 10 und es wird bestimmt, dass das Objekt keine Warnung gerechtfertigt.
Wenn ferner in Schritt S101 in 15 die Breite ΔWb des binärisierten Objekts niedriger als der Schwellenwert TH9 oder gleich dem Schwellenwert TH9 ist (JA in Schritt S101), dann wird unter der Annahme, dass das Objekt der gesamte oder wenigstens der obere Körper eines Fußgängers ist, der durch die Binärisierungsverarbeitung extrahiert wurde, weiter zu Schritt S108 in 17 und es wird bestimmt, ob Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, größer als ein Schwellenwert TH13 oder gleich einem Schwellenwert TH13 ist und niedriger als ein Schwellenwert TH21 oder gleich einem Schwellen wert TH21 ist (Werte, die für den gesamten oder oberen Körper eines Fußgängers geeignet sind) (Schritt S108).
17 zeigt die Schritte, die in der Verarbeitung zur Identifizierung eines Fußgängers involviert sind, dessen oberer Körper oder gesamter Körper durch die Binärisierungsverarbeitung extrahiert wurde, und wenn in Schritt Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, größer als ein Schwellenwert TH13 oder gleich einem Schwellenwert TH13 ist und niedriger als ein Schwellenwert TH21 oder gleich einem Schwellenwert TH21 ist (JA in Schritt S108), wird bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt 102 des umschriebenen Vierecks und dem Schwerpunkt G100 des binärisierten Objekts im realen Raum wie oben genannt niedriger als der Schwellenwert TH15 ist (Schritt S109).
Wenn in Schritt S109 der Abstand Dis_c niedriger als der Schwellenwert TH15 ist (JA in Schritt S109), dann wird eine Bestimmung gemacht, ob die Umgebung des Fahrzeugs 10 durch Niederschlag beeinträchtigt ist, indem bestimmt wird, ob das Flag "Niederschlags_Flag" "1" ist (Schritt S110).
Wenn in Schritt S110 die Umgebung des Fahrzeugs 10 nicht durch Niederschlag beeinträchtigt ist (NEIN in Schritt S110), wird, weil Objekte andere Objekte als Fußgänger umfassen können, beispielsweise die vorderen Teile von Fahrzeugen und dergleichen, bestimmt, ob ein Teil in dem oberen Maskenbereich FLÄCHE1 des binärisierten Objekts, der einen hohen Korrelationsgrad mit dem vorregistrierten Kopfmuster aufweist, vorhanden ist (Schritt S111).
Wenn in Schritt S111 ein Teil des oberen Maskenbereichs FLÄCHE1 des binärisierten Objekts, der einen hohen Korrelationsgrad mit dem vorregistrierten Kopfmuster aufweist (JA in Schritt S111), vorhanden ist, wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S112) und die Fußgängerbestimmungsverarbeitung wird beendet, und da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65 in 10 und eine Bestimmung für eine künstlich hergestellte Struktur wird durchgeführt.
Wenn in Schritt S110 ferner die Umgebung des Fahrzeugs durch Niederschlag beeinträchtigt ist (JA in Schritt S110), wird die Maskenbereichsbestimmung in Schritt S111 nicht durchgeführt und der Ablauf geht weiter zu Schritt S112, es wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S112) und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65, und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn andererseits in Schritt S118 Asp, das das Seitenverhältnis APSECT des umschriebenen Vierecks des binärisierten Objekts wiedergibt, niedriger als der Schwellenwert TH13 oder größer als der Schwellenwert TH21 ist (NEIN in Schritt S108) oder in Schritt S109 der Abstand Dis_c größer als der Schwellenwert TH15 oder gleich dem Schwellenwert TH15 ist (NEIN in Schritt S109) oder in Schritt S111 der obere Maskenbereich FLÄCHE1 des binärisierten Objekts keinen Teil enthält, der einen hohen Korrelationsgrad mit dem vorregistrierten Kopfmuster aufweist (NEIN in Schritt S111), dann wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S113), und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 in 10 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
Wenn ferner in Schritt S102 in 15 die Breite ΔWb des binärisierten Objekts geringer als der Schwellenwert TH2 oder gleich dem Schwellenwert TH2 ist (JA in Schritt S102), dann umfasst das Objekt eine Mehrzahl von Fußgängern, die parallel zueinander laufen, und eine Beurteilung wird dahingehend gemacht, dass das umschriebene Viereck des Objekts einen großen Hintergrundbereich umfasst, wobei der Ablauf zu Schritt S114 weiter geht und bestimmt wird, ob Rate, das das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts innerhalb einer vorbestimmten Zeitperiode niedriger als ein Schwellenwert TH22 ist (Schritt S114).
18 zeigt die Schritte, die bei der Verarbeitung für einen Fall involviert sind, in dem eine Mehrzahl von Fußgängern parallel zueinander laufen, und in Schritt S114 wird dann, wenn Rate, was das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts innerhalb einer definierten Zeitperiode ist, niedriger als ein Schwellenwert TH22 ist (JA in Schritt S114), bestimmt, ob Asp, was das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, größer als ein Schwellenwert TH23 oder gleich einem Schwellenwert TH23 ist und niedriger als der Schwellenwert TH14 oder gleich dem Schwellenwert TH14 ist (Werte, die zur Beurteilung von parallel laufenden Fußgängern geeignet sind) (Schritt S115).
Wenn in Schritt S115 Asp, was das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, größer als ein Schwellenwert TH23 oder gleich einem Schwellenwert TH23 ist und niedriger als der Schwellenwert TH14 oder gleich dem Schwellenwert TH14 ist (JA in Schritt S115), bestimmt, ob der Abstand Dis_c zwischen dem Schwerpunkt 102 des umschriebenen Vierecks und dem Schwerpunkt G100 des binärisierten Objekts im realen Raum, der oben genannt ist, niedriger als der Schwellenwert TH15 ist (Schritt S116).
Wenn in Schritt S116 der Abstand Disc_c niedriger als der Schwellenwert TH15 ist (JA in Schritt S116), wird bestimmt, dass das erfasste Objekt ein Fußgänger ist (Schritt S117), und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 JA ist, geht der Ablauf weiter zu Schritt S65, und eine Bestimmung einer künstlich hergestellten Struktur wird durchgeführt.
Wenn andererseits in Schritt S114 Rate, was das Verhältnis der Fläche des umschriebenen Vierecks zur Fläche des binärisierten Objekts innerhalb einer definierten Zeitperiode ist, größer als der Schwellenwert TH22 oder gleich dem Schwellenwert TH22 ist (NEIN in Schritt S114) oder in Schritt S115 Asp, was das Seitenverhältnis APSECT des umschriebenen Vierecks wiedergibt, niedriger als der Schwellenwert TH23 oder größer als der Schwellenwert TH14 ist (NEIN in Schritt S115) oder in Schritt S116 der Abstand Dis_c größer als der Schwellenwert TH15 oder gleich dem Schwellenwert TH15 ist (NEIN in Schritt S116), dann wird bestimmt, dass das erfasste Objekt kein Fußgänger ist (Schritt S118) und die Fußgängerbestimmungsverarbeitung wird beendet. Da dies bedeutet, dass Schritt S64 in 10 NEIN ist, geht der Ablauf weiter zu Schritt S67 und es wird bestimmt, dass das Objekt keine Warnung rechtfertigt.
Bei der obigen Ausführungsform wurde eine Unterscheidung gemacht zwischen einem Zustand, in dem die Körper der Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L in einem Normalzustand sind und in einem Zustand sind, in dem sie durch Niederschlag beeinträchtigt werden (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), indem der Unterschied zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts mit einem vorbestimmten Schwellenwert ΔH verglichen wurde, aber dies gilt auch in einem Fall, wie er in 2 gezeigt ist, in dem die beiden Infrarotkameras 2R und 2L Seite an Seite an der Vorderseite des Fahrzeugs in symmetrischen Positionen relativ zur Zentralachse des Fahrzeugs 10 in der Breitenrichtung angeordnet sind, und daher kann dann, wenn die beiden Infrarotkameras 2R und 2L übereinander in der Vertikalrichtung angeordnet sind, eine Unterscheidung gemacht werden zwischen einem Zustand, in dem die Körper in der Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L sich in einem Normalzustand befinden, und einem Zustand, in dem sie durch Niederschlag beeinträchtigt werden (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist) durch Vergleichen der Differenz zwischen der Breite des Graustufenobjekts und der Breite des binärisierten Objekts mit einem vorbestimmten Wert.
Ferner umfasst in der vorliegenden Ausführungsform die Bildverarbeitungseinheit 1 eine Extraktionseinrichtung für ein binärisiertes Objekt, eine Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt, eine Extraktionseinrichtung für ein Objektbild, eine Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild, eine Merkmalsquantitäts-Vergleichseinrichtung, eine Körperzustands-Bestimmungseinrichtung und eine Fußgängererkennungseinrichtung. Insbesondere entspricht die Verarbeitung in Schritt S7 in 3 und Schritt S31 in 7 der Extraktionseinrichtung für das binärisierte Objekt, die Verarbeitung in Schritt S8 in 3 und Schritt S71 in 13 entspricht der Merkmalsquantitäts-Berechnung des binärisierten Objekts und die Verarbeitung in Schritt S33 in 7 und Schritt S73 in 13 entspricht der Extraktionseinrichtung für das Objektbild und der Merkmalsquantitäts-Berechnungseinrichtung für das Objektbild. Ferner entspricht die Verarbeitung in Schritt S34 in 7 der Merkmalsquantitäts-Vergleichseinrichtung, der Verarbeitungsschritt S35 bis S52 in 7 und 8 entspricht der Körperzustands-Bestimmungseinrichtung und die Verarbeitung in Schritt S72 und Schritt S74 bis Schritt S118 in 13 bis 18 entspricht der Fußgängererkennungseinrichtung.
Wie oben beschrieben wurde, ist es mit der Fahrzeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform unter Normalbedingungen möglich, zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts zu unterscheiden. Jedoch tendiert dann, wenn der Zustand des Körpers beispielsweise durch an dem Kameraobjektiv anhaftende Regentropfen, Wasserdampf oder Regentropfen in der Luft oder Feuchtigkeit beeinträchtigt ist, die Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts dazu, zu verschwinden. Daher kann durch Vergleich der Differenz zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts mit einem vorbestimmten Wert ΔH bestimmt werden, ob die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L sich in einem Normalzustand befinden oder in einem Zustand befinden, in dem das Bild durch Niederschlag (einschließlich Fällen, in denen das Kameraobjekt verschmutzt ist) beeinträchtigt ist.
Weil der Zustand eines Körpers bestimmt werden kann, ohne auf einer Signalerfassung von Wischersignalen oder einem Regentropfensensor oder dergleichen zu beruhen, gibt es kein Erfordernis, die Sensoren und dergleichen bereitzustellen, die durch diese Systeme erfordert werden, und ein Effekt wird erhalten, wodurch die Kosten verringert werden und die Zuverlässigkeit einer Fußgängererkennung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die den Zustand eines Körpers genau bestimmen kann.
Wenn die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L sich in einem Normalzustand befinden (nicht beeinträchtigt durch Niederschlag), extrahiert die Fußgängererkennungseinrichtung weiterhin ein Graustufenobjekt von dem Graustufenbild des Bereichs, der das binärisierte Objekt enthält, unter Verwendung der Luminanzvariation in dem Graustufenbild, setzt eine Mehrzahl von Suchbereichen in dem Bereich des Graustufenobjekts fest, und identifiziert Fußgänger innerhalb der Suchbereiche auf Grundlage der Form oder Luminanzdispersion der Suchbereiche. Insbesondere, wenn die Breite des Bilds des Objekts für einen Fußgänger unnatürlich ist oder die Höhe des Bilds des Objekts für einen Fußgänger unnatürlich ist, können diese Körper aus der Betrachtung als Objekte entfernt werden, und durch Bestimmen des Vorhandenseins von Eigenschaften von Fußgängern, die natürlich sind, etwa Teilen mit hoher Luminanzdispersion entsprechend einem Kopf, oder Teilen mit hoher Luminanzdispersion entsprechend einem Rumpf, oder ob der Körper eine Wand oder dergleichen sein kann, die eine geringe Luminanzdispersion aufweist, können Bilder von Körpern von Fußgängern mit verschiedener Luminanzdispersion aus der Betrachtung als Objekte entfernt werden.
Wenn ferner die Körper in der Umgebung des Fahrzeugs 10 oder die Infrarotkameras 2R und 2L durch Niederschlag beeinträchtigt werden, werden lediglich die Existenzbedingungen der binärisierten Objekte bestimmt, und Fußgänger innerhalb des binären Bilds werden aus der Höhe oder Größe oder dergleichen der binärisierten Objekte in dem Bild identifiziert. Weil insbesondere der Betrag von durch das Objekt abgestrahlter Infrarotstrahlung sich verringert, werden Bestimmungen auf Grundlage der Luminanzdispersion nicht durchgeführt, und die einzige durchgeführte Verarbeitung ist es, Körper aus dem Bild des Objekts zu entfernen, für die die Breite des Bilds des Objekts oder die Höhe des Bilds des Objekts unnatürlich für einen Fußgänger ist, was Fußgängererfassungsfehler verhindert, die durch Bestimmungen der Verwendung von Luminanzdispersion verursacht werden.
Weil der Zustand eines Körpers bestimmt werden kann, ohne auf einer Signalerfassung oder dergleichen von Wischerbetätigungssignalen oder eines Regentropfensensors zu beruhen, gibt es demzufolge kein Erfordernis, die Sensoren und dergleichen bereitzustellen, die durch diese Systeme erfordert werden, und eine Wirkung wird erhalten, bei der die Kosten verringert werden und die Zuverlässigkeit einer Fußgängererkennung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die in einer stabilen Weise Fußgänger alleine erkennen kann. Weiterhin wird ein Effekt erhalten, bei dem die Genauigkeit einer Fußgängererfassung aufrechterhalten werden kann, ungeachtet des Zustands der Körper der Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L. Ferner kann im Gegensatz zu einem Fall, indem der Zustand des Histogramms des gesamten Bilds verwendet wird, um zu bestimmen, ob Niederschlag fällt, der Zustand des Körpers direkt bestimmt werden, was eine Wirkung hat, dass es möglich wird, eine Fahrzeugumgebungs-Überwachungseinrichtung zu realisieren, die in einer stabilen Weise Fußgänger alleine erkennen kann, ohne durch den Inhalt des Hintergrunds beeinträchtigt zu sein.
Durch Erhöhen der Anzahl von Körpern (Objekte), für die die Höhe ΔHg des Graustufenobjekts und die Höhe ΔHb des binärisierten Objekts verglichen werden, oder der Anzahl von Bildrahmen, die zur Bestimmung der Umgebung des Fahrzeugs 10 oder des Kameraobjektivs verwendet werden, und dann gemeinsames Unterscheiden zwischen einem Zustand, in dem die Kör per in der Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L normal sind oder einem Zustand, in dem sie durch Niederschlag beeinträchtigt sind (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist) auf Grundlage des Anteils von positiven Bestimmungsergebnissen relativ zur Gesamtanzahl von Körpern oder Bildrahmen, wird ein Effekt erhalten, bei dem die Zuverlässigkeit einer Körperzustandsbestimmung in der Körperzustands-Bestimmungseinrichtung verbessert werden kann und Fehler in der Zustandsbestimmung und Fußgängererkennung verhindert werden können.
Weiterhin kann eine genaue Körperzustandsbestimmung in der Körperzustands-Bestimmungseinrichtung ausgeführt werden, und eine genaue Fußgängererkennung kann in der Fußgängererkennungseinrichtung ausgeführt werden, indem die Höhe ΔHg des Graustufenobjekts und die Höhe ΔHb des binärisierten Objekts verglichen werden, wenn die beiden Infrarotkameras 2R und 2L Seite an Seite angeordnet sind. Ferner kann eine genaue Körperzustandsbestimmung in der Körperzustands-Bestimmungseinrichtung ausgeführt werden und eine genaue Fußgängererkennung kann in der Fußgängererkennungseinrichtung ausgeführt werden, indem die Breite des Graustufenobjekts und die Breite des binärisierten Objekts verglichen werden, wenn die beiden Infrarotkameras 2r und 2L vertikal angeordnet sind.
Demzufolge wird ein Effekt erhalten, bei dem eine Fahrzeugumgebungs-Überwachungseinrichtung realisiert werden kann, die mit einer beliebigen Anordnung der Infrarotkameras 2R und 2L kompatibel ist.
[Zweite Ausführungsform)
Eine zweite Ausführungsform der Erfindung wird im Folgenden beschrieben.
(Gesamtkonstruktion)
Die Konstruktion der Fahrzeugumgebungseinrichtung der zweiten Ausfüh rungsform der vorliegenden Erfindung ist dieselbe wie diejenige der Fahrzeugumgebungs-Überwachungseinrichtung der in 1 gezeigten ersten Ausführungsform, und eine Beschreibung derselben wird daher weggelassen. Insbesondere liegt der Unterschied zwischen der Fahrzeugumgebungs-Überwachungseinrichtung der ersten Ausführungsform und der Fahrzeugumgebungs-Überwachungseinrichtung der zweiten Ausführungsform darin, dass bei der Fahrzeugumgebungs-Überwachungseinrichtung der ersten Ausführungsform eine Unterscheidung gemacht wird zwischen einem Zustand, in dem die Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L normal ist, und einem Zustand, in dem sie durch Niederschlag beeinträchtigt sind (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), indem der Unterschied zwischen der Höhe ΔHg des Graustufenobjekts und der Höhe ΔHb des binärisierten Objekts mit einem vorbestimmten Wert ΔH verglichen wird, aber im Gegensatz hierzu wird bei der Fahrzeugumgebungs-Überwachungseinrichtung der zweiten Ausführungsform eine Unterscheidung gemacht zwischen einem Zustand, in dem die Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L normal ist, und einem Zustand, in dem sie durch Niederschlag beeinträchtigt sind (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), indem für einen Körper zwei Arten von binärisierten Objekten mit unterschiedlichen Luminanzschwellenwerten extrahiert werden durch Binärisieren eines Graustufenbilds des Infrarotbilds unter Verwendung einer Mehrzahl von Luminanz-Schwellenwerten, und Feststellen der Differenz in einer Merkmalsquantität zwischen den beiden Arten von binärisierten Objekten, die demselben Körper entsprechen.
Die spezifische Funktion der vorliegenden Ausführungsform wird unter Bezugnahme auf die Zeichnungen beschrieben.
(Objekterfassung/Warnfunktion)
21 und 22 sind Flussdiagramme, die die Objekterfassung und Warnfunktionen für Fußgänger in der Bildverarbeitungseinheit 1 der Fahr zeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform zeigen.
In 21 setzt zunächst die Bildverarbeitungseinheit 1 die Variable I und die Variable C auf "null" (Schritt S121).
Danach nimmt die Bildverarbeitungseinheit 1 die Infrarotbilder als Ausgangssignale der Infrarotkameras 2R und 2L auf (Schritt S122), führt eine A/D-Umwandlung durch (Schritt S123) und speichert das Graustufenbild im Bildspeicher (Schritt S124). Hierbei nimmt die Infrarotkamera 2R das rechte Bild und die Infrarotkamera 2L das linke Bild auf. Weil das rechte Bild und das linke Bild desselben Körpers in der Horizontalrichtung auf dem Anzeigeschirm verlagert erscheint, ermöglicht diese Verlagerung (Parallaxe) die Berechnung des Abstands zum Körper.
Nachdem das Graustufenbild in Schritt S124 erhalten wird, wird das durch die Infrarotkamera 2R erhaltene rechte Bild als das Referenzbild bestimmt, und unter Verwendung von zwei Luminanz-Schwellenwerten (TH_1 und TH_2, wobei TH_2 > TH_1) wird das Graustufenbild binärisiert, wodurch eine Mehrzahl von Körpern in dem Bild als eine Gruppe von binärisierten Objekten auf Grundlage des Luminanz-Schwellenwerts TH_1 und eine Gruppe von binärisierten Objekten auf Grundlage des Luminanz-Schwellenwerts TH_2 extrahiert werden. Gleichzeitig wird eine Merkmalsquantität für jedes binärisierte Objekt berechnet (Schritt S125). Die Binärisierungsverarbeitung unter Verwendung der zwei Luminanz-Schwellenwerte (TH_1 und TH_2) in Schritt S125 und die Verarbeitung zur Berechnung der Merkmalsquantität der binärisierten Objekte werden im Detail im Folgenden beschrieben.
Als Nächstes führt die Bildverarbeitungseinheit 1 eine Suche für Objekte in derselben Position aus, welche jede Gruppe binärisierter Objekte auffindet, die demselben Körper (Objekt) entsprechen (Schritt S126). Zur Beschreibung der Suche nach Objekten in derselben Position in konkreten Ausdrü cken wird hierbei, falls die Schwerpunktsposition q2 = (xc2, yc2) des unter Verwendung des Luminanz-Schwellenwerts TH_2 binärisierten Objekts, das in 23(2) gezeigt ist, innerhalb des umschriebenen Vierecks des unter Verwendung des Luminanz-Schwellenwerts TH_1 binärisierten Objekts, das in 23(1) gezeigt ist, liegt, bestimmt, dass die beiden Arten von binärisierten Objekten, die unter Verwendung dieser unterschiedlichen Luminanz-Schwellenwerte binärisiert wurden, beide demselben Körper entsprechen. Um dies in der Form eines nummerischen Ausdrucks auszudrücken, sollte, falls die Referenzpunkte des umschriebenen Vierecks des binärisierten Objekts, das unter Verwendung des Luminanz-Schwellenwerts TH_1 binärisiert wurde, als (xs1, ys1) angenommen wird, die Breite des umschriebenen Vierecks als W1 angenommen wird und die Höhe als H1 angenommen wird, die Schwerpunktsposition q2 = (xc2, yc2) des unter Verwendung des Luminanz-Schwellenwerts TH_2 binärisierten Objekts die folgende Bedingung erfüllen: (xs1 < xc2 < xs1 + W1) und (ys1 < yc2 < ys1 + H1).
Nachdem zwei Arten von binärisierten Objekten auf Grundlage von unterschiedlichen Luminanz-Schwellenwerten spezifiziert sind, die beide demselben Körper entsprechen, wird eine Bestimmung gemacht, ob der Absolutwert (|S1 – S2|) der Differenz zwischen der Fläche S1 und S2 der binärisierten Objekte geringer ein vorbestimmter Wert oder gleich einem vorbestimmten Wert ist (Schritt S127). Mit anderen Worten, wenn die Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L sich in einem Normalzustand befindet, hat bei Fokussierung auf einen Körper der Körper eine Mischung von Teilen mit niedriger Temperatur und Teilen mit hoher Temperatur und daher gilt dann, wenn der während der Binärisierung verwendete Schwellenwert variiert wird, dass je höher der Schwellenwert für die Binärisierung ist, desto kleiner die Fläche des binärisierten Objekts ist, die den Körper enthält. Wenn jedoch die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L sich nicht in einem Normalzustand befinden und durch Niederschlag beeinträchtigt sind (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), dann kann bei Fokussierung auf einen Körper in derselben Weise der Effekt auf den Zustand des Körpers, der bei spielsweise durch an dem Kameraobjektiv anhaftende Regentropfen, Wasserdampf oder Regentropfen in der Luft, oder Feuchtigkeit verursacht würde, zu einer Unfähigkeit einer Erfassung der Temperaturunterschiede in jedem Teil des Körpers führen, und daher existiert tendenziell sogar dann, wenn der zur Binärisierung verwendete Schwellenwert variiert wird, keine Variation in der Fläche des binärisierten Objekts, die den Körper enthält.
Durch Vergleichen des Absolutwerts (|S1 – S2|) der Differenz zwischen den Flächen S1 und S2 der beiden Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, mit einem vorbestimmten Wert und auf diese Weise Bestimmen, ob die Fläche sich verändert hat, kann demzufolge eine Bestimmung gemacht werden, ob die Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L in einem Normalzustand sind, oder durch Niederschlag beeinträchtigt sind.
Wenn in Schritt S127 der Absolutwert (|S1 – S2|) der Differenz zwischen den Flächen S1 und S2 der zwei Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, niedriger als ein vorbestimmter Wert oder gleich einem vorbestimmten Wert ist (JA in Schritt S127), erhöht die Bildverarbeitungseinheit 1 die Variable C um "1" und die Anzahl von binärisierten Objekten, für die der Absolutwert (|S1 – S2|) der Differenz zwischen den Flächen S1 und S2 der zwei Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, niedriger als ein vorbestimmten Wert oder gleich einem vorbestimmten Wert ist, wird als die Anzahl von Objekten gezählt, die als durch Niederschlag beeinträchtigt angenommen werden (Schritt S128).
Die Variable I wird dann um "1" erhöht (Schritt S129).
Wenn in Schritt S127 der Absolutwert (|S1 – S21|) der Differenz zwischen der Fläche S1 und S2 der beiden Arten von binärisierten Objekten mit unter schiedliche Luminanz-Schwellenwerten, die demselben Körper entsprechen, größer als der vorbestimmte Wert ist (NEIN in Schritt S127), geht der Ablauf weiter zu Schritt S129, und die Bildverarbeitungseinheit 1 erhöht die Variable I um "1" (Schritt S129).
Es wird dann bestimmt, ob die Variable I größer als die Gesamtzahl oder gleich der Gesamtanzahl von binärisierten Objekten N2 ist, die unter Verwendung des Luminanz-Schwellenwertes TH_1 binärisiert wurden (Schritt S130), und wenn die Variable I niedriger als die Gesamtzahl N2 ist (NEIN in Schritt S130), bringt die Bildverarbeitungseinheit 1 den Ablauf zurück zu Schritt S122 und wiederholt die obige Verarbeitung. Der Grund dafür, dass eine Bestimmung gemacht wird, ob die Variable I größer als die Gesamtzahl oder gleich der Gesamtzahl von binärisierten Objekten N2 ist, die unter Verwendung des Luminanz-Schwellenwerts TH_1 binärisiert wurden, ist, dass der Luminanz-Schwellenwert TH_1 < dem Luminanz-Schwellenwert TH_2 ist, und es daher eine höhere Wahrscheinlichkeit dafür gibt, dass die binärisierten Objekte, die unter Verwendung des Luminanz-Schwellenwerts TH_1 binärisiert wurden, alle Körper enthalten.
Wenn in Schritt S130 die Variable I größer als die Gesamtzahl oder gleich der Gesamtzahl N1 von binärisierten Objekten ist (JA in Schritt S130), wird andererseits bestimmt, ob das Verhältnis C/N2 der Variable C zur Gesamtzahl von binärisierten Objekten N2, d.h. das Verhältnis C/N2 der Anzahl von binärisierten Objekten, für die der Absolutwert (|S1 – S2|) der Differenz zwischen der Fläche S1 und S2 der beiden Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben durch C wiedergegebenen Körper entsprechen, zur Gesamtzahl von binärisierten Objekten N2, größer als ein vorbestimmter Wert X2 ist (Schritt S131).
In Schritt S131 wird dann, wenn das Verhältnis C/N2 der Variable C, die die Anzahl von binärisierten Objekten wiedergibt, für die (|S1 – S2|) niedriger als ein vorbestimmter Wert ist oder gleich einem vorbestimmten Wert ist, zur Gesamtzahl von binärisierten Objekten N2, größer ist als der vorbestimmte Wert X2 (JA in Schritt S131), der Betriebsmodus der Fußgängerbestimmungsverarbeitung als der Niederschlagsmodus beurteilt, und das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung anzeigt, wird auf "1" gesetzt (Schritt S132).
Wenn in Schritt S131 das Verhältnis C/N2 der Variable C, die die Anzahl von binärisierten Objekten wiedergibt, für die (|S1 – S2|) niedriger als ein vorbestimmter Wert ist oder gleich einem vorbestimmen Wert ist, zur Gesamtzahl von binärisierten Objekten N2, niedriger ist als der vorbestimmte Wert X2 oder gleich dem vorbestimmten Wert X2 ist (NEIN in Schritt S131), wird der Betriebsmodus der Fußgängerbestimmungsverarbeitung als der Normalmodus bestimmt, und das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung angibt, auf "0" gesetzt (Schritt S133).
Wenn das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung angibt, erfolgreich gesetzt ist, geht die Bildverarbeitungseinheit 1 weiter zu Schritt S9 in 22 und eine zeitliche Verfolgung des Objekts, das heißt eine Erkennung desselben Objekts in jeder Abtastperiode, wird durchgeführt (Schritt S9). Gleichzeitig geht die Bildverarbeitungseinheit 1 weiter zu Schritt S11 in 22 und berechnet den Abstand z zwischen dem Objekt und dem Fahrzeug 10 durch Verarbeiten der Schritte S11 bis S13.
Weil die Verarbeitungsschritte S9 bis S20 dieselben sind wie die Objekterfassung und Warnungsbetätigungsverarbeitung, die in der ersten Ausführungsform unter Verwendung von 3 beschrieben worden ist, wird ihre Beschreibung hier weggelassen. Ferner wird die Verarbeitung in Schritt S21, die in der ersten Ausführungsform ausgeführt wird, in der vorliegenden Ausführungsform nicht ausgeführt.
Weiterhin sind bei der Objekterfassung und Warnbetätigungsverarbeitung in der ersten Ausführungsform die Schritte der Verarbeitung derart, dass dann, wenn in Schritt S17 bestimmt wird, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Objekt besteht (NEIN in Schritt S17), wenn in Schritt S18 bestimmt wird, dass die Bremsbetätigung des Fahrers des Fahrzeugs 10 dazu führen wird, dass die Kollision vermieden wird (NEIN in Schritt S18), oder wenn beispielsweise das durch die Infrarotkamera 2R erhaltene Bild an die Bildanzeigeeinrichtung 7 ausgegeben wird und das sich nähernde Objekt als ein hervorgehobenes Bild für den Fahrer des Fahrzeugs 10 angezeigt wird (Schritt S20), der Ablauf zurückkehrt zu Schritt S1, aber in der vorliegenden Ausführungsform sind die Verarbeitungsschritte derart, dass der Ablauf zu Schritt S121 zurückkehrt und die obige Verarbeitung wiederholt wird.
(Alternativmodus der Objekterfassung/Warnungsbetätigung in der zweiten Ausführungsform)
Bei der Verarbeitung von Schritt S121 bis Schritt S133 in 21 wurde die Prozedur zur Durchführung einer Niederschlagsbestimmung für eine Mehrzahl von Körpern und Auswählen des Betriebsmodus der Fußgängerbestimmungsverarbeitung aus den erhaltenen Resultaten beschrieben, um die Robustheit der Bestimmung zu verbessern, aber bei der Objekterfassung und Warnungsbetätigung in der vorliegenden Ausführungsform kann zur Vereinfachung der Verarbeitung der Operationsmodus der Niederschlagsbestimmungsverarbeitung auf Grundlage der Ergebnisse eines einzelnen Bildrahmens gewählt werden anstelle der Verwendung für eine Mehrzahl von Bildrahmen gesammelter Ergebnisse. Insbesondere, wenn in Schritt S127 in 21 der Absolutwert (|S1 – S2|) der Differenz zwischen der Fläche S1 und S2 der beiden Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, niedriger als ein vorbestimmter Wert oder gleich dem vorbestimmten Wert ist (JA in Schritt S127), geht der Ablauf weiter zu Schritt S132 und bei Bestimmung, dass der Betriebsmodus der Fußgängerbestimmungsverarbeitung der Niederschlagsmodus sein sollte, setzt die Bildverarbeitungseinheit 1 das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsver arbeitung anzeigt, auf "1" (Schritt S132).
Wenn ferner in Schritt S127 der Absolutwert (|S1 – S2|) der Differenz zwischen der Fläche S1 und S2 der zwei Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, größer ist als der vorbestimmte Wert (NEIN in Schritt S127), geht der Ablauf weiter zu Schritt S133 und bestimmt, dass der Betriebsmodus der Fußgängerbestimmungsverarbeitung der Normalmodus sein sollte, und die Bildverarbeitungseinheit 1 setzt das Flag "Niederschlags_Flag", das den Betriebsmodus der Fußgängerbestimmungsverarbeitung anzeigt, auf "0" (Schritt S133).
Wenn anstelle der Verwendung der gesammelten Ergebnisse für eine Mehrzahl von Bildrahmen die Bestimmungsergebnisse für einen einzelnen Rahmen verwendet werden, um den Betriebsmodus der Fußgängerbestimmungsverarbeitung zu bestimmen, braucht die Verarbeitung, die in Schritt S128 bis S131 durchgeführt wird, welche die Inhalte der Bestimmungen aus der Mehrzahl von Körpern sammelt, nicht stattfinden.
(Binärisierungsverarbeitung unter Verwendung von zwei Luminanz-Schwellenwerten und Merkmalsquantitäts-Berechnungsverarbeitung für binärisierte Objekte)
Im Folgenden wird die Binärisierungsverarbeitung, die unter Verwendung von zwei Luminanz-Schwellenwerten (TH_1 und TH_2) und die Merkmalsquantitäts-Berechnung für binärisierte Objekte in Schritt S125 in 21 im weiteren Detail unter Bezugnahme auf das Flussdiagramm in 24 beschrieben.
Wenn in 24 das Graustufenbild unter Verwendung der Infrarotkameras 2R und 2L erhalten wird, ordnet die Bildverarbeitungseinheit 1 das rechte Bild, das durch die Infrarotkamera 2R erhalten wird, als das Referenzbild zu und führt eine Binärisierungsverarbeitung des Bildsignals unter Verwendung des Luminanz-Schwellenwerts TH_1 durch, d.h. hellere Bereiche als der Luminanz-Schwellenwert TH_1 werden auf "1" (weiß) gesetzt und dunklere Bereiche werden auf "0" (schwarz) gesetzt (Schritt S141).
Wenn ferner die aus den Infrarotbildern unter Verwendung des Schwellenwerts TH_1 binärisierten Bilddaten erhalten werden, wird eine Verarbeitung durchgeführt, um die binärisierten Bilddaten in Lauflängendaten umzuwandeln (Schritt S142).
Danach wird durch Markieren von Objekten aus den zu Lauflängendaten konvertierten Bilddaten (Schritt S143) eine Verarbeitung zur Extrahierung von binärisierten Objekten durchgeführt (Schritt S144).
Wenn die Extrahierung binärisierter Objekte vollständig ist, werden als Nächstes die Schwerpunkte G, die Flächen S und die Seitenverhältnisse ASPECT der umschriebenen Vierecke berechnet (Schritt S145) in derselben Weise wie die Verarbeitung in Schritt S8 der Objekterfassung und Warnbetätigung, wie in der ersten Ausführungsform unter Verwendung von 3 beschrieben wurde.
Als Nächstes ordnet in derselben Weise die Bildverarbeitungseinheit 1 dem rechten Bild, das durch die Infrarotkamera 2R erhalten wird, das Referenzbild zu und führt eine Binärisierungsverarbeitung des Bildsignals unter Verwendung des Luminanz-Schwellenwerts TH_2 durch (Schritt S146).
Wenn die aus den Infrarotbildern unter Verwendung des Schwellenwerts TH_2 binärisierten Bilddaten erhalten werden, wird eine Verarbeitung durchgeführt, um die binärisierten Bilddaten zu Lauflängendaten umzuwandeln (Schritt S147).
Danach wird durch Markieren von Objekten aus den zu Lauflängendaten konvertierten Bilddaten (Schritt S148) eine Verarbeitung zur Extrahierung binärisierter Objekte durchgeführt (Schritt S149).
Wenn die Extrahierung binärisierter Objekte vollständig ist, werden als Nächstes die Schwerpunkte G, die Flächen S und die Seitenverhältnisse ASPECT der umschriebenen Vierecke berechnet (Schritt S149) in derselben Weise, wie die Verarbeitung in Schritt S8 der Objekterfassung und Warnbetätigung, die bei der ersten Ausführungsform von 3 beschrieben wurde, wodurch die Binärisierungsverarbeitung auf Grundlage von zwei Schwellenwerten und der Merkmalsquantitäts-Berechnungsprozess für ein binärisiertes Objekt beendet wird.
Weil die Warnungsbestimmungsverarbeitung und die Fußgängerbestimmungsverarbeitung bei der vorliegenden Ausführungsform dieselben sind wie bei der ersten Ausführungsform, wird ihre Beschreibung hier weggelassen.
Ferner enthält in der vorliegenden Ausführungsform die Bildverarbeitungseinheit 1 eine Extraktionseinrichtung für ein binärisiertes Objekt, eine Merkmalsquantitäts-Berechnungseinrichtung für ein binärisiertes Objekt, eine Extraktionseinrichtung für ein Objektbild, eine Merkmalsquantitäts-Berechnungseinrichtung für ein Objektbild, eine Merkmalsquantitäts-Vergleichseinrichtung, eine Körperzustands-Bestimmungseinrichtung und eine Fußgängererkennungseinrichtung. Insbesondere entspricht die Verarbeitung in Schritt S125 in 21 und Schritt S141 und Schritt S146 in 24 der Extraktionseinrichtung für das binärisierte Objekt, die Verarbeitung in Schritt S71 in 13, Schritt S125 in 21 und Schritt S142 bis Schritt S145 und Schritt S147 bis Schritt S150 in 24 entspricht der Merkmalsquantitäts-Berechnungseinrichtung für das binärisierte Objekt, und die Verarbeitung in Schritt S33 in 7 und Schritt S73 in 13 entspricht der Extraktionseinrichtung für das Objektbild und der Merkmalsquantitäts-Berechnungseinrichtung für das Objektbild. Ferner entspricht die Verarbeitung in Schritt S126 bis Schritt S130 in 21 der Merkmalsquantitäts-Vergleichseinrichtung, die Verarbeitung in Schritt S131 bis Schritt S133 in 21 entspricht der Körperzustands-Bestimmungseinrichtung und die Verarbeitung in Schritt S72 und Schritt S74 bis Schritt S118 in 13 bis 18 entspricht der Fußgängererkennungseinrichtung.
Wie oben beschrieben wurde, wird bei der Fahrzeugumgebungs-Überwachungseinrichtung der vorliegenden Ausführungsform normalerweise je größer der im Binärisierungsprozess verwendete Schwellenwert, desto kleiner die Fläche des binärisierten Objekts, die einen einzelnen Körper enthält, aber wenn der Zustand des Körpers durch an der Kamera anhaftenden Regentropfen, Wasserdampf oder Regentropfen in der Luft oder Feuchtigkeit oder dergleichen beeinträchtigt ist, tendiert die Fläche des binärisierten Objekts, die einen einzelnen Körper enthält, dazu, sich nicht zu verändern, sogar dann nicht, wenn der Schwellenwert, der in der Binärisierungsverarbeitung verwendet wird, variiert wird, und daher kann eine Unterscheidung gemacht werden zwischen einem Zustand, in dem die Fahrzeugumgebung und die Infrarotkameras 2R und 2L normal sind und einem Zustand, in dem das Bild durch Niederschlag beeinträchtigt wird (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), indem der Absolutwert (|S1 – S2|) der Differenz zwischen den Flächen S1 und S2 der zwei Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten, die demselben Körper entsprechen, mit einem vorbestimmten Wert verglichen wird, wodurch bestimmt wird, ob eine Variation in der Fläche vorhanden ist.
Demzufolge gibt es in derselben Weise wie bei der ersten Ausführungsform aufgrunddessen, dass der Zustand eines Körpers bestimmt werden kann, ohne auf Wischerbetätigungssignale oder einem Regentropfensensor zu beruhen, keinen Bedarf, die Sensoren und dergleichen bereitzustellen, die durch diese Systeme erfordert werden, was die Kosten verringert und die Zuverlässigkeit der Körperzustandsbestimmung verbessert, und dies hat den Effekt, dass die Realisierung einer Fahrzeugumgebungs-Überwachungseinrichtung ermöglicht wird, die den Zustand eines Körpers korrekt bestimmen kann.
Weiterhin können in derselben Weise wie bei der ersten Ausführungsform durch Wecheln des Verfahrens der Erfassung von Fußgängern für einen Zustand, in dem die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L normal sind (nicht durch Niederschlag beeinträchtigt sind) und einem Zustand, in dem die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L durch Niederschlag beeinträchtigt sind, Fußgängererkennungsfehler, die von Bestimmungen auf Grundlage von Luminanzdispersion resultieren, verhindert werden.
Demzufolge besteht in derselben Weise wie bei der ersten Ausführungsform aufgrunddessen, dass der Zustand eines Körpers bestimmt werden kann, ohne auf einer Signalerfassung oder dergleichen, beispielsweise Wischerbetätigungssignalen oder einem Regentropfensensor, zu beruhen, kein Erfordernis, die Sensoren und dergleichen bereitzustellen, die durch diese Systeme erfordert werden, und ein Effekt wird erhalten, bei dem die Kosten verringert werden und die Zuverlässigkeit der Fußgängererkennung verbessert wird, und eine Fahrzeugumgebungs-Überwachungseinrichtung kann realisiert werden, die in einer stabilen Weise Fußgänger allein erkennen kann. Zusätzlich wird ein Effekt erhalten, bei dem unabhängig vom Zustand der Umgebung des Fahrzeugs 10 und der Infrarotkameras 2R und 2L die Genauigkeit der Fußgängererkennung aufrechterhalten werden kann. Ferner kann im Gegensatz zu einem Fall, in dem der Zustand des Histogramms des gesamten Bilds verwendet wird, um zu bestimmen, ob Niederschlag fällt, der Zustand des Körpers direkt bestimmt werden, was einen Effekt aufweist, dass es möglich wird, eine Fahrzeugumgebungs-Überwachungseinrichtung zu realisieren, die in einer stabilen Weise Fußgänger alleine erkennen kann, ohne durch die Inhalte des Hintergrunds beeinträchtigt zu sein.
Wenn ferner der Absolutwert (|S1 – S2|) der Differenz zwischen der Fläche S1 und S2 der beiden Arten von binärisierten Objekten mit unterschiedlichen Luminanz-Schwellenwerten durch Erhöhen der Anzahl von Körpern (Objekten), die dem Vergleich unterzogen werden, und Unterscheiden zwischen einem Zustand, in dem die Umgebung des Fahrzeugs 10 und die Infrarotkameras 2R und 2L normal sind, und einem Zustand, in dem das Bild durch Niederschlag beeinträchtigt ist (einschließlich Fällen, in denen das Kameraobjektiv verschmutzt ist), kollektiv von dem Anteil von positiven Bestimmungsergebnissen relativ zur Gesamtzahl von Körpern verschieden wird, kann ein Effekt erhalten werden, bei dem die Zuverlässigkeit der Körperzustandsbestimmung und die Zuverlässigkeit der Fußgängererkennung in der Fußgängererkennungsbestimmungseinrichtung ferner verbessert werden und Fehler in der Körperzustandsbestimmung und Fußgängererkennung verhindert werden können.
Eine Fahrzeugumgebungs-Überwachungseinrichtung ist vorgesehen, die in geeigneter Weise Körper aus einem durch eine Kamera aufgenommenen Bild bestimmt und Objekte unter Verwendung eines Verfahrens nach Maßgabe des Zustands der Körper extrahiert. N1 binärisierte Objekte (wobei N1 eine ganze Zahl ist, die beispielsweise alle Objekte auf einem Schirm enthält) werden aus einem einzelnen Rahmen extrahiert. Eine Höhe eines Graustufenobjekts, das einem der binärisierten Objekte entspricht, wird dann berechnet. Danach wird bestimmt, ob der Absolutwert der Differenz zwischen der Höhe des Graustufenobjekts und einer Höhe des binärisierten Objekts kleiner ist als ein vorbestimmter Wert. Wenn bestimmt wird, dass ein Verhältnis der Anzahl von binärisierten Objekten C, bei denen der Absolutwert der Höhendifferenz niedriger ist als der vorbestimmte Wert ΔH, zur Gesamtzahl N1 von binärisierten Objekten größer ist als ein vorbestimmter Wert X1, wird bestimmt, dass, der Bildrahmen von Niederschlag beeinträchtigt ist. Wenn bestimmt wird, dass das Verhältnis niedriger als der vorbe stimmte Wert X1 ist, wird bestimmt, dass der Bildrahmen ein normaler Rahmen ist (Schritt S40).

Claims

Überwachungseinrichtung zur Überwachung von in einer Umgebung eines Fahrzeugs (10) vorhandenen Körpern, umfassend Infrarotkameras (2R, 2L) und eine Bildverarbeitungseinheit (1), welche derart ausgebildet ist, dass sie – aus von den Infrarotkameras (2R, 2L) aufgenommenen Signalen ein Graustufenbild erzeugt (S3), – aus dem Graustufenbild ein binärisiertes Bild erzeugt (S4), ein binärisiertes Objekt aus dem binärisierten Bild extrahiert (S7, S31), – die Höhe (ΔHb) des binärisierten Objekts berechnet (S8), – ein dem binärisierten Objekt entsprechendes Graustufenobjekt aus dem Graustufenbild extrahiert, – die Höhe (ΔHg) des Graustufenobjekts berechnet, – die Höhe (ΔHb) des binärisierten Objekts mit der Höhe (ΔHg) des Graustufenobjekts vergleicht (S34) und auf Grundlage des Ergebnisses des Vergleichs bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist, wobei die Bildverarbeitungseinheit dann bestimmt, dass das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist, wenn der Betrag der Differenz zwischen der Höhe (ΔHg) des Graustufenobjekts und der Höhe (ΔHb) des binärisierten Objekts kleiner ist als ein vorbestimmter Wert (ΔH).
Überwachungseinrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (1) derart ausgebildet ist, dass sie für jeden aus einer Mehrzahl von Körpern jeweils ein binärisiertes Objekt und ein entsprechendes Graustufenobjekt erzeugt, die Höhe (ΔHb) des binärisierten Objekts mit der Höhe (ΔHg) des Graustufenobjekts vergleicht und nach Maßgabe des Anteils von Körpern, für die bei dem Vergleich ein vorbestimmtes Kriterium erfüllt ist, bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist.
Überwachungseinrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (1) derart ausgebildet ist, dass sie den Vergleich der Höhe (ΔHb) des binärisierten Objekts mit der Höhe (ΔHg) des Graustufenobjekts über eine Mehrzahl von Bildrahmen hinweg durchführt, und nach Maßgabe dessen, ob der Anteil von Bildrahmen, für die bei dem Vergleich ein vorbestimmtes Kriterium erfüllt ist, auf oder oberhalb eines vorbestimmten Niveaus liegt, bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist.
Überwachungseinrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (1) derart ausgebildet ist, dass sie unter Verwendung der Höhe (ΔHb) des binärisierten Objekts und der Höhe (ΔHg) des Graustufenobjekts Fußgänger erkennt (S71 – S118), wobei die Bildverarbeitungseinrichtung (1) ein anderes Fußgängererkennungs-Verarbeitungsverfahren einsetzt, wenn das Ergebnis des Vergleichs zwischen der Höhe (ΔHb) des binärisierten Objekts und der Höhe (ΔHg) des Graustufenobjekts ergibt, dass das aufgenommene Infrarotbild durch Niederschlag beeinträchtigt ist.
Überwachungseinrichtung zur Überwachung von in einer Umgebung eines Fahrzeugs (10) vorhandenen Körpern, umfassend Infrarotkameras (2R, 2L) und eine Bildverarbeitungseinheit (1), welche derart ausgebildet ist, dass sie – aus von den Infrarotkameras (2R, 2L) aufgenommenen Signalen ein Graustufenbild erzeugt (S124), – aus dem Graustufenbild wenigstens zwei binärisierte Bilder erzeugt, wobei für jedes der binärisierten Bilder ein unterschiedlicher Luminanz-Schwellenwert (TH_1, TH_2) zugrunde liegt (S125, S141, S146), – aus jedem der binärisierten Bilder ein einem selben der Körper entsprechendes binärisiertes Objekt extrahiert (S126, S144, S149), – die jeweiligen Flächen (S1, S2) jedes der binärisierten Objekte berechnet (S145, S150), – die Flächen (S1, S2) der binärisierten Objekte miteinander vergleicht (S127) und – auf Grundlage des Ergebnisses des Vergleichs bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist (S128 – S133), wobei die Bildverarbeitungseinheit (1) bestimmt, dass das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist, wenn der Betrag der Differenz zwischen den Flächen (S1, S2) der binärisierten Objekte kleiner als ein vorbestimmter Wert ist.
Überwachungseinrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (1) derart ausgebildet ist, dass sie für jeden aus einer Mehrzahl von Körpern wenigstens zwei dem jeweiligen Körper entsprechende binärisierte Objekte erzeugt, die Flächen (S1, S2) der binärisierten Objekte miteinander vergleicht, und nach Maßgabe des Anteils von Körpern, für die bei dem Vergleich ein vorbestimmtes Kriterium erfüllt ist, bestimmt, ob das aufgenommene Infrarotbild von Niederschlag beeinträchtigt ist.
Überwachungseinrichtung nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (1) derart ausgebildet ist, dass sie Fußgänger erkennt, wobei die Bildverarbeitungseinheit (1) ein anderes Fußgängererkennungs-Verarbeitungsverfahren einsetzt, wenn das Ergebnis des Vergleichs zwischen den Flächen (S1, S2) der binärisierten Objekte ergibt, dass das aufgenommene Infrarotbild durch Niederschlag beeinträchtigt ist.