DE102006010735A1

DE102006010735A1 - Fahrzeugumgebungsüberwachungsvorrichtung

Info

Publication number: DE102006010735A1
Application number: DE102006010735A
Authority: DE
Inventors: Takahiro Maemura; Masahiro Ikeyama; Shigeya Okazaki Sasane
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2005-03-09
Filing date: 2006-03-08
Publication date: 2006-09-14
Anticipated expiration: 2026-03-09
Also published as: US20060204039A1; JP2006253932A; CN1834583B; JP4657765B2; CN1834583A; US7925441B2; DE102006010735B4

Abstract

Durch die vorliegende Erfindung wird eine Fahrzeugumgebungsüberwachungsvorrichtung bereitgestellt, mit: einer in einem vorderen oder einem hinteren Abschnitt eines Fahrzeugs installierten Kamera (1) zum Aufnehmen von Bildern einer Seitenansicht des Fahrzeugs; einem Merkmalpunkterfassungsabschnitt (11) zum Erfassen von Merkmalpunkten in den Seitenbildern und Berechnen von Bewegungsvektoren der erfassten Merkmalpunkte; einem Abschnitt (12) zum Erfassen eines sich nähernden Objekts zum Erfassen eines Satzes mehrerer Merkmalpunkte, die sich dem Fahrzeug nähern, in den Seitenbildern als ein sich näherndes Objekt, basierend auf den berechneten Bewegungsvektoren der Merkmalpunkte; einem Merkmalpunktverfolgungsabschnitt (13) zum Verfolgen der Merkmalpunkte des erfassten, sich nähernden Objekts und einem Passierzeitberechnungsabschnitt (14) zum Berechnen des Zeitpunkts, zu dem das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs passiert, von den durch die Merkmalpunktverfolgungseinrichtung (13) verfolgten Merkmalpunkten des sich nähernden Objekts.

Description

Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsüberwachungsvorrichtung, die den Zeitpunkt schätzt, zu dem ein sich näherndes Objekt, das durch eine Kamera aufgenommen wird, die Bilder einer Seitenansicht des Fahrzeugs aufnimmt, die Vorder- oder Rückseite des Fahrzeugs passiert, und in Abhängigkeit vom Schätzergebnis eine Warnung erzeugt und/oder eine Bremse betätigt.

Ein Beispiel einer Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs basierend auf durch eine im Fahrzeug installierte Kamera aufgenommenen Bildern ist in der JP-A-2001-43494 (nachstehend als Patentdokument 1 bezeichnet) beschrieben. In dieser Fahrzeugumgebungsüberwachungsvorrichtung nehmen, wie in einem schematischen Diagramm von 1 dargestellt ist, an der Fahrzeugfront installierte Kameras (Frontansichtkameras) Seitenansichten FL und FR vor dem Fahrzeug auf, die von einem Fahrersitz aus betrachtet wahrscheinlich nicht einsehbar sind bzw. tote Winkel sind. Die aufgenommenen Seitenansichten werden auf einem Monitor am Fahrersitz im Fahrzeug dargestellt, so dass der Fahrer sich über einen sicheren Zustand vergewissern kann, wenn das Fahrzeug beispielsweise in eine Kreuzung einfährt.

Außerdem sind in den letzten Jahren Vorrichtungen vorgeschlagen worden, die unter Verwendung eines optischen Flußverfahrens ein sich bewegendes Objekt in Bildern erfassen, die durch eine in einem Fahrzeug installierte Kamera aufgenommenen wurden [vgl. z.B. JP-A-2004-198211 (nachstehend als Patentdokument 2 bezeichnet), JP-A-2004-56763 (nachstehend als Patentdokument 3 bezeichnet), JP-A-2005- 276056 (nachstehend als Patentdokument 4 bezeichnet) und JP-A-2001-39248 (nachstehend als Patentdokument 5 bezeichnet)].

Eine in Patentdokument 2 beschriebene Vorrichtung zum Überwachen eines beweglichen Körpers ist dazu vorgesehen, die Position und Lage eines beweglichen Körpers ohne Fehlerakkumulierung mit einer hohen Genauigkeit unter Verwendung einer Einzelbildaufnahmeeinrichtung zu identifizieren, um die Sicht an einer gewünschten Position des beweglichen Körpers zu gewährleisten. Die Vorrichtung extrahiert mindestens vier Merkmalpunkte innerhalb einer spezifischen Ebene von einem durch die Einzelbildaufnahmeeinrichtung während einer Bewegung aufgenommenen Bildes eines Umgebungsbereichs. Wenn der bewegliche Körper sich von einem ersten Zustand zu einem zweiten Zustand bewegt, veranlasst die Vorrichtung eine Merkmalverfolgungseinrichtung, die extrahierten Merkmalpunkte zu verfolgen, und veranlasst eine Bewegungszustandidentifizierungseinrichtung, die Relativposition und -lage der Bildaufnahmeeinrichtung basierend auf den Ebenenkoordinaten der Merkmalpunkte der im ersten und im zweiten Zustand aufgenommenen Bilder zu identifizieren. Außerdem veranlasst die Vorrichtung eine Einrichtung zum Schätzen dreidimensionaler Koordinaten, die dreidimensionalen Koordinaten eines Merkmalpunktes eines vorgegebenen Objekts basierend auf den Positionen und Lagen der Bildaufnahmeeinrichtung im ersten und im zweiten Zustand, den Ebenenkoordinaten des Merkmalpunktes des vorgegebenen Objekts im im ersten Zustand aufgenommenen Bild und den Ebenenkoordinaten des Merkmalpunktes des vorgegebenen Objekts im im zweiten Zustand aufgenommenen Bild zu schätzen.

Eine im Patentdokument 3 beschriebene Überwachungsvorrichtung ist eine Fahrzeugüberwachungsvorrichtung zum Erfassen eines sich nähernden Objekts unter Verwendung eines optischen Flußverfahrens. Die Vorrichtung ist dazu vorgesehen, ein sich näherndes Objekt mit einer hohen Genauigkeit auch dann zu erfassen, wenn ein mit der Überwachungsvorrichtung ausgestattetes Fahrzeug entlang einer Kurve fährt. Die Vorrichtung berechnet optische Flüsse von Merkmalpunkten eines erfassten, sich nähernden Objekts unter Verwendung eines Multi-Resolution-Verfahrens oder eines Pyramidenverfahrens. Im Multi-Resolution-Verfahren werden mehrere Bilder mit verschiedenen Auflösungen bezüglich eines Bildes auf eine hierarchische Weise bereitgestellt und werden optische Flüsse durch Musterabgleich oder -anpassung in der Folge vom gröbsten zum feinsten Bild erhalten.

Eine im Patentdokument 4 beschriebene Frontansichtüberwachungsvorrichtung berechnet dagegen optische Flüsse bezüglich extrahierten Merkmalpunkten und wählt nur Merkmalpunkte mit einem Vektor in einer Annäherungsrichtung als Annäherungsmerkmalpunkt unter den Merkmalpunkten der Rechts- und Linksansichten aus.

Eine im Patentdokument 5 beschriebene Fahrzeugkameravorrichtung misst die Entfernung zu einem sich bewegenden Objekt unter Verwendung einer Kombination aus einem Abstandssensor und einer Kamera.

In den vorstehend dargestellten herkömmlichen Überwachungsvorrichtungen ist ein durch eine Kamera aufgenommenes Bild jedoch grundsätzlich ein Einzelansichtbild. Um die Entfernung zu einem sich bewegenden Objekt von einem Einzelansichtbild zu bestimmen, müssen gewisse Voraussetzungen oder Einschränkungen gemacht werden. Ein Beispiel für eine solche Voraussetzung oder Einschränkung, ist ein Verfahren, gemäß dem eine Straßenebene innerhalb eines Bildes vorausgesetzt wird, so dass die Entfernung zu einem sich bewegenden Bild von einem Einzelansichtbild bestimmt werden kann. In diesem Verfahren wird eine Bodenebene eines sich bewegenden Objekts in einem Bild bestimmt, und die Entfernung zum sich bewegenden Objekt wird basierend auf Kameraparametern (Position, Richtung, Brennweite, usw.) und der Position der Bodenebene im Bild bestimmt. Im Allgemeinen ist es jedoch schwierig, eine Bodenebene in einem Bild zu erkennen. Daher ist eine zu erkennende Bodenebene auf eine Bodenebene eines Automobils auf einem von vorne oder hinten aufgenommenen Bild be schränkt. Im Allgemeinen ist es jedoch schwierig, ein Objekt diagonal zu betrachten und eine Bodenebene zu erkennen, um ein sich in einem Sichtfeld befindendes, sich näherndes Objekt zu erkennen, wie im Fall der vorstehend beschriebenen Frontansichtüberwachungsvorrichtung.

Außerdem wird durch die Messung der Entfernung zu einem sich bewegenden Objekt unter Verwendung einer Kombination aus einem Entfernungssensor und einer Kamera, wie im Fall der im Patentdokument 5 beschriebenen Fahrzeugkameravorrichtung, die Vorrichtung teuer.

Die vorliegende Erfindung ist hinsichtlich der vorstehend beschriebenen Verhältnisse entwickelt worden, und es ist Aufgabe der vorliegenden Erfindung, eine Fahrzeugumgebungsüberwachungsvorrichtung bereitzustellen, die einen geschätzten Passierzeitpunkt, zu dem ein sich einem Fahrzeug näherndes Objekt erwartungsgemäß die Vorder- oder Rückseite des Fahrzeugs passiert, zuverlässig berechnet und gemäß dem erwarteten Passierzeitpunkt und der Fahrzeuggeschwindigkeit das sich nähernde Objekt geeignet darstellt (eine Warnung erzeugt) und/oder eine Bremse betätigt.

Diese Aufgabe kann durch die in den Patentansprüchen definierten Merkmale gelöst werden.

Insbesondere weist eine erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung, durch die die vorstehende Aufgabe gelöst wird, auf: eine in einem vorderen oder hinteren Teil eines Fahrzeugs installierte Kamera zum Aufnehmen von Bildern einer Seitenansicht des Fahrzeugs; eine Merkmalpunkterfassungseinrichtung zum Erfassen von Merkmalpunkten in den Seitenansichtbildern und zum Berechnen von Bewegungsvektoren der erfassten Merkmalpunkte; eine Einrichtung zum Erfassen eines sich nähernden Objekts zum Erfassen eines Objekts mit einem in eine Annäherungsrichtung zum Fahrzeug ausgerichteten Vektor in den Seitenbildern als sich näherndes Objekt basierend auf den berechneten Bewegungsvektoren der Merkmalpunkte; und eine Merkmalpunktverfolgungseinrichtung zum Verfolgen der Merkmalpunkte des erfassten, sich nä hernden Objekts; dadurch gekennzeichnet, dass die Fahrzeugumgebungsüberwachungsvorrichtung ferner eine Passierzeitberechnungseinrichtung zum Berechnen eines Zeitpunkts, zu dem das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs passiert, basierend auf den Merkmalpunkten des durch die Merkmalpunktverfolgungseinrichtung verfolgten sich nähernden Objekts aufweist.

Insbesondere bestimmt die Merkmalpunkterfassungseinrichtung die Bewegungsvektoren durch Berechnen optischer Flüsse der Merkmalpunkte in den Seitenbildern.

Die Fahrzeugumgebungsüberwachungsvorrichtung erfasst ein Objekt mit einem in eine Annäherungsrichtung zum Fahrzeug ausgerichteten Vektor in den durch die Kamera aufgenommenen Seitenbildern als ein sich näherndes Objekt basierend auf den Bewegungsvektoren der Merkmalpunkte in den Seitenbildern. Insbesondere werden die Merkmalpunkte beispielsweise durch Extrahieren von Ecken eines sich dem Fahrzeug nähernden Objekts erhalten. Die Fahrzeugumgebungsüberwachungsvorrichtung berechnet den geschätzten Passierzeitpunkt, zu dem das sich nähernde Objekt erwartungsgemäß die Vorder- oder Rückseite des Fahrzeugs passiert, basierend auf den Spuren oder Bahnen der Merkmalpunkte.

Durch Berechnen des Zeitpunkts, zu dem das sich nähernde Objekt erwartungsgemäß das Fahrzeugs passiert, auf die vorstehend erwähnte Weise kann der Zeitpunkt, zu dem das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs passiert, zuverlässig geschätzt werden.

Vorzugsweise weist die Fahrzeugumgebungsüberwachungsvorrichtung eine Annäherungsinformationsabgabeeinrichtung auf, die dazu geeignet ist, einen Fahrer durch eine akustische Warnung darüber zu informieren, dass sich ein Objekt nähert, wobei die Annäherungsinformationsgabeeinrichtung den Fahrer darüber informiert, dass sich ein Objekt nähert, wenn die Passierzeitberechnungseinrichtung bestimmt, dass das sich nähernde Objekt die Vorder- oder Rückseite des Fahr zeugs erwartungsgemäß innerhalb einer vorgegebenen Zeitdauer passiert.

Die Fahrzeugumgebungsüberwachungsvorrichtung informiert den Fahrer oder eine andere Person über das Vorhandensein eines sich nähernden Objekts durch Darstellen des sich nähernden Objekts auf einem im Fahrzeug installierten Monitor gemäß dem durch die Passierzeitberechnungseinrichtung berechneten Passierzeitpunkt. Insbesondere kennzeichnet die Fahrzeugumgebungsüberwachungsvorrichtung das sich nähernde Objekt auf dem im Fahrzeug installierten Monitor deutlich und/oder veranlasst eine Warnvorrichtung, eine akustische Warnung zu erzeugen.

Daher kann, auch wenn ein Bild eines sich nähernden Objekts klein ist, das Vorhandensein des sich nähernden Objekts anhand des deutlich gekennzeichneten Bildes sicher erkannt werden.

Bevorzugter weist die Fahrzeugumgebungsüberwachungsvorrichtung ferner auf: eine Geschwindigkeitserfassungseinrichtung zum Erfassen einer Fahrzeuggeschwindigkeit; und eine Bremsensteuerungseinrichtung zum Steuern einer Bremse des Fahrzeugs zum Stoppen des Fahrzeugs, wenn die durch die Geschwindigkeitserfassungseinrichtung erfasste Geschwindigkeit kleiner oder gleich einer vorgegebenen Geschwindigkeit ist und die Passierzeitberechnungseinrichtung bestimmt, dass das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs erwartungsgemäß innerhalb einer vorgegebenen Zeitdauer passiert.

Wenn die durch die Geschwindigkeitserfassungseinrichtung erfasste Fahrzeuggeschwindigkeit kleiner oder gleich einer vorgegebenen Geschwindigkeit ist, wenn z.B. die Fahrzeuggeschwindigkeit kleiner oder gleich mehreren km/h ist, und der durch die Passierzeitberechnungseinrichtung berechnete Passierzeitpunkt innerhalb einer vorgegebenen Zeitdauer liegt, veranlasst die Fahrzeugumgebungsüberwachungsvorrichtung die Bremsensteuerungseinrichtung, die Bremse zu steu ern, um das Fahrzeug sicher zu stoppen und eine Kollision mit dem sich nähernden Objekt zu verhindern.

Der Fahrer kann das Vorhandensein eines sich nähernden Objekts in dargestellten Seitenbildern (Frontansichtbildern) sicher erkennen, ohne dass er die Seitenbilder für eine längere Zeitdauer näher betrachten muss. Außerdem wird, auch wenn der Fahrer ein sich näherndes Fahrzeug oder ein ähnliches Objekt nicht erkennen kann, ein akustischer Alarm erzeugt und/oder das Fahrzeug sicher gestoppt, so dass ein großer Vorteil dadurch erhalten wird, dass die Sicherheit während der Fahrt wesentlich verbessert werden kann.

Die vorliegende Erfindung wird nachstehend unter Bezug auf die Zeichnungen, die eine bevorzugte Ausführungsform der Erfindung zeigen, ausführlich beschrieben; es zeigen:
1 eine Draufsicht zum Darstellen eines mit einer Umgebungsüberwachungsvorrichtung ausgestatteten Fahrzeugs und der Sichtfelder von Kameras;
2 ein Blockdiagramm zum schematischen Darstellen der Konfiguration des Hauptteils einer Ausführungsform einer erfindungsgemäßen Fahrzeugumgebungsüberwachungsvorrichtung;
3 zeigt ein Ablaufdiagramm zum Darstellen einer Hauptverarbeitung zum Steuern der Operation der Fahrzeugumgebungsüberwachungsvorrichtung von 2;
4 ein Ablaufdiagramm zum Darstellen einer Hauptverarbeitung zum Erfassen eines sich nähernden Objekts und einer Verarbeitung zum Berechnen des Zeitpunkts, zu dem das sich nähernde Objekt ein Fahrzeug erwartungsgemäß passiert, die durch die Fahrzeugumgebungsüberwachungsvorrichtung von 2 ausgeführt werden;
5 ein Diagramm zum Darstellen eines Beispiels, in dem in durch eine Kamera der Fahrzeugumgebungsüberwachungsvorrichtung von 2 aufgenommenen Bilddaten enthaltene Merkmalpunkte extrahiert werden;
6 eine Draufsicht zum Darstellen eines Sichtfeldes der Kameras der Fahrzeugumgebungsüberwachungsvorrichtung von 2 und der Beziehung zwischen Vorrichtungsebenen der Kameras und einem sich nähernden Objekt;
7 ein Prinzipdiagramm zum Darstellen der Beziehung zwischen der Kamera, einer Bildebene und einer virtuellen Bildebene in einer schwachen perspektivischen Projektion, die bezüglich Bilddaten ausgeführt wird, die durch die Kamera der Fahrzeugumgebungsüberwachungsvorrichtung von 2 aufgenommen werden;
8 ein Diagramm zum Darstellen der Beziehung zwischen der durch die Fahrzeugumgebungsüberwachungsvorrichtung von 2 berechneten Tiefe oder Entfernung und der realen Entfernung; und
9 eine Draufsicht der Ansicht von 7.
2 zeigt ein Blockdiagramm zum schematischen Darstellen der Konfiguration des Hauptteils einer Ausführungsform einer erfindungsgemäßen Fahrzeugumgebungsüberwachungsvorrichtung. In 2 bezeichnet Bezugszeichen 1 ein Paar Frontansichtkameras, die in einem Frontabschnitt eines Fahrzeugs angeordnet sind, zum Aufnehmen einer rechten und einer linken Seitenansicht des Fahrzeugs. Die Frontansichtkameras 1 sind beispielsweise CCD-Kameras, die an beiden Seiten des vorderen Endes eines Fahrzeugs A installiert sind, wie in 1 dargestellt ist, und derart angeordnet, dass sie vorgegebene Rechts- und Linksansichten FL und FR auf beiden Seiten des Fahrzeugs A aufnehmen. Alternativ können die Frontansichtkameras 1 an der Rückseite eines Fahrzeugs installiert sein, um Rechts- und Linksansichten auf beiden Seiten des Fahrzeugs aufzunehmen.
Eine Umgebungsüberwachungsvorrichtung 2, der durch die Frontansichtkameras 1 aufgenommene Seitenbilder (Frontansichtbilder) zugeführt werden, weist eine im wesentlichen aus einem Mikrocomputer gebildete elektronische Steuereinheit (MPU) auf. Unter der Bedingung, dass ein Frontansichtschalter 3 eingeschaltet ist (Schritt S1), aktiviert die Umgebungsüberwachungsvorrichtung 2 eine Frontansichtfunktion zum Darstellen von Seitenbildern (Frontansichtbildern), die durch die Frontansichtkameras 1 aufgenommen werden, auf einem Monitor 5 (Schritt S3), wenn die durch einen Fahrzeuggeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit des Fahrzeugs A auf 10 km/h oder weniger abgenommen hat (Schritt S2), oder wenn das Fahrzeug A zum Stillstand gekommen ist. Wenn die vorstehende Bedingung nicht erfüllt ist, deaktiviert die Umgebungsüberwachungsvorrichtung 2 die Frontansichtfunktion, so dass kein Frontansichtbild auf dem Monitor 5 dargestellt wird (Schritt S4).
Der Monitor 5 zum Darstellen der Seitenbilder (Frontansichtbilder) weist ein in einer vor dem Fahrersitz montierten Mittelkonsole installiertes Mehrfachdisplay auf. Der Monitor 5 wird normalerweise zum Darstellen von Information für eine Fahrzeugnavigation unter Verwendung des GPS-Systems, von Klimaanlageninformation zum Einstellen von Umgebungszuständen in einer Fahrgastzelle, Information über Einstellungen verschiedener Audiovorrichtungen, usw. verwendet. Der Monitor 5 kann natürlich auch ausschließlich zum Darstellen von Frontansichtbildern konstruiert sein.
Die grundsätzlich gemäß der vorstehenden Beschreibung konstruierte Fahrzeugumgebungsüberwachungsvorrichtung 2 weist, wie in 2 dargestellt ist, auf: (a) einen Merkmalerfassungsabschnitt 11 als Merkmalpunkterfassungseinrichtung zum Erfassen mehrerer Merkmalpunkte in einem Seitenbild (Frontansichtbild), das unter Verwendung der vorstehend erwähnten Frontansichtkamera 1 aufgenommen wird, und zum Berechnen der optischen Flüsse der Merkmalpunkte, um Bewegungsvektoren der Merkmalpunkte zu erhalten; (b) einen Abschnitt 12 zum Erfassen eines sich bewegenden Objekts als Einrichtung zum Erfassen eines sich bewegenden Objekts, das einen in eine Annäherungsrichtung zum eigenen Fahrzeug (Fahrzeug A) ausgerichteten Vektor aufweist, im Seitenbild (Frontansichtbild) als ein sich näherndes Objekt basierend auf den Bewegungsvektoren der durch den Merkmalpunkterfassungsabschnitt 11 erhaltenen Merkmalpunkte; und (c) einen Passierzeitberechnungsabschnitt 14 als Passierzeitberech nungseinrichtung zum Identifizieren und Verfolgen eines Bildbereichs des durch den Abschnitt 12 zum Erfassen eines sich bewegenden Objekts erfassten, sich nähernden Objekts im Seitenbild (Frontansichtbild) (Merkmalpunktverfolgungsabschnitt 13 als Merkmalpunktverfolgungseinrichtung), und zum Bestimmen des Zeitpunkts, zu dem das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs passiert, basierend auf den identifizierten Merkmalpunkten.
Insbesondere wird eine durch die vorstehend beschriebenen Abschnitte (Funktionen) 11, 12, 13 und 14 realisierte Frontansichtverarbeitung beispielsweise gestartet durch sequentielles Abrufen von Frontansichtbildern, die durch die Vorausansichtkamera 1 aufgenommen worden sind, in vorgegebenen Zeitintervallen, wie in 4 dargestellt (Schritt S11). Merkmalpunkte, deren Bildsignalpegel (Leuchtkraft, Helligkeit) und/oder Farbton sich von denjenigen der Umgebung deutlich unterscheiden, werden extrahiert (Schritt S12), und die optischen Flüsse der Merkmalpunkte werden berechnet, um die Bewegungsvektoren der Merkmalpunkte zu erhalten (Schritt S13). Das Verfahren zum Berechnen der optischen Flüsse wird nachstehend kurz erläutert und ist beispielsweise im vorstehend erwähnten Patentdokument 4 ausführlich beschrieben. Grundsätzlich wird basierend darauf, ob die Koordinaten von Merkmalpunkten, die mehreren Frontansichtbildern gemeinsam sind, die in vorgegebenen Intervallen sequentiell aufgenommen werden, sich geändert haben oder nicht, entschieden, ob die gemeinsamen Merkmalpunkte sich bewegt haben oder nicht. Wenn die Koordinaten der gemeinsamen Merkmalpunkte sich geändert haben, werden die Richtungen und Größen der Bewegungen (d.h. die Änderungen der Koordinaten) berechnet, um die Bewegungsvektoren der gemeinsamen Merkmalpunkte zu erhalten.
Der Abschnitt 12 zum Erfassen eines sich bewegenden Objekts erfasst dann ein sich näherndes Objekt basierend auf optischen Flussvektoren, die unter den in Schritt S13 erhaltenen Bewegungsvektoren eine Vektorkomponente in Richtung vom Objekt zum Fahrzeug enthalten (Schritt S14). In diesem Fall werden die Merkmalpunkte, von denen keine Bewegungsvektoren erfasst worden sind, als festes Objekt (Hintergrund) betrachtet, wie beispielsweise ein Gebäude, und von der Erkennung ausgeschlossen. Zeitliche Änderungen des erfassten Merkmalpunktes werden durch den Merkmalpunktverfolgungsabschnitt 13 erfasst (Schritt S14). Der Passierzeitberechnungsabschnitt 14 berechnet einen Zeitpunkt, zu dem das sich nähernde Objekt die Vorderseite des Fahrzeugs passiert, basierend auf Information, die die durch die Merkmalpunktverfolgungsabschnitt 13 erfassten zeitlichen Änderungen der Merkmalpunkte anzeigen (Schritt S15).
Wenn der in Schritt S15 erhaltene geschätzte Passierzeitpunkt t_c früher ist als ein vorgegebener Passierzeitpunkt Th (t_c < Th), oder wenn die Fahrzeuggeschwindigkeit V kleiner ist als eine vorgegebene Fahrzeuggeschwindigkeit Vh (V < Vh), erfasst die Umgebungsüberwachungsvorrichtung 2 ein sich näherndes Objekt (Schritt S16), schaltet die Bildschirmansicht des Monitors 5 oder einer ähnlichen Einrichtung auf ein Frontansichtbild, und veranlasst einen Displaysteuerungsabschnitt 15, das sich nähernde Objekt auf dem Monitor 5 deutlich zu kennzeichnen (Schritt S17). Das sich nähernde Objekt wird beispielsweise deutlich gekennzeichnet durch Ausschneiden der vorstehend erwähnten Merkmalpunkte und ihrer Umgebung in einer rechteckigen Form. Um das ausgeschnittene, sich nähernde Objekt in dem auf dem Monitor 5 dargestellten Frontansichtbild deutlich zu darzustellen, kennzeichnet der Displaysteuerungsabschnitt 15 anschließend einen spezifischen Bildbereich, der das sich nähernde Objekt enthält, z.B. durch Zeichnen eines rechteckigen Kastens um den Bildbereich deutlich.
Wenn der in Schritt S15 erhaltene geschätzte Passierzeitpunkt t_c dagegen früher ist als eine vorgegebene Passierzeit Tm (t_c < Tm), und wenn die Fahrzeuggeschwindigkeit V kleiner ist als die vorgegebene Fahrzeuggeschwindigkeit Vh (V < Vh) (Schritt S18), bestimmt die Umgebungsüberwachungsvorrichtung 2, dass das sich nähernde Objekt sich weiterhin nähert, veranlasst eine Warnvorrichtung 6, einen akustischen Alarm zu erzeugen, und veranlasst den Displaysteuerungsabschnitt 15, das sich nähernde Objekt auf dem Monitor 5 oder einer ähnlichen Einrichtung noch deutlicher zu kennzeichnen als in Schritt S17 (Schritt S19). Der Displaysteuerungsabschnitt 15 kennzeichnet das sich nähernde Objekt auf dem Monitor 5 beispielsweise durch Einfärben in Rot, Gelb oder auf ähnliche Weise.
Wenn der in Schritt S15 erhaltene geschätzte Passierzeitpunkt t_c dagegen früher ist als ein vorgegebener Passierzeitpunkt T1 (t_c < T1), und wenn die Fahrzeuggeschwindigkeit V kleiner ist als die vorgegebene Fahrzeuggeschwindigkeit Vh (0 < V < Vh) (Schritt 20), gibt die Umgebungsüberwachungsvorrichtung 2 einen Befehl an einen Bremsensteuerungsabschnitt 7 als Fahrzeugbremsensteuerungseinrichtung aus, so dass das Fahrzeug gestoppt wird, um eine Kollision mit dem sich nähernden Objekt zu vermeiden. Die Umgebungsüberwachungsvorrichtung 2 warnt den Fahrer durch noch deutlicheres Kennzeichnen des sich nähernden Objekts auf dem Monitor 5 oder einer ähnlichen Einrichtung als in Schritt S19 (Schritt S21). Das sich nähernde Objekt kann beispielsweise durch Vergrößern und Überlagern des Objekts auf dem Monitor 5 oder durch Hinzufügen einer Leitlinie zum Objekt deutlich gekennzeichnet werden.
In diesem Fall wird zum gleichen Zeitpunkt, zu dem das sich nähernde Objekt auf dem Monitor 5 deutlich gekennzeichnet wird, nicht nur veranlasst, dass die Warnvorrichtung 6 einen akustischen Alarm erzeugt, sondern kann auch eine Informationsgabevorrichtung verwendet werden, die den Fahrer durch Sprachausgabe darüber informiert, dass ein sich näherndes Objekt vorhanden ist. Unter Verwendung der Kombination aus der Warnvorrichtung 6 und der Informationsgabevorrichtung kann die Aufmerksamkeit des Fahrers auf das sich nähernde Objekt gerichtet werden, weil das Frontansichtbild und die Sprachmeldung sowohl den Seh- als auch den Hörsinn anspricht. Dadurch kann die Umgebungsüberwachungsvorrichtung in praktischer Hinsicht sehr vorteilhaft sein, weil sie den Fahrer wirksamer darin unterstützen kann, einen sicheren Zustand zu bestätigen, wenn das Fahrzeug in eine nicht einsehbare Kreuzung oder eine ähnliche Stelle einfährt.
Die vorgegebene Passierzeit Th in Schritt S16 beträgt beispielsweise 5 bis 3 Sekunden, die vorgegebene Passierzeit Tm in Schritt S18 beispielsweise 3 bis 2 Sekunden und die vorgegebene Passierzeit T1 in Schritt S20 beispielsweise etwa 2 bis 1 Sekunde. Die vorgegebene Fahrzeuggeschwindigkeit Vh ist dagegen eine Vorwärtsgeschwindigkeit von höchstens etwa 10 km/h und wird in der Umgebungsüberwachungsvorrichtung 2 im Voraus gesetzt.
Der durch die erfindungsgemäße Umgebungsüberwachungsvorrichtung ausgeführte Merkmalpunkterfassungsprozess wird nachstehend ausführlich beschrieben. Es wird vorausgesetzt, dass ein durch die Kamera aufgenommenes Bild in einem Koordinatensystem liegt, in dem die Ordinate die y-Achse und die Abszisse die x-Achse darstellt, wobei der Ursprung an der oberen linken Ecke der Bilddaten angeordnet ist, wie in 5 dargestellt ist. Zunächst bestimmt der Merkmalpunkterfassungsabschnitt 11 partielle Ableitungen ∂I/∂x und ∂I/∂y bezüglich den jeweiligen Richtungen der x- und der y-Achse eines Bildes I. Der Merkmalpunkterfassungsabschnitt 11 bestimmt dann räumliche Matrizen G(p) aller Pixel des Bildes I unter Verwendung der folgenden Gleichung (1):
Der Merkmalpunkterfassungsabschnitt 11 berechnet dann Eigenwerte λmin(p) und λmax(p) bezüglich der räumlichen Matri zen G(p), extrahiert vorgegebene Werte, die als merkmalbehaftet betrachtet werden, und definiert sie als Merkmalpunkte.
Dann verfolgt der Merkmalpunktverfolgungsabschnitt 13 zeitliche Änderungen der Merkmalpunkte des Frontansichtbildes, die auf die vorstehend erwähnte Weise erhalten wurden. Der Passierzeitberechnungsabschnitt 14 berechnet dann den Zeitpunkt, zu dem das sich nähernde Objekt die Vorderseite des Fahrzeugs A passiert, basierend auf den durch den Merkmalpunktverfolgungsabschnitt 13 verfolgten Merkmalpunkten des sich nähernden Objekts.
D.h., die Frontansichtkameras 1 sind im wesentlichen unter rechten Winkeln bezüglich der Richtung angeordnet, in die das Fahrzeug (das eigene Fahrzeug) A sich bewegt, d.h. an Stellen, an denen sie Seitenbereiche (die rechte Seite FR und die linke Seite FL) in der Umgebung des Fahrzeugs A erfassen, wie in 6 dargestellt ist. In diesem Fall kann der Zeitpunkt, zu dem das sich nähernde Objekt B die Vorderseite des Fahrzeugs A passiert, als der Zeitpunkt betrachtet werden, zu dem das sich nähernde Objekt B Ebenen kreuzt, die sich in Richtung der Oberfläche der fotoempfindlichen Vorrichtungen der Frontansichtkameras 1 erstrecken.
Zum Bestimmen einer solchen geschätzten Passierzeit kommen mehrere Verfahren in Betracht; in der Ausführungsform der vorliegenden Erfindung wird eine Berechnung zum Verbessern der Stabilität oder Unempfindlichkeit bezüglich Rauschen verwendet, indem mehrere Rahmen von den Spuren mehrerer Merkmalpunkte bestimmt werden. "Rauschen" bezeichnet den Fehler zwischen der berechneten Spur und der realen Spur der Merkmalpunkte.
Nachstehend wird das Prinzip der erfindungsgemäßen Berechnung des geschätzten Passierzeitpunkts unter Bezug auf ein Prinzipdiagramm von 7 beschrieben.
Es wird vorausgesetzt, dass die Koordinaten eines Merkmalpunktes i zu einem Zeitpunkt t_f durch (x_i(t_f), y_i(t_f)) gegeben sind. Die folgende Determinante einer Matrix W wird aufgestellt:
wobei F die Anzahl (≥ 3) von bezüglich des Merkmalpunkts zu verfolgenden Rahmen, P die Anzahl aller Merkmalpunkte P (≥ 3), t₁ den Zeitpunkt, zu dem die Merkmalverfolgung gestartet wird und t_F die aktuellen Rahmenzeit bezeichnen.
Hierbei bezeichnet [x(tF), y(tF)]T (3)den Mittelpunkt aller Merkmalpunkte zum Zeitpunkt t_f, und kann durch die folgenden Gleichungen dargestellt werden:
Die vorliegende Erfindung kann nicht nur auf ein schwaches perspektivisches Projektionsmodell und ein orthogonales Projektionsmodell angewendet werden, sondern auch auf ein der tatsächlichen perspektivischen Projektion ähnliches paralleles perspektivisches Projektionsmodell. In der folgenden Beschreibung wird die vorliegende Erfindung auf ein schwaches perspektivisches Projektionsmodell angewendet.
Zunächst wird vorausgesetzt, dass in einem in 7 dargestellten dreidimensionalen realen Raum die Position der Frontansichtkamera 1 durch p(t_f), ein Vektor in Richtung der optischen Achse der Frontansichtkamera 1 durch k(t_f) und Vektoren in vertikalen und horizontalen Richtungen im Raum, in dem die Frontansichtkameras 1 sich befinden, durch einen vertikalen Vektor j(t_f) und bzw. einen horizontalern Vektor i(t_f) dargestellt werden. In 7 sind die Vektoren i(t_f), j(t_f) und k(t_f) sich senkrecht zueinander erstreckende Einheitsvektoren. Es wird vorausgesetzt, dass die Merkmalpunkte im realen Raum fest sind, sichtbare Änderungen im Bild durch eine Bewegung der Kamera erzeugt werden, und die Position des Merkmalpunkts i im realen Raum durch die folgende Gleichung s_i = (s_i, y_i, z_i)^T dargestellt wird.
In der schwachen perspektivischen Projektion kann eine Transformation eines realen Raums in ein Bild durch eine Transformationsgleichung linear ausgeführt werden. Die schwache perspektivische Projektion ist ein Verfahren, in dem eine zu einer Bildebene parallele virtuelle Bildebene simuliert wird, wie in 7 dargestellt ist. Wenn die virtuelle Bildebene simuliert wird, wird der Merkmalpunkt i zunächst orthogonal auf die virtuelle Bildebene projiziert und dann von der virtuellen Bildebene auf die Bildebene perspektivisch projiziert.
Die durch eine derartige schwache perspektivische Projektion erhaltenen Koordinaten des Merkmalpunktes i auf dem Bild zum Zeitpunkt t_f werden durch folgenden Gleichungen dargestellt:
wobei z(t_f) einen Parameter bezeichnet, der den Abstand zwischen der Kamera und der virtuellen Bildebene darstellt.
Im Fall des vorstehend beschriebenen schwachen perspektivischen Projektionsmodells wird vorausgesetzt, dass der Ursprung im realen Raum sich bei einem Vektor c befindet, der den Mittelpunkt aller Merkmalpunkte definiert, und der Ursprung im realen Raum, d.h. der Mittelpunkt aller Merkmalpunkte, sich auf der virtuellen Bildebene befindet. Daher kann die folgende Gleichung aufgestellt werden:
In diesem Fall wird z(t_f) als Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera umdefiniert. Die Determinante der durch Gleichung (2) dargestellten Matrix W kann in zwei Matrizen M und S zerlegt werden, die durch die folgenden Gleichungen (9) und (10) dargestellt werden, wobei W = M·S ist:
S = [s1 ... sp] (10)
Hierbei werden der Vektor m(t_f) durch i(t_f)/z(t_f) und der Vektor n(t_f) durch j(t_f)/z(t_f) dargestellt. Die Vektoren i(t_f) und j(t_f) definieren die Lage der Kamera zum Zeitpunkt t_f, und der Vektor z(t_f) definiert die Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera. D.h., die Matrix M stellt Information über die Relativbewegung zwischen Objekt und Kamera dar. Die Elemente s_i der Matrix S stellen die Positionen der Merkmalpunkte im realen Raum dar. Daher stellt die Matrix S Information über die Form des Objekts im realen Raum dar.
D.h., eines der Hauptmerkmale der vorliegenden Erfindung ist, dass die das Erscheinungsbild der Merkmalpunkte auf dem Bild darstellende Matrix W eingegeben und in die die Relativbewegungen zwischen den Merkmalpunkten und der Kamera im realen Raum darstellende Bewegungsmatrix M und die die Positionen der Merkmalpunkte im realen Raum darstellende Formmatrix S zerlegt wird, woraufhin der Zeitpunkt berechnet wird, zu dem das sich nähernde Objekt das Fahrzeug erwartungsgemäß passiert.
Diese Ausführungsform der erfindungsgemäßen Fahrzeugumgebungsüberwachungsvorrichtung mit den vorstehend erwähnten Merkmalen wird nachstehend näher beschrieben. In dieser Ausführungsform der erfindungsgemäßen Fahrzeugumgebungsüberwachungsvorrichtung wird eine schwache perspektivische Projektion oder eine parallele perspektivische Projektion verwendet, wobei eine entsprechende Rechenverarbeitung nicht besonders eingeschränkt sein sollte, insofern die Matrix W in die Bewegungsmatrix M und die Formmatrix S zerlegbar ist.
Wenn die Matrix W in zwei singuläre Werte zerlegt wird, wird die folgende-Gleichung erhalten:
Hierbei ist die Matrix U eine 2F×L Orthogonalmatrix, die Matrix Σ eine L×L Diagonalmatrix, die Matrix V^T eine L×P Orthogonalmatrix, und L der kleinere Wert von 2F und P. In der Diagonalmatrix Σ sind die Elemente in absteigender Folge angeordnet: σ₁ ≥ σ₂ ≥ ... ≥ σ_L. F bezeichnet die Anzahl der Rahmen.
Nachstehend werden die Größen der Matrizen M und S beschrieben. Weil die Vektoren i(t_f) und j(t_f) im dreidimensionalen realen Raum angeordnet sind, sind die durch die Vektoren i(t_f) und j(t_f) gebildeten Vektoren m(t_f) und n(t_f) ebenfalls dreidimensionale Vektoren. Weil die Anzahl der Rahmen, wie vorstehend erwähnt, F beträgt, und F Rahmen bei jedem der Vektoren m(t_f) und n(t_f) angeordnet sind, beträgt die Größe der durch die Vektoren m(t_f) und n(t_f) gebildeten Matrix M 2F×3. Ähnlicherweise ist auch der Vektor s_i, der die Position im dreidimensionalen realen Raum darstellt, ein dreidimensionaler Vektor. Außerdem beträgt, weil die Anzahl der Merkmalpunkte P beträgt, die Größe der durch die Vektoren s_i gebildeten Matrix S 3×P. Andererseits ist, weil die Matrix W gemäß den Gleichungen (7) und (8) das Produkt aus der Matrix M und der Matrix S ist, der Rang der Matrix W hinsichtlich der Größen der Matrizen M und S kleiner oder gleich 3.
Wenn Gleichung (11) näherungsweise durch das Produkt aus einer 2F×3-Matrix U', die durch die ersten drei Spalten der Matrix U gebildet wird, einer 3×3 Diagonalmatrix Σ' und einer 3×P Matrix V'^T, die durch die ersten drei Zeilen der Matrix V^T in Gleichung (11) gebildet wird, dargestellt wird, wird die folgende Gleichung (12) erhalten:
Im Allgemeinen enthält die Matrix W Rauschen, z.B. Verfolgungsfehler singulärer Punkte. Daher kann der Rang der Matrix W nicht immer kleiner oder gleich 3 sein. Wenn die Matrix W derart zerlegt wird, dass die Werte von σ₄ aufwärts als 0 betrachtet werden, wie durch Gleichung (12) dargestellt, kann die beste Näherungslösung gemäß einer Methode der kleinsten Quadrate erhalten werden. D.h., die vorliegende Erfindung hat den Vorteil, dass die Stabilität gewährleistet werden kann, weil Rauschkomponenten in der Simulation bei der Zerlegung in singuläre Punkte im Voraus eliminiert werden.
Durch die Verwendung des Zerlegungsergebnisses in Gleichung (12) kann das folgende Zerlegungsergebnis erhalten werden: M ^ = U' (13) S ^ = Σ'V'T (14)
Durch diese Zerlegung kann Gleichung (13) die folgende Gleichung erfüllen: W = M ^S ^ (15)
Die durch Gleichung (15) dargestellte Zerlegung ist jedoch nicht eindeutig. Insbesondere unterscheiden sich die durch die Gleichungen (13) bzw. (14) dargestellten Matrizen M und S typischerweise voneinander. Wenn die Matrizen M und S folgendermaßen festgelegt werden, kann eine geeignete 3×3-Matrix gefunden werden, die sie verknüpft. M = M^A (16) S = A–1S ^ (17)
Nachstehend werden die Vektoren m(t_f) und n(t_f) näher betrachtet, die die in Gleichung (9) dargestellte Matrix M bilden. Die Vektoren m(t_f) und n(t_f) werden durch Vektoren i(t_f) bzw. j(t_f) gebildet. Die Vektoren i(t_f) und j(t_f) sind in einem orthogonalen Koordinatensystem orthogonal zueinander angeordnet, wie in 7 dargestellt ist. Daher müssen die Vektoren m(t_f) und n(t_f) die durch die folgenden Gleichungen dargestellten Bedingungen erfüllen:
m(tf)T n(tf) = 0 (19)
Die durch die Gleichungen (16) bzw. (17) dargestellten Matrizen M und S können erhalten werden, wenn die durch die Gleichungen (18) und (19) dargestellten Bedingungen erfüllt sind. Weil die Variable z(t_f), die die Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera zum Zeitpunkt t_f darstellt, unbekannt ist, ist es nicht ausreichend, wenn nur die durch die Gleichungen (18) und (19) dargestellten Bedingungen erfüllt sind. Auch wenn beispielsweise der Vektor m(t_f) = 0 und der Vektor n(t_f) = 0 sind, sind die durch die Gleichungen (18) und (19) dargestellten Bedingungen erfüllt. Aus diesem Grunde muss die durch folgende Gleichung dargestellte Bedingung hinzugefügt werden: m(tF)Tm(tF) = n(tF)Tn(tF) = 1 (20)
Gleichung (20) bedeutet, dass die Entfernung zwischen einem sich nähernden Objekt und der Kamera zum Zeitpunkt t_F, d.h. im aktuellen Rahmen, auf 1 gesetzt ist. Aufgrund der durch Gleichung (20) dargestellten Bedingung stellen die erhaltenen Matrizen M und S mindestens relative Größen bezüglich des aktuellen Rahmens dar. Daher kann die Variable z(t_f), die die Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera darstellt, nicht z.B. durch ein Messgerät als Absolutwert berechnet werden, kann aber relativ zur geschätzten Passierzeit berechnet werden, wie später beschrieben wird.
Nachstehend wird beschrieben, wie die geschätzte Passierzeit durch die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung berechnet wird. Nachdem die Matrix W in die Matrizen M und S zerlegt worden ist, wie durch Gleichung (7) dargestellt ist, wird die Bewegungsmatrix M analysiert. Insbesondere wird durch Betrachtung der Variablen z(t_f), die die Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera darstellt, die folgende Gleichung erhalten:
wobei der Vektor m(t_f) = i(t_f)/z(t_f), der Vektor n(t_f) = j(t_f)/z(t_f) ist und 1 ≤ f ≤ F ist.
Die Vektoren i(t_f) und j(t_f) sind Einheitsvektoren. Daher kann die Variable z(t_f) gemäß der folgenden Gleichung leicht erhalten werden:
Die für die vorstehend erwähnte Rechenverarbeitung verwendete Gleichung (20) ist der folgenden Gleichung z(t_f) = 1 äquivalent. Zeitfolgendaten, die die Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera darstellen und gemäß Gleichung (22) erhalten werden, bezeichnen Zeitfolgendaten für die relative Größe bezüglich der realen Entfernung zum Zeitpunkt t_F. Insbesondere muss, um die reale Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera zu erhalten, die Variable z(t_f) mit einer Konstanten multipliziert werden, wobei die Konstante jedoch unbekannt ist. Daher werden die Gleichung z(t_f) = z'(t_f)/z'(t_F) und die Gleichung z'(t_f) = α·z(t_f) betrachtet wobei 1 ≤ f ≤ F ist. In diesen Gleichungen bezeichnet z'(t_f) die reale Entfernung zwischen dem Mittelpunkt der Merkmalpunkte und der Kamera. Andererseits ist α eine unbekannte Konstante, die die Bedingung α > 0 erfüllt. Um die unbekannte Konstante α zu bestimmen, ist es notwendig, im Voraus gewisse Informationen zu erhalten (eine tatsächliche Entfernung zu einem bestimmten Zeitpunkt). Bei realen Straßenumgebungen ist es jedoch sehr schwierig, diese Informationen im Voraus zu bestimmen.
Daher müssen unabhängig davon, welcher Wert für die unbekannte Konstante α verwendet wird, hinsichtlich des Zeitpunkts, zu dem sowohl die in der vorstehend erwähnten Rechenverarbeitung bestimmte Entfernung z(t) als auch die reale Entfernung z'(t) gleich 0 werden, die reale Entfernung z'(t) gleich 0 sein, wenn die Entfernung z(t) gleich 0 ist, wie gemäß den vorstehenden Gleichungen ersichtlich ist. Umgekehrt darf, wenn z(t) ≠ 0 ist, die reale Entfernung z'(t) nicht gleich 0 sein. Daher ist, wenn die berechnete Entfernung z(t) gleich 0 ist, die reale Entfernung z'(t) unabhängig vom Wert der unbekannten Konstanten α gleich 0.
Nachstehend wird vorausgesetzt, dass die reale Entfernung z(t) in der Fahrzeugumgebungsüberwachungsvorrichtung gleich 0 ist. 9 entspricht einer Draufsicht von 7. In 9 entspricht die Entfernung z(t) dem inneren oder Skalarprodukt aus dem durch die Mitte der Kamera und allen Merkmalpunkten gebildeten Vektor und dem durch die optische Achse der Kamera gebildeten Vektor. Wenn daher z(t) = 0 ist, liegt der Mittelpunkt aller Merkmalpunkte auf der optischen Achse der Kamera. D.h., der Mittelpunkt aller Merkmalpunkte (d.h. der Mittelpunkt eines sich nähernden Objekts) liegt auf der Ebene der fotoempfindlichen Vorrichtung der Kamera. D.h., wenn die Entfernung z(t) = 0 ist, passiert ein sich näherndes Objekt die Ebene der fotoempfindlichen Vorrichtung der Kamera.
In der Fahrzeugumgebungsüberwachungsvorrichtung kann, wenn ein sich näherndes Objekt eine Fläche (die Ebene der fotoempfindlichen Vorrichtung der Kamera) vor dem eigenen Fahrzeug passiert, vorausgesetzt werden, dass die Entfernung, z(t) = 0 ist. D.h., die geschätzte Passierzeit ist die Zeit t_c, die die Bedingung z(t_c) = 0 erfüllt.
Insbesondere wird die Regressionslinie z(t) = at + b den Zeitfolgendaten z(t_f) (1 ≤ f ≤ F) bezüglich der Entfernung zwischen dem Mittelpunkt aller Merkmalpunkte und der Kamera zugeordnet, die unter Verwendung von Gleichung (22) erhalten werden, und der Zeitpunkt t_c = –(a/b), der die Regressionslinie z(t) = 0 erfüllt, wird als geschätzte Passierzeit bestimmt. Die derart erhaltenen Zeitfolgedaten z(t_f) (1 ≤ f ≤ F) enthalten, wie vorstehend erwähnt wurde, wahrscheinlich Rauschen.
Beim Bestimmen der Regressionslinie wird jedoch Rauschen eliminiert, indem die Methode der kleinsten Quadrate ausgeführt wird, wie vorstehend erwähnt wurde, so dass das im geschätzten Passierzeitpunkt enthaltene Rauschen auf einen minimal möglichen Pegel unterdrückt wird. Außerdem wird das Rauschen bei der Zerlegung in singuläre Werte unterdrückt. Dadurch kann die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung den Einfluss von Rauschen weiter einschränken, so dass der geschätzte Passierzeitpunkt, zu dem ein sich näherndes Objekt erwartungsgemäß die Vorderseite des Fahrzeugs passiert, mit höherer Genauigkeit berechnet werden kann.
Wie vorstehend beschrieben wurde, weist die vorliegende Ausführungsform der erfindungsgemäßen Fahrzeugumgebungsüberwachungsvorrichtung auf: den Merkmalpunkterfassungsabschnitt 11, der Merkmalpunkte in durch die Frontansichtkameras 1 aufgenommenen Seitenbildern erfasst und die Bewegungsvektoren der erfassten Merkmalpunkte berechnet, den Abschnitt 12 zum Erfassen eines sich nähernden Objekts, der ein Objekt mit einem Vektor aufweist, der in eine Näherungsrichtung zum Fahrzeug ausgerichtet ist, basierend auf den berechneten Bewegungsvektoren der Merkmalpunkte, den Merkmalpunktverfolgungsabschnitt 13, der die Merkmalpunkte des erfassten, sich nähernden Objekts verfolgt, und den Passierzeitberechnungsabschnitt 14, der den Zeitpunkt, zu dem das sich nähernde Objekt die Vorderseite des Fahrzeugs passiert, basierend auf den Merkmalpunkten des durch den Merkmalpunktverfolgungsabschnitt 13 verfolgten, sich nähernden Objekts berechnet. Insbesondere ist der Merkmalpunkterfassungsabschnitt 11 dazu geeignet, die optischen Flüsse der Merkmalpunkte in den Seitenbildern zu berechnen.
Daher extrahiert die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung Merkmalpunkte, beispielsweise Ecken, eines sich dem Fahrzeug A nähernden Objekts von durch die Frontansichtkameras 1 aufgenommenen Seitenbildern und berechnet den geschätzten Passierzeitpunkt, zu dem das sich nähernde Objekt erwartungsgemäß die Vorderseite des Fahrzeugs passiert, basierend auf den Spuren der Merkmalpunkte. Dadurch kann die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung den Zeitpunkt, zu dem ein sich näherndes Fahrzeug oder ein sich nähernder Fußgänger die Vorderseite des eigenen Fahrzeugs passiert, mit einer hohen Genauigkeit von den durch die Frontansichtkameras 1 aufgenommenen Seitenbildern schätzen.
Die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung weist ferner die Näherungsinformationsgabevorrichtungen (Displaysteuerungsabschnitt 15 und Warnvorrichtung 6) auf, die den Fahrer z.B. durch Erzeugen einer akustischen Warnung gemäß einem auf die vorstehend beschriebene Weise erhaltenen geschätzten Passierzeitpunkt darüber informiert, dass sich ein Objekt nähert. Daher kann die er findungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung gemäß der durch den Passierzeitberechnungsabschnitt berechneten geschätzten Passierzeitpunkt das Vorhandensein eines sich nähernden Objekts durch deutliches Kennzeichnen des sich nähernden Objekts auf dem im Fahrzeug installierten Monitor 5 anzeigen oder veranlassen, dass die Warnvorrichtung 6 einen akustischen Alarm erzeugt.
Außerdem weist die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung den Fahrzeuggeschwindigkeitssensor 4 als Geschwindigkeitserfassungseinrichtung zum Erfassen der Fahrzeuggeschwindigkeit auf. Wenn die durch den Fahrzeuggeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit kleiner oder gleich einer vorgegebenen Geschwindigkeit ist, wenn beispielsweise die Fahrzeuggeschwindigkeit kleiner oder gleich etwa 10 km/h ist, und wenn festgestellt wird, dass die geschätzte Passierzeit innerhalb einer vorgegebenen Zeitdauer liegen wird (z.B. innerhalb mehrerer Sekunden), kann die Bremse gesteuert werden, um das Fahrzeug A sicher zu stoppen und eine Kollision mit dem sich nähernden Objekt zu vermeiden.
Außerdem kann zum gleichen Zeitpunkt, zu dem ein sich näherndes Objekt auf dem Monitor 5 deutlich gekennzeichnet und ein akustischer Alarm durch die Warnvorrichtung erzeugt wird, wie vorstehend erwähnt wurde, das Vorhandensein des sich nähernden Objekts anzeigende Information durch eine Sprachmeldung an den Fahrer ausgegeben werden. Unter Verwendung einer Kombination derartiger Informationsgabevorrichtungen kann die Aufmerksamkeit des Fahrers auf das sich nähernde Objekt gelenkt werden, weil das Frontansichtbild und der Alarm sowohl den Seh- als auch den Hörsinn ansprechen, so dass die Fahrzeugumgebungsüberwachungsvorrichtung aus praktischen Gesichtspunkten äußerst vorteilhaft ist, weil sie den Fahrer wirksamer darin unterstützen kann, einen sicheren Zustand zu bestätigen, wenn das Fahrzeug in eine nicht einsehbare Kreuzung oder eine ähnliche Stelle einfährt.
Die vorliegende Erfindung ist nicht auf die vorstehend beschriebene Ausführungsform beschränkt. Beispielsweise können der Sichtwinkel (der Aufnahme-Sichtwinkel) und die Bildaufnahmerichtung der Frontansichtkameras 1 gemäß den Spezifikationen des Fahrzeugs festgelegt werden. Obwohl gemäß der vorstehenden Beschreibung die Frontansichtkameras 1 im vorderen Abschnitt des Fahrzeugs angeordnet sind, ist die vorliegende Erfindung nicht darauf beschränkt, sondern die Kameras 1 können auch im hinteren Abschnitt des Fahrzeugs angeordnet sein. Im hinteren Abschnitt des Fahrzeugs angeordnete Kameras sind beispielsweise dann vorteilhaft, wenn der Fahrer rückwärts aus einer Garage herausfährt. Außerdem kann der Vergrößerungsfaktor zum Vergrößern eines auf dem Monitor 5 dargestellten, sich nähernden Objekts gemäß der Bildschirmgröße des Monitors 5 und der Größe des in den Frontansichtbildern erfassten, sich nähernden Objekts beliebig festgelegt werden.
Außerdem ist die erfindungsgemäße Fahrzeugumgebungsüberwachungsvorrichtung nicht auf die vorstehend beschriebene Ausführungsform beschränkt, sondern innerhalb des Schutzumfangs der vorliegenden Erfindung können verschiedenartige Änderungen oder Modifikationen in der beschriebenen Ausführungsform vorgenommen werden.

Claims

Fahrzeugumgebungsüberwachungsvorrichtung mit: einer in einem vorderen oder einem hinteren Abschnitt eines Fahrzeugs installierten Kamera (1) zum Aufnehmen von Bildern einer Seitenansicht des Fahrzeugs; einer Merkmalpunkterfassungseinrichtung (11) zum Erfassen von Merkmalpunkten in den Seitenbildern und zum Berechnen von Bewegungsvektoren der erfassten Merkmalpunkte; einer Einrichtung (12) zum Erfassen eines sich nähernden Objekts zum Erfassen eines Objekts, das einen Vektor in eine Annäherungsrichtung zum Fahrzeug aufweist, in den Seitenbildern als ein sich näherndes Objekt basierend auf den berechneten Bewegungsvektoren der Merkmalpunkte; und einer Merkmalpunktverfolgungseinrichtung (13) zum Verfolgen der Merkmalpunkte des erfassten, sich nähernden Objekts; dadurch gekennzeichnet, dass die Umgebungsüberwachungsvorrichtung ferner aufweist: eine Passierzeitberechnungseinrichtung (14) zum Berechnen eines Zeitpunkts, zu dem das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs passiert, von den durch die Merkmalpunktverfolgungseinrichtung (13) verfolgten Merkmalpunkten des sich nähernden Objekts.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Merkmalpunkterfassungseinrichtung (11) die Be wegungsvektoren durch Berechnen optischer Flüsse der Merkmalpunkte in den Seitenbildern bestimmt.
Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die. Fahrzeugumgebungsüberwachungsvorrichtung ferner eine Annäherungsinformationsgabeeinrichtung (6, 15) aufweist, die dazu geeignet ist, einen Fahrer über ein sich näherndes Objekt durch Erzeugen einer akustischen Warnung zu informieren, und wobei die Annäherungsinformationsgabeeinrichtung (6, 15) den Fahrer über ein sich näherndes Objekt informiert, wenn die Passierzeitberechnungseinrichtung bestimmt, dass das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs erwartungsgemäß innerhalb einer vorgegebenen Zeitdauer passiert.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Fahrzeugumgebungsüberwachungsvorrichtung ferner aufweist: eine Geschwindigkeitserfassungseinrichtung (4) zum Erfassen einer Geschwindigkeit des Fahrzeugs; und eine Bremsensteuerungseinrichtung (7) zum Steuern einer Bremse des Fahrzeugs, um das Fahrzeug zu stoppen, wenn die durch die Geschwindigkeitserfassungseinrichtung erfasste Geschwindigkeit kleiner oder gleich einer vorgegebenen Geschwindigkeit ist und die Passierzeitberechnungseinrichtung (14) bestimmt, dass das sich nähernde Objekt die Vorder- oder Rückseite des Fahrzeugs erwartungsgemäß innerhalb einer vorgegebenen Zeitdauer passiert.