DE602004011164T2

DE602004011164T2 - Vorrichtung und Methode zur Anzeige von Informationen

Info

Publication number: DE602004011164T2
Application number: DE602004011164T
Authority: DE
Inventors: Hideaki Tsuchiya; Tsutomu Tanzawa
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2003-10-17
Filing date: 2004-10-15
Publication date: 2008-12-24
Anticipated expiration: 2024-10-16
Also published as: EP1524638B1; DE602004011164D1; EP1524638B9; US7356408B2; US20050086000A1; EP1524638A1

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Informationsdisplayvorrichtung und ein Informationsdisplayverfahren. Insbesondere richtet sich die Erfindung auf die Anzeige sowohl einer Fahrbedingung vor dem eigenen Fahrzeug als auch einer Navigationsinformation in einem Überlagerungsmodus.
Das Dokument EP 1300717 beschreibt ein Überkopfbild-Displaysystem für ein Fahrzeug zum Anzeigen der Anwesenheit von und der relativen Distanzen zu anderen Fahrzeugen.
2. Beschreibung des Stands der Technik
Seit einigen Jahren richtet sich die spezielle Aufmerksamkeit auf eine Informationsdisplayvorrichtung, bei der eine Fahrbedingung vor dem eigenen Fahrzeug auf einer am eigenen Fahrzeug angebrachten Displayeinheit in Kombination mit Navigationsinformation angezeigt wird. Beispielsweise zeigt die offengelegte JP-Patentanmeldung Nr. Hei-11-250396 (nachstehend als Patentveröffentlichung 1 bezeichnet) eine Displayvorrichtung füt ein Fahrzeug, wobei ein Teil-Infrarotbild, das einer Zone entspricht, in der das eigene Fahrzeug fährt, in einem mit einer Infrarotkamera aufgenommenen Infrarotbild auf einem Displaybildschirm so angezeigt wird, daß das Teil-Infrarotbild einem Kartenbild überlagert ist. Da gemäß der Patentveröffentlichung 1 ein solches Teil-Infrarotbild, aus dem ein Bildbereich mit geringer Bedeutung ausgeschnitten ist, dem Kartenbild überlagert wird, können Art und Dimensionen von Hindernissen leicht erkannt werden, und dadurch kann die Erkennung von Zielcharakteristiken verbessert werden. Andererseits zeigt die offengelegte JP-Patentanmeldung Nr. 2002-46504 (nachstehend als Patentveröffentlichung 2 bezeichnet) eine Fahrgeschwindigkeitssteuervorrichtung, die eine Informationsdisplayvor richtung hat, bei der Positionsinformationen in bezug auf ein an der Peripherie fahrendes Fahrzeug und ein in bezug auf das eigene Fahrzeug folgendes Fahrzeug einer aus einer Karteninformation erzeugten Fahrbahngestalt überlagert werden und das resultierende Bild dann auf dem Displaybildschirm angezeigt wird. Gemäß der Patentveröffentlichung 2 werden eine Markierung, die die Position des eigenen Fahrzeugs bezeichnet, eine Markierung, die eine Position des folgenden Fahrzeugs darstellt, und eine Markierung, die eine Position des an der Peripherie fahrenden Fahrzeugs bezeichnet, das nicht das folgende Fahrzeug ist, zur Anzeige gebracht, so daß die Farben und Muster dieser Markierungen in bezug aufeinander geändert werden und diese Markierungen einem Straßenbild überlagert sind.
Nach der Patentveröffentlichung 1 jedoch wird das Infrarotbild nur angezeigt, und der Nutzer erkennt die Hindernisse aus dem Infrarotbild, das dynamisch verändert wird. Nach der Patentveröffentlichung 2 werden zwar das eigene Fahrzeug, das nachfolgende Fahrzeug und das an der Peripherie fahrende Fahrzeug in verschiedenen Anzeigebetriebsarten angezeigt, aber andere notwendige Informationen abgesehen von der oben beschriebenen Anzeigeinformation können nicht erhalten werden.
Außerdem besteht nach den in den Patentveröffentlichungen 1 und 2 angegebenen Verfahren die Möglichkeit, daß die Farbe eines Ziels, das sich tatsächlich vor dem eigenen Fahrzeug befindet, nicht mit der Farbe eines auf der Displayvorrichtung angezeigten Ziels übereinstimmt. Infolgedessen kann ein Farbunterschied zwischen diesen beiden Farben dem Nutzer eventuell das Gefühl einer Ungereimtheit vermitteln. Diese Informationsdisplayvorrichtungen sind mit dem Ziel ausgebildet, Sicherheit und komfortables Fahren zu erreichen. Anwenderfreundliche Merkmale dieser Vorrichtungen können zusätzliche Werte darstellen und den Kaufwunsch bei Anwendern fördern. Infolgedessen sind bei diesen Arten von Vorrichtungen höhere anwenderfreundliche Funktionen sowie spezielle Funktionen erforderlich.
Zusammenfassung der Erfindung
Eine Aufgabe der vorliegenden Erfindung ist die Bereitstellung einer Informationsdisplayvorrichtung und eines Informationsdisplayverfahrens, wobei sowohl eine Navigati onsinformation als auch eine Fahrbedingung in einem Überlagerungsmodus angezeigt werden und eine verbesserte anwenderfreundliche Eigenschaft der Informationsdisplayvorrichtung vorgesehen ist.
Zur Lösung der vorgenannten Aufgabe weist eine Informationsanzeigevorrichtung nach einem ersten Aspekt der vorliegenden Erfindung folgendes auf:
einen Vorschausensor zum Detektieren einer Fahrbedingung vor dem eigenen Fahrzeug;
ein Navigationssystem zum Ausgeben einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs;
eine Erkennungseinheit zum Erkennen einer Vielzahl von Zielen, die sich vor dem eigenen Fahrzeug befinden, auf der Basis eines Detektierergebnisses von dem Vorschausensor und zum Klassifizieren der erkannten Ziele nach Arten, zu denen die mehreren Ziele gehören;
eine Steuereinheit zum Bestimmen von anzuzeigender Information auf der Basis sowohl der von der Erkennungseinheit erkannten Ziele als auch der Navigationsinformation; und
eine Displayeinrichtung zum Anzeigen der bestimmten Information unter Steuerung durch die Steuereinheit,
wobei die Steuereinheit die Displayeinrichtung so steuert, daß sowohl das die erkannten Ziele bezeichnende Symbol als auch das die Navigationsinformation bezeichnende Symbol einander überlagert angezeigt werden, und wobei sie die Displayeinrichtung so steuert, daß die Vielzahl von Symbolen durch Verwendung einer Vielzahl von unterschiedlichen Displayfarben angezeigt werden, die den Arten entsprechen, zu denen die jeweiligen Ziele gehören.
Bei dem ersten Aspekt der vorliegenden Erfindung wird in diesem Fall von der Erkennungseinheit das erkannte Ziel bevorzugt klassifiziert nach mindestens einem von einem Kraftfahrzeug, einem Zweiradfahrzeug, einem Fußgänger und einem Hindernis.
Ferner weist ein Informationsdisplayverfahren nach einem zweiten Aspekt der vorliegenden Erfindung die folgenden Schritte auf:
einen ersten Schritt des Erkennens einer Vielzahl von vor dem eigenen Fahrzeug befindlichen Zielen auf der Basis eines durch Detektieren einer Fahrbedingung vor dem eigenen Fahrzeug erhaltenen Detektierergebnisses und der Klassifizierung der erkannten Ziele nach Arten, zu denen die Vielzahl von Zielen gehört;
einen zweiten Schritt des Erhaltens einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs; und
einen dritten Schritt des Bestimmens von anzuzeigender Information auf der Basis sowohl der in dem ersten Schritt erkannten Ziele als auch der in dem zweiten Schritt erhaltenen Navigationsinformation und des Anzeigens der bestimmten Information,
wobei der dritte Schritt aufweist: das Anzeigen sowohl der die erkannten Ziele bezeichnenden Symbole und der Navigationsinformation auf überlagernde Weise, und das Anzeigen der Vielzahl von Symbolen durch Verwendung einer Vielzahl von verschiedenen Displayfarben, die den Arten entsprechen, zu denen die jeweiligen Ziele gehören.
Bei dem zweiten Aspekt der vorliegenden Erfindung weist in diesem Fall der erste Schritt bevorzugt das Klassifizieren des erkannten Ziels nach mindestens einem von einem Kraftfahrzeug, einem Zweiradfahrzeug, einem Fußgänger und einem Hindernis auf.
Ferner weist eine Informationsdisplayvorrichtung nach einem dritten Aspekt der vorliegenden Erfindung folgendes auf:
einen Vorschausensor zum Detektieren einer Fahrbedingung vor dem eigenen Fahrzeug;
ein Navigationssystem zum Ausgeben einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs;
eine Erkennungseinheit zum Erkennen einer Vielzahl von Zielen, die sich vor dem eigenen Fahrzeug befinden, auf der Basis eines Detektierergebnisses von dem Vorschausensor, und zum Berechnen von Gefahrengraden der erkannten Ziele in bezug auf das eigene Fahrzeug;
eine Steuereinheit zum Bestimmen von anzuzeigender Information auf der Basis sowohl der von der Erkennungseinheit erkannten Ziele als auch der Navigationsinformation; und
eine Displayeinrichtung zum Anzeigen der bestimmten Information unter Steuerung durch die Steuereinheit,
wobei die Steuereinheit die Displayeinrichtung so steuert, daß sowohl die erkannten Ziele bezeichnende Symbole als auch die Navigationsinformation einander überlagernd angezeigt werden, und ferner die Displayeinrichtung so steuert, daß die Vielzahl von Symbo len unter Verwendung einer Vielzahl von verschiedenen Displayfarben, die den Gefahrengraden entsprechen, angezeigt werden.
Ferner weist ein Informationsdisplayverfahren nach einem vierten Aspekt der vorliegenden Erfindung die folgenden Schritte auf:
einen ersten Schritt des Erkennens einer Vielzahl von vor dem eigenen Fahrzeug befind lichen Zielen auf der Basis eines durch Detektieren einer Fahrbedingung vor dem eigenen Fahrzeug erhaltenen Detektierergebnisses, und des Berechnens von Gefahrengraden der erkannten Ziele in bezug auf das eigene Fahrzeug;
einen zweiten Schritt des Erhaltens einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs; und
einen dritten Schritt des Bestimmens der anzuzeigenden Information auf der Basis sowohl der in dem ersten Schritt erkannten Ziele als auch der in dem zweiten Schritt erhaltenen Navigationsinformation, und des Anzeigens der bestimmten Information,
wobei der dritte Schritt aufweist: Anzeigen sowohl der die erkannten Ziele bezeichnenden Information als auch der Navigationsinformation in überlagernder Weise, und Anzeigen der Vielzahl von Symbolen unter Verwendung einer Vielzahl von verschiedenen Displayfarben, die den Gefahrengraden entsprechen.
Dabei werden entweder nach dem dritten oder dem vierten Aspekt der vorliegenden Erfindung die Displayfarben bevorzugt mit drei oder mehr unterschiedlichen Farben in Abhängigkeit von den Gefahrengraden eingestellt.
Nach der vorliegenden Erfindung können die vor dem eigenen Fahrzeug befindlichen Ziele auf der Basis des Detektierergebnisses des Vorschausensors erkannt werden. Dann werden die die Ziele bezeichnenden Symbole und die Navigationsinformation im Überlagerungsmodus angezeigt. In diesem Fall wird die Displayeinrichtung so gesteuert, daß die anzuzeigenden Symbole in den verschiedenen Displayfarben in Abhängigkeit von den erkannten Zielen angezeigt werden. Da die Unterschiede zwischen den Zielen auf der Basis der Färbung beurteilt werden können, kann somit die durch Sicht erkennbare Charakteristik für den Anwender verbessert werden. Somit kann die anwenderfreundliche Eigenschaft verbessert werden.
Zur Lösung der oben beschriebenen Aufgabe weist außerdem eine Informationsdisplayvorrichtung nach einem fünften Aspekt der vorliegenden Erfindung folgendes auf: eine Kamera zum Ausgeben eines Farbbilds durch Fotografieren einer Szene vor dem eigenen Fahrzeug;
ein Navigationssystem zum Ausgeben einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs;
eine Erkennungseinheit zum Erkennen eines Ziels, das sich vor dem eigenen Fahrzeug befindet, auf der Basis des ausgegebenen Farbbilds und zum Ausgeben der Farbinformation des erkannten Ziels;
eine Steuereinheit zum Bestimmen von anzuzeigender Information auf der Basis sowohl der von der Erkennungseinheit erkannten Ziele als auch der Navigationsinformation; und
eine Displayeinrichtung zum Anzeigen der bestimmten Information unter Steuerung durch die Steuereinheit,
wobei die Steuereinheit die Displayeinrichtung so steuert, daß ein das erkannte Ziel bezeichnendes Symbol und die Navigationsinformation einander überlagernd angezeigt werden, und wobei sie die Displayeinrichtung so steuert, daß das Symbol durch Verwenden einer Displayfarbe, die der Farbinformation des Ziels entspricht, angezeigt wird.
Bei der Informationsdisplayvorrichtung nach dem fünften Aspekt der vorliegenden Erfindung weist die Informationsdisplayvorrichtung ferner bevorzugt folgendes auf:
einen Sensor zum Ausgeben einer Distanzinformation, die eine zweidimensionale Verteilung einer Distanz vor dem eigenen Fahrzeug repräsentiert,
wobei die Erkennungseinheit eine Position des Ziels auf der Basis der Distanzinformation erkennt; und
die Steuereinheit die Displayeinrichtung so steuert, daß das Symbol in Übereinstimmung mit der Position des Ziels in einem realen Raum auf der Basis der von der Erkennungseinheit erkannten Position des Ziels angezeigt wird.
Bei der Informationsdisplayvorrichtung nach dem fünften Aspekt der vorliegenden Erfindung weist außerdem die Kamera bevorzugt auf: eine erste Kamera zum Ausgeben des Farbbilds durch Fotografieren der Szene vor dem eigenen Fahrzeug und eine zweite Kamera, die als eine Stereokamera wirksam ist, die gemeinsam mit der ersten Kamera betätigt wird; und wobei der Sensor die Distanzinformation ausgibt durch Ausführen einer Stereoabgleichoperation auf der Basis sowohl des von der ersten Kamera ausgegebenen Farbbilds als auch des von der zweiten Kamera ausgegebenen Farbbilds.
Wenn ferner bei der Informationsdisplayvorrichtung nach dem fünften Aspekt der vorliegenden Erfindung die Erkennungseinheit eine solche Fahrbedingung beurteilt, daß sich die ausgegebene Farbinformation des Ziels von einer tatsächlichen Farbe des Ziels unterscheidet, dann kann die Erkennungseinheit die Farbinformation des Ziels auf der Basis der zum vorherigen Zeitpunkt ausgegebenen Farbinformation des Ziels angeben; und die Steuereinheit kann die Displayeinrichtung so steuern, daß das Symbol durch Verwenden einer Displayfarbe, die der angegebenen Farbinformation entspricht, angezeigt wird.
Ferner kann bei der Informationsdisplayvorrichtung nach dem fünften Aspekt der vorliegenden Erfindung die Steuereinheit die Displayeinrichtung so steuern, daß in bezug auf ein Ziel, dessen Farbinformation von der Erkennungseinheit nicht ausgegeben wird, das dieses Ziel bezeichnende Symbol durch Verwenden einer vorbestimmten Displayfarbe, die vorher eingestellt worden ist, angezeigt wird.
Ferner weist ein Informationsdisplayverfahren nach einem sechsten Aspekt der vorliegenden Erfindung die folgenden Schritte auf:
einen ersten Schritt des Erkennens eines vor dem eigenen Fahrzeug befindlichen Ziels auf der Basis eines durch Fotografieren einer Szene vor dem eigenen Fahrzeug erhaltenen Farbbilds und des Erzeugens einer Farbinformation des erkannten Ziels;
einen zweiten Schritt des Erhaltens einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs; und
einen dritten Schritt des überlagerten Anzeigens eines das erkannte Ziel bezeichnenden Symbols und der Navigationsinformation, so daß das Symbol durch Verwendung einer Displayfarbe, die der erzeugten Farbinformation des Ziels entspricht, angezeigt wird.
Bei dem Informationsdisplayverfahren nach dem sechsten Aspekt der vorliegenden Erfindung kann das Informationsdisplayverfahren ferner einen vierten Schritt des Erkennens einer Position des Ziels auf der Basis einer Distanzinformation aufweisen, die eine zweidimensionale Verteilung einer Distanz vor dem eigenen Fahrzeug bezeichnet. In die sem Fall kann der dritte Schritt das Symbol in Übereinstimmung mit einer Position des Ziels in einem realen Raum auf der Basis der Position des erkannten Ziels anzeigen.
Feiner weist bei dem Informationsdisplayverfahren nach dem sechsten Aspekt der vorliegenden Erfindung bevorzugt der erste Schritt einen Schritt auf, in dem dann, wenn eine solche Fahrbedingung beurteilt wird, daß sich die erzeugte Farbinformation des Ziels von einer tatsächlichen Farbe des Ziels unterscheidet, eine Farbinformation des Ziels auf der Basis der Farbinformation des Ziels angegeben wird, die unter der richtigen Fahrbedingung ausgegeben worden ist; und der dritte Schritt weist einen Schritt auf, in dem die Displayeinrichtung so gesteuert wird, daß das Symbol durch Verwendung einer Displayfarbe, die der angegebenen Farbinformation entspricht, angezeigt wird.
Ferner weist bei dem Informationsdisplayverfahren nach dem sechsten Aspekt der vorliegenden Erfindung bevorzugt der dritte Schritt einen Schritt auf, in dem die Displayeinrichtung so gesteuert wird, daß in bezug auf ein Ziel, dessen Farbinformation nicht erzeugt wird, das dieses Ziel bezeichnende Symbol durch Verwenden einer vorbestimmten Displayfarbe, die vorher eingestellt worden ist, angezeigt wird.
Gemäß der vorliegenden Erfindung wird das vor dem eigenen Fahrzeug befindliche Ziel erkannt auf der Basis des durch Fotografieren der Szene vor dem eigenen Fahrzeug erhaltenen Farbbilds, und ferner wird die Farbinformation dieses Ziels ausgegeben. Dann wird die Displayeinrichtung so gesteuert, daß das dieses erkannte Ziel bezeichnende Symbol und die Navigationsinformation einander überlagernd angezeigt werden. In diesem Fall wird das anzuzeigende Symbol durch Verwenden einer Displayfarbe angezeigt, die der ausgegebenen Farbinformation des Ziels entspricht. Infolgedessen kann die vom Fahrer tatsächlich erkannte Fahrbedingung den auf der Displayeinrichtung angezeigten Symbolen hinsichtlich der Farbe entsprechen, so daß das auftretende Gefühl der Nichtübereinstimmung der Farben zwischen der erkannten Fahrbedingung und den angezeigten Symbolen verringert werden kann. Da die für den Anwender sichtbare erkennbare Charakteristik verbessert werden kann, kann infolgedessen der Aspekt der Anwenderfreundlichkeit verbessert werden.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockbild und zeigt eine Gesamtanordnung einer Informationsdisplayvorrichtung nach einer ersten Ausführungsform der vorliegenden Erfindung;
2 ist ein Flußdiagramm und zeigt eine Sequenz eines Informationsdisplayablaufs gemäß der ersten Ausführungsform;
3A–3D sind schematische Darstellungen von Beispielen für Displaysymbole;
4 ist ein erläuterndes Schema, um einen Displayzustand der Displayvorrichtung zu zeigen;
5 ist ein erläuterndes Schema, um einen anderen Displayzustand der Displayvorrichtung zu zeigen;
6 ist ein Blockbild und zeigt eine Gesamtanordnung einer Informationsdisplayvorrichtung nach einer dritten Ausführungsform der vorliegenden Erfindung;
7 ist ein Flußdiagramm und zeigt eine Sequenz eines Informationsdisplayablaufs gemäß der dritten Ausführungsform;
8 ist ein erläuterndes Schema, um einen Displayzustand der Displayvorrichtung zu zeigen; und
9 ist ein Schema, das einen Anzeigezustand vor dem eigenen Fahrzeug zeigt.
Genaue Beschreibung der Erfindung
(Erste Ausführungsform)
1 ist ein Blockbild und zeigt eine Gesamtanordnung einer Informationsdisplayvorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung. Ein Vorschausensor 2 erfaßt eine Fahrbedingung vor dem eigenen Fahrzeug. Als Vorschausensor 2 kann eine Stereobildverarbeitungsvorrichtung verwendet werden. Die Stereobildverarbeitungsvorrichtung ist auf diesem technischen Gebiet wohlbekannt und besteht aus einer Stereokamera und einem Bildverarbeitungssystem.
Die Stereokamera, die eine Szene vor dem eigenen Fahrzeug fotografiert, ist beispielsweise in der Nähe eines Innenspiegels des eigenen Fahrzeugs angebracht. Die Stereokamera besteht aus einer Hauptkamera 20 und einer Unterkamera 21, die ein Paar bilden. Ein Bildsensor (z. B. entweder ein CCD-Sensor oder ein CMOS-Sensor etc.) ist in jede dieser Kameras 20 und 21 eingebaut. Die Hauptkamera 20 fotografiert ein Referenzbild, und die Unterkamera 21 fotografiert ein Vergleichsbild, die erforderlich sind, um eine Stereobildverarbeitung durchzuführen. Unter der Bedingung, daß der Betrieb der Hauptkamera 20 mit dem Betrieb der Unterkamera 21 synchronisiert ist, werden von der Hauptkamera 20 und der Unterkamera 21 ausgegebene jeweilige Analogbilder von A-D-Wandlern 22 bzw. 23 in Digitalbilder umgewandelt, die eine vorbestimmte Leuchtdichteabstufung haben (beispielsweise einen Grauwert mit 256 Abstufungen).
Ein Paar von digitalen Bilddaten wird von einer Bildkorrektuteinheit 24 so bearbeitet, daß Leuchtdichte- bzw. Luminanzkorrekturen, geometrische Bildtransformationen usw. ausgeführt werden. Unter Normalbedingungen werden, da Fehler in bezug auf Anbringpositionen der einpaarigen Kameras 20 und 21 in gewissem Umfang auftreten können, durch diese Positionsfehler verursachte Verschiebungen in jedem der Referenz- und Kombinationsbilder erzeugt. Zur Korrektur dieser Bildverschiebung wird eine affine Transformation u. dgl. angewandt, so daß geometrische Transformationen durchgeführt werden, und zwar wird ein Bild gedreht und parallel bewegt.
Nachdem die digitalen Bilddaten entsprechend einer solchen Bildverarbeitung verarbeitet worden sind, wird von der Hauptkamera 20 Referenzbildinformation erhalten, und von der Unterkamera 21 wird Vergleichsbildinformation erhalten. Diese Referenz- und Vergleichbilddaten entsprechen einer Menge von Leuchtdichtewerten (0 bis 255) von jeweiligen Pixels. In diesem Fall ist eine Bildebene, die durch Bilddaten definiert ist, durch ein i-j-Koordinatensystem dargestellt. Während eine untere linke Ecke des Bilds als ein Ursprung angenommen wird, wird eine Horizontalrichtung als eine i-Koordinatenachse angenommen, wogegen eine Vertikalrichtung als eine j-Koordinaten-achse angenommen wird. Stereobilddaten, die einem Rahmen äquivalent sind, werden an eine Stereobildverarbeitungseinheit 25 ausgegeben, die der Bildkorrektureinheit 24 nachgeschaltet ist, und außerdem in einem Bilddatenspeicher 26 gespeichert.
Die Stereobildverarbeitungseinheit 25 errechnet eine Distanzinformation auf der Basis sowohl der Referenzbildinformation als auch der Vergleichsbildinformation, während die Distanzinformation auf ein fotografisches Bild äquivalent 1 Rahmen bezogen ist. In diesem Zusammenhang bedeutet der Ausdruck "Distanzinformation" eine Menge von Parallaxen, die für jede kleine Fläche in einer Bildebene, die durch Bildinformation definiert ist, berechnet werden, während jede dieser Parallaxen einer Position (i, j) in der Bildebene entspricht. Eine der Parallaxen wird in bezug auf jeden Pixelblock berechnet, der eine vorbestimmte Fläche (z. B. 4 × 4 Pixel) hat, die einen Bereich des Referenzbilds darstellt.
Wenn eine auf einen bestimmten Pixelblock (eine korrelierte Quelle) bezogene Parallaxe errechnet wird, wird in dem Vergleichsbild ein Bereich (korreliertes Ziel) bezeichnet, der eine Korrelation mit einer Luminanzeigenschaft dieses Pixelblocks hat. Von den Kameras 20 und 21 bis zu einem Ziel definierte Distanzen erscheinen als Verschiebungsgrößen entlang der Horizontalrichtung zwischen dem Referenzbild und dem Vergleichsbild. Infolgedessen kann in einem Fall, in dem eine korrelierte Quelle in dem Vergleichsbild gesucht wird, ein Pixel auf derselben Horizontallinie (der Epipolarlinie) wie eine "j"-Koordinate eines eine korrelierte Quelle bildenden Pixelblocks gesucht werden. Während die Stereobildverarbeitungseinheit 25 auf der Epipolarlinie befindliche Pixel einzeln nacheinander innerhalb eines vorbestimmten Suchbereichs verschiebt, der durch Verwendung der "i"-Koordinate der korrelierten Quelle als Referenz bestimmt ist, bewertet die Stereobildverarbeitungseinheit 25 sequentiell eine Korrelation zwischen der korrelierten Quelle und einem Kandidaten des korrelierten Ziels (d. h. die stereoskopische Übereinstimmung). Dann wird im Prinzip eine Verschiebungsgröße eines solchen korrelierten Ziels (irgendeiner der Kadidaten von korrelierten Zielen), deren Korrelation als die höchste Korrelation entlang der Horizontalrichtung beurteilt werden kann, als eine Parallaxe dieses Pixelblocks definiert. Da eine Hardware-Konstruktion der Stereobildverarbeitungseinheit 25 in der offengelegten JP-Patentanmeldung Nr. Hei-5-114099 beschrieben wird, kann diese Hardware-Konstruktion erforderlichenfalls berücksichtigt werden. Die Distanzinformation, die durch Ausführen des vorstehend erläuterten Ablaufs errechnet wurde, d. h. eine Menge von Parallaxen, die der Position (i, j) in dem Bild entsprechen, wird in einem Distanzdatenspeicher 27 gespeichert.
Ein Mikrocomputer 3 besteht aus einer Zentraleinheit bzw. CPU, einem ROM, einem RAM, einer E/A-Schnittstelle und dergleichen. Für den Zugriff auf Funktionen des Mikrocomputers 3 enthält dieser sowohl eine Erkennungseinheit 4 als auch eine Steuereinheit 5. Die Erkennungseinheit 4 erkennt Ziele, die sich vor dem eigenen Fahrzeug befinden, auf der Basis eines Detektierergebnisses von dem Vorschausensor 2 und klassifiziert die erkannten Ziele auf der Basis von Arten, zu denen die Ziele gehören. Ziele, die von der Erkennungseinheit 4 erkannt werden sollen, sind typischerweise dreidimensionale Objekte. Bei der ersten Ausführungsform entsprechen diese Ziele vier Arten von dreidimensionalen Objekten, und zwar einem Kraftfahrzeug, einem Zweiradfahrzeug, einem Fußgänger und einem Hindernis (z. B. einem auf die Straße fallenden Objekt, einem für den Straßenbau verwendeten Pylon, einem Baum am Straßenrand usw.). Die Steuereinheit 5 bestimmt die Information, die in bezug auf die Displayeinrichtung 6 angezeigt werden soll, auf der Basis der von der Erkennungseinheit 4 erkannten Ziele und der Navigationsinformation. Dann steuert die Steuereinheit 5 die Displayeinrichtung 6 so, daß Symbole, welche die erkannten Ziele bezeichnen, und die Navigationsinformation einander überlagert angezeigt werden. Dazu wurden die Symbole, welche die Ziele bezeichnen (bei dieser Ausführungsform Kraftfahrzeug, Zweiradfahrzeug, Fußgänger und Hindernis) in dem ROM des Mikrocomputers 3 in Form von Daten mit vorbestimmten Formaten (z. B. als Bild- und Gittermodell) vorher gespeichert. Dann werden die diese Ziele bezeichnenden Symbole angezeigt unter Verwendung einer Vielzahl verschiedener Displayfarben, die den Arten entsprechen, zu denen die jeweiligen Ziele gehören. Auch in dem Fall, daß die Erkennungseinheit 4 beurteilt, daß eine Warnung für den Fahrer des Fahrzeugs auf der Ba sis des Erkennungsergebnisses der Ziele erforderlich ist, aktiviert die Erkennungseinheit 4 die Displayeinrichtung 6 und den Lautsprecher 7, so daß die Erkennungseinheit 4 die Aufmerksamkeit des Fahrers wecken kann. Ferner kann die Erkennungseinheit die Steuereinrichtung 8 so steuern, daß ein Fahrzeugsteuerbetrieb wie etwa eine Herunterschaltsteuerung, eine Bremssteuerung usw. ausgeführt werden kann.
In diesem Fall ist eine Navigationsinformation eine Information, die notwendig ist, um eine aktuelle Position des eigenen Fahrzeugs und eine planmäßige Route des eigenen Fahrzeugs in Kombination mit Karteninformation anzuzeigen. Die Navigationsinformation kann von einem Navigationssystem 9 erhalten werden, das auf diesem Gebiet allgemein bekannt ist. Das Navigationssystem 9 ist zwar in 1 nicht deutlich dargestellt, es besteht jedoch hauptsächlich aus einem Fahrzeuggeschwindigkeitssensor, einem Gyroskot, einem GPS-Empfänger, einer Kartendateneingabeeinheit und einer Navigationssteuereinheit. Der Fahrzeuggeschwindigkeitssensor entspricht einem Sensor zum Erfassen der Geschwindigkeit eines Fahrzeugs. Das Gyroskot detektiert den Betrag einer Änderung eines Azimutwinkels des Fahrzeugs auf der Basis einer Winkelgeschwindigkeit einer auf das Fahrzeug wirkenden Drehbewegung. Der GPS-Empfänger empfängt über eine Antenne elektromagnetische Wellen, die von GPS-Satelliten gesendet werden, und detektiert dann Positionsinformationen wie etwa eine Position, ein Azimut (Fahrtrichtung) und dergleichen des Fahrzeugs. Die Kartendateneingabeeinheit entspricht einer Einrichtung, die Daten in bezug auf eine Karteninformation (nachstehend als "Kartendaten" bezeichnet) in das Navigationssystem 9 eingibt. Die Kartendaten sind in einem Speichermedium gespeichert, das allgemein als CD-ROM und DVD bekannt ist. Die Navigationssteuereinheit errechnet eine aktuelle Position des Fahrzeugs auf der Basis entweder der von dem GPS-Empfänger erhaltenen Positionsinformation oder sowohl einer Fahrdistanz des Fahrzeugs in Abhängigkeit von einer Fahrzeuggeschwindigkeit als auch einer Änderungsgröße des Azimuts des Fahrzeugs. Sowohl die von der Navigationssteuereinheit errechnete aktuelle Position als auch dieser aktuellen Position entsprechende Kartendaten werden als Navigationsinformation in bezug auf die Steuereinheit 5 ausgegeben
2 ist ein Ablaufdiagramm und beschreibt eine Sequenz eines Informationsanzeigeverfahrens nach der ersten Ausführungsform. Eine in diesem Ablaufdiagramm gezeigte Routine wird jedesmal aufgerufen, wenn ein vorgewählter Zeitraum abgelaufen ist, und dann wird die aufgerufene Routine von dem Mikrocomputer 3 ausgeführt. In einem Schritt 1 wird ein Detektierergebnis erhalten, das in dem Vorschausensor 2 gewonnen wurde, und zwar Information, die notwendig ist, um eine Fahrbedingung vor dem eigenen Fahrzeug (d. h. eine Vorwärtsfahrbedingung) zu erkennen. In der Stereobildverarbeitungseinrichtung, die als Vorschausensor 2 wirksam ist, werden in Schritt 1 die Distanzdaten gelesen, die in dem Distanzdatenspeicher 27 gespeichert wurden. Außerdem werden erforderlichenfalls die Bilddaten gelesen, die in dem Bilddatenspeicher 26 gespeichert wurden.
In Schritt 2 werden dreidimensionale Objekte erkannt, die sich vor dem eigenen Fahrzeug befinden. Wenn die dreidimensionalen Objekte erkannt werden, werden zuerst in den Distanzdaten enthaltene Störungen durch einen Gruppenfiltervorgang entfernt. Anders ausgedrückt, werden Parallaxen entfernt, die als wenig zuverlässig gelten. Eine Parallaxe, die durch Fehlabgleicheffekte infolge von schädlichen Einflüssen wie etwa Rauschen verursacht wird, ist von einem Wert einer peripheren Parallaxe stark verschieden und hat eine solche Charakteristik, daß ein Bereich einer Gruppe, die einen dieser Parallaxe äquivalenten Wert hat, relativ klein wird. In bezug auf Parallaxen, die in bezug auf die jeweiligen Pixelblöcke berechnet werden, werden somit Änderungswerte in bezug auf Parallaxen in Pixelblöcken, die sich einander benachbart entlang der oberen/unteren Richtungen sowie der rechten/linken Richtung befinden und innerhalb eines vorbestimmten Grenzwerts vorhanden sind, gruppiert. Dann werden Dimensionen von Bereichen von Gruppen detektiert, und eine Gruppe, die einen größeren Bereich als eine vorbestimmte Dimension hat (z. B. 2 Pixelblöcke), wird als eine effektive Gruppe beurteilt. Andererseits wird Distanzinformation (isolierte Distanzinformation), die zu einer Gruppe gehört. die einen Bereich hat, der kleiner oder gleich die vorbestimmte Dimension ist, aus der Distanzinformation entfernt, weil ihre Beurteilung so ist, daß die Zuverlässigkeit der errechneten Parallaxe gering ist.
Als nächstes wird auf der Basis sowohl der durch den Gruppenfiltervorgang extrahierten Parallaxe als auch der Koordinatenposition in der Bildebene, die dieser extrahierten Parallaxe entspricht, eine Position in einem realen Raum errechnet durch Anwendung der Koordinatentransformationsformel, die auf diesem Gebiet wohlbekannt ist. Dann wird, da die errechnete Position im realen Raum mit der Position der Straßenebene verglichen wird, eine solche Parallaxe, die über der Straßenebene liegt, extrahiert. Anders ausge drückt wird eine Parallaxe extrahiert, die äquivalent einem dreidimensionalen Objekt ist (nachstehend als "Dreidimensionales-Objekt-Parallaxe" bezeichnet). Eine Position an der Straßenoberfläche kann durch Berechnen eines Straßenmodells bezeichnet werden, das eine Straßengestalt definiert. Das Straßenmodell wird ausgedrückt durch lineare Gleichungen sowohl in der Horizontalrichtung als auch der Vertikalrichtung im Koordinatensystem des realen Raums und wird errechnet durch Vorgabe eines Parameters dieser linearen Gleichung mit einem solchen Wert, der mit der tatsächlichen Straßengestalt koinzident gemacht ist. Die Erkennungseinheit 5 nimmt Bezug auf die Bilddaten auf der Basis des gewonnenen Wissens, daß eine auf eine Fahrbahnoberfläche aufgebrachte weiße Fahrbahnbegrenzungslinie eine hohe Luminanz gegenüber derjenigen der Fahrbahnoberfläche hat. Positionen der rechten weißen Fahrbahnbegrenzungslinie und der linken weißen Fahrbahnbegrenzungslinie können bezeichnet werden durch Bewertung einer Luminanzänderung entlang einer Breitenrichtung der Straße auf der Basis dieser Bildinformation. Dann wird eine Position einer weißen Fahrbahnbegrenzungslinie im realen Raum detektiert durch Verwendung von Distanzinformation auf der Basis der Position dieser weißen Begrenzungslinie in der Bildebene. Das Straßenmodell wird so berechnet, daß die weißen Fahrbahnbegrenzungslinien auf der Straße in eine Vielzahl von Abschnitten entlang der Distanzrichtung unterteilt werden, die rechtsseitige weiße Fahrbahnbegrenzungslinie und die linksseitige weiße Fahrbahnbegrenzungslinie in jedem der unterteilten Abschnitte durch dreidimensionale Gerade approximiert wird und dann diese dreidimensionalen Geraden miteinander zu einer gefalteten Linie verbunden werden.
Dann wird die Distanzinformation in Gittergestalt segmentiert, und ein auf dreidimensionale Objektparallaxen, die zu jedem dieser Abschnitte gehören, bezogenes Histogramm wird für jeden Abschnitt dieser Gittergestalt gebildet. Dieses Histogramm repräsentiert eine Häufigkeitsverteilung der pro Einheitsabschnitt enthaltenen dreidimensionalen Parallaxen. In diesem Histogramm wird die Häufigkeit einer Parallaxe, die ein bestimmtes dreidimensionales Objekt bezeichnet, hoch. Da also eine solche Parallaxe eines dreidimensionalen Objekts, deren Häufigkeit größer oder gleich wie ein Beurteilungswert wird, detektiert wird, wird in dem gebildeten Histogramm diese detektierte dreidimensionale Objektparallaxe als ein Kandidat eines solchen dreidimensionalen Objekts detektiert, das sich vor dem eigenen Fahrzeug befindet. In diesem Fall wird auch eine Distanz errechnet, die bis zu dem Kandidaten des dreidimensionalen Objekts definiert ist. Als nächstes wer den in den angrenzenden Abschnitten Kandidaten von dreidimensionalen Objekten, deren errechnete Distanzen nahe beieinander sind, gruppiert, und dann wird jede dieser Gruppen als ein dreidimensionales Objekt erkannt. In bezug auf das erkannte dreidimensionale Objekt sind Positionen von rechten/linken Randbereichen, eine zentrale Position, eine Distanz und dergleichen als damit übereinstimmende Parameter definiert. Es ist zu beachten, daß die konkrete Verarbeitungssequenz in dem Gruppenfilter und die konkrete Verarbeitungssequenz der dreidimensionalen Objekterkennung in der offengelegten JP-Patentanmeldung Nr. Hei-10-285582 angegeben sind, die erforderlichenfalls herangezogen werden kann.
In einem Schritt 3 wird das erkannte dreidimensionale Objekt auf der Basis einer Art, zu der dieses dreidimensionale Objekt gehört, klassifiziert. Das erkannte dreidimensionale Objekt wird beispielsweise auf der Basis von Bedingungen klassifiziert, die in den nachfolgenden Abschnitten (1) bis (3) angegeben sind:

(1) Ob eine Breite des erkannten dreidimensionalen Objekts entlang einer Querrichtung kleiner oder gleich wie ein Beurteilungswert ist: Da unter den erkannten dreidimensionalen Objekten eine Breite eines Kraftfahrzeugs entlang dessen Breitenrichtung größer als jede der Breiten von anderen dreidimensionalen Objekten (Zweiradfahrzeug, Fußgänger und Hindernis) ist, kann das Kraftfahrzeug von anderen dreidimensionalen Objekten separiert werden, während gleichzeitig die Breite des dreidimensionalen Objekts in Querrichtung als eine Beurteilungsreferenz verwendet wird. Da somit ein richtig vorgegebener Beurteilungswert (beispielsweise 1 m) verwendet wird, kann eine Art eines solchen dreidimensionalen Objekts, dessen Breite in Querrichtung größer als der Beurteilungswert ist, als das Kraftfahrzeug klassifiziert werden.
(2) Ob eine Geschwindigkeit "V" eines dreidimensionalen Objekts niedriger oder gleich wie ein Beurteilungswert ist: Da unter dreidimensionalen Objekten mit Ausnahme eines Kraftfahrzeugs eine Geschwindigkeit "V" eines Zweiradfahrzeugs höher als Geschwindigkeiten von anderen dreidimensionalen Objekten (Fußgänger und Hindernis)) ist, kann das Zweiradfahrzeug von anderen dreidimensionalen Objekten separiert werden, während gleichzeitig die Geschwindigkeit "V" des dreidimensionalen Objekts als eine Beurteilungsreferenz verwendet wird. Da also ein richtig vorgegebener Beurteilungswert (z. B. 10 km/h) verwendet wird, kann eine Art eines solchen dreidimensionalen Objekts, dessen Geschwindigkeit "V" höher als der Beurteilungswert ist, als das Zweiradfahrzeug klassifiziert werden. Es versteht sich ferner, daß eine Geschwindigkeit "V" eines dreidimensionalen Objekts auf der Basis sowohl einer relativen Geschwindigkeit "Vr" als auch einer momentanen Geschwindigkeit "V0" des eigenen Fahrzeugs errechnet werden kann, wobei gleichzeitig diese relative Geschwindigkeit "Vr" entsprechend einer aktuellen Position dieses dreidimensionalen Objekts und einer Position dieses dreidimensionalen Objekts vor dem Ablauf einer vorbestimmten Zeitdauer errechnet wird.
(3) Ob eine Geschwindigkeit "V" gleich 0 ist: Da unter dreidimensionalen Objekten mit Ausnahme sowohl eines Kraftfahrzeugs als auch eines Zweiradfahrzeugs eine Geschwindigkeit "V" eines Hindernisses gleich 0 ist, kann das Hindernis von einem Fußgänger separiert werden, während gleichzeitig die Geschwindigkeit V des dreidimensionalen Objekts als eine Beurteilungsreferenz verwendet wird. Infolgedessen kann eine Art eines solchen dreidimensionalen Objekts, dessen Geschwindigkeit gleich 0 ist, als Hindernis klassifiziert werden.

Da die Höhen von dreidimensionalen Objekten miteinander verglichen werden, kann zusätzlich zu diesen drei Bedingungen ein Fußgänger alternativ von einem Kraftfahrzeug separiert werden. Ferner kann ein solches dreidimensionales Objekt, dessen Position im realen Raum sich an der Außenseite der Position der weißen Fahrbahnmarkierungslinie (Straßenmodell) befindet, alternativ als ein Fußgänger klassifiziert werden. Ferner kann ein solches dreidimensionales Objekt, das sich entlang der Querrichtung bewegt, alternativ als ein eine Straße überquerender Fußgänger klassifiziert werden.
In einem Schritt 4 wird ein Anzeigeablauf ausgeführt auf der Basis der Navigationsinformation und des erkannten dreidimensionalen Objekts. Zuerst bestimmt die Steuereinheit 5 ein Symbol auf der Basis der Art, zu der das erkannte dreidimensionale Objekt gehört, während das Symbol gleichzeitig dazu dient, dieses dreidimensionale Objekt auf der Dis playeinrichtung 6 anzuzeigen. Die 3A bis 3D sind schematische Darstellungen und zeigen Beispiele von Symbolen. Dabei sind Symbole dargestellt, die zur Anzeige von zu den jeweiligen Arten gehörenden dreidimensionalen Objekten dienen, und jedes dieser Symbole ist ein Design zum Bezeichnen der relevanten Art. In der Zeichnung zeigt 3A ein Symbol, das zur Anzeige eines dreidimensionalen Objekts dient, dessen Art als "Kraftfahrzeug" klassifiziert ist; 3B zeigt ein Symbol zum Anzeigen eines dreidimensionalen Objekts, dessen Art als "Zweiradfahrzeug" klassifiziert ist. Ferner zeigt 3C ein Symbol zum Anzeigen eines dreidimensionalen Objekts, dessen Art als "Fußgänger" klassifiziert ist; und 3D zeigt ein Symbol zum Anzeigen eines dreidimensionalen Objekts, dessen Art als "Hindernis" klassifiziert ist.
Beispielsweise in einem Fall, in dem eine Art des dreidimensionalen Objekts als "Zweiradfahrzeug" klassifiziert ist, steuert die Steuervorrichtung 5 die Displayeinrichtung 6 so, daß das in 3B gezeigte Symbol als das Symbol angezeigt wird, das dieses dreidimensionale Objekt bezeichnet. Es versteht sich, daß in einem Fall, in dem zwei oder mehr dreidimensionale Einzelobjekte, die als gleiche Art klassifiziert worden sind, erkannt werden, oder in einem Fall, in dem zwei oder mehr dreidimensionale Einzelobjekte, die als voneinander verschiedene Arten klassifiziert worden sind, erkannt werden, die Steuereinheit 5 die Displayeinrichtung 6 so steuert, daß die den Arten der jeweiligen erkannten dreidimensionalen Objekte entsprechenden Symbole dargestellt werden.
Die Steuereinheit 5 steuert dann die Displayeinrichtung 6 so, daß in den nachfolgenden Abschnitten (1) und (2) beschriebene Displayarten realisiert werden:

(1) Sowohl das Symbol als auch die Navigationsinformation werden einander überlagert angezeigt: Bei einem Vorgang zur Erkennung eines dreidimensionalen Objekts unter Verwendung des Vorschausensors 2 wird eine Position des dreidimensionalen Objekts durch ein Koordinatensystem (bei dieser ersten Ausführungsform ein dreidimensionales Koordinatensystem) repräsentiert, in dem die Position des eigenen Fahrzeugs auf eine Ursprungsposition eingestellt ist. Während unter diesen Umständen die aktuelle Position des eigenen Fahrzeugs, die von dem Navigationssystem 9 erhalten wird, als Referenzposition verwen det wird, überlagert die Steuereinheit 5 den Kartendaten Symbole, die den jeweiligen dreidimensionalen Objekten entsprechen, und zwar unter Berücksichtigung der Positionen der jeweiligen dreidimensionalen Objekte. In diesem Fall bezieht sich zwar die Steuereinheit 5 auf ein Straßenmodell, aber die Steuereinheit 5 definiert eine Straßenposition auf den Straßendaten in Übereinstimmung mit den Positionen der dreidimensionalen Objekte durch Vorgabe des Straßenmodells, so daß die Symbole an korrekteren Positionen angezeigt werden können.
(2) Symbole werden in vorbestimmten Displayfarben angezeigt: In Bezug auf Symbole, die auf Kartendaten angezeigt werden, wurden Displayfarben vorher in Übereinstimmung mit Arten eingestellt, zu denen dreidimensionale Objekte gehören. Bei der ersten Ausführungsform ist unter Berücksichtigung der Tatsache, daß Schwächere Verkehrsteilnehmer geschützt werden müssen, eine rote Displayfarbe, die farblich stark auffällt, vorher für ein Symbol eingestellt worden, das einen Fußgänger bezeichnet, dem die höchste Aufmerksamkeit gelten muß, und eine gelbe Displayfarbe ist vorher für ein Symbol eingestellt worden, das ein Zweiradfahrzeug bezeichnet, dem die zweithöchste Aufmerksamkeit gelten muß. Eine blaue Displayfarbe ist vorher für ein Symbol eingestellt worden, das ein Kraftfahrzeug bezeichnet, und eine grüne Displayfarbe ist vorher für ein Symbol eingestellt worden, das ein Hindernis bezeichnet. Wenn daher ein Symbol angezeigt wird, steuert die Steuereinheit 5 die Displayeinrichtung 6 so, daß dieses Symbol mit einer Displayfarbe angezeigt wird, die einer Art entspricht, zu der ein dreidimensionales Objekt gehört.

4 ist ein erläuterndes Schema und zeigt einen Displayzustand der Displayeinrichtung 6. In einem Fall, in dem zwei Kraftfahrzeuge erkannt werden, ein Zweiradfahrzeug erkannt wird und nur ein Fußgänger erkannt wird, werden dabei die Kartendaten angezeigt unter Anwendung eines "Fahreraugbereich"-Modus, und die jeweiligen dreidimensionalen Objekte bezeichnenden Symbole werden so angezeigt, daß diese Symbole den Kartendaten überlagert sind. Wie bereits erläutert wurde, wurden zwar die Displayfarben vorher für die Symbole eingestellt, die auf der Displayeinrichtung 6 angezeigt werden, aber nur Symbole, welche die als gleiche Art klassifizierten dreidimensionalen Objekte bezeichnen, werden in den gleichen Displayfarben angezeigt.
Wie diese Zeichnung zeigt, versteht es sich, daß die Steuereinheit 5 die Displayeinrichtung 6 alternativ so steuern kann, daß die Symbole durch ein anderes perspektivisches Gefühl als die oben beschriebenen Bedingungen (1) und (2) dargestellt werden. In diesem alternativen Fall wird, je weiter ein dreidimensionales Objekt von dem eigenen Fahrzeug entfernt ist, die Displaygröße eines entsprechenden Symbols um so kleiner in Abhängigkeit von der Distanz des erkannten dreidimensionalen Objektsymbols von dem eigenen Fahrzeug. In einem Fall, daß ein Symbol, das an einer fernen Position angezeigt wird, von einem anderen Symbol überlagert wird, das an einer Position angezeigt wird, die in bezug auf das eigene Fahrzeug näher als die oben beschriebene ferne Position ist, kann die Steuereinheit 5 als Alternative die Displayeinrichtung 6 so steuern, daß das erstere Symbol an der Seite der oberen Ebene im Vergleich mit dem letztgenannten Symbol angezeigt wird. Da somit das entfernt befindliche Symbol von dem näher befindlichen Symbol abgedeckt und maskiert wird, kann die visuell erkennbare Charakteristik der Symbole verbessert werden, und außerdem kann die positionsmäßige Beziehung vorne/hinten zwischen diesen Symbolen dargestellt werden.
Wie bereits erläutert wurde, wird gemäß der ersten Ausführungsform ein Ziel (ein dreidimensionales Objekt bei der ersten Ausführungsform), das sich vor dem eigenen Fahrzeug befindet, auf der Basis des Detektierergebnisses von dem Vorschausensor 2 erkannt. Ferner wird das erkannte Ziel auf der Basis des von dem Vorschausensor 2 erhaltenen Detektierergebnisses nach der Art klassifiziert, zu der dieses dreidimensionale Objekt gehört. Dann werden ein das erkannte Ziel bezeichnendes Symbol und Navigationsinformation einander überlagert angezeigt. In diesem Fall wird die Displayeinrichtung 6 so gesteuert, daß das anzuzeigende Symbol eine der klassifizierten Art entsprechende Farbe erhält. Da somit der Unterschied der Arten von Zielen durch die Farbe erkannt werden kann, kann die visuell durch den Anwender (typischerweise den Fahrzeugführer) erkennbare Charakteristik verbessert werden. Da außerdem die Displayfarben in Abhängigkeit von dem Grad der geforderten Aufmerksamkeit separat verwendet werden, kann die Reihenfolge der dreidimensionalen Objekte, denen der Fahrzeugführer Aufmerksamkeit schenken soll, durch Experimentieren aus der Farbe erkannt werden. Da somit die anwenderfreundliche Eigenschaft durch die im Stand der Technik nicht realisierten Funkti onen verbessert werden kann, kann die Attraktivität des Produkts im Hinblick auf den anwenderfreundlichen Aspekt verbessert werden.
Es versteht sich ferner, daß dann, wenn die sämtlichen erkannten dreidimensionalen Objekten entsprechenden Symbole angezeigt werden, der Vorteil erzielt wird, daß die Fahrbedingung im Detail angezeigt wird. Allerdings wird dadurch die auf dem Bildschirm angezeigte Informationsmenge vergrößert. Das heißt, daß Information wie etwa ein vorhergehendes Fahrzeug, das sich fern von dem eigenen Fahrzeug befindet, ebenfalls angezeigt wird, obwohl es keine direkte Beziehung zu dem Fahrbetrieb hat. Im Hinblick auf das Entfernen unnötiger Informationen kann alternativ eine Vielzahl von dreidimensionalen Objekten, die sich nahe dem eigenen Fahrzeug befinden, gewählt werden, und dann können als Alternative nur solche Symbole angezeigt werden, die diesen ausgewählten dreidimensionalen Objekten entsprechen. Ferner ist zu beachten, daß ein Auswahlverfahren ebenfalls festgelegt werden kann, so daß ein Fußgänger, dessen Schutz mit dem höchsten Sicherheitsgrad zu beachten ist, in einer obersten Priorität ausgewählt wird. Bei der ersten Ausführungsform sind ferner die dreidimensionalen Objekte nach vier Arten klassifiziert worden. Alternativ können diese dreidimensionalen Objekte nach präziseren Arten innerhalb eines Bereichs, der von dem Vorschausensor 2 erkannt werden kann, klassifiziert werden.
(Zweite Ausführungsform)
Ein weiterer Aspekt in bezug auf einen Informationsdisplayverarbeitungsvorgang entsprechend einer zweiten Ausführungsform der vorliegenden Erfindung wird nachstehend erläutert. Dabei werden Displayfarben von Symbolen in Abhängigkeit von Gefahrengraden (konkret: einer möglichen Kollision) von erkannten dreidimensionalen Objekten in bezug auf das eigene Fahrzeug eingestellt. Bei der zweiten Ausführungsform werden infolgedessen in bezug auf die erkannten dreidimensionalen Objekte Gefahrengrade "T", die Gefahrengrade in bezug auf das eigene Fahrzeug bezeichnen, von der Erkennungseinheit 4 errechnet. Dann werden die entsprechenden Symbole, welche die erkannten dreidimensionalen Objekte darstellen, unter Verwendung einer Vielzahl von verschiedenen Displayfarben angezeigt, die den Gefahrengraden T der dreidimensionalen Objekte entsprechen.
Konkret werden dabei zuerst, ähnlich dem in den Schritten 1 bis 3 in 2 gezeigten Vorgehen, auf der Basis eines von dem Vorschausensor 2 erhaltenen Detektierergebnisses dreidimensionale Objekte, die sich vor dem eigenen Fahrzeug befinden, erkannt, und diese erkannten dreidimensionalen Objekte werden ferner nach Arten klassifiziert, zu denen diese dreidimensionalen Objekte gehören. Während dann bei dieser zweiten Ausführungsform nach Schritt 3 die jeweiligen erkannten dreidimensionalen Objekte (Ziele) als Rechenobjekte behandelt werden, werden Gefahrengrade "T" der jeweiligen erkannten dreidimensionalen Objekte errechnet. Dieser Gefahrengrad "T" kann grundsätzlich errechnet werden, indem beispielsweise die nachstehende Formel (1) angewandt wird:
(Formel 1)

T = K1 × D + K2 × Vr + K3 × Ar

In dieser Formel (1) zeigt das Symbol "D" eine bis zu einem Ziel gemessene Distanz (m); "Vr" bezeichnet eine relative Geschwindigkeit zwischen dem eigenen Fahrzeug und dem Ziel; und "Ar" repräsentiert eine relative Beschleunigung zwischen dem eigenen Fahrzeug und dem Ziel. Ferner entsprechen die Parameter "K1" bis "K3" Koeffizienten, die auf die jeweiligen Variablen "D", "Vr" und "Ar" bezogen sind. Es versteht sich, daß diese Parameter K1 bis K3 durch vorherige Durchführung eines Experiments und einer Simulation auf die richtigen Werte eingestellt wurden. Beispielsweise bezeichnet die Formel (1) (Gefahrengrad T), für die diese Koeffizienten K1 bis K3 eingestellt worden sind, einen temporären Raum, bis das eigene Fahrzeug ein dreidimensionales Objekt erreicht. Bei der zweiten Ausführungsform bedeutet die Formel (1), daß der Gefahrengrad eines Ziels um so geringer wird (niedrige Kollisionswahrscheinlichkeit), je größer ein Gefahrengrad T eines Ziels wird, wogegen mit kleiner werdendem Gefahrengrad T eines Ziels der Gefahrengrad dieses Ziels um so größer wird (hohe Kollisionswahrscheinlichkeit).
Dann wird ähnlich dem in Schritt 4 von 2 angegebenen Ablauf ein Displayprozeß auf der Basis der Navigationsinformation und der von der Erkennungseinheit 4 erkannten dreidimensionalen Objekte ausgeführt. Konkret werden dabei anzuzeigende Symbole zuerst auf der Basis der Arten bestimmt, zu denen diese erkannten dreidimensionalen Objekte gehören. Die Steuereinheit 8 steuert die Displayeinrichtung 6 zur überlagerten An farben der anzuzeigenden Symbole vorher in Übereinstimmung mit den Gefahrengraden "T" angezeigt, die in bezug auf die entsprechenden dreidimensionalen Objekte errechnet werden. Konkret ist im Hinblick auf ein Ziel (Gefahrengrad T ≤ erster Beurteilungswert), dessen Gefahrengrad T kleiner oder gleich wie der erste Beurteilungswert wird, d. h. das dreidimensionale Objekt, dessen Gefahrengrad hoch ist, eine Displayfarbe dieses Symbols mit rot eingestellt worden, das vom Farbaspekt her auffällig ist. Im Hinblick auf ein anderes Ziel (erster Beurteilungswert < Gefahrengrad T ≤ zweiter Beurteilungswert), dessen Gefahrengrad T größer als der erste Beurteilungswert und außerdem kleiner oder gleich wie ein zweiter Beurteilungswert ist, der größer als dieser erste Beurteilungswert ist, d. h. das dreidimensionale Objekt, dessen Gefahrengrad relativ hoch ist, ist eine Displayfarbe dieses Symbols mit gelb eingestellt worden. Für ein weiteres Objekt (zweiter Beurteilungswert 6 < Gefahrengrad T), dessen Gefahrengrad T größer als der zweite Beurteilungswert ist, d. h. das dreidimensionale Objekt, dessen Gefahrengrad niedrig ist, ist eine Displayfarbe dieses Symbole mit blau eingestellt worden.
5 erläutert einen Displaymodus der Displayeinrichtung 6. Diese Figur zeigt beispielhaft einen Displaymodus für den Fall, daß die Räder eines vorwärts fahrenden Fahrzeugs abrupt gebremst werden. Da, wie diese Zeichnung zeigt, die Displayfarben in Übereinstimmung mit den Gefahrengraden "T" separat verwendet werden, wird ein das vorwärts fahrende Fahrzeug darstellendes Symbol mit roter Farbe angezeigt, deren Gefahrengrad (hohe Kollisionswahrscheinlichkeit) in bezug auf das eigene Fahrzeug hoch ist. Dann wird ein Symbol, das ein dreidimensionales Objekt bezeichnet, dessen Gefahrengrad in bezug auf das eigene Fahrzeug niedrig ist (Kollisionswahrscheinlichkeit gering), entweder in gelber oder blauer Displayfarbe angezeigt.
Wie bereits beschrieben wurde, werden bei der zweiten Ausführungsform sowohl die die erkannten Ziele bezeichnenden Symbole als auch die Navigationsinformation einander überlagert angezeigt, und die Displayeinrichtung wird so gesteuert, daß diese Symbole durch die Displayfarben in Abhängigkeit von den Gefahrengraden in bezug auf das eigene Fahrzeug dargestellt werden. Da somit der Unterschied in den Gefahrengraden der Ziele in bezug auf das eigene Fahrzeug durch die Farbe deutlich wird, kann die durch den Fahrer visuell erkennbare Eigenschaft verbessert werden. Da ferner die Displayfarben in Ab hängigkeit von den Gefahrengraden separat verwendet werden, um den Fahrer aufmerksam zu machen, kann die Reihenfolge der dreidimensionalen Objekte, auf die der Fahrer seine Aufmerksamkeit richten sollte, experimentell durch die Farbe erhalten werden. Da die benutzerfreundliche Eigenschaft durch die Funktionen, die im Stand der Technik nicht vorhanden sind, verbessert werden kann, kann infolgedessen die Attraktivität des Produkts im Hinblick auf den benutzerfreundlichen Aspekt verbessert werden.
Es ist ferner zu beachten, daß bei dieser zweiten Ausführungsform zwar die Symbole durch Verwendung der drei Displayfarben in Abhängigkeit von den Gefahrengraden "T" angezeigt werden, diese Symbole können aber alternativ auch in einer größeren Zahl von Displayfarben als drei angezeigt werden. In einem solchen alternativen Fall können die Gefahrengrade innerhalb eines präziseren Bereichs in bezug auf den Fahrzeugführer erkannt werden.
Die Stereobildverarbeitungsvorrichtung wird bei der ersten und der zweiten Ausführungsform in Form des Vorschausensors 25 verwendet. Alternativ können andere Distanzerfassungssensoren wie etwa eine einäugige Kamera, ein Laserradar und ein Millimeterwellenradar, die auf diesem technischen Gebiet wohlbekannt sind, entweder einzeln oder in Kombination verwendet werden. Auch wenn der oben beschriebene alternative Distanzerfassungssensor verwendet wird, kann eine gleichartige Wirkung wie bei den oben beschriebenen Ausführungsformen erhalten werden.
Bei der ersten und der zweiten Ausführungsform werden ferner Symbole verwendet, deren Design vorher in Abhängigkeit von der Art dieser dreidimensionalen Objekte bestimmt wurde. Alternativ kann eine Art von Symbol unabhängig von den Arten der dreidimensionalen Objekte angezeigt werden. Auch kann auf der Basis von Bilddaten, die von einer Stereokamera aufgenommen wurden, ein Bild angezeigt werden, das dem erkannten dreidimensionalen Objekt entspricht. Auch in diesen alternativen Fällen kann, da die Displayfarben voneinander verschieden gemacht sind, die gleiche Art von dreidimensionalen Objekten (oder der Gefahrengrad von dreidimensionalen Objekten) auf der Basis der Farbe erkannt werden. Ferner kann die vorliegende Erfindung nicht nur bei der Art und Weise der Anzeige wie etwa im Fahreraugbereich-Modus angewandt werden, sondern auch als Anzeige aus der Vogelperspektive und als Anzeige in Draufsicht.
(Dritte Ausführungsform)
6 ist ein Blockbild und zeigt eine Gesamtanordnung einer dritten Ausführungsform einer Informationsdisplayvorrichtung 101 gemäß der Erfindung. Eine Stereokamera, die eine Szene vor dem eigenen Fahrzeug aufnimmt, ist beispielsweise im Bereich eines Innenspiegels des eigenen Fahrzeugs angebracht. Die Stereokamera besteht aus einem Kamerapaar, und zwar aus einer Hauptkamera 102 und einer Unterkamera 103. Die Hauptkamera 102 nimmt ein Referenzbild auf, und die Unterkamera 103 nimmt ein Vergleichsbild auf, die erforderlich sind, um eine Stereobildverarbeitung durchzuführen. In jede Kamera 102 und 103 sind separat aktivierbare Sensoren (z. B. eine Farb-CCD-Einrichtung vom 3-Plattentyp) für rot, grün und blau eingebaut, aber jede von der Hauptkamera 102 und der Unterkamera 103 gibt drei Primärfarbbilder in rot, grün und blau aus. Infolgedessen sind die von einem Paar von Kameras 1012 und 103 ausgegebenen Farbbilder insgesamt sechs Farbbilder. Unter der Bedingung, daß der Betrieb der Hauptkamera 102 mit dem Betrieb der Unterkamera 103 synchronisiert ist, werden jeweilige analoge Bilder, die von der Hauptkamera 102 und der Unterkamera 103 ausgegeben werden, von A/D-Wandlern 104 bzw. 105 in Digitalbilder umgewandelt, die eine vorbestimmte Luminanzabstufung (beispielsweise einen Grauwert mit 256 Abstufungen) haben.
Ein Paar von digital verarbeiteten Primärfarbbildern (insgesamt sechs Primärfarbbilder) wird von einer Bildkorrektureinheit 106 so verarbeitet, daß Luminanzkorrekturen, geometrische Transformationen von Bildern usw. ausgeführt werden. Da unter Normalbedingungen Fehler in bezug auf die Anbringpositionen der aus einem Paar bestehenden Kameras 102 und 103 in gewissem Maß auftreten können, werden von diesen Positionsfehlern verursachte Verschiebungen in einem rechten und einem linken Bild erzeugt. Zur Korrektur dieser Bildverschiebung wird eine affine Transformation und dergleichen angewandt, so daß geometrische Transformationen durchgeführt werden, wobei ein Bild gedreht und parallel bewegt wird.
Nachdem die Digitalbilddaten entsprechend einer solchen Bildverarbeitung verarbeitet worden sind, wird von der Hauptkamera 102 eine Referenzbildinformation entsprechend den drei Primärfarbbildern erhalten, und eine Vergleichsbildinformation entsprechend den drei Primärfarbbildern wird von der Unterkamera 103 erhalten. Diese Referenzbilddaten und Vergleichsbilddaten entsprechen einer Menge von Luminanzwerten (0 bis 255) jeweiliger Pixel. In diesem Fall ist eine Bildebene, die von Bilddaten definiert ist, durch ein i-j-Koordinatensystem dargestellt. Während eine untere linke Ecke dieses Bilds als ein Ursprung angenommen wird, wird eine Horizontalrichtung als eine i-Koordinatenachse angenommen, wogegen eine Vertikalrichtung als eine j-Koordinatenachse angenommen wird. Sowohl Referenzbildinformation als auch Vergleichsbildinformation äquivalent 1 Rahmen wird an eine Stereobildverarbeitungseinheit 107 ausgegeben, die der Bildkorrektureinheit 106 nachgeschaltet ist, und wird ferner in einem Bilddatenspeicher 109 gespeichert.
Die Stereobildverarbeitungseinheit 107 errechnet eine Distanzinformation auf der Basis sowohl der Referenzbildinformation als auch der Vergleichsbildinformation, wobei die Distanzinformation auf ein fotografisches Bild äquivalent 1 Rahmen bezogen ist. In diesem Zusammenhang bedeutet der Ausdruck "Distanzinformation" eine Menge von Parallaxen, die für jeden kleinen Bereich in einer Bildebene, die von Bildinformation definiert ist, errechnet werden, während jede dieser Parallaxen einer Position (i, j) auf der Bildebene entspricht. Eine der Parallaxen wird in bezug auf jeden Pixelblock berechnet, der eine vorbestimmte Fläche (z. B. 4 × 4 Pixel) hat und einen Teil des Referenzbilds bildet. Bei der dritten Ausführungsform, bei der die drei Primärfarbbilder von jeder der Kameras 102 und 103 ausgegeben werden, wird dieser Stereoanpassungsvorgang separat für jedes gleiche Primärfarbbild ausgeführt.
Wenn eine auf einen bestimmten Pixelblock (eine korrelierte Quelle) bezogene Parallaxe errechnet wird, wird in dem Vergleichsbild ein Bereich (korreliertes Ziel), der mit einer Luminanzeigenschaft dieses Pixelblocks eine Korrelation aufweist, bezeichnet. Von den Kameras 102 und 103 definierte Distanzen zu einem Ziel erscheinen als Verschiebungsgrößen entlang der Horizontalrichtung zwischen dem Referenzbild und dem Vergleichsbild. Infolgedessen kann in einem Fall, in dem eine korrelierte Quelle in dem Vergleichsbild gesucht wird, ein Pixel auf derselben Horizontallinie (Epipolarlinie) wie eine "j"-Koordinate eines eine korrelierte Quelle bildenden Pixelblocks gesucht werden. Die Stereobildverarbeitungseinheit 125 verschiebt zwar Pixel auf der Epipolarlinie um jeweils ein Pixel nach dem anderen innerhalb eines vorbestimmten Suchbereichs, der durch Verwen dung der "i"-Koordinate der korrelierten Quelle als Referenz vorgegeben ist, aber die Stereobildverarbeitungseinheit 125 bewertet sequentiell eine Korrelation zwischen der korrelierten Quelle und einem Kandidaten des korrelierten Ziels (d. h. Stereoabgleich). Dann wird im Prinzip eine Verschiebegröße eines solchen korrelierten Ziels (eines der Kandidaten von korrelierten Zielen), dessen Korrelation als die höchste Korrelation entlang der Horizontalrichtung beurteilt werden kann, als eine Parallaxe dieses Pixelblocks definiert. Anders ausgedrückt, entspricht eine Distanzinformation einer zweidimensionalen Verteilung einer Distanz vor dem eigenen Fahrzeug. Dann führt die Stereobildverarbeitungseinheit 107 einen Stereoabgleich zwischen denselben Primärfarbbildern aus und gibt dann die stereoskopisch abgeglichenen Primärfarbbilddaten an eine der Stereobildverarbeitungseinheit 107 nachgeschaltete Mischprozeßeinheit 108 aus. In bezug auf einen Pixelblock in dem Referenzbild werden infolgedessen drei Parallaxen errechnet (die nachstehend ausschließlich als "Primärfarbparallaxen" bezeichnet werden).
Die Mischprozeßeinheit 107 mischt drei Primärfarbparallaxen, die in bezug auf einen bestimmten Pixelblock errechnet worden sind, um so eine auf diesen bestimmten Pixelblock bezogene einheitliche Parallaxe "i" zu errechnen. Für das Mischen der Primärfarbparallaxen werden Multiplikations-/Summierberechnungen ausgeführt auf der Basis von Parametern (konkret: Gewichtskoeffizienten jeweiliger Farben), die von einer Detektierobjektwähleinheit 108a erhalten werden. Eine Menge der Parallaxen "Ni", die auf die oben beschriebene Weise erhalten wurden und äquivalent 1 Rahmen sind, wird als Distanzinformation in einem Distanzinformationsspeicher 110 gespeichert. Es ist ferner zu beachten, daß die beiden detaillierten Systemstrukturen und detaillierten Systemprozeßoperationen sowohl der Mischprozeßeinheit 8 als auch der Detektierobjektwähleinheit 8a in der eigenen JP-Patentanmeldung 2001-343801 beschrieben sind, die erforderlichenfalls herangezogen werden kann.
Ein Mikrocomputer 111 besteht aus einer CPU, einem ROM, einem RAM, einer E/A-Schnittstelle und dergleichen. Zur Ausführung von Funktionen des Mikrocomputers 111 enthält dieser sowohl eine Erkennungseinheit 112 als auch eine Steuereinheit 113. Die Erkennungseinheit 112 erkennt vor dem eigenen Fahrzeug befindliche Ziele auf der Basis der Primärfarbbildinformation, die in dem Bilddatenspeicher 109 gespeichert ist, und erzeugt ferner Farbinformation der erkannten Ziele. Ziele, die von der Erkennungseinheit 112 erkannt werden sollen, sind typischerweise dreidimensionale Objekte. Bei der dritten Ausführungsform entsprechen diese Ziele einem Kraftfahrzeug, einem Zweiradfahrzeug, einem Fußgänger usw. Sowohl die Information der von der Erkennungseinheit 112 erkannten Ziele als auch die von der Erkennungseinheit 112 erzeugte Farbinformation werden an die Steuereinheit 113 ausgegeben. Die Steuereinheit 113 steuert eine Displayeinrichtung 115, die der Steuereinheit 113 nachgeschaltet ist, so daß Symbole, welche die von der Erkennungseinheit 112 erkannten Ziele bedeuten, durch Überlagerung auf die Navigationsinformation angezeigt werden. In diesem Fall werden die den Zielen entsprechenden Symbole durch Verwendung von Displayfarben angezeigt, die der Farbinformation der ausgegebenen Ziele entsprechen.
In diesem Fall ist eine Navigationsinformation eine Information, die erforderlich ist, um die aktuelle Position des eigenen Fahrzeugs und eine planmäßige Route des eigenen Fahrzeugs in Kombination mit Karteninformation auf der Displayeinrichtung 115 anzuzeigen, und die Navigationsinformation kann von einem auf diesem Gebiet wohlbekannten Navigationssystem 114 gewonnen werden. Das Navigationssystem 114 ist zwar in 6 nicht deutlich dargestellt, das Navigationssystem besteht jedoch im wesentlichen aus einem Fahrzeuggeschwindigkeitssensor, einem Gyroskop, einem GPS-Empfänger, einer Kartendateneingabeeinheit und einer Navigationssteuereinheit. Der Fahrzeuggeschwindigkeitssensor entspricht einem Sensor zum Erfassen der Geschwindigkeit eines Fahrzeugs. Das Gyroskop detektiert einen Änderungsbetrag eines Azimutwinkels auf der Basis einer Winkelgeschwindigkeit der Drehbewegung, die auf das Fahrzeug aufgebracht wird. Der GPS-Empfänger empfängt über eine Antenne elektromagnetische Wellen, die von GPS-Satelliten gesendet werden, und detektiert dann Positionsinformation wie etwa eine Position, ein Azimut (Fahrtrichtung) und dergleichen des Fahrzeugs. Die Kartendateneingabeeinheit entspricht einer Einrichtung zur Eingabe von Daten wie etwa Karteninformation (nachstehend als "Kartendaten" bezeichnet) in das Navigationssystem 114. Diese Kartendaten sind in einem Aufzeichnungsträger gespeichert, der allgemein als eine CD-ROM oder eine DVD bekannt ist. Die Navigationssteuereinheit errechnet eine aktuelle Position des Fahrzeugs entweder auf der Basis der von dem GPS-Empfänger erhaltenen Positionsinformation oder auf der Basis sowohl einer Fahrdistanz des Fahrzeugs in Abhängigkeit von einer Fahrzeuggeschwindigkeit als auch eines Betrags der Azimutänderung des Fahrzeugs. Sowohl die aktuelle Position, die von der Navigationssteuereinheit errechnet wird, als auch dieser aktuellen Position entsprechende Kartendaten werden von dem Navigationssystem 114 als Navigationsinformation an den Mikrocomputer 111 ausgegeben.
7 ist ein Flußdiagramm und beschreibt eine Sequenz eines Informationsdisplayprozesses gemäß der dritten Ausführungsform. Eine in diesem Flußdiagramm angegebene Routine wird jedesmal aufgerufen, wenn ein vorgewähltes Zeitintervall abgelaufen ist, und dann wird die aufgerufene Routine von dem Mikrocomputer 111 abgearbeitet. In einem Schritt 11 werden sowohl eine Distanzinformation als auch eine Bildinformation (z. B. eine Referenzbildinformation) gelesen. Bei der dritten Ausführungsform, bei der drei Primärfarbbilder von jeder von der Hauptkamera 102 und der Unterkamera 103 ausgegeben werden, werden jeweils drei Bilddatenelemente (nachstehend als "Primärfarbbilddaten" bezeichnet) entsprechend jedem der Primärfarbbilder gelesen.
In einem Schritt 12 werden dreidimensionale Objekte erkannt, die sich vor dem eigenen Fahrzeug befinden. Wenn die dreidimensionalen Objekte erkannt werden, werden zuerst in den Distanzdaten enthaltene Störsignale in einem Gruppenfilterverfahren entfernt. Das heißt, es werden Parallaxen "Ni", die als wenig zuverlässig erachtet werden, entfernt. Eine Parallaxe "Ni", die durch Fehlabstimmungseffekte infolge von schädlichen Einflüssen wie etwa Störsignalen bewirkt ist, ist von einem Wert einer peripheren Parallaxe "Ni" stark verschieden und weist die Charakteristik auf, daß ein Bereich einer Gruppe, die einen dieser Parallaxe "Ni" äquivalenten Wert hat, relativ klein wird. Infolgedessen werden in bezug auf Parallaxen "Ni", die in bezug auf jeweilige Pixelblöcke berechnet werden, Änderungswerte in bezug auf Parallaxen "Ni" in Pixelblöcken, die entlang der oberen/unteren Richtung und in Rechts-/Links-Richtung aneinandergrenzen, und die innerhalb eines vorbestimmten Grenzwerts anwesend sind, zu Gruppen zusammengefaßt. Dann werden die Dimensionen von Flächen von Gruppen detektiert, und eine Gruppe, die eine größere Fläche als eine vorbestimmte Dimension (z. B. 2 Pixelblöcke) hat, wird als eine effektive Gruppe beurteilt. Andererseits werden Parallaxen "Ni", die zu einer Gruppe gehören, deren Fläche kleiner oder gleich wie die vorbestimmte Dimension ist, aus den Distanzdaten entfernt, da beurteilt wird, daß die Zuverlässigkeit der errechneten Parallaxen "Ni" gering ist.
Auf der Basis sowohl der durch den Gruppenfiltervorgang extrahierten Parallaxe "Ni" als auch der Koordinatenposition auf der Bildebene, die dieser extrahierten Parallaxe "Ni" entspricht, wird als nächstes eine Position in einem realen Raum errechnet durch Anwendung der auf diesem Gebiet wohlbekannten Koordinaten-Transformationsgleichung. Da die errechnete Position in dem realen Raum mit der Position der Straßenebene verglichen wird, wird dann eine solche über der Straßenebene liegende Parallaxe "Ni" extrahiert. Anders ausgedrückt, wird eine Parallaxe "Ni" extrahiert, die äquivalent einem dreidimensionalen Objekt ist (nachstehend als "dreidimensionale Objektparallaxe" bezeichnet). Eine Position auf der Fahrbahnoberfläche kann durch Errechnen eines Straßenmodells, das eine Straßengestalt definiert, bezeichnet werden. Das Straßenmodell wird durch lineare Gleichungen sowohl in der Horizontalrichtung als auch der Vertikalrichtung in dem Koordinatensystem des realen Raums ausgedrückt und wird errechnet durch Einstellen eines Parameters dieser linearen Gleichung auf einen Wert, der mit der tatsächlichen Straßengestalt koinzident gemacht ist. Die Erkennungseinheit 112 bezieht sich auf die Bilddaten auf der Basis des gewonnenen Wissens, daß eine auf die Fahrbahn aufgebrachte weiße Fahrbahnbegrenzungslinie einen hohen Luminanzwert gegenüber demjenigen der Fahrbahnoberfläche hat. Die Positionen der rechtsseitigen weißen Fahrbahnbegrenzungslinie und der linksseitigen weißen Fahrbahnbegrenzungslinie können bezeichnet werden durch Bewerten einer Luminanzänderung entlang einer Breitenrichtung der Fahrbahn auf der Basis dieser Bilddaten. In einem Fall, in dem eine Position einer weißen Begrenzungslinie bezeichnet wird, können Änderungen der Luminanzwerte in bezug auf die drei Primärfarbbilddaten ausgewertet werden. Alternativ kann beispielsweise eine Änderung der Luminanzwerte zum Bezeichnen von Primärfarbbilddaten wie etwa nur eines roten Bilds oder nur sowohl eines roten als auch eines blauen Bilds ausgewertet werden. Dann wird eine Position einer weißen Fahrbahnbegrenzungslinie im realen Raum detektiert durch Verwendung von Distanzdaten auf der Basis der Position dieser weißen Begrenzungslinie auf der Bildebene. Das Straßenmodell ist so berechnet, daß die weißen Fahrbahnbegrenzungslinien auf der Straße in eine Vielzahl von Abschnitten entlang der Distanzrichtung unterteilt sind, die rechtsseitige weiße Begrenzungslinie und die linksseitige weiße Begrenzungslinie in jedem der unterteilten Abschnitte durch dreidimensionale Gerade approximiert werden und dann diese dreidimensionalen Geraden miteinander zuu einer gefalteten Liniengestalt verbunden werden.
Als nächstes werden die Distanzdaten zu einer Gitterform segmentiert, und ein Histogramm, das auf dreidimensionale Objektparallaxen "Ni", die zu jedem dieser Abschnitte gehören, bezogen ist, wird in jedem Abschnitt dieser Gitterform gebildet. Dieses Histogramm stellt eine Häufigkeitsverteilung der dreidimensionalen Parallaxen "Ni" dar, die pro Einheitsabschnitt enthalten sind. In diesem Histogramm wird eine Häufigkeit einer Parallaxe "Ni", die ein bestimmtes dreidimensionales Objekt bezeichnet, hoch. Da infolgedessen in dem gebildeten Histogramm eine solche dreidimensionale Objektparallaxe "Ni", deren Häufigkeit größer oder gleich wie ein Beurteilungswert wird, detektiert wird, wird diese detektierte dreidimensionale Objektparallaxe "Ni" als Kandidat eines dreidimensionalen Objekts detektiert, das sich vor dem eigenen Fahrzeug befindet. In diesem Fall wird auch eine Distanz errechnet, die bis zu dem Kandidaten des dreidimensionalen Objekts definiert ist. Als nächstes werden in den benachbarten Abschnitten Kandidaten von dreidimensionalen Objekten, deren errechnete Distanzen nahe beieinander sind, gruppiert, und dann wird jede dieser Gruppen als ein dreidimensionales Objekt erkannt. In bezug auf das erkannte dreidimensionale Objekt werden Positionen der rechten/linken Randbereiche, eine zentrale Position, eine Distanz und dergleichen als damit in Übereinstimmung befindliche Parameter definiert. Es ist zu beachten, daß die konkrete Verarbeitungssequenz in dem Gruppenfilter und die konkrete Verarbeitungssequenz der dreidimensionalen Objekterkennung in der bereits genannten offengelegten JP-Patentanmeldung Nr. Hei-10-285582 angegeben sind, auf die bei Bedarf Bezug genommen werden kann.
In einem Schritt 13 beurteilt die Steuereinheit 113, ob die momentane Fahrbedingung der Bedingung entspricht, daß Farbinformation der dreidimensionalen Objekte geeignet erzeugt wird. Wie noch erläutert wird, wird die Farbinformation der dreidimensionalen Objekte auf der Basis von Luminanzwerten der jeweiligen Primärfarbbildinformation erzeugt. Es versteht sich, daß Farbinformation, die durch Verwendung von Primärfarbbildinformation als Basis unter der normalen Fahrbedingung erzeugt worden ist, eine tatsächliche Farbe eines dreidimensionalen Objekts mit hoher Präzision darstellen kann. Für den Fall jedoch, daß das eigene Fahrzeug durch einen Tunnel fährt, ist Farbinformation eines dreidimensionalen Objekts, die auf der Basis eines solchen Bilds erzeugt wird, verschieden von der tatsächlichen Farbinformation dieses dreidimensionalen Objekts, weil die Beleuchtung und die Leuchtdichte im Tunnel schwächer sind. Um also eine fehlerhafte Er zeugung von Farbinformation zu vermeiden, ist somit ein Beurteilungsvorgang entsprechend Schritt 13 vorgesehen, bevor ein Erkennungsvorgang gemäß Schritt 14 ausgeführt wird. Eine Beurteilung, ob das eigene Fahrzeug durch den Tunnel fährt, kann erfolgen durch Überprüfung, daß die Luminanzeigenschaften der jeweiligen Primärfarbbildinformation, die zeitlich aufeinanderfolgend ausgegeben wird, in den Bereich niedriger Luminanz verlagert werden, und/oder daß ein Scheinwerfer-Einschaltzustand überprüft wird. Da eventuell eine Scheinwerferlampe ausfallen kann, kann anstelle eines Einschaltstatus der Scheinwerfer alternativ auch der Status eines Betätigungsschalters dieses Scheinwerfers detektiert werden.
Für den Fall, daß das Beurteilungsergebnis in Schritt 13 JA ist, d. h. daß die aktuelle Fahrbedingung der geeigneten Fahrbedingung zum Erzeugen der Farbinformation entspricht, geht der Ablauf zu Schritt 14 weiter. In Schritt 14 wird Farbinformation erzeugt, wobei jedes der erkannten dreidimensionalen Objekte als ein Verarbeitungsgegenstand verwendet wird. Bei diesem Vorgang der Erzeugung der Farbinformation wird zuerst durch Distanzdaten eine Positionsgruppe (d. h. eine Menge (i, j)) auf einer Bildebene definiert, die in Übereinstimmung mit der dreidimensionalen Parallaxe "Ni" entsprechend einer Gruppe definiert ist, die als ein dreidimensionales Objekt innerhalb einer zweidimensionalen Ebene (i-j-Ebene) erkannt wird. Dann wird in jeder der Primärfarbbildinformationen ein Luminanzwert dieser definierten Positionsgruppe detektiert. Bei dieser Ausführungsform unter Verwendung von drei Mengen der oben erläuterten Primärfarbbildinformationen wird ein Luminanzwert (nachstehend "R-Luminanzwert") einer Positionsgruppe in einem roten Bild detektiert; ein Luminanzwert (nachstehend "G-Luminanzwert") einer Positionsgruppe in einem grünen Bild wird detektiert; und ein Luminanzwert (nachstehend "B-Luminanzwert") einer Positionsgruppe in einem blauen Bild wird detektiert. Dann wird zum Zweck der Bezeichnung einer Merkmalsfarbe dieses dreidimensionalen Objekts entweder ein häufigster Luminanzwert oder ein gemittelter Luminanzwert der Positionsgruppe als die Farbinformation dieses dreidimensionalen Objekts auf der Basis des Luminanzwerts (genau gesagt, eine der Positionsgruppe entsprechende Luminanzwertmenge), der in jeder der Primärfarbbildinformationen detektiert wird, erkannt. Somit wird bei dieser Ausführungsform die Farbinformation des dreidimensionalen Objekts zu einer Menge der drei Farbkomponenten aus dem R-Luminanzwert, dem G-Luminanzwert und dem B-Luminanzwert. Wenn beispielsweise die Karosseriefarbe eines vo rausfahrenden Fahrzeugs weiß ist oder eine Kleidungsfarbe eines Fußgängers weiß ist, wird die Farbinformation dieses vorausfahrenden Fahrzeugs oder des Fußgängers erzeugt als R-Luminanzwert = "255"; G-Luminanzwert = "255"; und B-Luminanzwert = "255".
Wenn andererseits das Beurteilungsergebnis in Schritt 13 NEIN wird, d. h. wenn die aktuelle Fahrbedingung einer solchen zum Erzeugen der Farbinformation ungeeigneten Fahrbedingung entspricht, geht der Ablauf zu Schritt 15 weiter. In diesem Fall wird die Farbinformation von dreidimensionalen Objekten auf der Basis der Farbinformation der dreidimensionalen Objekte angegeben, die unter der richtigen Fahrbedingung erzeugt worden ist, d. h. der Farbinformation, die zu dem vorhergehenden Zeitpunkt erzeugt worden ist (Schritt 15). Zuerst beurteilt die Steuereinheit 113, ob solche dreidimensionalen Objekte, die aktuell erkannt werden, in einem zum vorhergehenden Zeitpunkt ausgeführten Zyklus erkannt worden sind. Konkret wird ein dreidimensionales Objekt sequentiell aus den dreidimensionalen Objekten, die aktuell erkannt werden, ausgewählt, und dann wird das ausgewählte dreidimensionale Objekt positionsmäßig mit dem dreidimensionalen Objekt verglichen, das vor einem vorbestimmten Zeitpunkt erkannt worden ist. Das heißt, auch wenn eine Fahrbedingung zeitlich aufeinanderfolgend geändert wird, besteht eine geringe Möglichkeit, daß sich ein Bewegungswert entlang einer Fahrzeugbreitenrichtung und ein Bewegungswert entlang einer Fahrzeughöhenrichtung in bezug auf dasselbe dreidimensionale Objekt erheblich geändert haben. Infolgedessen kann, da ein Beurteilungsvorgang ausgeführt wird, ob ein Bewegungswert des dreidimensionalen Objekts entlang der Fahrzeugbreitenrichtung (und ferner ein Bewegungswert in der Fahrzeughöhenrichtung) kleiner oder gleich wie ein vorbestimmter Beurteilungswert ist, beurteilt werden, ob das aktuell erkannte dreidimensionale Objekt einem solchen dreidimensionalen Objekt entspricht, das innerhalb des im vorhergehenden Zeitabschnitt ausgeführten Zyklus erkannt worden ist (d. h. eine Beurteilung in bezug auf die Identität von dreidimensionalen Objekten, die zu verschiedenen Zeiten erkannt wurden).
Bei diesem Beurteilungsvorgang dahingehend, ob kein dreidimensionales Objekt, das mit dem vor der vorbestimmten Zeitdauer erkannten dreidimensionalen Objekt identisch ist, vorhanden ist, d. h. ein dreidimensionales Objekt, das in diesem Zyklus neu erkannt wird, wird dessen Farbinformation als "nicht erkennbar" bezeichnet. Andererseits wird in bezug auf ein solches dreidimensionales Objekt, das aus dem vorhergehenden Zyklus heraus kontinuierlich erkannt worden ist und dessen Farbinformation bereits erzeugt worden ist, diese als die entsprechende Farbinformation bezeichnet. Da in diesem Fall in bezug auf ein solches dreidimensionales Objekt, dessen Farbinformation unter der richtigen Fahrbedingung erzeugt worden ist, die Farbinformation bereits in der Operation von Schritt 14 erzeugt worden ist, wird diese erzeugte Farbinformation als die Farbinformation dieses dreidimensionalen Objekts bezeichnet. Andererseits bleibt in bezug auf ein anderes dreidimensionales Objekt, das erkannt worden ist, während dieses dreidimensionale Objekt einen Tunnel durchfährt, für das jedoch keine Farbinformation in dem vorhergehenden Zyklus erzeugt worden ist, die Farbinformation kontinuierlich in dem Status "nicht erkennbar".
In einem Schritt 16 wird ein Displayvorgang auf der Basis sowohl der Navigationsinformation als auch des von der Erkennungseinheit 112 erhaltenen Erkennungsergebnisses ausgeführt. Konkret steuert dabei die Steuereinheit 113 die Displayeinrichtung 115 so, daß die in den folgenden Abschnitten (1) und (2) beschriebenen Displaymoden erhalten werden:

(1) Ein Symbol, das ein dreidimensionales Objekt bezeichnet, sowie eine Navigationsinformation werden einander überlagert angezeigt: Bei einem Erkennungsvorgang für ein dreidimensionales Objekt unter Verwendung von Distanzinformation wird eine das dreidimensionale Objekt bezeichnende Position durch ein Koordinatensystem dargestellt (bei dieser Ausführungsform ein dreidimensionales Koordinatensystem), in dem die Position des eigenen Fahrzeugs auf eine Ursprungsposition desselben gesetzt ist. Unter diesen Umständen wird, während die aktuelle Position des eigenen Fahrzeugs, die von dem Navigationssystem 114 erhalten ist, als Referenzposition dient, von der Steuereinheit 113 ein Symbol, welches das dreidimensionale Objekt bezeichnet, auf Kartendaten überlagert, nachdem dieses Symbol entsprechend einer Position eines Ziels in dem realen Raum auf der Basis der Position des erkannten Ziels gesetzt worden ist. Während die Steuereinheit 113 ein Straßenmodell als Referenz nutzt, definiert in diesem Fall die Steuereinheit 113 eine Straßenposition auf den Straßendaten in Übereinstimmung mit den Positionen der dreidimensionalen Objekte durch Setzen des Straßenmodells, so daß die Symbole an korrekteren Positionen angezeigt werden können.
(2) Symbole werden in vorbestimmten Displayfarben angezeigt: Symbole, die Kartendaten überlagert angezeigt werden, sind durch Displayfarben repräsentiert, die der Farbinformation entsprechen, die in bezug auf ihre Ziele erzeugt/ausgegeben worden sind. Das heißt, ein ein dreidimensionales Objekt darstellendes Symbol, für das rote Farbinformation ausgegeben wurde (z. B. ein R-Luminanzwert "255"; ein G-Luminanzwert "0"; und ein B-Luminanzwert "0"), wird durch die gleiche Displayfarbe wie diese ausgegebene rote Farbinformation dargestellt. Ferner wird ein anderes Symbol, das ein dreidimensionales Objekt bezeichnet ("nicht erkennbar"), dessen Farbinformation noch nicht erzeugt/angegeben worden ist, durch Verwendung einer voreingestellten Displayfarbe eingestellt. Bevorzugt ist diese Displayfarbe so ausgewählt, daß es eine Farbe ist, die von der in der Verkehrsumgebung erkennbaren Farbinformation verschieden ist, beispielsweise kann die Farbe Purpur verwendet werden.

8 erläutert einen Displayzustand der Displayeinrichtung 115. 9 zeigt schematisch eine tatsächliche Fahrbedingung, wobei vor dem eigenen Fahrzeug befindliche dreidimensionale Objekte und Farben (z. B. Karosserie- bzw. Körperfarben etc.) dieser dreidimensionalen Objekte angegeben sind. Im Fall von 8, wobei drei Kraftfahrzeuge erkannt werden und nur ein Zweiradfahrzeug erkannt wird (siehe 9), werden Kartendaten unter Anwendung eines "Fahreraugbereich"-Modus angezeigt, und Symbole, welche die jeweiligen dreidimensionalen Objekte bezeichnen, werden in diesem Fall so angezeigt, daß diese Symbole den Kartendaten überlagert sind. In 8 werden als ein Beispiel Modelle verwendet, welche die dreidimensionalen Objekte simulieren, und die diese dreidimensionalen Objekte bezeichnenden Symbole sind durch Displayfarben dargestellt, die der Farbinformation der erkannten dreidimensionalen Objekte entsprechen.
Ferner kann die Steuereinheit 113 alternativ die Displayeinrichtung 115 so steuern, daß entsprechend der Darstellung in dieser Figur die Dimensionen der anzuzeigenden Symbole voneinander relativ verschieden sind in Abhängigkeit von den Dimensionen der erkannten dreidimensionalen Objekte, was gegenüber den oben erläuterten Bedingungen (1) und (2) verschieden ist. Ferner kann die Steuereinheit 113 die Displayeinrichtung 115 so steuern, daß die Symbole durch das perspektivische Gefühl dargestellt werden. In diesem alternativen Fall gilt, je weiter entfernt sich ein dreidimensionales Objekt von dem eigenen Fahrzeug befindet, um so kleiner wird die Displaygröße seines Symbols in Abhängigkeit von der Entfernung des erkannten dreidimensionalen Objekts von dem eigenen Fahrzeug. Auch in dem Fall, daß ein Symbol, das an einer positionsmäßig fernen Position angezeigt wird, ein anderes Symbol überlappt, das an einer Position angezeigt wird, die in bezug auf das eigene Fahrzeug näher als die oben genannte ferne Position ist, kann die Steuereinheit 113 alternativ die Displayeinrichtung 115 so steuern, daß das erstere Symbol im Vergleich mit dem letztgenannten Symbol an der Seite der oberen Ebene angezeigt wird. Da somit das entfernt befindliche Symbol durch das nahe befindliche Symbol überdeckt und maskiert wird, kann die visuell erkennbare Eigenschaft der Symbole verbessert werden, und außerdem kann die in bezug auf die Position vordere/hintere Beziehung zwischen diesen Symbolen dargestellt werden.
Wie bereits erläutert wurde, wird gemäß dieser Ausführungsform ein Ziel (bei dieser Ausführungsform ein dreidimensionales Objekt), das sich vor dem eigenen Fahrzeug befindet, auf der Basis eines Farbbilds erkannt, und ferner wird Farbinformation dieses dreidimensionalen Objekts erzeugt und dann ausgegeben. Danach werden einander überlagernd ein dieses erkannte Ziel bezeichnendes Symbol und Navigationsinformation angezeigt. In diesem Fall wird die Displayeinrichtung 115 so gesteuert, daß das anzuzeigende Symbol eine Displayfarbe hat, die der in bezug auf das Ziel ausgegebenen Farbinformation entspricht. Somit kann die Fahrbedingung, die von dem Fahrzeugführer tatsächlich erkannt wird, den auf der Displayeinrichtung 115 angezeigten Symbolen in bezug auf die Farbe entsprechen, so daß das Gefühl der Nichtübereinstimmung zwischen der erkannten Fahrbedingung und den angezeigten Symbolen reduziert werden kann. Da außerdem das Display der Farbe der tatsächlichen Fahrumgebung entspricht, kann die durch den Benutzer (typischerweise den Fahrzeugführer) visuell erkennbare Charakteristik verbessert werden. Da also die benutzerfreundliche Eigenschaft durch die im Stand der Technik nicht realisierten Funktionen verbessert werden kann, kann die Attraktivität des Produkts im Hinblick auf den Aspekt der Benutzerfreundlichkeit verbessert werden.
Es versteht sich ferner, daß dann, wenn die sämtlichen erkannten dreidimensionalen Objekten entsprechenden Symbole angezeigt werden, der Vorteil erzielt wird, daß die Fahrbedingungen im einzelnen angezeigt werden. Allerdings erhöht sich die auf dem Bild schirm angezeigte Informationsmenge. Anders ausgedrückt, werden Informationen wie ein vorausfahrendes Fahrzeug, das sich fern von dem eigenen Fahrzeug befindet, ebenfalls angezeigt, ohne in direkter Beziehung mit dem Fahrbetrieb zu stehen. Im Hinblick auf den Gedanken einer Beseitigung unnötiger Informationen kann als Alternative auch eine Vielzahl von dreidimensionalen Objekten, die sich nahe dem eigenen Fahrzeug befinden, ausgewählt werden, und dann können alternativ nur Symbole angezeigt werden, die diesen ausgewählten dreidimensionalen Objekten entsprechen.
Ferner ist die dritte Ausführungsform nicht nur auf eine solche Symbolanzeigefunktion beschränkt, daß ein Symbol durch Verwendung einer Displayfarbe angezeigt wird, die mit einer Farbkomponente (d. h. R-Luminanzwert, G-Luminanzwert, B-Luminanzwert) von erzeugter Farbinformation vollständig koinzident gemacht ist. Anders ausgedrückt, kann diese Displayfarbe innerhalb eines Bereichs richtig eingestellt werden, in dem zu erwarten ist, daß sich zwischen den Anwendern kein Sichtunterschied ergibt. Ferner kann die vorliegende Erfindung nicht nur mit dem Displaymodus wie etwa dem Fahreraugbereich-Displaymodus verwendet werden, sondern die Anzeige kann auch aus der Vogelperspektive und als Draufsicht erstellt werden.
Da ferner die Stereokamera aus einem Kamerapaar, und zwar der Haupt- und der Unterkamera besteht, welche die Farbbilder ausgeben, kann eine Doppelfunktion realisiert werden, und zwar zum einen die Funktion als Kamera, die das Farbbild ausgibt, und zum anderen die Funktion als Sensor, der die Distanzinformation durch das nachgeschaltete Bildverarbeitungssystem ausgibt. Die vorliegende Erfindung ist nicht auf diese Ausführungsform beschränkt. Alternativ kann zusätzlich zu der oben beschriebenen Funktion eine ähnliche Funktion wie die der vorliegenden Ausführungsform dadurch erreicht werden, daß eine einäugige Kamera zur Ausgabe eines Farbbilds mit einem wohlbekannten Sensor wie etwa einem Laserradar oder einem Millimeterwellenradar kombiniert wird, der Distanzinformation liefern kann. Wenn ferner Farbinformationen der vor dem eigenen Fahrzeug befindlichen dreidimensionalen Objekte nur erkannt werden und Symbole einfach unter Verwendung von Displayfarben angezeigt werden, die der Farbinformation der erkannten dreidimensionalen Objekte entsprechen, ist nicht immer ein Sensor zur Ausgabe von Distanzinformation vorgesehen. Da in diesem alternativen Fall die wohlbekannte Bildverarbeitungstechnik wie etwa ein optischer Fluß oder ein Verfahren zum Detektieren einer von einer Fahrbahnoberfläche verschiedenen Farbkomponente angewandt wird, kann aus der Bildinformation ein dreidimensionales Objekt erkannt werden. Es versteht sich ferner, daß infolge der Verwendung von Distanzinformationen die Positionsinformation eines dreidimensionalen Objekts mit höherer Genauigkeit erkannt werden kann. Da diese Positionsinformation in einen Displayprozeß einfließt, kann somit eine Darstellungseigenschaft einer tatsächlichen Fahrbedingung auf einem Displayschirm verbessert werden.
Wenn ferner die Erkennungseinheit 112 beurteilt, daß auf der Basis eines Erkennungsergebnisses eines Ziels eine Warnung für den Fahrzeugführer erforderlich ist, kann diese Erkennungseinheit 112 alternativ die Displayeinrichtung 115 und den Lautsprecher 116 so aktivieren, daß die Erkennungseinheit 112 den Fahrer aufmerksam macht. Als Alternative kann die Erkennungseinheit 112 erforderlichenfalls die Steuereinrichtung 117 so steuern, daß ein Fahrzeugsteuerungsvorgang wie ein Herunterschalten und ein Bremssteuerungsvorgang ausgeführt werden.

Claims

Informationsdisplayvorrichtung, die Folgendes aufweist: eine Kamera (20, 21) zum Ausgeben eines Farbbilds durch Fotografieren einer Szene vor dem eigenen Fahrzeug; ein Navigationssystem (9) zum Ausgeben einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs; eine Erkennungseinheit (4) zum Erkennen eines Ziels, das sich vor dem eigenen Fahrzeug befindet, auf der Basis des ausgegebenen Farbbilds und zum Ausgeben der Farbinformation des erkannten Ziels; eine Steuereinheit (5) zum Bestimmen von anzuzeigender Information auf der Basis sowohl der von der Erkennungseinheit (4) erkannten Ziele als auch der Navigationsinformation; und eine Displayeinrichtung (6) zum Anzeigen der bestimmten Information unter Steuerung durch die Steuereinheit (5); wobei die Steuereinheit (5) die Displayeinrichtung (6) so steuert, dass ein das erkannte Ziel bezeichnendes Symbol und die Navigationsinformation einander überlagernd angezeigt werden, und wobei sie die Displayeinrichtung (6) so steuert, dass das Symbol durch Verwenden einer Displayfarbe, die der Farbinformation des Ziels entspricht, angezeigt wird, dadurch gekennzeichnet, dass dann, wenn die Erkennungseinheit (4) eine solche Fahrbedingung beurteilt, dass die ausgegebene Farbinformation des Ziels sich von einer tatsächlichen Farbe des Ziels unterscheidet, die Erkennungseinheit die Farbinformation des Ziels auf der Basis der Farbinformation des Ziels angibt, die unter der richtigen Fahrbedingung ausge geben worden ist, und die Steuereinheit (5) die Displayeinrichtung (6) so steuert, dass das Symbol durch Verwenden einer Displayfarbe, die der angegebenen Farbinformation entspricht, angezeigt wird.
Informationsdisplayvorrichtung nach Anspruch 1, die ferner Folgendes aufweist: einen Sensor zum Ausgeben einer Distanzinformation, die eine zweidimensionale Verteilung einer Distanz vor dem eigenen Fahrzeug darstellt, wobei die Erkennungseinheit (4) eine Position des Ziels auf der Basis der Distanzinformation erkennt; und die Steuereinheit (5) die Displayeinrichtung (6) so steuert, dass das Symbol in Übereinstimmung mit der Position des Ziels in einem realen Raum auf der Basis der von der Erkennungseinheit (4) erkannten Position des Ziels angezeigt wird.
Informationsdisplayvorrichtung nach Anspruch 2, wobei die Kamera aufweist: eine erste Kamera (20) zum Ausgeben des Farbbilds durch Fotografieren der Szene vor dem eigenen Fahrzeug und eine zweite Kamera (21) die als eine Stereokamera wirksam ist, die gemeinsam mit der ersten Kamera (20) betätigt wird, und der Sensor die Distanzinformation ausgibt durch Ausführen einer Stereoabstimmungsoperation auf der Basis sowohl des von der ersten Kamera (20) ausgegebenen Farbbilds als auch des von der zweiten Kamera (21) ausgegebenen Farbbilds.
Informationsdisplayvorrichtung nach einem der Ansprüchen 1 bis 3, wobei die Steuereinheit (5) die Displayeinrichtung (6) so steuert, dass in Bezug auf ein Ziel, dessen Farbinformation von der Erkennungseinheit (4) nicht ausgegeben wird, das dieses Ziel bezeichnende Symbol durch Verwenden einer vorbestimmten Displayfarbe, die vorher eingestellt worden ist, angezeigt wird.
Informationsdisplayverfahren, das Folgendes aufweist: einen ersten Schritt des Erkennens eines vor dem eigenen Fahrzeug befindlichen Ziels auf der Basis einer durch Fotografieren einer Szene vor dem eigenen Fahrzeug erhaltenen Farbbilds, und des Erzeugens einer Farbinformation des erkannten Ziels; einen zweiten Schritt des Erhaltens einer Navigationsinformation in Abhängigkeit von einem Fahrbetrieb des eigenen Fahrzeugs; und einen dritten Schritt des überlagerten Anzeigens eines das erkannte Ziel bezeichnenden Symbols und der Navigationsinformation, so dass das Symbol durch Verwenden einer Displayfarbe, die der erzeugten Farbinformation des Ziels entspricht, angezeigt wird, dadurch gekennzeichnet, dass der erste Schritt einen Schritt aufweist, in dem dann, wenn eine solche Fahrbedingung beurteilt wird, dass sich die erzeugte Farbinformation des Ziels von einer tatsächlichen Farbe des Ziels unterscheidet, eine Farbinformation des Ziels auf der Basis der Farbinformation des Ziels angegeben wird, die unter der richtigen Fahrbedingung ausgegeben worden ist; und der dritte Schritt einen Schritt aufweist, in dem die Displayeinrichtung (6) so gesteuert wird, dass das Symbol durch Verwenden einer Displayfarbe, die der angegebenen Farbinformation entspricht, angezeigt wird.
Informationsdisplayverfahren nach Anspruch 5, das ferner Folgendes aufweist: einen vierten Schritt des Erkennens einer Position des Ziels auf der Basis einer Distanzinformation, die eine zweidimensionale Verteilung einer Distanz vor dem eigenen Fahrzeug bezeichnet, wobei der dritte Schritt das Symbol in Übereinstimmung mit einer Position des Ziels in einem realen Raum auf der Basis der Position des erkannten Ziels anzeigt.
Informationsdisplayverfahren nach Anspruch 5 oder 6, wobei der dritte Schritt einen Schritt aufweist, in dem die Displayeinrichtung (6) so gesteuert wird, dass in Bezug auf ein Ziel, dessen Farbinformation nicht erzeugt wird, das dieses Ziel bezeichnende Symbol durch Verwenden einer vorbestimmten Displayfarbe, die vorher eingestellt worden ist, angezeigt wird.