DE10296593B4

DE10296593B4 - Fahrunterstützungsvorrichtung

Info

Publication number: DE10296593B4
Application number: DE10296593.5T
Authority: DE
Inventors: Hirofumi Ishii; Kazufumi Mizusawa; Tsuyoshi Okada
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2001-03-28
Filing date: 2002-03-01
Publication date: 2017-02-02
Anticipated expiration: 2022-03-02
Also published as: DE10296593T5; JP2002359838A; JP4861574B2; US7218758B2; US20040105579A1; WO2002080557A1

Abstract

Fahrunterstützungsvorrichtung, die aufweist: eine Bildaufnahmeeinrichtung (1001, 3001), die an einer mobilen Einheit angebracht ist; eine Wandeleinrichtung (3007, 3008; 3013; 7013) zum Wandeln eines oder mehrerer Bilder, das oder die durch die Bildaufnahmeeinrichtung (1001, 3001) aufgenommen wird oder werden, in ein Bild, das von einem virtuellen Blickpunkt (1004) oberhalb einer Position der Bildaufnahmeeinrichtung (1001, 3001) gesehen wird, oder in ein Bild, das von oben orthogonal projiziert wird, auf der Basis eines Straßenoberflächenmodells (3011); eine Hindernisbereich-Detektionseinrichtung (3005) zum Detektieren eines Bereiches, wobei eine Parallaxe (3010) zwischen Bildern, die durch die Bildaufnahmeeinrichtung (1001, 3001) aufgenommen werden, nicht mit einer Parallaxe auf das Straßenoberflächenmodell (3011) als ein Hindernisbereich zusammenfällt; eine Überlagerungseinrichtung (3016) zum Überlagern des detektierten Bereiches (3015) in einem Bild, für das die Blickpunktwandlung durchgeführt wird, auf der Basis des Straßenoberflächenmodells (3011); und eine Anzeigeeinrichtung (3009) zum Anzeigen des zusammengesetzten Bildes; wobei die Überlagerungseinrichtung (3016) einen Abstand von der Bildaufnahmeeinrichtung (1001, 3001) und eine Höhe von einer Straßenoberfläche auf der Basis einer Parallaxe des detektierten Bereiches (3015) detektiert, eine Anzeige der Bereiche gemäß dem Abstand und der Höhe ändert und dann den detektierten Bereich (3015) in einem Bild überlagert, für das die Blickpunktwandlung durchgeführt wird, auf der Basis des Straßenoberflächenmodells (3011).

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Fahrunterstützungsvorrichtung zum Unterstützen des Fahrens eines Fahrzeugs durch Aufnehmen der Situation um das Fahrzeug herum unter Verwendung einer Bildaufnahmeeinrichtung, die an dem Fahrzeug angebracht ist, und durch Anzeigen des aufgenommenen Bildes in dem Fahrzeug und eine Fahrunterstützungsvorrichtung zum Unterstützen des Fahrens eines Fahrzeugs durch Zusammensetzen bzw. Zusammenstellen eines Bildes, das bezüglich des Abstands bzw. der Entfernung zu Hindernissen um das Fahrzeug herum leicht zu verstehen ist, auf einem Bildschirm von einem Bild, das durch die Bildaufnahmeeinrichtung aufgenommen wird, und durch Anzeigen des resultierenden Bildes dem Fahrer.
Hintergrund der Erfindung
Druckschrift WO 00/07373 A1 beschreibt eine Vorrichtung zum Anzeigen eines zusammengesetzten Bildes, betrachtet von einem virtuellen Betrachtungspunkt aus, wobei das Bild aus einer Mehrzahl von Bildern, die entweder von einer einzelnen oder einer Mehrzahl von Kameras aufgenommen wurden, zusammengesetzt ist. Insbesondere kann die Vorrichtung als Überwachungseinrichtung zum Beispiel in einem Geschäft, aber auch zur Umgebungsüberwachung zur Fahrerunterstützung eines Kraftfahrzeugs eingesetzt werden. Eine Mehrzahl von Bildern, die von verschiedenen Betrachtungspunkten aus aufgenommen wurden, werden zusammengesetzt, wobei eine Korrektur durch Verschiebung und/oder Drehung ausgeführt wird, um parallaxenbedingte Betrachtungswinkelunterschiede zwischen den zusammenzusetzenden Bildern auszugleichen.
Die Druckschrift US 6192145 B1 beschreibt eine Vorrichtung zur dreidimensionalen Verarbeitung einer Szenerie unter Verwendung der Parallaxengeometrie von Punktepaaren. Insbesondere wird die Synthese neuer Kameraperspektiven beruhend auf einem gegebenen Satz von Perspektiven beschrieben.
Die Druckschrift DE 19539642 A1 beschreibt ein Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes bei einem Fahrzeug. Das Fahrzeug ist mit einer Videokamera mit extrem weitem Objektivwinkel ausgestattet, wodurch das Bild in erheblichem Maße verzeichnet wird. Die Verzeichnungen werden mittels einer fest verdrahteten Halbleiterlogik in einem mehrstufigen Transformationsprozess korrigiert.
Die Druckschrift US 6198852 B1 beschreibt eine Zusammensetzung eines neuen Bildes einer Szenerie aus einer neuen Perspektive aus wenigstens zwei existierenden Bildern der Szenerie, die jeweils aus unterschiedlichen Perspektiven aufgenommen wurden. Beruhend auf den verschiedenen Perspektiven kann die Szenerie dreidimensional analysiert werden. Beruhend auf einem Abgleich der Bilder können Parallaxevektoren zwischen verschiedenen Perspektiven berechnet werden. Alternativ können zusammenzusetzende Bilder beruhend auf Bildaufnahmen unterschiedlicher Punkte der Szenerie aus einer einzigen Perspektive erhalten werden.
Druckschrift EP 1050866 A1 beschreibt eine Einparkhilfe, die eine Position eines Fahrzeugs in der Draufsicht, beruhend auf einer Mehrzahl umgebender Bildaufnahmevorrichtungen, berechnet, und einer Abschätzung der Bewegungsbahn des Fahrzeugs beruhend auf Fahrzeugparametern, wie etwa einem Lenkwinkel, vorhersagt. Es wird eine Perspektivtransformation von durch verschiedene Aufnahmevorrichtungen aufgenommenen Bildern vorgenommen, und ein zusammengesetztes Bild wird bereitgestellt, welches sowohl die gegenwärtige Position und die vorhergesagte Bahn des Fahrzeugs zu Darstellung auf einem Display enthält.
Bezüglich einer Fahrunterstützungsvorrichtung des Standes der Technik, die eine Bildaufnahmeeinrichtung verwendet, die an einem Fahrzeug angebracht ist, gibt es ein Verfahren zur Änderung des Ansichtspunktes bzw. Blickpunkts eines zusammengesetzten Bildes. Das Verfahren ist zum Beispiel in JP S 58110334 A offenbart. In dem Fall dieser Vorrichtung des Standes der Technik wird ein zusammengesetztes Bild erzeugt, das von einem anderen Ansichtspunkt, zum Beispiel von oben, gesehen wird. In solch einem Fall ist der Abstand von einem Fahrzeug und einem anderen Objekt proportional zum Abstand auf dem Bildschirm derart, dass es einfach ist, den tatsächlichen Abstand intuitiv zu verstehen. Obwohl eine solche Fahrunterstützungsvorrichtung manchmal als Mobileinheit-Bildanzeigesystem bezeichnet wird, wird in dieser Spezifikation der Ausdruck Fahrunterstützungsvorrichtung verwendet.
Der Betrieb des Beispiels des Standes der Technik wird nachfolgend unter Verwendung von 31A bis 31D erläutert. 31A ist eine schematische Ansicht zum Erläutern der Beziehung zwischen der Aufnahmevorrichtung des tatsächlichen Bildes und eines virtuellen Ansichtspunkts. In dieser Figur nimmt die Bildaufnahmevorrichtung 1001, die an dem Fahrzeug angebracht ist, die Rückseitebereich des Fahrzeugs auf, hauptsächlich die Straßenoberfläche bei einem nach unten gerichteten Winkel. Unter der Annahme, dass die Richtung der Pixel 1002, wo ein Bild der Bildaufnahmevorrichtung vorhanden ist, einen Punkt bzw. Ort 1003 auf einer dreidimensionalen Straßenoberfläche aufnimmt, ist verständlich, dass die Position, die von einem virtuellen Blickpunkt von oben (virtuelle Kamera) 1004 gesehen wird, den Pixel in einer Richtung 1005 auf dem Bildschirm eines Bildes der virtuellen Kamera entspricht. 31B zeigt die Situation eines Fahrzeugs und einer rückseitigen Kamera in einem tatsächlichen Parkplatz und einer Peripherie des Parkplatzes. Die Bildaufnahmevorrichtung 1001 nimmt das Bild des Bereiches des Gebiets 1006 in dem Parkplatz auf. In diesem Beispiel ist insbesondere die Richtung der Pixel 1002 auf einen Punkt 1003 in der Ecke der weißen Linien auf der Straßenoberfläche gerichtet. 31C ist ein Bild, das tatsächlich von der Bildaufnahmevorrichtung 1001 erhalten wird. Die Position des Punkts 1003 in der Ecke der weißen Linien auf der Straßenoberfläche ist derart gewandelt und zusammengesetzt, dass sie den Pixel in der Richtung 1005 entspricht, gesehen von dem tatsächlichen, höheren Blickpunkt 1004. 31D ist ein zusammengesetztes Bild. In der Figur ist der Punkt 1003 auf der Straßenoberfläche derart angeordnet, dass die Relativposition bezüglich des Fahrzeugs genau reproduziert werden kann. Alle weißen Linien in anderen Parkabschnitten sind auf einer Straßenoberfläche derart positioniert, dass die Relativposition bezüglich des Fahrzeugs genau auf einem zusammengesetzten Bild reproduziert werden kann.
Der Fahrer eines Fahrzeugs kann die Beziehung zwischen dem Fahrzeug und seiner Umgebung durch Betrachten dieses zusammengesetzten Bildes verstehen.
Die Technologie des Standes der Technik hat jedoch ein Problem. Das Problem wird unter Verwendung von 32A bis 32D beschrieben.
32A erläutert einen Fall, bei dem ein Objekt, das irgendwo anders als auf der Straßenoberfläche angeordnet ist, zum Beispiel eine Stoßstange eines Fahrzeugs, in dem Beispiel von 31A aufgenommen ist. In diesem Fall ist ein Punkt, der durch die Bildaufnahmeeinrichtung 1001 in einer Richtung 1002 aufgenommen wird, ein Punkt (die Stoßstange eines Fahrzeugs) 2001, der sich oberhalb der dreidimensionalen Straßenoberfläche befindet. Eine Straßenoberfläche wird jedoch in dem Fall angenommen, dass ein Bild von einem virtuellen Blickpunkt 1004 derart zusammengesetzt ist, dass eine Bildzusammensetzung unter der Annahme gemacht wird, dass der Punkt, der aufgenommen werden soll, auf einen Punkt 2002 als ein Schnittpunkt der Richtung 1002 und der Straßenoberfläche vorhanden ist.
32 B zeigt ein tatsächliches Fahrzeug, eine Rückseitenkamera und den Punkt 2001 einer Stoßstangenposition eines hinteren Fahrzeugs. 32C ist ein Bild der Bildaufnahmevorrichtung 1001. In dem Bild sind der Punkt 2001 der Stoßstange und ein Punkt 2002 des Schnittpunktes seiner Richtung und der Straßenoberfläche auf einem einzelnen Punkt überlagert. In dem zusammengesetzten Bild, das in 32D gezeigt ist, ist der Punkt 2002 entfernt von dem Punkt 2001 zusammengestellt. Zudem sind andere Abschnitte des hinteren Fahrzeugs derart zusammengestellt, als würden sie weiter weg als die tatsächliche Position vorhanden sein, und sie sind in einem großen Maß verzerrt, mit der Ausnahme der Reifen, die in Berührung mit der Straßenoberfläche kommen.
Deshalb ist in dem Stand der Technik nur der Boden für die Umwandlung als Blickpunkt tauglich. Im Ergebnis ist das, was nicht auf dem dreidimensionalen Boden ist, zum Beispiel andere Fahrzeuge und Hindernisse, in einem zusammengesetzten Bild verzerrt.
Wenn der Stand der Technik als Fahrunterstützungsvorrichtung verwendet wird, werden die Stoßstange und ein weiteres Fahrzeug weiter weg als die tatsächliche Position ist, angezeigt. Obwohl der Nutzer, der ein Fahrzeug fährt, einen genügenden Abstand aus diesem Bild annimmt, ist der Abstand zu dem tatsächlichen Hindernis derart länger, dass das Fahrzeug wahrscheinlicher in Berührung mit dem Objekt kommt. Das Entfernen der Fehlortsangabe und der Bildverzerrung ist deshalb ein wichtiges Problem in Anmeldungen bzw. Anwendungen.
Als eine Gegenmaßnahme gegen diese Verzerrung eines blickpunktgewandelten Bildes von oben ist ein Beispiel in JP-A-7-186833 offenbart. In diesem Beispiel wird eine gleiche Farbe über das Bild extrahiert und dann werden ein Straßenoberflächenbereich und ein Nicht-Straßenoberflächenbereich durch die Expansion und die Kontraktion des Bereiches getrennt. Für den Straßenoberflächenbereich wird ein gewandeltes Bild von oben zusammengestellt. Für den Nicht-Straßenoberflächenbereich wird ein eingegebenes Bild des Bereiches ohne Durchführung einer Blickpunktwandlung maßstabsgetreu vergrößert/verkleinert und das sich ergebende Bild wird dem gewandelten Bild überklebt bzw. überlagert. Dies ermöglicht die Zusammensetzung eines Bildes ohne Verzerrung der Hindernisse, die über der Straße vorhanden sind.
Dieses Beispiel hinterlässt jedoch die Probleme, die in den nachfolgenden Problemen (1) bis (3) beschrieben sind.

(1) Eine Trennung eines Straßenoberflächenbereiches und eines Nicht-Straßenoberflächenbereiches wird unter Verwendung von Farbinformationen derart ausgeführt, dass die Trennung an einem Abschnitt ungenau ist, bei dem sich die Struktur in einem großen Ausmaß auf der Straßenoberfläche und einem Abschnitt einer ähnlichen Farbe zu der der Straße ändert, zum Beispiel einem Gebäude.
(2) Ein Hindernis, das von dem Boden entfernt ist, zum Beispiel eine Stoßstange, wird als Teil einer Straße zusammengestellt. Dies erstreckt den Straßenbereich weiter als die tatsächliche Straße in dem zusammengesetzten Bild.
(3) Obwohl die Straßenoberfläche in ein Bild von einem Blickpunkt von oben gewandelt wird, bleibt das Hindernis ein eingegebenes Bild. Das sich ergebende, zusammengesetzte Bild ist unnatürlich und der Fahrer kann Probleme beim intuitiven Verstehen der Informationen über die Umgebung haben.

Betreffend die Probleme (1) wird eine Technologie zum Trennen einer Straßenoberfläche und einer Nicht-Straßenoberfläche in JP-A-7-334679 offenbart. In diesem Beispiel werden Bilder, die durch eine linke Kamera und eine rechte Kamera aufgenommen werden, derart verbunden, dass sie an einer Position zusammenfallen, wo sie auf eine Straßenoberfläche projiziert werden. Dann wird die Trennung ausgeführt: ein Bereich, wo die zwei entsprechenden Bildsignale ähnlich zueinander innerhalb eines Schwellenwerts sind, wird als ein Straßenoberflächenbereich definiert und der restliche Bereich wird als ein Nicht-Straßenoberflächenbereich definiert.
Dieses Beispiel hinterlässt jedoch die Probleme (1) bis (3) unten.

(1) Ein Hindernis, das von dem Boden entfernt ist, zum Beispiel eine Stoßstange, wird als Teil einer Straße erkannt, die entfernter als die tatsächliche Straße ist.
(2) Vertikale Kanten können leicht von Stereokameras erkannt werden, die rechts und links angeordnet sind, obwohl Abschnitte ohne Kanten und horizontale Kantenabschnitte nicht erkannt werden können. Insbesondere neigt die Grenze zu einem Hindernis, das von dem Boden entfernt ist, zum Beispiel einer Stoßstange, dazu, als eine Horizontalkante auf dem Bildschirm zu erscheinen.
(3) Obwohl eine Blickpunktwandlung von oben in diesem Beispiel nicht erwähnt wird, gibt es keinen Effekt der Verzerrungskorrektur für ein gewandeltes Bild eines Hindernisses.

Die Erfindung ist vorgeschlagen worden, um die Probleme des Standes der Technik bezüglich der Fahrunterstützungsvorrichtung zu lösen und zielt darauf ab eine Fahrunterstützungsvorrichtung bereitzustellen, die es dem Fahrer ermöglicht, die Situation um ein Hindernis intuitiv und genauer erkennen zu können, wodurch die Belastung des Fahrers reduziert wird.
Offenbarung der Erfindung
Dies wird mit den Merkmalen des Patentanspruchs 1 erreicht.
Eine Fahrunterstützungsvorrichtung gemäß der Erfindung hat eine Bildaufnahmeeinrichtung, die an einer mobilen Einheit angebracht ist, eine Wandeleinrichtung zum Wandeln eines oder mehrerer Bilder, das bzw. die durch die Bildaufnahmeeinrichtung aufgenommen wird bzw. werden, in ein Bild, das von einem virtuellen Betrachtungspunkt oberhalb einer Position der Bildaufnahmeeinrichtung gesehen wird, oder in ein Bild, das orthogonal von oben auf der Basis eines Straßenoberflächenmodells projiziert wird, eine Hindernisbereich-Detektionseinrichtung zum Detektieren eines Bereiches, wo eine Parallaxe zwischen den Bildern, die durch die Bildaufnahmemittel aufgenommen werden, nicht mit einer Parallaxe auf dem Straßenoberflächenmodell zusammenfällt, als einen Hindernisbereich. Mit diesem Aufbau ist es möglich, den Bereich, der nicht der Straßenoberfläche entspricht, als einen Hindernisbereich unter Verwendung der Parallaxe zwischen den Bildern, die durch die Bildaufnahmeeinrichtung aufgenommen werden, und der Parallaxe auf einem Straßenoberflächenmodell zu detektieren.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm, das einen Aufbau einer Fahrunterstützungsvorrichtung gemäß einer ersten Ausführungsform der Erfindung zeigt;
2A bis 2D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung erläutern;
3A bis 3D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung erläutern;
4A bis 4D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung erläutern;
5A bis 5D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung erläutern;
6 ist eine schematische Ansicht, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung erläutert;
7 ist ein Blockdiagramm, das den Aufbau der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutert;
8A bis 8D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutern;
9A bis 9D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutern;
10A bis 10C zeigen Fotos von Beispielen von Vorteilen der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung;
11A und 11B sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutern;
12 ist ein Blockdiagramm, das den Aufbau einer Variation der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutert;
13 ist ein Blockdiagramm, das den Aufbau der Fahrunterstützungsvorrichtung gemäß einer dritten Ausführungsform der Erfindung zeigt;
14 ist ein Blockdiagramm, das den Aufbau einer Variation der Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung zeigt;
15A bis 15D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung erläutern;
16A bis 16D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung und ihrer Variationen erläutern;
17A bis 17D sind schematische Ansichten, die den Betrieb der Variation der Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform erläutern;
18 ist ein Blockdiagramm, das den Aufbau der Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung zeigt;
19 ist ein Blockdiagramm, das den Aufbau einer Variation der Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung zeigt;
20A bis 20D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung und ihrer Variation erläutern;
21 ist ein Blockdiagramm, das den Aufbau der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung zeigt;
22A und 22B sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung erläutern;
23A bis 23D zeigen schematische Fotos, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung zeigen;
24A und 24B sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung erläutern;
25A bis 25C sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung erläutern;
26 ist eine schematische Ansicht, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung erläutert;
27 ist ein Flussdiagramm, das die Suchverarbeitung in der Fahrunterstützungsvorrichtung gemäß der fünften Aus führungsform der Erfindung erläutert;
28A bis 28C sind schematische Ansichten, die den Aufbau einer Variation der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung zeigen;
29A bis 29C sind schematische Ansichten, die den Aufbau einer weiteren Variation der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung zeigen;
30A bis 30C zeigen eine Variation eines Stereokamera aufbau-Verfahrens gemäß der ersten bis fünften Ausführungsform der Erfindung;
31A bis 31D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung des Standes der Technik zeigen; und
32A bis 32D sind schematische Ansichten, die die Probleme der Fahrunterstützungsvorrichtung des Standes der Technik aufzeigen.
In den Figuren gibt das Bezugszeichen 1001 eine Bildaufnahmeeinrichtung wieder, gibt 3002 eine Horizontalkanten-Gewinnungseinrichtung wieder, gibt 3003 eine Horizontalkanten-Gewinnungseinrichtung wieder, gibt 3004 eine Blocksetzeinrichtung wieder, gibt 3005 eine Sucheinrichtung wieder, gibt 3006 eine Unterpixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung wieder, gibt 3007 eine 3D-Kartenerzeugungseinrichtung wieder, gibt 3008 eine 3D-Bildzusammensetzungseinrichtung wieder, gibt 3009 eine Anzeigeeinrichtung wieder, gibt 3010 eine Standardparallaxe-Dateneinrichtung wieder, gibt 3011 eine Straßenoberfläche-Dateneinrichtung wieder, gibt 3012 eine Fahrzeugverhalten-Informationseinrichtung wieder, gibt 3013 eine Bildprojektionseinrichtung wieder, gibt 3014 eine Hinderniskantenabstandseinrichtung wieder, gibt 3015 eine Hindernisbereichseinrichtung wieder, gibt 3016 eine Überlagerungseinrichtung wieder, gibt 7013 eine Bildprojektionseinrichtung wieder, gibt 8001 eine Bildprojektionseinrichtung wieder, gibt 8002 eine Bildprojektionseinrichtung wieder, gibt 8003 eine Hindernisbereich-Detektionseinrichtung wieder, gibt 8004 eine Überlagerungseinrichtung wieder, gibt 8005 eine Linsenverzerrung-Korrektur/Abstand/Richtung-Bildeinrichtung wieder, gibt 8006 eine Linsenverzerrung-Korrektur/Abstand/Richtung-Bildeinrichtung wieder, gibt 8007 eine Kantenvergleichseinrichtung wieder, gibt 8008 eine Abstandsermittlungseinrichtung wieder, gibt 8009 eine Hindernisbereichseinrichtung wieder, gibt 8010 eine Abstand/Richtung-Straßenoberfläche-Wandeleinrichtung wieder, gibt 10001 eine Bildprojektionseinrichtung wieder, gibt 10002 eine Stärkenberechnungseinrichtung wieder, gibt 10005 eine Stärkenberechnungseinrichtung wieder, gibt 10006 eine Bildprojektionseinrichtung wieder, gibt 10007 eine Bildaufnahmevorrichtung wieder, gibt 13004 eine Überlagerungseinrichtung wieder, gibt 13004 eine Überlagerungseinrichtung wieder, gibt 13005 eine Linsenverzerrung-Korrektur/Abstand-Höhe/Richtung-Bildeinrichtung wieder, gibt 13006 eine Linsenverzerrung-Korrektur/Abstand-Höhe/Richtung-Bildeinrichtung wieder, gibt 13007 eine Kantengewinnungseinrichtung wieder, gibt 13008 eine Horizontalblockübereinstimmung/Abstand-Ermittlungseinrichtung wieder, gibt 13009 eine Hindernisgrenze-Einrichtung wieder und gibt 13012 eine Suchbereichdateneinrichtung 13012 wieder.
Bester Modus zum Ausführen der Erfindung
Ausführungsformen der Erfindung werden nachfolgend unter Bezug auf die Zeichnungen beschrieben.
(Erste Ausführungsform)
Die Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung ermöglicht dem Fahrer eines Fahrzeugs intuitiv und genau die Positionen der Hindernisse um das Fahrzeug herum und die Umgebungssituation zu erkennen, indem ein Bild, das von der Bildaufnahmeeinrichtung aufgenommen wird, in ein Bild gewandelt wird, das von einem virtuellen Betrachtungspunkt oberhalb gesehen ist, indem dreidimensionale Informationen, die andere als jene auf einer Straßenoberfläche sind, auf der Basis der Parallaxe zwischen Bildern detektiert werden, die durch eine Vielzahl von Bildaufnahmeeinrichtungen aufgenommen werden, indem die Verzerrung des gewandelten Bildes auf der Basis der dreidimensionalen Informationen korrigiert werden und indem das korrigierte Bild angezeigt wird.
1 ist ein Blockdiagramm einer Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung. 2 bis 6 sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung erläutern.
Wie in 1 gezeigt ist, hat die Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung zwei Bildaufnahmeeinrichtungen 1001, 3001, Horizontalkantengwinnungseinrichtungen 3002, 3003 zum Gewinnen der Horizontalkante eines Bildes, das von der Bildaufnahmevorrichtung 1001 bzw. 3001 aufgenommen wird, eine Blocksetzeinrichtung 3004 zum Setzen des Blocks für eine Parallaxensuche unter Verwendung des Ausgangs der Horizontalkantengewinnungseinrichtung 3002, eine Sucheinrichtung 3005 zum Ausführen der Blocksuche auf der Basis des Ausgangs der Horizontalkantengewinnungseinrichtung 3003, des Ausgangs der Blocksetzeinrichtung 3004 und der Standardparallaxendaten 3010, die später erwähnt werden, eine Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006 zum Ausgeben des Parallaxen- und Zuverlässigkeitsbestimmungsergebnisses mit Sub-Pixel-Genauigkeit von dem Ausgang der Sucheinrichtung 3005, eine 3D-Karte-Erzeugungseinrichtung 3007 zum Erzeugen einer 3D-Karte auf dem Bildschirm eines Bildes von der Bildaufnahmeeinrichtung 3001 auf der Basis des Ausgangs der Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006, der Standardparallaxendaten 3010 und Straßenoberflächendaten 3011, die später erwähnt werden, eine 3D-Bildzusammensetzungseinrichtung 3008 zum Zusammensetzen eines Bildes, das von einem virtuellen Betrachtungspunkt bzw. Blickpunkt gesehen wird, auf der Basis eines Bildes von der Bildaufnahmeeinrichtung 3001 und seiner 3D-Karte auf dem Bildschirm und eine Anzeigeeinrichtung 3009 zum Anzeigen des Ausgangssignals der 3D-Bildzusammensetzungseinrichtung 3008.
Zudem hat die Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform der Erfindung eine Standardparallaxendateneinrichtung 3010, eine Straßenoberflächendateneinrichtung 3011 und eine Fahrzeugverhaltensinformationseinrichtung 3012.
Zwei Bildaufnahmeeinrichtungen 1001 und 3001 sind in Positionen angeordnet, die in 2A gezeigt sind. In diesem Beispiel sind die Einrichtungen in Positionen 10 cm voneinander entfernt auf einer geraden Linie 4001 in der Richtung rechtwinklig zu dem Boden angeordnet. Die Höhe der jeweiligen Einrichtung von dem Boden beträgt 100 cm bzw. 110 cm. Die jeweilige Richtung der Betrachtung bzw. des Blicks beträgt 40° nach unten bezüglich des Horizonts. Die Richtungen der Sichtlinien 4003 der beiden Bildaufnahmeeinrichtungen sind parallel zueinander. Der Bereich des Feldes 4001 jeder Bildaufnahmeeinrichtung beträgt 90° in der Vertikalrichtung (Richtung des Höhenwinkels).
Das Eingangsbild von den beiden Bildaufnahmeeinrichtungen 1001, 3001 sind Bilder, deren Positionen virtuell konstant in der Horizontalrichtung sind, aber in der Vertikalrichtung, wie in 2B bzw. 2C gezeigt ist, variieren. Die Bildaufnahmeeinrichtung 3001 ist in einer höheren Position als der Bildaufnahmeeinrichtung 1001 angeordnet. Die Position eines Horizonts als infiniter Punkt 4004 ist somit die gleiche auf dem Bildschirm, aber ein näherer Punkt (zum Beispiel ein Punkt 4005 auf einer weißen Linie auf einer Straßenoberfläche oder ein Punkt 4006 auf einer Stoßstange eines Fahrzeugs) ist niedriger als das Bild in 2B positioniert. Eine Änderung der Vertikalposition ergibt eine vertikale Parallaxe 4007 oder 4008, wie in 2B gezeigt ist, wo zwei Bilder überlagert sind. In diesem Beispiel gibt ein Bezugszeichen 4007 die Parallaxe einer weißen Linie auf einer Straßenoberfläche an, während ein Bezugszeichen 4008 die Parallaxe der Stoßstange eines Fahrzeugs über der Straßenoberfläche angibt.
Die Horizontalkantengewinnungseinrichtungen 3002, 3003, die in 1 gezeigt sind, gewinnen eine vertikale Kante der beiden Aufnahmebilder unter Verwendung des Betriebs des nachfolgenden Ausdrucks [1], worin L ein Helligkeitssignal eines Bildes wiedergibt, x eine horizontale Pixelposition wiedergibt und y eine vertikale Pixelposition wiedergibt. L'(x, y) = 2·L(x, y) – L(x, y – 1) – L(x, y + 1) Ausdruck [1]
Mittels dieses Betriebs, zum Beispiel in dem Bild von 2B, werden die Kanten (4009, 4010) der Stoßstange und die weiße Linie, die nahe zueinander horizontal auf dem Boden sind, hervorgehoben. Die Kanten (4011, 4012), die näher vertikal bei einander sind, werden geschwächt.
Die Blocksetzeinrichtung 3004 in 1 führt ein Blocksetzen für eine Parallaxensuche auf einem Bild durch, wobei eine horizontale Kante durch die Horizontalkantengewinnungseinrichtungen 3002, 3003 hervorgehoben wird. 3B erläutert das Blocksetzen. Der maximale Punkt und der minimale Punkt von L'(x, y), gezeigt im Ausdruck [1], werden in Übereinstimmung mit Abtastzeilen 4013 erhalten, die in der vertikalen Richtung alle zwei Pixel verlaufen. Die Blöcke 4014 der fünf vertikalen Pixel mal fünf horizontalen Pixel um diese Punkte werden gesetzt. Wie in 3B gezeigt ist, wird eine Vielzahl dieser Blöcke angeordnet, die sich gegenseitig auf der horizontalen Kante des Bildschirms überlappen.
Standardparallaxendaten 3010, die auf den Straßenoberflächendaten 3011 in 1 basieren, werden nachfolgend beschrieben. Dies ist ein Wert der Parallaxe, der im Vorhinein berechnet wird, unter der Annahme, dass beide Bildaufnahmeeinrichtungen 1001, 3001 die Straßenoberfläche aufnehmen, wie in 3C gezeigt ist. In 3C wird die Parallaxe eines Punktes 4015 auf der Straßenoberfläche als ein Winkel 4016 berechnet. 3D zeigt die Standardparallaxendaten auf dem Bildschirm. Während die Standardparallaxe 4017 der Position eines Horizonts an einem infiniten Punkt 4004 gleich 0 ist, wird die Standardparallaxe größer, wie durch 4018, 4019 gezeigt ist, wenn der Punkt näher kommt (niedriger auf dem Bildschirm wird). Der Punkt kommt noch näher, bis sich die Richtung der Sichtlinie der Bildaufnahmeeinrichtungen 1001, 3001 an die vertikale Richtung annähert. Dies reduziert die Standardparallaxe, wie durch das Bezugszeichen 4020 gezeigt ist.
Ein Objekt, das sich oberhalb einer Straßenoberfläche befindet erzeugt eine größere Parallaxe als die Standardparallaxe. Eine Sucheinrichtung 3005 in 1 führt deshalb eine Suche in der Richtung einer größeren Parallaxe aus, während die Standardparallaxe als ein Anfangswert der Suche verwendet wird.
Die obere Grenze der Suchparallaxe wird bestimmt wie folgt: Wie in 4A gezeigt ist, wird eine Parallaxe unter der Annahme einer Wand 4021, die 50 cm von einem Fahrzeug entfernt ist und rechtwinklig zum Boden ist, und einer Wand 4022 angenähert, die einen Winkel von 60 Grad bis gerade unterhalb der Bildaufnahmeeinrichtungen 1001, 3001 hat. Der Wert der Parallaxe 4023 auf dem Bildschirm wird als eine obere Grenze der Suchparallaxe angenommen.
Die Sucheinrichtung 3005 sucht nach einer Parallaxe DY, wobei ein Korrelationswert F, der in Ausdruck [2] unten gezeigt ist, das Maximum bezüglich eines Bildsignals L3' von der Bildaufnahmeeinrichtung 3001, was ein Fünf-mal-Fünf-Pixelsignal L'(x + j, y + i) betrifft, das durch die Blocksetzeinrichtung 3004 gesetzt wird, zwischen dem Anfangswert und dem oberen Grenzwert der Suche ist. F = ΣiΣjL'(x + j, y + i)·L3'(x + j, y + i + DY) :i = –2 bis 2, j = –2 bis 2) Ausdruck [2]
Die Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006 analysiert die Parallaxe DY und den Korrelationswert, der durch die Sucheinrichtung 3005 erhalten wird.
Die Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006 bestimmt, dass das Verhältnis F/S des Korrelationswerts F und der Autokorrelationswert S des Blocksignals L'(x + j, y + i), der erhalten wird unter Verwendung S = ΣiΣjL'(x + j, y + i)·L'(x + j, y + i) :i = –2 bis 2, j = –2 bis 2), Ausdruck [3] zuverlässig ist, wenn der Schwellenwert 0,75 oder mehr beträgt, und dass das Verhältnis F/S nicht zuverlässig ist, wenn der Schwellenwert kleiner als 0,75 ist.
Für einen Block, der als zuverlässig bestimmt wird, verwendet die Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006, wie in 4B gezeigt ist, den Korrelationswert F um die pixel-basierende Parallaxe DY herum, um den maximalen Punkt 4025 einer Kurve 4024 zu erhalten, die unter Verwendung eines Ausdrucks zweiter Ordnung interpoliert wird, und nimmt die Position als die Parallaxe DY' mit Sub-Pixel-Genauigkeit an.
Die Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006 gibt die Parallaxe DY' von Sub-Pixel-Genauigkeit und das Zuverlässigkeitsbestimmungsergebnis für jeden Block aus.
Die 3D-Kartenerzeugungseinrichtung 3007 erzeugt eine 3D-Karte auf dem Bildschirm eines Bildes von der Bildaufnahmeeinrichtung 3001 auf der Basis der Parallaxe DY' von Sub-Pixel-Genauigkeit und des Zuverlässigkeitsbestimmungsergebnisses für jeden Block als einen Ausgang von der Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006, den Straßenoberflächendaten 3011 und den Standardparallaxendaten 3010.
Wie in 4C gezeigt ist, existiert eine horizontale Kante eines Bildes von der Bildaufnahmeeinrichtung 3001 in der Position 4026, wobei jeder Block, der als zuverlässig bestimmt wurde, um die Parallaxe DY' bewegt wird. Durch dieses Vorgehen, wie in 4D gezeigt ist, wird bestimmt, ob eine horizontale Kante 4027, wo die detektierte Parallaxe DY' mit den Standardparallaxendaten 3010 zusammenfällt, auf einer Straßenoberfläche existiert und ob eine unpassende, horizontale Kante 4028 über der Straßenoberfläche existiert. Die Kante, die als über der Straßenoberfläche existierend bestimmt wird, hat einen Abstand von der Bildaufnahmeeinrichtung 3001 in der Größe des Wertes der detektierten Parallaxe DY'.
Auf der Basis der Bestimmung und des erhaltenen Abstands wird eine 3D-Karte für den gesamten Bildschirm, wie in 5A gezeigt ist, erzeugt. Wie durch eine Abtastlinie 4032 gezeigt ist, wird der Bildschirm vertikal vom Boden abgetastet. Wenn bestimmt wird, dass ein spezifischer Bereich keine horizontale Kante hat, zum Beispiel wie ein Bereich 4029, oder über der Straßenoberfläche vorhanden ist, obwohl er eine horizontale Kante hat, wird bestimmt, dass der Bereich auf der Straßenoberfläche existiert und ein 3D-Abstand wird dem Bereich auf der Basis des Wertes der Straßenoberflächendaten 3011 gegeben. Zwischenzeitlich wird in einem Bereich 4030 zwischen Kanten, die als existierend über der Straßenoberfläche bestimmt werden, ein Wert erzeugt, der durch eine lineare Interpolation des Abstands zwischen den beiden Kanten erhalten wird. In einem Bereich über der Kante, die als über der Straßenoberfläche existierend bestimmt worden ist, sind die Abstandsdaten der Kante gegeben.
Die 3D-Bildzusammensetzungseinrichtung 3008 stellt ein Bild von einem Blickpunkt von oben auf der Basis eines Bildes von der Bildaufnahmeeinrichtung 3001 und der 3D-Karte des Bildes auf dem Bildschirm zusammen. Wie in 5B gezeigt ist, kann deshalb sogar bei einem Punkt 4033 über der Straßenoberfläche, zum Beispiel einer Stoßstange, die Position auf dem Bildschirm, die von einem virtuellen Blickpunkt aus gesehen wird, auf der Basis einer genauen 3D-Position bestimmt werden, und nicht die Position 4034 auf der Straßenoberfläche. Wie in 5C gezeigt ist, wird deshalb ein Bild in der genauen Position 4033 zusammengesetzt, und nicht in der Position 4034 auf der Straßenoberfläche. Andererseits wird ein Abschnitt hinter einem Fahrzeug durch schraffierte Linienangezeigt, wie durch den Bereich 4035 gezeigt ist.
Wie in einem Bereich 4036 in 5D gezeigt ist, ist es möglich, einen Bereich über einer Straßenoberfläche durch Verwendung eines roten, durchscheinenden Films oder durch Blinken hervorzuheben.
Das zusammengesetzte Bild wird auf einer Anzeigeeinrichtung 3009 angezeigt und der Fahrer kann die Position eines Hindernisses um das Fahrzeug herum intuitiv und genau erfassen.
Die Fahrzeuglageinformationseinrichtung 3012, die in 1 gezeigt ist, gibt Informationen über die Änderung der beobachteten Lage aus, wenn ein Fahrzeug mit Gepäck beladen ist bzw. wird oder beschleunigt wird. Die Straßenoberflächendateneinrichtung 3011, wie in 6 gezeigt ist, berechnet die geänderten Straßenoberflächenpositionsdaten 4038 aus den normalen Straßenoberflächenpositionsdaten 4037 für die Bildaufnahmeeinrichtungen 1001, 3001 in Antwort auf diese Informationen. Die geänderte Straßenoberfläche wird in der nachfolgenden Verarbeitung durch die Standardparallaxendateneinrichtung oder die 3D-Kartenerzeugungseinrichtung 3007 wiedergegeben. Im Ergebnis wird ein genaues Bild zusammengestellt, sogar wenn ein Fahrzeug mit Gepäck beladen wird oder wenn sich die Lage des Fahrzeugs durch eine Beschleunigung des Fahrzeugs ändert. Der Fahrer des Fahrzeugs kann die Position eines Hindernisses um das Fahrzeug herum intuitiv und genau zu jeder Zeit durch Beobachten dieses Bildes erfassen.
In der ersten Ausführungsform kann die Verzerrung bezüglich eines zusammengesetzten Bildes eines Hindernisses mit der Parallaxe zwischen den beiden Bildaufnahmeeinrichtungen 1001, 3001 durch Anordnen der Bildaufnahmeeinrichtungen 1001, 3001 mit einem vertikalen Abstand von 10 cm zwischen ihnen korrigiert werden. Dies hat den Vorteil, dass die Richtung eines Hindernisses nur gering durch irgendeine Fehlerspur in der Parallaxe beeinträchtigt bzw. beeinflusst wird, da der Abstand zwischen den beiden Bildaufnahmeeinrichtungen 1001, 3001 in der vertikalen Richtung ist, obwohl der Abstand des Hindernisses durch den Fehler etwas beeinflusst wird. Dies ist sehr wichtig, wenn ein Fahrzeug gefahren wird.
Durch Anordnen der Bildaufnahmeeinrichtungen 1001, 3001 mit einem vertikalen Abstand von 10 cm dazwischen ist es möglich, die nachfolgende Parallaxen-Detektionsverarbeitung auf den Kantenabschnitt zu begrenzen, der durch die Horizontalkantendetektionseinrichtung detektiert wird, wodurch das Verarbeitungsvolumen stark reduziert wird. Ein Abschnitt eines Fahrzeugs über einer Straßenoberfläche, zum Beispiel eine Stoßstange eines Fahrzeugs, hat eine horizontale Kante auf dem Bildschirm derart, dass die begrenzte Verarbeitung für diesen Abschnitt irgendein Hindernis ohne Fehler detektieren kann.
Auf diese Art und Weise kann gemäß der ersten Ausführungsform der Erfindung der Abstand zu und die Richtung von einem Hindernisbereich besser lesbar und genauer wiedergegeben werden, indem ein Bild, das durch die Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, in ein Bild korrigiert wird, das von einem virtuellen Betrachtungspunkt über der Bildaufnahmeeinrichtung gesehen wird, indem dreidimensionale Informationen über das, was nicht auf der Straßenoberfläche ist, auf der Basis der Parallaxe zwischen den Bildern detektiert werden, die durch eine Vielzahl von Bildaufnahmeeinrichtungen aufgenommen werden, indem die Verzerrung des gewandelten Bildes auf der Basis der detektierten dreidimensionalen Informationen korrigiert wird und indem das korrigierte Bild angezeigt wird. Der Fahrer des Fahrzeugs kann somit die Positionen der Hindernisse um das Fahrzeug und die Umgebungssituation durch Beobachten des angezeigten Bildes überprüfen.
(Zweite Ausführungsform)
Die Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung ermöglicht, dass der Fahrer eines Fahrzeugs intuitiv und sicher die Positionen der Hindernisse um das Fahrzeug herum und die Umgebungssituation erkennen kann, indem ein Bild, das von der Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, gewandelt wird, indem ein Bild, das durch die Bildaufnahmeeinrichtung aufgenommen wird, in ein Bild gewandelt wird, das durch eine Orthogonalprojektion von oben erhalten wird, indem der Bereich, der nicht der Straßenoberfläche entspricht, als ein Hindernisbereich unter Verwendung der Parallaxe zwischen den Bildern, die durch die Vielzahl von Bildaufnahmeeinrichtungen aufgenommen werden, und der Parallaxe auf einem Straßenoberflächenmodell detektiert wird, indem Signale, die den Hindernisbereich angeben, mit den gewandelten Bildsignalen zusammengestellt werden, und indem das sich ergebende Bild angezeigt wird.
7 ist ein Blockdiagramm einer Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung. 8 bis 11 sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung erläutern. 12 ist ein Blockdiagramm, das den Aufbau einer Variation der Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung zeigt. Blockelemente, denen die gleichen Bezugszeichen wie jene in 1, in den Blockdiagrammen in 7 und 12 gegeben sind, haben den gleichen Aufbau und die gleichen Merkmale wie jene in 1.
Die Fahrunterstützungsvorrichtung gemäß der zweiten Ausführungsform der Erfindung hat eine Bildprojektionseinrichtung 3013, eine Hinderniskantenabstandseinrichtung 3014, eine Hindernisbereichseinrichtung 3015 und eine Überlagerungseinrichtung 3016. Die Fahrunterstützungsvorrichtung unterscheidet sich von der Fahrunterstützungsvorrichtung gemäß der ersten Ausführungsform darin, dass die Erstere keine 3D-Kartenerzeugungseinrichtung und keine 3D-Bildzusammensetzungseinrichtung hat.
Die Bildprojektionseinrichtung 3013 stellt ungleich der 3D-Bildzusammensetzungseinrichtung 3008 in 1 ein eingegebenes Bild von der Bildaufnahmeeinrichtung 3001 zusammen, wenn das Bild in einer Position vorhanden ist, wo das Bild auf eine Straßenoberfläche projiziert wird, wie in 8A gezeigt ist, auf der Basis der Daten der Straßenoberflächendateneinrichtung 3011. Der Blickpunkt, der verwendet wird, ist nicht ein virtueller Blickpunkt in der ersten Ausführungsform. Ein Bild, das durch die orthogonale Projektion gerade von oben erhalten wird, wird zusammengesetzt, wie durch den Blickpunkt 6001 in 8A gezeigt ist. Das sich ergebende, zusammengesetzte Bild, das erhalten wird, ist verzerrt, wie z. B. ein Stoßstangenpunkt 6002 des Fahrzeugs über einer Straßenoberfläche an einem weiter entfernten Punkt 6003 in dem Bild existiert, wie in 8B gemeinsam mit dem Stand der Technik gezeigt ist.
Die Hinderniskantenabstandseinrichtung 3014 ähnlich zu der 3D-Kartenerzeugungseinrichtung gemäß der ersten Ausführungsform, detektiert eine Kante, die über einer Straßenoberfläche existiert, als eine Hinderniskante auf der Basis der Parallaxe zwischen den horizontalen Kanten von zwei Bildern, die in 8C gezeigt sind, und die durch die Sub-Pixel-Ermittlung/Zuverlässigkeit-Bestimmungseinrichtung 3006 erhalten werden, wodurch der Abstand von der Bildaufnahmeeinrichtung 3001 berechnet wird. Wie durch eine Abtastlinie 6006 von 8C gezeigt ist, wird der Bildschirm in vertikaler Richtung vom Boden abgetastet und in dem Fall, dass eine Hindernislinie auf der vertikalen Linie existiert, wird der minimale Wert des Abstands der Hindernislinie gespeichert und pro vertikaler Linie ausgegeben.
Die Hindernisbereichseinrichtung 3015, wie in 8D gezeigt ist, setzt eine Position 6008, wo der minimale Wert des Abstands einer Hindernislinie pro vertikaler Linie des Ausgangs von der Hinderniskantenabstandseinrichtung 3014 auf eine Straßenoberfläche projiziert wird, und einen weiter entfernten Bereich 6009 als einen Hindernisbereich zusammen.
Die Überlagerungseinrichtung 3016 schreibt einen Befehl auf einer Schicht, die nicht dem zusammengesetzten Bild entspricht, und überlagert die zusammengesetzten Bilder in 8B und 8D, um ein neues zusammengesetztes Bild ausbilden zu können, wie in 9A gezeigt ist. Der Hindernisbereich 6009 wird als roter, durchscheinender Film in dem Bild in einem Bereich zusammengesetzt, wo das Fahrzeug in 8B vorhanden ist.
Der Ausgang der Überlagerungseinrichtung 3016 wird auf der Anzeigeeinrichtung 3009 angezeigt. Der Fahrer versteht die Position der weißen Linien auf der Straßenoberfläche und den Abstand zu und die Richtung von einem Hindernis, zum Beispiel einem anderen Fahrzeug, von dem Fahrzeug durch Beobachten dieses Bildes. Dies ermöglicht dem Fahrer, das Fahrzeug mit einer erheblich größeren Sicherheit und Genauigkeit zu fahren als in den Beispielen des Standes der Technik.
In der zweiten Ausführungsform muss ungleich der ersten Ausführungsform ein eingegebenes Bild nicht in eine 3D-Karte zusammengesetzt werden, die mit Echtzeit variiert, aber muss einer Projektionswandlung in ein vorgegebenes Straßenoberflächenmodell unterzogen werden, wodurch die Implementation in einer Betriebsschaltung leicht gemacht wird.
Die Hinderniskantenabstandseinrichtung 3014 und die Hindernisbereichseinrichtung 3015 analysieren nur den minimalen Wert der Hindernislinie pro Vertikallinie, was ungleich zu der 3D-Kartenerzeugungseinrichtung 3007 ist. Dies hat den Vorteil, dass die Verarbeitung relativ einfach ist.
Dementsprechend hat die zweite Ausführungsform gegenüber der ersten Ausführungsform einen Vorteil darin, dass die Implementation in einer Betriebsschaltung erheblich einfacher ist. In der zweiten Ausführungsform erfasst wie in der ersten Ausführungsform der Fahrer genau die Position der weißen Linien auf der Straßenoberfläche und den Abstand zu einem Hindernis und die Richtung eines Hindernisses, zum Beispiel eines anderen Fahrzeugs, von dem Fahrzeug durch Beobachten des angezeigten Bildes. Dies ermöglicht, dass der Fahrer das Fahrzeug mit einer erheblich größeren Sicherheit und Genauigkeit fahren kann, als es in den Beispielen des Standes der Technik der Fall ist.
Wie in 9B gezeigt ist, kann nur die Position, wo der minimale Wert des Abstands einer Hindernislinie auf eine Straßenoberfläche projiziert wird, und auch der Hindernisbereich 6009 als eine Grenze angezeigt werden. In diesem Fall kann der Fahrer den Abstand zu einem Hindernis und die Richtung eines Hindernisses auch derart genau erfassen, dass er/sie das Fahrzeug sicher und genau fahren kann.
10A bis 10C sind Beispiele, die den Vorteil von 9B in dem tatsächlichen Aufnahmebild zeigen. 10A zeigt eine schematische Darstellung eines Bildes, das von einer Rückseitenkamera des Fahrzeugs beim Parken aufgenommen wird. In diesem Beispiel wird eine Fischauge-Linse bzw. Fish-eye-Linse verwendet, um einen weiten Bereich abbilden zu können. Dieses Bild enthält Raum, in den das Fahrzeug einparkt, einen Lastkraftwagen auf der linken Seite und ein Auto auf der rechten. 10B zeigt eine schematische Darstellung eines Bildes, das unter Verwendung eines Aufnahmebildes von 10A mittels des Standes der Technik zusammengesetzt wird. Die Computergrafik der Situation des Parkplatzes, gesehen von oben, und des Fahrzeugs auf der linken Seite wird ausgebildet. Hier werden die weißen Linien auf der Straßenoberfläche in genauen Positionen derart zusammengesetzt, dass der Fahrer die Beziehung zwischen dem Fahrzeug und dem Parkraum genau erfassen kann. Jedoch, was oberhalb der Straßenoberfläche ist, wird derart abgebildet, als wäre es weiter entfernt als die tatsächliche Position. Obwohl ein ausreichender Raum zwischen dem Lastwagen und dem Fahrzeug in diesem Bild bereitgestellt ist, besteht tatsächlich eine Kollisionsgefahr. 10C zeigt ein Beispiel des Zusammensetzens in dieser Ausführungsform und zeigt den Abstand zu einem Hindernis unter Verwendung einer weißen Linie (in der schematischen Darstellung schwarz). Die weiße Linie ermöglicht, dass der Fahrer den aktuellen Abstand zu dem Lastkraftwagen auf einen Blick überprüfen kann und dass der Fahrer eine Berührungsgefahr erkennt, wenn er/sie das Fahrzeug weiter nach hinten fährt.
9C ist ein Beispiel, in dem die Höhe der Hindernislinie von der Straßenoberfläche und auch der Minimalwert des Abstands gespeichert werden und in dem die Farbe und die Stärke der angezeigten Grenze in Abhängigkeit von der Höhe von der Straßenoberfläche geändert wird. In diesem Beispiel ist eine Hindernislinie 10 cm oder weniger in der Höhe in einer gelben dünnen Linie, von 10 bis 15 cm in einer roten dünnen Linie und von 20 cm oder mehr in einer roten, dicken Linie wiedergegeben. Wenn dies gemacht wird, erscheint die weiße Linie 6012, die aufgrund des Versatzes des Straßenoberflächenmodells von dem tatsächlichen Modell detektiert wird, zum Beispiel in dem Fall, dass die Straßenoberfläche sich ein wenig wölbt, in einer gelben, dünnen Linie. Eine niedrige Behinderung bzw. Begrenzung 6011 kleiner als 15 cm in der Höhe tritt als eine rote, dünne Linie auf und eine Grenze 6010, die ein Hindernis wiedergibt, zum Beispiel ein anderes Fahrzeug, tritt als rote, dicke Linie auf. Im Ergebnis kann der Fahrer ein Haupthindernis zuerst so wahrnehmen, dass der Einfluss einer Störung, die durch eine rauhe Straße verursacht wird, minimiert werden kann.
Zudem kann die Grenze 6010 eines Bereiches bei einer bestimmten Höhe oder darüber (entsprechend einem Hindernis) auf dem Bildschirm des zusammengesetzten Bilds derart blinken, dass die Aufmerksamkeit des Fahrers weiter angezogen wird.
Wie in 9D gezeigt ist, kann der Wert des Abstands zu einer Linie 6013, die rechtwinklig zu der Richtung des Abstands von dem Fahrzeug ist, die durch den allernächsten Punkt zu der Grenze 6010 eines Bereiches bei einer gewissen Höhe oder darüber hindurchgeht, in dem numerischen Wert 6014 angezeigt werden, damit der Fahrer den tatsächlichen Abstandswert erkennen kann.
Zudem müssen die beiden Aufnahmeeinrichtungen nicht auf einer geraden Linie in der vertikalen Richtung, wie in 11A gezeigt ist, angeordnet sein. Im Fall der Anordnung von 11A, obwohl der Punkt 7001 der Stoßstange eines hinteren Fahrzeugs, das in naher Nachbarschaft ist, ein blinder Fleck ist und nicht von der oberen Bildaufnahmeeinrichtung 3001 gesehen werden kann, kann das Bild der Straßenoberfläche dieses Abschnitts durch die Straßenoberflächenprojektion wie im Stand der Technik unter Verwendung eines Bildes zusammengesetzt werden, das durch die Bildaufnahmeeinrichtung 1001 erhalten wird, wie durch die Bildprojektionseinrichtung 7013 gezeigt ist.
In diesem Fall tritt wie im Stand der Technik ein Versatz der tatsächlichen Stoßstangenposition gegenüber dem zusammengesetzten Bild auf, obwohl die Stoßstangenposition in einer Richtung 7002 ausreichend unterhalb gesehen von der Bildaufnahmeeinrichtung 1001 ist, weshalb der Versatz klein ist.
Als obere Bildaufnahmeeinrichtung 3001, die für eine Bildzusammensetzung durch die Straßenoberflächenprojektion verwendet wird, kann eine Farbkamera mit einer hohen Auflösung von 1024×768 Pixel verwendet werden. Als untere Bildaufnahmeeinrichtung 1001 zur Detektion der Parallaxe kann eine monochrome Kamera mit 640×480 Pixel Auflösung verwendet werden. Dies reduziert die Kosten der unteren Bildaufnahmeeinrichtung 1001, während ein Farbzusammensetzungsbild hoher Auflösung erhalten wird.
Wie in 11B gezeigt ist, kann die obere Bildaufnahmeeinrichtung 3001 entfernte Bereiche mit einer hohen Auflösung aufnehmen, während die untere Bildaufnahmeeinrichtung 1001 die nahen Bereiche mit einer hohen Auflösung aufnehmen kann. Zur gleichen Zeit, wie durch die Bildprojektionseinrichtung 7013 in dem Blockdiagramm von 12 gezeigt wird, kann ein Bildsignal von der Bildaufnahmeeinrichtung 3001 für die Zusammensetzung der Straßenoberfläche in entfernten Bereichen verwendet werden, während ein Bildsignal von der Bildaufnahmeeinrichtung 1001 für die Zusammensetzung der Straßenoberfläche in nahen Bereichen verwendet werden kann.
Auf diese Art und Weise ist es gemäß der zweiten Ausführungsform der Erfindung möglich, intuitiv und genau die Positionen von Hindernissen um das Fahrzeug herum und die Umgebungssituation zu erkennen, indem ein Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, in ein Bild gewandelt wird, das durch eine Orthogonalprojektion von oben erhalten wird, indem der Bereich, der nicht der Straßenoberfläche entspricht, als ein Hindernisbereich durch Verwenden der Parallaxe zwischen den Bildern, die durch eine Vielzahl von Bildaufnahmeeinrichtungen aufgenommen werden, und der Parallaxe auf ein Straßenoberflächenmodell detektiert wird, indem Signale, die den Hindernisbereich angeben, in die Bildsignale gewandelt werden und indem das sich ergebende Bild angezeigt wird.
(Dritte Ausführungsform)
Die Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung ermöglicht dem Fahrer eines Fahrzeugs, dass er intuitiv und genau die Positionen der Hindernisse um das Fahrzeug herum und die Umgebungssituation erkennen kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, in ein Bild gewandelt wird, das von einem virtuellen Blickpunkt oberhalb gesehen ist, indem ein unpassender bzw. nicht übereinstimmender Bereich zwischen den gewandelten Bildern als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich angeben, in die gewandelten Bildsignale zusammengesetzt werden, und indem das resultierende Bild angezeigt wird.
13 ist ein Blockdiagramm einer Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung. 14 ist ein Blockdiagramm, das eine Änderung von 13 zeigt. 15 bis 17 sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der dritten Ausführungsform der Erfindung erläutern. In 13 und 14 haben Blockelemente, denen gleiche Bezugszeichen wie jene in 7 gegeben sind, den gleichen Aufbau und Merkmale wie jene in 7.
In dieser Ausführungsform, wie in 15A gezeigt ist, werden wie bei der ersten Ausführungsform und der zweiten Ausführungsform Bilder von zwei Bildaufnahmeeinrichtungen 1001, 3001 eingegeben, die vertikal mit vorgegebenem Abstand zueinander angeordnet sind. Die zwei Bilder werden mit Bildern von einem virtuellen Betrachtungspunkt 1002 zusammengesetzt, um zusammengesetzte Bilder in einer Position ausbilden zu können, die auf eine Straßenoberfläche auf der Basis der Daten von der Straßenoberflächendateneinrichtung 3011 in den Bildprojektionseinrichtungen 8001 bzw. 8002 projiziert werden.
Bei dieser Ausführungsform wird ein Punkt 9001 einer Stoßstange eines hinteren Fahrzeugs, die über einer Straßenoberfläche angeordnet ist, in einer Richtung 9002 von der unteren Bildaufnahmeeinrichtung 1001 gesehen, wenn er auf die Straßenoberfläche projiziert wird, und in einer weiter entfernten Richtung 9003 von der unteren Bildaufnahmeeinrichtung 1001. In jeweiligen zusammengesetzten Bildern werden weiße Linien auf einer Straßenoberfläche in der gleichen Position, wie in 15B und 15C gezeigt ist, ausgebildet, während der Punkt 9001 einer Stoßstange eines hinteren Fahrzeugs, die über der Straßenoberfläche positioniert ist, in einer unterschiedlichen Position ausgebildet wird.
Die Hindernisbereichdetektionseinrichtung 8003 erhält den Unterschied zwischen den beiden zusammengesetzten Bildern und detektiert einen Bereich, in dem ein Unterschied, der ein bestimmtes Maß überschreitet, als ein Hindernisbereich aufgefunden wird. Die Bereiche werden derart detektiert, dass Abschnitte, die horizontale Kanten über einer Straßenoberfläche in den original aufgenommenen Bildern haben, als ein Bereich 9004 und ein Bereich 9005 auftreten, wie in 15D gezeigt ist.
Die Überlagerungseinrichtung 8004, wie in 16A gezeigt ist, überlagert den Hindernisbereich, der in 15D gezeigt ist, dem Bild, das in 15B gezeigt ist, um ein zusammengesetztes Bild auszubilden. Bei dieser Ausführungsform werden die Hindernisbereiche 9004, 9005 als rote, durchleuchtende Filme in dem Bild in einem Bereich zusammengesetzt, wo ein Fahrzeug in 15D existiert.
Die Anzeigeeinrichtung 3009 zeigt den Ausgang der Überlagerungseinrichtung 8004 an. Der Fahrer beobachtet das zusammengesetzte Bild, um weiße Linien auf einer Straßenoberfläche von Hindernissen genau unterscheiden zu können, was ungleich den Beispielen des Standes der Technik ist. Der Fahrer kann genau die Richtung eines Hindernisses, zum Beispiel eines anderen Fahrzeugs von dem Fahrzeug unterscheiden, obwohl der Abstand zu dem anderen Fahrzeug nicht genau in dem Bild ist. Dies ermöglicht, dass der Fahrer das Fahrzeug sicherer als in den Beispielen des Standes der Technik fahren kann.
Änderungen der dritten Ausführungsform werden unter Bezugnahme auf 14, 16B bis 16D und 17A bis 17D beschrieben. Aufgenommene Bilder von den Bildaufnahmeeinrichtungen 1001, 3001 werden in Bilder in Koordinaten gewandelt, die unter Verwendung des Abstands R von den Bildaufnahmeeinrichtungen und der Richtung θ der Bildaufnahmeeinrichtungen entwickelt werden, die verwendet werden, wenn die Bilder auf eine Straßenoberfläche, wie in 16B, durch die Linsenverzerrung-Korrektur/Abstand/Richtung-Bildeinrichtungen 8005 bzw. 8006 projiziert werden. In dem Fall, dass eine Linsenverzerrung oder einer Verzerrung, die durch den Anbringungswinkel verursacht wird, in dem aufgenommenen Bild enthalten ist, wird der Verzerrungswert bzw. -betrag im Vorhinein zur Korrektur beim Ablauf der Wandlung gemessen. Die Bilder in Koordinaten, die unter Verwendung des Abstands R und der Richtung θ entwickelt werden, sind jeweils in 16C und 16D gezeigt. Ein Bild von der Bildaufnahmeeinrichtung 3001 ist in 16C gezeigt. Ein Bild von der Bildaufnahmeeinrichtung 3001 ist in 16D gezeigt. Weiße Linien auf einer Straßenoberfläche werden in den gleichen Positionen ausgebildet, während die Kantenposition, zum Beispiel jene der Stoßstange, in einer weiter entfernten Position in 16D als in 16C ausgebildet wird.
Die Kantenvergleichseinrichtung 8007 vergleicht die Kantenpositionen in Übereinstimmung mit den Abtastlinien 9008 in 16C und 16D. Die Kante in einem Bild auf der Abtastlinie 9008 ist in 17A gezeigt. In dieser Figur wird ein Kantensignal entsprechend der 16C durch ein Bezugszeichen 9009 wiedergegeben und ein Kantensignal entsprechend der 16D wird durch ein Bezugszeichen 9010 wiedergegeben. Wenn die Kante 9011 auf dem Kantensignal 9009 in Übereinstimmung mit der Abtastlinie detektiert wird, wird eine Kante 9012 auf dem Kantensignal 9010, die in der gleichen Position vorhanden ist, ignoriert, da sie eine Kante auf der Straßenoberfläche ist. Wenn die Kante 9013 auf dem Kantensignal 9009 detektiert wird und eine Kante auf dem Kantensignal 9010 in der gleichen Position fehlt, wird ein Abstand d zu der nächsten detektierten Kante 9014 detektiert. Der Abstand R1 zu der Kante 9013 in diesem Fall und der Abstand d von der Kante 9013 zu der Kante 9014 werden zu der Abstandsermittlungseinrichtung 8008 ausgegeben.
Die Abstandsermittlungseinrichtung 8008 ermittelt den aktuellen Abstand auf der Basis des Abstands zur Kante 9013 und des Abstands d von der Kante 9013 zur Kante 9014. 17B zeigt die Beziehung. Unter der Annahme, dass die Höhe der Bildaufnahmeeinrichtung 1001 H1 ist und dass der Unterschied der Höhe von der Bildaufnahmeeinrichtung 1001 zu der Bildaufnahmeeinrichtung 3001 Hd ist, wird die Beziehung zwischen der tatsächlichen Höhe H des Punktes und dem Abstand R' aus dem eingegebenen R1 und d in den beiden relationalen Ausdrücken [4] und [5] erhalten. H·R1 = (H1 + Hd)·(R1 – R') Ausdruck [4] H·(R1 + d) = H1·(R1 + d – R') Ausdruck [5]
Aus diesen relationalen Ausdrücken werden die aktuelle Höhe des Punktes und der Abstand R' wie in den nachfolgenden Ausdrücken [6] und [7] ermittelt. R' = R1·(R1 + d)·Hd/{R1·Hd + d·(H1 + Hd)} Ausdruck [6] H = H1·(H1 + Hd)·d/{Hd·R1 + (H1 + Hd)·d} Ausdruck [7]
Die ermittelte Höhe H und der Abstand R' werden zu der Hindernisbereichseinrichtung 8009 ausgegeben.
Wenn der Abstand R', der mit der Höhe H erhalten wird, die eine Schwelle überschreitet, eingegeben wird, zieht die Hindernisbereichseinrichtung 8009 eine Linie an dem Abstand R' auf der Abtastlinie 9008, wie in 17C gezeigt ist, und bestimmt jeden weiter entfernten Bereich als einen Hindernisbereich.
Die Überlagerungseinrichtung 8004 überlagert den Hindernisbereich auf 16C als ein gewandeltes Bild von der Bildaufnahmeeinrichtung 3001, wie in 17C gezeigt ist.
Die Abstand/Richtung-Straßenoberfläche-Wandeleinrichtung 8010 wandelt die Koordinaten des sich ergebenden Bildes, das unter Verwendung eines Abstands zu und einer Richtung von einem normalen Bild einer Straßenoberfläche entwickelt wird, gesehen von oben, und gibt dann das Bild zu der Anzeigeeinrichtung 3009 aus.
Ein Bild, das auf der Anzeigeeinrichtung 3009 angezeigt wird, tritt als ein Hindernisbereich in der Position des tatsächlichen Abstands R1 auch dann auf, wenn das Hindernis über einer Straßenoberfläche ist, zum Beispiel eine Stoßstange. Der Fahrer beobachtet die Anzeige, um das Fahrzeug sicher fahren zu können.
Diese Ausführungsform hat die nachfolgenden Vorteile (1) bis (4).

(1) Wenn ein Bild in Koordinaten gewandelt wird, die in Form eines Abstands und einer Richtung entwickelt werden, kann eine Linsenverzerrung oder eine Verzerrung aufgrund eines Anbringungswinkels korrigiert werden.
(2) Wenn eine Parallaxe direkt zwischen zwei eingegebenen Bildern detektiert wird, müssen entsprechende Verzerrungen getrennt betrachtet werden. In dieser Ausführungsform kann dieser Vorgang weggelassen werden.
(3) Auch wenn der Feldwinkel zwischen zwei Bildaufnahmeeinrichtungen differiert, kann der Einfluss des Unterschieds durch diesen Betrieb absorbiert werden.
(4) In dem Fall, dass Kanten miteinander nach der Bildprojektion auf die Straßenoberfläche verglichen werden, muss ein Kantenvergleich in Form des Abstands und der Richtung auftreten. Der Abstand und die Richtung sind nicht konstant in einem Bild, das auf die Straßenoberfläche projiziert wird, so dass ein Speicherzugriff in der tatsächlichen Hardware mühsam ist. Dies gilt auch für die Bestimmung eines Hindernisbereichs, da der Abstand und die Richtung nicht konstant sind. In dieser Ausführungsform wird ein Kantenvergleich ausgeführt und ein Hindernisbereich wird mit dem Bild bestimmt, das in Koordinaten gewandelt wird, die in der Form des Abstands und der Richtung entwickelt werden. Der Abstand und die Richtung werden als Koordinatenachsen in dem gewandelten Bild derart verwendet, dass der zuvor erwähnte Betrieb leicht in der arbeitenden Hardware ausgeführt werden kann.

Auf diese Art und Weise werden gemäß der dritten Ausführungsform der Abstand und die Richtung eines Hindernisses lesbarer und genauer wiedergegeben, indem ein Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, in ein Bild gewandelt wird, das von einem virtuellen Betrachtungspunkt von oben gesehen wird, indem ein nicht-übereinstimmender bzw. unpassender Bereich zwischen den gewandelten Bildern als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich angeben, zu gewandelten Bildsignalen zusammengestellt werden und indem das sich ergebende Bild angezeigt wird. Der Fahrer kann somit intuitiv und genauer die Positionen der Hindernisse um das Fahrzeug und die Umgebungssituation durch Beobachten des angezeigten Bildes erkennen.
(Vierte Ausführungsform)
Die Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung ermöglicht, dass der Fahrer eines Fahrzeugs zuverlässigere Abschnitte und weniger zuverlässige Abschnitte intuitiv erfassen kann, indem ein Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, die an einer mobilen Einheit angebracht ist, in ein Bild gewandelt wird, das von einem virtuellen Betrachtungspunkt von oben gesehen wird, und indem ein genauer Abschnitt mit geringerer Verzerrung in ein helles Bild und ein ungenauer Abschnitt mit einer großen Verzerrung in ein dunkles Bild umgesetzt werden.
18 ist ein Blockdiagramm der Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung. 19 ist ein Blockdiagramm, das eine Änderung bzw. eine Variation von 18 zeigt. 20A bis 20D sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der vierten Ausführungsform der Erfindung erläutern. In 18 und 19 haben Blockelemente, denen die gleichen Bezugszeichen wie jene in 7 gegeben sind, den gleichen Aufbau und die gleichen Merkmale wie jene in 7.
In dieser Ausführungsform wird ein Bild von einer einzigen Bildaufnahmeeinrichtung 1001, wie in 18 gezeigt ist, eingegeben. In der Bildprojektionseinrichtung 10001 wird ein Bild in einer Position zusammengesetzt bzw. erzeugt, wo das eingegebene Bild auf eine Straßenoberfläche unter Verwendung der Daten von der Straßenoberfläche-Dateneinrichtung 3011 auf der Basis der eingegebenen Daten projiziert wird. Bei diesem Verfahren berechnet die Stärkenberechnungseinrichtung 10002 die Stärke bzw. Intensität der Projektion des Bildes auf die Straßenoberfläche auf der Basis der Beziehung zwischen einem Kameraparameter 10003 der Bildaufnahmeeinrichtung 1001 und den Daten von der Straßenoberfläche-Dateneinrichtung 3011 und bestimmt die Stärke.
Wie in 20A gezeigt ist, wird von einem Lichtstrahl 11001 bzw. hellen Strahl, der konstant pro Pixel ist, von der Bildaufnahmeeinrichtung 10001 ausgegangen. Die Stärke K der Projektion des Lichtstrahls auf die Straßenoberfläche wird in dem nachfolgenden Ausdruck [8] aus dem Bereich A, wo das einzelne Pixel auf eine Straßenoberfläche projiziert wird, und dem Winkel θ zwischen dem Lichtstrahl und der Straßenoberfläche berechnet.
Der Ausdruck [8] wird nachfolgend erläutert. Je größer der Bereich A ist, desto kleiner wird die Stärke bzw. Intensität. Je näher sich der Winkel zu der Straßenoberfläche an den rechten Winkel annähert, desto größer wird die Stärke. Die Stärke ist mit 1,0 angesetzt. K' = α·sin(θ)/S Ausdruck [8] wenn (K' > 1,0) K = 1,0
ansonsten K = K'
worin α eine Konstante ist, die die Verstärkungsstärke wiedergibt.
Durch die Berechnung der Stärke, wie in 20A gezeigt ist, hat eine Straßenoberfläche neben der Bildaufnahmeeinrichtung 1001 eine große Stärke, während eine Straßenoberfläche entfernt von der Bildaufnahmeeinrichtung 1001 eine kleine Stärke hat. Ein Bild, das in Übereinstimmung mit dem Stärkenwert zusammengesetzt ist, wird in ein Bild mit einer bestimmten Helligkeit ausgebildet, während die Stärke K bis zu einem bestimmten Straßenoberflächenabstand von der Bildaufnahmeeinrichtung 1001 gleich 1,0 ist. Wird dieser Grenzwert überschritten, wird das resultierende Bild dunkler, wenn der Abstand größer wird.
Das Bild, das auf der Basis des eingegebenen Bildes von der Bildaufnahmeeinrichtung 1001 zusammengesetzt wird, hat einen dunklen, entfernten Abschnitt, wo die Verzerrung und der Abstandsfehler groß sind, wie in 20C gezeigt ist.
Der Fahrer kann den genauen Abschnitt nahebei beobachten, der einen kleineren Fehlerwert in dem resultierenden Bild hat, was ungleich den Beispielen des Standes der Technik ist. Der Fahrer erkennt intuitiv, dass die Informationen über den entfernten Abschnitt mit einem großen Fehlerwert und einer großen Verzerrung weniger genau ist, da der Abschnitt in einem dunklen Bild auftritt. Der Fahrer kann somit intuitiv die Zuverlässigkeit jedes Abschnitts in dem zusammengesetzten Bild beurteilen bzw. erfassen, obwohl er/sie den Abstand bzw. die Entfernung zu einem Hindernis nicht genau erkennen kann. Dies ermöglicht, dass der Fahrer das Fahrzeug sicherer als in den Beispielen des Standes der Technik fahren kann.
Eine Abwandlung, die in 19 gezeigt ist, ist eine erweiterte Version von 18 und hat eine Vielzahl von Bildaufnahmeeinrichtungen. Betreffend eines Aufnahmebilds von jeder der Bildaufnahmeeinrichtungen 1001...10007, wird die Stärke der Projektion des Bildes auf die Straßenoberfläche durch die Stärkeberechnungseinrichtungen 10002...10005 auf der Basis der Beziehung jedes Kameraparameters 10003...10004 und der Straßenoberflächendaten 3011 berechnet und bestimmt und ein Bild wird durch die Bildprojektionseinrichtungen 10001, 10006 in Übereinstimmung mit der erhaltenen Stärke zusammengesetzt.
Das Bild, das durch die Zusammensetzung eines straßenoberfläche-projizierten Bildes erhalten wird, wird weiter in ein einzelnes Bild durch die Zusammensetzungseinrichtung 10007 zusammengesetzt. Bei diesem Verfahren wird die Zusammensetzung in Übereinstimmung mit Gewichten ausgeführt, um jede Stärke der Bildprojektion auf die Straßenoberfläche wiederzugeben und das resultierende Bild wird auf der Anzeigeeinrichtung 3009 angezeigt. Das angezeigte Bild ist ein straßenoberfläche-projiziertes Bild, das auf der Basis von Bildern von drei Bildaufnahmeeinrichtungen, wie für ein Beispiel in 20D gezeigt wird, ausgebildet wird.
In diesem Beispiel ist die Bildaufnahmeeinrichtung in der hinteren Mitte des Fahrzeugs von hoher Auflösung, während die rechte Bildaufnahmeeinrichtung und die linke Bildaufnahmeeinrichtung von niedriger Auflösung als Hilfseinrichtungen sind. Der Bereich, wo die rechte Bildaufnahmeeinrichtung und die linke Bildaufnahmeeinrichtung Bilder projizieren, hat deshalb einen großen Bereich pro Pixel derart, dass nur der Bereich in der nahen Nachbarschaft in ein helles Bild zusammengesetzt wird. Der Bereich, wo die Mittenbildaufnahmeeinrichtung Bilder projiziert, hat einen relativ kleinen Bereich pro Pixel derart, dass ein helles Bild bis zu einem entfernten Abschnitt erhalten wird. In einem Bereich 11002, wo Bilder, die durch diese Bildaufnahmeeinrichtungen projiziert werden, sich gegenseitig überlappen, wird ein Bild, das mit hoher Stärke projiziert wird, von der Mittenbildaufnahmeeinrichtung stark in der Zusammensetzung derart gewichtet, dass das erhaltene zusammengesetzte Bild zuverlässiger ist.
Der Fahrer kann intuitiv die Zuverlässigkeit jedes Abschnitts eines zusammengesetzten Bildes von einer Vielzahl von Bildaufnahmeeinrichtungen durch Beobachten dieses zusammengesetzten Bildes verstehen und das Fahrzeug sicherer als in den Beispielen des Standes der Technik fahren.
Auf diese Art und Weise kann der Fahrer gemäß der vierten Ausführungsform der Erfindung intuitiv zuverlässigere Abschnitte und weniger zuverlässige Abschnitte erfassen, indem ein Bild, das von einer Bildaufnahmeeinrichtung bzw. von Bildaufnahmeeinrichtungen aufgenommen wird, die an einer mobilen Einheit angebracht ist bzw. sind, in ein Bild gewandelt wird, das von einem virtuellen Blickpunkt von oben gesehen wird, und indem ein genauer Abschnitt mit kleinerer Verzerrung in ein helles Bild und ein ungenauer Abschnitt mit größerer Verzerrung in ein dunkles Bild zusammengesetzt werden. Dies verhindert ein gefährliches Fahren, zum Beispiel ein schnelles Bewegen des Fahrzeugs in Richtung des weniger zuverlässigen Abschnitts, was zu einem sichereren Fahren führt.
Obwohl nur die Helligkeit eines Bildes in Übereinstimmung mit der berechneten Stärke in der zuvor erwähnten vierten Ausführungsform variiert wird, können Farben variiert werden. Durch Mischen von Grau oder Weiß in einem Abschnitt kleinerer Stärke kann die Wirkung von Dunst bzw. Nebel erzeugt werden. Auf diese Art und Weise ist es möglich, zu verhindern, dass der Fahrer das Fahrzeug in Richtung der geringeren Stärke schnell bewegt, wodurch ein sichereres Fahren erzeugt wird.
(Fünfte Ausführungsform)
Die Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung ermöglicht, dass der Fahrer eines Fahrzeugs die Positionen von Hindernissen um das Fahrzeug und die Umgebungssituation intuitiv und genau erkennen kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung aufgenommen wird, in ein Zwischenbild gewandelt wird, das einen Abstand oder eine Höhe von der Bildaufnahmeeinrichtung als eine Koordinate verwendet, indem der tatsächliche Abstand zu einem unpassenden Bereich zwischen den Zwischenbildern geschätzt wird und indem die Position des Bereichs korrigiert wird, indem der korrigierte Bereich als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich angeben, in dem Zwischenbild zusammengestellt werden, indem das zusammengesetzte Bild in ein normales Bild in Koordinaten zusammengesetzt wird und indem das resultierende Bild angezeigt wird.
21 ist ein Blockdiagramm einer Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung. 22 bis 26 sind schematische Ansichten, die den Betrieb der Fahrunterstützungsvorrichtung gemäß der fünften Ausführungsform der Erfindung erläutern. 27 ist ein Flussdiagramm, das die Suchverarbeitung erläutert. In 21 haben Blockelemente, denen gleiche Bezugszeichen wie jene in 7 gegeben sind, die gleichen Aufbauten und Merkmale wie jene in 7.
In dieser Ausführungsform hat jede Bildaufnahmeeinrichtung 1001, 3001 eine Fischauge-Linse bzw. Fish-eye-Linse. Bilder, die durch die Bildaufnahmeeinrichtungen 1001, 3001 aufgenommen werden, werden jeweils der Linsenverzerrung-Korrektur/Abstand-Höhe/Richtung-Bildeinrichtungen 13005, 13006 eingegeben. In der Linsenverzerrung-Korrektur/Abstand-Höhe/Richtung-Bildeinrichtungen 13005, 13006 wird davon ausgegangen, dass ein eingegebenes Bild auf eine Straßenoberfläche bis zu einem vorgegebenen Abstand Rmax von der Bildaufnahmeeinrichtung und auf einen Zylinder über den Abstand Rmax hinaus projiziert wird, wie in 22A gezeigt ist. Das Bild wird dann in ein Bild in Koordinaten gewandelt, die unter Verwendung des Abstands R auf der Straßenoberfläche oder der Höhe H auf dem Zylinder und der Richtung θ entwickelt werden.
In dem Fall, dass eine Linsenverzerrung oder eine Verzerrung, die durch einen Anbringungswinkel verursacht wird, in der Bildaufnahmeeinrichtung enthalten ist, wird der Verzerrungsgrad im Vorhinein für die Korrektur beim Ablauf der Wandlung gemessen. Zum Beispiel treten die aufgenommenen Bilder, die in 23A, 23B gezeigt sind, auf, wie in 23C bzw. 23D gezeigt ist. Der vorgegebene Abstand auf der Straßenoberfläche Rmax = 300 cm. Rmax = 0 cm und Hmax = 200 cm in 22A.
Die Kantengewinnungseinrichtung 13007 gewinnt die Horizontalkante der jeweiligen gewandelten Bilder durch Erhalten der Differenz von Signalen entfernt voneinander um fünf Pixel in vertikaler Richtung. 24A, 24B zeigen die Bilder mit horizontalen Kanten, die von dem Ausgang für gewandelte Bilder von der Linsenverzerrung-Korrektur/Abstand-Höhe/Richtung-Bildeinrichtungen 13005, 13006 jeweils ausgegeben werden. 24A ist ein Bild, das von der oberen Bildaufnahmeeinrichtung 3001 gesehen wird, und 24B ist ein Bild, das von der anderen Bildaufnahmeeinrichtung gesehen wird. Wie mit einer unterbrochenen Linie 14007 in der Figur gezeigt ist, erscheint eine schräge Kante nahe an der Vertikalrichtung in einer unauffälligen Wiedergabe. Wie mit einer dicken durchgezogenen Linie 14008 gezeigt ist, wird eine horizontale Kante hervorgehoben.
Die Horizontal-Block-Übereinstimmung/Entfernung-Ermittlungseinrichtung 13008 tastet die Kantenposition in Übereinstimmung mit einer Abtastzeile 14001 ab, detektiert den maximalen Punkt 14002 der Kante und speichert Bildsignale eine Blocks 14003, der 10 Pixel in vertikaler Richtung und 10 Pixel in horizontaler Richtung aufweist.
Als nächstes detektiert die Horizontal-Block-Übereinstimmung/Abstand-Ermittlungseinrichtung 13008 einen Block 14006, der die ähnlichsten Daten mit denen des gespeicherten Blocks 14003 innerhalb des Bereichs gemäß der Suchbereichdateneinrichtung 13012 hat. Auf diese Art und Weise wird der Abstand unter der Annahme der Differenz zwischen dem Mittenpunkt 14005 des Blocks 14006 und der Vertikalposition des maximalen Punktes 14002 der Kante als Parallaxendaten auf dem gewandelten Bild ermittelt.
Der Betrieb der Suchbereichdateneinrichtung 13012 und der Horizontal-Block-Übereinstimmung/Abstand-Ermittlungseinrichtung 13008 wird genauer unter Bezugnahme auf das Flussdiagramm von 27 ausgeführt. Die Suchbereichdateneinrichtung 13012 speichert die Daten entsprechend der vertikalen Position der Mittenposition 14002 des Blocks 14003. Wie durch den Punkt 14003 in 25A gezeigt ist, werden, wenn die Position des Punktes 14002, der von der oberen Bildaufnahmeeinrichtung 3001 gesehen wird, mit der Straßenoberfläche übereinstimmt, das heißt, wenn die Position des Punktes 14002 unterhalb Rmax in 24A ist, die Vertikalpositionen 14015, 14016 des Punktes 14013 auf die Straßenoberfläche und ein Punkt 14014 mit einem Abstand von 50 cm von der Bildaufnahmeeinrichtung, gesehen von der unteren Bildaufnahmeeinrichtung 1001, in der Suchbereichdateneinrichtung 13012 gespeichert. Es wird darauf hingewiesen, dass die Vertikalposition 14015 des Punktes 14013 auf der Straßenoberfläche, gesehen von der unteren Bildaufnahmeeinrichtung 1001, die gleiche wie die Vertikalposition des Punktes 14002 ist, da beide gewandelten Bilder eine Straßenoberfläche voraussetzen.
Wie in 25A gezeigt ist, werden, wenn die Position des Punktes 14002, gesehen von der oberen Bildaufnahmeeinrichtung 3001, einem Zylinder entspricht, das heißt, wenn die Position des Punktes 14002 über Rmax in 24A ist, Vertikalpositionen 14020, 14021, 14022 und ein unendlicher Punkt 14017, ein Punkt des Zylinders 14018 und ein Punkt 14019 in einem Abstand von 50 cm von der Bildaufnahmeeinrichtung, gesehen von der unteren Bildaufnahmeeinrichtung 1001, in der Suchbereichdateneinrichtung 13012 gespeichert. Es wird darauf hingewiesen, dass auch in diesem Fall die Vertikalposition 14021 des Punktes auf dem Zylinder 14018, gesehen von der unteren Bildaufnahmeeinrichtung 1001, die gleiche Position wie die vertikale Position des Punktes 14002 ist, da beide gewandelten Bilder einen Zylinder voraussetzen.
Auf der Basis der Suchbereichsdaten wird eine Suche in Übereinstimmung mit dem Ablauf, der in 27 gezeigt ist, ausgeführt.
Zuerst wird bestimmt, ob die Position des Punktes 14002 einer Straßenoberfläche oder einem Zylinder entspricht (Schritt S1).
In dem Fall, dass bestimmt wird, dass die Position des Punktes 14002 einer Straßenoberfläche (JA im Schritt S1) entspricht, wird die Summe der Absolutwerte der Differenzen der Blocksignale (SAD) als eine Vertikalposition 14015 (Schritt S2) erhalten. In dem Fall, dass der SAD-Wert kleiner als ein Schwellenwert TH ist (JA im Schritt S3) wird ein Blockdaten-Passen bestimmt und die Verarbeitung wird mit einer Bestimmungsausgabe abgeschlossen, dass die horizontale Kante des Punktes 14002 eine Kante auf einer Straßenoberfläche ist (Schritt S4). Wenn der SAD-Wert größer als der Schwellenwert TH (NEIN im Schritt S3) ist, wird eine Suche innerhalb des Bereiches von einer Vertikalposition 14015 zu einer Vertikalposition 14016 nach einer Position ausgeführt, wo der SAD-Wert am kleinsten ist (Schritt S5). In dem Fall, dass der kleinste SAD-Wert kleiner als der Schwellenwert TH (JA im Schritt S6) ist, werden der Abstand und die Höhe von der Straßenoberfläche unter der Annahme der Differenz zwischen der Position und der Vertikalposition des Punktes 14002 als Parallaxendaten erhalten und die Verarbeitung wird mit der erhaltenen Datenausgabe (Schritt S7) abgeschlossen. In dem Fall, dass der kleinste SAD-Wert größer als der Schwellenwert TH (NEIN im Schritt S6) ist, wird die Verarbeitung mit einer Bestimmungsausgabe beendet, dass keine passenden, horizontalen Kanten gefunden worden sind (Schritt S6).
In dem Fall, dass es bestimmt wird, dass die Position des Punktes 14002 einem Zylinder entspricht (NEIN im Schritt S1), wird der kleinste SAD-Wert innerhalb des Bereiches von einer Vertikalposition 14020 zu einer Vertikalposition 14021 (Schritt S9) erhalten. In dem Fall, dass der kleinste SAD-Wert kleiner als der Schwellenwert TH (JA im Schritt S10) ist, wird bestimmt, dass die Blockdaten passen und die Verarbeitung wird mit einer Bestimmungsausgabe beendet, dass die horizontale Kante des Punktes 14002 über den Abstand Rmax zu dem Zylinder (Schritt S11) hinausgeht. In dem Fall, dass der kleinste SAD-Wert größer als der Schwellenwert TH (NEIN im Schritt S10) ist, wird eine Suche innerhalb des Bereiches von einer Vertikalposition 14021 zu einer Vertikalposition 14022 nach einer Position durchgeführt, wo der SAD-Wert am kleinsten ist (Schritt S12). In dem Fall, dass der kleinste SAD-Wert kleiner als der Schwellenwert TH (JA im Schritt S13) ist, werden der Abstand und die Höhe von der Straßenoberfläche unter der Annahme der Differenz zwischen der Position und der Vertikalposition des Punktes 14002 als Parallaxendaten erhalten und die Verarbeitung wird mit der erhaltenen Datenausgabe (Schritt S14) beendet. In dem Fall, dass der kleinste SAD-Wert größer als der Schwellenwert TH ist (NEIN im Schritt S13) wird die Verarbeitung mit einer Bestimmungsausgabe beendet, dass keine passenden, horizontalen Kanten gefunden werden (Schritt S15).
Mittels der Verarbeitung des Verarbeitungsflusses ist es möglich, mit einem kleinen Aufwand an Verarbeitung irgendwelche horizontalen Kanten auf einer Straßenoberfläche oder in einem Abstand, die sich nicht auf Hindernisse beziehen, zu entfernen bzw. diese zu bestimmen. Die Verarbeitung konzentriert sich auf die Kanten, die sich auf Hindernisse beziehen, so dass der Abstand und die Höhe einer Kante, die sich auf ein Hindernis bezieht, insgesamt mit einem geringen Verarbeitungsaufwand berechnet werden kann.
Die Hindernisgrenzeinrichtung 13009 bestimmt als Hinderniskanten jene Kanten, deren Höhe 20 cm übersteigt, aus den Kanten, deren Abstand und Höhe erfasst worden sind, wie in 27 gezeigt ist. Die Hindernisgrenzeinrichtung 13009 zeichnet dann eine Linie an dem Ort des Abstands R', wie in 25C gezeigt ist, und im Ergebnis wird ein Satz von horizontalen Kanten eine Linie 14023, die eine Hindernisgrenze angibt.
Die Bildprojektionseinrichtung 13010 setzt separat ein Bild, das direkt von einem vertikalen Blickpunkt oben gesehen wird, auf der Basis eines Bildes von einer Bildaufnahmeeinrichtung 3001 zusammen. Eine Überlagerungseinrichtung 13004 überlagert das Hindernis auf das Bild von der Bildprojektionseinrichtung 13010, wie in 25C gezeigt ist.
Das überlagerte, zusammengesetzte Bild wird auf der Anzeigeeinrichtung 3009 angezeigt. Wie in 25C gezeigt ist, wird in dem gezeigten Bild eine Hindernisgrenzlinie in der Position des tatsächlichen Abstands auch dann gezeigt, wenn ein Hindernis über einer Straßenoberfläche, zum Beispiel eine Stoßstange, existiert. Der Fahrer kann das angezeigte Bild beobachten, um das Fahrzeug sicher fahren zu können.
Diese Ausführungsform hat die Vorteile (1) bis (8).

(1) Wenn ein Bild in Koordinaten gewandelt wird, die in Abhängigkeit von dem Abstand und der Richtung entwickelt werden, kann eine Linsenverzerrung oder eine Verzerrung aufgrund des Anbringungswinkels korrigiert werden.
(2) Wenn eine Parallaxe direkt zwischen zwei eingegebenen Bildern detektiert wird, müssen entsprechende Verzerrungen getrennt betrachtet werden. In dieser Ausführungsform kann dieser Prozess weggelassen werden.
(3) Auch, wenn der Feldwinkel zwischen zwei Bildaufnahmeeinrichtungen unterschiedlich ist, kann der Einfluss dieses Unterschieds durch diesen Betrieb ausgeglichen werden.
(4) Wie in 22A gezeigt wird, ist es möglich unter Verwendung eines gewandelten Bildes unter der Annahme eines Zylinders oder auch einer Straßenoberfläche, ein Hindernis zu detektieren, das nicht in einem straßenoberfläche-projizierten Bild auftritt, da es in einer hohen Position mit Bezug auf die Bildaufnahmeeinrichtung ist, und die entsprechende Hindernisgrenzlinie auf dem angezeigten Bild anzuzeigen.
(5) Mittels des Verarbeitungsablaufes, der in 27 gezeigt ist, ist es möglich, irgendeine horizontale Kante auf einer Straßenoberfläche oder in einem Abstand, die sich nicht auf Hindernisse bezieht, zu bestimmen und zu entfernen. Die Verarbeitung ist auf Kanten konzentriert, die sich auf Hindernisse beziehen, so dass der Abstand und die Höhe einer Kante mit Beziehung zu einem Hindernis mit insgesamt einem sehr geringen Aufwand der Verarbeitung berechnet werden kann.
(6) Durch Bereitstellen einer Suchbereichdateneinrichtung 13012 wird eine Suche auf einen notwendigen Bereich derart beschränkt, dass der Abstand zu einer Kante und die Höhe einer Kante, die sich auf ein Hindernis bezieht, insgesamt mit einem sehr geringen Verarbeitungsaufwand berechnet werden kann.
(7) Wie in 22A gezeigt ist, werden die Suchdaten unter Verwendung eines gewandelten Bildes und unter der Annahme eines Zylinders oder auch einer Straßenoberfläche nur in der vertikalen Position einer horizontalen Kante 14002 bestimmt und hängen nicht von der Horizontalposition ab. Dies reduziert die entsprechende Speichermenge dramatisch.

Zum Beispiel, wenn eine Stereoübereinstimmung unter Verwendung eines Bildes von einer Bildaufnahmeeinrichtung mit einer Fischauge-Linse wie in den Beispielen des Standes der Technik gemacht wird, wird der Suchbereich in Kurven 14025, 140125 wiedergegeben, die von den vertikalen und horizontalen Positionen auf dem Bildschirm abhängen. Das Speichern der Kurvendaten erfordert eine sehr große Speicherkapazität. In dieser Ausführungsform wird der Speicher stark reduziert und die Verarbeitung wird mit einer einfachen Konfiguration implementiert.

(8) Obwohl eine Genauigkeit über der Pro-Pixel-Genauigkeit bei dem Stereoübereinstimmen des Standes der Technik erforderlich ist, wird ein SAD-Wert für die Pro-Pixel-Genauigkeit in der tatsächlichen Suche erhalten. Das Quantisierungsrauschen hat einen nachteiligen Effekt. Diese Ausführungsform vermeidet diesen nachteiligen Effekt.

28A bis 28C erläutern Abwandlungen der fünften Ausführungsform. Anstelle der Projektionsebenen, Straßenoberfläche und Zylinder, die in 22A und 22B gezeigt sind, kann eine sphärische Oberfläche mit einer Position der oberen Bildaufnahmeeinrichtung 3001 in einer Mitte als eine Projektionsebene verwendet werden. Wie in 28C gezeigt ist, muss die Horizontalachse eines gewandelten Bildes nicht einen Winkel von θ haben, sondern kann unter Verwendung der Funktion F(θ) komprimiert sein.
29A erläutert eine weitere Abwandlung der fünften Ausführungsform. Die obere Bildaufnahmeeinrichtung 3001 hat eine 640×480 Pixel Auflösung. Die untere Bildaufnahmeeinrichtung 1001, die nur für eine Stereoübereinstimmung verwendet wird, hat eine Auflösung von 320×480 Pixel. Bei diesem Aufbau hat das zusammengesetzte Bild, das angezeigt wird, eine hohe Auflösung und es ist möglich, eine Hindernisgrenze mit praktisch ausreichender Genauigkeit zu detektieren, wodurch die Kosten der Bildaufnahmeeinrichtung reduziert werden.
29B erläutert eine weitere Abwandlung der fünften Ausführungsform. Die Bildaufnahmeeinrichtung 18001 wird der gleichen Achse wie die Bildaufnahmeeinrichtungen 3001, 3001 hinzugefügt, um eine Kante, die als ein Hindernis detektiert wird, unter Verwendung eines Bildes von der Bildaufnahmeeinrichtung 18001 verifizieren zu können, wodurch Störungen bzw. Rauschen reduziert wird.
29C erläutert eine weitere Abwandlung der fünften Ausführungsform. Die Bildaufnahmeeinrichtung 18002 wird in einer Position getrennt von der Achse der Bildaufnahmeeinrichtungen 3001, 1001 derart hinzugefügt, dass ein Hindernis unter Verwendung von vertikalen Kanten und auch von horizontalen Kanten detektiert werden kann.
30A bis 30C zeigen einen Einzelkameraaufbau anstelle der oberen und unteren Kameras für Stereobildaufnahme in den ersten bis fünften Ausführungsformen. 30A zeigt einen Aufbau, der Stereobilder mit jeweiliger Parallaxe auf der rechten Seite und der linken Seite auf einer einzelnen Bildaufnahme ebene 1905 durch Anordnen einer Vielzahl von Spiegeln 1901 bis 1903 vor einer Linse 1904 erhält. 30B zeigt einen Aufbau, der praktisch Bilder mit Parallaxe in der vertikalen Richtung durch Aufnehmen von zwei konvexen Spiegeln 1906, 1907 durch eine Kamera 1908 erhält. 30C zeigt ein Bild, das durch die Kamera 1908 in 30B aufgenommen wird. Auf einem Bildschirm 1909 wird ein Bild 1910 gezeigt, das mit dem oberen, konvexen Spiegel 1907 aufgenommen wird, und ein Bild 1911 wird gezeigt, das mit dem unteren, konvexen Spiegel 1906 aufgenommen wird.
Hier wird durch Einstellen der Krümmung der konvexen Spiegel 1906, 1907 ermöglicht, den Aufnahmebereich und die Auflösung eines aufgenommenen Bildes einzustellen (die Einstellung kann in vertikaler Richtung und horizontaler Richtung unabhängig voneinander gemacht werden.).
Während der Bereich eines Winkels, der mit jedem der konvexen Spiegel 1906, 1907 aufgenommen wird, fast der gleiche wie in 30B ist, hat der konvexe Spiegel 1906 eine größere Krümmung als der konvexe Spiegel 1907. Der konvexe Spiegel 1906 mit kleinerer Größe bildet den gleichen Bereich wie der konvexe Spiegel 1907 ab. Das Bild 1911 ist deshalb kleiner als das Bild 1910 auf dem Bildschirm 1909. Im Ergebnis ist die resultierende Auflösung des Bildes 1910 hoch, während jene des Bildes 1911 relativ niedrig ist. Das Bild 1911 wird als ein Bild verwendet, das durch eine Blickpunktwandlung zusammengesetzt wird, während das Bild 1910 nur für die Stereoanalyse verwendet wird.
Mittels dieses Aufbaus hat wie bei den anderen Abwandlungen der fünften Ausführungsform, die in 29A bis 29C gezeigt sind, ein zusammengesetztes Bild, das angezeigt werden soll, eine hohe Auflösung und es ist möglich, eine Hindernisgrenze mit praktisch ausreichender Genauigkeit zu detektieren, wodurch die Kosten einer Kamera und eines Bildprozessors reduziert werden können.
Wie unter Verwendung der 30A bis 30C gezeigt wird, kann eine einzelne Kamera, um ein Stereobild aufzunehmen, mit der Hilfe der konvexen Spiegel und reflektiver Spiegel anstelle der oberen und unteren Kameras in den ersten bis fünften Ausführungsformen verwendet werden.
Obwohl die Fahrunterstützungsvorrichtung der Erfindung hauptsächlich Bilder der Rückseitenrichtung in den ersten bis fünften Ausführungsformen erzeugt, ist die Erfindung nicht auf diese Anordnung beschränkt, sondern kann Bilder in der Vorwärtsrichtung oder in der seitlichen Richtung erzeugen.
Obwohl ein Beispiel, das auf der Bildzusammensetzung mittels eines virtuellen Blickpunkts unter Verwendung eines Straßenoberflächenmodells basiert, in der fünften Ausführungsform erläutert worden ist und obwohl ein Beispiel, das auf einer Bildzusammensetzung mittels einer Orthogonalprojektion von oben unter Verwendung eines Straßenoberflächenmodells basiert, in der zweiten Ausführungsform erläutert worden ist, können ein virtueller Blickpunkt und eine Orthogonalprojektion von oben austauschbar verwendet werden. In diesem Fall ist die Fahrunterstützungsvorrichtung der Erfindung immer noch von Vorteil.
Zudem können ein Teil der Merkmale oder alle Merkmale jeder Einrichtung der Fahrunterstützungsvorrichtung der Erfindung unter Verwendung eines Programms, das auf einem Computer ausgeführt wird, implementiert sein.
Obwohl die Erfindung im Detail und unter Bezugnahme auf spezielle Ausführungsformen beschrieben worden ist, können Fachleute erkennen, dass verschiedene Änderungen und Modifikationen in ihr gemacht werden können, ohne dass vom Geist und Bereich der Erfindung abgewichen wird.
Diese Patentanmeldung basiert auf der japanischen Patentanmeldung (P2001-093721) , die am 28. März 2001 eingereicht wurde, und auf der japanischen Patentanmeldung (P2001-244275) , die am 10. August 2001 eingereicht worden ist.
Industrielle Anwendbarkeit
Wie vorstehend erwähnt wurde, stellt die Erfindung eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung aufgenommen wird, in ein Bild, das von einem virtuellen Betrachtungspunkt von oben gesehen ist, oder in ein Bild gewandelt wird, das durch eine Orthogonalprojektion von oben erhalten wird, indem dreidimensionale Informationen, die sich nicht auf eine Straßenoberfläche beziehen, detektiert werden, indem die Verzerrung des gewandelten Bildes aufgrund der dreidimensionalen Informationen korrigiert wird und indem das korrigierte Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, in ein Bild, das von einem virtuellen Blickpunkt von oben gesehen wird, oder in ein Bild, das durch eine orthogonale Projektion von oben erhalten wird, gewandelt wird, indem der Bereich, der nicht der Straßenoberfläche entspricht, als ein Hindernisbereich unter der Verwendung der Parallaxe zwischen einer Vielzahl von aufgenommenen Bildern und der Parallaxe auf ein Straßenoberflächenmodell detektiert wird, indem Signale, die den Hindernisbereich angeben, in gewandelte Bildsignale zusammengestellt werden und indem das resultierende Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung bzw. von Bildaufnahmeeinrichtungen aufgenommen wird, in ein Bild gewandelt wird, das von einem virtuellen Betrachtungspunkt von oben gesehen wird, oder in ein Bild gewandelt wird, das durch eine Orthogonalprojektion von oben erhalten wird, indem ein unpassender Bereich zwischen den gewandelten Bildern als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich angeben, zu den gewandelten Bildsignalen zusammengesetzt werden und indem das resultierende Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das von der Bildaufnahmeeinrichtung bzw. den Bildaufnahmeeinrichtungen aufgenommen wird, in ein Zwischenbild gewandelt wird, das einen Abstand und einen Winkel von der Bildaufnahmeeinrichtung als Koordinaten verwendet, indem der tatsächliche Abstand zu einem unpassenden bzw. nicht-übereinstimmenden Bereich zwischen den Zwischenbildern ermittelt wird und indem die Position des Bereiches korrigiert wird, indem der korrigierte Bereich als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich angeben, in dem Zwischenbild zusammengestellt werden, indem das zusammengesetzte Bild in ein normales Bild in Koordinaten gewandelt wird und indem das resultierende Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie zuverlässigere Abschnitte und weniger zuverlässige Abschnitte wiedergeben kann, indem ein aufgenommenes Bild in ein Bild gewandelt wird, das von einem virtuellen Betrachtungspunkt von oben gesehen wird, oder in ein Bild gewandelt wird, das durch eine Orthogonalprojektion von oben erhalten wird, und indem der Abstand zu einem Hindernis und der Bereich von einem Hindernis mit einer großen Verzerrung lesbar wiedergegeben wird.
Die Erfindung stellt zudem eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung aufgenommen wird, in ein Zwischenbild gewandelt wird, das einen Abstand bzw. eine Entfernung oder eine Höhe und einen Winkel von der Bildaufnahmeeinrichtung als Koordinaten verwendet, indem der tatsächliche Abstand zu einem unpassenden Bereich zwischen den Zwischenbildern ermittelt wird und indem die Position des Bereiches korrigiert wird, indem der korrigierte Bereich einen Hindernisbereich detektiert, indem Signale, die den Hindernisbereich in dem zwischenliegenden Bild angeben, zusammengesetzt werden, indem das zusammengesetzte Bild in ein normales Bild in Koordinaten gewandelt wird und indem das resultierende Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem ein Bild, das von einer Bildaufnahmeeinrichtung aufgenommen wird, in ein Zwischenbild gewandelt wird, das eine Ebene symmetrisch um eine gerade Linie verwendet, die die Bildaufnahmeeinrichtung als eine Projektionsebene verbindet, indem der tatsächliche Abstand zu einem unpassenden bzw. nicht übereinstimmenden Bereich zwischen den Zwischenbildern ermittelt wird und die Position des Bereiches korrigiert wird, indem der korrigierte Bereich als ein Hindernisbereich detektiert wird, indem Signale, die den Hindernisbereich in dem Zwischenbild angeben, zusammengesetzt werden, indem das zusammengesetzte Bild in ein normales Bild in Koordinaten gewandelt wird und indem das resultierende Bild angezeigt wird.
Die Erfindung stellt eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie den Abstand zu einem Hindernis und die Richtung von einem Hindernis lesbarer und genauer wiedergeben kann, indem eine Vielzahl von Bildern mit einer vorgegebenen Parallaxe zwischen ihnen gewandelt wird, indem ein blickpunkt-gewandeltes Bild auf der Basis der Parallaxe zwischen der Vielzahl von aufgenommenen Bildern korrigiert wird und indem das resultierende Bild angezeigt wird.
Wie hier vorstehend erwähnt wurde, stellt die vorliegende Erfindung eine Fahrunterstützungsvorrichtung bereit, die einen ausgezeichneten Vorteil darin hat, dass sie die Belastung des Fahrers reduziert und ein genaues und sicheres Fahren erzeugt.

Claims

Fahrunterstützungsvorrichtung, die aufweist: eine Bildaufnahmeeinrichtung (1001, 3001), die an einer mobilen Einheit angebracht ist; eine Wandeleinrichtung (3007, 3008; 3013; 7013) zum Wandeln eines oder mehrerer Bilder, das oder die durch die Bildaufnahmeeinrichtung (1001, 3001) aufgenommen wird oder werden, in ein Bild, das von einem virtuellen Blickpunkt (1004) oberhalb einer Position der Bildaufnahmeeinrichtung (1001, 3001) gesehen wird, oder in ein Bild, das von oben orthogonal projiziert wird, auf der Basis eines Straßenoberflächenmodells (3011); eine Hindernisbereich-Detektionseinrichtung (3005) zum Detektieren eines Bereiches, wobei eine Parallaxe (3010) zwischen Bildern, die durch die Bildaufnahmeeinrichtung (1001, 3001) aufgenommen werden, nicht mit einer Parallaxe auf das Straßenoberflächenmodell (3011) als ein Hindernisbereich zusammenfällt; eine Überlagerungseinrichtung (3016) zum Überlagern des detektierten Bereiches (3015) in einem Bild, für das die Blickpunktwandlung durchgeführt wird, auf der Basis des Straßenoberflächenmodells (3011); und eine Anzeigeeinrichtung (3009) zum Anzeigen des zusammengesetzten Bildes; wobei die Überlagerungseinrichtung (3016) einen Abstand von der Bildaufnahmeeinrichtung (1001, 3001) und eine Höhe von einer Straßenoberfläche auf der Basis einer Parallaxe des detektierten Bereiches (3015) detektiert, eine Anzeige der Bereiche gemäß dem Abstand und der Höhe ändert und dann den detektierten Bereich (3015) in einem Bild überlagert, für das die Blickpunktwandlung durchgeführt wird, auf der Basis des Straßenoberflächenmodells (3011).
Fahrunterstützungsvorrichtung nach Anspruch 1, worin eine Vielzahl von Bildaufnahmeeinrichtungen (1001, 3001), die an der mobilen Einheit angebracht sind, an vorgegebenen Intervallen in einer vertikalen Richtung der mobilen Einheit, in einer vertikalen Richtung zu einem Straßenoberflächenmodell oder in einer Richtung von einer der Bildaufnahmeeinrichtungen (1001, 3001) zu dem virtuellen Blickpunkt (1004) oder einer Linie der orthogonal projizierten Ansicht angeordnet ist.