DE102005051777B4

DE102005051777B4 - Fahrzeugumgebung-Sichtunterstützungssystem

Info

Publication number: DE102005051777B4
Application number: DE102005051777A
Authority: DE
Inventors: Masayuki Aichi-ken Imanishi; Takenori Aichi-ken Matsue; Michinaga Aichi-ken Nagura
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2004-10-28
Filing date: 2005-10-28
Publication date: 2011-07-21
Anticipated expiration: 2025-10-29
Also published as: JP2006151370A; JP4724522B2; DE102005051777A1

Abstract

Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) zum Unterstützen eines Rückwärtseinparkens, mit:
– einem Bildaufnahmemittel (3, 23, 24), das ein Bild von einem bestimmten, ein maßgebliches Fahrzeug umgebenden Bereich aufnimmt;
– einem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32), das ein von dem Bildaufnahmemittel (3, 23, 24) aufgenommenes Aufnahmebild in eine Vogelperspektivenansicht umwandelt, um ein Vogelperspektivenbild zu erzeugen;
– einem Zusammenfügungsmittel (2, 22, 32) zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, das eine Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) erzeugten Vogelperspektivenbildern zusammenfügt, um so ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und
– einem Steuerungsmittel (2, 22, 32), das bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) eine Mehrzahl von von dem Bildaufnahmemittel (3, 23, 24) zu mehreren Zeitpunkten (T0–T2), während sich das maßgebliche Fahrzeug vorwärts bewegt, bevor es beginnt, sich rückwärts zu bewegen, aufgenommener Aufnahmebilder in eine Vogelperspektivenansicht umwandelt, um eine Mehrzahl von Vogelperspektivenbildern zu erzeugen, bewirkt, dass das Zusammenfügungsmittel (2, 22, 32) die...

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Fahrzeugumgebung-Sichtunterstützungssystem, das auf ein Parkunterstützungssystem anwendbar ist, das einen Anwender zum Beispiel darin unterstützt, einzuschlagen und sein/ihr Fahrzeug zurückzusetzen, um es einzuparken.
HINTERGRUND DER ERFINDUNG
Die Anmelder dieser Anmeldung reichten eine Anmeldung für das Patent JP 2004-053805 A , als ein Parkunterstützungssystem ein, das einen Anwender zum Beispiel darin unterstützt, einzuschlagen und sein/ihr Fahrzeug zurückzusetzen, um es zu parken. Das in der JP 2004-053805 A, offenbarte Parkunterstützungssystem ist so ausgelegt, dass die folgende Operation ausgeführt wird: Wenn ein Anwender sein/ihr Fahrzeug vorwärts fährt und es in einer Parkstartposition stoppt, nimmt eine an dem hinteren Teil der Karosserie seines/ihres Fahrzeugs angebrachte Heckbild-Aufnahmekamera das Bild des Bereichs hinter dem Fahrzeug auf, das aufgenommene Heckbild wird in eine Vogelperspektive umgewandelt, um ein Vogelperspektiven-Heckbild zu erzeugen. Das erzeugte Vogelperspektiven-Heckbild wird als Anzeigebild auf einer Anzeigevorrichtung (Monitor) angezeigt. Dies ermöglicht es dem Anwender, leicht eine Zielparkposition innerhalb des Anzeigebildes einzustellen. Nachdem der Anwender die Parkposition eingestellt hat, wird das Fahrzeug automatisch von der Parkstartposition in die Parkposition gelenkt.
Als Beispiel wird angenommen, dass ein Anwender sein/ihr Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug (geparktes Fahrzeug A in 15) stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken, wie es in 15 gezeigt ist. (Der Fahrer parkt sein/ihr Fahrzeug durch sogenanntes Parallelparken.) Das oben erwähnte Parkunterstützungssystem, das in der JP 2004-053805 A , offenbart ist, ist so ausgelegt, dass die folgende Operation ausgeführt wird: Das maßgebliche Fahrzeug bewegt sich vorwärts und stoppt vorübergehend neben einem geparkten Fahrzeug. Anschließend, das heißt nachdem das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat, wird das Bild des Bereichs hinter dem Fahrzeug aufgenommen. Dieses aufgenommene Heckbild wird in eine Vogelperspektivenansicht umgewandelt, und das gewonnene Vogelperspektiven-Heckbild wird als ein Anzeigebild angezeigt. Daher gibt es Falle, in denen der hinter dem geparkten Fahrzeug verdeckte Bereich einen toten Winkel bildet und ein Teil des zum Parken zur Verfügung stehenden Raumes nicht einsehbar ist. Als Folge davon kann ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, nicht in geeigneter Weise angezeigt werden, was dahingehend zu einem Problem führt, dass der Anwender eine Zielparkposition innerhalb eines Anzeigebildes nicht in geeigneter Weise einstellen kann. Ähnliche Probleme treten zum Beispiel auch auf, wenn ein Anwender das maßgebliche Fahrzeug vorübergehend neben einem Gebäude (z. B. einem Wohngebäude oder einem Warenhaus) stoppt, und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem Gebäude zu parken.
Die DE 102 92 327 T5 offenbart ein Fahrzeugumgebung-Sichtunterstützungssystem zum Unterstützen eines Rückwärtseinparkens, mit einem Bildaufnahmemittel, das ein Bild von einem bestimmten, ein maßgebliches Fahrzeug umgebenden Bereich aufnimmt; einem Vogelperspektivenbild-Erzeugungsmittel, das ein von dem Bildaufnahmemittel aufgenommenes Aufnahmebild in eine Vogelperspektivenansicht umwandelt, um ein Vogelperspektivenbild zu erzeugen; einem Zusammenfügungsmittel zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, das eine Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel erzeugten Vogelperspektivenbildern zusammenfügt, um so ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und einem Steuerungsmittel, das bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von von dem Bildaufnahmemittel zu mehreren Zeitpunkten aufgenommener Aufnahmebilder in eine Vogelperspektivenansicht umwandelt, um eine Mehrzahl von Vogelperspektivenbildern zu erzeugen, bewirkt, dass das Zusammenfügungsmittel die Mehrzahl Von Vogelperspektivenbildern zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und bewirkt, dass ein Anzeigemittel dieses zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das eine Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Es werden jedoch nur Bilder zusammengefügt, die während der Rückwärtsfahrt (des Rückwärtseinparkens) aufgenommen werden.
Die DE 600 03 750 T2 offenbart eine Einparkhilfe-Assistenz-Vorrichtung mit einer Fahrzeugpositionsberechnungseinheit zur Berechnung der Position des Fahrzeugs in einer Draufsicht; einer Schätzortberechnungseinheit zur Berechnung eines Schätzbewegungsortes des Fahrzeugkörpers, wenn das Fahrzeug in einem festgelegten Lenkwinkel in Bezug auf die durch die Fahrzeugpositionsberechnungseinheit berechnete Fahrzeugposition bewegt wird; und einer Anzeigeeinheit zur Anzeige der durch die Fahrzeugpositionsberechnungseinheit berechneten Fahrzeugposition zusammen mit dem durch die Schätzortberechnungseinheit berechneten Schätzort des Fahrzeugkörpers.
Die DE 201 05 340 U1 offenbart eine Vorrichtung zur dreidimensionalen Erfassung der Umgebung um ein Straßenfahrzeug zur Erfassung von Parklücken mit einem Entfernungssensor, welcher eine Abfolge von zweidimensionalen Entfernungsprofilen erzeugt, einer Datenverarbeitungseinheit und einer Speichereinheit, welche aufeinanderfolgende Entfernungsprofile verarbeitet, speichert und aus einer Aneinanderreihung einer aufeinanderfolgenden Menge von Entfernungsprofilen ein dreidimensionales Abbild der Umgebung erzeugt, und einem Mittel zur Bestimmung des zurückgelegten Weges des Straßenfahrzeugs zwischen jedem einzelnen erzeugtem Entfernungsprofil.
KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Erfindung ist unter Berücksichtigung des oben Gesagten gemacht worden, und es ist ein Ziel der vorliegenden Erfindung, ein Fahrzeugumgebung-Sichtunterstützungssystem bereitzustellen, das dazu geeignet ist, den Bereich um das maßgebliche Fahrzeug als ein geeignetes Bild anzuzeigen, wobei selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken, der Anwender in geeigneter Weise eine Zielparkposition innerhalb eines Anzeigebildes einstellen kann.
Um das oben genannte Ziel zu erreichen, schafft die Erfindung ein Fahrzeugumgebung-Sichtunterstützungssystem gemäß Anspruch 1.
Anders als ähnliche Systeme aus der Vergangenheit zeigt dieses Fahrzeugumgebung-Sichtunterstützungssystem als Anzeigebild kein Vogelperspektiven-Heckbild an, das durch Umwandlung eines aufgenommenen Heckbildes, das aufgenommen wurde, nachdem ein Anwender das maßgebliche Fahrzeug vorwärts gefahren und vorübergehend neben einem geparkten Fahrzeug gestoppt hat, in eine Vogelperspektivenansicht gewonnen wird. Statt dessen zeigt es als Anzeigebild ein zusammengefügtes Vogelperspektivenbild an, das durch Umwandlung von aufgenommenen Heckbildern, die aufgenommen wurden, bevor der Fahrer das maßgeblichen Fahrzeug fährt und es vorübergehend neben einem geparkten Fahrzeug stoppt, das heißt bevor es der Anwender in einer Parkstartposition parkt, in eine Vogelperspektivenansicht und Zusammenfügung von ihnen gewonnen wird. Daher ist das Nachfolgende implementiert, solange sich das maßgebliche Fahrzeug vorwärts bewegt und an einem Bereich vorbeifährt, in dem der Anwender, unmittelbar bevor es in einer Parkstartposition stoppt, eine Parkposition setzt (in diesem Fall hinter einem geparkten Fahrzeug): Der hinter dem geparkten Fahrzeug verdeckte Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz ist einsehbar, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.
Somit kann der Bereich um das relevante Fahrzeug als ein geeignetes Anzeigebild angezeigt werden. Der Anwender kann zum Beispiel das Folgende tun, selbst wenn er/sie das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken (wenn der Anwender das Fahrzeug durch sogenanntes Parallelparken parkt): Der Anwender kann eine Zielparkposition innerhalb eines Anzeigebildes in geeigneter Weise setzen.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Es bewirkt, dass ein Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von aufgenommenen Heckbildern, die von dem Bildaufnahmemittel zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt, aufgenommen wurden, jeweils in eine Vogelperspektivenansicht umgewandelt werden, um eine Mehrzahl von Vogelperspektiven-Heckbilder zu erzeugen, es bewirkt, dass das Zusammenfüfungsmittel die Mehrzahl von Vogelperspektiven-Heckbilder zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und es bewirkt, dass das Anzeigemittel dieses zusammengefügte Vogelperspektivenbild, zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender das Setzen einer Zielparkposition beabsichtigt, durch ein zusammengefügtes Vogelperspektivenbild angezeigt werden, das durch Umwandlung von aufgenommenen Heckbildern, die darstellen, wie sich die Situation hinter dem maßgeblichen Fahrzeug verhält, in eine Vogelperspektive und deren Zusammenzufügen gewonnen wird. Als Folge davon kann die Sicht nach hinten bezüglich des Fahrzeugs in geeigneter Weise gewährleistet werden.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Es bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von aufgenommenen Heckbildern und eine Mehrzahl von aufgenommenen Seitenbildern, die zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt hat, von einem Bildaufnahmemittel aufgenommen wurden, in ein Vogelperspektivenbild umwandelt, um eine Mehrzahl von Vogelperspektiven-Heckbilder und eine Mehrzahl von Vogelperspektiven-Seitenbilder zu erzeugen; es bewirkt, dass das Zusammenfügungsmittel die Mehrzahl von Vogelperspektivenbilder und die Mehrzahl von Vogelperspektiven-Seitenbilder zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und es bewirkt, dass das Anzeigemittel dieses zusammengefügte Vogelperspektivenbild, zusammen mit einer Grafik des maßgeblichen Bildes, das die Position des relevanten Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender ein Setzen einer Zielparkposition beabsichtigt, durch ein zusammengefügtes Vogelperspektivenbild angezeigt werden, das durch Umwandeln von aufgenommenen Heckbildern, die darstellen, wie sich die Situation hinter dem maßgeblichen Fahrzeug verhält, und von aufgenommenen Seitenbildern, die darstellen, wie sich die Situation seitlich des maßgeblichen Fahrzeugs verhält, in eine Vogelperspektivenansicht und deren Zusammenfügung gewonnen wird. Als Folge davon kann die Sicht nach hinten bezüglich des maßgeblichen Fahrzeugs und zur Seite bezüglich des maßgeblichen Fahrzeugs in geeigneter Weise gewährleistet werden.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung analysiert ein Neigungserfassungsmittel die Mehrzahl von aufgenommenen Heckbilder und die Mehrzahl der aufgenommenen Seitenbilder, die zu mehreren Zeitpunkten von dem Bildaufnahmemittel aufgenommen wurden, und die Mehrzahl von Vogelperspektiven-Heckbilder und die Mehrzahl von Vogelperspektiven-Seitenbilder, die von einem Vogelperspektivenbild-Erzeugungsmittel erzeugt wurden. Es erfasst dann eine Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug. Das Zusammenfügungsmittel fügt die Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel erzeugten Vogelperspektivenbildern zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Gleichzeitig fügt es die Vogelperspektiven-Seitenbilder in der zu der von dem Neigungserfassungsmittel erfassten Neigung des geparkten Fahrzeugs oder des Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen parallelen Richtung zusammen.
Dies ist vorteilhaft in anderen Fällen als Fällen, in denen ein Anwender das maßgebliche Fahrzeug durch sogenanntes Parallelparken parkt oder zum Beispiel ein Fahrer das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend vor oder hinter einem schon geparkten Fahrzeug stoppt und dann in einem im Wesentlichen rechten Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken. Es ist zum Beispiel vorteilhaft, selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend diagonal vor oder hinter einem schon geparkten Fahrzeug parkt und dann in einem stumpfen Winkel einschlägt und das Fahrzeug zu rücksetzt, um es seitlich des geparkten Fahrzeugs zu parken (der Anwender parkt das Fahrzeug durch sogenanntes Winkelparken). Die folgenden Vorteile ergeben sich durch Zusammenfügen der Mehrzahl von Vogelperspektiven-Seitenbildern in der zu der Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen parallelen Richtung, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen: Der hinter einem geparkten Fahrzeug verborgene Bereich bildet keinen toten Winkel; der gesamte zum Parken zur Verfügung stehende Raum kann einsehbar gemacht werden; und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung erzeugt das Zusammenfügungsmittel ein zusammengefügtes Vogelperspektivenbild derart, dass ein Punkt, wo ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Seitenbild einander überlappen, das Vogelperspektiven-Seitenbild sichtbar ist. Somit kann, wenn die Auflösung eines aufgenommenen Seitenbildes höher als die Auflösung eines aufgenommene Heckbildes ist, ein scharfes zusammengefügtes Vogelperspektivenbild als ein Anzeigebild angezeigt werden.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition stoppt, bewirkt es, dass das Anzeigemittel ein von dem Zusammenfügungsmittel erzeugtes zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Bildes, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender das Setzen einer Zielparkposition beabsichtigt, unmittelbar nachdem sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition gestoppt hat, d. h. wenn der Anwender versucht, eine Zielparkposition zu setzen, in geeigneter Weise angezeigt werden.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation in einem Fall aus, in dem eine Zielparkposition durch einen Fahrer eingestellt wird, nachdem sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition gestoppt hat: Es setzt einen Weg des maßgeblichen Fahrzeugs von der Parkstartposition zu der Parkposition auf der Grundlage eines von dem Zusammenfügungsmittel erzeugten zusammengefügten Vogelperspektivenbildes. Somit kann, wenn ein Anwender eine Parkposition einstellt, ein Weg des maßgeblichen Fahrzeugs von einer Parkstartposition zu der Parkposition in geeigneter Weise auf der Grundlage eines Anzeigebildes eingestellt werden, in dem ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, dargestellt wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Zeichnung, die eine erste Ausführungsform der vorliegenden Erfindung zeigt und schematisch die Art und Weise veranschaulicht, in der ein Vogelperspektiven-Heckbild zusammengefügt wird;
2 ist ein Funktionsblockdiagramm;
3 ist ein Flussdiagramm;
4 ist eine Zeichnung, die den Aufnahmebereich einer Heckbild-Aufnahmekamera zeigt, der definiert wird, wenn sich das maßgebliche Fahrzeug vorwärts bewegt;
5 ist eine Zeichnung, die der 4 entspricht;
6 ist eine Zeichnung, die den Aufnahmebereich einer Heckbild-Aufnahmekamera zeigt, der definiert wird, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt;
7 ist eine Zeichnung, die schematisch ein Anzeigebild darstellt;
8 ist eine Zeichnung, die schematisch die Art und Weise veranschaulicht, in der ein Vogelperspektiven-Heckbild zusammengefügt wird;
9 ist ein Funktionsblockdiagramm, das eine zweite Ausführungsform der vorliegenden Erfindung zeigt;
10 ist eine Zeichnung, die die Aufnahmebereiche einer Heckbild-Aufnahmekamera, einer Beifahrerseitenbild-Aufnahmekamera und einer Fahrerseitenbild-Aufnahmekamera zeigen, die definiert werden, wenn sich das maßgebliche Fahrzeug vorwärtsbewegt;
11 ist eine Zeichnung, die 7 entspricht;
12 ist eine Zeichnung, die die Aufnahmebereiche einer Heckbild-Aufnahmekamera, einer Beifahrerseitenbild-Aufnahmekamera und einer Fahrerseitenbild-Aufnahmekamera zeigen, die definiert werden, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt;
13 ist ein Funktionsblockdiagramm, das eine dritte Ausführungsform der vorliegenden Erfindung zeigt;
14 ist eine Zeichnung, die 7 entspricht; und
15 ist eine Zeichnung, die einem Beispiel des Standes der Technik entspricht.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
(Erste Ausführungsform)
Im Folgenden ist eine erste Ausführungsform der vorliegenden Erfindung mit Bezug auf die 1 bis 8 beschrieben. In dieser Ausführungsform ist ein Fahrzeugumgebungs-Sichtunterstützungssystem der vorliegenden Erfindung auf ein Parkunterstützungssystem angewendet, das einen Anwender dabei unterstützt, das maßgebliche Fahrzeug vorübergehend neben einem schon geparkten Fahrzeug zu stoppen und dann einzuschlagen bzw. zu lenken und das Fahrzeug zurückzusetzen, um es hinter dem geparkten Fahrzeug zu parken. (Der Anwender parkt durch sogenanntes Parallelparken).
2 zeigt die Gesamtkonfiguration eines Parkunterstützungssystems in Form eines Funktionsblockdiagramms. Das Parkunterstützungssystem 1 umfasst: Eine CPU 2 (Vogelperspektivenbild-Erzeugungsmittel, ein Zusammenfügungsmittel und Steuerungsmittel in der vorliegenden Erfindung), eine Heckbild-Aufnahmekamera 3 (Bildaufnahmemittel in der vorliegenden Erfindung), einen Rahmenspeicher 4 für aufgenommene Bilder, einen Arbeitsspeicher 5, einen Kartenspeicher 6, einen Speicher 7 für Zwischenbilder, einen Speicher 8 für Anzeigebilder, einen Tastfeldmonitor 9 (Anzeigemittel in der vorliegenden Erfindung), einen Fahrzeuggeschwindigkeitssensor 10, einen Lenksensor 11, einen Gierratensensor 12, einen Hinderniserfassungssensor 13 und eine Lenksteuerungsschaltung 14.
Die CPU 2 führt ein Steuerungs- bzw. Regelungsprogramm aus, um den Gesamtbetrieb des Parkunterstützungssystems 1 zu steuern bzw. zu regeln. Die Heckbild-Aufnahmekamera 3 ist zum Beispiel an dem hinteren Teil der Karosserie des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs hinter dem maßgeblichen Fahrzeug auf. Der Rahmenspeicher 4 für aufgenommene Bilder speichert vorübergehend aufgenommene Heckbilder, die von der Heckbild-Aufnahmekamera 3 aufgenommen wurden. Der Arbeitsspeicher 5 fungiert als ein Speicherbereich zum Betrieb, und er speichert zum Beispiel vorübergehend verschiedene Daten, wenn die CPU 2 das Steuerungsprogramm ausführt.
Der Kartenspeicher 6 speichert die folgenden Parameter: Parameter zur Aberrationskorrektur, die von der CPU 2 verwendet werden, um Verzerrungen/Aberrationen durch eine Linsenaberration in einem aufgenommenen Heckbild zu korrigieren, Parameter zur Umwandlung in eine Vogelperspektivenansicht, die von der CPU 2 verwendet werden, um ein aberrationskorrigiertes Bild in eine Vogelperspektivenansicht umzuwandeln, Parameter zum Zusammenfügen, die von der CPU 2 verwendet werden, um eine Mehrzahl von Vogelperspektiven-Heckbilder zusammenzufügen, und dergleichen. Der Speicher 7 für Zwischenbilder speichert vorübergehend das Folgende: von der CPU 2 unter Verwendung der Parameter zur Aberrationskorrektur erzeugte aberrationskorrigierte Bilder, von der CPU 2 unter Verwendung von Parametern zur Umwandlung in eine Vogelperspektivenansicht erzeugte Vogelperspektiven-Heckbilder, von der CPU 2 unter Verwendung von Parametern zum Zusammenfügen erzeugte zusammengefügte Vogelperspektivenbilder, und dergleichen.
Der Speicher 8 für Anzeigebilder speichert vorübergehend die von der CPU 2 erzeugten zusammengefügten Vogelperspektivenbilder. Der Tastfeldmonitor 9 umfasst eine Anzeigefunktion zur Anzeige der von der CPU 2 erzeugten zusammengefügten Vogelperspektivenbilder als ein Anzeigebild und eine Operationsannahmefunktion zur Annahme einer Operation eines Anwenders über das Tastenfeld. Wenn eine Anzeigeanweisung von der CPU 2 eingegeben wird, zeigt der Tastfeldmonitor 9 ein zusammengefügtes Vogelperspektivenbild als ein Anzeigebild an, das vorübergehend in dem Speicher 8 für Anzeigebilder abgelegt ist. Wenn von der CPU 2 eine Operationsannahmeanweisung eingegeben wird, nimmt sie eine Operation des Anwenders an und sendet an die CPU 2 eine Operationsinformation.
Der Fahrzeuggeschwindigkeitssensor 10 erfasst die Fahrzeuggeschwindigkeit des maßgeblichen Fahrzeugs und gibt ein Fahrzeuggeschwindigkeit-Erfassungssignal (Fahrzeuggeschwindigkeitsimpuls) an die CPU 2 aus. Der Lenksensor 11 erfasst den Lenkwinkel des maßgeblichen Fahrzeugs und gibt ein Lenkwinkel-Erfassungssignal an die CPU 2 aus. Der Gierratensensor 12 erfasst eine Gierrate und gibt ein Gierraten-Erfassungssignal an die CPU 2 aus. Wenn das Fahrzeuggeschwindigkeit-Erfassungssignal von dem Fahrzeuggeschwindigkeitssensor 10 eingegeben wird, ein Lenkwinkel-Erfassungssignal von dem Lenkwinkelsensor 11 eingegeben wird oder ein Gierraten-Erfassungssignal von dem Gierratensensor 12 eingegeben wird, führt die CPU 2 die folgende Operation aus: Sie analysiert das eingegebene Fahrzeuggeschwindigkeits-Erfassungssignal, Lenkwinkel-Erfassungssignal oder Gierraten-Erfassungssignal. Dann berechnet sie die Fahrdistanz oder den Wenderadius des maßgeblichen Fahrzeugs (den Bewegungszustand des maßgeblichen Fahrzeugs) oder berechnet einen Weg des relevanten Fahrzeugs.
Der Hinderniserfassungssensor 13 umfasst zum Beispiel ein Sonar, ein Radar oder dergleichen und gibt ein Hindernis-Erfassungssignal an die CPU 2 aus, das dem Empfangszustand einer reflektierten Funkwelle entspricht. Wenn ein Hindernis-Erfassungssignal von dem Hinderniserfassungssensor 13 eingegeben wird, analysiert die CPU 2 das eingegebene Hindernis-Erfassungssignal und erfasst die Position des Hindernisses. Wenn ein Lenksteuerungssingal von der CPU 2 eingegeben wird, steuert die Lenksteuerungsschaltung 14 automatisch das Lenken des maßgeblichen Fahrzeugs auf der Grundlage des eingegebenen Lenksteuerungssignals. In dem wie oben aufgebauten Parkunterstützungssystem 1 kann ein Teil oder können alle seiner Funktionsblöcke aus einem öffentlich bekannten Navigationssystem, das in das maßgebliche Fahrzeug eingebaut werden kann, aufgebaut werden.
Nachfolgend ist die Funktion bzw. der Betrieb der oben genannten Struktur mit Bezug auf die 1 und die 2 bis 8 beschrieben. 3 zeigt die von der CPU 2 ausgeführte Verarbeitung in Form eines Flussdiagramms.
Als Beispiel sei angenommen, dass ein Anwender das maßgebliche Fahrzeug vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken. In diesem Fall stoppt der Anwender vorübergehend das maßgebliche Fahrzeug neben dem schon geparkten Fahrzeug, das heißt, der Anwender stoppt vorübergehend das maßgebliche Fahrzeug in einer Parkstartposition. In dieser Ausführungsform führt ein Anwender eine vorbestimmte Operation aus, um das Parkunterstützungssystem zu starten, wenn er/sie das maßgebliche Fahrzeug vorwärts fährt. Bezüglich dieser Ausführungsform ist eine Beschreibung für einen Fall gegeben, in dem das Parkunterstützungssystem von einem Anwender gestartet wird, der eine vorbestimmte Operation ausführt. Statt dessen kann die vorliegende Erfindung so ausgebildet sein, dass das Parkunterstützungssystem von einem Anwender gestartet wird, der einen vorbestimmten Satz äußert, wobei er eine Spracherkennungstechnik verwendet. Oder sie kann so ausgebildet sein, dass, wenn das maßgebliche Fahrzeug verzögert wird und sich die Vorwärtsgeschwindigkeit des maßgeblichen Fahrzeugs auf eine vorbestimmte Geschwindigkeit oder weniger verringert, das Parkunterstützungssystem automatisch gestartet wird.
Wenn die CPU 2 erfasst, dass eine vorbestimmte Operation von dem Anwender ausgeführt wird, um das Parkunterstützungssystem zu starten (”JA” in Schritt S1), startet es einen Zeitgeber, der eine Bildaufnahmezeit zählt, die auf einen vorbestimmten Zyklus (z. B. einige zehn Millisekunden) voreingestellt ist. Somit bestimmt die CPU, ob eine Bildaufnahmezeit gekommen ist (Schritt S2). Wenn die CPU 2 erfasst, dass eine Bildaufnahmezeit gekommen ist (”JA” in Schritt S2), bewirkt sie, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug aufnimmt (Schritt S3). Die CPU 2 wandelt ein aufgenommenes Heckbild, das über den Rahmenspeicher 4 für aufgenommene Bilder von der Heckbild-Aufnahmekamera 3 eingegeben wurde, in eine Vogelperspektivenansicht um, um so ein Vogelperspektiven-Heckbild zu erzeugen (Schritt S4). Sie bewirkt, dass das erzeugte Vogelperspektiven-Heckbild als ein vorheriges Bild gespeichert wird (Schritt S5).
Die CPU 2 bestimmt, ob die nächste Bildaufnahmezeit gekommen ist (Schritt S6) und bestimmt ferner, ob das maßgebliche Fahrzeug in einer Parkstartposition gestoppt ist (Schritt S7). Wenn die CPU 2 erfasst, dass die nächste Bildaufnahmezeit gekommen ist (”JA” in Schritt S6), führt sie die gleiche Verarbeitung wie oben beschrieben aus. Das heißt, sie bewirkt, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug aufnimmt (Schritt S8), und wandelt ein aufgenommenes Heckbild, das über den Rahmenspeicher 4 für aufgenommene Bilder von der Heckbild-Aufnahmekamera 3 eingegeben wurde, in eine Vogelperspektivenansicht um (Schritt S9). Dieses Mal fügt die CPU 2 das erzeugte Vogelperspektiven-Heckbild mit dem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen (Schritt S10), und bewirkt, dass das erzeugte zusammengefügte Vogelperspektivenbild als ein vorheriges Bild gespeichert wird (Schritt S11). Anschließend führt die CPU 2 wiederholt die oben genannte Verarbeitung aus, bis sie erfasst, dass das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat.
Wenn die CPU 2 erfasst, dass das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat (”JA” in Schritt S7), bewirkt sie, dass der Tastfeldmonitor 9 das zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt (Schritt S12). Anschließend beendet die CPU den Ablauf der Verarbeitung und wartet, bis der Anwender eine Zielparkposition einstellt.
Durch die oben genannte Verarbeitung führt die CPU 2 nach Starten des Parkunterstützungssystems die folgende, in den 4 bis 6 dargestellte, Operation aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, bewirkt sie, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug in jeder Position aufnimmt, und wandelt ein aufgenommenes Heckbild in eine Vogelperspektivenansicht um, um ein Vogelperspektiven-Heckbild zu erzeugen, fügt sie das erzeugte Vogelperspektiven-Heckbild mit einem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, bewirkt die CPU 2, dass der Tastfeldmonitor 9 das in 7 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor ein durch Umwandeln einer Mehrzahl von Vogelperspektiven-Heckbildern, die aufgenommen wurden, als sich das maßgebliche Fahrzeug vorwärts bewegte, in eine Vogelperspektivenansicht und Zusammenfügen von diesen gewonnenes zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des Fahrzeugs anzeigt, anzeigt. In dem Beispiel eines in 7 dargestellten Anzeigbildes, sind geparkte Fahrzeuge und Parkrahmen (z. B. weiße Linien und Seile) weggelassen.
Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, kann die CPU 2 bewirken, dass der Tastfeldmonitor 9 erzeugte zusammengefügte Vogelperspektivenbilder von Augenblick zu Augenblick anzeigt, wie es oben erwähnt ist. Oder sie kann bewirken, dass der Tastfeldmonitor 9 von der Heckbild-Aufnahmekamera 3 aufgenommene Heckbilder in Echtzeit anzeigt. Diese Ausführungsform ist so ausgelegt, dass durch Umwandeln von während des Bewegens des maßgelichen Fahrzeugs neu aufgenommenen Heckbildern in eine Vogelperspektivenansicht gewonnene Vogelperspektiven-Heckbilder ausgeschnitten und zusammengefügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Dieses Ausschneiden wird wie folgt ausgeführt: Ein zusammengefügtes Vogelperspektivenbild, das zuvor zusammengefügt wurde, wird auf der Grundlage der Fahrdistanz, des Wenderadius und des Einschlagwinkels des maßgeblichen Fahrzeugs verschoben und gedreht, und ein Vogelperspektiven-Heckbild, das dem frei gemachten bzw. entleerten Bereich entspricht, wird von einem neuen Vogelperspektiven-Heckbild ausgeschnitten und eingefügt, um ein zusammengefügtes Vogelperspektivenbild zusammenzufügen. Wenn sich das maßgebliche Fahrzeug geradlinig bewegt, wird ein Vogelperspektiven-Heckbild in Rechteckform ausgeschnitten, und wenn sich das maßgebliche Fahrzeug entlang einer Kurve bewegt (das maßgebliche Fahrzeug fährt einen Bogen), wird ein Vogelperspektiven-Heckbild in Bogenform ausgeschnitten.
Das Vorhergehende ist eine Beschreibung eines Falls, in dem das Parkunterstützungssystem in einem ausreichenden zeitlichen Abstand vor dem Stoppen des maßgeblichen Fahrzeugs in der Parkstartposition gestartet wird und somit eine ausreichend Anzahl von vorherigen Bildern vorhanden ist. Zum Beispiel wird, wenn das Parkunterstützungssystem gestartet wird, unmittelbar bevor das maßgebliche Fahrzeug in einer Parkstartposition stoppt und somit keine ausreichend Anzahl von vorherigen Bildern vorhanden ist, ein Ablauf ausgeführt, wie er in 8 dargestellt ist. Wenn ein Bild angezeigt wird, wird der Bereich, der sich in großer Entfernung zu dem maßgeblichen Fahrzeug befindet, mit dem momentanen Vogelperspektiven-Heckbild ergänzt. Die Beschreibung dieser Ausführungsform ist für einen Fall gegeben worden, in dem ein zusammengefügtes Vogelperspektivenbild angezeigt wird, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt. Statt dessen kann die vorliegende Erfindung so ausgebildet sein, dass ein zusammengefügtes Vogelperspektivenbild angezeigt wird, wenn der Schalthebel in die Rückwärtsposition gebracht wird oder wenn der Anwender einen vorbestimmten Satz ausspricht.
Anschließend setzt der Anwender eine Zielparkposition, während er auf das auf dem Tastfeldmonitor 9 angezeigte zusammengefügte Vogelperspektivenbild schaut. Wenn die CPU 2 erfasst, dass eine Parkposition von dem Anwender gesetzt worden ist, gibt sie ein Lenksteuerungssignal an die Lenksteuerungsschaltung 14 aus, die das automatische Lenken des maßgeblichen Fahrzeugs von der Parkstartposition zu der Parkposition steuert.
Wie es bisher beschrieben ist, ist die erste Ausführungsform so ausgelegt, dass die folgende Operation in dem Parkunterstützungssystem 1 ausgeführt wird: Wenn das maßgebliche Fahrzeug in der Parkstartposition stoppt, wird ein durch Umwandeln von einer Mehrzahl von durch die Heckbild-Aufnahmekamera 3 zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt, aufgenommener Heckbilder in eine Vogelperspektivenansicht und Zusammenzufügen von ihnen gewonnenes Vogelperspektivenbild zusammen mit einer Grafik des maßgelichen Fahrzeugs als Anzeigebild angezeigt. Somit wird ein durch Umwandeln von aufgenommenen Heckbildern, die aufgenommen wurden, bevor der Anwender das maßgebliche Fahrzeug vorwärts bewegt und es vorübergehend neben dem geparkten Fahrzeug stoppt, das heißt bevor es der Anwender in einer Parkstartposition stoppt, in eine Vogelperspektivenansicht und Zusammenzufügen von ihnen gewonnenes Vogelperspektivenbild als ein Anzeigebild angezeigt. Daher bildet der hinter einem geparkten Fahrzeug verborgener Bereich keinen toten Winkel, solange das maßgebliche Fahrzeug an einem Bereich vorbei fährt, wo eine Parkposition von dem Anwender eingestellt wird (hinter dem geparkten Fahrzeug in diesem Fall), unmittelbar bevor es sich vorwärts bewegt und in einer Parkstartposition stoppt. Als Folge davon kann erreicht werden, dass der gesamte zum Parken zur Verfügung stehende Platz eingesehen werden kann, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden, so dass der Bereich hinter dem maßgeblichen Fahrzeug als ein geeignetes Anzeigebild angezeigt werden kann. Zum Beispiel kann der Anwender, selbst wenn sich das maßgebliche Fahrzeug vorwärts bewegt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann eingeschlagen, zurückgesetzt und hinter dem geparkten Fahrzeug geparkt wird, in geeigneter Weise ein Zielparkposition innerhalb eines Anzeigebildes setzen bzw. einstellen.
(Zweite Ausführungsform)
Nachfolgend ist eine zweite Ausführungsform der vorliegenden Erfindung mit Bezug auf die 9 bis 12 beschrieben. Auf eine Beschreibung der gleichen Elemente wie in der oben genannten ersten Ausführungsform ist verzichtet, und wird von den Elementen gegeben, die von jenen in der ersten Ausführungsform verschieden sind. Die erste Ausführungsform ist so ausgelegt, dass eine Heckbild-Aufnahmekamera 3 zur Aufnahme des Bildes des Bereichs hinter dem maßgeblichen Fahrzeug als eine Bildaufnahmekamera zur Aufnahme des Bildes des Bereichs um das maßgebliche Fahrzeug vorgesehen ist. In der zweiten Ausführungsform sind die folgenden Kameras als Bildaufnahmekameras zur Aufnahme des Bildes des Bereichs um das maßgebliche Fahrzeug zusätzlich zu einer Heckbild-Aufnahmekamera 3 zur Aufnahme des Bildes des Bereichs hinter dem maßgeblichen Fahrzeug vorgesehen: eine Beifahrerseitenbild-Aufnahmekamera zur Aufnahme des Bildes des Bereichs auf der rechten Seite des maßgeblichen Fahrzeugs und eine Fahrerseitenbild-Aufnahmekamera zur Aufnahme des Bildes des Bereichs auf der linken Seite des maßgeblichen Fahrzeugs.
Eine ausführlichere Beschreibung folgt. Ein Parkunterstützungssystem 21 umfasst: eine CPU 22 (ein Vogelperspektivenbild-Erzeugungsmittel, ein Mittel zur Erzeugung eines Vogelperspektivenbildes und ein Steuerungsmittel in der vorliegenden Erfindung), eine Heckbild-Aufnahmekamera 3, eine Beifahrerseitenbild-Aufnahmekamera 23 (Bildaufnahmemittel in der vorliegenden Erfindung), eine Fahrerseitenbild-Aufnahmekamera 24 (Bildaufnahmemittel in der vorliegenden Erfindung), einen Rahmenspeicher 4 für aufgenommene Bilder, einen Arbeitsspeicher 5, einen Kartenspeicher 6, einen Speicher 7 für Zwischenbilder, einen Speicher 8 für Anzeigebilder, einen Tastfeldmonitor 9, einen Fahrzeuggeschwindigkeitssensor 10, einen Lenksensor 11, einen Gierratensensor 12, einen Hinderniserfassungssensor 13 und eine Lenksteuerungsschaltung 14. Die Beifahrerseitenbild-Aufnahmekamera 23 ist zum Beispiel am rechten Spiegel des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs auf der rechten Seite des maßgeblichen Fahrzeugs auf. Die Fahrerseitenbild-Aufnahmekamera 23 ist zum Beispiel am linken Spiegel des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs auf der linken Seite des maßgeblichen Fahrzeugs auf.
Die CPU 22 führt die folgende, in 10 darstellte Operation nach Start des Parkunterstützungssystems aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, bewirkt sie, dass die Heckbild-Aufnahmekamera 3, die rechte Seitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug, auf der rechten Seite des maßgeblichen Fahrzeugs bzw. auf der linken Seite des maßgeblichen Fahrzeugs in jeder Position aufnimmt. Es wandelt ein aufgenommenes Heckbild, ein aufgenommenes Beifahrerseitenbild und ein aufgenommenes Fahrerseitenbild in eine Vogelperspektivenansicht um, um ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild und ein Vogelperspektiven-Fahrerseitenbild zu erzeugen. Anschließend fügt sie das Vogelperspektiven-Heckbild, das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild mit einem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen.
Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, bewirkt die CPU 22, dass der Tastfeldmonitor 9 das in 11 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor das Nachfolgende zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt: Ein zusammengefügtes Vogelperspektivenbild, das durch Zusammenfügen von einer Mehrzahl von Vogelperspektivenbildern gewonnen wird, eine Mehrzahl von rechten Vogelperspektiven-Seitenbildern und eine Mehrzahl von linken Vogelperspektiven-Seitenbildern, die aufgenommen wurden, während sich das maßgebliche Fahrzeug vorwärts bewegte. In diesem Fall erzeugt die CPU 22 ein zusammengefügtes Vogelperspektivenbild, so dass an einem Punkt, wo sich ein Vogelperspektiven-Heckbild und ein rechts Vogelperspektiven-Seitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. Ferner sind in dem Beispiel eines in 11 dargestellten Anzeigebildes geparkte Fahrzeuge und Parkrahmen weggelassen.
Einer der Vorteile einer Konstruktion, bei der die Beifahrerseitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 zusätzlich zu der Heckbild-Aufnahmekamera 3 vorgesehen sind, ist folgender: Als Beispiel sei angenommen, dass das maßgebliche Fahrzeug in einer Parkstartposition stoppt, wo der gesamte zum Parken zur Verfügung stehende Platz nicht allein mit der Heckbild-Aufnahmekamera 3 aufgenommen werden kann, wie es in 12 dargestellt ist. Bei einer solchen Konstruktion, bei der nur die Heckbild-Aufnahmekamera 3 vorgesehen ist, muss der Anwender das maßgebliche Fahrzeug weiter von der Parkstartposition vorwärts fahren, so dass er/sie den gesamten zum Parken zur Verfügung stehenden Platz überprüfen kann. Mit einer Konstruktion, die zusätzlich zu der Heckbild-Aufnahmekamera 3 die Beifahrerseitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 vorsieht, kann der Anwender in diesem Fall das Folgende tun: Er/sie kann mit der Beifahrerseitenbild-Aufnahmekamera 23 und der Fahrerseitenbild-Aufnahmekamera 24 den Bereich überprüfen, der allein mit der Heckbild-Aufnahmekamera 3 nicht überprüft werden kann. Daher muss der Fahrer das maßgebliche Fahrzeug von der Parkstartposition aus nicht weiter nach vorn fahren. Somit kann ein unnötiges Fahren des maßgeblichen Fahrzeugs in Vorwärtsrichtung zur Parkunterstützung vermieden werden.
Wie es bisher beschrieben ist, ist die zweite Ausführungsform so ausgebildet, dass die folgende Operation in dem Parkunterstützungssystem 21 ausgeführt wird: Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, wird ein zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs als ein Anzeigebild angezeigt. Das zusammengefügte Vogelperspektivenbild wird durch Umwandeln von einer Mehrzahl von Heckbildern, einer Mehrzahl von rechten Seitenbildern und einer Mehrzahl von linken Seitenbildern, die von der Heckbild-Aufnahmekamera 3, der Beifahrerseitenbild-Aufnahmekamera 23 bzw. der Fahrerseitenbild-Aufnahmekamera 24 zu mehreren Zeitpunkten aufgenommen werden, wenn sich das Fahrzeug vorwärts bewegt, in eine Vogelperspektivenansicht und Zusammenzufügen davon gewonnen. Daher wird ein zusammengefügtes Vogelperspektivenbild, das durch die nachfolgende Operation gewonnen wird, als ein Anzeigebild angezeigt: Aufgenommene Heckbilder, aufgenommene Beifahrerseitenbilder und aufgenommene Fahrerseitenbilder, die aufgenommen werden, bevor der Fahrer das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend neben einem geparkten Fahrzeug stoppt, das heißt, bevor der Anwender das Fahrzeug in einer Parkstartposition stoppt, werden in eine Vogelperspektivenansicht umgewandelt und zusammengefügt. Ferner wird in diesem Fall das Folgende implementiert, solange das maßgebliche Fahrzeug an einem Bereich vorbeifährt, in dem der Anwender eine Parkposition setzt, unmittelbar bevor es sich vorwärts bewegt und an einer Parkstartposition stoppt, ähnlich wie in der oben genannten ersten Ausführungsform: Der hinter dem geparkten Fahrzeug verborgene Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz kann einsehbar gemacht werden, und ein Bereich, in dem der Anwender das Setzen eines Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden. Somit können die Bereiche hinter dem maßgeblichen Fahrzeug und auf den Seiten des maßgeblichen Fahrzeugs als ein geeignetes Anzeigebild angezeigt werden. Zum Beispiel kann der Anwender, selbst wenn sich das maßgebliche Fahrzeug vorwärts bewegt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann eingeschlagen und zurückgesetzt und hinter dem geparkten Fahrzeug geparkt wird, in geeigneter Weise eine Zielparkposition innerhalb eines Anzeigebildes setzen.
Diese Ausführungsform ist so ausgebildet, dass das Folgende implementiert ist: An einem Punkt, an dem ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Beifahrerseitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, wird ein zusammengefügtes Vogelperspektivenbild so erzeugt, dass das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. Daher kann, wenn die Auflösung eines von der Beifahrerseitenbild-Aufnahmekamera 23 aufgenommenes Beifahrerseitenbild oder ein von der Fahrerseitenbild-Aufnahmekamera 24 aufgenommenes Fahrerseitenbild höher als die Auflösung eines von der Heckbild-Aufnahmekamera 3 aufgenommenen Bildes ist, ein scharfes zusammengefügtes Vogelperspektivenbild als ein Anzeigebild angezeigt werden.
(Dritte Ausführungsform)
Nachfolgend ist eine dritte Ausführungsform der vorliegenden Erfindung mit Bezug auf 13 und 14 beschrieben. Auf eine Beschreibung der gleichen Elemente wie jene der zweiten Ausführungsform ist verzichtet, und nur von den Elementen gegeben, die von jenen der zweiten Ausführungsform verschieden sind. Die zweite Ausführungsform ist so ausgebildet, dass, wenn ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild, ein Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammengefügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, das zusammengefügte Vogelperspektivenbild wie folgt erzeugt wird: Das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild werden in der zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten. In der dritten Ausführungsform wird ein zusammengefügtes Vogelperspektivenbild durch das folgende Verfahren erzeugt: Die Neigung eines geparkten Fahrzeugs oder eines Parkrahmens zu dem maßgeblichen Fahrzeug wird erfasst, ein Vogelperspektiven-Beifahrerseitenbild und ein Vogelperspektiven-Fahrerseitenbild werden in der zu der Neigung des geparkten Fahrzeugs oder dem Parkrahmen relativ zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten.
Das heißt, in einem Parkunterstützungssystem 31, ist eine CPU 32 (Vogelperspektivenbild-Erzeugungsmittel, Mittel zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, Steuerungsmittel und Neigungserfassungsmittel in der vorliegenden Erfindung) so aufgebaut, dass sie eine Bildanalysefunktion besitzt. In diesem Fall führt die CPU 32 eine Bildanalyse bezüglich dem Folgenden aus: Einem von einer Heckbild-Aufnahmekamera 3 aufgenommenen Heckbild, einem von einer Beifahrerseitenbild-Aufnahmekamera 23 aufgenommenen rechten Seitenbild, einem von einer Fahrerseitenbild-Aufnahmekamera 24 aufgenommenen linken Seitenbild, einem durch Umwandeln eines Heckbildes in eine Vogelperspektivenansicht gewonnenen Vogelperspektiven-Heckbild, einem durch Umwandeln eines rechten Seitenbildes in eine Vogelperspektivenansicht gewonnenen rechten Vogelperspektivenbild und einem durch Umwandeln eines aufgenommenen linken Seitenbildes in eine Vogelperspektivenansicht gewonnenen linken Vogelperspektivenbild. Die CPU führt diese Bildanalyse entsprechend einem vorbestimmten Bildanalysealgorithmus aus und erfasst die Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug. Wenn die CPU 32 anschließend das Vogelperspektiven-Heckbild, das Vogelperspektiven-Beifahrerseitenbild, das Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, führt sie die folgende Operation aus: Sie schneidet das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild in der zu der Neigung des geparkten Fahrzeugs oder des Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung aus und erzeugt ein zusammengefügtes Vogelperspektivenbild.
Wenn das maßgebliche Fahrzeug in der Parkposition stoppt, bewirkt die CPU 32, dass der Tastfeldmonitor 9 das in 14 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor das Folgende, zusammen mit einer Grafik des maßgeblichen Fahrzeug, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt: Ein zusammengefügtes Vogelperspektivenbild, das durch Zusammenfügen von einer Mehrzahl von Vogelperspektiven-Heckbildern, einer Mehrzahl von rechten Vogelperspektiven-Seitenbildern und einer Mehrzahl von linken Vogelperspektiven-Seitenbildern gewonnen wird, die aufgenommen wurden, während sich das Fahrzeug vorwärts bewegt hat. Ferner erzeugt die CPU 32 in diesem Fall ein zusammengefügtes Vogelperspektivenbild, so dass an einem Punkt, wo ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Beifahrerseitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. In dem Beispiel eines in 14 dargestellten Anzeigebildes werden Parkrahmen erfasst und angezeigt.
Wie es bis zu diesem Punkt beschrieben ist, ist die dritte Ausführungsform so ausgebildet, dass die nachfolgende Operation in dem Parkunterstützungssystem 31 ausgeführt wird: Wenn die Neigung eines geparkten Fahrzeugs oder eines maßgeblichen Fahrzeugs relativ zu dem maßgeblichen Fahrzeug erfasst wird und ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild, ein Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammenfügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, wird das zusammengefügte Vogelperspektivenbild wie folgt erzeugt: Das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild werden in der zu der Neigung des geparkten Fahrzeugs oder des Parkrahmens zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten. Dies ist in anderen Fällen als in Fällen vorteilhaft, in denen ein Anwender das maßgebliche Fahrzeug durch so genanntes Parallelparken parkt, oder zum Beispiel ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend vor oder hinter einem schon geparkten Fahrzeug parkt und dann in einem im Wesentlichen rechten Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken. Es ist zum Beispiel vorteilhaft, selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend schräg vor oder hinter einem schon geparkten Fahrzeug stoppt und dann einen stumpfen Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken (der Anwender parkt das Fahrzeug durch so genanntes Winkelparken). Es bringt die folgenden Vorteile: Der hinter einem geparkten Fahrzeug verdeckte Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz kann eingesehen werden, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.
(Weitere Ausführungsformen)
Die vorliegende Erfindung ist nicht auf die oben erwähnten Ausführungsformen begrenzt, und sie kann wie nachstehend beschrieben modifiziert und erweitert werden.
Bei der oben genannten Konstruktion wird die vorliegende Erfindung auf Fälle angewendet, wo ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken (Parallelparken). Die vorliegende Erfindung kann so ausgelegt sein, dass sie auf Fälle angewendet wird, wo ein Anwender das maßgebliche Fahrzeug neben einem Gebäude (Wohnhaus, Kaufhaus oder dergleichen) stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem Gebäude zu parken. Sie kann so ausgelegt sein, dass sie auf Fälle angewendet wird, wo kein geparktes Fahrzeug oder Gebäude vorhanden ist, das zu der Ausbildung eines toten Winkels führt, und ein Anwender einschlägt und zurücksetzt, um das maßgebliche Fahrzeug zu parken. Bei der oben erwähnten Auslegung wird die vorliegende Erfindung auf ein System angewendet, das das Einsehen des Bereichs hinter dem maßgeblichen Fahrzeug unterstützt. Sie kann so ausgelegt sein, dass sie auf ein System angewendet wird, die das Einsehen des Bereichs vor dem maßgeblichen Fahrzeug unterstützt.
Die Heckbild-Aufnahmekamera, die Beifahrerseitenbild-Aufnahmekamera und die Fahrerseitenbild-Aufnahmekamera können in anderen als den oben genannten Positionen eingebaut sein. Zum Beispiel können sie in der Umgebung des Stoßfängers eingebaut sein.

Claims

Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) zum Unterstützen eines Rückwärtseinparkens, mit: – einem Bildaufnahmemittel (3, 23, 24), das ein Bild von einem bestimmten, ein maßgebliches Fahrzeug umgebenden Bereich aufnimmt; – einem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32), das ein von dem Bildaufnahmemittel (3, 23, 24) aufgenommenes Aufnahmebild in eine Vogelperspektivenansicht umwandelt, um ein Vogelperspektivenbild zu erzeugen; – einem Zusammenfügungsmittel (2, 22, 32) zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, das eine Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) erzeugten Vogelperspektivenbildern zusammenfügt, um so ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und – einem Steuerungsmittel (2, 22, 32), das bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) eine Mehrzahl von von dem Bildaufnahmemittel (3, 23, 24) zu mehreren Zeitpunkten (T0–T2), während sich das maßgebliche Fahrzeug vorwärts bewegt, bevor es beginnt, sich rückwärts zu bewegen, aufgenommener Aufnahmebilder in eine Vogelperspektivenansicht umwandelt, um eine Mehrzahl von Vogelperspektivenbildern zu erzeugen, bewirkt, dass das Zusammenfügungsmittel (2, 22, 32) die Mehrzahl von Vogelperspektivenbildern zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und bewirkt, dass ein Anzeigemittel (9) dieses zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das eine Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach Anspruch 1, – wobei das Bildaufnahmemittel (3, 23, 34) ein Bild eines Bereichs hinter dem maßgeblichen Fahrzeug aufnimmt; und – wobei das Steuerungsmittel (2, 22, 32) bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) eine Mehrzahl von aufgenommenen Heckbildern, die von dem Bildaufnahmemittel (3, 23, 24) zu mehreren Zeitpunkten (T0–T2), während sich das Fahrzeug vorwärts bewegt, aufgenommen wurden, umwandelt, um eine Mehrzahl von Vogelperspektiven-Heckbilder zu erzeugen, bewirkt, dass das Zusammenfügungsmittel (2, 22, 32) die Mehrzahl von Vogelperspektiven Heckbildern zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und bewirkt, dass das Anzeigemittel (9) das zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach Anspruch 1, – wobei das Bildaufnahmemittel (3, 23, 24) Bilder von Bereichen hinter dem maßgeblichen Fahrzeug und seitlich des maßgeblichen Fahrzeugs aufnimmt; und – wobei das Steuerungsmittel (2, 22, 32) bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) eine Mehrzahl von aufgenommenen Heckbildern und eine Mehrzahl von aufgenommenen Seitenbildern, die von dem Bildaufnahmemittel (3, 23, 24) zu mehreren Zeitpunkten (T0–T2), während sich das maßgebliche Fahrzeug vorwärts bewegt, aufgenommen wurden, in eine Vogelperspektivenansicht umwandelt, um eine Mehrzahl von Vogelperspektiven-Heckbildern und eine Mehrzahl von Vogelperspektiven-Seitenbildern zu erzeugen, bewirkt, dass das Zusammenfügungsmittel (2, 22, 32) die Mehrzahl der Vogelperspektivenbilder und die Mehrzahl der Vogelperspektiven-Seitenbildern zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und bewirkt, dass das Anzeigemittel (9) das zusammengefügte Vogelperspektivenbild, zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des maßgeblichen Fahrzeugs anzeigt, als Anzeigebild anzeigt.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach Anspruch 3, das ferner umfasst: – ein Neigungserfassungsmittel (32), das eine Mehrzahl von aufgenommenen Heckbildern und eine Mehrzahl von aufgenommenen Seitenbildern, die von dem Bildaufnahmemittel (3, 23, 24) zu mehreren Zeitpunkten (T0–T2) aufgenommen wurden, und eine Mehrzahl von Vogelperspektiven-Heckbildern und eine Mehrzahl von Vogelperspektiven-Seitenbildern, die von dem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) erzeugt wurden, einer Bildanalyse unterzieht, um eine Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug zu erfassen; – wobei das Zusammenfügungsmittel (2, 22, 32) die Mehrzahl von dem Vogelperspektivenbild-Erzeugungsmittel (2, 22, 32) erzeugten Vogelperspektiven-Seitenbildern in einer zu der von dem Neigungserfassungsmittel (32) erfassten Neigung des geparkten Fahrzeugs oder des Parkrahmens bezüglich des maßgeblichen Fahrzeugs im Wesentlichen parallelen Richtung zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach Anspruch 3 oder 4, – wobei das Zusammenfügungsmittel (2, 22, 32) ein zusammengefügtes Vogelperspektivenbild erzeugt, so dass ein Punkt, wo ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Seitenbild einander überlappen, das Vogelperspektiven-Seitenbild sichtbar ist.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach einem der Ansprüche 1 bis 5, – wobei, wenn erfasst wird, dass sich das maßgebliche Fahrzeugs vorwärts bewegt und in einer Parkstartposition stoppt, das Steuerungsmittel (2, 22, 32) bewirkt, dass das Anzeigemittel (9) ein zusammengefügtes Vogelperspektivenbild, das von dem Zusammenfügungsmittel (2, 22, 32) erzeugt wurde, zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des maßgeblichen Fahrzeugs anzeigt, als Anzeigebild anzeigt.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach einem der Ansprüche 1 bis 6, – wobei, wenn sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition stoppt und dann von einem Anwender eine Zielparkposition eingestellt wird, das Steuerungsmittel (2, 22, 32) einen Weg des maßgeblichen Fahrzeugs von der Parkstartposition zu der Parkposition auf der Grundlage eines von dem Zusammenfügungsmittel (2, 22, 32) erzeugten zusammengefügten Vogelperspektivenbild einstellt.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach einem der Ansprüche 1 bis 7, das ferner umfasst: – ein Bildspeichermittel (2, 22, 32, S5), das mindestens ein Bild, das von dem Bildaufnahmemittel (3, 23, 24) während einer Periode aufgenommen wird, während sich das maßgebliche Fahrzeug vorwärts bewegt, bevor es beginnt, sich rückwärts zu bewegen, wobei – das Steuerungsmittel (2, 22, 32) bewirkt, dass das Vogelperspektivenbild/-Erzeugungsmittel (2, 22, 32) (i) ein derzeitig von dem Bildaufnahmemittel (3, 23, 24) aufgenommenes Bild und (ii) das mindestens eine Bild, das in dem Bildspeichermittel (2, 22, 32, S5) gespeichert ist, umwandelt, um mehrere Vogelperspektivenbilder zu erzeugen, und bewirkt, dass das Zusammenfügungsmittel (2, 22, 32) die Mehrzahl der Vogelperspektivenbilder zusammenfügt, um das zusammengefügte Bild zu erzeugen.
Fahrzeugumgebung-Sichtunterstützungssystem (1, 21, 31) nach Anspruch 8, wobei die Periode, während der sich das Fahrzeug vorwärts bewegt, als eine Periode von dem Erfassen einer vorbestimmten Operation an bis zu dem Stoppen des maßgeblichen Fahrzeugs in einer Parkstartposition, bei der das Fahrzeug mit dem Parken durch den Rückwärtsfahrbetrieb beginnt, definiert ist.