DE102010043128B4

DE102010043128B4 - Überwachungsvorrichtung für die Fahrzeugumgebung und Verfahren zur Steuerung einer derartigen Überwachungsvorrichtung

Info

Publication number: DE102010043128B4
Application number: DE102010043128.1A
Authority: DE
Inventors: Bingchen Wang; Hideki Ootsuka
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2009-11-02
Filing date: 2010-10-29
Publication date: 2021-03-18
Anticipated expiration: 2030-10-30
Also published as: JP5035321B2; DE102010043128A1; US20110106380A1; JP2011093495A

Abstract

Überwachungsvorrichtung für die Fahrzeugumgebung zur Unterstützung des Vorwärtseinparkens eines Fahrzeugs (10), aufweisend:einen Bildanzeigesteuerabschnitt (S170), der konfiguriert ist, ein Blickbild basierend auf einem Aufnahmebild herzustellen, das von einer Kamera (1-4) zur Aufnahme einer Umgebung des Fahrzeugs (10) aufgenommen wird, wobei der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, das Blickbild auf einer Anzeigevorrichtung (5) in dem Fahrzeug (10) darzustellen; undeinen Leitlinienüberlagerungsabschnitt (S180), der konfiguriert ist, eine Leitlinie (21, 23-25) zur Unterstützung des Vorwärtseinparkens des Fahrzeugs (10) dem Blickbild zu überlagern, wobei die Leitlinie (21, 23-25) eine Vorderendeleitlinie (21) enthält, wobei diese Vorderendeleitlinie (21) eine gerade Linie ist, die sich von einer ersten Position (19) zu einer zweiten Position (20) erstreckt, wobei die erste Position (19) eine Position ist, die erhalten wird durch Drehverschiebung einer Position eines im Drehsinn äußeren Vorderendes (17) des Fahrzeugs (10) um 90 Grad um einen Drehmittelpunkt (15) des Fahrzeugs (10) und die zweite Position (20) in einem Abstand entsprechend einer Breite (W) des Fahrzeugs (10) von der ersten Position (19) aus in Richtung senkrecht zu einer Vorwärts/Rückwärts-Richtung des Fahrzeugs (10) nach der Drehverschiebung liegt.

Description

Die vorliegende Erfindung betrifft eine Überwachungsvorrichtung für die Fahrzeugumgebung, sowie ein Verfahren zur Steuerung einer derartigen Überwachungsvorrichtung und ein Programmprodukt zur Durchführung des Verfahrens.
Ein Beispiel eines Verfahrens zur Darstellung von Leitlinien bei einem Parkassistenten oder in einem Rückwärtsfahrtbild, wenn sich ein Fahrzeug rückwärts bewegt, ist in der JP S64-14700 A beschrieben.
Die US 6 463 363 B1 (entsprechend der JP 2000-339598 A ) beschreibt ein Verfahren, bei dem Spuren eines Minimumrotationsabschnitts und eines Maximumrotationsabschnitts eines Fahrzeugs als Leitlinien zum Verhindern eines Kontakts mit einem Hindernis abgeschätzt werden, wobei die abgeschätzten Spuren in einem Vorwärtsbild (Bild in Vorwärtsrichtung des Fahrzeugs aufgenommen) dargestellt werden.
Die Leitlinien zu dem Zeitpunkt, zu dem sich das Fahrzeug vorwärts bewegt, wie in der US 6 463 363 B1 beschrieben, sind als Leitlinien für einen Vorwärtsparkassistenten (Einparkunterstützung in Vorwärtsrichtung) nicht geeignet. Der Grund hierfür sei nachfolgend unter Bezugnahme auf die beigefügten 12 bis 14 beschrieben. Wenn sich ein Fahrzeug 50 mit geringer Geschwindigkeit und einem konstanten Lenkwinkel vorwärts oder rückwärts bewegt, dreht das Fahrzeug 50, wenn Reifenschlupf ignoriert wird, um einen Drehmittelpunkt 52, der auf einer Hinterachse 51 (in Verlängerung hiervon) liegt. Im vorliegenden Fall ist eine Maximumrotationsspur 54 ein Kreis, der einen Radius von einem äußeren vorderen Ende 53 zu dem Drehmittelpunkt 52 hat und eine Minimumrotationsspur 56 ist ein Kreis, der einen Radius vom Drehmittelpunkt 52 zu einem inneren Hinterrad 55 hat. Das Fahrzeug bewegt sich in einem Bereich zwischen der Maximumrotationsspur 54 und der Minimumrotationsspur 56.
Die Spuren 54 und 56 sind als Leitlinien für einen Rückwärtsparkassistenten (Parkunterstützung im Rückwärtsgang) geeignet. Jedoch sind die Spuren 54 und 56 nicht als Leitlinien für einen Vorwärtsparkassistenten geeignet. Dies deshalb, als ein Fahrer versucht, das Fahrzeug 50 basierend auf einer Lagebeziehung zwischen Positionen linker und rechter Hinterräder und den Leitlinien einzuparken, wenn sich das Fahrzeug 50 rückwärts bewegt, wohingegen ein Fahrer versucht, das Fahrzeug 50 basierend auf einer Lagebeziehung zwischen Positionen linker und rechter Vorderräder und der Leitlinien einzuparken, wenn sich das Fahrzeug 50 vorwärts bewegt.
Genauer gesagt, wenn sich das Fahrzeug 50 rückwärts in eine Parkbucht 59 bewegt, wie in 13 gezeigt, versucht der Fahrer, die Bewegung des Fahrzeugs so zu steuern, dass das innere Hinterrad 55 und ein äußeres Hinterrad 58 sich entlang der Maximumrotationsspur 54 und Minimumrotationsspur 56 bewegen. Da die Lagebeziehung zwischen innerem Hinterrad 55 und äußeren Hinterrad 58 ein Strahl („radiate“) vom Drehmittelpunkt 52 der Maximumrotationsspur 54 und der Minimumrotationsspur 56 ist, ist es für den Fahrer möglich, die Lagebeziehung zwischen dem inneren Hinterrad 55 und dem äußeren Hinterrad 57 intuitiv zu erfassen. Somit kann der Fahrer auch intuitiv begreifen, wie er die Lagebeziehung zwischen dem inneren Hinterrad 55 und dem äußeren Hinterrad 57 basierend auf der Maximumrotationsspur 54 und der Minimumrotationsspur 56 zu steuern hat.
Wenn sich gemäß 14 das Fahrzeug 50 vorwärts in eine Parkbucht 59 bewegt, versucht der Fahrer, die Bewegung des Fahrzeugs 50 so zu beeinflussen, dass ein inneres Vorderrad 60 und ein äußeres Vorderrad 61 sich entlang der Maximumrotationsspur 54 und der Minimumrotationsspur 56 bewegen. Die Lagebeziehung zwischen dem inneren Vorderrad 60 und dem äußeren Vorderrad 61 ist kein Strahl vom Drehmittelpunkt 52 der Maximumrotationsspur 54 und der Minimumrotationsspur 56. Dies deshalb, als die Maximumrotationsspur 54 und die Minimumrotationsspur 56 so gezogen sind, dass der Drehmittelpunkt 52 sich auf der Achse des inneren Hinterrads 55 und des äußeren Hinterrads 58 (jeweils auf einer Verlängerung hiervon) befindet. Es liegt ein Unterschied zwischen einer Richtung 62 vom Drehmittelpunkt 52 zum inneren Vorderrad 60 und einer Richtung 63 vom Drehmittelpunkt 52 zum äußeren Vorderrad 61 vor und diese Differenz oder dieser Unterschied verursacht eine Lage- oder Positionsdifferenz auf Umfängen der Maximumrotationsspur 54 und der Minimumrotationsspur 56. Da auf diese Weise eine bevorzugte Lagebeziehung zwischen dem inneren Vorderrad 60 und dem äußeren Vorderrad 61 zu jedem Zeitpunkt kein Strahl vom Drehmittelpunkt 52 aus ist, ist es für den Fahrer schwieriger, intuitiv die Lagebeziehung zu erfassen. Selbst wenn daher der Fahrer die Maximumrotationsspur 54 und die Minimumrotationsspur 56 sieht, kann der Fahrer nicht ohne weiteres erfassen, wie er die Positionen des inneren Vorderrads 60 und des äußeren Vorderrads 61 entlang der Maximumrotationsspur 54 und der Minimumrotationsspur 56 zu steuern hat.
Weiterer relevanter Stand der Technik ist bekannt aus der DE 10 2007 016 055 A1 .
Angesichts der voran stehenden Probleme ist es Aufgabe der vorliegenden Erfindung, eine Überwachungsvorrichtung für die Fahrzeugumgebung (Umgebung eines Fahrzeugs), sowie eine Vorrichtung zur Steuerung oder zum Betreiben einer derartigen Überwachungsvorrichtung zu schaffen, damit eine geeignete oder passende Leitlinie beim Vorwärtseinparken erzeugbar/darstellbar ist. Ferner ist es Aufgabe der vorliegenden Erfindung, ein entsprechendes Programmprodukt zur Durchführung des Verfahrens bereitzustellen.
Die Lösung der Aufgabe erfolgt durch die Merkmale der Ansprüche 1, 15 oder 16.
Darüber hinaus wird eine entsprechende Überwachungsvorrichtung bzw. ein entsprechendes Verfahren beschrieben, damit Anzeigebilder derart darstellbar sind, dass ein Fahrzeuginsasse ein leicht erfassbares Gesamtbild zur Verfügung gestellt bekommt.
Gemäß einem ersten Aspekt der vorliegenden Erfindung weist eine Überwachungsvorrichtung für die Fahrzeugumgebung zur Unterstützung eines Vorwärtseinparkens eines Fahrzeugs einen Bildanzeigesteuerabschnitt und einen Leitlinienüberlagerungsabschnitt auf. Der Bildanzeigesteuerabschnitt ist in der Lage, ein betrachtbares Bild zu erzeugen, das auf einem aufgenommenen Bild basiert, welches von einer Kamera zur Aufnahme der Umgebung des Fahrzeuges aufgenommen wird. Der Bildanzeigesteuerabschnitt kann das betrachtbare Bild oder Übersichtsbild auf einer Anzeigevorrichtung darstellen, die sich im Fahrzeug befindet. Der Leitlinienüberlagerungsabschnitt ist in der Lage, dem Übersichtsbild eine Leitlinie zu überlagern, um das Vorwärtseinparken des Fahrzeugs zu unterstützen. Die Leitlinie enthält eine Vorderendeleitlinie. Die Vorderendeleitlinie ist eine gerade Linie, die sich von einer ersten Position zu einer zweiten Position erstreckt. Die erste Position ist hierbei eine Position, die erhalten wird durch eine Drehverschiebung eines im Drehsinn äußeren Vorderendes des Fahrzeugs um 90 Grad um einen Drehmittelpunkt des Fahrzeugs. Die zweite Position liegt in Breitenrichtung des (noch nicht eingeparkten) Fahrzeuges beabstandet zur ersten Position in Richtung hinten in einer Vorne/Hinten- oder Vorwärts-/Rückwärtsrichtung des (später eingeparkten oder einparkenden) Fahrzeugs.
Die Vorderendeleitlinie entspricht einer Position eines Vorderendes des Fahrzeugs zu einem Zeitpunkt, zu dem sich das Fahrzeug vorwärts bewegt, wobei ein Lenkwinkel beibehalten wird und eine Ausrichtung des Fahrzeugs um 90 Grad um den Drehmittelpunkt ausgehend von der momentanen Ausrichtung gedreht wird. Da die Überwachungsvorrichtung für die Fahrzeugumgebung gemäß dem ersten Aspekt die Vorderendeleitlinie dem Übersichtsbild überlagert, kann ein Fahrer problemlos eine Position erfassen, an der begonnen werden muss, das Fahrzeug mit dem Lenkwinkel in Vorwärtsrichtung zu bewegen, um das Fahrzeug in eine Parkbucht zu bewegen, indem eine Lagebeziehung zwischen der Parkbucht und der Vorderendeleitlinie überwacht wird.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung weist eine Überwachungsvorrichtung für die Fahrzeugumgebung einen Bildanzeigesteuerabschnitt auf. Der Bildanzeigesteuerabschnitt ist in der Lage, ein Linksblickbild basierend auf einem seitlich aufgenommenen Bild einer Seitenkamera zur Aufnahme im linken Bereich des Fahrzeugs zu machen, sowie ein Rechtsblickbild basierend auf einem seitlich aufgenommenen Bild von einer Seitenkamera zur Aufnahme eines rechten Bereichs des Fahrzeugs und ein Draufsichtbild, das vom Fahrzeug herab aufgenommen wird. Der Bildanzeigesteuerabschnitt ist in der Lage, das Linksblickbild, das Draufsichtbild und das Rechtsblickbild gleichzeitig auf einer Anzeigevorrichtung in dem Fahrzeug darzustellen. Das Linksblickbild wird in einem ersten Anzeigeabschnitt dargestellt, das Draufsichtbild in einem zweiten Anzeigeabschnitt und das Rechtsblickbild in einem dritten Anzeigeabschnitt. Das Flächenverhältnis von erstem Anzeigeabschnitt, zweitem Anzeigeabschnitt und drittem Anzeigeabschnitt ist variabel.
Bei der Überwachungsvorrichtung für die Fahrzeugumgebung gemäß dem zweiten Aspekt sind das Linksblickbild (linke Übersichtsbild), das Rechtsblickbild (rechte Übersichtsbild) und das Draufsichtbild gleichzeitig darstellbar. Somit kann ein Insasse problemlos das gesamte Bild sehen. Da weiterhin die Flächenverhältnisse der Anzeigeabschnitte variabel sind, können die Übersichtsbilder flexibel an die jeweilige Situation angepasst dargestellt werden.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird bei einem Verfahren zur Steuerung einer Überwachungsvorrichtung für die Fahrzeugumgebung, welche ein Vorwärtseinparken eines Fahrzeugs unterstützt, ein Blick- oder Übersichtsbild basierend auf einem Bild gemacht, das von einer Kamera zur Aufnahme einer Fahrzeugumgebung gemacht wird, wobei das Übersichtsbild auf einer Anzeigevorrichtung in dem Fahrzeug dargestellt wird und eine Leitlinie zur Unterstützung des Vorwärtseinparkens des Fahrzeugs wird dem Übersichtsbild überlagert. Die Leitlinie enthält eine Vorderendeleitlinie. Die Vorderendeleitlinie ist eine gerade Linie, die sich von einer ersten Position zu einer zweiten Position erstreckt. Die erste Position ist eine Position, die erhalten wird durch eine Drehverschiebung einer Position eines im Drehsinn äußeren Vorderendes des Fahrzeugs um 90 Grad um einen Drehmittelpunkt des Fahrzeugs. Die zweite Position liegt in Breitenrichtung des Fahrzeugs beabstandet von der ersten Position in Richtung Hinter- oder Rückseite in Vorwärts/Rückwärts-Richtung des Fahrzeugs.
Die Vorderendeleitlinie entspricht einer Position eines Vorderendes des Fahrzeugs zu einem Zeitpunkt, zu dem sich das Fahrzeug vorwärts bewegt, wobei ein Lenkwinkel beibehalten wird und eine Ausrichtung des Fahrzeugs um 90 Grad um den Drehmittelpunkt ausgehend von der momentanen Ausrichtung gedreht wird. Bei dem Verfahren gemäß dem dritten Aspekt wird die Vorderendeleitlinie dem Übersichtbild überlagert. Somit kann ein Fahrer problemlos die Position erfassen, wo begonnen werden muss, das Fahrzeug mit dem Lenkwinkel vorwärts zu bewegen, um das Fahrzeug in eine Parkbucht zu bewegen, indem eine Lagebeziehung zwischen der Parkbucht und der Vorderendeleitlinie beobachtet wird.
Das Verfahren gemäß dem dritten Aspekt kann in Anweisungen eines Programmprodukts enthalten sein, welches in einem computerlesbaren Speichermedium abgespeichert ist, um von einem Computer durchgeführt zu werden.
Gemäß einem vierten Aspekt, welcher nicht den Gegenstand der vorliegenden Erfindung betrifft sondern lediglich deren Erläuterung dient, wird beim Verfahren zur Steuerung der Fahrzeugumgebungsüberwachungsvorrichtung ein Linksblickbild (linkes Übersichtsbild) basierend auf einem seitlich aufgenommenen Bild von einer Seitenkamera zur Aufnahme einer linken Seite des Fahrzeugs gemacht, ein Rechtsblickbild (rechtes Übersichtsbild) wird basierend auf einem seitlich aufgenommenen Bild von einer Seitenkamera zur Aufnahme einer rechten Seite des Fahrzeugs gemacht, ein Draufsichtsbild von oberhalb des Fahrzeugs aus wird gemacht und das linke Übersichtsbild, das rechte Übersichtsbild und das Draufsichtsbild werden gleichzeitig auf einer Anzeigevorrichtung im Fahrzeug dargestellt. Das linke Übersichtsbild wird in einem ersten Anzeigeabschnitt dargestellt, das Draufsichtsbild wird in einem zweiten Anzeigeabschnitt dargestellt und das rechte Übersichtsbild in einem dritten Anzeigeabschnitt. Das Flächenverhältnis von erstem Anzeigeabschnitt, zweitem Anzeigeabschnitt und drittem Anzeigeabschnitt ist variabel.
Beim Verfahren gemäß dem vierten Aspekt werden das Linksblickbild, das Rechtsblickbild und das Draufsichtbild gleichzeitig dargestellt. Somit kann ein Insasse problemlos die gesamten Bilder betrachten. Da weiterhin das Flächenverhältnis der Anzeigeabschnitte variabel ist, können die Übersichtsbilder flexibel an die Situation angepasst dargestellt werden.
Das Verfahren gemäß dem dritten Aspekt kann in Anweisungen eines Programmprodukts enthalten sein, das in einem computerlesbaren Speichermedium zur Durchführung durch einen Computer gespeichert ist.
Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden detaillierten Beschreibung bevorzugter Ausführungsformen in Zusammenschau mit der beigefügten Zeichnung.
Es zeigt:

1 ein Blockdiagramm eines Unterstützungssystems für das Vorwärtseinparken (Parkassistent) gemäß einer Ausführungsform der vorliegenden Erfindung;
2 eine Darstellung, in der Einbaupositionen einer Frontkamera, Heckkamera, rechten Kamera, linken Kamera und Anzeigevorrichtung an bzw. in einem Fahrzeug gezeigt sind;
3 ein Flussdiagramm, welches einen Vorwärtseinparkunterstützungsprozess zeigt, der von einer Bildsynthetisierungs-ECU durchgeführt wird;
4 eine schematische Darstellung eines Beispiels der Positionierung eines Fahrzeugs, wenn eine Vorwärtseinparkunterstützung begonnen wird;
5 eine 4 entsprechende Darstellung mit der Minimumrotationsspur und der Maximumrotationsspur;
6 eine 4 entsprechende Darstellung zur Veranschaulichung einer Vorderendeleitlinie, einer Seitenleitlinie und Spurleitlinien;
7 eine 4 entsprechende Darstellung einer Beziehung zwischen der Vorderendeleitlinie der Seitenleitlinie und einer virtuellen Position des Fahrzeugs;
8 eine schematische Darstellung von linkem Anzeigeabschnitt, Draufsichtanzeigeabschnitt und rechtem Anzeigeabschnitt;
9 eine Darstellung eines Beispiels von linkem Übersichtsbild, Draufsichtsbild und rechtem Übersichtsbild;
10 eine Darstellung von Vorderendeleitlinie, Seitenleitlinie und Spurleitlinien, die einem Frontübersichtsbild überlagert sind;
11 die Darstellung von Vorderendeleitlinie, Seitenleitlinie und Spurleitlinien, welche einem linken Übersichtsbild überlagert sind, welche ohne Extraktion einem links aufgenommenen Bild überlagert sind;
12 eine Darstellung von maximaler Rotationsspur und minimaler Rotationsspur eines Fahrzeugs beim Stand der Technik;
13 eine Darstellung einer Bewegung des Fahrzeugs beim Rückwärtseinparken; und
14 eine Darstellung der Bewegung eines Fahrzeugs beim Vorwärtseinparken.

Ein Vorwärtseinparkunterstützungssystem 100 gemäß eines Ausführungsbeispiels der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die 1 und 2 beschrieben. Das Vorwärtseinparkunterstützungssystem 100 ist in einem Fahrzeug 10 eingebaut. Das Vorwärtseinparkunterstützungssystem 100 umfasst eine hintere Kamera oder Heckkamera 1, eine vordere Kamera oder Frontkamera 2, eine rechte Kamera 3, eine linke Kamera 4, eine Anzeigevorrichtung 5, ein Bedienteil 6, ein Navigationssystem 7, ein Fahrzeuginformationsausgabeteil 8 und eine Bildsynthetisierungs-ECU 9. In der nachfolgenden Beschreibung ist mit den Richtungsangaben oben, unten, rechts, links, vorne und hinten jeweils oben, unten, rechts, links, vorne und hinten bezogen auf die Richtung des Fahrzeugs 10 gemeint, solange nicht anders angegeben.
Die Heckkamera 1 ist eine Weitwinkelkamera. Die Heckkamera 1 ist an dem Heckabschnitt des Fahrzeugs 10 angebracht. Die Heckkamera 1 nimmt wiederholt Bilder vom Heckbereich des Fahrzeugs 10 auf und liefert die aufgenommenen Bilder an die Bildsynthetisierungs-ECU 9.
Die Frontkamera 2 ist ebenfalls eine Weitwinkelkamera. Die Frontkamera 2 ist am vorderen Endabschnitt des Fahrzeugs 10 angebracht und nimmt wiederholt Bilder vom Frontbereich des Fahrzeugs 10 auf und liefert die aufgenommenen Bilder an die Bildsynthetisierungs-ECU 9.
Die rechte Kamera 3 ist an der rechten Seite des Fahrzeugs 10 angebracht. Beispielsweise kann die rechte Kamera 3 im unteren Endabschnitt eines rechten Außenspiegels eingebaut sein. Die rechte Kamera 3 nimmt wiederholt Bilder vom rechten Bereich des Fahrzeugs 10 auf und liefert die aufgenommenen Bilder an die Bildsynthetisierungs-ECU 9. Die rechte Kamera 3 ist eine Weitwinkelkamera, deren Aufnahmebereich von diagonal rechts vorne über rechts nach diagonal rechts hinten des Fahrzeugs 10 reicht.
Die linke Kamera 4 ist an der linken Seite des Fahrzeugs 10 angebracht. Beispielsweise befindet sich die linke Kamera 4 in einem unteren Endabschnitt des linken Außenspiegels. Die linke Kamera 4 nimmt wiederholt Bilder vom linken Bereich des Fahrzeugs 10 auf und liefert die aufgenommenen Bilder an die Bildsynthetisierungs-ECU 9. Die linke Kamera 4 ist ebenfalls eine Weitwinkelkamera, deren Aufnahmebereich von diagonal vome links über links nach diagonal hinten links des Fahrzeugs 10 reicht.
Die Anzeigevorrichtung 5 ist im Fahrzeug 10 angeordnet und zeigt Bilder für einen Insassen des Fahrzeugs 10. Die Anzeigevorrichtung 5 kann beispielsweise im Fahrzeuginnenraum mittig des Instrumentenbretts angeordnet sind.
Das Bedienteil 6 beinhaltet Bedienelemente, beispielsweise Schalter oder Knöpfe, welche vom Fahrzeuginsassen betätigbar sind. Das Bedienteil 6 gibt abhängig von den jeweiligen Bedienvorgängen ein Signal oder Signale an die Bildsynthetisierungs-ECU 9 aus.
Das Navigationssystem 7 stellt den momentanen Aufenthaltsort des Fahrzeugs 10 basierend auf einem Ausgang von einer Positionserkennungsvorrichtung, beispielsweise einem nicht gezeigten GPS-Empfänger fest und zeigt um den momentanen Aufenthaltsort herum ein Kartenbild an. Das Navigationssystem 7 berechnet auch eine optimale Route von dem momentanen Aufenthaltsort zu einem Ziel, das von einem Insassen eingegeben wurde und führt eine Routenführung entlang der berechneten Route durch. Das Navigationssystem 7 enthält Kartendaten, die zur Anzeige des Kartenbilds verwendet werden, sowie zur Berechnung der optimalen Route und der Durchführung der Routenführung. Die Kartendaten enthalten auch Orts- oder Lageinformationen von Parkmöglichkeiten. Wenn das Navigationssystem 7 ein Signal von der Bildsynthetisierungs-ECU 9 empfängt, welches den momentanen Aufenthaltsort abfragt, legt das Navigationssystem 7 den momentanen Aufenthaltsort fest und gibt das Festlegungsergebnis an die Bildsynthetisierungs-ECU 9 aus. Wenn das Navigationssystem 7 von der Bildsynthetisierungs-ECU 9 eine Anfrage empfängt, ob sich das Fahrzeug 10 in einer Parkmöglichkeit (Parkplatz, Parkhaus etc.) befindet, bestimmt das Navigationssystem 7 auf der Grundlage der Lageinformation von Parkplätzen in den Kartendaten und dem momentanen Aufenthaltsort des Fahrzeugs sehen, ob sich das Fahrzeug 10 in oder auf einem Parkplatz befindet und gibt ein Bestimmungsergebnis an die Bildsynthetisierungs-ECU 9 aus.
Das Fahrzeuginformationsausgabeteil 8 empfängt Informationen über den Betriebszustand des Fahrzeugs 10 von verschiedenen Sensoren im Fahrzeug 10 und gibt die empfangenen Informationen an die Bildsynthetisierungs-ECU 9 aus. Die Informationen umfassen beispielsweise Informationen über die Gangschaltung oder den Fahrzustand des Fahrzeugs 10, Informationen über Betriebszustände von Fahrtrichtungsanzeigern des Fahrzeugs 10, Informationen über eine Geschwindigkeit des Fahrzeugs 10 und Informationen über einen Lenkwinkel des Fahrzeugs 10. In der vorliegenden Beschreibung der Erfindung sei ein Lenkwinkel in einer Position, in der das Fahrzeug 10 geradeaus fährt, das heißt ein Geradeausfahr-Lenkwinkel als Lenkwinkel von 0 Grad definiert. In beiden Fällen, in denen ein Lenkrad nach rechts oder nach links gedreht wird, nimmt definitionsgemäß der Lenkwinkel einen positiven Wert an.
Die Bildsynthetisierungs-ECU 9 kann als eine Überwachungsvorrichtung für die Fahrzeugumgebung (Umgebungsüberwachungsvorrichtung) arbeiten. Die Bildsynthetisierungs-ECU 9 empfängt aufeinanderfolgend Heckaufnahmebilder von der Heckkamera 1, Frontaufnahmebilder von der Frontkamera 2, Rechtsaufnahmebilder von der rechten Kamera 3 und Linksaufnahmebilder von der linken Kamera 4. Jedes Mal, wenn die Bildsynthetisierungs-ECU 9 eine neue Gruppe aus Frontaufnahmebild, Rechtsaufnahmebild und Linksaufnahmebild empfängt, synthetisiert die Bildsynthetisierungs-ECU 9 diese drei Bilder und zeigt das synthetisierte Bild auf der Anzeigevorrichtung 5 an.
Die Bildsynthetisierungs-ECU 9 kann ein Mikrocomputer mit einer zentralen Verarbeitungseinheit (CPU), einem Speicher mit wahlfreiem Zugriff (RAM), einem Lesespeicher (ROM) und einem Flash-Memory sein. Die CPU führt ein im ROM gespeichertes Programm durch, um einen gewünschten Prozess abzuarbeiten. Während des Prozesses liest die CPU nach Bedarf Informationen vom RAM, ROM und Flash-Memory, speichert Informationen im Flash-Memory, empfängt Informationen von den Kameras 1 bis 4, dem Bedienteil 6, dem Navigationssystem 7 und dem Fahrzeuginformationsausgabeteil 8 und gibt Signale an die Anzeigevorrichtung 5 und das Navigationssystem 7 aus. Das ROM in der Bildsynthetisierungs-ECU 9 speichert verschiedene Informationen, einschließlich einer Breite W, einer Länge L und einem Radstand A des Fahrzeugs 10.
Das ROM in der Bildsynthetisierungs-ECU 9 speichert auch eine Karte, welche eine Entsprechungsbeziehung zwischen verschiedenen Lenkwinkeln und einem Rotationsradius (Kurvenradius) Ri eines inneren Hinterrads in einem Fall angibt, wo sich das Fahrzeug 10 mit geringer Geschwindigkeit vorwärts bewegt, wobei der Lenkwinkel beibehalten wird. Bei einer Rotation oder Kurvenfahrt nach rechts ist das innere Hinterrad das rechte Hinterrad. Bei einer Rotation oder Kurvenfahrt nach links ist das innere Hinterrad das linke Hinterrad.
Das ROM in der Bildsynthetisierungs-ECU 9 speichert auch eine Karte, welche eine entsprechende Beziehung zwischen verschiedenen Lenkwinkeln und einem Rotationsradius oder Kurvenradius Ro eines äußeren Vorderendes des Fahrzeugs 10 in einem Fall angibt, wo sich das Fahrzeug 10 mit geringer Geschwindigkeit unter Beibehaltung des Lenkwinkels vorwärts bewegt. Bei einer Rotation oder Kurvenfahrt nach rechts ist das äußere vordere Ende ein linkes Vorderende und umgekehrt ist bei einer Rotation oder Kurvenfahrt nach links das äußere vordere Ende ein rechtes Vorderende.
Ein Vorwärtseinparkunterstützungsprozess, der von der Bildsynthetisierungs-ECU 9 durchgeführt wird, wird nun unter Bezugnahme auf 3 beschrieben. Die Bildsynthetisierungs-ECU 9 wird aktiviert, wenn der Motor oder die Antriebsquelle des Fahrzeugs 10 aktiviert wird und die Bildsynthetisierungs-ECU 9 beginnt mit der Durchführung des Vorwärtseinparkunterstützungsprozesses.
Bei S105 bestimmt die Bildsynthetisierungs-ECU 9, ob mit einer Vorwärtseinparkunterstützung zu beginnen ist. Wenn die Bildsynthetisierungs-ECU 9 bestimmt, dass mit der Vorwärtseinparkunterstützung nicht zu beginnen ist, was NEIN bei S105 entspricht, wiederholt die Bildsynthetisierungs-ECU 9 die Bestimmung bei S105. Wenn die Bildsynthetisierungs-ECU 9 bestimmt, dass die Vorwärtseinparkunterstützung zu beginnen ist, was JA bei S105 entspricht, geht der Ablauf zu S110.
Die Bildsynthetisierungs-ECU 9 kann bestimmen, dass mit der Vorwärtseinparkunterstützung zu beginnen ist, wenn beispielsweise ein Insasse einen Parkunterstützungsstartknopf in dem Bedienteil 6 drückt. Der Insasse kann diesen Parkunterstützungsstartknopf beispielsweise dann drücken, wenn das Fahrzeug 10 im rechten Winkel zu einer Einparkrichtung in einer Parkbucht zwischen Parklinien 11 und 12 steht, um das Fahrzeug 10 vorwärts zu bewegen und das Fahrzeug 10 in der Bucht zu parken (siehe 4).
In der vorliegenden Ausführungsform enthält das Bedienteil 6 einen Parkunterstützungsstartknopf für eine Drehung nach rechts und einen Parkunterstützungsstartknopf für eine Drehung nach links. Wenn einer der beiden Parkunterstützungsstartknöpfe gedrückt wird, bestimmt die Bildsynthetisierungs-ECU 9 bei S105, dass mit der Vorwärtseinparkunterstützung zu beginnen ist und geht zu S110.
In der nachfolgenden Beschreibung sei ein Fall erläutert, bei dem der Parkunterstützungsstartknopf für eine Drehung (ein Abbiegen) nach links betätigt wird; dies entspricht der Einparksituation von 4. Für den Fall, dass der Parkunterstützungsstartknopf für ein Einparken auf der rechten Seite gedrückt wird, sind die Richtungen in den jeweiligen Abläufen gemäß nachfolgender Beschreibung entsprechend umgekehrt.
Bei S110 berechnet die Bildsynthetisierungs-ECU 9 eine geschätzte Spur eines Minimumrotationsabschnitts, das heißt eines inneren Hinterrads 13 (5) und eine geschätzte Spur eines Maximumrotationsabschnitts, das heißt des äußeren Vorderendes 17 in einem Fall, wo sich das Fahrzeug 10 mit niedriger Geschwindigkeit vorwärts bewegt, wobei der Lenkwinkel einem Maximaleinschlag nach links entspricht. Die geschätzte Spur des inneren Hinterrads 13 ist als Minimumrotationsspur 16 bezeichnet. Die gesetzte Spur des äußeren Vorderendes 17 ist mit Maximumrotationsspur 18 bezeichnet.
Ein Drehmittelpunkt 15 der Minimumrotationsspur 16 und der Maximumrotationsspur 18 liegt auf einer Verlängerung der Achse zwischen innerem Hinterrad 13 und einem äußeren Hinterrad 14. Ein Abstand zwischen dem Drehmittelpunkt 15 und dem inneren Hinterrad 13 ist der innere Hinterradrotationsradius Ri für den Fall, dass der Lenkwinkel einem Maximaleinschlag nach links entspricht. Ein Abstand zwischen dem Drehmittelpunkt 15 und dem äußeren Vorderende 17 ist der äußere Vorderenderotationsradius Ro, für den Fall, dass der Lenkwinkel dem Maximaleinschlag nach links entspricht, die Bildsynthetisierungs-ECU 9 berechnet den inneren Hinterradrotationsradius Ri und den äußeren Vorderenderotationsradius Ro auf der Grundlage der im ROM gespeicherten Karte.
Die Lagen der Minimumrotationsspur 16 und der Maximumrotationsspur 18 werden als Koordinaten auf dem Boden in einem Koordinatensystem ausgedrückt, das am Fahrzeug 10 festgemacht ist. Mit anderen Worten, die Positionen von Minimumrotationsspur 16 und Maximumrotationsspur 18 werden als Relativpositionen zu dem Fahrzeug 10 berechnet. Die Lagen einer Vorderendeleitlinie, einer Seitenleitlinie und von Spurleitlinien gemäß nachfolgender Beschreibung werden ebenfalls als Relativpositionen zu dem Fahrzeug 10 berechnet.
Bei S120 berechnet die Bildsynthetisierungs-ECU 9 eine Vorderendeleitlinie 21. Um die Vorderendeleitlinie 21 zu berechnen, berechnet die Bildsynthetisierungs-ECU 9 eine Position 19 (6), die erhalten wird durch eine Drehverschiebung einer Position des äußeren Vorderendes 17 des Fahrzeugs 10 zu dem Zeitpunkt, zu dem der Prozess 110 durchgeführt wird, um 90 Grad entgegen Uhrzeigersinn um den Drehmittelpunkt 15. Die Position 19 entspricht einem Beispiel einer ersten Position. Dann berechnet die Bildsynthetisierungs-ECU 9 eine Position 20, die in einem Abstand der Breite W des Fahrzeugs 10 von der Position 19 in Richtung nach hinten in Vorwärts/RückwärtsRichtung des (noch nicht eingeparkten) Fahrzeugs 10 liegt. Die Breite W ist im ROM gespeichert. Die Position 20 entspricht dem Beispiel einer zweiten Position. Dann wird eine gerade Linie ausgehend von der Position 19 zur Position 20 als Vorderendeleitlinie 21 festgelegt.
In 7 wird die Vorderendeleitlinie 21 mit einer virtuellen Position 10a des Fahrzeugs 10 verglichen. Die virtuelle Position 10a ist eine Position des Fahrzeugs für den Fall, dass sich das Fahrzeug 10 mit niedriger Geschwindigkeit ausgehend von der vorliegenden Position in einem Zustand vorwärts bewegt, wo der Lenkwinkel dem Maximaleinschlag nach links entspricht und die Ausrichtung des Fahrzeugs 10 gegenüber der momentanen Ausrichtung um 90 Grad entgegen Uhrzeigersinn gedreht ist. Gemäß 7 wird die Vorderendeleitlinie 21 so berechnet, dass sie dem Vorderende des Fahrzeugs 10 in der virtuellen Position 10a entspricht.
Wenn die Vorderendeleitlinie 21 einem Insassen des Fahrzeugs 10 angezeigt wird, versteht der Insasse problemlos die Position des Vorderendes des Fahrzeugs 10 zu dem Zeitpunkt, zu dem sich das Fahrzeug mit niedriger Geschwindigkeit in einem Zustand vorwärts bewegt, in welchem der Lenkwinkel dem Maximaleinschlag nach links entspricht und die Ausrichtung des Fahrzeugs 10 um 90 Grad gegen Uhrzeigersinn gegenüber der momentanen Ausrichtung gedreht ist, das heißt, zu einem Zeitpunkt, zu dem die Seitenflanken des Fahrzeugs 10 parallel zu dem Parklinien 11 und 12 verlaufen.
Bei S130 berechnet die Bildsynthetisierungs-ECU 9 eine Seitenleitlinie 23. Um die Seitenleitlinie 23 zu berechnen, berechnet die Bildsynthetisierungs-ECU 9 eine Position 22, die in einem Abstand der Länge L des Fahrzeugs 10 ausgehend von der Position 20 an der rechten Seite des Fahrzeugs 10 entspricht. Mit anderen Worten, die Position 22 ist von der Position 20 um einen Betrag entsprechend der Länge L des Fahrzeugs 10 entfernt. Die Position 22 entspricht einem Beispiel einer dritten Position. Dann wird eine gerade Linie von der Position 20 zur Position 22 als Seitenleitlinie 23 festgelegt.
In 7 wird die Seitenleitlinie 23 mit der virtuellen Position 10a des Fahrzeugs 10 verglichen. Die Seitenleitlinie 23 entspricht der linken Fläche des Fahrzeugs 10 in der virtuellen Position 10a.
Wenn die Seitenleitlinie 23 einem Insassen des Fahrzeugs 10 anzeigt wird, kann der Insasse problemlos die Position der linken Seite seines Fahrzeugs zu dem Zeitpunkt erfassen, zu dem sich das Fahrzeug mit niedriger Geschwindigkeit in einem Zustand vorwärts bewegt, wo der Lenkwinkel maximal nach links ist und die Ausrichtung des Fahrzeugs 10 entgegen Uhrzeigersinn gegenüber der momentanen Ausrichtung um 90 Grad gedreht ist, das heißt, zu einem Zeitpunkt, zu dem die Seiten des Fahrzeugs 10 im Wesentlichen parallel zu den Parklinien 11 und 12 sind.
Bei S140 berechnet die Bildsynthetisierungs-ECU 9 die Spurleitlinien 24 und 25. Die Spurleitlinie 24 wird als ein Bogen berechnet, der sich von der momentanen Position des äußeren Vorderendes 17 zu der Position 19 entlang der Maximumrotationsspur 18 erstreckt. Die Spurleitlinie 24 entspricht einem Beispiel einer äußeren Rotationsspurleitlinie. Die Spurleitlinie 25 wird als ein Bogen berechnet, der sich von der momentanen Position des inneren Hinterrads 13 zu der Position 22 entlang der Minimumrotationsspur 16 erstreckt. Die Spurleitlinie 25 entspricht einem Beispiel einer inneren Rotationsspurleitlinie.
Die Spurleitlinien 24 und 25 werden als Linien geliefert, um zu bestätigen, ob sich ein Hindernis auf dem Weg befindet, wenn sich das Fahrzeug 10 vorwärts bewegt und nicht als Linien zum Bestätigen einer Lagebeziehung zwischen Parkbucht und Fahrzeug 10. Wenn sich ein Hindernis in dem Bereich befindet, der von den Spurleitlinien 24 und 25, der Vorderendeleitlinie 21 und der Seitenleitlinie 23 eingefasst wird und sich das Fahrzeug 10 mit niedriger Geschwindigkeit in einem Zustand vorwärts bewegt, wo der Lenkwinkel maximal nach links ist, kann das Fahrzeug 10 mit einem derartigen Hindernis zusammenstoßen.
Die Bildsynthetisierungs-ECU 9 wiederholt die Abläufe von S150 nach S180 beispielsweise mit einer Periode von 1/30 Sekunden, bis die Bildsynthetisierungs-ECU 9 bei S190 bestimmt, eine Überlagerungsanzeige zu beenden. Bei S150 empfängt die Bildsynthetisierungs-ECU 9 das Heckaufnahmebild, das Frontaufnahmebild, das Rechtsaufnahmebild und das Linksaufnahmebild von Heckkamera 1, Frontkamera 2, rechter Kamera 3 und linker Kamera 4. Nachdem die Bildsynthetisierungs-ECU 9 die aufgenommenen Bilder empfangen hat, geht der Ablauf zu S160.
Bei S160 bestimmt die Bildsynthetisierungs-ECU 9 ein Synthetisierungsverhältnis. Gemäß 8 ist das Synthetisierungsverhältnis ein Verhältnis einer Breite Wa eines linken Anzeigeabschnitts 31, einer Breite Wb eines oberen Anzeigeabschnitts 32 und einer Breite Wc eines rechten Anzeigeabschnitts 33 auf einem Bildschirm 30 der Anzeigevorrichtung 5. Im linken Anzeigeabschnitt 31 wird ein Bild entsprechend einem Blick nach links (Linksblickbild) dargestellt. In dem oberen Anzeigeabschnitt 32 wird ein Draufsichtbild dargestellt. In dem rechten Anzeigeabschnitt 33 wird ein Rechtsblickbild dargestellt. Da die Höhen der Anzeigeabschnitte 31-33 im Bildschirm 30 gleich sind, ist das Synthetisierungsverhältnis ein Flächenverhältnis der Anzeigeabschnitte 31-33, sowie ein Verhältnis der Breiten der Anzeigeabschnitte 31-33.
Das Linksblickbild wird hergestellt durch Extrahieren nur eines Abschnitts, der ein Bild nach diagonal vorne links enthält, aus dem Linksaufnahmebild und durch Behandeln des extrahierten Abschnitts beispielsweise mit einer Verzerrungskompensation. Das Rechtsblickbild wird gemacht durch Extrahieren nur eines Abschnitts, der ein Bild nach diagonal vorne rechts enthält aus dem Linksaufnahmebild und durch Behandeln des extrahierten Abschnitts beispielsweise mit einer Verzerrungskompensation. Das Draufsichtbild ist ein virtuelles Bild aus einer Vogelperspektive oberhalb des Fahrzeugs 10 und wird hergestellt basierend auf dem Heckaufnahmebild, dem Frontaufnahmebild, dem Linksaufnahmebild und dem Rechtsaufnahmebild, sowie einem Bild des Fahrzeugs 10, das im ROM gespeichert ist. In dem Draufsichtbild weist die Vorderseite des Fahrzeugs 10 im Bildschirm 30 nach oben.
Die Bildsynthetisierungs-ECU 9 bestimmt das Synthetisierungsverhältnis basierend auf dem Lenkwinkel zu dem Zeitpunkt, zu dem der Prozess bei S160 durchgeführt wird. Wenn der Lenkwinkel der Geradeausposition entspricht, ist die Breite Wa des linken Anzeigeabschnitts 31 gleich der Breite Wc des rechten Anzeigeabschnitts 33. Zu diesem Zeitpunkt kann die Breite Wb des Draufsichtabschnitts 32 optional bestimmt werden.
Wenn der Lenkwinkel aus der Geradeausposition nach links gedreht wird, nimmt ein Verhältnis Wa/Wc der Breite Wa des linken Anzeigeabschnitts 31 bezüglich der Breite Wc des rechten Anzeigeabschnitts 33 und ein Verhältnis Wa/Wb der Breite Wa des linken Anzeigeabschnitts 31 bezüglich der Breite Wb des Draufsichtanzeigeabschnitts 32 mit dem Lenkwinkel zu und das Verhältnis Wa/Wc ist größer als 1. Wenn das Lenkrad aus der geraden Position nach rechts gedreht wird, nimmt ein Verhältnis Wc/Wa der Breite Wc des rechten Anzeigeabschnitts 33 bezüglich der Breite Wa des linken Anzeigeabschnitts 31 und ein Verhältnis Wc/Wb der Breite Wc des rechten Anzeigeabschnitt 33 bezüglich der Breite Wb des Draufsichtabschnitts 32 mit dem Lenkwinkel 2 und das Verhältnis Wc/Wa ist größer als 1.
Die Breite Wb des Draufsichtanzeigeabschnitts 32 kann ungeachtet des Lenkwinkels konstant sein.
Bei S170 synthetisiert die Bildsynthetisierungs-ECU 9 Bilder basierend auf dem bei S160 bestimmten Synthetisierungsverhältnis. Das synthetisierte Bild wird auf dem Bildschirm 30 der Anzeigevorrichtung 5 dargestellt, wie in 9 gezeigt.
Durch Änderungen des Verhältnisses der Flächen oder Breiten der Anzeigeabschnitte 31 bis 33 basierend auf dem Fahrervorgang seitens des Fahrers kann die Bildsynthetisierungs-ECU 9 einen flexiblen Prozess durchführen, beispielsweise das Erweitern eines benötigten Abschnitts, wobei dies gemäß dem Fahrzustand erfolgt.
Insbesondere wird bei S170 das Linksabblickbild, das hergestellt wurde durch Behandeln des Linksaufnahmebilds mit der Extraktion und der Verzerrungskompensation im linken Anzeigeabschnitt 31 des Bildschirms 30 dargestellt. Ein linker Seitenabschnitt des Linksblickbilds wird abhängig von der Breite Wa des linken Anzeigeabschnittes 31 abgeschnitten. Mit anderen Worten, wenn die Breite Wa des linken Anzeigeabschnittes 31 abnimmt die Fläche des linksseitigen Abschnitts, die entfernt wird, zu.
Zusätzlich wird das Rechtsblickbild, das erstellt wurde durch Behandeln des Rechtsaufnahmebilds mittels Extraktion und Verzerrungskompensation im rechten Anzeigeabschnitt 33 des Bildschirms 30 dargestellt. Ein rechtsseitiger Abschnitt des Rechtsblickbilds wird abhängig von der Breite Wc des rechten Anzeigeabschnitts 33 abgeschnitten. Mit anderen Worten, wenn die Breite Wc des rechten Anzeigeabschnitts 33 abnimmt, nimmt die Fläche des rechtsseitigen Abschnitts, der gelöscht wird, zu.
Die Bildsynthetisierungs-ECU 9 behandelt das Heckaufnahmebild, das Frontaufnahmebild, das Linksaufnahmebild und das Rechtsaufnahmebild mit einer bekannten Blickpunktumwandlung zur Erstellung eines Vogelperspektivenbilds, das heißt eines Bilds, das einem Blick von oberhalb des Fahrzeugs 10 entspricht. Dann kombiniert die Bildsynthetisierungs-ECU 9 das umgewandelte Bild mit dem Bild des Fahrzeugs 10 aus dem ROM, um das Draufsichtbild zu machen. Das Draufsichtbild wird in dem Draufsichtanzeigeabschnitt 32 des Bildschirms 30 dargestellt. Ein Verfahren für eine Bildpunktumwandlung an einem Bild zur Erzeugung einer Vogelperspektive ist beispielsweise in der JP H04-163249 A beschrieben.
In dem Linksblickbild und dem Rechtsblickbild können Teile 41 und 42, die vom Außenumfang des Fahrzeugs 10 zwischen 10 und 30 cm beabstandet sind, überlagert werden. In dem Draufsichtbild kann eine leiterartige Linie 43 überlagert werden, um dem Fahrer ein Abstandsgefühl vorderhalb des Fahrzeugs 10 zu vermitteln. In einem rechten unteren Abschnitt des Anzeigeabschnitts 33 kann ein Bild 34 dargestellt werden, welches einen extrahierten Bereich 34a des Linksblickbilds und einem extrahierten Bereich 34b des Rechtsblickbilds angibt.
Das Linksblickbild, das Rechtsblickbild und das Draufsichtbild werden gleichzeitig auf den Bildschirm 30 dargestellt. Weiterhin werden das Linksblickbild, das Draufsichtbild und das Rechtsblickbild in dieser Reihenfolge von Links nach rechts angeordnet. Somit kann Insasse sämtliche Bilder problemlos überblicken.
Das Vorderende des Fahrzeugs 10 im Draufsichtbild liegt tiefer als ein rechtes Ende der Spurleitlinie 24, dass heißt einem Ende der Spurleitlinie 24 benachbart dem Draufsichtbild, sodass die Ausbalancierung in der Anzeige von Draufsichtbild und Linksblickbild für einen Insassen natürlich erscheint.
Bei S180 überlagert die Bildsynthetisierungs-ECU 9 die Leitlinien den Bildern, die bei S170 synthetisiert wurden und führt eine Anzeige auf der Anzeigevorrichtung 5 durch. Im vorliegenden Fall überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 aus den Schritten S120 bis S140 dem Linksblickbild im Bildschirm 30.
Die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 werden als Koordinaten auf dem Boden in dem am Fahrzeug 10 festgelegten Koordinatensystem berechnet. Wenn die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 den Linksblickbild überlagert werden, behandelt die Bildsynthetisierungs-ECU 9 Positionskoordinaten der Vorderendeleitlinie 21, den Seitenleitlinie 23 und der Spurleitlinien 24 und 25 auf dem Boden mit einer Inversionsumwandlung der Blickpunktumwandlung vom Linksaufnahmebild zum Draufsichtbild. Dann überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 dem Linksblickbild.
Bei S190 bestimmt die Bildsynthetisierungs-ECU 9, ob die Überlagerungsanzeige von Vorderendeleitlinie 21, Seitenleitlinie 23 und Spurleitlinien 24 und 25 zu beenden ist. Die Bildsynthetisierungs-ECU 9 kann die Beendigung der Überlagerungsanzeige beispielsweise dann bestimmen, wenn sich der Lenkwinkel aus einem Winkel abweichend von der geraden Position in die gerade Position ändert. Die Bildsynthetisierungs-ECU 9 kann die Beendigung der Überlagerungsanzeige auch dann bestimmen, wenn die Fahrposition des Fahrzeugs 10 die Parkposition ist, das heißt, wenn das Fahrzeug 10 anhält. Die Bildsynthetisierungs-ECU 9 kann die Beendigung der Überlagerungsanzeige auch dann bestimmen, wenn ein Zündschalter des Fahrzeugs 10 abgeschaltet wird. Die Bildsynthetisierungs-ECU 9 kann die Beendigung der Überlagerungsanzeige auch dann bestimmen, wenn die Ausrichtung des Fahrzeugs 10 um 90 Grad ausgehend von einer Ausrichtung gedreht wurde, die vorlag, als die Bildsynthetisierungs-ECU 9 den Ablauf bei S110 das letzte Mal durchgeführt hat, das heißt ausgehend von einer Ausrichtung zu dem Zeitpunkt, zu dem die Bildsynthetisierungs-ECU 9 die Überlagerungsanzeige begonnen hat. Wenn die Bildsynthetisierungs-ECU 9 das Ende der Überlagerungsanzeige bestimmt, was JA bei S190 entspricht, löscht die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 aus dem Linksblickbild. Dann beendet die Bildsynthetisierungs-ECU 9 den Vorwärtseinparkunterstützungsprozess gemäß 3. Wenn die Bildsynthetisierungs-ECU 9 bestimmt, dass die Überlagerungsanzeige nicht zu beenden ist, kehrt der Ablauf zu S150 zurück.
Auch nach dem die Bildsynthetisierungs-ECU 9 bestimmt hat, die Überlagerungsanzeige bei S190 zu beenden, kann die Bildsynthetisierungs-ECU 9 den Ablauf von S150 bis S170 wiederholen, um die Blickbilder auf dem Bildschirm 30 der Anzeigevorrichtung 5 anzuzeigen. Im vorliegenden Fall ist eine Zeit, zu der die Anzeige der Blickbilder endet, unterschiedlich zu einer Zeit, zu der die Überlagerungsanzeige der Leitlinien 21 und 23-35 endet.
Im vorliegenden Fall kann die Bildsynthetisierungs-ECU 9 bestimmen, die Überlagerungsanzeige bei S190 zu beenden, wenn eine bestimmte Zeit, zum Beispiel 5 Sekunden verstrichen ist, seit die Bildsynthetisierungs-ECU 9 den Ablauf bei S110 durchgeführt hat, das heißt, seit die Bildsynthetisierungs-ECU 9 die Überlagerungsanzeige begonnen hat.
Wie oben beschrieben betreibt, wenn ein Fahrer mit dem Vorwärtseinparken des Fahrzeugs 10 in eine Parkbucht beginnt, der Fahrer das Fahrzeug 10 derart, dass das Fahrzeug 10 sich der Parkbucht nähert und die Vorwärts/Rückwärts-Richtung des Fahrzeugs 10 bezüglich der Einparkrichtung der Parkbucht einen Winkel von im Wesentlichen 90 Grad einnimmt. Sodann drückt der Fahrer den Parkunterstützungsstartknopf für eine Drehung (Abbiegung) nach rechts oder den Parkunterstützungsstartknopf für eine Drehung oder ein Abbiegen nach links, abhängig von der Lage der Parkbucht bezüglich des Fahrzeugs 10. Wenn beispielsweise die Parkbucht auf der linken Seite des Fahrzeugs 10 liegt, trifft der Fahrer den Parkunterstützungsstartknopf für die Drehung oder das Abbiegen nach links.
Dann führt die Bildsynthetisierungs-ECU 9 den Vorwärtseinparkunterstützungsvorgang einmal von S110 nach S180 durch und die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinie 24 und 25 werden dem Linksblickbild gemäß 9 überlagert.
Wie oben beschrieben ist die Vorderendeleitlinie 21 die Position des Vorderendes des Fahrzeugs 10 zu einem Zeitpunkt, wenn sich das Fahrzeug 10 mit niedriger Geschwindigkeit in einem Zustand vorwärts bewegt, zu dem der Lenkwinkel maximal nach links eingeschlagen ist und die Ausrichtung des Fahrzeugs 10 im Gegenuhrzeigersinn aus der vorliegenden oder momentanen Ausrichtung heraus um 90 Grad drehverschoben ist. Somit kann der Fahrer bestimmen, ob das Fahrzeug 10 in der Bucht geeignet geparkt werden kann, wenn sich das Fahrzeug 10 mit dem maximalen Lenkwinkel vorwärts bewegt, indem die Lagebeziehung zwischen der Vorderendeleitlinie 21 und der Parkbucht abgeglichen wird, die auf dem Bildschirm 30 gezeigt werden.
Darauf bewegt der Fahrer das Fahrzeug 10 für eine Feinausrichtung geradeaus vorwärts oder rückwärts. Bis die Bildsynthetisierungs-ECU 9 bestimmt, dass die Überlagerungsanzeige bei S190 zu beenden ist, werden die Abläufe von S150 bis S180 wiederholt. Somit ändert sich abhängig von der Bewegung des Fahrzeugs 10 die Szenerie in dem Linksblickbild. Da die Relativlagen von Vorderendeleitlinie 21, Seitenleitlinie 23 und Spurleitlinien 24 und 25 bezüglich des Fahrzeugs 10 sich nicht ändern, ändern sich die Lagen von Vorderendeleitlinie 21, Seitenleitlinie 23 und Spurleitlinien 24 und 25 in dem Linksblickbild nicht. Somit ändert sich in dem Linksblickbild die Lage der Szenerie, in welcher Vorderendeleitlinie 21, Seitenleitlinie 23 und Spurleitlinien 24 und 25 eingeblendet oder überlagert sind, abhängig von der Bewegung des Fahrzeugs 10.
Der Fahrer stellt die Lage des Fahrzeugs 10 so ein, dass die Vorderendeleitlinie 21 in die Parkbucht eintritt. Der Fahrer kann auch die Seitenleitlinie 23 als Hilfslinie der Vorderendeleitlinie 21 verwenden, um die Lagebeziehung zwischen Fahrzeug 10 und Parklinie 21 zu überprüfen. Zusätzlich kann der Fahrer verifizieren, ob das Fahrzeug 10 in die Parkbucht geparkt werden kann, ohne hierbei ein Hindernis zu berühren, in dem festgestellt wird, ob sich ein Hindernis in einem Bereich befindet oder nicht, der von der Vorderendeleitlinie 21, der Seitenleitlinie 23 und den Spurleitlinie 24 und 25 begrenzt wird.
Wenn die Leitlinie 21 in die Parkbucht eintritt, dreht der Fahrer das Lenkrad maximal nach links und bewegt das Fahrzeug 10 mit niedriger Geschwindigkeit vorwärts. Während sich das Fahrzeug 10 vorwärts bewegt, sind die Vorderendeleitlinie 21 und die Seitenleitlinie 23 nutzlos. Wenn der Fahrer das Fahrzeug 10 in einem Zustand vorwärtsbewegt, wo der Lenkwinkel maximal Links ist, ohne die Vorderendeleitlinie 21 und die Seitenleitlinie 23 zu berücksichtigen, bewegt sich das Fahrzeug 10 automatisch in die virtuelle Position 10a gemäß 7. Danach stellt der Fahrer das Lenkrad und damit den Lenkwinkel in die Geradeaus-Position zurück und bewegt das Fahrzeug 10 geradeaus vorwärts, sodass das Fahrzeug 10 in die Parklücke fährt.
In einem Fall, wo die Bildsynthetisierungs-ECU 9 in der Lage ist, zu bestimmen, dass die Überlagerungsanzeige bei S190 zu beenden ist, wenn die bestimmte Zeit (z. B. 5 Sekunden) verstrichen ist, seit die Bildsynthetisierungs-ECU 9 mit der Überlagerungsanzeige begonnen hat, werden die Vorderedenleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 eine kurze Zeitlang dargestellt. Daher können die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 verschwinden, wenn der Fahrer die Position des Fahrzeugs 10 einstellt. In diesem Fall kann die Überlagerungsanzeige durch Drücken des Parkunterstützungsstartknopfes neu gestartet werden. Selbst wenn die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 verschwinden, unmittelbar nachdem die Einstellung der Position des Fahrzeugs 10 beendet ist, begeben sich keine Unannehmlichkeiten für den Fahrer, da alles, was er zu tun hat ist, dass Fahrzeug 10 mit niedriger Geschwindigkeit in einem Zustand vorwärts zu bewegen, wo der Lenkwinkel maximal nach links eingestellt ist.
Auf diese Weise überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie 21 und die Seitenleitlinie 23 in dem Sichtbild. Wenn somit das Fahrzeug 10 vorwärts eingeparkt wird, kann der Fahrer problemlos die Position erkennen, wo er zu beginnen hat, das Fahrzeug 10 mit maximalem Lenkwinkel vorwärts zu bewegen.
< andere Ausführungsformen>
Obgleich die vorliegende Erfindung im Zusammenhang mit einer bevorzugten Ausführungsform hiervon unter Bezugnahme auf die beigefügte Zeichnung vollständig beschrieben worden ist, sei festzuhalten, dass eine Vielzahl von Änderungen und Abwandlungen im Rahmen der vorliegenden Erfindung möglich ist.
Beispielsweise sind bei der obigen Ausführungsform die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 das Vorderende des Fahrzeugs 10 zu einem Zeitpunkt, zu dem die Ausrichtung des Fahrzeugs 10 um 90 Grad gedreht ist, die innen Seite des Fahrzeugs 10 zu einem Zeitpunkt, zu dem die Ausrichtung des Fahrzeugs 10 um 90 Grad gedreht ist der Maximumrotationsspur und der Minimumrotationsspur, wenn sich das Fahrzeug 10 mit dem maximalen Lenkwinkel nach links oder Rechts vorwärtsbewegt. Mit anderen Worten, in der obigen Ausführungsform sind die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 Leitlinien unter der Annahme, dass der Lenkwinkel maximal nach links oder Rechts weist.
Die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 können auch beispielsweise auf der Grundlage des Lenkwinkels zum aktuellen Zeitpunkt berechnet werden. In diesem Fall kann der Vorwärtseinparkunterstützungsablauf gemäß 3 nach S110 an Stelle nach S150 zurückspringen, wenn Bildsynthetisierungs-ECU 9 bestimmt, dass bei S190 die Überlagerungsanzeige nicht zu enden hat. In einem solchen Fall ändert sich die Positionen der Vorderendeleitlinie 21, der Seitenleitlinie 23 und Spurleitlinien 24 und 25 in dem Linksblickbild oder dem Rechtsblickbild abhängig von einer Änderung des Lenkwinkels durch Lenkbewegungen seitens des Fahrers.
Durch Ändern des Lenkwinkels ohne hierbei das Fahrzeug 10 zu bewegen kann in diesem Fall die Vorderendeleitlinie 21 in die Parkbucht „gesteuert“ werden und die Seitenleitlinie 23 kann parallel zur Parkrichtung in der Bucht gemacht werden.
Zu dem Zeitpunkt, zu dem die Vorderendeleitlinie 21 in die Parkbucht eintritt und die Seitenleitlinie 23 parallel zur Parkrichtung der Parkbucht ist, bewegt der Fahrer das Fahrzeug 10 unter Beibehaltung des Lenkwinkels mit langsamer Geschwindigkeit vorwärts.
Das Fahrzeug 10 bewegt sich hierdurch automatisch in die virtuelle Position 10a. - Danach stellt der Fahrer den Lenkwinkel in die Geradeaus-Position zurück und bewegt das Fahrzeug 10 geradeaus vorwärts, sodass das Fahrzeug 10 in die Parkbucht fährt.
Die Vorderendlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 in dem linken Sichtbild oder dem rechten Sichtbild können auch gegenüber dem Boden an Stelle gegenüber dem Fahrzeug 10 festgelegt werden, nach dem der Fahrer einen Feststellknopf betätigt hat. Nachdem der Feststellknopf gedrückt worden ist, berechnet die Bildsynthetisierungs-ECU 9 sequenziell eine Fahrstrecke und einen Betrag einer Positionsänderung basierend auf einem fahrzeugseitigen Sensor einschließlich eines Gyrosensors, eines Beschleunigungssensors, eines Gierratensensors und eines Geschwindigkeitssensors. Dann berechnet die Bildsynthetisierungs-ECU 9 die Relativpositionen der Leitlinien 21 und 23 bis 25 bezüglich des Fahrzeugs 10 basierend auf der berechneten Fahrstrecke und dem berechneten Betrag der Positionsänderung unter der Annahme, dass die Leitlinien 21 und 23 bis 25 gegenüber dem Boden ortsfest sind erneut. Dann werden die Leitlinien 21 und 23 bis 25 dem Linksblickbild oder Rechtsblickbild überlagert.
Zu dem Zeitpunkt, zu dem die Vorderendeleitlinie 21 in die Parkbucht eintritt, nachdem der Parkunterstützungsstartknopf gedrückt worden ist, drückt der Fahrer den Festlegknopf. Dann dreht der Fahrer das Lenkrad maximal nach links oder Rechts und bewegt das Fahrzeug 10 mit geringer Geschwindigkeit vorwärts. In dem Linksblickbild oder Rechtsblickbild ändern sich die Positionen der Vorderdendeleitlinie 21 und der Seitenleitlinie 23 gegenüber dem Boden. Selbst wenn sich daher das Fahrzeug 10 vorwärtsbewegt, können die Vorderendeleitlinie 21 und die Seitenleitlinie 23 sinnvoll sein. In obiger Ausführungsform enthält das Bedienteil 6 den Parkunterstützungsstartknopf für eine Drehung nach links und den Parkunterstützungsstartknopf für eine Drehung nach rechts. Das Bedienteil 6 kann aber auch nur einen Parkunterstützungsparkknopf aufweisen. In diesem Fall kann die Bildsynthetisierungs-ECU 9 einen der nachfolgenden Prozesse A bis C in den Abläufen S110-S140 und S180 durchführen, nachdem bei S105 der Parkunterstützungsstartknopf gedrückt wurde.
Im Prozess A werden Leitlinien für eine Drehung nach rechts und Leitlinien für Drehung nach links überlagert. Mit anderen Worten, bei S110-S140 berechnet die Bildsynthetisierungs-ECU 9 die geschätzten Spuren, die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien sowohl für rechte als auch linke Drehung. Dann überlagert bei S180 die Bildsyntetisierungs-ECU 9 die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien für eine Drehung nach rechts in das Rechtsblickbild und überlagert die Vorderendeleitlinie, die Seitenendeleitlinie und die Spurleitlinien für eine Drehung nach links auf das Linksblickbild.
In dem Prozess B werden aus den Leitlinien für eine Drehung nach rechts und den Leitlinien für eine Drehung nach links nur die Leitlinien für eine Seite überlagert, in welchen das Lenkrad zuerst gedreht worden ist. Mit anderen Worten, bei S110-S140 berechnet die Bildsynthetisierungs-ECU 9 die geschätzten Spuren, die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien für eine Seite, in welche das Lenkrad zuerst gedreht worden ist. Bei S180 überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien für die ausgewählte Seite im entsprechenden linken Blickbild und rechen Blickbild.
Im Prozess C überlagert zunächst die Bildsynthetisierungs-ECU 9 die Leitlinien für eine bestimmte Seite. Wenn dann der Lenkwinkel zur entgegengesetzten Seite geändert wird, überlagert die Bildsynthetisierungs-ECU 9 nur die Leitlinien für die entgegengesetzte Seite. Mit anderen Worten, bei S110 bis S140 berechnet die Bildsynthetisierungs-ECU 9 die geschätzten Spuren, die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien für die bestimmte Seite. Bei S180 überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie, die Seitenleitlinie und die Spurleitlinien für bestimmte Seite einem entsprechenden Linksblickbild oder Rechtsblickbild. Wenn der Lenkwinkel in die andere Richtung geändert wird, bevor die Bildsynthetisierungs-ECU 9 bei S190 bestimmt, die Überlagerungsanzeige zu beenden, kehrt die Bildsynthetisierungs-ECU 9 zum Ablauf bei S110 zurück. Dann berechnet bei S110 bis S140 die Bildsynthetisierungs-ECU 9 die geschätzten Spuren, die Vorderendeleitlinie, die Seitenleitlinie und Spurleitlinien für eine Seite, in welche der Lenkwinkel geändert wurde. Bei S180 überlagert die Bildsynthetisierungs-ECU 9 die Vorderendeleitlinie, die Seitenleitlinie und Spurleitlinien für die neu gewählte Seite.
Als anderes Beispiel eines Bestimmungskriteriums zum Beginn der Vorwärtseinparkunterstützung bei S105 kann die Bildsynthetisierungs-ECU 9 den Start der Vorwärtseinparkunterstützung bestimmen, wenn das Fahrzeug 10 sich in einem Parkplatz befindet und die Fahrzeuggeschwindigkeit geringer als eine bestimmte Geschwindigkeit (z. B. 10km/h) ist. In diesem Fall gibt die Bildsynthetisierungs-ECU 9 ein Abfragesignal aus, um zu fragen, ob sich das Fahrzeug 10 auf einem Parkplatz befindet. Dieses Abfragesignal geht an das Navigationssystem 7. So dann bestimmt die Bildsynthetisierungs-ECU 9 auf der Grundlage einer Antwort vom Navigationssystem 7, ob sich das Fahrzeug 10 in einem Parkplatz (z. B. Parkhaus oder dergleichen) befindet.
Wenn die Bildsynthetisierungs-ECU 9 bestimmt, bei S105 die Vorwärtseinparkunterstützung zu beginnen, kann die Bildsynthetisierungs-ECU 9 zusätzlich Informationen vom Navigationssystem 7 über den momentanen Standort abfragen. Dann kann die Bildsynthetisierungs-ECU 9 die im abgefragten momentanen Standort im Flash-Memory als Vorwärtseinparkunterstützungsstartpunkt speichern. Wenn danach wieder die Bildsynthetisierungs-ECU 9 den Prozess bei S105 durchführt, kann die Bildsynthetisierungs-ECU 9 den Start der Vorwärtseinparkunterstützung in einem Fall bestimmen, wo der momentane Standort sich in der Nähe (z. B. innerhalb 10 m) des Vorwärtsparkunterstützungsstartpunkts befindet, der im Falsh-Memory gespeichert ist.
Für einen Fall, bei dem die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 nur entweder dem Linksblickbild oder dem Rechtsblickbild bei S160 überlagert werden, kann die Bildsynthetisierungs-ECU 9 die Breite des Anzeigeabschnitts für das Linksblickbild oder das Rechtsblickbild größer als die Breite des Anzeigeabschnitts des entsprechenden anderen Bilds machen.
In obiger Ausführungsform wird das Synthetisierungsverhältnis der Anzeigeabschnitte für Linksblickbild, Draufsichtbild und Rechtsblickbild mit dem Lenkwinkel geändert. Das Synthetisierungsverhältnis der Anzeigeabschnitte kann auch auf der Grundlage der Betätigung eines Fahrtrichtungsanzeigers („Blinkerhebel“) des Fahrzeugs 10 geändert werden. Wenn beispielsweise ein Rechtsabbiegesignal für das Fahrzeug 10 durch Betätigung seitens des Fahrers eingeschaltet wird, kann die Bildsynthetisierungs-ECU 9 die Breite Wc des rechten Anzeigeabschnitts 33 größer als die Breite Wa des linken Anzeigeabschnitts 31 machen. Wenn ein Linksabbiegesignal für das Fahrzeug 10 eingeschaltet wird, kann die Bildsynthetisierungs-ECU 9 die Breite Wa des linken Anzeigeabschnittes 31 größer als die Breite Wc des rechten Anzeigeabschnitts 33 machen. In diesem Fall kann eines von Linksblickbild oder Rechtsblickbild, auf welchem die Leitlinien 21 und 23 bis 25 überlagert oder eingeblendet sind, das heißt, dasjenige Blickbild auf derjenigen Seite, wo das Fahrzeug 10 einzuparken ist, hervorgehoben oder betont werden.
Die Bildsynthetisierungs-ECU 9 kann auch das Draufsichtbild und nur eines von Rechtsblickbild oder Linksblickbild darstellen, wo die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 überlagert sind.
In obiger Ausführungsform ist die Vorderendeleitlinie 21 als ein Beispiel in einer durchgezogenen Linie gezeigt. Die Vorderendeleitlinie 21 kann jedoch auch eine gestrichelte Linie, eine gepunktete Linie oder eine Strichpunktlinie sein. Die Vorderendeleitlinie ist eine Linie, um Festzustellen, ob das Fahrzeug 10 in einer geeigneten Position liegt, aus der das Fahrzeug 10 um 90 Grad gedreht wird und in die Parkbucht einfährt. Obgleich somit Teile einschließlich der Positionen 19 und 20 zur Überlagerung notwendig sind, sind andere Teile nicht zwingend notwendig. Mit anderen Worten, die Vorderendeleitlinie 21 umfasst zumindest eine gerade Linie, die sich von der Position 19 zur Position 20 erstreckt (jedoch die Position 20 nicht erreichen muss) und eine gerade Linie, die sich von der Position 20 in Richtung der Position 19 erstreckt (und die Position 19 nicht erreichen muss).
Zusätzlich zur Vorderendeleitlinie 21 kann auch eine Linie überlagert oder eingeblendet werden, die sich als zusätzliche Linie von der Position 19 oder der Position 20 zur Vorderendeleitlinie 21 erstreckt. Auch in einem solchen Fall kann, wenn eine Grenze zwischen der zusätzlichen Linie und der Vorderendeleitlinie 21 sichtbar ist, die Vorderendeleitlinie 21 ihre Funktion beibehalten. Als ein Beispiel eines Falls, wo die Grenze zwischen der zusätzlichen Linie und der Vorderendeleitlinie 21 sichtbar ist, können beispielsweise die Breiten oder Linienarten von Vorderendeleitlinie 21 und zusätzlicher Linie unterschiedlich zueinander gemacht werden. Eine Markierung, beispielsweise ein Punkt kann an der Position 19 oder der Position 20 eingeblendet werden, wo die Vorderendeleitlinie 21 und die zusätzliche Linie eine Verbindung sind. Eine andere Linie kann auch an der Position 19 oder der Position 20 schneiden, wo die Vorderendeleitlinie 21 und die zusätzliche Linie verbunden sind.
In der obigen Ausführungsform sind die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 beispielhaft als durchgezogenen Linien gezeigt. Die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 können jedoch auch andere Linientypen sein. Weiterhin ist die Seitenleitlinie 23 nicht zwingend notwendig. Die Seitenleitlinie 23 muss sich nicht bis zum Punkt 22 erstrecken. Beispielsweise kann sich die Seitenleitlinie 23 auch von dem Punkt oder der Position 22 aus um eine kürzere Strecke als die Länge L des Fahrzeugs erstrecken. Das heißt, die dritte Position muss nicht notwendigerweise an der Position in einem Abstand entsprechender Länge L des Fahrzeugs 10 ausgehend von der zweiten Position liegen. Die dritte Position kann auch an einer Position sein, die kürzer als die Länge L ausgehend von der zweiten Position ist. Die Spurleitlinien 24 und 25 müssen nicht in dem Blickbild überlagert werden.
In der obigen Ausführungsform zeigt die Bildsynthetisierungs-ECU 9 gleichzeitig das Linksblickbild, das Rechtsblickbild und das Draufsichtbild auf dem Bildschirm 30. Die Bildsynthetisierungs-ECU 9 kann auch nur das Linksblickbild oder das Rechtsblickbild darstellen, dem die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinie 24 und 25 überlagert ist.
In obiger Ausführungsform sind die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 dem Linksblickbild oder dem Rechtsblickbild überlagert.
Wie in 10 gezeigt, kann die Bildsynthetisierungs-ECU 9 auch nur ein Frontblickbild und nicht das Linksblickbild, das Rechtsblickbild und das Draufsichtbild darstellen und hierbei die Frontendleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 dem Frontblickbild überlagern oder in dieses einblenden. Das Frontblickbild wird nur aus dem Frontaufnahmebild von der Frontkamera 2 geliefert, welche eine Weitwinkelkamera ist. Mit anderen Worten, die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 können an geeigneten Positionen dem Aufnahmebild der Umgehung des Fahrzeugs 10 überlagert werden.
Für den Fall, dass ein von einer Weitwinkelkamera aufgenommenes Bild als Blickbild ohne Modifikationen verwendet wird, können die Leitlinien 21 und 23 bis 25 für eine Drehung nach links und die Leitlinien 21 und 23 bis 25 für eine Drehung nach rechts in einem Bild dargestellt werden. In einem Fall, wo die Leitlinien 21 und 23 bis 25 auf einem von Linksblickbild und Rechtsblickbild überlagert werden, die an Hand eines von einer Telekamera aufgenommenen Bilds gemacht werden, kann, da die Verzerrung gering ist, der Fahrer sehr gut ein Gefühl für einen Abstand zu den Leitlinien 21 und 23 bis 25 haben.
Das Linksaufnahmebild und das Rechtsaufnahmebild jeweils von einer Weitwinkelkamera können auch als Linksblickbild und Rechtsblickbild ohne Extraktion verwendet werden und die Vorderendeleitlinie 21, die Seitenleitlinie 23 und die Spurleitlinien 24 und 25 können dem Linksblickbild oder dem Rechtsblickbild überlagert werden, wie in 11 gezeigt. Das von einer Weitwinkelkamera aufgenommene Bild hat einen großen Abdeckungsbereich.
Für den Fall, dass das Linksblickbild und das Rechtsblickbild durch Extraktion nur das Diagonal nach vorne links und das Diagonal nach vorne rechts liegenden Teils außen aufgenommenen Bilder und durch Behandlung der extrahierten Bilder mit der Verzerrungskompensation erstellt werden, wie in obiger Ausführungsform beschrieben, ist eine Verzerrung der Leitlinien 21 und 23 bis 25 gering, da das mit der Verzerrungskompensation behandelte Objekt ein Teil des von der Weitwinkelkamera aufgenommenen Bilds ist. Somit kann ein Fahrer ein gutes Abstandsgefühl für die Leitlinien 21 und 23 bis 25 entwickeln.
Jede Funktion durch die Bildsynthetisierungs-ECU 9 durch Durchführung eines Programms kann auch unter Verwendung einer Hardware mit der entsprechenden Funktion erreicht werden. Die Hardware kann beispielsweise ein FPGA (field programmable gate array) enthalten, dessen Schaltungskonfiguration programmierbar ist. Es sei festzuhalten, dass das Flussdiagramm oder der Ablauf gemäß des Flussdiagramms bei der vorliegenden Erfindung Abschnitte (oder Schritte) enthält, welche beispielsweise mit S105 dargestellt sind. Jeder dieser Abschnitte kann in mehrere Unterabschnitte unterteilt werden, wohingegen mehrere Unterabschnitte wiederum zu einem einzelnen Abschnitt kombinierbar sein können. Somit kann jeder der derart konfigurierten Abschnitte als ein Mittel oder eine Vorrichtung bezeichnet werden und wird nicht nur als Softwareabschnitt, sondern auch als Hardwareabschnitt implementierbar. Beispielsweise kann die Bildsynthetisierungs-ECU 9 einen Bildanzeigesteuerabschnitt und einen Leitlinienüberlagerungsabschnitt enthalten, wobei der Bildanzeigesteuerabschnitt den Ablauf einschließlich S170 durchführt und der Leitlinienüberlagerungsabschnitt den Ablauf einschließlich S180 durchführt. Jede oder irgendeine Kombination aus Abläufen, Funktionen, Abschnitten, Schritten oder Mitteln gemäß obiger Erläuterung kann als Softwareabschnitt oder -einheit (z.B Unterprogramm) und/oder Hardwareabschnitt oder -einheit (z.B. Schaltung oder integrierte Schaltung) realisiert werden, wobei eine Funktion oder mehrere Funktion einer zugehörigen Vorrichtung enthalten oder nicht enthalten sind; weiterhin kann der Hardwareabschnitt oder kann die Hardwareeinheit im inneren eines Mikrocomputers aufgebaut sein.
Weiterhin kann der Softwareabschnitt oder die Softwareeinheit oder irgendeine Kombination aus einer Mehrzahl von Softwareabschnitten oder -einheiten in einem Softwareprogramm enthalten sein, welche sich in einem computerlesbaren Speichermedium befindet oder heruntergeladen und über ein Kommunikationsnetzwerk heruntergeladen und in einem Computer installiert werden kann.
Insoweit zusammenfassend enthält somit eine Überwachungsvorrichtung für die Fahrzeugumgebung einen Anzeigesteuerabschnitt und einen Leitlinienüberlagerungsabschnitt. Der Bildanzeigesteuerabschnitt erstellt ein Blickbild basierend auf einem aufgenommenen Bild einer Umgebung eines Fahrzeugs und stellt das Blickbild oder Ansichtsbild auf einer Anzeigevorrichtung dar. Überlagerungsabschnitt überlagert wenigstens eine Leitlinie zur Unterstützung eines Vorwärtseinparkens des Fahrzeugs dem Blickbild. Die Leitlinie enthält eine Vorderendeleitlinie, die sich von einer ersten Position zu einer zweiten Position erstreckt. Die erste Position ist eine Position, die erhalten wird durch Drehverschiebung einer Position eines im Drehsinn äußeren Vorderendes des Fahrzeugs um 90 Grad um einen Drehmittelpunkt des Fahrzeugs. Die zweite Position liegt in einem Abstand entsprechend einer Breite es Fahrzeugs ausgehend von der ersten Position in Richtung Heck oder Ende in Vorwärts/Rückwärts-Richtung des Fahrzeugs, bezogen auf das Fahrzeug vor dem Einparkvorgang.

Claims

Überwachungsvorrichtung für die Fahrzeugumgebung zur Unterstützung des Vorwärtseinparkens eines Fahrzeugs (10), aufweisend: einen Bildanzeigesteuerabschnitt (S170), der konfiguriert ist, ein Blickbild basierend auf einem Aufnahmebild herzustellen, das von einer Kamera (1-4) zur Aufnahme einer Umgebung des Fahrzeugs (10) aufgenommen wird, wobei der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, das Blickbild auf einer Anzeigevorrichtung (5) in dem Fahrzeug (10) darzustellen; und einen Leitlinienüberlagerungsabschnitt (S180), der konfiguriert ist, eine Leitlinie (21, 23-25) zur Unterstützung des Vorwärtseinparkens des Fahrzeugs (10) dem Blickbild zu überlagern, wobei die Leitlinie (21, 23-25) eine Vorderendeleitlinie (21) enthält, wobei diese Vorderendeleitlinie (21) eine gerade Linie ist, die sich von einer ersten Position (19) zu einer zweiten Position (20) erstreckt, wobei die erste Position (19) eine Position ist, die erhalten wird durch Drehverschiebung einer Position eines im Drehsinn äußeren Vorderendes (17) des Fahrzeugs (10) um 90 Grad um einen Drehmittelpunkt (15) des Fahrzeugs (10) und die zweite Position (20) in einem Abstand entsprechend einer Breite (W) des Fahrzeugs (10) von der ersten Position (19) aus in Richtung senkrecht zu einer Vorwärts/Rückwärts-Richtung des Fahrzeugs (10) nach der Drehverschiebung liegt.
Überwachungsvorrichtung nach Anspruch 1, wobei: die Leitlinien (21, 23-25) wenigstens eine Seitenleitlinie (23) enthalten; die Seitenleitlinie (23) sich von der zweiten Position (20) zu einer dritten Position (22) erstreckt; und die dritte Position (22) von der zweiten Position (20) in Richtung des Fahrzeugs (10) in einer Links/Rechts-Richtung des Fahrzeugs (10) entfernt ist.
Überwachungsvorrichtung nach einem der Ansprüche 1 oder 2, wobei der Drehmittelpunkt (15) ein Drehmittelpunkt für den Fall ist, bei dem ein Lenkwinkel des Fahrzeugs (10) maximal nach Links oder Rechts weist.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei: die Leitlinie (21, 23-25) eine Drehaußenspurleitlinie (24) und eine Drehinnenspurleitlinie (25) enthält; die Drehaußenspurleitlinie (24) ein Bogen ist, der sich von der Position des im Drehsinn äußeren Vorderendes (17) zur ersten Position (19) entlang einer Maximumrotationsspur (18) erstreckt, deren Mittelpunkt auf dem Drehmittelpunkt (15) liegt; und die Drehinnenspurleitlinie (25) ein Bogen ist, der sich von einer Position eines inneren Hinterrads (13) entlang einer Minimumrotationsspur (16) erstreckt, deren Mittelpunkt auf dem Drehmittelpunkt (15) liegt.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Leitlinienüberlagerungsabschnitt (S180) mit seinem Betrieb beginnt, wenn eine Geschwindigkeit des Fahrzeugs kleiner als oder gleich einer bestimmten Geschwindigkeit wird.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Leitlinienüberlagerungsabschnitt (S180) mit seinem Betrieb beginnt, wenn das Fahrzeug (10) in einen Parkplatz einfährt.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei der Leitlinienüberlagerungsabschnitt (S180) die Überlagerung der Leitlinie (21, 23-25) beendet, wenn ein Lenkwinkel des Fahrzeugs (10) in eine gerade Position zurückkehrt und/oder wenn ein Zündschalter des Fahrzeugs (10) abgeschaltet ist und/oder wenn das Fahrzeug (10) stoppt und/oder wenn eine Ausrichtung des Fahrzeugs (10) um 90 Grad gegenüber einer Ausrichtung zu dem Zeitpunkt gedreht ist, zu dem der Leitlinienüberlagerungsabschnitt (S180) mit der Überlagerung der Leitlinie (21, 23-25) begonnen hat.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei: der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, einen Abschnitt einschließlich eines Bilds diagonal vorderhalb von einem seitlich aufgenommenen Bild zu extrahieren, das von einer Weitwinkelkamera (3, 4) zur Aufnahme einer Seite des Fahrzeugs (10) aufgenommen wurde; der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, ein extrahiertes Bild mit einer Verzerrungskompensation zu behandeln, um ein Seitensichtbild herzustellen und das Seitensichtbild auf der Anzeigevorrichtung (5) als eines der Blickbilder darzustellen; und der Leitlinienüberlagerungsabschnitt (S180) konfiguriert ist, die Leitlinie (21, 23-25) dem Seitenblickbild zu überlagern.
Überwachungsvorrichtung nach Anspruch 8, wobei der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, ein Draufsichtbild, das von oberhalb des Fahrzeugs (10) aus aufgenommen ist, gleichzeitig mit dem Seitensichtbild auf der Anzeigevorrichtung (5) darzustellen.
Überwachungsvorrichtung nach Anspruch 9, wobei: die Leitlinie (21, 23-25) weiterhin eine Drehaußenspurleitlinie (24) und eine Drehinnenspurleitlinie (25) enthält; die Drehaußenspurleitlinie (24) ein Bogen ist, der sich von der Position des im Drehsinn äußeren Vorderendes (17) zur ersten Position (19) entlang einer Maximumrotationsspur (18) erstreckt, deren Mittelpunkt auf dem Drehmittelpunkt (15) liegt; die Drehinnenspurleitlinie (25) ein Bogen ist, der sich von einer Position eines inneren Hinterrads (13) entlang einer Minimumrotationsspur (16) erstreckt, deren Mittelpunkt auf dem Drehmittelpunkt (15) ist; das Draufsichtbild ein Bild des Fahrzeugs (10) enthält, welches auf einem Bildschirm (30) der Anzeigevorrichtung (5) mit der Vorderseite nach oben weist; die Drehaußenspurleitlinie (24), das dem Seitenblickbild überlagert ist, ein Ende benachbart dem Draufsichtbild hat; und in dem Bildschirm ein Vorderende des Bilds des Fahrzeugs (10) in einer Position tiefer als das Ende der Drehaußenspurleitlinie (24) liegt.
Überwachungsvorrichtung nach einem der Ansprüche 1-10, wobei: der Bildanzeigesteuerabschnitt (S170) ein Linksblickbild basierend auf einem seitlich aufgenommenen Bild von einer Seitenkamera (4) zur Aufnahme einer linken Seite des Fahrzeugs (10), ein Rechtsblickbild, basierend auf einem seitlich aufgenommenen Bild von einer Seitenkamera (3) zur Aufnahme der rechten Seite des Fahrzeugs (10) und ein Draufsichtbild, gesehen von oberhalb des Fahrzeugs (10) auszubilden vermag; und der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, das Linksblickbild, Draufsichtbild und Rechtsblickbild auf der Anzeigevorrichtung (5) als Blickbild gleichzeitig darzustellen.
Überwachungsvorrichtung nach Anspruch 11, wobei das Linksblickbild in einem ersten Anzeigeabschnitt (31), das Draufsichtbild in einem zweiten Anzeigeabschnitt (32) und das Linksblickbild in einen dritten Anzeigeabschnitt (33) dargestellt ist, und ein Flächenverhältnis von erstem Anzeigeabschnitt (31), zweitem Anzeigeabschnitt (32) und drittem Anzeigeabschnitt (33) variabel ist.
Überwachungsvorrichtung nach Anspruch 12, wobei das Flächenverhältnis sich auf der Grundlage von Fahrzuständen durch einen Fahrer des Fahrzeugs (10) ändert.
Überwachungsvorrichtung nach Anspruch 11 oder 13, wobei der Leitlinienüberlagerungsabschnitt (S180) die Leitlinie (21, 23-25) dem Linksblickbild oder dem Rechtsblickbild überlagert; und der Bildanzeigesteuerabschnitt (S170) konfiguriert ist, die Fläche des Anzeigeabschnitts von Linksblickbild oder Rechtsblickbild größer als die Fläche des Anzeigeabschnitts des anderen von Linksblickbild oder Rechtsblickbild zu machen.
Verfahren zum Steuern einer Überwachungsvorrichtung für die Fahrzeugumgebung, welche das Vorwärtseinparken eines Fahrzeugs (10) unterstützt, wobei das Verfahren aufweist: Herstellen eines Blickbilds basierend auf einem Bild, das von einer Kamera (1-4) zur Aufnahme einer Umgebung des Fahrzeugs (10) gemacht wird; Anzeigen des Blickbilds auf einer Anzeigevorrichtung (5) in dem Fahrzeug (10); und Überlagern einer Leitlinie (21, 23-25) zur Unterstützung des Vorwärtseinparkens des Fahrzeugs (10) auf dem Blickbild, wobei die Leitlinie (21, 23-25) eine Vorderendeleitlinie (21) enthält, wobei die Vorderendeleitlinie (21) eine gerade Linie ist, die sich von einer ersten Position (19) zu einer zweiten Position (20) erstreckt, wobei die erste Position (19) eine Position ist, die erhalten wird, durch Drehverschiebung einer Position eines im Drehsinn äußeren vorderen Endes (17) des Fahrzeugs (10) um 90 Grad um einen Drehmittelpunkt (15) des Fahrzeugs (10) herum und die zweite Position (20) in einem Abstand entsprechend einer Breite (W) des Fahrzeugs (10) von der ersten Position (19) aus in Richtung senkrecht zu einer Vorwärts/Rückwärts-Richtung des Fahrzeugs (10) nach der Drehverschiebung liegt.
Programmprodukt, gespeichert in einem computerlesbaren Speichermedium und aufweisend Instruktionen zur Durchführung durch einen Computer, wobei die Instruktionen das Verfahren nach Anspruch 15 enthalten.