DE112016005781B4

DE112016005781B4 - Anzeigesteuerungsvorrichtung und Anzeigesteuerungsverfahren

Info

Publication number: DE112016005781B4
Application number: DE112016005781.4T
Authority: DE
Inventors: Kazuhide Ohta
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-12-18
Filing date: 2016-12-15
Publication date: 2023-09-21
Anticipated expiration: 2036-12-16
Also published as: US10427603B2; WO2017104768A1; DE112016005781T5; CN108370433B; JP2017112574A; JP6561824B2; CN108370433A; US20180361933A1

Abstract

Anzeigesteuerungsvorrichtung, die aufweist:eine Blickpunktumwandlungseinheit (33), die einen Blickpunkt von Bildern, die von mehreren Kameras (5-11) aufgenommen werden, die an einem eigenen Fahrzeug (J) montiert sind, umwandelt, um blickpunktgewandelte Bilder aus der Sicht von oberhalb des eigenen Fahrzeuges zu erhalten;eine Lenkbestimmungseinheit (31), die bestimmt, ob ein Lenkwinkel eines Rades des eigenen Fahrzeuges gleich oder größer als ein vorbestimmter Wert ist;eine Bildkorrektureinheit (43), die, wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist, ein korrigiertes Bild durch Verarbeiten eines blickpunktgewandelten Bildes des Rades in dem blickpunktgewandelten Bild erzeugt, so dass eine Anzeige des Bildes des Rades unterdrückt wird;eine Bildsyntheseeinheit (35), die das korrigierte Bild und mindestens eines der blickpunktgewandelten Bilder, das sich von dem korrigierten Bild unterscheidet, synthetisiert, um ein synthetisiertes Bild zu erzeugen; undeine Anzeigesteuerungseinheit (41), die das synthetisierte Bild und ein Bild des eigenen Fahrzeuges an der Position des eigenen Fahrzeuges auf einer Anzeigevorrichtung (13) anzeigt.

Description

[Technisches Gebiet]
Die vorliegende Erfindung betrifft eine Anzeigesteuerungsvorrichtung und ein Anzeigesteuerungsverfahren für Fahrzeuge.
[Stand der Technik]
Wie es beispielsweise in der JP 2012 - 134 586 A beschrieben ist, ist eine Anzeigesteuerungsvorrichtung für ein Fahrzeug bekannt, die Bilder der Umgebung des Fahrzeuges mit mehreren Kameras aufnimmt, die an dem Fahrzeug montiert sind, und den Blickpunkt der aufgenommenen Bilder umwandelt, um blickpunktgewandelte Bilder aus der Sicht von oben nach unten des Fahrzeuges, beispielsweise aus der Sicht direkt von oben nach unten oder diagonal von oben nach unten, zu erzeugen. In der folgenden Beschreibung kann die Blickpunktumwandlung auch als Vogelperspektivenansichtsumwandlung bezeichnet werden, und die blickpunktgewandelten Bilder können auch als Vogelperspektivenbilder bezeichnet werden.
In dieser Anzeigesteuerungsvorrichtung werden die Vogelperspektivenbilder, die von mehreren Kameras aufgenommen werden, in ein synthetisiertes Bild synthetisiert, und das synthetisierte Bild wird auf einer Anzeigevorrichtung angezeigt. Normalerweise wird in der Mitte des synthetisierten Bildes ein Draufsichtbild des Fahrzeuges angezeigt.
Die US 2009 / 0 073 263 A1 offenbart ein Fahrzeugumgebungsüberwachungssystem, das ein Ansichtsbild der hinteren Fahrzeugumgebung auf nimmt, die sich in einem vorgegebenen Bereich vom Fahrzeug entfernt befindet. Dieses Ansichtsbild wird in ein Bild aus der Vogelperspektive umgewandelt, und das Bild aus der Vogelperspektive wird in einem Fahrzeugraum angezeigt, um bei einer Rückwärtsbewegung eines Fahrzeugs zu unterstützen. Wenn sich das Fahrzeug einem Hindernis nähert, wird das Bild aus der Vogelperspektive durch Vergrößerung eines Neigungswinkels des Bildes aus der Vogelperspektive erzeugt. Ein Maskierungsabschnitt wird mit dem Bild aus der Vogelperspektive synthetisiert, um einen Teil des Bildes aus der Vogelperspektive zu maskieren, der nicht betrachtet werden soll. Dieser Maskierungsabschnitt wird mit zunehmendem Tiefenwinkel vergrößert, wodurch der verzerrte Teil des Ansichtsbilds maskiert wird.
Die JP 2010 - 114 618 A offenbart ein Fahrzeugumgebungsüberwachungssystem, bei dem in einem Seitensichtüberwachungssystem rechte und linke Seitenkameras zur Abbildung eines blinden Flecks des Fahrers, ein externer Monitor und eine Bildverarbeitungssteuerung zur Erzeugung von Monitoranzeigevideodaten vorgesehen sind. Auf der Grundlage realer Kameravideos wandelt die Bildverarbeitungssteuerung reale Kameravideos, die durch Aufnahme eines Bereichs des toten Winkels erhalten wurden, in Videos um, die aus der Sicht des Fahrers gesehen werden, um ein Bild des blinden Flecks zu erzeugen, und generiert Videodaten für die Monitoranzeige, das den blinden Fleck darstellende Bild durch Übertragen eines durchsichtigen Fahrzeugbildes und eines durchsichtigen Reifenbildes aus der Sicht des Fahrers mittels einer Bildkombination zum Überlagern des durchsichtigen Bildes des durchscheinenden Fahrzeugs, und des durchsichtigen Reifenbilds auf das Bild des blinden Flecks.
[Zusammenfassung der Erfindung]
Wenn das Fahrzeug stark gelenkt wird und beispielsweise ein Vogelperspektivenbild aus einem Bild erzeugt wird, das von einer Kamera auf einer Seite des Fahrzeuges (beispielsweise der linken Kamera) aufgenommen wird, kann ein Rad in dem Vogelperspektivenbild für den Betrachter unnatürlich wirken.
Insbesondere wird das Bild das Rad auf einer Seite des Bildes des eigenen Fahrzeuges derart zeigen, dass das Rad verzerrt ist und diagonal nach vorne von einer Position vorsteht, die etwas gegenüber der richtigen Position des Rades (beispielsweise des Vorderrades) nach vorne verschoben ist, und somit kann das synthetisierte Bild, das angezeigt wird, wie es ist, für den Betrachter unnatürlich wirken.
Der Grund dafür wird darin gesehen, dass, da die Position des Rades höher als diejenige der Straßenoberfläche ist und das Rad in der Nähe der Grenze des Aufnahmebereiches der Kamera aufgenommen wird, eine Verzerrung, Positionsverschiebung und Ähnliches eher in dem Bild des Rades auftritt, wenn das aufgenommene Bild in ein Vogelperspektivenbild umgewandelt wird.
Eine Aufgabe der vorliegenden Erfindung ist es, eine Technik zu schaffen, die in der Lage ist, die Unnatürlichkeit in einem blickpunktgewandelten Bild der Umgebung eines Fahrzeuges während eines Anzeigens des Bildes zu verringern. Die Aufgabe wird durch eine Ansteuerungsvorrichtung mit den Merkmalen des Anspruchs 1 sowie ein Anzeigesteuerungsverfahren mit den Merkmalen des Anspruchs 11 gelöst. Die abhängigen Ansprüche sind auf vorteilhafte Weiterbildungen der Erfindung gerichtet.
[Lösung für das Problem]
Ein erster Aspekt der vorliegenden Erfindung enthält eine Blickpunktumwandlungseinheit (33), eine Lenkbestimmungseinheit (31), eine Bildkorrektureinheit (43), eine Bildsyntheseeinheit (35) und eine Anzeigesteuerungseinheit (41).
Die Blickpunktumwandlungseinheit wandelt einen Blickpunkt von Bildern, die von mehreren Kameras (5 - 11) aufgenommen werden, die an einem eigenen Fahrzeug (J) montiert sind, um, um blickpunktgewandelte Bilder aus der Sicht von oberhalb des eigenen Fahrzeuges zu erhalten;
Die Lenkbestimmungseinheit bestimmt, ob der Lenkwinkel eines Rades des eigenen Fahrzeuges gleich oder größer als ein vorbestimmter Wert ist.
Wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist, erzeugt die Bildkorrektureinheit ein korrigiertes Bild durch Verarbeiten eines blickpunktgewandelten Bildes des Rades in dem blickpunktgewandelten Bild, so dass eine Anzeige des Bildes des Rades unterdrückt wird.
Die Bildsyntheseeinheit kombiniert das korrigierte Bild und die anderen blickpunktgewandelten Bilder, die sich von dem korrigierten Bild unterscheiden, um ein synthetisiertes Bild zu erzeugen.
Die Anzeigesteuerungseinheit zeigt auf einer Anzeigevorrichtung das synthetisierte Bild und außerdem ein Bild des eigenen Fahrzeuges an der Position des eigenen Fahrzeuges an, die entsprechend dem synthetisierten Bild eingestellt wird.
Wenn das Fahrzeug beispielsweise stark gelenkt wird und sich somit der Lenkwinkel eines Rades erhöht, kann verhindert werden, dass das Bild des Rades, das für den Betrachter unnatürlich wirkt, in dem synthetisierten Bild angezeigt wird, das die Umgebung des Fahrzeuges zeigt. Es ist beispielsweise möglich, ein Anzeigen eines Teiles oder des gesamten Bildes des Rades zu vermeiden oder zu bewirken, dass die Anzeige des Bildes des Rades unauffällig ist.
Mit anderen Worten, es wird beispielsweise ein Anzeigen eines Rades, das derart verformt ist, dass es stark in einer diagonalen Richtung von einer Position vorsteht, die sich von der normalen Position des Rades unterscheidet, in dem synthetisierten Bild verhindert, das von blickpunktgewandelten Bildern erhalten wird.
Daher wird sogar dann, wenn ein Insasse in dem Fahrzeug das synthetisierte Bild betrachtet, das auf der Anzeigevorrichtung angezeigt wird, dieser weniger wahrscheinlich ein falsches Gefühl haben.
Man beachte, dass dieser Abschnitt nur eine Entsprechung zu speziellen Einrichtungen angibt, die in den Ausführungsformen beschrieben sind, die im Folgenden als Modi festgelegt sind, und den technischen Bereich der vorliegenden Erfindung nicht beschränkt.
[Kurze Beschreibung der Zeichnungen]
Die obigen und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:

1 ein Blockdiagramm, das ein fahrzeugeigenes System zeigt, das eine Anzeigesteuerungsvorrichtung gemäß einer ersten Ausführungsform enthält;
2 eine Draufsicht, die schematisch den Abbildungsbereich einer jeweiligen Kamera zeigt;
3 ein Blockdiagramm, das funktional die Anzeigesteuerungsvorrichtung zeigt;
4 ein Diagramm zur Erläuterung eines Bildes, das auf dem Anzeigebildschirm einer Anzeige angezeigt wird;
5 ein Flussdiagramm, das einen Anzeigesteuerungsprozess zeigt, der von der Anzeigesteuerungsvorrichtung ausgeführt wird;
6 ein Flussdiagramm, das einen Prozess zum Erzeugen eines korrigierten Bildes zeigt, der von der Anzeigesteuerungsvorrichtung ausgeführt wird;
7 eine Draufsicht, die die Gestalten und Größen von maskierten Bereichen zeigt, die in einer zweiten Ausführungsform eingestellt bzw. festgelegt werden;
8 ein Flussdiagramm, das einen Prozess zum Einstellen eines maskierten Bereiches entsprechend dem Lenkwinkel in der zweiten Ausführungsform zeigt;
9 ein Diagramm zur Erläuterung eines Bildes, das auf dem Anzeigebildschirm einer Anzeige gemäß einer dritten Ausführungsform angezeigt wird; und
10 eine Draufsicht, die den Abbildungsbereich einer jeweiligen Kamera und die entsprechenden Überdeckungszonen gemäß einer vierten Ausführungsform zeigt.

[Beschreibung der Ausführungsformen]
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
[1. Erste Ausführungsform]
[1-1. Konfiguration]
Zunächst werden die Systemkonfiguration einer Anzeigesteuerungsvorrichtung und ein Anzeigesteuerungsverfahren gemäß der ersten Ausführungsform beschrieben.
Wie es in den 1 und 2 gezeigt ist, ist ein fahrzeugeigenes System 1 gemäß der ersten Ausführungsform ein System, bei dem eine Anzeigesteuerungsvorrichtung 3 ein synthetisiertes Bild unter Verwendung von Bildern erzeugt, die von mehreren Kameras 5, 7, 9 und 11 aufgenommen werden, die an einem Fahrzeug (d. h. dem eigenen Fahrzeug) J montiert sind, und das synthetisierte Bild auf einer Anzeige 13 anzeigt. D. h., das fahrzeugeigene System 1 ist ein System, das ein synthetisiertes Bild auf der Grundlage von Bildern der Umgebung des eigenen Fahrzeuges J erzeugt und das synthetisierte Bild auf der Anzeige 13 anzeigt.
Genauer gesagt enthält das fahrzeugeigene System 1 eine Anzeigesteuerungsvorrichtung 3, mehrere Kameras 5 bis 11, eine Anzeige 13, einen Lenksensor 15 und Ähnliches.
Die Kameras 5 bis 11 können beispielsweise bekannte CCD-Kameras (CCD: ladungsgekoppelte Vorrichtung) sein. Die Kameras 5 bis 11 enthalten eine vordere Kamera 5 zum Aufnehmen eines Bildes eines Bereiches vor dem eigenen Fahrzeug J, eine hintere Kamera 7 zum Aufnehmen eines Bildes eines Bereiches hinter dem eigenen Fahrzeug J, eine linke Kamera 9 zum Aufnehmen eines Bildes eines Bereiches auf der linken Seite des eigenen Fahrzeuges J und eine rechte Kamera 11 zum Aufnehmen eines Bildes eines Bereiches auf der rechten Seite des eigenen Fahrzeuges J.
Von diesen Kameras ist die vordere Kamera an dem vorderen Teil des eigenen Fahrzeuges J angebracht, und die hintere Kamera 7 ist an dem hinteren Teil des eigenen Fahrzeuges J angebracht. Die linke Kamera 9 ist an dem unteren Teil eines linken Seitenspiegels 17 angebracht, und die rechte Kamera 11 ist an dem unteren Teil eines rechten Seitenspiegels 19 angebracht.
In 2 sind die Abbildungsbereiche der Kameras 5 bis 11 schematisch derart gezeigt, dass sie allgemein kreisförmige Gestalten aufweisen, aber die Gestalten und Größen der Abbildungsbereiche der Kameras 5 bis 11 sind nicht beschränkt und können beliebig bestimmt werden.
Außerdem nimmt jede der Kameras 5 bis 11 ein Bild jede vorbestimmte Zeitperiode (beispielsweise alle 33 ms) auf und sendet das aufgenommene Bild (d. h. das Kamerabild) an die Anzeigesteuerungsvorrichtung 3.
Ein Lenksensor 15 ist ein bekannter Sensor zum Erfassen des Winkels der Räder, die durch Betätigen eines Lenkrades (nicht gezeigt) gesteuert werden, d.h. des Lenkwinkels. Hier ist ein beispielhafter Fall gezeigt, bei dem der Lenkwinkel der Vorderräder durch Betätigen des Lenkrades geändert wird. Der Lenkwinkel wird durch den Absolutwert sowohl für links als auch für rechts repräsentiert.
Wenn das Lenkrad nach links gedreht wird (d. h., wenn das Lenkrad bewegt wird), wird die Richtung der Räder (d.h. der Vorderräder) entsprechend dem Drehwinkel nach links in Bezug auf die Vorne-hinten-Richtung des eigenen Fahrzeuges J mit einem bestimmten Lenkwinkel aus der Sicht einer Draufsicht von oberhalb des eigenen Fahrzeuges J geändert. D. h., die Vorderseiten der Vorderräder bewegen sich nach links.
Auf ähnliche Weise wird die Richtung der Räder entsprechend dem Drehwinkel nach rechts in Bezug auf die Vorne-hinten-Richtung des eigenen Fahrzeuges J mit einem bestimmten Lenkwinkel geändert, wenn das Lenkrad nach rechts gedreht wird. D. h., die Vorderseiten der Vorderräder bewegen sich nach rechts.
Auch wenn hier ein Fall gezeigt ist, in dem die linken und rechten Vorderräder des Fahrzeuges durch Betätigen des Lenkrades geändert werden, ist die vorliegende Erfindung nicht darauf beschränkt. D. h., es kann auch ein Fall verwendet werden, bei dem der Lenkwinkel der linken und rechten Hinterräder geändert wird.
Die Anzeige 13 ist eine bekannte Anzeige, die ein Bild auf der Grundlage eines Videosignals anzeigt, das von der Anzeigesteuerungsvorrichtung 3 gesendet wird. Auf dem Anzeigebildschirm der Anzeige 13 werden Bilder wie beispielsweise ein blickpunktgewandeltes Bild angezeigt, das durch Umwandeln des Blickpunktes der Kamerabilder der Umgebung des eigenen Fahrzeuges J erhalten wird, die von den Kameras 5 bis 11 aufgenommen werden, wie es später beschrieben wird.
Die Anzeigesteuerungsvorrichtung 3 ist eine elektronische Steuervorrichtung, die hauptsächlich aus einem bekannten Mikrocomputer besteht, der eine CPU (zentrale Verarbeitungseinheit) 21, einen RAM (Speicher mit wahlfreiem Zugriff) 23, einen ROM (Nur-Lese-Speicher) 25 und Ähnliches enthält. Die Anzeigesteuerungsvorrichtung 3 enthält außerdem einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) 27.
Unter diesen speichert der ROM 25 Daten und Programme, deren Speicherinhalte sogar nach dem Ausschalten der Energiezufuhr gehalten werden müssen. Der EEPROM 27 speichert Daten (beispielsweise Bilddaten), deren Speicherinhalte sogar nach dem Ausschalten der Energiezufuhr gehalten werden müssen. Der RAM 23 speichert Daten zeitweilig. Die CPU 21 führt eine Verarbeitung entsprechend einem Programm oder Ähnlichem aus, das in dem ROM 25 gespeichert ist.
Wie es später beschrieben wird, speichert der ROM 25 ein Verarbeitungsprogramm zum Ausführen eines Prozesses zum Umwandeln des Blickpunktes der Kamerabilder, die von den Kameras 5 bis 11 aufgenommen werden, um blickpunktgewandelte Bilder zu erzeugen, um ein synthetisiertes Bild auf der Grundlage der blickpunktgewandelten Bilder zu erzeugen und das synthetisierte Bild auf der Anzeige 13 anzuzeigen.
Wie es in 3 gezeigt ist, enthält die Anzeigesteuerungsvorrichtung 3 als Verarbeitungsinhalte, die von dem Verarbeitungsprogramm ausgeführt werden, d.h. funktional, eine Lenkbestimmungseinheit 31, eine Vogelperspektivenansichtsumwandlungseinheit 33, eine Bildsyntheseeinheit 35, eine Farbidentifizierungseinheit 37, eine Historienbildspeichereinheit 39 und eine Anzeigesteuerungseinheit 41. Die Bildsyntheseeinheit 35 enthält eine Bildkorrektureinheit 43.
Auf der Grundlage der Signale, die von dem Lenksensor 15 gesendet werden, bestimmt die Lenkbestimmungseinheit 31, ob der Lenkwinkel des Rades in Bezug auf die Vorne-hinten-Richtung des eigenen Fahrzeuges J gleich oder größer als ein vorbestimmter Wert ist. Die Vogelperspektivenansichtsumwandlungseinheit 33 wandelt den Blickpunkt des Kamerabildes, das von den jeweiligen Kameras 5 bis 11 aufgenommen wird, um, so dass der Blickpunkt von oberhalb des Fahrzeuges J, beispielswiese aus der Sicht direkt abwärts oder diagonal abwärts von oben betrachtet wird, und erzeugt blickpunktgewandelte Bilder. In der folgenden Beschreibung wird die Blickpunktumwandlung als Vogelperspektivenansichtsumwandlung angenommen, und die blickpunktgewandelten Bilder werden als Vogelperspektivenbilder angenommen.
Wie es später genauer beschrieben wird, erzeugt die Bildkorrektureinheit 43 korrigierte Bilder wie korrigierte linke Bilder und korrigierte rechte Bilder, die Bilder sind, die durch Ersetzen des maskierten Bereiches des Vogelperspektivenbildes des Kamerabildes, das von der jeweiligen Kamera 5 bis 11 aufgenommen wird, durch ein Ersetzungsbild erhalten werden.
Ein maskierter Bereich ist ein Bereich, der für das Vogelperspektivenbild festgelegt wird, das ein Bild eines Rades enthält, so dass der Bereich einen Bereich enthält, bei dem das Bild des Rades angezeigt wird. Insbesondere ist ein maskierter Bereich als ein Bereich definiert, der derart eingestellt wird, dass dieser einem Bereich entspricht, der ein Bild eines Rades in dem linken oder rechten Vogelperspektivenbild anzeigt, so dass das Bild des Rades teilweise oder vollständig nicht angezeigt wird.
Außerdem ist das Ersetzungsbild ein anderes Bild, das anstelle des maskierten Bereiches angezeigt wird, so dass das Bild des Rades in dem maskierten Bereich nicht angezeigt wird wie es ist. D. h., es ist ein Bild, wie beispielsweise ein Historienbild, das gesammelt wurde, oder ein Bild, das insgesamt in einer gegebenen Farbe gemalt ist, das die Anzeige des Bildes des Rades verhindert kann, so dass dieses weniger auffällig ist.
Da ein maskierter Bereich für jeweils die Vogelperspektivenbilder der linken Kamera 9 und der rechten Kamera 11 eingestellt wird, werden jeweilige korrigierte Bilder der Vogelperspektivenbilder der linken Kamera 9 und der rechten Kamera 11 entsprechend dem Betätigungszustand des Lenkrades erzeugt.
Die Bildsyntheseeinheit 35 kombiniert die Vogelperspektivenbilder, die auf der Grundlage der Kamerabilder der Kameras 5 bis 11 erhalten werden, um ein synthetisiertes Bild zu erzeugen. Insbesondere werden die vorderen und hinteren Vogelperspektivenbilder, die von den vorderen und hinteren Kameras 5, 7 aufgenommen werden, und die linken und rechten korrigierten Bilder, die von den linken und rechten Kameras 9, 11 aufgenommen werden, kombiniert, um ein synthetisiertes Bild zu erzeugen.
Wie es später beschrieben wird, erfasst die Farbidentifizierungseinheit 37 die Farbe der Straßenoberfläche um den maskierten Bereich, um ein Ersetzungsbild in dem maskierten Bereich anzuzeigen.
Die Historienbildspeichereinheit 39 speichert Bilder, die von den Kameras 5 bis 11 in der Vergangenheit aufgenommen wurden, um ein Historienbild als ein Ersetzungsbild in dem maskierten Bereich anzuzeigen. Insbesondere speichert die Historienspeichereinheit die jeweiligen Vogelperspektivenbilder der Kamerabilder, die von der linken Kamera 9 und der rechten Kamera 11 aufgenommen werden und die maskierten Bereiche enthalten. Man beachte, dass nur das Bild des maskierten Bereiches jedes Vogelperspektivenbildes als ein Historienbild gespeichert werden kann bzw. muss.
Dieses Historienbild ist ein vorheriges Vogelperspektivenbild, das von der linken Kamera 9 oder der rechten Kamera 11, insbesondere ein vorheriges Bild, bei dem das Bild des Vorderrades nicht angezeigt wird oder das Bild des Vorderrades klein genug ist, so dass dieses kein unangemessenes Gefühl in den entsprechenden Vogelperspektivenbild erzeugt. Dieses Historienbild kann ein Bild sein, das erzeugt wurde, als der Lenkwinkel kleiner als ein vorbestimmter Wert war. Das Historienbild kann beispielsweise ein Bild sein, das erzeugt wurde, als das Fahrzeug nicht gelenkt wurde, und somit die Räder überhaupt nicht zu sehen waren.
Wie es später beschrieben wird, steuert die Anzeigesteuerungseinheit 41 ein Anzeigen von Bildern wie beispielsweise von synthetisierten Bildern einschließlich korrigierten Bildern auf der Anzeige 13.
Die verschiedenen Funktionen der Anzeigesteuerungsvorrichtung 3 werden durch die CPU 21 erzielt, die Programme ausführt, die in einem nichtflüchtigen computerlesbaren Aufzeichnungsmedium gespeichert sind. In diesem Beispiel entspricht der RAM 25 dem nichtflüchtigen computerlesbaren Aufzeichnungsmedium zum im Voraus Speichern von Programmen. Außerdem wird ein Verfahren, das einem oder mehreren Programmen entspricht, durch Ausführen der einen oder mehreren Programme ausgeführt. Die Anzahl der Mikrocomputer, die die Anzeigesteuerungsvorrichtung 3 ausbilden, kann eins oder mehr betragen.
[1-2. Anzeigebildschirm]
Im Folgenden wird das Bild, das auf dem Anzeigebildschirm der Anzeige 13 angezeigt wird, beschrieben.
Wie es in 4 gezeigt ist, wird in der Mitte des Anzeigebildschirms 51 der Anzeige 13 ein Bild aus der Sicht von oberhalb des eigenen Fahrzeuges J angezeigt.
Außerdem wird ein synthetisiertes Bild, das durch Bilder wie beispielsweise die Vogelperspektivenbilder ausgebildet wird, die von den Kamerabildern erhalten werden, die von den Kameras 5 bis 11 aufgenommen werden, um das eigene Fahrzeug J herum angezeigt.
Dieses synthetisierte Bild ist ein Bild, das aus Bildern von vier trapezförmigen Bereichen besteht, d. h. ein Bild mit rechteckigem Rahmen mit einem Raum in dem mittleren Teil, in dem das eigene Fahrzeug J angezeigt wird.
Insbesondere wird ein Vogelperspektivenbild des Kamerabildes, das von der vorderen Kamera 5 aufgenommen wird (d.h. ein vorderes Vogelperspektivenbild), in dem trapezförmigen Bereich vor dem eigenen Fahrzeug J (d. h. dem vorderen Bereich) angezeigt.
Ein Vogelperspektivenbild des Kamerabildes, das von der hinteren Kamera 7 aufgenommen wird (d. h. ein hinteres Vogelperspektivenbild), wird in dem trapezförmigen Bereich hinter dem eigenen Fahrzeug J (d. h. dem hinteren Bereich) angezeigt.
Ein Vogelperspektivenbild des Kamerabildes, das von der linken Kamera 9 aufgenommen wird (d. h. ein linkes Vogelperspektivenbild), oder ein korrigiertes Bild, das durch Korrigieren des linken Vogelperspektivenbildes erhalten wird (d. h. das linke korrigierte Bild), wird in dem trapezförmigen Bereich auf der linken Seite des eigenen Fahrzeuges J (d. h. dem linken Bereich) angezeigt.
Ein Vogelperspektivenbild des Kamerabildes, das von der rechten Kamera 11 aufgenommen wird (d. h. ein rechtes Vogelperspektivenbild), oder ein korrigiertes Bild, das durch Korrigieren des rechten Vogelperspektivenbildes erhalten wird (d.h. das rechte korrigierte Bild), wird in dem trapezförmigen Bereich auf der rechten Seite des eigenen Fahrzeuges J (d. h. dem rechten Bereich) angezeigt.
Insbesondere wird in dieser ersten Ausführungsform beispielsweise ein Bereich, in dem das linke Vogelperspektivenbild, das den gesamten Bereich bedeckt, in dem das linke Vorderrad angezeigt wird, als der linke maskierte Bereich M1 eingestellt. Wenn somit beispielsweise das Lenkrad nach links gedreht wird und daher der Lenkwinkel des linken Vorderrades gleich oder größer als ein vorbestimmter Wert wird, wird ein Ersetzungsbild, beispielsweise ein Historienbild, das später beschrieben wird, angeordnet und über dem maskierten Bereich M1 angezeigt, um das linke korrigierte Bild zu erzeugen.
Der maskierte Bereich M1 kann ein Rechteck sein, das das Bild des vorstehenden linken Vorderrades bedeckt. Ein rechteckiger Bereich, der sich in der Vorne-hinten-Richtung in einer gegebenen Breite von der linken Kante des eigenen Fahrzeuges J erstreckt, kann beispielsweise verwendet werden. Außerdem kann der Vorne-hinten-Bereich des maskierten Bereiches M1 ein vorderes Ende , das der vorderen Kante des eigenen Fahrzeuges J entspricht, und ein hinteres Ende aufweisen, das der hinteren Kante des Vorderrades entspricht, wenn der Lenkwinkel gleich 0° ist.
Auf ähnliche Weise wird ein Bereich, in dem das rechte Vogelperspektivenbild, das den gesamten Bereich bedeckt, in dem das rechte Vorderrad angezeigt wird, als der linke maskierte Bereich M2 eingestellt. Wenn somit beispielsweise das Lenkrad nach rechts gedreht wird und daher der Lenkwinkel des rechten Vorderrades gleich oder größer als ein vorbestimmter Wert wird, wird ein Ersetzungsbild wie beispielsweise ein Historienbild angeordnet und über dem maskierten Bereich M2 angezeigt, um das linke korrigierte Bild zu erzeugen.
Der maskierte Bereich M2 auf der rechten Seite wird derart festgelegt, dass er symmetrisch zu dem maskierten Bereich M1 auf der linken Seite ist, wenn er von oben betrachtet wird. Daher sind dessen Gestalt, Größe und Position ebenfalls symmetrisch zu denjenigen des linken maskierten Bereiches M1.
Wie es oben beschrieben wurde, ist das synthetisierte Bild eine Kombination aus dem vorderen Vogelperspektivenbild, dem hinteren Vogelperspektivenbild, dem linken Vogelperspektivenbild oder linken korrigierten Bild und dem rechten Vogelperspektivenbild oder rechten korrigierten Bild. In der Praxis wird eine Bildverarbeitung durchgeführt, um die Grenzen eines jeweiligen Bildes unauffällig zu machen.
Hier wird beispielsweise jede Grenze zwischen benachbarten Bildern als von einem der vier Ecken des Bildes des eigenen Fahrzeuges J mit einem Winkel von 45° in Bezug auf die Vorne-hinten-Richtung des eigenen Fahrzeuges J geneigt eingestellt, so dass jedes Bild eine trapezförmige Gestalt aufweist.
[1-3. Verarbeitung]
Im Folgenden wird die Verarbeitung, die von der Anzeigesteuerungsvorrichtung 3 durchgeführt wird, d. h. ein Anzeigesteuerungsprozess zum Anzeigen eines synthetisierten Bildes usw. auf dem Anzeigebildschirm 51 der Anzeige 13, beschrieben.
<Anzeigesteuerungsprozess>
Dieser Anzeigesteuerungsprozess wird in bestimmten Zeitintervallen wiederholt ausgeführt. Wie es in 5 gezeigt ist, werden in Schritt 100 Kamerabilder, die von den Kameras 5 bis 11 aufgenommen werden, von den Kameras 5 bis 11 erlangt.
Im anschließenden Schritt 110 führt die Vogelperspektivenansichtsumwandlungseinheit 33 eine Vogelperspektivenansichtsumwandlung hinsichtlich jedes Kamerabildes durch, um ein bekanntes Vogelperspektivenbild aus der Sicht von oberhalb des eigenen Fahrzeuges J zu erzeugen.
Im anschließenden Schritt 120 führt die Bildkorrektureinheit 43 einen Prozess zum Erzeugen eines später beschriebenen korrigierten Bildes durch.
Im anschließenden Schritt 130 kombiniert die Bildsyntheseeinheit 35 die korrigierten Bilder und die Vogelperspektivenbilder, um ein synthetisiertes Bild zu erzeugen. Wie es in 4 gezeigt ist, werden insbesondere das linke korrigierte Bild oder das rechte korrigierte Bild und die anderen Vogelperspektivenbilder kombiniert, um ein rechteckiges rahmenförmiges synthetisiertes Bild zu erzeugen.
Im anschließenden Schritt 140 erzeugt die Anzeigesteuerungseinheit 41 ein Bild (d. h. ein Anzeigebild), in dem das Bild des eigenen Fahrzeuges J angeordnet ist und in der Mitte des synthetisierten Bildes angezeigt wird.
Im anschließenden Schritt 150 wird das Anzeigebild, in dem das eigene Fahrzeug J angeordnet und in der Mitte des synthetisierten Bildes angezeigt wird, auf der Anzeige 13 angezeigt, und dann wird der Prozess vorläufig beendet.
<Korrekturbilderzeugungsprozess>
Im Folgenden wird der Prozess zum Erzeugen eines korrigierten Bildes, beispielsweise eines linken korrigierten Bildes oder eines rechten korrigierten Bildes, der in Schritt 120 ausgeführt wird, beschrieben.
Wie es in 6 gezeigt ist, bestimmt die Lenkbestimmungseinheit 31 im Schritt 200 auf der Grundlage eines Signales, das von dem Lenksensor 15 gesendet wird, ob der Lenkwinkel des Rades (des Vorderrades) gleich oder größer als ein vorbestimmter Wert ist. Wenn das Ergebnis der Bestimmung positiv ist, schreitet der Prozess zum Schritt 210, und wenn das Ergebnis negativ ist, wird der Prozess vorläufig beendet.
In diesem Beispiel erfasst die Lenkbestimmungseinheit 31 außerdem auf der Grundlage des Signals von dem Lenksensor 15, ob der Lenkwinkel ein Ergebnis einer Drehung des Lenkrades nach rechts oder nach links ist.
Wie es oben beschrieben wurde, ist der Lenkwinkel ein Wert, der den Betrag des Winkels angibt, mit dem das Rad in Bezug auf die Vorne-hinten-Richtung des eigenen Fahrzeuges geneigt ist (d.h. ein Absolutwert). Insbesondere ist dieser ein Winkel zwischen der Vorne-hinten-Richtung und der Längsrichtung, wenn das Rad von oben betrachtet wird.
Der vorbestimmte Wert zum Bestimmen dieses Lenkwinkels kann durch Auswerten von Experimenten oder Ähnlichem in Bezug auf das Niveau des Lenkwinkels bestimmt werden, das zu einem Bild eines Rades führt, das ein unangenehmes Gefühl gibt.
Da in Schritt 210 der Lenkwinkel groß ist, wird bestimmt, ob ein Historienbild in dem EEPROM 27 vorhanden ist, der ein Speicher ist. Wenn das Ergebnis der Bestimmung positiv ist, schreitet der Prozess zum Schritt 220, und wenn das Ergebnis negativ ist, schreitet der Prozess zum Schritt 230.
In dem EEPROM 27 werden die Bilder der Umgebung des eigenen Fahrzeuges, die in der Vergangenheit aufgenommen wurden, aufeinanderfolgend gespeichert. Insbesondere werden die linken Vogelperspektivenbilder der linken Kamera 9 einschließlich der linken maskierten Bereiche M1 und die rechten Vogelperspektivenbilder der rechten Kamera 11 einschließlich der rechten maskierten Bereiche M2 gespeichert. Man beachte, dass Vogelperspektivenbilder der linken maskierten Bereiche M1 und der rechten maskierten Bereiche M2 gespeichert werden können.
Im Schritt 220 maskiert die Bildkorrektureinheit 43 mit dem Historienbild einen Bereich (d. h. den maskierten Bereich), der das Rad in dem linken oder dem rechten Vogelperspektivenbild bedeckt, entsprechend der Richtung, in der das Lenkrad gedreht wird, d.h. der Richtung, in die das Fahrzeug gelenkt wird, um ein korrigiertes Bild zu erzeugen. D.h., das Bild des maskierten Bereiches wird durch das Historienbild ersetzt, um ein korrigiertes Bild zu erzeugen.
Wenn beispielsweise das Lenkrad nach links gedreht wird und der Lenkwinkel gleich oder größer als der vorbestimmte Wert wird, wird, um das Bild des Rades linken Vorderrades zu löschen, ein Historienbild entsprechend dem linken maskierten Bereich M1 über dem linken maskierten Bereich M1 angeordnet, um ein linkes korrigiertes Bild zu erzeugen.
Diesbezüglich wird kein Historienbild über den rechten maskierten Bereich M2 angeordnet, aber es kann ein entsprechendes Historienbild auf ähnliche Weise wie bei dem linken maskierten Bereich M1 angeordnet werden.
Wenn das Lenkrad nach rechts gedreht wird und der Lenkwinkel gleich oder größer als der vorbestimmte Wert wird, wird, um das Bild des Rades des rechten Vorderrades zu löschen, ein Historienbild des rechten maskierten Bereiches M2 über dem rechten maskierten Bereich M2 angeordnet, um ein rechtes korrigiertes Bild zu erzeugen.
Diesbezüglich wird kein Historienbild über dem linken maskierten Bereich M1 angeordnet, aber es kann ein Historienbild auf ähnliche Weise wie auf dem rechten maskierten Bereich M1 angeordnet werden.
Da im Schritt 230 kein Historienbild in dem Speicher vorhanden ist, wird ein anderes Ersetzungsbild, das sich von dem Historienbild unterscheidet, verwendet, und das Ersetzungsbild wird ähnlich wie bei der Maskierung durch das Historienbild über dem maskierten Bereich angeordnet, um ein korrigiertes Bild zu erzeugen.
Wenn beispielsweise das Lenkrad nach links gedreht wird und der Lenkwinkel gleich oder größer als der vorbestimmte Wert wird, wird ein Ersetzungsbild über dem linken maskierten Bereich M1 angeordnet, um ein linkes korrigiertes Bild zu erzeugen.
Wenn das Lenkrad nach rechts gedreht wird und der Lenkwinkel gleich oder größer als der vorbestimmte Wert wird, wird ein Ersetzungsbild über dem rechten maskierten Bereich M2 angeordnet, um ein rechtes korrigiertes Bild zu erzeugen.
Dieses Ersetzungsbild ist vorzugsweise ein Bild, das dem Bild in der Umgebung des maskierten Bereichs ähnelt. Somit identifiziert die Farbidentifizierungseinheit 37 die Farbe des Bildes in der Umgebung des maskierten Bereiches und erzeugt ein Ersetzungsbild, das in derselben Farbe oder einer Farbe gemalt ist, die am nächsten dabei liegt, oder ein Ersetzungsbild, das ein gegebenes Bild aufweist.
[1-4. Wirkungen]
Gemäß der oben im Detail beschrieben vorliegenden Ausführungsform können die folgenden Wirkungen erzielt werden.
(1a) Gemäß der ersten Ausführungsform wird ein Vogelperspektivenbild von jedem der Kamerabilder erzeugt, die von den jeweiligen Kameras 5 bis 11 aufgenommen werden. Dann wird bestimmt, ob der Lenkwinkel des Rades des eigenen Fahrzeuges J gleich oder größer als ein vorbestimmter Wert ist. Wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist, wird ein Historienbild oder ein anderes Ersetzungsbild, das in einer gegebenen Farbe gemalt ist, über dem entsprechenden maskierten Bereich angeordnet, um ein korrigiertes Bild zu erzeugen. Danach werden das korrigierte Bild und die anderen Vogelperspektivenbilder in ein synthetisiertes Bild kombiniert, das auf der Anzeige 13 zusammen mit einem Bild angezeigt wird, das das eigene Fahrzeug J zeigt.
Gemäß einer derartigen Konfiguration kann, wenn beispielsweise das Fahrzeug stark gelenkt wird und sich somit der Lenkwinkel eines Rades erhöht, verhindert werden, dass das Bild des Rades in dem synthetisierten Bild angezeigt wird, das die Umgebung des Fahrzeuges zeigt.
Mit anderen Worten, es ist möglich, zu verhindern, dass die Anzeige in dem synthetisierten Bild, das die Umgebung des Fahrzeuges zeigt, ein Rad angezeigt, das derart verformt ist, dass es stark in einer diagonalen Richtung von einer Position vorsteht, die sich von der normalen Position des Rades unterscheidet.
Sogar wenn eine Person in dem Fahrzeug das Anzeigebild, das auf der Anzeige 13 angezeigt wird, betrachtet, fühlt diese sich wenig wahrscheinlich unwohl.
Man beachte, dass, auch wenn es bevorzugt ist, den maskierten Bereich derart einzustellen, dass das Bild des Rades insgesamt ausgelöscht wird, die Wirkung einer Verringerung eines falschen Gefühls auch erhalten werden kann, wenn ein Bild eines Teiles des Rades, beispielsweise der Vorderseite des stark vorstehenden Teiles des Vorderrades oder der vordere Teil des Rades, gelöscht wird.
(1b) Wenn ein Ersetzungsbild, das in einer gegebenen Farbe gemalt ist, über dem maskierten Bereich angeordnet wird, besteht der Vorteil darin, dass dieses ein weniger unangenehmes Gefühl vermittelt, da eine Farbe, die am nächsten bei der Farbe der Nachbarschaft des maskierten Bereiches liegt, verwendet wird.
[1-5. Beziehung zwischen den Ansprüchen und der Ausführungsform]
In der oben beschriebenen ersten Ausführungsform sind das eigene Fahrzeug J, die Kameras 5 bis 11, die Anzeige 13, die Anzeigesteuerungsvorrichtung 3, die Lenkbestimmungseinheit 31, die Vogelperspektivenansichtsumwandlungseinheit 33, die Bildsyntheseeinheit 35, die Historienbildspeichereinheit 39, die Bildkorrektureinheit 43 und die Anzeigesteuerungseinheit 41 jeweilige Beispiele des eigenen Fahrzeuges, der Kamera, der Anzeigevorrichtung, der Anzeigesteuerungsvorrichtung, der Lenkbestimmungseinheit, der Blickpunktumwandlungseinheit, der Bildsyntheseeinheit, des Speichers, der Bildkorrektureinheit und der Anzeigesteuerungseinheit der vorliegenden Erfindung.
[2. Zweite Ausführungsform]
Im Folgenden wird die zweite Ausführungsform beschrieben. Die Beschreibung derselben Teile wie in der ersten Ausführungsform wird weggelassen.
Da die Hardwarekonfiguration der zweiten Ausführungsform derjenigen der ersten Ausführungsform ähnelt, werden dieselben Merkmale unter Verwendung derselben Bezugszeichen beschrieben.
In der zweiten Ausführungsform ändert die Bildkorrektureinheit 43 die Größe des maskierten Bereiches entsprechend dem Lenkwinkel.
Der maskierte Bereich M1 auf der linken Seite des Vorderrades des eigenen Fahrzeuges J wird beispielsweise in einen ersten maskierten Bereich m1 und einen zweiten maskierten Bereich m2 unterteilt, wobei der Erstere näher bei dem eigenen Fahrzeug J (d.h. auf der rechten Seite) liegt, wie es in 7 gezeigt ist. Es ist ebenfalls möglich, diesen in mehr Teile zu unterteilen.
Der erste maskierte Bereich m1 und der zweite maskierte Bereich m2 werden durch Teilen des maskierten Bereiches M1 in zwei gleiche Teile erhalten, so dass diese in 7 lateral symmetrisch sind. Außerdem werden der erste maskierte Bereich m1 und der zweite maskierte Bereich m2 derart festgelegt, dass die zu verwendende Zone entsprechend dem Lenkwinkel unterschiedlich ist.
Insbesondere wenn sich der Lenkwinkel in dem Bereich von gleich oder größer als dem vorbestimmten Wert befindet und kleiner als 1/2 des maximalen Lenkwinkels ist (d.h. ein erster Lenkwinkel), wird der erste maskierte Bereich m1 als der maskierte Bereich M1 verwendet. D.h., wenn der Lenkwinkel klein ist, wird der schmale erste maskierte Bereich m1 verwendet, da das Rad nicht viel vorsteht.
Wenn der Lenkwinkel zwischen 1/2 des maximalen Lenkwinkels und dem maximalen Lenkwinkel liegt (d.h. ein zweiter Lenkwinkel), werden der erste maskierte Bereich m1 und der zweite maskierte Bereich m2 zusammen als maskierter Bereich M1 verwendet. D.h., wenn der Lenkwinkel groß ist, werden der breite, erste maskierte Bereich m1 und zweite maskierte Bereich m2 verwendet, da das Rad stark vorsteht.
Im Folgenden wird der Prozess zum Einstellen eines maskierten Bereiches gemäß der zweiten Ausführungsform beschrieben.
Wie es in 8 gezeigt ist, erfasst der Lenksensor 15 im Schritt 300 den Lenkwinkel.
Im folgenden Schritt 310 wird ein maskierter Bereich M1 einer Zone, die dem Lenkwinkel entspricht, eingestellt, und der Prozess wird vorläufig beendet.
D. h., wenn der Lenkwinkel der erste Lenkwinkel ist, wird der erste maskierte Bereich m1 als der maskierte Bereich M1 eingestellt, über dem das Ersetzungsbild angeordnet wird, und wenn der Lenkwinkel der zweite Lenkwinkel ist, der größer als der erste Lenkwinkel ist, wird ein maskierter Bereich M1, der eine Kombination aus dem ersten maskierten Bereich m1 und dem zweiten maskierten Bereich m2 ist, als der maskierte Bereich M1 eingestellt, über dem das Ersetzungsbild angeordnet wird.
Nach der Einstellung des maskierten Bereiches M1 entsprechend dem Lenkwinkel wird wie in der ersten Ausführungsform ein Ersetzungsbild einer Größe, die dem eingestellten maskierten Bereich M1 entspricht, angeordnet, um ein korrigiertes Bild zu erzeugen.
Hier ist der maskierte Bereich M1 auf der linken Seite des Vorderrades des eigenen Fahrzeuges J als ein Beispiel beschrieben, da aber die linken und rechten maskierten Bereiche M1, M2 symmetrisch sind, ist es möglich, ein korrigiertes Bild auf ähnliche Weise für den rechten maskierten Bereich M2 zu erzeugen, wenn der rechte maskierte Bereich M2 symmetrisch zu dem linken maskierten Bereich M1 eingestellt wird.
In der zweiten Ausführungsform stellt die Bildkorrektureinheit 43 den maskierten Bereich entsprechend dem Betrag des Lenkwinkels ein, genauer gesagt, derart, dass der maskierte Bereich größer wird, wenn der Betrag des Lenkwinkels größer ist. Daher ist es möglich, entsprechend dem vorstehenden Zustand des Rades einen maskierten Bereich mit einem Bereich einzustellen, der so klein wie möglich ist, und es kann zusätzlich zu der Wirkung der ersten Ausführungsform ein unangenehmes Gefühl verringert werden.
[3. Dritte Ausführungsform]
Im Folgenden wird die dritte Ausführungsform beschrieben. Die Beschreibung derselben Inhalte wie in der ersten Ausführungsform wird weggelassen.
Da die Hardwarekonfiguration der dritten Ausführungsform derjenigen der ersten Ausführungsform ähnelt, werden dieselben Merkmale unter Verwendung derselben Bezugszeichen beschrieben.
In der dritten Ausführungsform wird anstelle der Bereitstellung des maskierten Bereiches, der in der ersten Ausführungsform beschrieben wurde, das Bild des eigenen Fahrzeuges J groß angezeigt, um den maskierten Bereich zu bedecken, wenn der Lenkwinkel gleich oder größer als ein vorbestimmter Wert ist.
Wie es in 9 gezeigt ist, wird insbesondere das eigene Fahrzeug J in der Mitte des Anzeigebildes 51 angezeigt, und die Größe des eigenen Fahrzeuges J ist größer als diejenige des eigenen Fahrzeuges der ersten Ausführungsform, die in 4 gezeigt ist, wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist.
D. h., wenn der Lenkwinkel kleiner als der vorbestimmte Wert ist, werden das eigene Fahrzeug J mit einem kleinen Bild in der Mitte des Anzeigebildschirmes 51 und ein synthetisiertes Bild, das ein korrigiertes Bild enthält, bei dem Ersetzungsbilder über den linken und rechten maskierten Bereichen M1 und M2 angeordnet sind, angezeigt, wie es in 4 gezeigt ist.
Wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist, wird ein großes eigenes Fahrzeug J in dem synthetisierten Bild mit einer Größe derart angeordnet, dass die maskierten Bereiche M1 und M2 der 4 bedeckt werden, wie es in 9 gezeigt ist. Das synthetisierte Bild der Umgebung wird mit derselben Vergrößerung verwendet, ohne dieses zu vergrößern.
In der dritten Ausführungsform stellt die Bildkorrektureinheit 43 das Bild des eigenen Fahrzeuges entsprechend dem Betrag des Lenkwinkels ein. Genauer gesagt stellt die Bildkorrektureinheit das Bild des eigenen Fahrzeuges derart ein, dass es größer wird, wenn der Betrag des Lenkwinkels größer ist. Daher ist es zusätzlich zu der Wirkung der ersten Ausführungsform möglich, ein unangenehmes Gefühl zu verringern.
[4. Vierte Ausführungsform]
Im Folgenden wird die vierte Ausführungsform beschrieben. Die Beschreibung derselben Teile wie in der ersten Ausführungsform wird weggelassen.
Da die Hardwarekonfiguration der vierten Ausführungsform derjenigen der ersten Ausführungsform ähnelt, werden dieselben Merkmale unter Verwendung derselben Bezugszeichen beschrieben.
In der vierten Ausführungsform ändert die Bildkorrektureinheit 43 das Mischungsverhältnis der Bilder der Kameras 5 bis 11, deren Bildbereiche einander bedecken, beispielsweise das Mischungsverhältnis einer a-Mischung, um ein synthetisiertes Bild zu erzeugen, wenn die Bildbereiche der Kameras 5 bis 11 einander überdecken.
In der vierten Ausführungsform ist beispielsweise der Abbildungsbereich der vorderen Kamera 5 gleich 180° oder größer, wie es in 10 gezeigt ist, und dieser überdeckt sich mit den vorderen Teilen der Abbildungsbereiche der linken und rechten Kameras 9, 11. Insbesondere ist demzufolge ein Teil oder der gesamte Teil der linken und rechten maskierten Bereiche M1 und M2 der ersten Ausführungsform in dem überdeckenden Teil der Abbildungsbereiche enthalten.
In diesem Fall wird in dem Teil, in dem sich die Abbildungsbereiche überdecken, der Mischungsanteil des Abbildungsbereiches der vorderen Kamera 5 für das vordere Vogelperspektivenbild auf 100 % eingestellt, und der Mischungsanteil der Abbildungsbereiche der linken Kamera 9 und der rechten Kamera 11 für das linke Vogelperspektivenbild und das rechtes Vogelperspektivenbild wird jeweils auf 0 % eingestellt.
D. h., wenn das Kamerabild, das von der vorderen Kamera 5 aufgenommen wird, ein umgewandeltes Vogelperspektivenbild ist, ist im Vergleich dazu, wenn die Kamerabilder, die von den linken und rechten Kameras 9, 11 aufgenommen werden, umgewandelte Vogelperspektivenbilder sind, das Rad (d. h. das Vorderrad) weniger wahrscheinlich zu sehen, und daher gibt es eine geringere Verzerrung und Positionsverschiebung in dem Bild des Rades. Somit wird ein unangenehmes Gefühl, das von dem angezeigten synthetisierten Bild herrührt, verringert.
[5. Weitere Ausführungsformen]
Oben wurde eine Ausführungsform der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung ist jedoch nicht auf die oben beschriebene Ausführungsform beschränkt, und es können verschiedene Modi verwendet werden, solange diese innerhalb des technischen Bereiches der vorliegenden Erfindung liegen.
(5a) In den oben beschriebenen Ausführungsformen werden beispielsweise maskierte Bereiche für die linken und rechten Vorderräder eingestellt, aber wenn der Lenkwinkel der Hinterräder sich ändert, können ähnlich wie in den oben beschriebenen Ausführungsformen maskierte Bereiche für die Vogelperspektivenbilder der hinteren Räder eingestellt werden, um korrigierte Bilder zu erzeugen und anzuzeigen.
In diesem Fall können die maskierten Bereiche ebenfalls derart eingestellt werden, dass ein Teil oder der gesamte Teil des Bildes des Hinterrades, der ein unangenehmes Gefühl vermittelt, nicht angezeigt wird.
(5b) Der maskierte Bereich kann das Bild des Rades, das von einer Seitenkante des eigenen Fahrzeuges vorsteht, vollständig bedecken, aber es ist beispielsweise ebenfalls möglich, einen Teil des Bildes des Rades wie beispielsweise das vordere Ende des Rades, das stark vorsteht, zu maskieren.
(5c) Alternativ kann anstatt dessen, dass das Bild des Rades in dem maskierten Bereich nicht angezeigt wird, verhindert werden, dass das Bild des Rades nicht angezeigt wird, indem es unauffällig ist. Um zu erzielen, dass dieses schwierig als ein Rad erkannt wird, kann beispielsweise ein anderes Bild, beispielsweise ein Bild einer anderen Straßenoberfläche, halbtransparent dem Bild des Rades in dem maskierten Bereich überlagert werden. Diesbezüglich ist es vorteilhaft, die Farbe des maskierten Bereiches nahe an die Farbe des Umgebungsbereiches zu bringen. Alternativ kann ein Muster wie beispielsweise ein Gitter für den maskierten Bereich verwendet werden.
(5d) Beispiele für Ersetzungsbilder, die nicht das Historienbild sind, beinhalten ein Bild, das in einer gegebenen Farbe gemalt ist, können aber mit einem anderen Muster oder Ähnlichem bedeckt sein.
(5e) In den obigen Ausführungsformen wird der Lenkwinkel durch den Lenksensor erfasst, aber die vorliegende Erfindung ist nicht darauf beschränkt. Da das Bild des Rades sich in Abhängigkeit von dem Lenkwinkel ändert, kann beispielsweise der Lenkwinkel aus dem Vogelperspektivenbild oder Ähnlichem, in dem das Rad gezeigt ist, bestimmt werden.
Außerdem können einige oder sämtliche der Funktionen, die von der Anzeigesteuerungsvorrichtung ausgeführt werden, mittels Hardware, beispielsweise durch eine oder mehrere ICs, ausgebildet werden.
[Bezugszeichenliste]

3: Anzeigesteuerungsvorrichtung
5: vordere Kamera
7: hintere Kamera
9: linke Kamera
11: rechte Kamera
15: Lenksensor
13: Anzeige
31: Lenkbestimmungseinheit
33: Vogelperspektivenansichtsumwandlungseinheit
35: Bildsyntheseeinheit
37: Farbidentifizierungseinheit
39: Historienbildspeichereinheit
41: Anzeigesteuerungseinheit
43: Bildkorrektureinheit
J: eigenes Fahrzeug

Claims

Anzeigesteuerungsvorrichtung, die aufweist: eine Blickpunktumwandlungseinheit (33), die einen Blickpunkt von Bildern, die von mehreren Kameras (5-11) aufgenommen werden, die an einem eigenen Fahrzeug (J) montiert sind, umwandelt, um blickpunktgewandelte Bilder aus der Sicht von oberhalb des eigenen Fahrzeuges zu erhalten; eine Lenkbestimmungseinheit (31), die bestimmt, ob ein Lenkwinkel eines Rades des eigenen Fahrzeuges gleich oder größer als ein vorbestimmter Wert ist; eine Bildkorrektureinheit (43), die, wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist, ein korrigiertes Bild durch Verarbeiten eines blickpunktgewandelten Bildes des Rades in dem blickpunktgewandelten Bild erzeugt, so dass eine Anzeige des Bildes des Rades unterdrückt wird; eine Bildsyntheseeinheit (35), die das korrigierte Bild und mindestens eines der blickpunktgewandelten Bilder, das sich von dem korrigierten Bild unterscheidet, synthetisiert, um ein synthetisiertes Bild zu erzeugen; und eine Anzeigesteuerungseinheit (41), die das synthetisierte Bild und ein Bild des eigenen Fahrzeuges an der Position des eigenen Fahrzeuges auf einer Anzeigevorrichtung (13) anzeigt.
Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei das korrigierte Bild ein Bild ist, das in dem blickpunktgewandelten Bild ein Ersetzungsbild, das sich von dem Bild des Rades unterscheidet, in einem maskierten Bereich, der derart eingestellt ist, dass er einen Bereich enthält, in dem das Bild des Rades angezeigt wird, anzeigt.
Anzeigesteuerungsvorrichtung nach Anspruch 2, wobei das Ersetzungsbild, das in dem maskierten Bereich angezeigt wird, ein Historienbild des maskierten Bereiches ist, das vorher durch eine der Kameras aufgenommen wurde.
Anzeigesteuerungsvorrichtung nach Anspruch 2, wobei die Bildkorrektureinheit bestimmt, ob ein Historienbild des maskierten Bereiches, das vorher durch eine der Kameras aufgenommen wurde, in einem Speicher gespeichert ist, und wenn das Historienbild gespeichert ist, das Historienbild als das Ersetzungsbild in dem maskierten Bereich anzeigt, und wenn das Historienbild nicht gespeichert ist, ein anderes Ersetzungsbild, das sich von dem Historienbild unterscheidet, in dem maskierten Bereich anzeigt.
Anzeigesteuerungsvorrichtung nach Anspruch 2 oder 4, wobei das Ersetzungsbild, das in dem maskierten Bereich angezeigt wird, ein Ersetzungsbild ist, das eine gegebene Farbe oder ein gegebenes Muster aufweist.
Anzeigesteuerungsvorrichtung nach Anspruch 5, wobei die Bildkorrektureinheit das Ersetzungsbild auf der Grundlage eines Bildes eines Bereiches in der Umgebung des maskierten Bereiches erzeugt.
Anzeigesteuerungsvorrichtung nach einem der Ansprüche 2 bis 6, wobei die Bildkorrektureinheit den maskierten Bereich vergrößert, wenn sich der Lenkwinkel erhöht.
Anzeigesteuerungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Bildkorrektureinheit ein Bild, das das eigene Fahrzeug zeigt, an der Position des eigenen Fahrzeuges in dem blickpunktgewandelten Bild anzeigt, und wenn der Lenkwinkel gleich oder größer als ein vorbestimmter Wert ist, das Bild des eigenen Fahrzeuges im Vergleich dazu, wenn der Lenkwinkel kleiner als der vorbestimmte Wert ist, vergrößert.
Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei wenn es einen Bereich gibt, der das Bild des Rades in einer Zone zeigt, in dem Abbildungsbereiche der Kameras einander überdecken, die Bildkorrektureinheit ein Mischungsverhältnis der Bilder der Kameras, deren Abbildungsbereiche einander überdecken, ändert, um die Anzeige des Bildes des Rades zu unterdrücken.
Anzeigesteuerungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei der Lenkwinkel auf der Grundlage eines Signals von einem Lenksensor (15) oder des Bildes des Rades erfasst wird.
Anzeigesteuerungsverfahren, das die folgenden Schritte aufweist: einen Blickpunktumwandlungsschritt zum Umwandeln eines Blickpunktes von Bildern, die von mehreren Kameras (5-11) aufgenommen werden, die an einem eigenen Fahrzeug (J) montiert sind, um blickpunktgewandelte Bilder aus der Sicht von oberhalb des eigenen Fahrzeuges zu erhalten; einen Lenkbestimmungsschritt zum Bestimmen, ob ein Lenkwinkel eines Rades des eigenen Fahrzeuges gleich oder größer als ein vorbestimmter Wert ist; einen Bildkorrekturschritt zum Erzeugen eines korrigierten Bildes durch Verarbeiten eines blickpunktgewandelten Bildes des Rades in dem blickpunktgewandelten Bild, so dass eine Anzeige des Bildes des Rades verhindert wird, wenn der Lenkwinkel gleich oder größer als der vorbestimmte Wert ist; einen Bildsyntheseschritt zum Synthetisieren des korrigierten Bildes und mindestens eines der blickpunktgewandelten Bilder, das sich von dem korrigierten Bild unterscheidet, um ein synthetisiertes Bild zu erzeugen; und einen Anzeigesteuerungsschritt zum Anzeigen des synthetisierten Bildes und eines Bildes des eigenen Fahrzeuges an der Position des eigenen Fahrzeuges auf einer Anzeigevorrichtung (13).
Anzeigesteuerungsverfahren nach Anspruch 11, wobei der Bildkorrekturschritt einen maskierten Bereich vergrößert, der derart eingestellt ist, dass er einen Bereich enthält, der das Bild des Rades zeigt, wenn sich der Lenkwinkel erhöht.
Anzeigesteuerungsverfahren nach Anspruch 11 oder 12, wobei der Bildkorrekturschritt ein Bild, das das eigene Fahrzeug zeigt, an der Position des eigenen Fahrzeuges in dem blickpunktgewandelten Bild anzeigt, und wenn der Lenkwinkel gleich oder größer als ein vorbestimmter Wert ist, das Bild des eigenen Fahrzeuges im Vergleich dazu vergrößert, wenn der Lenkwinkel kleiner als der vorbestimmte Wert ist.