DE112017002951T5

DE112017002951T5 - Bilderzeugungsgerät und -programm

Info

Publication number: DE112017002951T5
Application number: DE112017002951.1T
Authority: DE
Inventors: Masayuki Amagai; Muneaki Matsumoto; Nobuyuki Yokota
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-06-13
Filing date: 2017-06-13
Publication date: 2019-02-28
Also published as: JP2017224881A; WO2017217422A1; CN109314766A; US20190126827A1; JP6555195B2

Abstract

Eine Bilderzeugungseinheit (S9) erzeugt Bilder, die ein Fahrzeug und die Nähe von einem virtuellen Sichtpunkt, der außerhalb des Fahrzeugs eingestellt ist, unter Verwendung der Nähe des Fahrzeugs, das von Bilderlangungseinheiten erlangt wurde, zeigen. Eine Wegschätzungseinheit (S5) schätzt einen Fahrweg des Fahrzeugs auf der Grundlage eines Fahrzustandes des Fahrzeugs. Eine Bildsyntheseeinheit (S11) verarbeitet entweder eines der Bilder des Fahrzeugs unter den Bildern, die von der Bilderzeugungseinheit erzeugt werden, oder ein Bild des geschätzten Fahrwegs zu einem transparenten Bild und überlagert das transparente Bild über ein anderes der Bilder und ein Bild der Nähe unter den Bildern, die von der Bilderzeugungseinheit erzeugt werden.

Description

Querbezug zu verwandter Anmeldung
Diese internationale Anmeldung basiert auf der vorigen Japanischen Patentanmeldung Nr. 2016-117010 , die beim Japanischen Patentamt am 13. Juni 2016 eingereicht wurde, und beansprucht deren Priorität, wobei die gesamten Inhalte hier durch Bezugnahme aufgenommen sind.
Technisches Feld
Die vorliegende Erfindung bezieht sich auf eine Technik zum Erzeugen eines Bildes in Übereinstimmung mit einem Fahrzeug und der Nähe des Fahrzeugs.
Stand der Technik
Die nachstehende PTL 1 beschreibt eine Technik über eine fahrzeugseitige Kamera zum Erzeugen von Bildern, die das eigene Fahrzeug und die Nähe des Fahrzeugs von einem virtuellen Sichtpunkt zeigen, der außerhalb des Fahrzeugs auf der Grundlage eines erlangten Bildes der Nähe des Fahrzeugs und eines Bildes von einem Dach des Fahrzeugs oder ähnlichem, die im Vorhinein vorbereitet werden, eingestellt ist. Der virtuelle Sichtpunkt ist ein virtuell eingestellter Sichtpunkt und solch ein Sichtpunkt, der zum Beispiel schräg von oberhalb des Fahrzeugs oder ähnlichem in einem dreidimensionalen Raum, der das gesamte Fahrzeug enthält, eingestellt ist, erlaubt ein Verstehen der Beziehung zwischen dem Fahrzeug und der Situation in der Nähe.
Zitierliste
Patentliteratur
PTL 1: WO 00/07373
Zusammenfassung der Erfindung
Mittlerweile ist auch eine Technik bekannt, die beim Rückwärtsfahren eines Fahrzeugs und ähnlichem einen Fahrweg des Fahrzeugs anzeigt, der aus dem Lenkwinkel und ähnlichem geschätzt wird und auf ein aufgenommenes Bild der hinteren Nähe des Fahrzeugs überlagert wird. Bei detaillierten Untersuchungen des Erfinders wurde jedoch bei der in PTL 1 beschriebenen Technik ein Problem festgestellt, dass das Anzeigen von Bildern, die ein Fahrzeug und die Nähe des Fahrzeugs von einem virtuellen Sichtpunkt (im Folgenden auch 3D-Ansicht genannt), die einfach über den Fahrweg gelegt werden, ein schwer erkennbares Bild erzeugt.
Bei einem Aspekt der vorliegenden Offenbarung ist es wünschenswert, die Erkennung beider Bilder, die ein Fahrzeug und die Nähe des Fahrzeugs zeigen, aus einer virtuellen Perspektive und einem geschätzten Fahrweg des Fahrzeugs zu ermöglichen.
Ein anderer Aspekt der vorliegenden Offenbarung ist ein Bilderzeugungsgerät, das Bilderlangungseinheiten, eine Bilderzeugungseinheit, eine Wegschätzungseinheit und eine Bildsyntheseeinheit enthält.
Die Bilderlangungseinheiten sind konfiguriert, um ein Bild der Nähe eines Fahrzeugs zu erlangen. Die Bilderzeugungseinheit ist konfiguriert, um Bilder zu erzeugen, die das Fahrzeug und die Nähe aus einem virtuellen Blickwinkel, der außerhalb des Fahrzeugs eingestellt ist, unter Verwendung der Bilder, die von den Bilderlangungseinheiten aufgenommen wurden, zeigen. Die Wegschätzungseinheit ist konfiguriert, um einen Fahrweg des Fahrzeugs basierend auf einem Fahrzustand des Fahrzeugs zu schätzen. Die Bildsyntheseeinheit ist konfiguriert, um ein Bild als Ausgabebild zu erzeugen, das durch Verarbeiten entweder eines der Bilder des Fahrzeugs unter Bildern, die von der Bilderzeugungseinheit erzeugt werden, oder eines Bildes des Fahrwegs, der von der Wegschätzungseinheit geschätzt wird, zu einem transparenten Bild erhalten wird, und das transparente Bild auf ein anderes der Bilder zu überlagern, wobei diese Bilder außerdem ein Bild der Nähe unter den Bildern, die von der Bilderzeugungseinheit erzeugt werden, überlagern.
Gemäß dieser Konfiguration wird entweder ein Bild, das das Fahrzeug unter den Bildern darstellt, die das Fahrzeug und die Umgebung aus virtueller Sicht zeigen, oder ein Bild des geschätzten Fahrwegs des Fahrzeugs zu einem transparenten Bild verarbeitet, das auf das andere Bild überlagert werden soll. Diese Bilder werden dann über das Bild der Nähe gelegt, und somit werden sowohl die Bilder, die das Fahrzeug und die Nähe des Fahrzeugs aus virtueller Sicht zeigen, als auch der geschätzte Fahrweg des Fahrzeugs erkennbar. Infolgedessen ist es möglich, die Beziehung zwischen dem Fahrzeug und der Situation in der Nähe und die Beziehung zwischen dem für das Fahrzeug geschätzten Fahrweg und der Situation in der Nähe leicht zu verstehen.
Bei einem anderen Aspekt der vorliegenden Offenbarung ist die Bilderzeugungseinheit konfiguriert, um Bilder zu erzeugen, die das Fahrzeug, das künstlich mit Transparenz versehen ist, und die Nähe aus einem virtuellen Blickwinkel (V), der außerhalb des Fahrzeugs eingestellt ist, unter Verwendung des von den Bilderfassungseinheiten aufgenommenen Bildes und transparenter Bilder (B, T) des Fahrzeugs, die im Voraus in Übereinstimmung mit dem Fahrzeug vorbereitet wurden, darstellen. Die Bildsyntheseeinheit ist konfiguriert, um ein Bild als Ausgabebild zu erzeugen, das durch Überlagern von Bildern des Fahrzeugs unter Bildern, die von der Bilderzeugungseinheit erzeugt werden, über ein Bild (K) des Fahrwegs, der von der Wegschätzungseinheit geschätzt wird, und durch weiteres Überlagern dieser Bilder über ein Bild (H) der Nähe zwischen den Bildern, die von der Bilderzeugungseinheit erzeugt werden, erhalten wird.
Auch in diesem Fall wird ein Bild, das durch Überlagerung des transparenten Fahrzeugbildes über das Wegbild erhalten wird, über das Bild der Umgebung überlagert, so dass sowohl Bilder, die das Fahrzeug und die Nähe des Fahrzeugs aus virtueller Sicht zeigen, und der geschätzte Fahrweg des Fahrzeugs erkennbar werden. Dadurch wird es möglich, sowohl die Beziehung zwischen dem Fahrzeug und der Situation in der Nähe und die Beziehung zwischen dem für das Fahrzeug geschätzten Fahrweg und der Situation in der Nähe leicht zu verstehen.
Die Bezugszeichen in Klammern, die in den beiliegenden Ansprüchen beschrieben sind, stellen die Entsprechung mit spezifischen Mechanismen dar, die bei den nachstehend als einzelne Modi beschriebenen Ausführungsformen beschrieben sind, und schränken den technischen Umfang der vorliegenden Offenbarung nicht ein.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Bilderzeugungsgeräts bei einer ersten Ausführungsform darstellt.
2 ist ein darstellendes Diagramm, das eine Anordnung von Kamera bei dem Bilderzeugungsgerät schematisch wiederspiegelt.
3 ist ein Flussdiagramm, das einen Anzeigeprozess darstellt, der durch das Bilderzeugungsgerät durchgeführt wird.
4 ist ein darstellendes Diagramm, das ein Beispiel eines Anzeigeergebnisses durch den Anzeigeprozess wiederspiegelt.
5 ist ein Blockdiagramm, das eine Konfiguration eines Bilderzeugungsgerät bei einer zweiten Ausführungsform darstellt.
6 ist ein darstellendes Diagramm, das ein Beispiel eines Zustands einer Anzeige bei dem Bilderzeugungsgerät wiederspiegelt.
7 ist ein Flussdiagramm, das einen Anzeigeprozess darstellt, der durch das Bilderzeugungsgerät durchgeführt wird.
8 ist ein darstellendes Diagramm, das eine Änderung des virtuellen Sichtpunkts bei dem Anzeigeprozess wiederspiegelt.
9 ist ein darstellendes Diagramm, das eine andere Änderung des virtuellen Sichtpunkts bei dem Anzeigeprozess wiederspiegelt.
10 ist ein darstellendes Diagramm, das eine Modifikation einer Fahrweganzeige bei einer jeweiligen Ausführungsform wiederspiegelt.
11 ist ein darstellendes Diagramm, das eine andere Modifikation einer Fahrweganzeige bei einer jeweiligen Ausführungsform wiederspiegelt.

Beschreibung von Ausführungsformen
In Bezug auf die Zeichnungen werden im Folgenden einige Ausführungsformen beschrieben. Ein transparentes Bild bezeichnet hierin ein Bild, in dem ein Teil des Bildes verarbeitet wird, um transparent zu sein, oder das gesamte oder ein Teil des Bildes verarbeitet wird, um halbtransparent zu sein, und enthält nicht ein Bild, bei dem das gesamte Bild verarbeitet wird, um transparent zu sein, um eine Erkennung des Bildes nicht zu ermöglichen.
Ausführungsform
Konfiguration
1 stellt ein Bilderzeugungsgerät 100 bei der ersten Ausführungsform mit den Kameras 3A bis 3D, einem Anzeigegerät 5 und einer ECU 10 dar. Wie in 1 dargestellt, ist die Kamera 3A eine Frontkamera 3A, die Kamera 3B ist eine rechte Kamera 3B, die Kamera 3C ist eine linke Kamera 3C, und die Kamera 3D ist eine Heckkamera 3D. Das Bilderzeugungsgerät 100 ist an einem Fahrzeug 1, das in 2 dargestellt ist, montiert, und die Frontkamera 3A, die rechte Kamera 3B, die linke Kamera 3C und die Heckkamera 3D sind jeweils an der Vorderseite des Fahrzeugs 1, rechts des Fahrzeugs 1, links des Fahrzeugs 1 und am Heck des Fahrzeugs 1 installiert. Die Frontkamera 3A kann beispielsweise in der Frontendmitte einer Motorhaube des Fahrzeugs 1 angeordnet sein. Die Rückfahrkamera 3D kann beispielsweise über einem Nummernschild am Heck des Fahrzeugs 1 angeordnet werden. Die rechte Kamera 3B und die linke Kamera 3C können beispielsweise jeweils über dem rechten und linken Außenspiegel angeordnet werden. Jede der Kameras 3A bis 3D kann eine Weitwinkelkamera sein.
Als Anzeigegerät 5 stehen verschiedene Anzeigegeräte zur Verfügung, z.B. solche unter Verwendung von Flüssigkristall und solche unter Verwendung von organischen EL-Vorrichtungen. Das Anzeigegerät 5 kann ein monochromes Anzeigegerät oder ein Farbanzeigegerät sein. Das Anzeigegerät 5 kann als Touchscreen konfiguriert werden, indem es mit piezoelektrischen Vorrichtungen und ähnlichem auf der Oberfläche versehen ist. Das Anzeigegerät 5 kann auch als Anzeigegerät für eine andere Fahrzeugvorrichtung, wie beispielsweise ein Fahrzeugnavigationssystem und eine Audiovorrichtung, verwendet werden.
Die ECU 10 ist hauptsächlich mit einem bekannten Mikrocomputer, der eine CPU, die nicht dargestellt ist, und einen Halbleiterspeicher (im Folgenden ein Speicher 20) wie ein RAM, ein ROM und einen Flash-Speicher hat, konfiguriert. Verschiedene Funktionen der ECU 10 werden erreicht, indem die CPU veranlasst wird, Programme auszuführen, die auf einem nichtflüchtigen lesbaren Speichermedium gespeichert sind. In diesem Beispiel ist der Speicher 20 äquivalent zu den nichtflüchtigen lesbaren Speichermedien, die Programme speichern. Die Ausführung eines solchen Programms bewirkt die Ausführung eines Verfahrens, das zu dem Programm korrespondiert. Die Anzahl der Mikrocomputer, die die ECU 10 konfigurieren, kann ein oder eine Mehrzahl sein. Das ECU 10 ist mit einer Leistungszufuhr 30 versehen, um den Speicher des RAM im Speicher 20 zu erhalten und die CPU anzutreiben.
Die ECU 10 enthält als Konfiguration der Funktionen, die durch das Veranlassen der CPU zum Ausführen des Programms erreicht werden, eine Kameravideoeingabeverarbeitungseinheit (im Folgenden: eine Eingabeverarbeitungseinheit) 11, eine Bildverarbeitungseinheit 13, eine Videoausgabesignalverarbeitungseinheit (im Folgenden: eine Ausgabeverarbeitungseinheit) 15 und eine Fahrzeuginformationssignalverarbeitungseinheit (im Folgenden: eine Informationsverarbeitungseinheit) 19. Eine Technik zum Erreichen dieser Elemente, die die ECU 10 konfigurieren, ist nicht auf Software beschränkt und alle oder ein Teil der Elemente können mit Hardware erreicht werden, die eine Logikschaltung, eine analoge Schaltung und ähnliches kombiniert.
Die Eingabeverarbeitungseinheit 11 akzeptiert die Eingabe eines Signals in Übereinstimmung mit dem Video, das durch die Kameras 3A bis 3D aufgenommen wurde, von den Kameras 3A bis 3D und wandelt das Signal in ein Signal um, das als Bilddaten in der ECU 10 verarbeitet werden kann. Die Bildverarbeitungseinheit 13 wendet den später beschriebenen Arbeitsprozess (im Folgenden als Anzeigeprozess bezeichnet) auf das Signal, das von der Eingabeverarbeitungseinheit 11 eingegeben wird, an und gibt das verarbeitete Signal an die Ausgabeverarbeitungseinheit 15 aus. Die Ausgabeverarbeitungseinheit 15 erzeugt ein Signal zum Antreiben der Anzeigevorrichtung 5 gemäß dem von der Bildverarbeitungseinheit 13 eingegebenen Signal und gibt das erzeugte Signal an die Anzeigevorrichtung 5 aus. Die Informationsverarbeitungseinheit 19 erlangt über ein nicht dargestelltes fahrzeuginternes LAN und dergleichen Daten (im Folgenden auch Fahrzeuginformationen genannt), wie beispielsweise eine Schaltposition, eine Fahrzeuggeschwindigkeit und einen Lenkwinkel des Fahrzeugs 1, und gibt die Daten an die Bildverarbeitungseinheit 13 aus. Ein Fahrzustand des Fahrzeugs ist ein Zustand des Fahrzeugs, der durch die Fahrzeuginformationen wiedergegeben wird. Der Speicher 20 speichert zusätzlich zum Programm interne Parameter, die eine äußere Form und die eines Daches und ähnliches des Fahrzeugs 1 wiedergeben.
Prozess
Eine Beschreibung des Anzeigeprozesses, der von der Bildverarbeitungseinheit 13 in Bezug auf das Flussdiagramm in 3 ausgeführt wird, wird nachfolgend gegeben. Der aktuelle Prozess beginnt, wenn ein vorbestimmter Betrieb von einem Fahrer durchgeführt wird, während die Leistungszufuhr des Fahrzeugs 1 eingeschaltet ist. Der vorgegebene Betrieb kann ein Betrieb sein, um die Schaltposition auf R (d.h. Rückwärtsfahren) einzustellen, kann ein Betrieb sein, um einen Schalter oder eine Taste zum Starten des Anzeigeprozesses zu drücken, oder kann ein anderer Betrieb sein. Die Leistungszufuhr des Fahrzeugs 1, das eingeschaltet ist, bedeutet, dass ein Zustand des Leistungsschalters buchstäblich eingeschaltet ist, wenn das Fahrzeug 1 ein Elektrofahrzeug oder ein Hybridfahrzeug ist, und bedeutet einen Zustand des Schlüssels, der in einer Position von ACC oder ON angeordnet ist, wenn das Fahrzeug 1 ein von einem Verbrennungsmotor angetriebenes Fahrzeug ist.
Wie in dargestellt, werden zu Beginn des vorliegenden Prozesses der Prozess in S1, der Prozess in S3 und S5 und der Prozess in S7 und S9 als Parallelverarbeitung ausgeführt. Der Prozess in S1 bereitet ein Bild vor, das keiner Aktualisierung benötigt, wie z.B. die Form des Daches des Fahrzeugs 1. Der vorliegende Prozess wird durch das Lesen entsprechender Daten aus dem Speicher 20 durchgeführt. Wenn zum Beispiel eine 3D-Ansicht zum Betrachten des Fahrzeugs 1 und der Nähe aus einem virtuellen Blickwinkel, der schräg über der Vorderseite des Fahrzeugs 1 angeordnet ist, auf dem Anzeigegerät 5 durch den vorliegenden Prozess angezeigt wird, ist die Form einer Fahrzeugkarosserie B des Fahrzeugs 1 eine Form, die beispielsweise mit gestrichelten Linien in 4 veranschaulicht wird und keine Aktualisierung erfordert. Bei S1 werden die Daten eines solchen Bildes vorbereitet.
Dabei werden im Prozess in S3 und S5, zunächst in S3, die Fahrzeuginformationen, wie z.B. eine Schaltposition, eine Fahrzeuggeschwindigkeit und ein Lenkwinkel, erlangt und im nachfolgenden S5 wird auf der Grundlage der Fahrzeuginformationen ein Weg des Fahrzeugs 1 gezeichnet. Dabei wird in S5 ein Fahrweg (im Folgenden auch einfach als Weg bezeichnet) des Fahrzeugs 1 auf der Grundlage der Fahrzeuginformationen, die in S3 erlangt wurden, geschätzt und der Weg wird zum Beispiel in einem Bildspeicher, der im Speicher 20 vorgesehen ist, gezeichnet. Der in S5 gezeichnete Weg kann ein Weg der gesamten Fahrzeugkarosserie B des Fahrzeugs 1 sein, kann ein Weg aller Räder T sein oder ein Weg der Hinterräder T (d.h. der Weg eines Teils der Räder T) als ein Weg K, wie in 4 veranschaulicht. In S5 kann hier auf der Grundlage des Lenkwinkels und ähnlichem, der als Fahrzeuginformationen in S3 erfasst wurden, ein Winkel (d.h. eine Orientierung) jedes Rades T zur Fahrzeugkarosserie B berechnet werden, um die Räder T in dem Winkel im Bildspeicher zu zeichnen.
Bei dem Prozess in S7 und S9, zunächst in S7, werden Bilddaten in Übereinstimmung mit den Videos, die von den vier Kameras 3A, 3B, 3C und 3D aufgenommen wurden, in die Eingabeverarbeitungseinheit 11 eingegeben, und in dem nachfolgenden S9 wird die Bildverarbeitung zu den Bilddaten durchgeführt, um ein Bild einer 3D-Ansicht zu synthetisieren, um die Nähe des Fahrzeugs 1 aus einem virtuellen Blickwinkel zu sehen. So wird beispielsweise in S9 das Video, das von den vier Kameras 3A, 3B, 3C und 3D aufgenommen wurde, transformiert und kombiniert, um ein Bild zu synthetisieren, das als Hintergrund H in veranschaulicht wird. In dieser Situation kann für die Fahrzeugkarosserie B oder die Räder T in einem Fotobereich der Kameras 3A bis 3D, wie zum Beispiel einer Seite des Fahrzeugs 1, ein Bild auf der Grundlage des fotografierten Ergebnisses synthetisiert werden oder ein Bild in Übereinstimmung mit den Daten, die im Voraus in S1 vorbereitet wurden, kann im folgenden S11 verwendet werden.
Auf diese Weise, wenn der Prozess in S1, der Prozess in S3 und S5 und der Prozess in S7 und S9 jeweils als Parallelverarbeitung ausgeführt werden, fährt der Prozess in S11 fort, um die Bilder, die in dem jeweiligen Prozess erzeugt wurden, als Parallelverarbeitung zu überlagern. In dieser Situation veranlasst die einfache Überlagerung jedes Bildes, dass der größte Teil des Weges K mit der Fahrzeugkarosserie B überlagert wird, was zur Anzeige des Weges K nur in der Entfernung führt. In diesem Fall ist es für den Fahrer des Fahrzeugs 1 schwierig, die Bewegung des Fahrzeugs 1 aus naher Entfernung anzunehmen.
In S11 kann ein Bild des in S5 gezeichneten Weges K direkt an einem Bild des in S9 erzeugten Hintergrunds H überlagert werden, während ein Bild der Räder T und der Fahrzeugkarosserie B halbtransparent oder teilweise verarbeitet wird, um transparent zu sein, um eine Überlagerung mit den Bildern des Hintergrunds H und des Weges K zu ermöglichen. Die Form eines solchen Prozesses, um halbtransparent oder transparent zu erzeugen, wird als verschiedene Formen betrachtet.
So kann zum Beispiel das Bild der Räder T und der Fahrzeugkarosserie B verarbeitet werden, um ein Bild zu sein, das die Umrisse mit gestrichelten Linien darstellt, wie in 4 veranschaulicht, um an den Bildern des Hintergrunds H und des Weges K überlagert zu werden. Das heißt, das Bild der Räder T und der Fahrzeugkarosserie B kann verarbeitet werden, um ein Bild zu sein, bei dem die Abschnitte, die von den Umrissen verschieden sind, um für die Überlagerung völlig transparent verarbeitet zu sein. Die Umrisse können durchgezogene Linien, gestrichelte Linien oder ähnliches sein. In S11 kann eine so genannte Alpha-Mischung durchgeführt werden, bei der das Bild der Räder T und der Fahrzeugkarosserie B über die Bilder des Hintergrunds H und des Weges K für die Synthese überlagert wird, indem für jeden Pixel, der die Räder T und die Fahrzeugkarosserie B darstellt, ein vorbestimmter Grad der Transparenz (d. h. ein Alpha-Wert) eingestellt wird. Das Einstellen des Grades der Transparenz entspricht dem Prozess zur Erzeugung der Halbtransparenz. Ein solcher Prozess, um halbtransparent oder transparent zu erzeugen, kann auf einen Teil der Räder T und der Fahrzeugkarosserie B angewendet werden, soweit er die Erkennung des Weges K ermöglicht. Nur die Fahrzeugkarosserie B kann transparent oder halbtransparent verarbeitet werden, während die Räder T weder einem Prozess zur Herstellung von transparent noch einem Prozess zur Herstellung von halbtransparent unterworfen werden. Der Prozess in S11 kann das Bild des Weges K, der wie vorstehend beschrieben semitransparent oder transparent ist, verarbeiten und das verarbeitete Bild über das Bild der Räder T und der Fahrzeugkarosserie B überlagern. Ein Bild des Teils der Fahrzeugkarosserie B selbst, das den Fahrvorgang nicht beeinflusst, kann ausgelassen werden.
Die Daten, die zu dem Bild korrespondieren, das mit der Überlagerung durch S11 abgeschlossen ist, werden im nachfolgenden S13 über die Ausgabeverarbeitungseinheit 15 an das Anzeigegerät 5 ausgegeben, und der Prozess fährt mit der vorstehend beschriebenen Parallelverarbeitung (d.h. S1, S3, S7) fort.
Effekte
Nach der ersten Ausführungsform, die vorstehend ausführlich beschrieben wird, werden die folgenden Effekte erhalten.

(1A) Bei der vorliegenden Ausführungsform wird entweder das Bild des Bildes der Fahrzeugkarosserie B oder das Bild des geschätzten Weges K des Fahrzeugs unter dem 3D-Ansichtsbild, das aus dem virtuellen Sichtpunkt aufgenommen wurde, verarbeitet, um zumindest teilweise semitransparent oder transparent (d.h. mit Transparenz versehen) und an dem anderen Bild überlagert zu sein. Als Ergebnis wird auf dem Anzeigegerät 5 ein Bild angezeigt, das eine gute Erkennung sowohl des Bildes der Fahrzeugkarosserie B als auch des Bildes des Weges K ermöglicht. Diese Bilder werden an dem Bild des Hintergrunds H überlagert und ermöglichen somit ein gutes Verständnis sowohl der Beziehung zwischen dem Fahrzeug 1 und der Situation in der Nähe als auch der Beziehung zwischen dem Weg K, der für das Fahrzeug 1 geschätzt wurde, und der Situation in der Nähe. Dementsprechend ist der Fahrer des Fahrzeugs 1 in der Lage, die Bewegung seines Fahrzeugs (d.h. des Fahrzeugs 1) leicht abzuschätzen. Der Fahrer kann auch die geschätzte Bewegung seines Fahrzeugs aus kurzen bis langen Strecken, die früher schwierig waren, gut verstehen.
(1B) Bei dem Beispiel, das in 4 dargestellt ist, wird eine 3D-Ansicht, die von dem schräg über der Vorderseite des Fahrzeugs 1 angeordneten virtuellen Blickwinkel aufgenommen wird, auf dem Anzeigegerät 5 angezeigt. In diesem Fall kann beim Rückwärtsfahren des Fahrzeugs 1 sowohl die Beziehung zwischen dem Fahrzeug 1 und der Situation in der Nähe als auch die Beziehung zwischen dem für das Fahrzeug 1 geschätzten Weg K und der Situation in der Nähe sehr gut verstanden werden. Ein virtueller Blickwinkel, der schräg über dem Fahrzeug 1 angeordnet ist, bewirkt eine größere Überlappung zwischen der Fahrzeugkarosserie B und dem Weg K im Vergleich zu der nach oben gerichteten Richtung des Fahrzeugs 1. Dementsprechend werden, wie vorstehend beschrieben, die Auswirkungen der Verarbeitung entweder der Fahrzeugkarosserie B oder des Weges K als semitransparent oder transparent noch deutlicher dargestellt.
(1C) Wie in 4 dargestellt, wenn eine 3D-Ansicht der Räder T und der Fahrzeugkarosserie B angezeigt wird und zumindest die Fahrzeugkarosserie B verarbeitet wird, um halbtransparent oder transparent zu sein, und außerdem ein Winkel jedes Rades T zur Fahrzeugkarosserie B ein Winkel in Übereinstimmung mit dem Lenkwinkel ist, wird die Beziehung zwischen dem Lenkwinkel und dem Weg K leicht verstanden. Dementsprechend ist es dem Fahrer möglich, gut zu verstehen, wie sich der geschätzte Weg K ändert, indem er den Lenkwinkel in welcher Weise steuert.

Bei der vorstehenden Ausführungsform korrespondieren die Frontkamera 3A, die rechte Kamera 3B, die linke Kamera 3C und die Rückfahrkamera 3D mit den Bilderlangungseinheiten und die ECU 10 zu der Bilderzeugungseinheit, der Wegschätzungseinheit und der Bildsyntheseeinheit. Unter dem Prozess durch das ECU 10 sind S1 und S9 Prozesse, die zu der Bilderzeugungseinheit korrespondieren, S5 zu der Wegschätzungseinheit und S10 zu der Bildsyntheseeinheit.
Zweite Ausführungsform
Unterschiede zur ersten Ausführungsform
Die zweite Ausführungsform hat eine Grundkonfiguration, die der der ersten Ausführungsform entspricht, und daher werden Beschreibungen für die gemeinsame Konfiguration weggelassen, um hauptsächlich die Unterschiede zu beschreiben. Die gleichen Bezugszeichen wie die erste Ausführungsform weisen auf die gleiche Konfiguration hin und beziehen sich auf die vorstehenden Beschreibungen.
Bei der ersten Ausführungsform, die vorstehend beschrieben ist, kann das Anzeigegerät 5 Funktionen nur zur Anzeige haben oder ein Touchscreen sein. Im Gegensatz dazu unterscheidet sich die zweite Ausführungsform von der ersten Ausführungsform dadurch, dass, wie in 5 dargestellt, ein Touchscreen 50 als Anzeigegerät 5 verwendet wird und ein Signal, das den Betriebszustand darstellt, in die Bildverarbeitungseinheit 13 eingegeben wird.
An dem Touchscreen 50 werden zur Anzeige einer 3D-Ansicht Pfeiltasten 51 bis 54, wie in dargestellt, angezeigt. Die Pfeiltaste 51 ist eine Schaltfläche, um den virtuellen Blickwinkel aufwärts zu bewegen. Die Pfeiltaste 52 ist eine Schaltfläche, um den virtuellen Blickwinkel nach rechts zu bewegen. Die Pfeiltaste 53 ist eine Schaltfläche, um den virtuellen Blickwinkel nach unten zu bewegen. Die Pfeiltaste 54 ist eine Schaltfläche, um den virtuellen Blickwinkel nach links zu bewegen. Wenn eine der Pfeiltasten 51 bis 54 durch einen Finger F gedrückt wird, werden die Informationen in die Bildverarbeitungseinheit 13 eingegeben.
Obwohl in die Pfeiltasten 51 bis 54 in der unteren rechten Ecke des Touchscreens 50 angeordnet sind, sind sie nicht auf diese Konfiguration beschränkt und können in jedem Modus angeordnet werden, solange sie den Fahrer beim Betrachten der 3D-Ansicht nicht beeinträchtigen. So können beispielsweise die Tasten in jeder Ecke von oben oder unten und links oder rechts angeordnet sein oder, wenn sie in einem Modus angezeigt werden, der die 3D-Ansicht nicht ausblendet, indem sie als halbtransparent oder ähnlich verarbeitet werden, in der Mitte des Touchscreen 50 angezeigt werden.
Prozesse
Eine Beschreibung des Anzeigeprozesses, der von der Bildverarbeitungseinheit 13 in der zweiten Ausführungsform ausgeführt wird, wird dann statt des Anzeigeprozesses bei der ersten Ausführungsform, wie in 3 dargestellt, in Bezug auf das Flussdiagramm in 7 gegeben. Der Prozess, der in 7 dargestellt ist, ist von dem Prozess, der in 3 dargestellt ist, dadurch verschieden, dass der Prozess von S101 bis S107 hinzugefügt wird, und in Übereinstimmung mit dem Unterschied, dass der Prozess bei S1, S5, S9 geringfügig verändert wird, um S1A, S5A, S9A zu sein. Solche Änderungen werden nachstehend beschrieben.
Bei dem vorliegenden Anzeigeprozess, wird der Prozess in S13 zu Beginn des Prozesses und am Ende des Prozesses in S101 ausgeführt. In S101 wird bestimmt, ob eine der Pfeiltasten 51 bis 54 gedrückt wird.
Wenn die Bestimmung gemacht wird, dass eine der Pfeiltasten 51 bis 54 gedrückt wird (d.h. Ja), fährt der Prozess mit S103 fort. In S103 werden θ oder φ in Polarkoordinaten des virtuellen Blickwinkels in Übereinstimmung mit der Gedrückten unter den Pfeiltasten 51 bis 54 verändert.
Zum Beispiel ist, wie in 8 dargestellt, eine Achse, die senkrecht zum Boden G nach oben gerichtet ist (z.B. eine Fahrbahnoberfläche), die das Fahrzeug 1 durch die Mitte des Fahrzeugs 1 stützt, als Z-Achse definiert, und ein Neigungswinkel (d.h. ein Ablenkwinkel) des virtuellen Blickwinkels V relativ zur Z-Achse ist als θ definiert. In S103 wird die Position des virtuellen Sichtpunktes V geändert, um θ zu verringern, wenn die Pfeiltaste 51 gedrückt wird, und die Position des virtuellen Sichtpunktes V wird verändert, um θ zu erhöhen, wenn die Pfeiltaste 53 gedrückt wird. Der Wert θ kann in einem Bereich von 0° ≤ θ ≤ 90° geändert werden, und wenn die Pfeiltaste 51 oder 53 gedrückt wird, um θ zu verändern, die den verfügbaren Bereich überschreitet, wird das Drücken ignoriert.
Zum Beispiel ist, wie in 9 dargestellt, eine Achse, die durch die Mitte des Fahrzeugs 1 auf die Vorderseite des Fahrzeugs 1 gerichtet ist, als X-Achse definiert, und ein Azimut, der gegen den Uhrzeigersinn in der Draufsicht von der X-Achse gemessen wird, ist als φ definiert. In S103 wird die Position des virtuellen Sichtpunkts V verändert, um φ zu erhöhen, wenn die Pfeiltaste 52 gedrückt wird, und die Position des virtuellen Sichtpunkts V wird verändert, um φ zu verringern, wenn die Pfeiltaste 54 gedrückt wird. Der Wert φ kann in einem Bereich von -180° ≤ φ ≤ +180° verändert werden, und wenn die Pfeiltaste 52 oder 54 gedrückt wird, um φ zu verändern, die den Bereich überschreitet, wird der Prozess der Gleichsetzung von -180° mit +180° durchgeführt.
Nach Beenden des Prozesses in S103 oder wenn bestimmt wird, dass keine der Pfeiltasten 51 bis 54 in S101 gedrückt wird (d.h. Nein), werden Prozess in S1A, Prozess in S105 und S107 und S3 und S5A und Prozess in S7 und S9A als Parallelverarbeitung ausgeführt.
In S1A, anders als bei S1 bei der ersten Ausführungsform, wird auf der Grundlage von θ und φ, die in S103 eingestellt wurden, ein Bild, das keine Aktualisierung benötigt, wie zum Beispiel die Form des Daches des Fahrzeugs 1, in Übereinstimmung mit der Position des virtuellen Sichtpunkts V, der zu diesem Timing eingestellt wurde, erstellt. Ähnlich wird bei S9A, anders als bei S9 bei der ersten Ausführungsform, auf der Grundlage von θ und φ, die in S103 eingestellt wurden, eine Bildverarbeitung durchgeführt, um ein Bild einer 3D-Ansicht zu synthetisieren, das aus dem zu diesem Zeitpunkt eingestellten virtuellen Sichtpunkt V aufgenommen wurde.
In S105, der bei der ersten Ausführungsform einen Schritt früher als S3 eingefügt wird, wird bestimmt, ob θ θ1 ist, das im Voraus als Schwellenwert eingestellt wurde, oder weniger bestimmt. Der Wert θ1 stellt einen Winkel zum Reduzieren des Grundes für die Darstellung des Bildes des Wegs K dar, da das Bild nahezu ohne vertikale Dimension dargestellt wird und der Wert z.B. auf einen Winkel eingestellt wird, wie in dargestellt.
Wenn in S105 bestimmt wird, dass θ größer als θ1 ist, wird das Bild des Weges K, der durch diesen Moment gezeichnet wurde, in S107 gelöscht, und der Prozess fährt mit S11 fort, wie vorstehend beschrieben. Wenn bei S105 bestimmt wird, dass θ θ1 oder weniger ist, fährt der Prozess mit S3 fort, wie bei der ersten Ausführungsform, um die Fahrzeuginformationen zu erlangen. Bei S5A, der S3 folgt und von S5 bei der ersten Ausführungsform verschieden ist, wird auf der Grundlage von θ und φ, die in S103 eingestellt wurden, der Weg K in einer Form gezeichnet, die aus dem zu diesem Zeitpunkt eingestellten virtuellen Blickwinkel V genommen wird.
Effekte
Nach der zweiten Ausführungsform, die vorstehend ausführlich beschrieben ist, werden zusätzlich zu den Effekten (1A) bis (1C), die vorstehend bei der ersten Ausführungsform beschrieben sind, die folgenden Effekte erzielt.

(2A) Bei der vorliegenden Ausführungsform ermöglicht das Drücken der Pfeiltasten 51 bis 54 eine freie Steuerung der Position des virtuellen Sichtpunkts V. Dementsprechend können sowohl die Beziehung zwischen dem Fahrzeug 1 und der Situation in der Nähe als auch die Beziehung zwischen dem Weg K, der für das Fahrzeug 1 geschätzt wird, und der Situation in der Nähe gut aus dem virtuellen Sichtpunkt V dargestellt werden, der in einer vom Fahrer gewünschten Position angeordnet ist. Mit anderen Worten, sowohl die Beziehung zwischen dem Fahrzeug 1 und der Situation in der Nähe als auch die Beziehung zwischen dem für das Fahrzeug 1 geschätzten Weg K und der Situation in der Nähe können aus dem Blickwinkel des Fahrers gut verstanden werden.
(2B) Wenn die Position des virtuellen Sichtpunkts V niedrig ist (d.h. θ hat einen größeren Wert) und das Anzeigen des Wegs K von der Position aus weniger Bedeutung hat, wird der Weg K nicht angezeigt. Dementsprechend ist es möglich, nutzlose Prozesse bei der Bildverarbeitungseinheit 13 zu unterdrücken. Der Wert θ1 ist ein solcher Schwellenwert, ob der Weg K während der Herstellung in einem geeigneten Winkel angezeigt werden soll oder ob er in einem vom Fahrer gewünschten Winkel eingestellt werden kann, und kann beispielsweise nach einem Kriterium, wie zum Beispiel einem Winkel einer Linie, die ein vorderes Ende des Daches und die Mitte eines Hinterrades im Fahrzeug 1 verbindet, eingestellt werden. Bei der zweiten Ausführungsform korrespondieren die Pfeiltasten 51 bis 54 zu den Sichtpunkteinstellungseinheiten.

Andere Ausführungsformen
Ausführungsformen, um die vorliegende Offenbarung durchzuführen, wurden vorstehend beschrieben, während die vorliegende Offenbarung in verschiedenen Modifikationen durchgeführt werden kann, ohne sich auf die vorstehend beschriebenen Ausführungsformen zu beschränken.

(3A) Obwohl der Pfad K im Beispiel in in einer Farbe fest gezeichnet ist, ist die vorliegende Offenbarung nicht auf diese Konfiguration beschränkt. Der Modus des Zeichnens des Weges K kann sich in den jeweiligen Abschnitten in Übereinstimmung mit der Zuverlässigkeit des Weges K ändern. So kann beispielsweise, wie in 10 dargestellt, ein Abschnitt mit geringer Zuverlässigkeit (z.B. Abschnitte, die vom Fahrzeug 1 entfernt sind) des Weges K mit einer gestrichelten Linie gezeichnet werden und eine geringere Zuverlässigkeit kann durch eine gestrichelte Linie mit einem größeren Abstand dargestellt werden. Wie in 11 veranschaulicht, kann der Pfad K als Bild mit einer Abstufung gezeichnet werden, um einen geringen Zuverlässigkeitsabschnitt durch eine hellere Farbe darzustellen. In diesem Fall kann anstelle des Änderns der Farbtiefe auch die Farbe geändert werden. Ein solcher Prozess wird erreicht, indem, wenn der Weg in S5 oder S5A geschätzt wird, die Zuverlässigkeit bei der Schätzung auch für jeden Abschnitt des Weges berechnet wird und der Modus der Zeichnung der jeweiligen Teile des Weges K in Übereinstimmung mit der Zuverlässigkeit geändert wird. In diesem Fall kann der Fahrer die Zuverlässigkeit in den jeweiligen Abschnitten des Weges K leicht erkennen.
(3B) Obwohl die Position des virtuellen Sichtpunkts V durch Drücken der Pfeiltasten 51 bis 54 bei der zweiten Ausführungsform verändert wird, ist die vorliegende Offenbarung nicht auf diese Konfiguration beschränkt. So kann beispielsweise die Position des virtuellen Betrachtungspunktes V automatisch gesteuert werden, um ein größeres θ für eine höhere Geschwindigkeit des Fahrzeugs 1 zu haben. In diesem Fall, wenn beispielsweise der virtuelle Sichtpunkt V schräg über der Vorderseite des Fahrzeugs 1 angeordnet ist, ermöglicht eine höhere Geschwindigkeit beim Rückwärtsfahren des Fahrzeugs 1 die Anzeige eines Hintergrunds H in größerer Entfernung. In diesem Fall muss der Touchscreen 50 nicht benutzt werden und das Blockdiagramm wird das gleiche wie bei der ersten Ausführungsform. Ein solcher Prozess wird durch die Bestimmung in S101 in 9 erreicht, ob die Fahrzeuggeschwindigkeit geändert wird, und wenn die Fahrzeuggeschwindigkeit geändert wird, wird der Wert von θ in Übereinstimmung mit der Fahrzeuggeschwindigkeit in S103 verändert.
(3C) Obwohl die Räder T und die Fahrzeugkarosserie B angezeigt werden und der Winkel der Räder T zur Fahrzeugkarosserie B einen Wert in Übereinstimmung mit dem Lenkwinkel bei den jeweiligen Ausführungsformen vorstehend hat, ist die vorliegende Offenbarung nicht auf diese Konfiguration beschränkt. So kann beispielsweise der Winkel der Räder T zur Fahrzeugkarosserie B ein fester Wert sein und die Räder T müssen nicht angezeigt werden. Wenn die Räder T nicht angezeigt werden, kann das Bild umgewandelt werden, um dem Fahrer kein Unbehagen zu bereiten, indem beispielsweise das Bild des Versteckens der Räder T mit der Fahrzeugkarosserie B durch ein Verfahren wie z. B. Computergrafiken umgewandelt wird.
(3D) Obwohl der virtuelle Sichtpunkt bei der ersten Ausführungsform fest schräg über der Vorderseite des Fahrzeugs 1 angeordnet ist, ist die Anordnung zum festen Anordnen des virtuellen Sichtpunktes nicht auf diese Konfiguration beschränkt. So kann beispielsweise der virtuelle Blickwinkel fest nach oben zum Fahrzeug 1 ausgerichtet sein oder in einer anderen Position, wie beispielsweise schräg über dem Heck und schräg über der rechten Seite des Fahrzeugs 1, fest angeordnet sein.
(3E) Obwohl ein 3D-Ansichtsbild mit den vier Kameras 3A bis 3D erzeugt wird, die im Fahrzeug 1 in den jeweiligen Ausführungsformen vorstehend vorgesehen sind, ist die vorliegende Offenbarung nicht auf diese Konfiguration beschränkt. Zum Beispiel können die zu verwendenden Kameras fünf oder mehr sein. Selbst wenn nur eine Kamera im Fahrzeug 1 verwendet wird, kann manchmal ein 3D-Ansichtsbild aus einem Bild, das in der Vergangenheit aufgenommen wurde, erzeugt werden. Durch die Verwendung der folgenden Konfiguration darf keine im Fahrzeug 1 vorhandene Kamera verwendet werden. So kann beispielsweise eine 3D-Ansicht mit einer Kamera erzeugt werden, die in einem anderen als dem Fahrzeug 1 vorgesehen ist, wie beispielsweise Kameras, die in der Infrastruktur vorgesehen sind, Kameras, die in einem anderen Fahrzeug vorgesehen sind, und Kameras, die in einem Ereignisdatenschreiber und ähnlichem, der in einem anderen Fahrzeug montiert ist. In diesem Fall erlangt die Bildverarbeitungseinheit 13 das von der Kamera aufgenommene Bild durch Kommunikation und ähnliches. In diesem Fall korrespondiert eine Empfangsvorrichtung zum Erfassen des Bildes durch Kommunikation und ähnlichem von außerhalb des Fahrzeugs 1 mit den Bilderlangungseinheiten.
(3F) Obwohl jedes Bild des Bildes der Fahrzeugkarosserie B unter dem 3D-Ansichtsbild und des Bildes des geschätzten Weges K des Fahrzeugs mit Transparenz versehen und an dem anderen Bild in S11 in den vorstehenden jeweiligen Ausführungsformen überlagert ist, ist die vorliegende Offenbarung nicht auf diese Konfiguration beschränkt. Wenn beispielsweise das Bild der Fahrzeugkarosserie B und ähnliches, das in S1 oder S1A erstellt wurde, ein Bild ist, das während der Speicherung im Speicher 20 mit ausreichender Transparenz bereits versehen ist (d.h. ein ursprünglich transparentes Bild), kann dieses Bild einfach an das Bild der Umgebung H in S11 überlagert werden.
(3G) Eine Mehrzahl von Funktionen, die zu einer Komponente in den vorstehenden Ausführungsformen gehören, kann durch eine Mehrzahl von Komponenten erreicht werden, oder eine Funktion, die zu einer Komponente gehört, kann durch eine Mehrzahl von Komponenten erreicht werden. Eine Mehrzahl von Funktionen, die zu einer Mehrzahl von Komponenten gehören, kann durch eine Komponente erreicht werden, oder eine Funktion, die durch eine Mehrzahl von Komponenten erreicht wird, kann durch eine Komponente erreicht werden. Die Konfiguration in den obigen Ausführungsformen kann teilweise ausgelassen werden. Die Konfiguration in den vorstehenden Ausführungsformen kann zumindest teilweise hinzugefügt oder der Konfiguration in einer anderen der vorstehenden Ausführungsformen ersetzt werden. Jeder Modus, der in den technischen Geist einbezogen ist, der nur durch die beigefügten Ansprüche spezifiziert ist, ist eine Verkörperung der vorliegenden Offenbarung.
(3H) Zusätzlich zu dem vorstehend beschriebenen Bilderzeugungsgerät 100 kann die vorliegende Offenbarung in verschiedenen Formen erreicht werden, wie beispielsweise einem System mit dem Bilderzeugungsgerät 100 als Komponente, einem Programm zum Veranlassen, dass ein Computer als Bilderzeugungsgerät 100 fungiert, einem nichtflüchtigen lesbaren Speichermedium wie einem Halbleiterspeicher, der ein solches Programm speichert, und einem Bilderzeugungsverfahren.

Anhang
Wie aus den vorstehend beschriebenen beispielhaften Ausführungsformen deutlich ersichtlich ist, kann das Bilderzeugungsgerät 100 der vorliegenden Offenbarung außerdem die folgende Konfiguration enthalten.

(4A) Die Bilderzeugungseinheit kann konfiguriert werden, um Bilder zu erzeugen, die das gesamte Fahrzeug und die Umgebung des Fahrzeugs aus einem virtuellen Sichtpunkt, der schräg über dem Fahrzeug angeordnet ist, zeigen. In diesem Fall werden die Effekte des Vorsehens entweder des Bildes des Fahrzeugs oder des geschätzten Fahrwegs als transparentes Bild noch deutlicher dargestellt.
(4B) Die Bilder des Fahrzeugs, die über das Bild der Umgebung von der Bildsyntheseeinheit überlagert werden, können ein Bild sein, das durch Überlagern des Bildes (B) einer Fahrzeugkarosserie des Fahrzeugs über das Bild (T) jedes Rades des Fahrzeugs verarbeitet wird, und das Bild der Fahrzeugkarosserie kann ein mit Transparenz versehenes Bild sein. In diesem Fall ist das Bild der Fahrzeugkarosserie ein transparentes Bild und somit wird die Orientierung der Räder erkennbar, was das Verständnis für den Zusammenhang zwischen Lenkwinkel und Fahrweg erleichtert.
(4C) Die Sichtpunkteinstellungseinheiten (51, 52, 53, 54) können weiter enthalten sein, die konfiguriert sind, um eine Position des virtuellen Sichtpunktes einzustellen. In diesem Fall ist die Beziehung zwischen dem Fahrzeug und der Situation in der Nähe und die Beziehung zwischen dem geschätzten Fahrweg und der Situation in der Nähe aus einem gewünschten Winkel leicht erkennbar.
(4D) Im Falle von (4C), wenn der virtuelle Sichtpunkt über die Sichtpunkteinstellungseinheiten in einer Position eingestellt wird, in der ein Neigungswinkel relativ zur Aufwärtsrichtung des Fahrzeugs größer als ein im Voraus eingestellter vorbestimmter Wert ist, kann die Wegschätzungseinheit (10, 5A) konfiguriert sein, um den Fahrweg nicht zu schätzen, und die Bildsyntheseeinheit kann konfiguriert sein, um ein von der Bilderzeugungseinheit (10, S9A, S1) erzeugtes Bild direkt als ein Ausgabebild zu verwenden. In diesem Fall ist es möglich, nutzlose Prozesse bei der Wegschätzungseinheit und der Bildsyntheseeinheit zu unterdrücken. Die „Aufwärtsrichtung von“ ist hierbei nicht streng auf die entgegengesetzte Richtung zur Schwerkraft beschränkt und muss nicht streng nach oben gerichtet sein, solange sie die beabsichtigten Effekte aufweist. So kann sie beispielsweise, wie bei der zweiten Ausführungsform, senkrecht zur Erde G stehen oder in eine Richtung leicht weiter geneigt sein.
(4E) Die Wegschätzungseinheit kann konfiguriert werden, um die Zuverlässigkeit der Schätzung für jeden Abschnitt des Fahrweges zu berechnen, und die Bildsyntheseeinheit kann konfiguriert werden, um ein Bild jedes Abschnitts im Fahrweg als Bild in einem Modus in Übereinstimmung mit der Zuverlässigkeit auf die Bilder, die durch die Bilderzeugungseinheit erzeugt werden, zu überlagern. In diesem Fall kann die Zuverlässigkeit jedes Abschnitts im Fahrweg gut erkannt werden.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016117010 [0001]
WO 0007373 [0004]

Claims

Bilderzeugungsgerät (100), das aufweist: Bilderlangungseinheiten (3A, 3B, 3C, 3D), die konfiguriert sind, um ein Bild der Umgebung eines Fahrzeugs (1) zu erlangen, eine Bilderzeugungseinheit (10, S9, S9, S9A, S1, S1A), die konfiguriert ist, um Bilder zu erzeugen, die das Fahrzeug und die Nähe von einem virtuellen Sichtpunkt (V), der außerhalb des Fahrzeugs eingestellt ist, zeigen, unter Verwendung des Bildes, das von den Bilderlangungseinheiten erlangt wurde, eine Wegschätzungseinheit (10, S5, S5, S5A), die konfiguriert ist, um einen Fahrweg des Fahrzeugs auf der Grundlage eines Fahrzustandes des Fahrzeugs zu schätzen, und eine Bildsyntheseeinheit (10, S11), die konfiguriert ist, um ein Bild als ein Ausgabebild zu erzeugen, das durch ein Verarbeiten von entweder einem von Bildern (B, T) des Fahrzeugs unter Bildern, die von der Bilderzeugungseinheit erzeugt werden, oder einem Bild (K) des Fahrwegs, das von der Wegschätzungseinheit geschätzt wird, in ein transparentes Bild erhalten wird, und ein Überlagern des transparenten Bildes auf ein anderes der Bilder, außerdem ein Überlagern dieser Bilder über ein Bild (H) der Umgebung unter den Bildern, die von der Bilderzeugungseinheit erzeugt werden.
Bilderzeugungsgerät (100), das aufweist: Bilderlangungseinheiten (3A, 3B, 3C, 3D), die konfiguriert sind, um ein Bild der Umgebung eines Fahrzeugs (1) zu erlangen, eine Bilderzeugungseinheit (10, S9, S9A, S1, S1A), die konfiguriert ist, um Bilder zu erzeugen, die das Fahrzeug, das mit Transparenz versehen ist, und die Nähe von einem virtuellen Sichtpunkt (V), der außerhalb des Fahrzeugs eingestellt ist, unter Verwendung des Bildes, das von den Bilderlangungseinheiten aufgenommen wurde, und transparenter Bilder (B, T) des Fahrzeugs, die im Voraus in Übereinstimmung mit dem Fahrzeug vorbereitet wurden, zeigen, eine Wegschätzungseinheit (10, S5, S5A), die konfiguriert ist, um einen Fahrweg des Fahrzeugs auf der Grundlage eines Fahrzustandes des Fahrzeugs zu schätzen, und eine Bildsyntheseeinheit (10, S11), die konfiguriert ist, um ein Bild als ein Ausgabebild zu erzeugen, das durch ein Überlagern von Bildern des Fahrzeugs unter Bildern, die durch die Bilderzeugungseinheit erzeugt werden, über ein Bild (K) des Fahrwegs, der von der Wegschätzungseinheit geschätzt wird, und außerdem ein Überlagern dieser Bilder über ein Bild (H) der Nähe unter den Bildern, die von der Bilderzeugungseinheit erzeugt werden.
Bilderzeugungsgerät nach Anspruch 1 oder 2, wobei die Bilderzeugungseinheit konfiguriert ist, um Bilder zu erzeugen, die das gesamte Fahrzeug und die Nähe des Fahrzeugs von dem virtuellen Sichtpunkt, der schräg über dem Fahrzeug eingestellt ist, zeigen.
Bilderzeugungsgerät nach einem der Ansprüche 1 bis 3, wobei die Bilder des Fahrzeugs, die über das Bild der Nähe durch die Bildsyntheseeinheit überlagert sind, ein Bild sind, das durch ein Überlagern eines Bildes (B) einer Fahrzeugkarosserie des Fahrzeugs über ein Bild (T) von jedem Rad des Fahrzeugs verarbeitet wird, und das Bild der Fahrzeugkarosserie ein Bild ist, das mit Transparenz versehen ist.
Bilderzeugungsgerät nach einem der Ansprüche 1 bis 4, das außerdem aufweist: Sichtpunkteinstellungseinheiten (51, 52, 53, 54), die konfiguriert sind, um eine Position des virtuellen Sichtpunkts einzustellen.
Bilderzeugungsgerät nach Anspruch 5, wobei wenn der virtuelle Blickwinkel über die Sichtpunkteinstellungseinheiten auf eine Position eingestellt wird, um einen Neigungswinkel zu haben, der in Bezug auf die Aufwärtsrichtung des Fahrzeugs größer als ein im Voraus eingestellter vorbestimmter Wert ist, die Wegschätzungseinheit (10, 5A) konfiguriert ist, um den Fahrweg nicht zu schätzen, und die Bildsyntheseeinheit konfiguriert ist, um ein Bild, das durch die Bilderzeugungseinheit (10, S9A, S1A) erzeugt wird, als Ausgabebild direkt zu verwenden.
Bilderzeugungsgerät nach einem der Ansprüche 1 bis 6, wobei die Wegschätzungseinheit konfiguriert ist, um die Zuverlässigkeit der Schätzung für jeden Abschnitt des Fahrwegs zu berechnen, und die Bildsyntheseeinheit konfiguriert ist, um ein Bild von jedem Abschnitt bei dem Fahrweg als ein Bild in einem Modus in Übereinstimmung mit der Zuverlässigkeit der Bilder, die von der Bilderzeugungseinheit erzeugt werden, zu überlagern.
Ein Programm, um einen Computer zu veranlassen, um zu: Erzeugen (S9, S9A, S1, S1A) von Bildern unter Verwendung eines Bildes der Nähe eines Fahrzeugs (1), das erlangt wurde, das das Fahrzeug und die Nähe von einem virtuellen Sichtpunkt (V), der außerhalb des Fahrzeugs eingestellt ist, zeigt, Schätzen (S5, S5A) eines Fahrwegs des Fahrzeugs auf der Grundlage eines Fahrzustands des Fahrzeugs, und Erzeugen (S11) eines Bildes als ein Ausgabebild, das durch ein Verarbeiten entweder von Bildern des Fahrzeugs unter den erzeugten Bildern oder eines Bildes des geschätzten Fahrwegs in ein transparentes Bild erhalten wird, und Überlagern des transparenten Bildes an dem anderen Bild, außerdem Überlagern dieser Bilder über ein Bild (H) der Nähe unter den erzeugten Bildern.
Ein Programm, um einen Computer zu veranlassen, um zu: Erzeugen (S9, S9A, S1, S1A) von Bildern unter Verwendung eines Bildes der Nähe eines Fahrzeugs (1), das erhalten wurde, und transparenter Bilder (B, T) des Fahrzeugs, die im Voraus in Übereinstimmung mit dem Fahrzeug vorbereitet wurden, um das mit Transparenz versehene Fahrzeug und die Nähe von einem virtuellen Sichtpunkt (V), der außerhalb des Fahrzeugs eingestellt ist, zu sehen, Schätzen (S5, S5A) eines Fahrwegs des Fahrzeugs auf der Grundlage eines Fahrzustands des Fahrzeugs, und Erzeugen (S11) eines Bildes als ein Ausgabebild, das durch ein Überlagern eines Bildes des Fahrzeugs unter den erzeugten Bildern über ein Bild (K) des geschätzten Fahrwegs erhalten wird, außerdem Überlagern dieser Bilder über ein Bild (H) der Nähe unter den erzeugten Bildern.