DE112020001429T5

DE112020001429T5 - Elektronisches spiegelsystem, bildanzeigeverfahren und sich bewegendes fahrzeug

Info

Publication number: DE112020001429T5
Application number: DE112020001429.0T
Authority: DE
Inventors: Toshiya Mori; Ken'ichi Kasazumi
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Systems Co Ltd
Priority date: 2019-03-27
Filing date: 2020-02-14
Publication date: 2021-12-23
Also published as: JP7475107B2; US11780368B2; JPWO2020195307A1; WO2020195307A1; US20220009414A1

Abstract

Eine Aufgabe der vorliegenden Offenbarung ist, den Grad der Sichtbarkeit zu erhöhen. Ein elektronisches Spiegelsystem (10) zeigt Umstände um ein sich bewegendes Fahrzeug (100) durch aufeinanderfolgendes Anzeigen einer Reihe von Bildern, die die Umstände um das sich bewegende Fahrzeug (100) darstellen, als sich bewegendes Bild. Das elektronische Spiegelsystem (10) weist eine Bildanzeigeeinheit (20) und ein optisches System (30) auf. Die Bildanzeigeeinheit (20) zeigt ein Bild aus der Reihe der Bilder jedes Mal, wenn von einer Bildaufnahmeeinheit (40) Bilddaten erlangt werden, auf Basis der von der Bildaufnahmeeinheit (40) erlangten Bilddaten an einem Anzeigebildschirm (221) an. Die Bildaufnahmeeinheit (40) nimmt fortlaufend ein Video auf, das die Umstände um das sich bewegende Fahrzeug (100) darstellt. Das optische System (30) bündelt einen Lichtstrahl, der das an dem Anzeigebildschirm (221) angezeigte Bild darstellt, in eine Eyebox (210), um einen Benutzer (200), dessen Blickpunkt sich innerhalb der Eyebox (210) befindet, ein virtuelles Bild (300), das auf dem an dem Anzeigebildschirm (221) angezeigten Bild beruht, sehen zu lassen. Der Anzeigebildschirm (221) ist so angeordnet, dass er in Bezug auf einen optischen Pfad (L1), der von dem Anzeigebildschirm (221) zu dem optischen System (30) führt, geneigt ist.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft im Allgemeinen ein elektronisches Spiegelsystem, ein Bildanzeigeverfahren und ein sich bewegendes Fahrzeug. Genauer betrifft die vorliegende Offenbarung ein elektronisches Spiegelsystem zum Anzeigen eines Bilds auf Basis von Bilddaten, die durch eine Bildaufnahmeeinheit bereitgestellt werden, ein Bildanzeigeverfahren und ein sich bewegendes Fahrzeug, das ein solches elektronisches Spiegelsystem aufweist.
Allgemeiner Stand der Technik
Das Patentliteraturbeispiel 1 offenbart ein elektronisches Spiegelsystem, das eine Bildaufnahmevorrichtung (Bildaufnahmeeinheit) zum Aufnehmen eines Bilds als Rücksicht oder Seitensicht eines sich fortbewegenden Fahrzeugs; und eine Anzeigevorrichtung (Bildanzeigeeinheit) zum Darstellen eines von der Bildaufnahmevorrichtung gelieferten Videosignals als Video aufweist. Die Anzeigevorrichtung ist zum Beispiel als eine Flüssigkristallanzeige ausgeführt. Die Anzeigevorrichtung ist im Inneren des Fahrzeugs an einer Position eingerichtet, an der der Fahrer das Video an der Anzeigevorrichtung leicht überwachen kann.
Bei dem elektronischen Spiegelsystem des Patentliteraturbeispiels 1 benötigt der Fahrer jedoch dann, wenn er seinen Blick von dem einige Meter vor ihm befindlichen Verkehr auf der Straße zu dem Video auf der nur wenige zehn Zentimeter von ihm entfernten Anzeigevorrichtung verlagert, einige Zeit, um eine Fokussierung auf das Video zu finden, was das Video an der Anzeigevorrichtung für ihn nicht leicht erkennbar macht.
Literaturliste
Patentliteratur
Patentliteraturbeispiel 1: JP 2009-83618 A
Kurzdarstellung der Erfindung
Es ist daher eine Aufgabe der vorliegenden Offenbarung, ein elektronisches Spiegelsystem, ein Bildanzeigeverfahren und ein sich bewegendes Fahrzeug bereitzustellen, die alle so ausgebildet oder gestaltet sind, dass das Video für den Fahrer leichter erkennbar gemacht wird.
Ein elektronisches Spiegelsystem nach einem Gesichtspunkt der vorliegenden Offenbarung ist so ausgebildet, dass es Umstände um ein sich bewegendes Fahrzeug durch aufeinanderfolgendes Anzeigen einer Reihe von Bildern, die die Umstände um das sich bewegende Fahrzeug darstellen, zeigt. Das elektronische Spiegelsystem weist eine Bildanzeigeeinheit und ein optisches System auf. Die Bildanzeigeeinheit zeigt ein Bild aus der Reihe der Bilder jedes Mal, wenn von einer Bildaufnahmeeinheit Bilddaten erlangt werden, auf Basis der von der Bildaufnahmeeinheit erlangten Bilddaten an einem Anzeigebildschirm an. Die Bildaufnahmeeinheit nimmt fortlaufend ein Video auf, das die Umstände um das sich bewegende Fahrzeug darstellt. Das optische System bündelt einen Lichtstrahl, der das an dem Anzeigebildschirm angezeigte Bild darstellt, in eine Eyebox, um einen Benutzer, dessen Blickpunkt sich innerhalb der Eyebox befindet, ein virtuelles Bild, das auf dem an dem Anzeigebildschirm angezeigten Bild beruht, sehen zu lassen. Der Anzeigebildschirm ist so angeordnet, dass er in Bezug auf einen optischen Pfad, der von dem Anzeigebildschirm zu dem optischen System führt, geneigt ist.
Ein Bildanzeigeverfahren nach einem anderen Gesichtspunkt der vorliegenden Offenbarung ist ein Verfahren zum Anzeigen der Reihe von Bildern an der Bildanzeigevorrichtung, die in dem oben beschriebenen elektronischen Spiegelsystem enthalten ist. Das Bildanzeigeverfahren umfasst einen ersten, einen zweiten, einen dritten und einen vierten Verarbeitungsschritt. Der erste Verarbeitungsschritt umfasst das Erlangen von Bilddaten von der Bildaufnahmeeinheit. Der zweite Verarbeitungsschritt umfasst das Erlangen von Entfernungsdaten hinsichtlich einer Entfernung in dem realen Raum zwischen einem Ziel, das in dem Bild, das an der Bildanzeigeeinheit angezeigt wird, abgebildet ist, und der Eyebox. Der dritte Verarbeitungsschritt umfasst das Erzeugen von stereoskopischen Bilddaten auf Basis der Bilddaten und der Entfernungsdaten, um einen Benutzer, dessen Blickpunkt sich innerhalb der Eyebox befindet, ein stereoskopisches virtuelles Bild des Ziels sehen zu lassen. Der vierte Verarbeitungsschritt umfasst das Anzeigen eines auf den stereoskopischen Bilddaten beruhenden stereoskopisch wiedergegebenen (stereoskopisch gerenderten) Bilds eines stereoskopisch wiedergegebenen (stereoskopisch gerenderten) Bereichs an dem Anzeigebildschirm der Bildanzeigeeinheit.
Ein sich bewegendes Fahrzeug nach noch einem anderen Gesichtspunkt der vorliegenden Offenbarung weist einen sich bewegenden Fahrzeughauptkörper, der sich bewegt; und das oben beschriebene elektronische Spiegelsystem, das in dem sich bewegenden Fahrzeughauptkörper eingerichtet ist, auf.
Figurenliste

1 stellt ein elektronisches Spiegelsystem nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung schematisch dar;
2 stellt ein sich bewegendes Fahrzeug, das das elektronische Spiegelsystem aufweist, schematisch dar;
3 ist ein schematisches Blockdiagramm des elektronischen Spiegelsystems;
4 stellt einen Zustand dar, in dem das elektronische Spiegelsystem verwendet wird;
5 stellt dar, wie ein stereoskopisches Bild unter Verwendung des elektronischen Spiegelsystems dargestellt wird;
6 ist ein Ablaufdiagramm, das die Betriebsweise des elektronischen Spiegelsystems zeigt;
7 stellt ein Bild dar, das durch eine Bildaufnahmeeinheit des elektronischen Spiegelsystems aufgenommen wurde;
8 stellt ein Bild dar, das durch eine in dem elektronischen Spiegelsystem enthaltene Bilddatenerzeugungseinheit verarbeitet wird;
9 stellt ein anderes Bild dar, das durch die in dem elektronischen Spiegelsystem enthaltene Bilddatenerzeugungseinheit verarbeitet wird;
10 stellt noch ein anderes Bild dar, das durch die in dem elektronischen Spiegelsystem enthaltene Bilddatenerzeugungseinheit verarbeitet wird;
11 ist ein schematisches Blockdiagramm eines elektronischen Spiegelsystems nach einer ersten Abwandlung der beispielhaften Ausführungsform der vorliegenden Offenbarung; und
12 stellt ein elektronisches Spiegelsystem nach einer zweiten Abwandlung der beispielhaften Ausführungsform der vorliegenden Offenbarung schematisch dar.

Beschreibung von Ausführungsformen
(1) Überblick
Ein elektronisches Spiegelsystem 10 nach einer beispielhaften Ausführungsform kann wie in 1 und 2 gezeigt zum Beispiel in einem Kraftfahrzeug 100 als beispielhaftes sich bewegendes Fahrzeug verwendet werden. Es ist zu beachten, dass die Zeichnungen, auf die in der folgenden Beschreibung von Ausführungsformen Bezug genommen wird, jeweils schematische Darstellungen sind. Daher entspricht das Verhältnis der Abmessungen (einschließlich der Dicken) der jeweiligen Aufbauelemente, die in den Zeichnungen dargestellt sind, nicht immer ihrem tatsächlichen Abmessungsverhältnis
Das elektronische Spiegelsystem 10 ist so ausgebildet, dass es die Umstände um das Kraftfahrzeug 100 (als beispielhaftes sich bewegendes Fahrzeug) durch aufeinanderfolgendes Anzeigen einer Reihe von Bildern, die die Umstände um das Kraftfahrzeug 100 darstellen, als sich bewegendes Bild zeigt. Das elektronische Spiegelsystem 10 weist wie in 1 und 3 gezeigt eine Bildanzeigeeinheit 20 und ein optisches System 30 auf. Die Bildanzeigeeinheit 20 zeigt eine Reihe von Bildern, die auf Bilddaten, die von einer Bildaufnahmeeinheit 40 erlangt werden, beruht, an einem Anzeigebildschirm 221 an. Mit anderen Worten zeigt die Bildanzeigeeinheit 20 jedes Mal, wenn von der Bildaufnahmeeinheit 40, die fortlaufend ein Video aufnimmt, das die Umstände um das sich bewegende Fahrzeug 100 darstellt, die Bilddaten erlangt werden, ein Bild aus der Reihe der Bilder auf Basis der von der Bildaufnahmeeinheit 40 erlangten Bilddaten an. Das optische System 30 bündelt einen Lichtstrahl, der das an dem Anzeigebildschirm angezeigte Bild darstellt, in eine Eyebox 210, um einen Benutzer 200 (wie etwa den Fahrer des Kraftfahrzeugs 100), dessen Blickpunkt 201 sich innerhalb der Eyebox 210 befindet, ein virtuelles Bild 300, das auf dem an dem Anzeigebildschirm 221 angezeigten Bild beruht, sehen zu lassen. Der Anzeigebildschirm 221 ist so angeordnet, dass er in Bezug auf einen optischen Pfad L1, der von dem Anzeigebildschirm 221 zu dem optischen System 30 führt, geneigt ist. Der Ausdruck „die Bildaufnahmeeinheit 40 nimmt fortlaufend ein Video auf, das die Umstände um das sich bewegende Fahrzeug 100 darstellt“ in der hierin gebrauchten Form kann sich nicht nur buchstäblich auf ein ununterbrochenes Aufnehmen eines Videos, das die Umstände um das sich bewegende Fahrzeug 100 darstellt, sondern auch auf ein unterbrochenes Aufnehmen eines Videos, das die Umstände um das sich bewegende Fahrzeug 100 darstellt, mit einer Framerate, die hoch genug ist, um zu vermeiden, dass das sich bewegende Bild für das menschliche Auge unnatürlich aussieht, (die z.B. in einen Bereich von wenigen zehn bis einigen hundert Frames pro Sekunde (FPS) fällt) beziehen. Die Anzeigeeinheit 20 zeigt die Reihe der Bilder auf Basis der Bilddaten, die mit Unterbrechungen von der Bildaufnahmeeinheit 40 erlangt wurden, an dem Anzeigebildschirm 221 an, um den Benutzer 200 die Bilder so sehen zu lassen, als ob ein sich bewegendes Bild dargestellt würde.
In diesem Fall bündelt das optische System 30 einen Lichtstrahl, der eines aus der Reihe der an dem Anzeigebildschirm 221 angezeigten Bilder darstellt, durch Reflektieren und/oder Brechen des Lichtstrahls in die Eyebox 210. Bei der nachstehend beschriebenen Ausführungsform ist das optische System 30 als Kombination aus einer Linse 31 wie etwa einer bikonvexen Linse und einem Spiegel wie etwa einem Planspiegel ausgeführt. Es ist zu beachten, dass die Kombination aus der Linse 31 und dem Spiegel 32 je nach der Größe des Anzeigebildschirms 221, dem Vergrößerungsgrad, der Sichtentfernung und anderen Parametern passend geändert werden kann. Die Linse 31 muss keine bikonvexe Linse sein, sondern kann auch eine konvexe Linse oder eine konkave Linse sein. Der Spiegel 32 muss kein Planspiegel sein, sondern kann zum Beispiel auch ein Konkavspiegel sein. Außerdem kann das optische System 30 auch eine Kombination aus mehreren Linsen oder eine Kombination aus mehreren Spiegeln sein. Alternativ kann das optische System 30 sogar als ein einzelnes optisches Element (wie etwa eine einzelne Linse oder ein einzelner Spiegel) ausgebildet werden.
Ein Lichtstrahl, der eines aus der Reihe der an dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 angezeigten Bilder darstellt, wird durch das optische System 30 in die Eyebox 210 gebündelt. Dies gestattet dem Benutzer 200, dessen Blickpunkt 201 sich innerhalb der Eyebox 210 befindet, das durch den Lichtstrahl, der durch das optische System 30 gebündelt wurde, dargestellte eine aus der Reihe der Bilder zu sehen. Das heißt, der Benutzer 200 kann durch Sehen des einen aus der Reihe der Bilder, das durch die Linse 31 des optischen Systems 30 vergrößert wurde und dann durch den Spiegel 32 reflektiert wurde, ein auf dem einen aus der Reihe der an dem Anzeigebildschirm 221 angezeigten Bilder beruhendes virtuelles Bild 300 (siehe 1) sehen. Mit anderen Worten bezieht sich das virtuelle Bild 300 in diesem Dokument auf ein Bild, das dann, wenn ein von der Bildanzeigeeinheit 20 ausgehender Lichtstrahl von dem Spiegel 32 des optischen Systems 30 reflektiert wird, so durch den reflektierten Lichtstrahl erzeugt wird, als ob in der Blickrichtung des Benutzers 200 tatsächlich ein Objekt vorhanden wäre. 4 stellt ein beispielhaftes Bild G1 dar, das dem Benutzer 200 gezeigt wird, wenn der Lichtstrahl, der eines aus der Reihe der an dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 angezeigten Bilder darstellt, nach einer Reflexion von dem Spiegel 32 des optischen Systems 30 in seine Eyebox 210 gebündelt wird. Wenn das elektronische Spiegelsystem 10 einen solchen Lichtstrahl, der das Bild G1 darstellt, in die Eyebox 210 des Benutzers 200 bündelt, kann der Benutzer 200 das virtuelle Bild 300 sehen, das ihm das Gefühl gibt, als ob in seiner Blickrichtung tatsächlich ein Objekt vor ihm vorhanden wäre.
Nun sind in dem Bild G1 verschiedene Objekte, die in der Umgebung des Kraftfahrzeugs 100 vorhanden sind, aufgenommen. Beispiele für diese Objekte umfassen die Fahrfläche 400 der Straße, auf der sich das Kraftfahrzeug 100 fortbewegt, Verkehrszeichen, die entlang der Straße eingerichtet sind, Leitschienen und Schutzzäune, Gebäude, die der Straße zugewandt sind, andere Kraftfahrzeuge und Motorräder, die in der Nähe des Kraftfahrzeugs 100 fahren, Fußgänger und den Himmel. Im Allgemeinen sind die Objekte, die in einem oberen Bereich des Bilds G1 dargestellt sind, (wie etwa der Himmel) weiter als die Objekte, die in einem unteren Bereich des Bilds G1 dargestellt sind (wie etwa die Fahrfläche in der Nähe des Kraftfahrzeugs 100), entfernt. Das virtuelle Bild 300, das durch das elektronische Spiegelsystem 10 zu dem Benutzer 200 projiziert wird, wird von dem Benutzer 200 so gesehen, als ob die Objekte, die einem oberen Endbereich des Bilds G1 entsprechen, weiter von der Eyebox 210 entfernt wären, als die Objekte, die einem unteren Endbereich des Bilds G1 entsprechen, wodurch dem virtuellen Bild 300 ein natürliches Distanzgefühl vermittelt wird. Dies verringert die Wahrscheinlichkeit, dass der Benutzer 200 das Bild G1, das durch das elektronische Spiegelsystem 10 projiziert wird, als unnatürlich empfindet. Zudem kann dies auch die Fokuseinstellung für den Benutzer 200 verringern, wenn der Benutzer 200, der seinen Blick auf den Verkehr auf der Straße vor ihm fixiert hat, seinen Blick zu dem durch das elektronische Spiegelsystem 10 projizierten Bild verlagert. Dies gestattet eine Verkürzung der Zeit, die er braucht, um den Fokus zu finden und einzustellen, was zu einer Steigerung des Grads der Sichtbarkeit des Bilds G1 für ihn beiträgt.
Es ist zu beachten, dass das elektronische Spiegelsystem 10 nach dieser Ausführungsform das virtuelle Bild 300 aller verschiedenen Objekte, die in dem Bild G1 dargestellt sind, mit Ausnahme des Ziels für eine stereoskopische Wiedergabe/ein stereoskopisches Rendering (die nachstehend als „planar wiedergegebener/gerendeter Teil“ bezeichnet werden) auf eine Ebene PL1 projiziert. Zudem projiziert das elektronische Spiegelsystem 10 auch ein virtuelles Bild 310 des stereoskopischen Wiedergabeziels (Rendering Ziels) unter den verschiedenen Objekten, die in dem Bild G1 dargestellt sind, auf eine Ebene, die die Fahrfläche 400 in einem rechten Winkel schneidet, (d.h., eine zu der Ebene PL12 parallele Ebene), wodurch die Vornahme einer stereoskopischen Anzeigetätigkeit für das Ziel für eine stereoskopische Wiedergabe (ein stereoskopisches Rendering) ermöglicht wird. Optional kann die Ebene PL1 durch Ändern der relativen Anordnung der Bildanzeigeeinheit 20 und des optischen Systems 30 auch im Wesentlichen parallel zu der Ebene PL11 eingerichtet werden. Eine Technik, durch die das elektronische Spiegelsystem 10 das virtuelle Bild 300 des planar wiedergegebenen/gerenderten Teils und das virtuelle Bild 310 des Ziels für eine stereoskopische Wiedergabe (ein stereoskopisches Rendering) projiziert, wird später in dem Abschnitt „(2.1.3) Die Bildanzeigeeinheit“ ausführlich beschrieben werden.
(2) Einzelheiten
Als nächstes wird ein elektronisches Spiegelsystem 10 nach dieser Ausführungsform unter Bezugnahme auf die beiliegenden Zeichnungen ausführlich beschrieben werden.
(2.1) Aufbau
Wie in 1 und 3 gezeigt ist, weist das elektronische Spiegelsystem 10 nach dieser Ausführungsform eine Bildanzeigeeinheit 20 und ein optisches System 30 auf. Das elektronische Spiegelsystem 10 weist ferner eine Bildaufnahmeeinheit 40 und eine Steuereinheit 50 auf. Das elektronische Spiegelsystem 10 weist ferner ein Gehäuse 60 zur Aufnahme der Bildanzeigeeinheit 20, des optischen Systems 30 und der Steuereinheit 50 auf.
Das elektronische Spiegelsystem 10 nach dieser Ausführungsform ist in einem sich bewegenden Fahrzeughauptkörper 110 eines Kraftfahrzeugs 100 als beispielhaftes sich bewegendes Fahrzeug eingerichtet. Das heißt, das sich bewegende Fahrzeug (das Kraftfahrzeug 100) weist den sich bewegenden Fahrzeughauptkörper 110, der zur Bewegung ausgebildet ist, und das elektronische Spiegelsystem 10, das als Teil der bordeigenen Ausstattung des sich bewegenden Fahrzeughauptkörpers 110 bereitgestellt ist, auf.
Als nächstes werden das Gehäuse 60, die Bildaufnahmeeinheit 40, die Bildanzeigeeinheit 20, das optische System 30 und die Steuereinheit 50 als jeweilige Aufbauelemente des elektronischen Spiegelsystems 10 unter Bezugnahme auf die beiliegenden Zeichnungen einzeln beschrieben werden.
(2.1.1) Das Gehäuse
Das Gehäuse 60 kann zum Beispiel ein Formprodukt aus Kunstharz sein. Das Gehäuse 60 kann wie in 1 gezeigt in der Form eines rechteckigen Parallelflächners mit einer inneren Kammer 64 ausgeführt sein. In der inneren Kammer 64 sind die Bildanzeigeeinheit 20, das optische System 30, die Steuereinheit 50 und andere Elemente untergebracht.
Das Gehäuse 60 ist so in einem nahe an der Windschutzscheibe 112 befindlichen vorderen Abschnitt eines Dachs 111 des sich bewegenden Fahrzeughauptkörpers 110 eingerichtet, dass es in das Blickfeld des auf einem Vordersitz 103 sitzenden Benutzers 200 gelangt (siehe 1 und 2). Das Gehäuse 60 ist über ein Tragelement 61 so an dem Dach 111 des sich bewegenden Fahrzeughauptkörpers 110 angebracht, dass es von dem Dach 111 hängt und die Sicht des Benutzers 200 nach vorne nicht blockiert. Das Gehäuse 60 ist ein einer solchen Form ausgeführt, dass seine in der Rechts-Links-Richtung (d.h., entlang der Breite des Fahrzeugs) des sich bewegenden Fahrzeughauptkörpers 110 gemessene Abmessung kleiner als seine in der Aufwärts-Abwärts-Richtung gemessene Abmessung oder seine in der Vorwärts-Rückwärts-Richtung gemessene Abmessung ist, wenn es in dem sich bewegenden Fahrzeughauptkörper 110 eingerichtet ist,
Eine Rückfläche des Gehäuses 60 (d.h., eine Rückwand des Gehäuses 60) weist eine durch die Rückwand des Gehäuses 60 hindurch verlaufende Durchgangsöffnung 62 auf. Die in der Rechts-Links-Richtung (d.h., der zu der Aufwärts-Abwärts-Richtung und der Vorwärts-Rückwärts-Richtung orthogonalen Richtung) gemessene Abmessung der Durchgangsöffnung 62 ist größer als ihre in der Aufwärts-Abwärts-Richtung gemessene Abmessung. Das Verhältnis ihrer in der Rechts-Links-Richtung gemessenen Abmessung (d.h., der Abmessung ihrer längeren Seite) zu der in der Aufwärts-Abwärts-Richtung gemessenen Abmessung (d.h., der Abmessung ihrer kürzeren Seite) kann ungefähr 3 : 1 bis 6 : 1 betragen. In die Durchgangsöffnung 62 ist ein durchsichtiges Fensterelement 63, das zum Beispiel aus Glas besteht, eingesetzt. Der Lichtstrahl, der von einem Spiegel 32 des optischen Systems 30 reflektiert wird, wird durch das Fensterelement 63 übertragen und in die Eyebox 210 gebündelt, wodurch dem Benutzer 200, dessen Blickpunkt 201 sich im Inneren der Eyebox 210 befindet, gestattet wird, ein durch das optische System 30 projiziertes Bild G1 zu sehen.
(2.1.2) Die Bildaufnahmeeinheit
Die Bildaufnahmeeinheit 40 weist mehrere (z.B. zwei) Kameras 41, 42 mit voneinander verschiedenen Aufnahmerichtungen auf. Die Kameras 41, 42 können jeweils Digitalkameras mit der Fähigkeit zur Aufnahme eines sich bewegenden Bilds sein. Die beiden Kameras 41, 42 sind so angeordnet, dass die jeweiligen Aufnahmebereiche der Kameras 41, 42 einander wenigstens teilweise überlappen. Jede der Kameras 41, 42 nimmt ein Video, das eine Rücksicht des Kraftfahrzeugs 100 zeigt, mit einer vorherbestimmten Framerate auf und gibt Bilddaten an die Steuereinheit 50 aus. Bei dieser Ausführungsform nehmen die beiden Kameras 41, 42 Videos, die eine Rücksicht des Kraftfahrzeugs 100 zeigen, aus voneinander verschiedenen Richtungen auf. Dies gestattet der Steuereinheit 50, durch das Triangulationsverfahren unter Verwendung der durch die Kameras 41, 42 bereitgestellten Bilddaten und von Informationen hinsichtlich der Einrichtungspositionen der Kameras 41, 42 den Abstand zu einem Objekt in den durch die Kameras 41, 42 aufgenommenen Bildern zu bestimmen.
Bei dieser Ausführungsform weist die Bildaufnahmeeinheit 40 die beiden Kameras 41, 42 mit voneinander verschiedenen Aufnahmerichtungen auf. Alternativ kann die Bildaufnahmeeinheit 40 auch drei oder mehr Kameras mit voneinander verschiedenen Aufnahmerichtungen aufweisen.
(2.1.3) Die Bildanzeigeeinheit
Die Bildaufnahmeeinheit 20 weist eine Anzeigevorrichtung 21 und eine Linsenanordnung 22 auf. Die Bildanzeigeeinheit 20 verfügt über die Fähigkeit zum Anzeigen eines stereoskopischen Bilds durch die Lichtfeldmethode, gemäß der einem Objekt in einem aufgenommenen Bild durch Wiedergeben von Lichtstrahlen, die von dem Objekt in mehrere Richtungen ausgehen, ein stereoskopisches Aussehen verliehen wird.
Die Anzeigevorrichtung 21 ist so in einer oberen rechten Ecke der inneren Kammer 64 in dem Gehäuse 60 untergebracht, dass der Anzeigebildschirm 211 nach vorne gewandt ist. Der Anzeigebildschirm 211 der Anzeigevorrichtung 21 weist eine rechteckige Form auf, die der Form des Bilds G1, das zu dem Benutzer 200 projiziert werden soll, entspricht. An dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 sind mehrere Pixel X0 (siehe 5) so angeordnet, dass sie eine Anordnung bilden. Die mehreren Pixel X0 der Anzeigevorrichtung 21 strahlen unter Steuerung durch die Steuereinheit 50 Lichtstrahlen aus. Als Ergebnis wird durch die Lichtstrahlen, die von dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 ausgestrahlt werden, ein an dem Anzeigebildschirm 211 angezeigtes Bild gebildet. Die Anzeigevorrichtung 21 kann zum Beispiel als Flüssigkristallanzeige oder als organische Elektrolumineszenzvorrichtung (OEL-Vorrichtung) oder dergleichen ausgeführt werden.
An dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 ist die Linsenanordnung 22 angeordnet. In diesem Fall bildet die Oberfläche der Linsenanordnung 22 den Anzeigebildschirm 221 der Bildanzeigeeinheit 20. Die Linsenanordnung 22 weist mehrere Linsen 222 (siehe 5) auf, die so angeordnet sind, dass sie eine Anordnung bilden. Jede der mehreren Linsen 222 ist vier Pixeln X1 bis X4 aus den mehrere Pixeln X0 der Anzeigevorrichtung 21 zugeordnet. 5 stellt nur einige der mehreren Pixel X0 der Anzeigevorrichtung 21 dar. In 5 ist jeder Satz von vier Pixeln X1 bis X4, der durch eine Klammer GR1 angegeben ist, der gleichen Linse 222 aus den mehreren Linsen 222 zugeordnet.
Bei dem Beispiel, das in 5 dargestellt ist, sind vier Blickpunkte P1 bis P4 waagerecht im Inneren der Eyebox 210 festgelegt. Lichtstrahlen, die von mehreren Pixeln X1 der Anzeigevorrichtung 21 kommen, werden von mehreren Linsen 222 auf den Blickpunkt P1 fokussiert. Lichtstrahlen, die von mehreren Pixeln X2 der Anzeigevorrichtung 21 kommen, werden von mehreren Linsen 222 auf den Blickpunkt P2 fokussiert. Lichtstrahlen, die von mehreren Pixeln X3 der Anzeigevorrichtung 21 kommen, werden von mehreren Linsen 222 auf den Blickpunkt P3 fokussiert. Lichtstrahlen, die von mehreren Pixeln X4 der Anzeigevorrichtung 21 kommen, werden von mehreren Linsen 222 auf den Blickpunkt P4 fokussiert. Bei dieser Ausführungsform ist die Linsenanordnung 22 vor der Anzeigevorrichtung 21 angeordnet. Doch dies stellt lediglich ein Beispiel dar und sollte nicht als Beschränkung angesehen werden. Alternativ kann anstelle der Linsenanordnung 22 ein Element, wodurch mehrere Nadellöcher so geöffnet sind, dass sie eine Anordnung bilden, vor der Anzeigevorrichtung 21 eingerichtet werden.
Die Anzeigevorrichtung 21 der Bildanzeigeeinheit 20 zeigt an dem Anzeigebildschirm 211 ein Bild an, das auf den von der Steuereinheit 50 gelieferten Bilddaten beruht. Zum Anzeigen eines virtuellen Bilds 310 des Ziels für eine stereoskopische Wiedergabe gibt die Steuereinheit 50 stereoskopische Bilddaten zum Anzeigen des virtuellen Bilds 310 an die Anzeigevorrichtung 21 aus. Die Steuereinheit 50 lässt vier Sätze von Pixeln X1, X2, X3, X4, die jeweils den Blickpunkten P1, P2, P3, P4 entsprechen und aus den mehreren Pixeln, die einer Position, auf die das Ziel für eine stereoskopische Wiedergabe projiziert werden soll, zugeordnet sind, gewählt sind, das gleiche Bild auf Basis der gleichen stereoskopischen Bilddaten (mit anderen Worten ein stereoskopisch wiedergegebenes Bild eines stereoskopisch wiedergegebenen Bereichs) anzeigen. Als Ergebnis verursachen die Lichtstrahlen, die von dem Satz der Pixel X1, der dem Blickpunkt P1 entspricht, ausgestrahlt werden, dass ein virtuelles Bild 310, das auf dem an den mehreren Pixeln X1 angezeigten Bild beruht, auf den Blickpunkt P1 projiziert wird. Auf die gleiche Weise verursachen die Lichtstrahlen, die von dem Satz der Pixel X2, der dem Blickpunkt P2 entspricht, ausgestrahlt werden, dass ein virtuelles Bild 310, das auf dem an den mehreren Pixeln X2 angezeigten Bild beruht, auf den Blickpunkt P2 projiziert wird. Die Lichtstrahlen, die von dem Satz der Pixel X3, der dem Blickpunkt P3 entspricht, ausgestrahlt werden, verursachen, dass ein virtuelles Bild 310, das auf dem an den mehreren Pixeln X3 angezeigten Bild beruht, auf den Blickpunkt P3 projiziert wird. Die Lichtstrahlen, die von dem Satz der Pixel X4, der dem Blickpunkt P4 entspricht, ausgestrahlt werden, verursachen, dass ein virtuelles Bild 310, das auf dem an den mehreren Pixeln X4 angezeigten Bild beruht, auf den Blickpunkt P4 projiziert wird. Das Ziel für eine stereoskopische Wiedergabe der an den Pixeln X1 bis X4 angezeigten Bilder ist das gleiche Ziel. Doch wenn sie durch die Linsenanordnung 22 betrachtet werden, werden die an den Pixeln X1 bis X4 angezeigten Bilder so aussehen, dass sich der sichtbare Winkel zwischen den Blickpunkten P1 bis P4 geringfügig unterscheidet. Der Lichtstrahl, der das an dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 angezeigte Bild darstellt, wird schließlich durch die Linsenanordnung 22 in die Eyebox 210 gebündelt.
Zudem erzeugt die Steuereinheit 50 (genauer, die Bilddatenerzeugungseinheit 52) auch Daten für eine planare Wiedergabe, damit an dem Anzeigebildschirm 211 ein planar wiedergegebener Teil angezeigt wird. Der planar wiedergegebene Teil ist der Rest des an der Bildanzeigeeinheit 20 angezeigten Bilds abgesehen von dem Ziel für eine stereoskopische Wiedergabe. Insbesondere erzeugt die Steuereinheit 50 auf Basis der durch die Kameras 41, 42 bereitgestellten Bilddaten Daten für eine planare Wiedergabe eines von dem Ziel für eine stereoskopische Wiedergabe verschiedenen planar wiedergegebenen Teils, der den Hintergrund darstellt. Dann lässt die Steuereinheit 50 an den restlichen Pixeln mit Ausnahme der Pixel, die zur Wiedergabe des Ziels für eine stereoskopische Wiedergabe verwendet werden, unter den mehreren Pixeln der Anzeigevorrichtung 21 ein auf den Daten für eine planare Wiedergabe beruhendes Bild (mit anderen Worten ein planar wiedergegebenes Bild eines planar wiedergegebenen Teils) anzeigen. Es ist zu beachten, dass die Lichtstrahlen, die von diesen Pixeln ausgestrahlt werden, um die Daten für eine planare Wiedergabe anzuzeigen, auch durch die Linsenanordnung 22 verlaufen. Somit fallen nur die Lichtstrahlen, die von den dem Blickpunkt P1 entsprechenden Pixeln ausgestrahlt werden, auf den Blickpunkt P1 ein und fallen keine der Lichtstrahlen, die von den Pixeln, die den anderen Blickpunkten P2 bis P4 entsprechen, ausgestrahlt werden, auf den Blickpunkt P1 ein.
Wie ersichtlich ist, enthält das an dem Anzeigebildschirm 221 angezeigte Bild das auf den Daten für eine planare Wiedergabe beruhende planar wiedergegebene Bild und das auf den stereoskopischen Bilddaten beruhende Bild des Ziels für eine stereoskopische Wiedergabe. Dann wird das an dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 angezeigte Bild von dem Benutzer 200, dessen Blickpunkt sich im Inneren der Eyebox 210 befindet, durch die Linsenanordnung 22 und das optische System 30 gesehen. Wenn sich zum Beispiel das rechte Auge des Benutzers 200 an dem Blickpunkt P2 befindet und sich sein linkes Auge an dem Blickpunkt P3 befindet, werden die Lichtstrahlen, die von den Pixeln, die dem Blickpunkt P2 entsprechen, ausgehen, auf sein rechtes Auge projiziert und die Lichtstrahlen, die von den Pixeln, die dem Blickpunkt P3 entsprechen, ausgestrahlt werden, auf sein linkes Auge projiziert. Als Ergebnis wird das von dem Blickpunkt P2 gesehene Bild, d.h., ein Bild, in dem ein von dem Blickpunkt P2 gesehenes Bild des Ziels für eine stereoskopische Wiedergabe über das von dem Blickpunkt P2 gesehene Hintergrundbild gelegt ist, auf das rechte Auge des Benutzers 200 projiziert. Andererseits wird das von dem Blickpunkt P3 gesehene Bild, d.h., ein Bild, in dem ein von dem Blickpunkt P3 gesehenes Bild des Ziels für eine stereoskopische Wiedergabe über das von dem Blickpunkt P3 gesehene Hintergrundbild gelegt ist, auf das linke Auge des Benutzers 200 projiziert. Folglich wird ein aus voneinander verschiedenen Winkeln her gesehenes Paar von Bildern des Ziels für eine stereoskopische Wiedergabe über das Hintergrundbild gelegt auf das rechte und das linke Auge des Benutzers 200 projiziert, wodurch ermöglicht wird, dass ein Bild, das die Parallaxe zwischen seinem rechten und seinem linken Auge reproduziert, auf seine Augen projiziert wird. Dies gestattet dem Benutzer 200, ein auf dem Video, das an der Bildanzeigeeinheit 20 angezeigt wird, beruhendes stereoskopisches virtuelles Bild 310 des Ziels für eine stereoskopische Wiedergabe zu sehen.
Und wenn der Benutzer 200 seinen Kopf dreht, um sein rechtes und sein linkes Auge zum Beispiel zu den Blickpunkten P1 und P2 zu verlagern, kann er das virtuelle Bild 310, das jeweils von den Blickpunkten P2 und P3 her gesehen wurde, aus einem unterschiedlichen Winkel (d.h., von einem Blickpunkt, der sich geringfügig nach rechts verlagert hat) sehen.
Es ist zu beachten, dass die Lichtfeldmethode nicht das einzige Verfahren ist, das der Bildanzeigeeinheit 20 eine stereoskopische Anzeige des virtuellen Bilds 310 des Ziels für eine stereoskopische Wiedergabe gestattet. Alternativ kann die Bildanzeigeeinheit 20 auch die Parallaxenmethode einsetzen, die dem Benutzer 200 durch Projizieren eines Paars von Bildern mit einer Parallaxe auf das rechte bzw. das linke Auge des Benutzers 200 gestattet, ein virtuelles Bild 310 des Ziels für eine stereoskopische Wiedergabe zu sehen.
(2.14) Das optische System
Das optische System 30 bündelt den von dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 ausgestrahlten Lichtstrahl in die Eyebox 210. Bei dieser Ausführungsform weist das optische System 30 wie in 1 und 3 gezeigt eine Linse 31, die zum Beispiel eine bikonvexe Linse sein kann, und einen Spiegel 32, der ein Planspiegel sein kann, auf.
Die Linse 31 bricht den von der Bildanzeigeeinheit 20 ausgestrahlten Lichtstrahl, um den Lichtstrahl auf den Spiegel 32 einfallen zu lassen. Die Linse 31 als bikonvexe Linse bricht den von der Bildanzeigeeinheit 20 ausgestrahlten Lichtstrahl und vergrößert dadurch das Bild, das an dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 angezeigt wird. Bei dieser Ausführungsform strahlt der Lichtstrahl, der von dem Anzeigebildschirm der Bildanzeigeeinheit 20 (insbesondere dem Anzeigebildschirm 221 der Linsenanordnung 22) in einer Richtung DR2 ausgeht, die in Bezug auf eine Normale DR1 zu dem Anzeigebildschirm 221 schräg verläuft, in das optische System 30 ein. Mit anderen Worten ist der Anzeigebildschirm 221 der Bildanzeigeeinheit 20 in Bezug auf die Linse 31 des optischen System 30 schräg angeordnet.
Der Spiegel 32 reflektiert den Lichtstrahl, der darauf von der Bildanzeigeeinheit 20 durch die Linse 31 eingefallen ist, wodurch der reflektierte Lichtstrahl durch das Fensterelement 63 in die Eyebox 210 gebündelt wird.
Bei dieser Ausführungsform ist der Anzeigebildschirm 221 der Bildanzeigeeinheit 20 so angeordnet, dass er in Bezug auf einen optischen Pfad L1 (siehe 1), der von dem Anzeigebildschirm 221 zu dem optischen System 30 führt, geneigt ist. Der optische Pfad L1 ist der optische Pfad eines Lichtstrahls, der von einer Mitte des Anzeigebildschirms 221 (z.B. einem Punkt, der einer Mitte in der Aufwärts-Abwärts-Richtung und der Rechts-Links-Richtung des von dem Benutzer 200 gesehenen Bilds G1 entspricht) zu dem optischen System 30 hin ausgeht. Ein durch eine gestrichelte Linie in 1 angegebener optischer Pfad L2 gibt wiederum den optischen Pfad eines von einem Endabschnitt des Anzeigebildschirms 221 (einem Endabschnitt, der einem oberen Endabschnitt des von dem Benutzer 200 gesehenen Bilds G1 entspricht; zum Beispiel dem oberen Endabschnitt in 1) ausgehenden und über das optische System 30 in die Eyebox 210 gebündelten Lichtstrahls an. Darüber hinaus gibt ein durch eine gestrichelte Linie in 1 angegebener optischer Pfad L3 den optischen Pfad eines von dem anderen Endabschnitt des Anzeigebildschirms 221 (einem Endabschnitt, der einem unteren Endabschnitt des von dem Benutzer 200 gesehenen Bilds G1 entspricht; zum Beispiel dem unteren Endabschnitt in 1) ausgehenden und über das optische System 30 in die Eyebox 210 gebündelten Lichtstrahls an. Bei dieser Ausführungsform ist der Anzeigebildschirm 221 der Bildanzeigeeinheit 20 in Bezug auf den optischen Pfad L1 geneigt und ist daher die Länge des optischen Pfads L2 (d.h., die von der Eyebox 210 bis zu dem oberen Endabschnitt des Anzeigebildschirms 221 gemessene Länge) größer als die Länge des optischen Pfads L3 (d.h., die von der Eyebox 210 bis zu dem unteren Endabschnitt des Anzeigebildschirms 221 gemessene Länge). Daher wird das virtuelle Bild 300 des planar wiedergegebenen Teils, das auf der Reihe der an dem Anzeigebildschirm 221 angezeigten Bilder beruht, von dem Benutzer 200 als ein virtuelles Bild 300 (d.h., das an dem Anzeigebildschirm 221 angezeigte Bild) gesehen, dessen Anzeigeposition sich abhängig von der Entfernung zu dem oberen Rand des virtuellen Bilds 310 zu verändern scheint, so dass der oberste Teil des virtuellen Bilds 310 für die Augen des Benutzers 200 so erscheint, als ob dieser Teil an einer Position, die von der Eyebox 210 an weitesten entfernt ist, angezeigt würde. Folglich wird das virtuelle Bild 300 des planar wiedergegebenen Teils auf eine Ebene PL1 projiziert, die in Bezug auf eine zu der Fahrfläche 400, auf der das mit dem elektronischen Spiegelsystem 10 ausgestattete Kraftfahrzeug 100 fährt, parallel verlaufende erste Ebene PL11 und auf eine zu der Fahrfläche 400 orthogonale zweite Ebene P12 geneigt ist. Allgemein gesprochen befindet sich in einem Bild, das durch die Bildaufnahmeeinheit 40 zur Aufnahme eines Videos, das eine Rücksicht des Kraftfahrzeugs 100 zeigt, aufgenommen wurde, ein in einem oberen Teil des Bilds aufgenommenes Objekt (wie etwa die Straße in der Ferne und der Himmel) weiter von dem Kraftfahrzeug 100 entfernt als ein Objekt, das in einem unteren Teil des Bilds aufgenommen wurde (wie etwa die Straße in der Nähe des Kraftfahrzeugs 100). Daher führt das wie oben beschriebene, in Bezug auf den optischen Pfad L1 geneigte Anordnen des Anzeigebildschirms 221 der Bildanzeigeeinheit 20 dazu, dass das virtuelle Bild 300 des planar wiedergegebenen Teils auf die Ebene PL1 projiziert wird, was dem Benutzer 200 gestattet, ein virtuelles Bild 300 mit einem natürlichen Distanzgefühl zu sehen.
(2.1.5) Die Steuereinheit
Die Steuereinheit 50 weist eine Bildanalyseeinheit 51, eine Bilddatenerzeugungseinheit 52 (nachstehend einfach als „Erzeugungseinheit 52“ bezeichnet) und eine Ausgabeeinheit 53 auf. Mit anderen Worten führt die Steuereinheit 50 die Funktionen der Bildanalyseeinheit 51, der Erzeugungseinheit 52 und der Ausgabeeinheit 53 durch. Die Steuereinheit 50 weist zum Beispiel ein Computersystem auf. Das Computersystem kann als Haupthardwarekomponenten einen oder mehrere Prozessoren und einen oder mehrere Speicher aufweisen. Die Funktionen der Steuereinheit 50 (z.B. die Funktionen der Bildanalyseeinheit 51, der Erzeugungseinheit 52 und der Ausgabeeinheit 53) können durchgeführt werden, indem der eine oder die mehreren Prozessoren zur Ausführung eines in dem einen oder den mehreren Speichern des Computersystems gespeicherten Programms gebracht werden. Das Programm kann vorab in dem einen oder den mehreren Speichern des Computersystems gespeichert sein. Alternativ kann das Programm über eine Telekommunikationsleitung heruntergeladen werden oder nach einer Aufzeichnung auf irgendeinem nichtflüchtigen Speichermedium wie etwa einer Speicherkarte, einer optischen Platte oder einem Festplattenlaufwerk, die alle für das Computersystem lesbar sind, zur Verfügung gestellt werden.
Die Bildanalyseeinheit 51 erhält zum Beispiel über eine Kommunikationsleitung Kamerabilddaten D11, D12 von den beiden Kameras 41, 42 der Bildaufnahmeeinheit 40. Die Bildanalyseeinheit 51 erlangt auf Basis der durch die Kameras 41, 42 bereitgestellten Kamerabilddaten D11, D12 Bilddaten D13, die in den Bereich des Bilds fallen, das durch beide der beiden Kameras 41, 42 aufgenommen wurde. Zudem erlangt die Bildanalyseeinheit 51 durch das auf die von den Kameras 41, 42 bereitgestellten Bilddaten D11, D12 angewandte Triangulationsverfahren auch Entfernungsdaten D14 hinsichtlich einer Entfernung zwischen dem Objekt in dem durch die Kameras 41, 42 aufgenommenen Bild und einer Zwischenposition zwischen den beiden Kameras 41, 42. Dann gibt die Bildanalyseeinheit 51 die Bilddaten D13 und die Entfernungsdaten D14, die auf Basis der durch die beiden Kameras 41, 42 bereitgestellten Kamerabilddaten D11, D12 erlangt wurden, an die Erzeugungseinheit 52 aus. In diesem Fall führt die Bildanalyseeinheit 51 die Funktion einer Erlangungseinheit durch, die auf Basis der Bilddaten D11, D12, die durch die mehreren (bei dieser Ausführungsform z.B. zwei) Kameras 41, 42 bereitgestellt wurden, die Entfernungsdaten D14 hinsichtlich der Entfernung zu dem Objekt, das in die Bildaufnahmebereiche der mehreren Kameras 41, 42 fällt, erlangt.
Die Erzeugungseinheit 52 extrahiert auf Basis der durch die Bildanalyseeinheit 51 bereitgestellten Bilddaten D13 und Entfernungsdaten D14 das Ziel für eine stereoskopische Wiedergabe aus mehreren Objekten in den Bildern, die durch die Kameras 41, 42 aufgenommen wurden. Das heißt, die Erzeugungseinheit 52 bestimmt, ob jedes der mehreren Objekte in den Bildern, die durch die Kameras 41, 42 aufgenommen wurden, als stereoskopisches virtuelles Bild, das von der Ebene PL1 hervortritt, oder als ein Objekt eines planar wiedergegebenen Teils, das entlang der Ebene PL1 wiedergegeben wird, wiedergegeben werden soll. Die Erzeugungseinheit 52 (die Bilddatenerzeugungseinheit) erlangt eine erste Entfernung LX1 (siehe 1) zwischen der Anzeigeposition des Objekts und der Eyebox 210 in einer Situation, in der das Objekt in den durch die Kameras 41, 42 aufgenommenen Bildern nicht als stereoskopisches virtuelles Bild projiziert wird. Die erste Entfernung LX1 ist eine scheinbare Entfernung in dem virtuellen Bildraum und ist die Entfernung zwischen der Anzeigeposition des Objekts und der Eyebox 210 in einer Situation, in der das Objekt als ein virtuelles Bild des planar wiedergegebenen Teils projiziert wird. Mit anderen Worten ist die erste Entfernung LX1 die Sichtentfernung von der Eyebox 210 zu dem virtuellen Bild, das auf die mit der Fahrfläche 400 ausgerichtete Ebene PL1 projiziert wird. Zudem erlangt die Erzeugungseinheit 52 auch eine zweite Entfernung in dem realen Raum zwischen dem Objekt in den durch die Kameras 41, 42 aufgenommenen Bildern und der Eyebox 210. Die Erzeugungseinheit 52 erlangt die zweite Entfernung auf Basis der Entfernungsdaten D14 hinsichtlich der Entfernung von dem Objekt zu einer Zwischenposition zwischen den beiden Kameras 41, 42 und der Entfernung von der Zwischenposition zwischen den beiden Kameras 41, 42 zu der Eyebox 210 (die ein bekannter Wert ist). Wenn der Absolutwert des Unterschieds zwischen der ersten Entfernung LX1 und der zweiten Entfernung einem vorherbestimmten Schwellenwert gleich oder größer als dieser ist, betrachtet die Erzeugungseinheit 52 das Objekt als das Ziel für eine stereoskopische Wiedergabe. Zum Beispiel ist das Objekt, das als ein virtuelles Bild des planar wiedergegebenen Teils wiedergegeben werden soll, ein Objekt, bei dem der Unterschied zwischen der Entfernung in dem realen Raum (der zweiten Entfernung) zu der Eyebox 210 und der ersten Entfernung LX1 kleiner als der Schwellenwert ist. Ein solches Objekt kann zum Beispiel die Fahrfläche 400 oder eine entlang der Fahrfläche 400 bereitgestellte Leitschiene sein. Andererseits ist ein Objekt, das als stereoskopisches virtuelles Bild wiedergegeben werden soll, ein Objekt, das von der Fahrfläche 400 vorstehend erscheint, und kann es zum Beispiel ein anderes Kraftfahrzeug 100, das sich auf der Fahrfläche 400 fortbewegt, sein. Für das Objekt, das als das stereoskopische virtuelle Bild wiedergegeben werden soll, ist der Absolutwert des Unterschieds zwischen der Entfernung in dem realen Raum (der zweiten Entfernung) zu der Eyebox 210 und der ersten Entfernung LX1 dem Schwellenwert gleich oder größer als dieser. Daher kann die Erzeugungseinheit 52 das Ziel für eine stereoskopische Wiedergabe durch Vergleichen der ersten Entfernung LX1 und der zweiten Entfernung für jedes der mehreren Objekte in den durch die Kameras 41, 42 aufgenommenen Bildern extrahieren. In diesem Fall wird der Schwellenwert verwendet, um zu bestimmen, ob das Objekt als ein stereoskopisches virtuelles Bild, das von der Ebene PL1 vorstehend erscheint, oder als ein Objekt eines planar wiedergegebenen Teils, das entlang der Ebene PL1 wiedergegeben wird, wiedergegeben werden soll. Der Schwellenwert kann zum Beispiel je nach der Umgebung, in der das elektronische Spiegelsystem 10 verwendet wird, passend verändert werden.
Die Erzeugungseinheit 52 erzeugt die Bilddaten für den planar wiedergegebenen Teil so, dass der von dem Ziel für eine stereoskopische Wiedergabe verschiedene planar wiedergegebene Teil unter den Objekten in den durch die Kameras 41, 42 aufgenommenen Bildern so, wie er ist, an dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 angezeigt wird.
Zudem erzeugt die Erzeugungseinheit 52 auch stereoskopische Bilddaten, damit der Benutzer 200 das Ziel für eine stereoskopische Wiedergabe unter den Objekten, die durch die Kameras 41, 42 aufgenommen wurden, als stereoskopisches virtuelles Bild 310 sieht. Die Erzeugungseinheit 52 erzeugt die stereoskopischen Bilddaten so, dass an den mehreren Pixeln X1, X2, X3 und X4 unter mehreren Pixeln, die der Position, auf die das Ziel für eine stereoskopische Wiedergabe projiziert wird, entsprechen, das gleiche Bild des Ziels für eine stereoskopische Wiedergabe angezeigt wird. Das heißt, die Erzeugungseinheit 52 erzeugt auf Basis der Bilddaten D13 und der Entfernungsdaten D14 stereoskopische Bilddaten, die den Benutzer ein stereoskopisches virtuelles Bild des Ziels für eine stereoskopische Wiedergabe sehen lassen. Die Bilddaten D13 sind Bilddaten des in den Bildern aufgenommenen Ziels für eine stereoskopische Wiedergabe. Die Entfernungsdaten D14 sind Daten hinsichtlich der Entfernung zwischen dem Ziel für eine stereoskopische Wiedergabe und der Eyebox 210.
Dann gibt die Ausgabeeinheit 53 die Daten für eine planare Wiedergabe und die stereoskopischen Bilddaten, die durch die Erzeugungseinheit 52 erzeugt wurden, an die Anzeigevorrichtung 21 aus, damit an dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 ein Bild angezeigt wird, das durch Legen des Bilds des Ziels für eine stereoskopische Wiedergabe auf das Bild des planar wiedergegebenen Teils erhalten wird. Das heißt, die Bildanzeigeeinheit 20 zeigt an dem Anzeigebildschirm 221 ein Bild an, das auf den durch die Erzeugungseinheit 52 erzeugten stereoskopischen Bilddaten beruht.
(2.2) Der Betrieb
Als nächstes wird unter Bezugnahme auf das in 6 gezeigte Ablaufdiagramm beschrieben werden, wie das elektronische Spiegelsystem 10 nach dieser Ausführungsform arbeitet.
Das elektronische Spiegelsystem 10 beginnt seinen Betrieb zum Beispiel dann, wenn das elektronische Spiegelsystem 10 mit Strom, der von einer Batterie des Kraftfahrzeugs 100 geliefert wird, versorgt wird und von einer elektronischen Steuereinheit (ECU) des Kraftfahrzeugs 100 ein Steuersignal, das dem elektronischen Spiegelsystem 10 die Anweisung zum Betriebsbeginn erteilt, erhalten wird.
Zum Beispiel bringt die Steuereinheit 50 die Bildaufnahmeeinheit 40 (die Kameras 41, 42) bei Erhalt eines Steuersignals von der ECU des Kraftfahrzeugs 100 dazu, Bilder, die eine Rücksicht des Kraftfahrzeugs 100 darstellen, mit einer vorherbestimmten Framerate aufzunehmen, wodurch von den Kameras 41, 42 Bilddaten D11, D12 erlangt werden (in S1).
Bei Erhalt der Bilddaten D11, D12 erlangt die Bildanalyseeinheit 51 der Steuereinheit 50 auf Basis der Bilddaten D11 und D12 Bilddaten D13 des Bilds G1 (siehe 7), das in den durch beide Kameras 41, 42 aufgenommenen Bereich fällt, und gibt die Bilddaten D13 an die Erzeugungseinheit 52 aus (in S2). Zudem erhält die Bildanalyseeinheit 51 auf Basis der Bilddaten D11, D12 auch Entfernungsdaten D14 hinsichtlich der Entfernung zwischen dem Objekt, das in dem Bild G1 abgebildet ist, und den Kameras 41, 42 und gibt die Entfernungsdaten D14 an die Erzeugungseinheit 52 aus.
Als nächstes führt die Erzeugungseinheit 52 die folgenden Verarbeitungsschritte S4 und S5 aus, um auf Basis der Bilddaten D13 und der Entfernungsdaten D14, die durch die Bildanalyseeinheit 51 bereitgestellt wurden, ein Ziel für eine stereoskopische Wiedergabe aus mehreren Objekten, die in dem Bild G1 dargestellt sind, zu extrahieren. Zunächst teilt die Erzeugungseinheit 52 (in S4) das Bild G1 je nach den Entfernungsdaten D14 auf Basis des Werts der Entfernung in dem realen Raum zu der Eyebox 210 in mehrere (zum Beispiel drei) Bereiche A1, A11, A12 (siehe 8).
Die Erzeugungseinheit 52 bestimmt, ob jeder der Bereiche A1, A11, A12 als Bild eines planar wiedergegebenen Teils oder als stereoskopisch wiedergegebenes Bild angesehen werden soll, d.h., ob für jeden der Bereiche A1, A11, A12 stereoskopische Bilddaten erzeugt werden sollen oder nicht.
Der Bereich A1 ist ein Bereich, in dem der Unterschied zwischen der ersten Entfernung LX1 und der zweiten Entfernung kleiner als der Schwellenwert wird. Das heißt, der Bereich A1 ist ein Bereich, in dem die Entfernung in dem realen Raum zwischen dem Objekt und der Ebene PL1 unter Annahme der Ebene PL1, auf die ein virtuelles Bild des planar wiedergegebenen Teils projiziert wird, als Standardebene des virtuellen Bilds kleiner als der Schwellenwert wird. In diesem Fall erzeugt die Erzeugungseinheit 52 auf Basis der Bilddaten D13 Daten für eine planare Wiedergabe eines Bilds G2 (siehe 9), um das in dem Bereich A1 aufgenommene Objekt als virtuelles Bild des planar wiedergegebenen Teils zu projizieren (in S4).
Andererseits sind die Bereiche A11, A12 Bereiche, in denen der Unterschied zwischen der ersten Entfernung LX1 und der zweiten Entfernung dem Schwellenwert gleich oder größer als dieser ist. Das heißt, die Bereiche A11, A12 sind Bereiche, in denen die Entfernung in dem realen Raum zwischen dem Objekt und der Ebene PL1 unter Annahme der Ebene PL1, auf die ein virtuelles Bild des planar wiedergegebenen Teils projiziert wird, als Standardebene des virtuellen Bilds dem Schwellenwert gleich oder größer als dieser wird. In diesem Fall erzeugt die Erzeugungseinheit 52 auf Basis der Bilddaten D13 stereoskopische Bilddaten von Bildern G11, G12 (siehe 10), um das in dem Bereich A11 aufgenommene Objekt (wie etwa ein Kraftfahrzeug) und das in dem Bereich A12 aufgenommene Objekt (wie etwa einen Schutzzaun) als stereoskopische virtuelle Bilder zu projizieren (in S5).
Nach der Erzeugung der Daten für eine planare Wiedergabe des Bilds G1 in dem planar wiedergegebenen Teil und der stereoskopischen Bilddaten des Ziels für eine stereoskopische Wiedergabe lässt die Erzeugungseinheit 52 die Ausgabeeinheit 53 Bilddaten D15, die die Daten für eine planare Wiedergabe und die stereoskopischen Bilddaten enthalten, an die Anzeigevorrichtung 21 ausgeben.
Nach dem Erhalt der Bilddaten D15 von der Ausgabeeinheit 53 zeigt die Anzeigeeinheit 21 an dem Anzeigebildschirm 211 einen Bildframe an, in dem die auf den stereoskopischen Bilddaten beruhenden Bilder G11, G12 mit dem auf den Daten für eine planare Wiedergabe beruhenden Bild G2 des planar wiedergegebenen Teils synthetisiert sind.
Das an dem Anzeigebildschirm 211 der Anzeigevorrichtung 21 angezeigte Bild wird von dem Benutzer 200, dessen Blickpunkt sich innerhalb der Eyebox 210 befindet, über die Linsenanordnung 22 und das optische System 30 gesehen. Das Bild G2 des planar wiedergegebenen Teils wird so, wie es ist auf den mehreren Pixeln der Anzeigevorrichtung 21 angezeigt und daher von dem Benutzer 200 als zweidimensionales Bild erkannt. Das Bild G2 des planar wiedergegebenen Teils wird entlang der Ebene PL1 wiedergegeben und kann daher als Bild G2, das ein natürliches Distanzgefühl vermittelt, angezeigt werden. Und da das Bild des Ziels für eine stereoskopische Wiedergabe dem Benutzer 200 durch die Linsenanordnung 22 sichtbar gemacht wird, kann der Benutzer 200 ein Bild sehen, das die Parallaxe zwischen seinen Augen reproduziert, und kann er das Ziel für eine stereoskopische Wiedergabe stereoskopisch sehen. Dies gestattet dem Benutzer 200, ein Bild zu sehen, in dem die Bilder G11, G12 des Ziels für eine stereoskopische Wiedergabe auf das Bild G2 des planar wiedergegebenen Teils (d.h., den Hintergrund) gelegt sind. Auf diese Weise gestattet das elektronische Spiegelsystem 10 dem Benutzer 200, ein Bild zu sehen, das ihm ein natürliches Distanzgefühl vermittelt und ihm eine leichte Einstellung des Fokus ermöglicht. Zudem muss das elektronische Spiegelsystem 10 nur stereoskopische Bilddaten für das Ziel für eine stereoskopische Wiedergabe erzeugen, während die Bilddaten, die von dem Bildaufnahmesystem 40 erlangt wurden, so, wie sie sind, als die planar wiedergegebenen Daten des planar wiedergegebenen Teils verwendet werden. Dies kann die Verarbeitungslast, die durch die arithmetische Verarbeitung zur Erzeugung der stereoskopischen Bilddaten auferlegt wird, verringern.
Optional kann die Erzeugungseinheit 52 in S4 anstelle der planaren Bilddaten, die aus dem planar wiedergegebenen Teil bestehen, die Bilddaten D13 des ursprünglichen Bilds G1 so, wie sie sind, als Daten für eine planare Wiedergabe verwenden. Dann erzeugt die Erzeugungseinheit 52 durch Kombinieren der Daten für eine planare Wiedergabe, die verwendet werden, wenn das ursprüngliche Bild G1 als Ganzes auf der Ebene PL1 wiedergegeben wird, mit den in Schritt S5 erzeugten stereoskopischen Bilddaten einen Bildframe, der an der Anzeigevorrichtung 21 angezeigt wird. Das heißt, die Erzeugungseinheit 52 kann einen Bildframe erzeugen, in dem die Bilder G11, G12 des Ziels für eine stereoskopische Wiedergabe auf das Bild des planar wiedergegebenen Teils (d.h., das ursprüngliche Bild G1) gelegt sind, und das Bild an der Anzeigeeinheit 21 anzeigen.
(3) Abwandlungen
Es ist zu beachten, dass die oben beschriebene Ausführungsform nur eine beispielhafte Form unter verschiedenen Ausführungsformen der vorliegenden Offenbarung ist und nicht als Beschränkung angesehen werden sollte. Die beispielhafte Ausführungsform kann vielmehr je nach der gewählten Gestaltung oder beliebigen anderen Faktoren leicht auf verschiedene Weisen abgewandelt werden, ohne von dem Umfang der vorliegenden Offenbarung abzuweichen. Optional können die Funktionen des elektronischen Spiegelsystems 10 zum Beispiel auch als Verfahren zum Steuern des elektronischen Spiegelsystems 10, als Computerprogramm oder als nichtflüchtiges Speichermedium, auf dem ein Programm gespeichert ist, umgesetzt werden. Ein Bildanzeigeverfahren nach einem Gesichtspunkt ist ein Verfahren zum Anzeigen eines Bilds unter Verwendung des elektronischen Spiegelsystems 10. Das Bildanzeigeverfahren umfasst einen ersten, einen zweiten, einen dritten und einen vierten Verarbeitungsschritt. Der erste Verarbeitungsschritt umfasst das Erlangen von Bildinformationen hinsichtlich Bilddaten eines stereoskopisch wiedergegebenen Teils in dem Bild, der wenigstens ein Ziel für eine stereoskopische Wiedergabe enthält (Schritt S1). Der zweite Verarbeitungsschritt umfasst das Erlangen von Entfernungsdaten hinsichtlich der Entfernung in dem realen Raum zwischen dem Ziel und der Eyebox 210 (Schritt S2). Der dritte Verarbeitungsschritt umfasst das Erzeugen von stereoskopischen Bilddaten auf Basis der Bildinformationen und der Entfernungsdaten, um dem Benutzer 200, dessen Blickpunkt sich innerhalb der Eyebox 210 befindet, ein stereoskopisches virtuelles Bild des Ziels sehen zu lassen (Schritt S5). Der vierte Verarbeitungsschritt umfasst das Anzeigen eines auf den stereoskopischen Bilddaten beruhenden Bilds an dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 (Schritt S6). Ein Programm (Computerprogramm) nach einem anderen Gesichtspunkt ist so gestaltet, dass es einen oder mehrere Prozessoren zur Ausführung des Bildanzeigeverfahrens bringt.
Als nächstes werden Abwandlungen der oben beschriebenen beispielhaften Ausführungsform aufgezählt werden. Es ist zu beachten, dass die nachstehend beschriebenen Abwandlungen wie passend kombiniert angewendet werden können. Außerdem wird die oben beschriebene Ausführungsform in der folgenden Beschreibung mitunter als „grundlegendes Beispiel“ bezeichnet werden.
Das elektronische Spiegelsystem 10 nach der vorliegenden Offenbarung weist ein Computersystem auf. Das Computersystem kann als seine Haupthardwarekomponenten einen Prozessor und einen Speicher aufweisen. Die Funktionen des elektronischen Spiegelsystems 10 nach der vorliegenden Offenbarung können durchgeführt werden, indem der Prozessor zur Ausführung eines in dem Speicher des Computersystems gespeicherten Programms gebracht wird. Das Programm kann vorab in dem Speicher des Computersystems gespeichert sein. Alternativ kann das Programm über eine Telekommunikationsleitung heruntergeladen werden oder nach einer Aufzeichnung auf irgendeinem nichtflüchtigen Speichermedium wie etwa einer Speicherkarte, einer optischen Platte oder einem Festplattenlaufwerk, die alle für das Computersystem lesbar sind, zur Verfügung gestellt werden. Der Prozessor des Computersystems kann als eine oder mehrere elektronische Schaltungen einschließlich einer integrierten Halbleiterschaltung (IC) oder einer hochintegrierten Schaltung (large-scale integrated circuit, LSI) umgesetzt werden. Die „integrierte Schaltung“ wie etwa eine IC oder eine LSI in der hierin verwendeten Form wird je nach dem Grad ihrer Integration mit einem anderen Namen bezeichnet. Beispiele für die integrierten Schaltungen umfassen eine System-LSI, eine sehr hoch integrierte Schaltung (very large-scale integrated circuit, VLSI) und eine ultrahoch integrierte Schaltung (ultra large-scale integrated circuit, ULSI). Optional kann auch eine feldprogrammierbare Gateanordnung (FPGA), die nach der Herstellung einer LSI programmiert wird, oder eine rekonfigurierbare Logikvorrichtung, die eine Rekonfiguration der Verbindungen und Schaltungsabschnitte in einer LSI gestattet, als Prozessor eingesetzt werden. Diese elektronischen Schaltungen können wie passend entweder zusammen auf einem einzelnen Chip integriert sein oder auf mehrere Chips verteilt sein. Diese mehreren Chips können ohne Beschränkung zusammen in einer einzelnen Vorrichtung integriert sein oder auf mehrere Vorrichtungen verteilt sein. Das „Computersystem“ in der hierin verwendeten Form beinhaltet eine Mikrosteuerung, die einen oder mehrere Prozessoren und einen oder mehrere Speicher aufweist. Somit kann auch die Mikrosteuerung als eine oder mehrere elektronische Schaltungen einschließlich einer integrierten Halbleiterschaltung oder einer hochintegrierten Schaltung umgesetzt werden.
Außerdem sind die mehreren Aufbauelemente (oder die Funktionen) des elektronischen Spiegelsystems 10 bei der oben beschriebenen Ausführungsform gemeinsam in einem einzelnen Gehäuse 60 integriert. Dies stellt jedoch keinen wesentlichen Aufbau für das elektronische Spiegelsystem 10 dar. Alternativ können diese Aufbauelemente (oder Funktionen) des elektronischen Spiegelsystems 10 auf mehrere unterschiedliche Gehäuse verteilt sein. Und ebenfalls alternativ können wenigstens einige Funktionen des elektronischen Spiegelsystems 10 (z.B. einige Funktionen der Steuereinheit 50 (wie etwa die Bildanalyseeinheit 51 und die Erzeugungseinheit 52) auch als Cloud-Rechensystem umgesetzt werden.
Und wenn in der obigen Beschreibung der Ausführungsformen einer von zwei miteinander verglichenen Werten (wie etwa Entfernungswerten) „größer als der andere oder diesem gleich“ ist, kann dieser Ausdruck ein Synonym für „größer als“ sein. Das heißt, da je nach der Wahl des Bezugswerts oder eines beliebigen vorgegebenen Werts beliebig verändert werden kann, ob der Ausdruck „größer oder gleich“ den Umstand, dass die beiden Werte einander gleich sind, abdeckt oder nicht, besteht aus technischer Sicht kein Unterschied zwischen dem Ausdruck „größer oder gleich“ und dem Ausdruck „größer als“. Ebenso kann der Ausdruck „kleiner als“ auch ein Synonym für den Ausdruck „kleiner oder gleich“ sein.
(3.1) Erste Abwandlung
Bei dem elektronischen Spiegelsystem 10 nach dem grundlegenden Beispiel erlangt die Bildanalyseeinheit 51 die Entfernungsdaten auf Basis der durch die beiden Kameras 41, 42 bereitgestellten Bilddaten. Alternativ kann das elektronische Spiegelsystem 10 wie in 11 gezeigt einen Entfernungssensor 70 aufweisen, der die Entfernungsdaten erlangt.
Bei dem elektronischen Spiegelsystem 10 nach der ersten Abwandlung weist die Bildaufnahmeeinheit 40 eine einzelne Kamera 41 auf, um ein Video, das eine Rücksicht des Kraftfahrzeugs 100 zeigt, aufzunehmen.
Der Entfernungssensor 70 weist einen Sensor wie etwa ein Millimeterwellenradar oder einen Light-Detecting-and-Ranging-Sensor (LIDAR-Sensor) auf. Der Entfernungssensor 70 misst eine Entfernung von dem Entfernungssensor 70 selbst zu einem Objekt, das sich in dem Bildaufnahmebereich der Kamera 41 befindet, und gibt Entfernungsdaten, die das Ergebnis der Messung angeben, an die Bildanalyseeinheit 51 aus.
Die Bildanalyseeinheit 51 erlangt die Entfernungsdaten von dem Entfernungssensor 70. Das heißt, die Bildanalyseeinheit 51 führt die Funktion einer Erlangungseinheit zur Erlangung der Entfernungsdaten von dem Entfernungssensor 70, der die Entfernung zu dem in dem Bildaufnahmebereich der Bildaufnahmeeinheit 40 befindlichen Objekt misst, durch. Die Bildanalyseeinheit 51 erzeugt auf Basis der Bilddaten, die von der Bildaufnahmeeinheit 40 erlangt wurden, und der Entfernungsdaten, die von dem Entfernungssensor 70 erlangt wurden, Daten für eine planare Wiedergabe zum Anzeigen eines Bilds eines planar wiedergegebenen Teils und stereoskopische Bilddaten zur Vornahme einer stereoskopischen Wiedergabe. Die Bildanalyseeinheit 51 führt die Verarbeitung zur Erzeugung der Daten für eine planare Wiedergabe und der stereoskopischen Bilddaten auf die gleiche Weise wie bei dem grundlegenden Beispiel durch, weshalb hier auf eine Beschreibung davon verzichtet wird.
(3.2) Zweite Abwandlung
Bei dem grundlegenden Beispiel ist die Bildanzeigeeinheit 20 als eine einzelne Anzeigevorrichtung 21 umgesetzt. Doch dies ist lediglich ein Beispiel für die vorliegende Offenbarung und sollte nicht als Beschränkung angesehen werden. Alternativ kann eine Bildanzeigeeinheit 20A mehrere (z.B. zwei) Anzeigevorrichtungen 21A, 21B aufweisen, die jeweils so ausgebildet sind, dass sie einen zugehörigen Teil des gesamten Bilds, das durch die Bildanzeigevorrichtung 20A angezeigt werden soll, zeigen. Jede der mehreren Anzeigevorrichtungen 21A, 21B zeigt ein Teilbild, das einen Teil des gesamten Bilds, das durch die Bildanzeigevorrichtung 20A angezeigt werden soll, bildet. Die jeweiligen Anzeigebildschirme 211A, 211B der Anzeigevorrichtungen 21A, 21B sind in Bezug zueinander geneigt. Zudem weist die Bildanzeigeeinheit 20A ferner eine Linsenanordnung 22A, die an dem Anzeigebildschirm 211A der Anzeigevorrichtung 21A angeordnet ist, und eine Linsenanordnung 22B, die an dem Anzeigebildschirm 211B der Anzeigevorrichtung 21B angeordnet ist, auf.
Die Anzeigevorrichtung 21A ist in Bezug auf den optischen Pfad L1 in die gleiche Richtung wie die Anzeigevorrichtung 21, die bei dem grundlegenden Beispiel beschrieben wurde, geneigt. Insbesondere ist die Anzeigevorrichtung 21A so angeordnet, dass - in Bezug auf einen Brennpunkt 23 des aus der Linse 31 und dem Spiegel 32 bestehenden optischen Systems 30 - ein erster Abstand zwischen einem Endabschnitt (d.h., dem oberen Endabschnitt in 12) des Anzeigebildschirms 211A der Anzeigevorrichtung 21A und dem Brennpunkt 23 kürzer als ein zweiter Abstand zwischen dem anderen Endabschnitt (d.h., dem unteren Endabschnitt in 12) des Anzeigebildschirms 211A und dem Brennpunkt 23 wird. Dies gestattet dem Benutzer 200, das an dem Anzeigebildschirm 211A der Anzeigevorrichtung 21A angezeigte Bild über die Linsenanordnung 22A und das optische System 30 so zu sehen, als ob sich ein in einem oberen Bereich des Anzeigebildschirms 211A der Anzeigevorrichtung 21A dargestelltes Objekt an einer weiter entfernten Position als ein Objekt, das in einem unteren Bereich des Anzeigebildschirms 211A dargestellt wird, befinden würde.
Andererseits ist die Anzeigevorrichtung 21B so angeordnet, dass ein erster Abstand zwischen einem Endabschnitt (d.h., dem unteren Endabschnitt in 12) des Anzeigebildschirms 211B der Anzeigevorrichtung 21B und dem Brennpunkt 23 kürzer als ein zweiter Abstand zwischen dem anderen Endabschnitt (d.h., dem oberen Endabschnitt in 12) des Anzeigebildschirms 211B und dem Brennpunkt 23 wird. Dies gestattet dem Benutzer 200, das an dem Anzeigebildschirm 211B der Anzeigevorrichtung 21B angezeigte Bild so zu sehen, als ob sich ein in einem oberen Bereich des Anzeigebildschirms 211B der Anzeigevorrichtung 21B dargestelltes Objekt an einer näher gelegenen Position als ein Objekt, das in einem unteren Bereich des Anzeigebildschirms 211B dargestellt wird, befinden würde. Auch bei dieser zweiten Abwandlung ist die Bildanzeigeeinheit 20A zwischen dem optischen System 30 und dem Brennpunkt 23 des optischen Systems 30 angeordnet.
Beispielsweise kommt es dann, wenn ein Verkehrszeichen oder etwas anderes, das über einer Fahrspur einer Straße eingerichtet ist, in einem oberen Bereich des an der Bildanzeigeeinheit 20A angezeigten Bilds dargestellt wird, dazu, dass die Objekte, die in einem unteren und in einem oberen Bereich des Bilds dargestellt werden, einen geringeren Abstand von der Eyebox 210 als ein Objekt, das in einem mittleren Bereich in der Aufwärts-Abwärts-Richtung des Bilds dargestellt wird, aufweisen. In einer solchen Situation werden die beiden Anzeigevorrichtungen 21A, 21B vorzugsweise wie in 12 gezeigt angeordnet. Dies kann dem an der Bildanzeigeeinheit 20A angezeigten Bild ein natürliches Distanzgefühl vermitteln.
Bei der zweiten Abwandlung weist die Bildanzeigeeinheit 20A die beiden Teilbildanzeigeeinheiten (Anzeigevorrichtungen 21A, 21B) auf. Alternativ kann die Bildanzeigeeinheit 20A drei oder mehr Teilbildanzeigeeinheiten aufweisen. Zudem müssen die mehreren Teilbildanzeigeeinheiten (Anzeigevorrichtungen 21A, 21B), die die Bildanzeigeeinheit 20A aufweist, nicht wie in 12 gezeigt angeordnet werden. Die Anordnung der mehreren Teilbildanzeigeeinheiten (Anzeigevorrichtungen 21A, 21B) kann vielmehr passend so verändert werden, dass dem Bild, das der Benutzer 200 sieht, ein natürliches Distanzgefühl vermittelt wird.
(3.3) Andere Abwandlungen
Bei dem elektronischen Spiegelsystem 10 nach der beispielhaften Ausführungsform und den Abwandlungen, die oben beschrieben wurden, wird das durch die Bildanzeigeeinheit 20 angezeigte Bild je nach dem Abstand zwischen einem in dem Bild aufgenommenen Objekt und der Eyebox 210 in mehrere Bereiche geteilt und entschieden, ob das Objekt in einem jeden dieser Bereiche ein Ziel für eine stereoskopische Wiedergabe sein soll oder nicht. Alternativ kann die Entscheidung, ob das Objekt ein Ziel für eine stereoskopische Wiedergabe sein soll oder nicht, auch auf einer pixelweisen Basis vorgenommen werden.
Außerdem erzeugt die Erzeugungseinheit 52 bei der oben beschriebenen Ausführungsform nur für einen Teil des Bilds, das an der Bildanzeigeeinheit 20 angezeigt wird, einschließlich eines Objekts, das das Ziel für eine stereoskopische Wiedergabe sein soll, stereoskopische Bilddaten. Alternativ kann das gesamte Bild, das an der Bildanzeigeeinheit 20 angezeigt wird, das Ziel für eine stereoskopische Wiedergabe sein.
Bei dem elektronischen Spiegelsystem 10 nach der Ausführungsform und den Abwandlungen, die oben beschrieben wurden, kann das für das Gehäuse 60 bereitgestellte Fensterelement 63 zum Beispiel als Halbspiegel ausgebildet werden. Wenn an dem Anzeigebildschirm 221 der Bildanzeigeeinheit 20 keine Bilder angezeigt werden, dient das als Halbspiegel ausgebildete Fensterelement 63 als Spiegel. Dies gestattet dem Benutzer 200 unter Verwendung des als Spiegel dienenden Fensterelements 63 nach hinten zu blicken.
Bei dem elektronischen Spiegelsystem 10 nach der Ausführungsform und den Abwandlungen, die oben beschrieben wurden, muss das optische System 30 lediglich einen darauf einfallenden Lichtstrahl, der von der Bildanzeigeeinheit 20 kommt, durch Reflektieren und/oder Brechen des Lichtstrahls in die Eyebox 210 projizieren. Daher kann der Aufbau des optischen Systems 30 passend verändert werden. Beispielsweise ist die Linse 31 bei der oben beschriebenen Ausführungsform eine bikonvexe Linse, doch kann die Linse 31 auch eine plankonvexe Linse sein. Alternativ kann die Oberfläche der Linse 31 auch als Freiformfläche ausgeführt werden, um eine Verringerung der Verzerrung des Bilds und eine Erhöhung seiner Auflösung zu ermöglichen. Und obwohl der Spiegel 32 bei der oben beschriebenen Ausführungsform ein Planspiegel ist, kann der Spiegel 32 auch ein Konkavspiegel mit einer Freiformfläche sein. Die Oberfläche des Spiegels 32 kann als Freiformfläche ausgeführt werden, um eine Verringerung der Verzerrung des Bilds und eine Erhöhung seiner Auflösung zu ermöglichen. Optional kann das optische System 30 auch als eine oder mehrere Linsen, ein oder mehrere Spiegel oder eine Kombination aus einer oder mehreren Linsen und einem oder mehreren Spiegeln ausgebildet werden.
Bei dem elektronischen Spiegelsystem 10 nach der beispielhaften Ausführungsform und den Abwandlungen, die oben beschrieben wurden, ist die Anzeigevorrichtung 21 als eine Anzeigevorrichtung wie etwa eine Flüssigkristallanzeige oder eine organische Elektrolumineszenzvorrichtung ausgeführt. Doch die Anzeigevorrichtung 21 braucht nicht diese Art von Anzeigevorrichtung zu sein. Alternativ kann die Anzeigevorrichtung 21 auch so ausgeführt sein, dass sie ein Bild an einem Bildschirm vom Diffusions-Transmissions-Typ wiedergibt, indem sie den Bildschirm mit einem von hinter dem Bildschirm ausgestrahlten Laserstrahl abtastet. Oder alternativ kann die Anzeigevorrichtung 21 auch so ausgeführt sein, dass sie ein Bild von einem Projektor, der hinter dem Bildschirm eingerichtet ist, auf einen Bildschirm vom Diffusions-Transmissions-Typ projiziert.
Das elektronische Spiegelsystem 10 nach der Ausführungsform und den Abwandlungen, die oben beschrieben wurden, ist an einer Position fixiert, an der gewöhnlich ein Rückspiegel bereitgestellt ist. Alternativ kann das elektronische Spiegelsystem 10 auch an einer Position, an der ein elektronischer Außenspiegel bereitgestellt ist, d.h., unter einer A-Säule oder an der Innenseite einer Tür, fixiert werden. Und obwohl das elektronische Spiegelsystem 10 bei der Ausführungsform und den Abwandlungen, die oben beschrieben wurden, an dem sich bewegenden Fahrzeughauptkörper 110 fixiert ist, kann das elektronische Spiegelsystem 10 nach der Ausführungsform und den Abwandlungen auch auf eine Kopfaufsatzanzeige, die von dem Benutzer 200 am Kopf getragen verwendet wird. oder eine Anzeigevorrichtung in der Form einer Brille angewendet werden.
Das elektronische Spiegelsystem 10 nach der beispielhaften Ausführungsform und den Abwandlungen, die oben beschrieben wurden, ist dazu ausgebildet, ein Bild, das dem Fahrer des Kraftfahrzeugs 100 eine Rücksicht zeigt, aufzunehmen und anzuzeigen. Doch dies stellt lediglich ein Beispiel dar und sollte nicht als Beschränkung angesehen werden. Das elektronische Spiegelsystem 10 kann alternativ auch ein Bild anzeigen, das auf einem Aufnahmebild beruht, welches dem Fahrer des Kraftfahrzeugs 100 eine hintere Seitensicht, eine Seitensicht oder eine Vordersicht zeigt.
Bei der beispielhaften Ausführungsform und den Abwandlungen, die oben beschrieben wurden, wird das elektronische Spiegelsystem 10 auf ein Kraftfahrzeug 100 angewendet. Dies ist jedoch lediglich ein Beispiel und sollte nicht als Beschränkung angesehen werden. Das elektronische Spiegelsystem 10 kann auch auf zweirädrige Fahrzeuge, Eisenbahnzüge, Flugzeuge, Baumaschinen, Wasserfahrzeuge und verschiedene andere Arten von sich bewegenden Fahrzeugen als Kraftfahrzeuge 100 angewendet werden.
Das elektronische Spiegelsystem 10 braucht nicht als eine einzelne Vorrichtung ausgeführt zu werden, sondern kann auch aus mehreren Vorrichtungen aufgebaut werden. Das heißt, die jeweiligen Funktionen des elektronischen Spiegelsystems 10 können verteilt durch zwei oder mehr Vorrichtungen durchgeführt werden. Zum Beispiel können die Funktionen der Steuereinheit 50 des elektronischen Spiegelsystems 10 gesondert durch eine elektronische Steuereinheit (ECU) des Kraftfahrzeugs 100 oder durch eine außerhalb des Kraftfahrzeugs 100 bereitgestellte Servervorrichtung durchgeführt werden. In diesem Fall wird das Bild, das an der Bildanzeigeeinheit 20 angezeigt werden soll, entweder durch die ECU oder durch die Servervorrichtung erzeugt.
(Zusammenfassung)
Wie aus der obigen Beschreibung ersichtlich ist, ist ein elektronisches Spiegelsystem (10) nach einem ersten Gesichtspunkt so ausgebildet, dass es Umstände um ein sich bewegendes Fahrzeug (100) durch aufeinanderfolgendes Anzeigen einer Reihe von Bildern, die die Umstände um das sich bewegende Fahrzeug (100) darstellen, als sich bewegendes Bild zeigt. Das elektronische Spiegelsystem (10) weist eine Bildanzeigeeinheit (20) und ein optisches System (30) auf. Die Bildanzeigeeinheit (20) zeigt ein Bild aus der Reihe der Bilder jedes Mal, wenn von einer Bildaufnahmeeinheit (40) Bilddaten erlangt werden, auf Basis der von der Bildaufnahmeeinheit (40) erlangten Bilddaten an einem Anzeigebildschirm (221) an. Die Bildaufnahmeeinheit (40) nimmt fortlaufend ein Video auf, das die Umstände um das sich bewegende Fahrzeug (100) darstellt. Das optische System (30) bündelt einen Lichtstrahl, der das an dem Anzeigebildschirm (221) angezeigte Bild darstellt, in eine Eyebox (210), um einen Benutzer (200), dessen Blickpunkt sich innerhalb der Eyebox (210) befindet, ein virtuelles Bild (300), das auf dem an dem Anzeigebildschirm (221) angezeigten Bild beruht, sehen zu lassen. Der Anzeigebildschirm (221) ist so angeordnet, dass er in Bezug auf einen optischen Pfad (L1), der von dem Anzeigebildschirm (221) zu dem optischen System (30) führt, geneigt ist.
Nach diesem Gesichtspunkt ist der Anzeigebildschirm (221) in Bezug auf einen optischen Pfad (L1), der von dem Anzeigebildschirm (221) zu dem optischen System (30) führt, geneigt, weshalb eine Sichtentfernung zwischen der Eyebox (210) und dem Anzeigebildschirm (221) innerhalb der durch den Anzeigebildschirm (221) definierten Ebene unterschiedlich ist. Dies gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann, indem dem virtuellen Bild (300), das von dem Benutzer (200) auf Basis der Reihe der an dem Anzeigebildschirm (221) angezeigten Bilder gesehen wird, ein natürliches Distanzgefühl vermittelt wird.
Ein elektronisches Spiegelsystem (10) nach einem zweiten Gesichtspunkt, der in Verbindung mit dem ersten Gesichtspunkt umgesetzt werden kann, weist ferner eine Bilddatenerzeugungseinheit (52) auf. Die Bilddatenerzeugungseinheit (52) erzeugt auf Basis von Bilddaten eines Ziels für eine stereoskopische Wiedergabe, das in dem an dem Anzeigebildschirm (221) angezeigten Bild dargestellt ist, und Entfernungsdaten stereoskopische Bilddaten, um den Benutzer (200) ein stereoskopisches virtuelles Bild (310) des Ziels für eine stereoskopische Wiedergabe sehen zu lassen. Die Entfernungsdaten sind Daten hinsichtlich einer Entfernung in dem realen Raum zwischen dem Ziel für eine stereoskopische Wiedergabe und der Eyebox (210). Die Bildanzeigeeinheit (20) zeigt ein auf den stereoskopischen Bilddaten beruhendes stereoskopisch wiedergegebenes Bild eines Ziels für eine stereoskopische Wiedergabe an dem Anzeigebildschirm (221) an.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem dritten Gesichtspunkt, der in Verbindung mit dem zweiten Gesichtspunkt umgesetzt werden kann, erzeugt die Bilddatenerzeugungseinheit (52) ferner Daten für eine planare Wiedergabe, damit an dem Anzeigebildschirm (221) ein planar wiedergegebener Teil angezeigt wird. Der planar wiedergegebene Teil bildet einen Teil des an dem Anzeigebildschirm (221) angezeigten Bildes und ist von dem Ziel für eine stereoskopische Wiedergabe verschieden. Das an dem Anzeigebildschirm (221) angezeigte Bild enthält ein auf den Daten für eine planare Wiedergabe beruhendes Bild des planar wiedergegebenen Teils; und das stereoskopisch wiedergegebene Bild.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem vierten Gesichtspunkt, der in Verbindung mit dem zweiten Gesichtspunkt umgesetzt werden kann, betrachtet die Bilddatenerzeugungseinheit (52) ein Objekt dann, wenn ein Absolutwert des Unterschieds zwischen einer ersten Entfernung und einer zweiten Entfernung einem vorherbestimmten Schwellenwert gleich oder größer als dieser ist, als das Ziel für eine stereoskopische Wiedergabe. Die erste Entfernung ist eine Entfernung zwischen einer Anzeigeposition des Objekts und der Eyebox (210) in einer Situation, in der ein virtuelles Bild des Objekts, das in dem an dem Anzeigebildschirm (221) angezeigten Bild abgebildet ist, nicht als das Ziel für eine stereoskopische Wiedergabe projiziert wird. Die zweite Entfernung ist eine Entfernung in dem realen Raum zwischen dem Objekt und der Eyebox (210).
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem fünften Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem zweiten bis vierten Gesichtspunkt umgesetzt werden kann, teilt die Bilddatenerzeugungseinheit (52) des an der Bildanzeigeeinheit (20) angezeigten Bildes auf Basis des Werts der Entfernung in dem realen Raum zu der Eyebox (210) in mehrere Teilbilder. Die Bilddatenerzeugungseinheit (52) bestimmt in Bezug auf jedes der mehreren Teilbilder, ob die stereoskopischen Bilddaten erzeugt werden sollen oder nicht.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem sechsten Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem ersten bis fünften Gesichtspunkt umgesetzt werden kann, weist die Bildaufnahmeeinheit (40) mehrere Kameras (41, 42) mit voneinander verschiedenen Aufnahmerichtungen auf. Das elektronische Spiegelsystem (10) weist ferner eine Erlangungseinheit (51) auf. Die Erlangungseinheit (51) erlangt auf Basis der Bilddaten, die von jeder der mehreren Kameras (41, 42) bereitgestellt werden, die Entfernungsdaten hinsichtlich der Entfernung bis zu dem Objekt, das in einem Bildaufnahmebereich einer jeden der mehreren Kameras (41, 42) vorhanden ist.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Ein elektronisches Spiegelsystem (10) nach einem siebenten Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem zweiten bis sechsten Gesichtspunkt umgesetzt werden kann, weist ferner eine Erlangungseinheit (51) auf, die die Entfernungsdaten von einem Entfernungssensor (70) erlangt. Der Entfernungssensor (70) misst eine Entfernung bis zu einem Objekt, das in einem Bildaufnahmebereich der Bildaufnahmeeinheit (40) vorhanden ist.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem achten Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem ersten bis siebenten Gesichtspunkt umgesetzt werden kann, weist die Bildanzeigeeinheit (20) mehrere Anzeigevorrichtungen (21A, 21B) auf. Jede der mehreren Anzeigevorrichtungen (21A, 21B) zeigt einen zugehörigen Teil eines gesamten Bilds, das an der Bildanzeigeeinheit (20) dargestellt wird, an. Jeweilige Anzeigebildschirme (211A, 211B) der mehreren Anzeigevorrichtungen (21A, 21B) sind in Bezug zueinander geneigt.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Bei einem elektronischen Spiegelsystem (10) nach einem neunten Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem ersten bis achten Gesichtspunkt umgesetzt werden kann, strahlt ein Lichtstrahl, der von dem Anzeigebildschirm (221) der Bildanzeigeeinheit (20) in einer Richtung (DR2) ausgeht, die in Bezug auf eine Normale (DR1) zu dem Anzeigebildschirm (221) schräg verläuft, in das optische System (30) ein.
Dieser Gesichtspunkt gestattet das Bereitstellen eines elektronischen Spiegelsystems (10), das den Grad der Sichtbarkeit erhöhen kann.
Ein Bildanzeigeverfahren nach einem zehnten Gesichtspunkt ist ein Verfahren zum Anzeigen der Reihe von Bildern in dem elektronischen Spiegelsystem (10) nach einem aus dem ersten bis neunten Gesichtspunkt. Das Bildanzeigeverfahren umfasst einen ersten, einen zweiten, einen dritten und einen vierten Verarbeitungsschritt. Der erste Verarbeitungsschritt umfasst das Erlangen von Bilddaten von der Bildaufnahmeeinheit. Der zweite Verarbeitungsschritt umfasst das Erlangen von Entfernungsdaten hinsichtlich einer Entfernung in dem realen Raum zwischen einem Ziel, das in dem Bild, das an der Bildanzeigeeinheit (20) angezeigt werden, abgebildet ist, und der Eyebox (210). Der dritte Verarbeitungsschritt umfasst das Erzeugen von stereoskopischen Bilddaten auf Basis der Bilddaten und der Entfernungsdaten, um einen Benutzer (200), dessen Blickpunkt sich innerhalb der Eyebox (210) befindet, ein stereoskopisches virtuelles Bild des Ziels sehen zu lassen. Der vierte Verarbeitungsschritt umfasst das Anzeigen eines auf den stereoskopischen Bilddaten beruhenden stereoskopisch wiedergegebenen Bilds eines stereoskopisch wiedergegebenen Bereichs an dem Anzeigebildschirm (221) der Bildanzeigeeinheit (20).
Dieser Gesichtspunkt gestattet das Bereitstellen eines Bildanzeigeverfahrens, das den Grad der Sichtbarkeit erhöhen kann.
Ein sich bewegendes Fahrzeug (100) nach einem elften Gesichtspunkt weist einen sich bewegenden Fahrzeughauptkörper (110), der sich bewegt; und das elektronische Spiegelsystem (10) nach einem aus dem ersten bis neunten Gesichtspunkt, das in dem sich bewegenden Fahrzeughauptkörper (110) eingerichtet ist, auf.
Dieser Gesichtspunkt gestattet das Bereitstellen eines sich bewegenden Fahrzeugs (100), das mit einem elektronischen Spiegelsystem (10), das den Grad der Sichtbarkeit erhöhen kann, ausgestattet ist.
Bei einem elektronischen Spiegelsystem (10) nach einem zwölften Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem ersten bis neunten Gesichtspunkt umgesetzt werden kann, nimmt die Bildaufnahmeeinheit (40) ein Bild einer Umgebung außerhalb des sich bewegenden Fahrzeughauptkörpers (110) auf.
Dieser Gesichtspunkt gestattet das Bereitstellen eines sich bewegenden Fahrzeugs (100), das mit einem elektronischen Spiegelsystem (10), das den Grad der Sichtbarkeit erhöhen kann, ausgestattet ist.
Bei einem elektronischen Spiegelsystem (10) nach einem dreizehnten Gesichtspunkt, der in Verbindung mit einem beliebigen aus dem ersten bis neunten Gesichtspunkt und dem zwölften Gesichtspunkt umgesetzt werden kann, weist die Bildanzeigeeinheit (20) eine Anzeigevorrichtung (21), um daran das Bild anzuzeigen; und eine Linsenanordnung (22) mit mehreren Linsen (222), die so angeordnet sind, dass sie eine Anordnung bilden und vor der Anzeigevorrichtung (21) bereitgestellt sind, auf.
Es ist zu beachten, dass dies nicht die einzigen Gesichtspunkte der vorliegenden Offenbarung sind. Es können vielmehr auch verschiedene Ausführungen des elektronischen Spiegelsystems (10) nach der oben beschriebenen beispielhaften Ausführungsform (einschließlich ihrer Abwandlungen) zum Beispiel als ein Bildanzeigeverfahren unter Verwendung des elektronischen Spiegelsystems (10), ein Programm (Computerprogramm) oder ein nichtflüchtiges Speichermedium, worauf das Programm gespeichert ist, umgesetzt werden.
Es ist zu beachten, dass die Aufbauelemente nach dem zweiten bis neunten, dem zwölften und dem dreizehnten Gesichtspunkt keine wesentlichen Aufbauelemente für das elektronische Spiegelsystem (10) darstellen und gegebenenfalls weggelassen werden können.
Bezugszeichenliste

1: elektronisches Spiegelsystem
20: Bildanzeigeeinheit
21A, 21B: Anzeigevorrichtung
30: optisches System
40: Bildaufnahmeeinheit
41,42: Kamera
51: Bildanalyseeinheit (Erlangungseinheit)
52: Bilddatenerzeugungseinheit
70: Entfernungssensor
100: sich bewegendes Fahrzeug
110: sich bewegender Fahrzeughauptkörper
200: Benutzer
210: Eyebox
211A, 211B: Anzeigebildschirm
221: Anzeigebildschirm
300, 310: virtuelles Bild
L1: optischer Pfad

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009083618 A [0004]

Claims

Elektronisches Spiegelsystem, das so ausgebildet ist, dass es Umstände um ein sich bewegendes Fahrzeug durch aufeinanderfolgendes Anzeigen einer Reihe von Bildern, die die Umstände um das sich bewegende Fahrzeug darstellen, als sich bewegendes Bild zeigt, wobei das elektronische Spiegelsystem aufweist: eine Bildanzeigeeinheit, die so ausgebildet ist, dass sie jedes Mal, wenn von einer Bildaufnahmeeinheit Bilddaten erlangt werden, ein Bild aus der Reihe der Bilder auf Basis der von der Bildaufnahmeeinheit erlangten Bilddaten an einem Anzeigebildschirm anzeigt, wobei die Bildaufnahmeeinheit so ausgebildet ist, dass sie fortlaufend Video aufnimmt, das die Umstände um das sich bewegende Fahrzeug darstellt; und ein optisches System, das so ausgebildet ist, dass es einen Lichtstrahl, der das an dem Anzeigebildschirm angezeigte Bild darstellt, in eine Eyebox bündelt, um einen Benutzer, dessen Blickpunkt sich innerhalb der Eyebox befindet, ein virtuelles Bild, das auf dem an dem Anzeigebildschirm angezeigten Bild beruht, sehen zu lassen, wobei der Anzeigebildschirm so angeordnet ist, dass er in Bezug auf einen optischen Pfad, der von dem Anzeigebildschirm zu dem optischen System führt, geneigt ist.
Elektronisches Spiegelsystem nach Anspruch 1, das ferner eine Bilddatenerzeugungseinheit aufweist, die so ausgebildet ist, dass sie auf Basis von Bilddaten eines Ziels für eine stereoskopische Wiedergabe, das in dem an dem Anzeigebildschirm angezeigten Bild dargestellt ist, und Entfernungsdaten hinsichtlich einer Entfernung in dem realen Raum zwischen dem Ziel für eine stereoskopische Wiedergabe und der Eyebox stereoskopische Bilddaten erzeugt, um den Benutzer ein stereoskopisches virtuelles Bild des Ziels für eine stereoskopische Wiedergabe sehen zu lassen, wobei die Bildanzeigeeinheit so ausgebildet ist, dass sie ein auf den stereoskopischen Bilddaten beruhendes stereoskopisch wiedergegebenes Bild eines Ziels für die stereoskopische Wiedergabe an dem Anzeigebildschirm anzeigt.
Elektronisches Spiegelsystem nach Anspruch 2, wobei die Bilddatenerzeugungseinheit so ausgebildet ist, dass sie ferner Daten für eine planare Wiedergabe, damit an dem Anzeigebildschirm ein planar wiedergegebener Teil angezeigt wird, erzeugt, wobei der planar wiedergegebene Teil des an dem Anzeigebildschirm angezeigten Bildes bildet und von dem Ziel für eine stereoskopische Wiedergabe verschieden ist, und das Bild ein auf den Daten für eine planare Wiedergabe beruhendes planar wiedergegebenes Bild des planar wiedergegebenen Teils; und das stereoskopisch wiedergegebene Bild enthält.
Elektronisches Spiegelsystem nach Anspruch 2, wobei die Bilddatenerzeugungseinheit so ausgebildet ist, dass sie ein Objekt dann, wenn ein Absolutwert des Unterschieds zwischen einer ersten Entfernung und einer zweiten Entfernung einem vorherbestimmten Schwellenwert gleich oder größer als dieser ist, als das Ziel für eine stereoskopische Wiedergabe betrachtet, wobei die erste Entfernung eine Entfernung zwischen einer Anzeigeposition des Objekts und der Eyebox in einer Situation ist, in der ein virtuelles Bild des Objekts, das in dem an dem Anzeigebildschirm angezeigten Bild abgebildet ist, nicht als das Ziel für eine stereoskopische Wiedergabe projiziert wird, wobei die zweite Entfernung eine Entfernung in dem realen Raum zwischen dem Objekt und der Eyebox ist.
Elektronisches Spiegelsystem nach einem der Ansprüche 2 bis 4, wobei die Bilddatenerzeugungseinheit so ausgebildet ist, dass sie das an der Bildanzeigeeinheit angezeigte Bild auf Basis des Werts der Entfernung in dem realen Raum zu der Eyebox in mehrere Teilbilder teilt, und die Bilddatenerzeugungseinheit so ausgebildet ist, dass sie in Bezug auf jedes der mehreren Teilbilder bestimmt, ob die stereoskopischen Bilddaten erzeugt werden sollen oder nicht.
Elektronisches Spiegelsystem nach einem der Ansprüche 2 bis 5, wobei die Bildaufnahmeeinheit mehrere Kameras mit voneinander verschiedenen Aufnahmerichtungen aufweist, und das elektronische Spiegelsystem ferner eine Erlangungseinheit aufweist, die so ausgebildet ist, dass sie auf Basis der Bilddaten, die von jeder der mehreren Kameras bereitgestellt werden, die Entfernungsdaten hinsichtlich der Entfernung bis dem Objekt, das in einem Bildaufnahmebereich einer jeden der mehreren Kameras vorhanden ist, erlangt.
Elektronisches Spiegelsystem nach einem der Ansprüche 2 bis 6, ferner aufweisend eine Erlangungseinheit, die so ausgebildet ist, dass sie die Entfernungsdaten von einem Entfernungssensor erlangt, wobei der Entfernungssensor so ausgebildet ist, dass er eine Entfernung zu einem Objekt, das in einem Bildaufnahmebereich der Bildaufnahmeeinheit vorhanden ist, misst.
Elektronisches Spiegelsystem nach einem der Ansprüche 1 bis 7, wobei die Bildanzeigeeinheit mehrere Anzeigevorrichtungen aufweist, wobei jede der Anzeigevorrichtungen so ausgebildet ist, dass sie einen zugehörigen Teil eines gesamten Bilds, das an der Bildanzeigeeinheit dargestellt wird, anzeigt, und, jeweilige Anzeigebildschirme der mehreren Anzeigevorrichtungen in Bezug zueinander geneigt sind.
Elektronisches Spiegelsystem nach einem der Ansprüche 1 bis 8, wobei ein Lichtstrahl, der von dem Anzeigebildschirm der Bildanzeigeeinheit in einer Richtung ausgeht, die in Bezug auf eine Normale zu dem Anzeigebildschirm schräg verläuft, in das optische System einstrahlt.
Bildanzeigeverfahren zum Anzeigen der Reihe von Bildern an der Bildanzeigeeinheit, die in dem elektronischen Spiegelsystem nach einem der Ansprüche 1 bis 9 enthalten ist, wobei das Bildanzeigeverfahren das Erlangen von Bilddaten von der Bildaufnahmeeinheit; das Erlangen von Entfernungsdaten hinsichtlich einer Entfernung in dem realen Raum zwischen einem Ziel, das in dem Bild, das an der Bildanzeigeeinheit angezeigt wird, abgebildet ist, und der Eyebox; das Erzeugen von stereoskopischen Bilddaten auf Basis der Bilddaten und der Entfernungsdaten, um einen Benutzer, dessen Blickpunkt sich innerhalb der Eyebox befindet, ein stereoskopisches virtuelles Bild des Ziels sehen zu lassen; und das Anzeigen eines auf den stereoskopischen Bilddaten beruhenden stereoskopisch wiedergegebenen Bilds eines stereoskopisch wiedergegebenen Bereichs an dem Anzeigebildschirm der Bildanzeigeeinheit umfasst.
Sich bewegendes Fahrzeug, aufweisend einen sich bewegenden Fahrzeughauptkörper, der so ausgebildet ist, dass er sich bewegt; und das elektronische Spiegelsystem nach einem der Ansprüche 1 bis 9, das in dem sich bewegenden Fahrzeughauptkörper eingerichtet ist.