-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft eine Anzeigesteuervorrichtung, die bei einem sich bewegenden Körper wie einem Fahrzeug usw. verwendet wird und ein Bild, das sich mit einer vorderen Landschaft des sich bewegenden Körpers (von einem Insassen des Fahrzeugs gesehene tatsächliche Landschaft in der Fortbewegungsrichtung des sich bewegenden Körpers) überlappt, visuell erkennen lässt, eine Head-up-Display-Vorrichtung und ein Anzeigesteuerverfahren usw.
-
In Patentdokument 1 ist eine Head-up-Display-Vorrichtung (ein Beispiel einer Virtuellbildanzeigevorrichtung) angegeben, die ein Anzeigelicht, das auf ein Projektionsteil wie eine Windschutzscheibe usw. eines Fahrzeugs projiziert wird, in Richtung auf einen Insassen (Betrachter) des Fahrzeugs, der sich an der Innenseite des Fahrzeugs befindet, reflektiert, wodurch sie einen Betrachter ein sich mit der vorderen Landschaft des Fahrzeugs überlagerndes Virtuellbild visuell erkennen lässt. Insbesondere wird bei der Head-up-Display-Vorrichtung gemäß Patentdokument 1 an einer vorbestimmten Position in der Tiefe bzw. der Oben-, Unten-, Links- und Rechtsrichtung eines tatsächlichen Raums der vorderen Landschaft (hier wird die Position zur Zielposition gemacht.) ein Anzeigeobjekt (Virtuellbild) virtuell wahrnehmen gelassen, wobei auch in einem Fall, in dem es bei der Haltung des Fahrzeugs eine Veränderung gab, bzw. in einem Fall, in dem es bei der Augenposition des Betrachters eine Veränderung gab, ein Bild gesteuert wird, das so im Inneren der Head-up-Display-Vorrichtung angezeigt wird, als ob das Anzeigeobjekt sozusagen an der Zielposition der vorderen Landschaft vorhanden ist. D. h. bei einer solchen Head-up-Display-Vorrichtung wird eine erweiterte Realität ausgebildet, bei der ein virtuelles Objekt zu einer realen Landschaft (vordere Landschaft) hinzugefügt und angezeigt wird, wobei auch wenn sich die Haltung des Fahrzeugs verändert hat (dies führt auch zu einer Veränderung der Augenposition des Betrachters in Bezug auf die tatsächliche Landschaft), bzw. auch wenn sich die Augenposition des Betrachters im Fahrzeug verändert hat, entsprechend der durch ein Augenpositionserfassungsteils wie eine Kamera usw. erfassten Veränderung der Augenposition des Betrachters die Position usw. des im Inneren der Head-up-Display-Vorrichtung angezeigten Bildes korrigiert wird, wodurch dem virtuellen Objekt eine Bewegungsparallaxe erteilt wird und den Betrachter das virtuelle Objekt künstlich so wahrnehmen gelassen werden kann, als ob es sich sozusagen an der Zielposition in der vorderen Landschaft (in der tatsächlichen Landschaft) befindet.
-
Ferner ist in Patentdokument 2 eine Head-up-Display-Vorrichtung offenbart, bei der die rechte Augenposition und die linke Augenposition eines Betrachters, die durch ein Augenpositionserfassungsteil wie eine Kamera usw. erfasst wurden, verfolgt werden, wobei ein Anzeigegerät derart gesteuert wird, dass sich ein Anzeigelicht für das rechte Auge, das ein Bild für das rechte Auge zeigt, zur verfolgten rechten Augenposition richtet und sich ein Anzeigelicht für das linke Auge, das ein Bild für das linke Auge zeigt, zur verfolgten linken Augenposition richtet, wodurch dem virtuellen Objekt eine Parallaxe beider Augen erteilt wird und den Betrachter das virtuelle Objekt künstlich so wahrnehmen gelassen werden kann, als ob es sich sozusagen an der Zielposition in der vorderen Landschaft (in der tatsächlichen Landschaft) befindet.
-
Ferner ist in Patentdokument 3 offenbart, dass von einer durch ein Augenpositionserfassungsteil wie eine Kamera usw. erfassten Augenposition eines Betrachters die Anzeigeposition eines Bildes (Virtuellbild) an eine Position, die, wenn eine bestimmte Position eines in der vorderen Landschaft vorhandenen tatsächlichen Objekts (oder eine Position des Umkreises des tatsächlichen Objekts, die sich in einer bestimmten Positionsbeziehung mit dem tatsächlichen Objekt befindet) gesehen wurde, auf einer Gerade liegt, angepasst wird, wodurch die Position des in der tatsächlichen Landschaft vorhandenen tatsächlichen Objekts verdeutlicht wird.
-
Dokumente zum Stand der Technik
-
Patentdokumente
-
- Patentdokument 1: JP 2010-156608 A
- Patentdokument 2: JP 2019-062532 A
- Patentdokument 3: WO 2019/097918 A1
-
Zusammenfassung der Erfindung
-
Zu lösende Aufgabe der Erfindung
-
Im Übrigen kommt es bei einem Vorgang, bei dem der Kopf in der Links-Rechts-Richtung bewegt wird bzw. bei einem Vorgang bei dem der Hals zur Seite bewegt wird usw., vor, dass auch wenn der Betrachter beabsichtigt, die Augenposition in der Horizontalrichtung zu bewegen, sie sich tatsächlich auch in der Oben-Unten-Richtung bewegt, und dadurch, dass bei dem Augenpositionserfassungsteil auch die Bewegung der Augenposition in der Oben-Unten-Richtung erfasst wird, kann die Anzeigeposition des Bildes (Virtuellbild) auch in der Oben-Unten-Richtung korrigiert werden. In einem solchen Fall wird angenommen, dass bei der Positionskorrektur des Bildes durch die Erfassung der Bewegung in der Oben-Unten-Richtung der Augenposition dem Betrachter, der das Bewusstsein hat, dass die Augenposition in der Horizontalrichtung bewegt wird, ein fremdartiges Gefühl erteilt wird.
-
Ferner erfasst ein Augenpositionserfassungsteil wie eine Kamera usw. bei einem aufgenommenen Bild usw. durch einen komplizierten Algorithmus die Augenposition (linke und rechte Augenposition) des Betrachters, aber auch in einem Fall, in dem z. B. die Augenposition des Betrachters nur in der Links-Rechts-Richtung bewegt wird, kann je nach der Art des Vorgangs, bei dem der Kopf in der Links-Rechts-Richtung bewegt wird bzw. des Vorgangs, bei dem der Hals zur Seite bewegt wird, und/oder der Erfassungsumgebung dadurch, dass durch einen Erfassungsfehler bzw. eine Fehlerfassung usw. durch das Augenpositionserfassungsteil auch eine Bewegung der Augenposition in der Oben-Unten-Richtung erfasst wird, die Anzeigeposition des Bildes (Virtuellbild) auch in der Oben-Unten-Richtung korrigiert werden. Auch dadurch kann angenommen werden, dass bei der Positionskorrektur des Bildes durch die Erfassung der Bewegung in der Oben-Unten-Richtung der Augenposition, dem Betrachter, der das Bewusstsein hat, dass die Augenposition nur in der Horizontalrichtung bewegt wird, ein fremdartiges Gefühl erteilt wird.
-
Im Folgenden wird eine Zusammenfassung von in der vorliegenden Beschreibung offenbarten bestimmten Ausführungsformen gezeigt. Diese Ausgestaltungen werden nur aufgezeigt, um dem Leser eine Übersicht dieser bestimmten Ausführungsformen bereitzustellen, und es sollte verstanden werden, dass der Umfang dieser Offenbarung nicht beschränkt wird. Tatsächlich kann die vorliegende Offenbarung verschiedene Ausgestaltungen enthalten, die nicht im Folgenden angegeben sind.
-
Die Übersicht der vorliegenden Offenbarung betrifft eine Erschwerung einer Erteilung eines fremdartigen Gefühls beim Betrachter. Noch konkreter betrifft sie die Bereitstellung einer Anzeigesteuervorrichtung, bei der dadurch, dass eine Positionskorrektur des Bildes, die damit einhergeht, dass eine vom Benutzer unbeabsichtigte Bewegung der Augenposition in der Oben-Unten-Richtung erfasst wird, unterdrückt wird und ein fremdartiges Gefühl, das dem Benutzer erteilt wird, verringert wird, einer Head-up-Display-Vorrichtung und eines Anzeigesteuerverfahrens usw.
-
Folglich wurden bei der Anzeigesteuervorrichtung, der Head-up-Display-Vorrichtung und dem Anzeigesteuerverfahren usw., die in der vorliegenden Beschreibung angegeben werden, die folgenden Maßnahmen angewandt, um die obige Aufgabe zu lösen. Das Wesentliche der vorliegenden Ausführungsformen besteht darin, dass zwischen einer ersten Bildkorrekturverarbeitung S160, bei der auf Basis der Augenposition in der Oben-Unten-Richtung und der Augenposition in der Links-Rechts-Richtung die Position eines auf einem Anzeigegerät angezeigten Bildes korrigiert wird, und einer zweiten Bildkorrekturverarbeitung S170, bei der auf Basis der Augenposition in der Oben-Unten-Richtung und der Augenposition in der Links-Rechts-Richtung die Position eines auf einem Anzeigegerät angezeigten Bildes korrigiert wird, und bei der eine zweite Korrekturmenge der Position des Bildes in Bezug auf eine Veränderungsmenge der Augenposition in der Oben-Unten-Richtung kleiner als eine erste Korrekturmenge der Position des Bildes in Bezug auf die Veränderungsmenge der Augenposition in der Oben-Unten-Richtung während der ersten Bildkorrekturverarbeitung S160 ist, umgeschaltet wird.
-
Folglich führt die in der vorliegenden Beschreibung angegebene Anzeigesteuervorrichtung bei einer Head-up-Display-Vorrichtung, die zumindest aus einem Anzeigegerät, das ein Bild anzeigt, und einer Relaisoptik, die das Licht des vom Anzeigegerät angezeigten Bildes auf ein Projektionsbauteil projiziert, aufgebaut ist und einen Benutzer eines Fahrzeugs ein Virtuellbild des Bildes mit der vorderen Landschaft überlagert visuell erkennen lässt, eine Anzeigesteuerung aus, wobei sie mit einem oder mehreren Prozessoren, einem Speicher und einem oder mehreren Computerprogrammen, die im Speicher untergebracht werden und derart aufgebaut sind, dass sie durch den einen oder die mehreren Prozessoren ausgeführt werden, versehen ist, wobei der Prozessor die Augenposition des Benutzers in der Oben-Unten-Richtung des Fahrzeugs und die Augenposition des Benutzers in der Links-Rechts-Richtung des Fahrzeugs erwirbt, wobei zwischen einer ersten Bildkorrekturverarbeitung S160, bei der auf Basis der Augenposition in der Oben-Unten-Richtung und der Augenposition in der Links-Rechts-Richtung die Position eines auf dem Anzeigegerät angezeigten Bildes korrigiert wird, und einer zweiten Bildkorrekturverarbeitung S170, bei der auf Basis der Augenposition in der Oben-Unten-Richtung und der Augenposition in der Links-Rechts-Richtung die Position eines auf einem Anzeigegerät angezeigten Bildes korrigiert wird, und bei der eine zweite Korrekturmenge der Position des Bildes in Bezug auf eine Veränderungsmenge der Augenposition in der Oben-Unten-Richtung kleiner als eine erste Korrekturmenge der Position des Bildes in Bezug auf die Veränderungsmenge der Augenposition in der Oben-Unten-Richtung während der ersten Bildkorrekturverarbeitung S160 ist, oder bei der auf Basis der Augenposition in der Links-Rechts-Richtung die Position des auf dem Anzeigegerät angezeigten Bildes korrigiert wird und die Korrekturmenge der Position des Bildes in Bezug auf die Veränderungsmenge der Augenposition in der Oben-Unten-Richtung auf null gesetzt wird, umgeschaltet wird.
-
Kurze Beschreibung der Zeichnungen
-
- [1] 1 ist eine Ansicht, die ein Anwendungsbeispiel eines Virtuellbildanzeigesystems für ein Fahrzeug bei einem Fahrzeug zeigt.
- [2] 2 ist eine Ansicht, die den Aufbau einer Head-up-Display-Vorrichtung zeigt.
- [3] 3 ist eine Ansicht, die eine vordere Landschaft, die ein Betrachter visuell erkennt, und ein Beispiel eines Virtuellbildes, das sich mit der vorderen Landschaft überlappend angezeigt wird, bei der Fahrt eines Ego-Fahrzeugs zeigt.
- [4] 4 ist eine Ansicht, bei der die Positionsbeziehungen eines Virtuellbildes eines linken Blickpunkts und eines Virtuellbildes eines rechten Blickpunkts, die auf einer Virtuellbild-Abbildungsfläche angezeigt werden, und eines Wahrnehmungsbildes, das der Betrachter durch dieses Virtuellbild des linken Blickpunkts und dieses Virtuellbild des rechten Blickpunkts wahrnimmt, bei einer Ausführungsform, bei der die HUD-Vorrichtung eine 3D-HUD-Vorrichtung ist, konzeptionell gezeigt werden.
- [5] 5 ist eine Ansicht, bei der ein virtuelles Objekt, das an einer Zielposition einer tatsächlichen Landschaft angeordnet wird, und ein Bild, das derart in einem Virtuellbild-Anzeigebereich angezeigt wird, dass das virtuelle Objekt an der Zielposition der tatsächlichen Landschaft visuell erkannt wird, konzeptionell gezeigt werden.
- [6] 6 ist eine Ansicht zur Erläuterung eines Verfahrens einer Bewegungsparallaxe-Hinzufügungsverarbeitung bei der vorliegenden Ausführungsform.
- [7A] 7A ist ein Vergleichsbeispiel, das ein von einer in 6 gezeigten Position Px12 visuell erkanntes Virtuellbild in einem Fall zeigt, in dem die Bewegungsparallaxe-Hinzufügungsverarbeitung der vorliegenden Ausführungsform nicht durchgeführt wurde.
- [7B] 7B ist eine Ansicht, die ein von der in 6 gezeigten Position Px12 visuell erkanntes Virtuellbild in einem Fall zeigt, in dem die Bewegungsparallaxe-Hinzufügungsverarbeitung der vorliegenden Ausführungsform durchgeführt wurde.
- [8] 8 ist eine Ansicht zur Erläuterung des Verfahrens der Bewegungsparallaxe-Hinzufügungsverarbeitung durch eine Bewegung der Augenposition (Kopfposition) in der Oben-Unten-Richtung bei der vorliegenden Ausführungsform.
- [9] 9 ist eine Ansicht, die eine vordere Landschaft, die der Betrachter visuell erkennt, und ein Beispiel eines Virtuellbildes, das sich mit der vorderen Landschaft überlappend angezeigt wird, bei der Fahrt des Ego-Fahrzeugs zeigt.
- [10] 10 ist ein Blockdiagramm, das ein Virtuellbildanzeigesystem für ein Fahrzeug einiger Ausführungsformen zeigt.
- [11A] 11A ist ein Flussdiagramm, das ein Verfahren S100 zeigt, das auf Basis der Augenposition des Betrachters einen Betrieb ausführt, bei dem das Bild korrigiert wird.
- [11B] 11B ist eine Ansicht, die einen Teil des in 11A gezeigten Flussdiagramms erläutert.
- [11C] 11C ist eine Ansicht, die einen Teil des in 11A gezeigten Flussdiagramms erläutert.
- [12] 12 ist eine bildliche Ansicht, die eine Augenposition, die pro vorbestimmte Periodendauer erfasst wird, eine Veränderungsmenge der Augenposition, eine Bewegungsgeschwindigkeit der Augenposition usw. zeigt.
- [13] 13 ist eine Ansicht, die eine HUD-Vorrichtung bei einigen Ausführungsformen, bei denen dadurch, dass eine Relaisoptikgedreht wird, eine Eyebox in der Oben-Unten-Richtung bewegt werden kann, zeigt.
-
Ausführungsformen der Erfindung
-
Im Folgenden werden in 1 bis 6 und 7B bis 12 eine Erläuterung der Aufbauten und Betriebe eines beispielhaften Anzeigesystems für ein Fahrzeug bereitgestellt. Die vorliegende Erfindung wird nicht auf die folgenden Ausführungsformen (umfasst auch die Inhalte der Zeichnungen) beschränkt. Es ist selbstverständlich, dass bei den unten angegebenen Ausführungsformen Variationen (umfasst auch die Streichung von Bestandteilen) hinzugefügt werden können. Ferner werden bei der folgenden Erläuterung zum einfachen Verständnis der vorliegenden Erfindung die Erläuterung der allgemein bekannten technischen Merkmale den Umständen entsprechend weggelassen.
-
Es wird auf 1 verwiesen. 1 ist eine Ansicht, die ein Beispiel eines Aufbaus eines Virtuelbildanzeigesystems für ein Fahrzeug, das eine parallaktische 3D-HUD-Vorrichtung umfasst, zeigt. In 1 wird die Links-Rechts-Richtung (mit anderen Worten, die Breitenrichtung eines Fahrzeugs 1) des Fahrzeugs 1 (ein Beispiel eines sich bewegenden Körpers) als X-Achse (die positive Richtung der X-Achse ist die Linksrichtung, wenn sich das Fahrzeug 1 nach vorne gerichtet hat.) betrachtet, die Oben-Unten-Richtung (mit anderen Worten, die Höhenrichtung des Fahrzeugs 1), die entlang eines Linienabschnitts verläuft, der orthogonal zur Links-Rechts-Richtung und gleichzeitig orthogonal zur Erdoberfläche oder zu einer der Erdoberfläche entsprechenden Fläche (hier eine Straßenoberfläche 6) ist, wird als Y-Achse (die positive Richtung der Y-Achse ist die Aufwärtsrichtung.) betrachtet und die Vorne-Hinten-Richtung, die entlang eines Linienabschnitts verläuft, der zu jeder der Links-Rechts-Richtung und der Oben-Unten-Richtung orthogonal ist, wird als Z-Achse (die positive Richtung der Z-Achse ist die Fortbewegungsrichtung des Fahrzeugs 1) betrachtet. Dieser Aspekt ist auch bei den anderen Zeichnungen gleich.
-
Wie dargestellt, ist ein Anzeigesystem 10 für ein Fahrzeug, mit dem das Fahrzeug 1 (Ego-Fahrzeug) versehen ist, durch ein Augenpositionserfassungsteil 409 für die Erfassung der Pupille (oder des Gesichts), das die Position eines linken Auges 700L und eines rechten Auges 700R eines Betrachters (typischerweise ein Fahrer, der auf dem Fahrersitz des Fahrzeugs 1 sitzt) bzw. die Blickrichtung erfasst, einen fahrzeugäußeren Sensor 411, der durch eine Kamera (z. B. eine Stereokamera) usw., die das Vordere (im weiteren Sinne der Umkreis) des Fahrzeugs 1 aufnimmt, aufgebaut wird, eine Head-up-Display-Vorrichtung (im Folgenden auch als HUD-Vorrichtung bezeichnet) 20 und eine Anzeigesteuervorrichtung 30, die die HUD-Vorrichtung 20 steuert, usw. aufgebaut.
-
2 ist eine Ansicht, die eine Ausgestaltung des Aufbaus der Head-up-Display-Vorrichtung zeigt. Die HUD-Vorrichtung 20 wird z. B. in einem Armaturenbrett (Bezugszeichen 5 der 1) installiert. Die HUD-Vorrichtung 20 weist eine stereoskopische Anzeigevorrichtung (ein Beispiel eines Anzeigegeräts) 40, eine Relaisoptik 80 und ein Gehäuse 22 auf, das diese stereoskopische Anzeigevorrichtung 40 und die Relaisoptik 80 aufnimmt und ein Lichtausstrahlfenster 21 aufweist, das ein Anzeigelicht K von der stereoskopischen Anzeigevorrichtung 40 von dem Inneren in Richtung auf das Äußere ausstrahlen kann.
-
Die stereoskopische Anzeigevorrichtung 40 wird hier als eine parallaktische 3D-Anzeigevorrichtung betrachtet. Diese stereoskopische Anzeigevorrichtung (parallaktische 3D-Anzeigevorrichtung) 40 wird durch ein Lichtmodulationselement 50, das eine autostereoskopische Anzeigevorrichtung ist, bei der eine Bildanzeigemethode mit mehreren Blickpunkten verwendet wird, bei der dadurch, dass ein Bild des linken Blickpunkts und ein Bild des rechten Blickpunkts visuell erkennen gelassen werden, eine Tiefendarstellung gesteuert werden kann, und eine Lichtquelleneinheit 60, die als Hintergrundbeleuchtung funktioniert, aufgebaut.
-
Das Lichtmodulationselement 50 weist ein Lichtmodulationselement 51, das bei einem Bestrahlungslicht von der Lichtquelleneinheit 60 das Licht moduliert und ein Bild erzeugt, und eine optische Schicht 52 (ein Beispiel eines Lichtstrahlenteilers) auf, die z. B: eine Lentikularlinse bzw. eine Parallaxenbarriere (parallaktische Barriere) usw. aufweist und von dem Lichtmodulationselement 51 ausgestrahltes Licht in Anzeigelicht für das linke Auge (Bezugszeichen K10 der 1) wie Lichtstrahlen K11, K12 und K13 usw. für das linke Auge und Anzeigelicht für das rechte Auge (Bezugszeichen K20 der 1) wie Lichtstrahlen K21, K22 und K23 usw. für das rechte Auge aufteilt. Die optische Schicht 52 umfasst optische Filter wie eine Lentikularlinse, eine Parallaxenbarriere, eine Linsenanordnung und eine Mikrolinsenanordnung usw. Dies ist allerdings ein Beispiel und es wird keine Beschränkung darauf vorgenommen. Die Ausführungsform der optischen Schicht 52 wird nicht auf die zuvor erwähnten optischen Filter beschränkt und solange sie aus dem von dem Lichtmodulationselement 51 ausgestrahlten Licht das Anzeigelicht für das linke Auge (Bezugszeichen K10 der 1) und das Anzeigelicht für das rechte Auge (Bezugszeichen K20 der 1) erzeugt, werden optische Schichten aller Formen, die an der Vorderfläche oder der Hinterfläche des Lichtmodulationselements 51 angeordnet werden, umfasst. Bei den einigen Ausführungsformen der optischen Schicht 52 kann dadurch, dass eine elektrische Steuerung getätigt wird, aus dem von dem Lichtmodulationselement 51 ausgestrahlten Licht das Anzeigelicht für das linke Auge (Bezugszeichen K10 der 1) und das Anzeigelicht für das rechte Auge (Bezugszeichen K20 der 1) erzeugt werden und es wird z. B. eine Flüssigkristalllinse angeführt. D. h. bei der Ausführungsform der optischen Schicht 52 können ein Gegenstand, bei dem eine elektrische Steuerung getätigt wird, und ein Gegenstand, bei dem keine elektrische Steuerung getätigt wird, umfasst werden.
-
Ferner können auch dadurch, dass bei der stereoskopischen Anzeigevorrichtung 40 anstatt oder zusätzlich zu der optischen Schicht (ein Beispiel eines Lichtstrahlenteilers) 52 die Lichtquelleneinheit 60 durch eine gerichtete Hintergrundbeleuchtung (ein Beispiel eines Lichtstrahlenteilers) aufgebaut wird, das Anzeigelicht für das linke Auge (Bezugszeichen K10 der 1) wie die Lichtstrahlen K11, K12 und K13 usw. für das linke Auge und das Anzeigelicht für das rechte Auge (Bezugszeichen K20 der 1) wie die Lichtstrahlen K21, K22 und K23 usw. für das rechte Auge ausgestrahlt werden. Konkret wird z. B. bei der später erwähnten Anzeigesteuervorrichtung 30, wenn die gerichtete Hintergrundbeleuchtungseinheit das Bestrahlungslicht, das sich zum linken Auge 700L richtet, strahlt, dadurch, dass das Lichtmodulationselement 51 ein Bild des linken Blickpunkts anzeigen gelassen wird, das Anzeigelicht K10 für das linke Auge wie die Lichtstrahlen K11, K12 und K13 usw. für das linke Auge zum linken Auge 700L des Betrachters gerichtet und, wenn die gerichtete Hintergrundbeleuchtungseinheit das Bestrahlungslicht, das sich zum rechten Auge 700R richtet, strahlt, dadurch, dass das Lichtmodulationselement 51 ein Bild des rechten Blickpunkts anzeigen gelassen wird, das Anzeigelicht K20 für das rechte Auge wie die Lichtstrahlen K21, K22 und K23 usw. für das rechte Auge zum linken Auge 700R des Betrachters gerichtet. Dies ist allerdings ein Beispiel und es wird keine Beschränkung darauf vorgenommen.
-
Bei der später erwähnten Anzeigesteuervorrichtung 30 wird dadurch, dass z. B. eine Bildrendering-Verarbeitung (Grafikverarbeitung), eine Anzeigegerät-Antriebsverarbeitung usw. durchgeführt wird, das Anzeigelicht K10 für das linke Auge eines Bildes V10 des linken Blickpunkts zum linken Auge 700L des Betrachters und das Anzeigelicht K20 für das rechte Auge eines Bildes V20 des rechten Blickpunkts zum rechten Auge 700R gerichtet und dadurch, dass das Bild V10 des linken Blickpunkts und das Bild V20 des rechten Blickpunkts eingestellt werden, kann eine Ausgestaltung eines (vom Betrachter wahrgenommenen) Wahrnehmungsvirtuellbildes FU, das die HUD-Vorrichtung 20 anzeigt, gesteuert werden. Bei der später erwähnten Anzeigesteuervorrichtung 30 kann ein Display (Lichtmodulationselement 50) auch derart gesteuert werden, dass ein Lichtfeld erzeugt wird, bei dem von einem im festgelegten Raum vorhandenen Punkt usw. in verschiedenen Richtungen ausgegebene Lichtstrahlen so wie sie sind (im Großen und Ganzen) rekonstruiert werden.
-
Die Relaisoptik 80 weist gekrümmte Spiegel (Hohlspiegel usw.) 81, 82 auf, die das Licht von der stereoskopischen Anzeigevorrichtung 40 reflektieren und das Anzeigelicht K10, K20 des Bildes auf eine Windschutzscheibe (Projektionsbauteil) 2 projizieren. Allerdings kann sie darüber hinaus auch ein anderes optisches Bauteil (es können ein dioptrisches Bauteil wie eine Linse usw., ein diffraktives optisches Bauteil wie ein Hologramm usw. ein katoptrisches Bauteil oder eine Kombination von diesen umfasst sein) aufweisen.
-
In 1 wird durch die stereoskopische Anzeigevorrichtung 40 der HUD-Vorrichtung 20 ein Bild mit Parallaxe (Parallaxenbild) für jedes Auge, das linke und das rechte, angezeigt. Jedes Parallaxenbild wird, wie in 1 gezeigt, als auf einer Virtuellbild-Anzeigefläche (Virtuellbild-Abbildungsfläche) VS abgebildete V10, V20 angezeigt. Der Fokus jedes Auges des Betrachters (Mensch) wird derart eingestellt, dass er zur Position eines Virtuellbild-Anzeigebereichs VS passt. Die Position des Virtuellbild-Anzeigebereichs VS wird „Regulierungsposition (oder Abbildungsposition)“ genannt, ferner wird eine Distanz (vgl. Bezugszeichen D10 der 4) von einer vorbestimmten Richtposition (z. B. eine Mitte 205 einer Eyebox 200 der HUD-Vorrichtung 20, die Blickpunktposition des Betrachters oder eine bestimmte Position des Ego-Fahrzeugs 1) bis zum Virtuellbild-Anzeigebereich VS Regulierungsdistanz (Abbildungsdistanz) genannt.
-
Da allerdings das Gehirn eines Menschen in der Tat jedes Bild (Virtuellbild) zusammensetzt, erkennt der Mensch das Wahrnehmungsbild (hier eine Figur einer Pfeilspitze zur Navigation) FU derart, dass es an einer Position, die eine noch tiefere Seite als die Regulierungsposition ist (z. B. handelt es sich um eine Position, die durch den Konvergenzwinkel zwischen dem Bild V10 des linken Blickpunkts und dem Bild V20 des rechten Blickpunkts festgelegt wird, und um eine Position, die derart wahrgenommen wird, dass sie sich an einer desto weiter vom Betrachter entfernten Position befindet, je kleiner der Konvergenzwinkel wird) angezeigt ist. Es kommt vor, dass das Wahrnehmungsvirtuellbild FU „stereoskopisches Virtuellbild“ genannt wird, und wenn ferner „Bild“ so betrachtet wird, dass im weiteren Sinne aufgefasst auch ein Virtuellbild umfasst wird, kann es auch „stereoskopisches Bild“ genannt werden. Ferner kommt es vor, dass es „stereoskopische Abbildung“, „3D-Anzeige“ usw. genannt wird. Die HUD-Vorrichtung 20 kann das Bild V10 des linken Blickpunkts und das Bild V20 des rechten Blickpunkts derart anzeigen, dass das Wahrnehmungsbild FU an einer Position, die eine weiter vordere Seite als die Regulierungsposition ist, visuell erkannt wird.
-
Als Nächstes wird auf 3 und 4 verwiesen. 3 ist eine Ansicht, die eine vordere Landschaft, die ein Betrachter visuell erkennt, und ein Beispiel eines Wahrnehmungsbildes, das sich mit der vorderen Landschaft überlappend angezeigt wird, bei der Fahrt eines Ego-Fahrzeugs 1 zeigt. 4 ist eine Ansicht, die die Positionsbeziehungen zwischen dem Virtuellbild des linken Blickpunkts und dem Virtuellbild des rechten Blickpunkts, die auf der Virtuellbild-Abbildungsfläche angezeigt werden, und dem Wahrnehmungsbild, das der Betrachter durch dieses Virtuellbild des linken Blickpunkts und dieses Virtuellbild des rechten Blickpunkts wahrnimmt, konzeptionell zeigt.
-
In 3 fährt das Fahrzeug 1 auf einer linienförmigen Straße (Straßenoberfläche) 6. Die HUD-Vorrichtung 20 ist im Armaturenbrett 5 installiert. Das Anzeigelicht K (K10, K20) vom Lichtausstrahlfenster 21 der HUD-Vorrichtung 20 wird auf ein Projektionsteil 2 (Windschutzscheibe des Fahrzeugs 1) projiziert. Im Beispiel der 3 werden ein erstes Inhaltsbild FU1, das sich mit der Straßenoberfläche 6 überlappt und auf die Route des Fahrzeugs 1 (hier ist ein Vorwärtsfahren gezeigt) hinweist, und ein zweites Inhaltsbild FU2, das genauso auf die Route des Fahrzeugs 1 (hier ist ein Vorwärtsfahren gezeigt) hinweist und weiter entfernt als das erste Inhaltsbild FU1 wahrgenommen wird, angezeigt.
-
Wie in der linken Figur der 4 gezeigt, wird bei der HUD-Vorrichtung 20 (1) das Anzeigelicht K10 für das linke Auge an einer solchen Position und in einem solchen Winkel, an der und in dem durch das Projektionsteil 2 zum durch das Augenpositionserfassungsteil 409 erfassten linken Auge 700L reflektiert wird, zum Projektionsteil 2 ausgestrahlt, und an einer vorbestimmten Position des von dem linken Auge 700L aus gesehenen Virtuellbild-Anzeigebereichs VS ein erstes Inhaltsbild V11 des linken Blickpunkts abgebildet, sowie (2) das Anzeigelicht K20 für das rechte Auge an einer solchen Position und in einem solchen Winkel, an der und in dem durch das Projektionsteil 2 zum rechten Auge 700R reflektiert wird, zum Projektionsteil 2 ausgestrahlt, und an einer vorbestimmten Position des von dem rechten Auge 700R aus gesehenen Virtuellbild-Anzeigebereichs VS ein erstes Inhaltsbild V21 des rechten Blickpunkts abgebildet. Das durch das erste Inhaltsbild V11 des linken Blickpunkts und das erste Inhaltsbild V21 des rechten Blickpunkts, die eine Parallaxe aufweisen, wahrgenommene erste Inhaltsbild FU1 wird an einer Position, die eine um eine Distanz D21 tiefere Seite als der Virtuellbild-Anzeigebereich VS ist (Position, die von der obigen Richtposition um eine Distanz D31 entfernt ist), visuell erkannt.
-
Wie in der rechten Figur der 4 gezeigt, wird gleichermaßen bei der HUD-Vorrichtung 20 (1) das Anzeigelicht K10 für das linke Auge an einer solchen Position und in einem solchen Winkel, an der und in dem durch das Projektionsteil 2 zum durch das Augenpositionserfassungsteil 409 erfassten linken Auge 700L reflektiert wird, zum Projektionsteil 2 ausgestrahlt, und an einer vorbestimmten Position des von dem linken Auge 700L aus gesehenen Virtuellbild-Anzeigebereichs VS ein zweites Inhaltsbild V12 des linken Blickpunkts abgebildet, sowie (2) das Anzeigelicht K20 für das rechte Auge an einer solchen Position und in einem solchen Winkel, an der und in dem durch das Projektionsteil 2 zum rechten Auge 700R reflektiert wird, zum Projektionsteil 2 ausgestrahlt, und an einer vorbestimmten Position des von dem rechten Auge 700R aus gesehenen Virtuellbild-Anzeigebereichs VS ein zweites Inhaltsbild V22 des rechten Blickpunkts abgebildet. Das durch das zweite Inhaltsbild V12 des linken Blickpunkts und das zweite Inhaltsbild V22 des rechten Blickpunkts, die eine Parallaxe aufweisen, wahrgenommene zweite Inhaltsbild FU2 wird an einer Position, die eine um eine Distanz D22 tiefere Seite als der Virtuellbild-Anzeigebereich VS ist (Position, die von der obigen Richtposition um eine Distanz D31 entfernt ist), visuell erkannt.
-
Konkret wird die Distanz von der obigen Richtposition bis zum Virtuellbild-Anzeigebereich VS (Abbildungsdistanz D10) z. B. auf eine Distanz von „4 m“ eingestellt, die Distanz von der obigen Richtposition bis zum in der linken Figur der 4 gezeigten ersten Inhaltsbild FU1 (erste Wahrnehmungsdistanz D31) wird z. B. auf eine Distanz von „7 m“ eingestellt und die Distanz von der obigen Richtposition bis zum in der rechten Figur der 4 gezeigten zweiten Inhaltsbild FU2 (zweite Wahrnehmungsdistanz D32) wird z. B. auf eine Distanz von „10 m“ eingestellt. Dies ist allerdings ein Beispiel und es wird keine Beschränkung vorgenommen.
-
5 ist eine Ansicht, die ein an einer Zielposition einer tatsächlichen Landschaft angeordnetes virtuelles Objekt und ein Bild, das derart in einem Virtuellbild-Anzeigebereich angezeigt wird, dass das virtuelle Objekt an der Zielposition der tatsächlichen Landschaft visuell erkannt wird, konzeptionell zeigt. Bei der in 5 gezeigten HUD-Vorrichtung 20 ist ein Beispiel gezeigt, bei dem keine 3D-Anzeige, sondern eine 2D-Anzeige getätigt wird. D. h. das in 5 gezeigte Anzeigegerät 40 der HUD-Vorrichtung 20 ist keine stereoskopische Anzeigevorrichtung, sondern eine 2D-Anzeigevorrichtung (bei einer stereoskopischen Anzeigevorrichtung ist auch eine 2D-Anzeige möglich). Wie in 5 gezeigt, wird von einem Betrachter 700 aus gesehen die Tiefenrichtung als Z-Achsenrichtung betrachtet, die Links-Rechts-Richtung (Breitenrichtung des Ego-Fahrzeugs 1) als X-Achsenrichtung betrachtet und die Oben-Unten-Richtung (Oben-Unten-Richtung des Ego-Fahrzeugs 1) als Y-Achsenrichtung betrachtet. Eine sich von dem Betrachter aus gesehen entfernende Richtung wird als positive Richtung der Z-Achse betrachtet, die Linksrichtung vom Betrachter aus gesehen wird als positive Richtung der X-Achse betrachtet und die Aufwärtsrichtung vom Betrachter aus gesehen wird als positive Richtung der Y-Achse betrachtet.
-
Der Betrachter 700 nimmt dadurch, dass er das über das Projektionsteil 2 im Virtuellbild-Anzeigebereich VS ausgebildete (abgebildete) Virtuellbild V visuell erkennt, ein virtuelles Objekt FU an einer vorbestimmten Zielposition PT einer tatsächlichen Landschaft wahr. Der Betrachter erkennt das Virtuellbild V der Projektion des durch das Projektionsteil 2 reflektierten Anzeigelichts K visuell. Zu dieser Zeit wird, wenn das Virtuellbild V z. B. ein Pfeil ist, der einen Weg zeigt, der Pfeil des Virtuellbildes V derart in dem Virtuellbild-Anzeigebereich VS angezeigt, dass das virtuelle Objekt FU an der vorbestimmten Zielposition PT der vorderen Landschaft des Ego-Fahrzeugs 1 angeordnet visuell erkannt wird. Konkret macht die HUD-Vorrichtung 20 (Anzeigesteuervorrichtung 30) die Mitte des linken Auges 700L und des rechten Auges 700R des Betrachters zum Ausgangspunkt der projektiven Transformation und rendert das auf dem Anzeigegerät 40 angezeigte Bild derart, dass das Virtuellbild V in einer vorbestimmten Größe/Form, bei dem das an der Zielposition PT angeordnete virtuelle Objekt FU in einer vorbestimmten Größe/Form im Virtuellbild-Anzeigebereich VS projektiv transformiert wurde, angezeigt wird. Außerdem kann die HUD-Vorrichtung 20 (Anzeigesteuervorrichtung 30), auch wenn der Betrachter die Augenposition bewegt hat, dadurch, dass die Position des im Virtuellbild-Anzeigebereich VS angezeigten Virtuellbildes V derart geändert wird, dass das virtuelle Objekt FU an derselben Zielposition PT wie vor der Bewegung der Augenposition wahrgenommen wird, ungeachtet davon, dass es an einer von der Zielposition PT entfernten Position (Virtuellbild-Anzeigebereich VS) angezeigt ist, das virtuelle Objekt FU (Virtuellbild V) so erkennen lassen, als ob es sich sozusagen an der Zielposition PT befindet. D. h. bei der HUD-Vorrichtung 20 (Anzeigesteuervorrichtung 30) wird eine natürliche Bewegungsparallaxe auf Basis einer Bewegung der Augenposition durch eine Änderung (bei dieser kann auch eine Änderung der Größe bzw. eine Änderung der Form hinzugefügt werden) der Position des Bildes (Virtuellbild V im Virtuellbild-Anzeigebereich VS) auf dem Anzeigegerät 40 dargestellt (mit anderen Worten erleichtert die HUD-Vorrichtung 20 durch die mit der Bewegung der Augenposition einhergehende Bildkorrektur dadurch, dass eine Bewegungsparallaxe zum Virtuellbild (Bild) hinzugefügt wird, das Empfinden der Tiefenwahrnehmung). In der Erläuterung der vorliegenden Ausführungsform wird eine Korrektur einer Bildposition, bei der entsprechend einer solchen Veränderung der Augenposition eine Bewegungsparallaxe dargestellt wird, als Bewegungsparallaxe-Hinzufügungsverarbeitung (ein Beispiel einer Augennachverfolgung-Bildkorrekturverarbeitung) bezeichnet. Die Bewegungsparallaxe-Hinzufügungsverarbeitung wird nicht nur auf eine Korrektur einer Bildposition beschränkt, bei der eine natürliche Bewegungsparallaxe vollständig rekonstruiert wird, und es kann auch eine Korrektur der Bildposition umfasst werden, die sich einer natürlichen Bewegungsparallaxe annähert. Die HUD-Vorrichtung 20 (Anzeigesteuervorrichtung 30) kann nicht nur die Bewegungsparallaxe-Hinzufügungsverarbeitung (ein Beispiel einer Augennachverfolgung-Bildkorrekturverarbeitung) entsprechend der Veränderung der Augenposition 700, sondern auch die Bewegungsparallaxe-Hinzufügungsverarbeitung (ein Beispiel einer Augennachverfolgung-Bildkorrekturverarbeitung) auf Basis einer Kopfposition 710 des Betrachters anstatt der Augenposition 700 ausführen.
-
6 ist eine Ansicht zur Erläuterung eines Verfahrens einer Bewegungsparallaxe-Hinzufügungsverarbeitung bei der vorliegenden Ausführungsform. Die Anzeigesteuervorrichtung 30 (Prozessor 33) der vorliegenden Ausführungsform steuert die HUD-Vorrichtung 20 und über das Projektionsteil 2 werden im Virtuellbild-Anzeigebereich VS ausgebildete (abgebildete) Virtuellbilder V41, V42 und V43 angezeigt. Das Virtuellbild V41 wird auf eine Zielposition PT11 eingestellt, die eine Wahrnehmungsdistanz D33 (Position, die eine um eine Distanz D23 tiefere Seite als der Virtuellbild-Anzeigebereich VS ist) ist, das Virtuellbild V42 wird auf eine Zielposition PT12 eingestellt, die eine Wahrnehmungsdistanz D34 (Position, die eine um eine Distanz D24 (>D23) tiefere Seite als der Virtuellbild-Anzeigebereich VS ist) ist, die länger als die Wahrnehmungsdistanz D33 des Virtuellbildes V41 ist, und außerdem wird das Virtuellbild V43 auf eine Zielposition PT13 eingestellt, die eine Wahrnehmungsdistanz D35 (Position, die eine um eine Distanz D25 (>D24) tiefere Seite als der Virtuellbild-Anzeigebereich VS ist) ist, die länger als die Wahrnehmungsdistanz D34 des Virtuellbildes V42 ist. Die Korrekturmenge des Bildes bei dem Anzeigegerät 40 entspricht der Korrekturmenge des Virtuellbildes bei dem Virtuellbild-Anzeigebereich VS, weshalb in 6 bei den Korrekturmengen des Virtuellbildes, die den Korrekturmengen C1, C2 und C3 des Bildes bei dem Anzeigegerät 40 entsprechen, auch dieselben Bezugszeichen C1, C2 und C3 verwendet sind (genauso verhält es sich bei den Bezugszeichen Cy11 (Cy), Cy21 (Cy) der 8).
-
Wenn sich die Kopfposition 710 (Augenposition 700) des Betrachters von der Position mit dem Bezugszeichen Px11 um ΔPx10 zur rechten Seite (negative Richtung der X-Achse) bewegt hat, korrigiert die Anzeigesteuervorrichtung 30 (Prozessor 33) dadurch, dass sie die Bewegungsparallaxe-Hinzufügungsverarbeitung ausführt, die Position, an der die im Virtuellbild-Anzeigebereich VS angezeigten Virtuellbilder V41, V42, V43 angezeigt werden, in derselben Richtung, in der sich die Kopfposition 710 (Augenposition 700) des Betrachters bewegt hat, um die jeweiligen Korrekturmengen C1, C2 (>C1), C3 (>C2). 7A ist ein Vergleichsbeispiel, das die von der in 6 gezeigten Position Px12 visuell erkannten Virtuellbilder V41, V42, V43 in einem Fall zeigt, in dem die Bewegungsparallaxe-Hinzufügungsverarbeitung der vorliegenden Ausführungsform nicht durchgeführt wurde, und 7B ist eine Ansicht, die von der in 6 gezeigten Position Px12 visuell erkannte Virtuellbilder V44, V45, V46 in einem Fall zeigt, in dem die Bewegungsparallaxe-Hinzufügungsverarbeitung der vorliegenden Ausführungsform durchgeführt wurde. Bei 7B sollte beachtet werden, dass der Unterschied der Positionen der Virtuellbilder V44, V45, V46 übertrieben eingezeichnet ist, damit der Unterschied der Korrekturmengen leicht zu verstehen ist. D. h. die Anzeigesteuervorrichtung 30 (Prozessor 33) kann dadurch, dass sie durch den Unterschied der Wahrnehmungsdistanzen D33, D34, D35 der mehreren Virtuellbilder V41, V42, V43 die Korrekturmengen der Positionen der mehreren Virtuellbilder V41, V42, V43 einhergehend mit der Bewegung der Augenposition differenziert, den Betrachter auch nur zwischen den mehreren Virtuellbildern V41 (V44), V42 (V45), V43 (V46) eine Bewegungsparallaxe empfinden lassen. Noch konkreter fügt die Anzeigesteuervorrichtung 30 (Prozessor 33) dadurch, dass sie die Korrekturmenge bei der Bewegungsparallaxe-Hinzufügungsverarbeitung desto mehr vergrößert, je länger die eingestellte Wahrnehmungsdistanz D30 ist, Bewegungsparallaxen zu den mehreren Virtuellbildern V41 (V44), V42 (V45), V43 (V46) hinzu.
-
8 ist eine Ansicht zur Erläuterung des Verfahrens der Bewegungsparallaxe-Hinzufügungsverarbeitung, wenn sich bei der vorliegenden Ausführungsform die Augenposition (Kopfposition) in der Oben-Unten-Richtung bewegt hat. Wenn sich die Kopfposition 710 (Augenposition 700) des Betrachters von einer Position mit dem Bezugszeichen Py12 zur oberen Seite (positive Seite der Y-Achse) bewegt hat, korrigiert die Anzeigesteuervorrichtung 30 (Prozessor 33) dadurch, dass sie die Bewegungsparallaxe-Hinzufügungsverarbeitung ausführt, die Position, an der das im Virtuellbild-Anzeigebereich VS angezeigte Virtuellbild V angezeigt wird, wie in 8(a) gezeigt, in einer gleichen Richtung wie diejenige, in der sich die Kopfposition 710 (Augenposition 700) des Betrachters bewegt hat (obere Seite (positive Richtung der Y-Achse)) um eine Korrekturmenge Cy11 (die Position des Virtuellbildes V ändert sich von einer Position mit dem Bezugszeichen V48 in das Bezugszeichen V47). Wenn sich ferner die Kopfposition 710 (Augenposition 700) des Betrachters von der Position mit dem Bezugszeichen Py12 zur unteren Seite (negative Richtung der Y-Achse) bewegt hat, korrigiert die Anzeigesteuervorrichtung 30 (Prozessor 33) dadurch, dass sie die Bewegungsparallaxe-Hinzufügungsverarbeitung ausführt, die Position, an der das im Virtuellbild-Anzeigebereich VS angezeigte Virtuellbild V angezeigt wird, wie in 8(c) gezeigt, in einer gleichen Richtung wie diejenige, in der sich die Kopfposition 710 (Augenposition 700) des Betrachters bewegt hat (obere Seite (negative Richtung der Y-Achse)) um eine Korrekturmenge Cy21 (die Position des Virtuellbildes V ändert sich von einer Position mit dem Bezugszeichen V48 in das Bezugszeichen V49). Dadurch kann das virtuelle Objekt FU (Virtuellbild V) ungeachtet davon, dass es an einer von der Zielposition PT entfernten Position (Virtuellbild-Anzeigebereich VS) angezeigt ist, so erkennen gelassen werden, als ob es sich sozusagen an der Zielposition PT befindet (das Gefühl, dass sich das virtuelle Objekt FU (Virtuellbild V) an der Zielposition PT befindet, kann verstärkt werden).
-
9 ist eine Ansicht, die ein in einer vorderen Landschaft vorhandenes tatsächliches Objekt 300, das visuell erkannt wird, wenn sich der Betrachter vom Fahrersitz des Fahrzeugs 1 nach vorne richtet, und das Virtuellbild V, das die HUD-Vorrichtung 20 der vorliegenden Ausführungsform anzeigt, zeigt. Das in 9 gezeigte Virtuellbild V umfasst ein AR-Virtuellbild V60, bei dem entsprechend der Position des tatsächlichen Objekts 300 die angezeigte Position verändert werden kann, und ein Nicht-AR-Virtuellbild V70, bei dem unabhängig von der Position des tatsächlichen Objekts 300 die angezeigte Position eingestellt wird. Das AR-Virtuellbild V60 wird an einer Position (Zielposition PT) angezeigt, die der Position des in der tatsächlichen Landschaft vorhandenen tatsächlichen Objekts 300 entspricht. Das AR-Virtuellbild V60 wird z. B. an einer sich mit dem tatsächlichen Objekt 300 überlappenden Position oder in der Nähe des tatsächlichen Objekts 300 angezeigt und das Vorhandensein des betreffenden tatsächlichen Objekts 300 wird verdeutlicht mitgeteilt. D. h. die „Position (Zielposition PT), die der Position des tatsächlichen Objekts 300 entspricht“, wird nicht auf eine Position beschränkt, die vom Betrachter aus gesehen sich mit dem tatsächlichen Objekt 300 überlappend visuell erkannt wird, und kann auch eine Position in der Nähe des tatsächlichen Objekts 300 sein. Solange es sich bei dem AR-Virtuellbild V60 um eine Ausgestaltung handelt, bei der die visuelle Erkennung des tatsächlichen Objekts 300 nicht behindert wird, ist es beliebig.
-
Bei dem in 9 gezeigten AR-Virtuellbild V60 handelt es sich um Navigation-Virtuellbilder V61, V62, die eine Führungsroute zeigen, verdeutlichte Virtuellbilder V64, V65, die ein zu beachtendes Objekt verdeutlicht mitteilen, und um ein POI-Virtuellbild 65 usw., das auf einen Zielgegenstand bzw. ein vorbestimmtes Gebäude usw. hinweist. Die Position (Zielposition PT), die der Position des tatsächlichen Objekts 300 entspricht, ist bei den Navigation-Virtuellbildern V61, V62 eine Position einer Straßenoberfläche 311 (ein Beispiel des tatsächlichen Objekts 300), die sich mit diesen überlappt, bei dem verdeutlichten Virtuellbild V63 ist sie eine Position des Umkreises einer Person 313 (ein Beispiel des tatsächlichen Objekts 300), bei dem verdeutlichten Virtuellbild V64 ist sie eine Position einer Seite in der Nähe eines anderen Fahrzeugs 314 (ein Beispiel des tatsächlichen Objekts 300) und bei dem POI-Virtuellbild V65 ist sie außerdem eine Position des Umkreises eines Gebäudes 315 (ein Beispiel des tatsächlichen Objekts 300). Die Anzeigesteuervorrichtung 30 (Prozessor 33) vergrößert die mit der Bewegung der Augenposition des Betrachters bei der Bewegungsparallaxe-Hinzufügungsverarbeitung einhergehende Korrekturmenge C desto mehr, je länger die bei dem Virtuellbild V eingestellte Wahrnehmungsdistanz D30 ist. D. h., wenn die bei dem in 9 gezeigten Virtuellbild V eingestellte Wahrnehmungsdistanz D30 als die Reihenfolge V65 -> V64 -> V63 -> V62 -> V61 nach der Länge betrachtet wird, stellt die Anzeigesteuervorrichtung 30 (Prozessor 33) die mit der Bewegung der Augenposition des Betrachters einhergehende Korrekturmenge C derart ein, dass die Korrekturmenge von V65 > die Korrekturmenge von V64 > die Korrekturmenge von V63 > die Korrekturmenge von V62 > Korrekturmenge von V61 gilt. Das Virtuellbild V62 und das Virtuellbild V61 sind gleichartige Virtuellbilder und sind benachbart angezeigt, weshalb die Anzeigesteuervorrichtung 30 (Prozessor 33) die Korrekturmenge von V62 und die Korrekturmenge von V61, die mit der Bewegung der Augenposition des Betrachters einhergehen, auch auf dieselbe Korrekturmenge einstellen kann.
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) der einigen Ausführungsformen bei dem Nicht-AR-Virtuellbild V70 die mit der Bewegung der Augenposition des Betrachters einhergehende Korrekturmenge C auch auf null setzen (es kann auch keine mit der Bewegung der Augenposition des Betrachters einhergehende Korrektur getätigt werden).
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) der einigen Ausführungsformen bei dem Nicht-AR-Virtuellbild V70 auch eine mit der Bewegung der Augenposition des Betrachters einhergehende Korrektur tätigen. In dem in 9 gezeigten Beispiel werden die Nicht-AR-Virtuellbilder V70 (V71, V72) unterhalb des Virtuellbild-Anzeigebereichs VS angeordnet und der Bereich der Straßenoberfläche 311, die das mit diesen überlagerte tatsächliche Objekt 300 ist, ist näher am Fahrzeug 1 als der Bereich der Straßenoberfläche 311, die sich mit dem Navigation-Virtuellbild V61 der 9 überlagert. D. h. die Anzeigesteuervorrichtung 30 (Prozessor 33) der einigen Ausführungsformen kann die Wahrnehmungsdistanz D30 der Nicht-AR-Virtuellbilder V70 (V71, V72) kürzer als die Wahrnehmungsdistanz D30 des AR-Virtuellbildes V60 (im engeren Sinne das Navigation-Virtuellbild V61, das innerhalb der AR-Virtuellbilder V60 am weitesten unten angeordnet wird) einstellen und die mit der Bewegung der Augenposition des Betrachters einhergehende Korrekturmenge C des Nicht-AR-Virtuellbildes V70 kleiner einstellen als die Korrekturmenge C des AR-Virtuellbildes V60 (im engeren Sinne das Navigation-Virtuellbild V61, das innerhalb der AR-Virtuellbilder V60 am weitesten unten angeordnet wird).
-
10 ist eine Blockdiagramm des Virtuellbildanzeigesystems für ein Fahrzeug gemäß einigen Ausführungsformen. Die Anzeigesteuervorrichtung 30 ist versehen mit einem oder mehreren I/O-Interfaces 31, einem oder mehreren Prozessoren 33, einem oder mehreren Bildverarbeitungsschaltkreisen 35 und einem oder mehreren Speichern 37. Die in 3 gezeigten mehreren Funktionsblöcke können durch Hardware, Software oder Kombinationen von diesen beiden aufgebaut werden. 10 ist lediglich eine Ausführungsform und die dargestellten Bestandteile können auch in einer niedrigeren Anzahl kombiniert werden oder es kann auch zusätzliche Bestandteile geben. Z. B. kann der Bildverarbeitungsschaltkreis 35 (z. B. Grafikverarbeitungseinheit) auch in einem oder mehreren Prozessoren 33 umfasst werden.
-
Wie dargestellt, sind der Prozessor 33 und der Bildverarbeitungsschaltkreis 35 mit dem Speicher 37 betreibbar gekoppelt. Noch konkreter können der Prozessor 33 und der Bildverarbeitungsschaltkreis 35 dadurch, dass sie im Speicher 37 gespeicherte Programme ausführen, die Steuerung des Anzeigesystems 10 für ein Fahrzeug (Anzeigevorrichtung 40) wie z. B. die Erzeugung und/oder das Senden von Bilddaten durchführen. Der Prozessor 33 und/oder der Bildverarbeitungsschaltkreis 35 kann zumindest einen Mehrzweck-Mikroprozessor (z. B. eine zentrale Recheneinheit (CPU)), zumindest eine anwendungsspezifische integrierte Schaltung (ASIC), zumindest einen Field Programmable Gate Array (FPGA) oder eine beliebige Kombination von diesen umfassen. Der Speicher 37 umfasst ein magnetisches Medium eines beliebigen Typs wie eine Festplatte, ein optisches Medium eines beliebigen Typs wie CD und DVD, einen Halbleiterspeicher eines beliebigen Typs wie einen flüchtigen Speicher und einen nicht flüchtigen Speicher. Der flüchtige Speicher kann DRAM und SRAM umfassen und der nicht flüchtige Speicher kann ROM und NVRAM umfassen.
-
Wie dargestellt ist der Prozessor 33 mit dem I/O-Interface 31 betreibbar gekoppelt. Das I/O-Interface 31 führt z. B. mit einer am Fahrzeug vorgesehenen später erwähnten Fahrzeug-ECU 401 und/oder eines anderen elektronischen Geräts (später erwähnte Bezugszeichen 403 bis 419) gemäß Standard CAN (Controller-Area-Network) eine Kommunikation (auch als CAN-Kommunikation bezeichnet) durch. Der Kommunikationsstandard, den das I/O-Interface 31 anwendet, wird nicht auf CAN beschränkt und umfasst z. B. CANFD (CAN with Flexible Data Rate), LIN (Local Interconnect Network), Ethernet (eingetragenes Warenzeichen), MOST (Media Oriented Systems Transport: MOST ist ein eingetragenes Warenzeichen), UART oder ein Drahtkommunikationsinterface wie USB usw. oder z. B. ein Personal Area Network (PAN) wie Bluetooth (eingetragenes Warenzeichen), ein fahrzeuginneres (innere Kommunikation) Interface, das ein drahtloses Nahfeldkommunikationsinterface von mehreren zehn Metern ist, wie ein Local Area Network (LAN) wie 802.11xWi-Fi (eingetragenes Warenzeichen). Das I/O-Interface 31 kann auch ein fahrzeugäußeres Kommunikations-(äußere Kommunikation) Interface wie ein Weitverkehrskommunikationsnetzwerk (z. B. Internet-Kommunikationsnetzwerk) durch einen zellularen Kommunikationsstandard wie ein drahtloses Wide Area Network (WWANO, IEEE802.16-2004 (WiMax: Worldwide Interoperability for Microwave Access)), IEEE802.16e Base (Mobile WiMax), 4G, 4G-LTE, LTE Advanced, 5G usw. umfassen.
-
Wie dargestellt, ermöglicht der Prozessor 33 dadurch, dass er mit dem I/O-Interface 31 zusammen betreibbar gekoppelt wird, den Austausch von Informationen zwischen den verschiedenen anderen elektronischen Geräten, die mit dem Anzeigesystem 10 für ein Fahrzeug (I/O-Interface 31) verbunden sind. Mit dem I/O-Interface 31 werden z. B. die Fahrzeug-ECU 401, eine Straßeninformationsdatenbank 403, ein Ego-Fahrzeugpositionserfassungsteil 405, ein Betätigungserfassungsteil 407, das Augenpositionserfassungsteil 409, der fahrzeugäußere Sensor 411, ein Helligkeitserfassungsteil 413, ein IMU 415, ein tragbares Informationsendgerät 417 und ein äußeres Kommunikationsgerät 419 usw. betreibbar gekoppelt. Das I/O-Interface 31 kann auch eine Funktion umfassen, dass es Informationen (Umwandelungen, Berechnungen, Analysen), die von anderen elektrischen Geräten empfangen werden, die mit dem Anzeigesystem 10 für ein Fahrzeug verbunden werden, bearbeitet.
-
Das Anzeigegerät 40 wird mit dem Prozessor 33 und dem Bildverarbeitungsschaltkreis 35 betreibbar gekoppelt. Folglich kann das durch das Lichtmodulationselement 51 angezeigte Bild auch auf den von dem Prozessor 33 und/oder dem Bildverarbeitungsschaltkreis 35 empfangenen Bilddaten basieren. Der Prozessor 33 und der Bildverarbeitungsschaltkreis 35 steuern auf Basis der von dem I/O-Interface 31 erworbenen Informationen das Bild, das das Lichtmodulationselement 51 anzeigt.
-
Die Fahrzeug-ECU 401 erwirbt von einem Sensor bzw. einem Schalter, die am Ego-Fahrzeug 1 vorgesehen sind, den Zustand des Ego-Fahrzeugs 1 (z. B. EIN/AUS-Zustand eines Startschalters (z. B. Zubehörschalter: ACC bzw. Zündschalter: IGN) (ein Beispiel einer Startinformation), Fahrdistanz, Fahrzeuggeschwindigkeit, Öffnungsgrad des Gaspedals, Öffnungsgrad des Bremspedals, Öffnungsgrad der Drosselklappe des Verbrennungsmotors, Einspritzmenge des Kraftstoffs des Injektors, Verbrennungsmotordrehzahl, Motordrehzahl, Lenkwinkel der Steuerung, Schaltposition, Fahrmodus, diverse Warnzustände, Haltung (umfasst Rollwinkel und/oder Nickwinkel), Vibration des Fahrzeugs (umfasst Größe, Häufigkeit und/oder Frequenz der Vibration) usw. und sammelt und verwaltet (kann auch die Steuerung umfassen) die Zustände des Ego-Fahrzeugs 1, wobei sie als ein Teil der Funktionen Signale, die Zahlenwerte (z. B. die Fahrzeuggeschwindigkeit des Ego-Fahrzeugs 1) der Zustände des Ego-Fahrzeugs 1 zeigen, an den Prozessor 33 der Anzeigesteuervorrichtung 30 ausgeben kann. Die Fahrzeug-ECU 401 kann zusätzlich dazu, dass sie einfach die durch den Sensor usw. erfassten Zahlenwerte (z. B. beträgt der Nickwinkel in der vorderen Neigungsrichtung 3 [Grad]) an den Prozessor 33 sendet, oder anstatt dessen auch Beurteilungsergebnisse, die auf einem oder mehreren Zuständen des Ego-Fahrzeugs 1 basieren (z. B., dass das Ego-Fahrzeug 1 im Voraus festgelegte Bedingungen des Neigungszustands nach vorne erfüllt), oder/und Analyseergebnisse (z. B., dass Informationen des Öffnungsgrads des Bremspedals kombiniert wurden und das Fahrzeug durch eine Bremsung in einen Neigungszustand nach vorne gelangt ist), die die durch den Sensor erfassten Zahlenwerte umfassen, an den Prozessor 33 senden. Z. B. kann die Fahrzeug-ECU 401 auch ein Signal an die Anzeigesteuervorrichtung 30 ausgeben, das derartige Beurteilungsergebnisse zeigt, dass das Ego-Fahrzeug 1 vorbestimmte Bedingungen, die im Voraus in einem Speicher (nicht dargestellt) der Fahrzeug-ECU 401 gespeichert wurden, erfüllt. Das I/O-Interface 31 kann auch von einem Sensor bzw. einem Schalter, die am Ego-Fahrzeug 1 vorgesehen sind, wie oben erwähnt, Informationen erwerben, ohne dass dies über die Fahrzeug-ECU 401 geschieht.
-
Ferner kann die Fahrzeug-ECU 401 ein Hinweissignal, das auf ein Bild hinweist, das das Anzeigesystem 10 für ein Fahrzeug anzeigt, an die Anzeigesteuervorrichtung 30 ausgeben und in diesem Fall können auch die Bildkoordinaten, die Größe, die Art, die Anzeigeausgestaltung, die Mitteilungsnotwendigkeit des Bildes und/oder Informationen im Zusammenhang der Notwendigkeit, anhand deren die Mitteilungsnotwendigkeit beurteilt wird, zum Hinweissignal hinzugefügt und gesendet werden.
-
Die Straßeninformationsdatenbank 403 wird in einer am Ego-Fahrzeug 1 vorgesehenen nicht dargestellten Navigationsvorrichtung oder in einem über das fahrzeugäußere Kommunikationsinterface (I/O-Interface 31) mit dem Ego-Fahrzeug 1 verbundenen äußeren Server umfasst und auf Basis von der von dem später erwähnten Ego-Fahrzeugpositionserfassungsteil 405 erworbenen Position des Ego-Fahrzeugs 1 kann sie Informationen der Straße, auf der das Ego-Fahrzeug 1 fährt (Spuren, Markierungslinien, Haltelinien, Fußgängerüberwege, Breite der Straße, Anzahl der Spuren, Kreuzungen, Kurven, Abzweigungen, Verkehrsregulierungen usw.), wobei es sich um Informationen des Umkreises des Ego-Fahrzeugs 1 (Informationen im Zusammenhang mit tatsächlichen Objekten des Umkreises des Ego-Fahrzeugs 1) handelt, das Vorhandensein, die Position (umfasst die Distanz bis zum Ego-Fahrzeug 1), die Richtung, die Form, die Art, detaillierte Informationen usw. von Merkmalinformationen (Gebäude, Brücken, Gewässer usw.) auslesen und an den Prozessor 33 senden. Ferner kann die Straßeninformationsdatenbank 403 eine geeignete Route (Navigationsinformationen) vom Ausgangsort bis zum Zielort berechnen und kann ein Signal, das die betreffenden Navigationsinformationen zeigt, oder Bilddaten, die eine Route zeigen, an den Prozessor 33 ausgeben.
-
Das Ego-Fahrzeugpositionserfassungsteil 405 ist ein am Ego-Fahrzeug 1 vorgesehenes GNSS (globales Navigationssatellitensystem) usw. und erfasst die aktuelle Position und die Ausrichtung des Ego-Fahrzeugs 1, wobei es ein Signal, das Erfassungsergebnisse zeigt, über den Prozessor 33 oder direkt an die Straßeninformationsdatenbank 403, das später erwähnte tragbare Informationsendgerät 417 und/oder das äußere Kommunikationsgerät 419 ausgibt. Die Straßeninformationsdatenbank 403, das später erwähnte tragbare Informationsendgerät 417 und/oder das äußere Kommunikationsgerät 419 können dadurch, dass sie von dem Ego-Fahrzeugpositionserfassungsteil 405 die Positionsinformationen des Ego-Fahrzeugs 1 kontinuierlich, intermittierend oder pro vorbestimmtes Ereignis erwerben, die Informationen des Umkreises des Ego-Fahrzeugs 1 auswählen/erzeugen und an den Prozessor 33 ausgeben.
-
Das Betätigungserfassungsteil 407 ist z. B. ein CID (Center Information Display) des Ego-Fahrzeugs 1, ein an einer Instrumententafel usw. vorgesehener Hardwareschalter oder ein Softwareschalter usw., bei dem ein Bild und ein Berührungssensor usw. in sich vereint wurden, wobei es Betätigungsinformationen auf Basis einer Betätigung eines Insassen (auf dem Fahrersitz sitzender Benutzer und/oder auf dem Beifahrersitz sitzender Benutzer) des Ego-Fahrzeugs 1 an den Prozessor 33 ausgibt. Z. B. gibt das Betätigungserfassungsteil 407 durch die Betätigung des Benutzers Anzeigebereich-Einstellinformationen auf Basis einer Betätigung, bei der der Virtuellbild-Anzeigebereich 100 bewegt wird, Eyebox-Einstellinformationen auf Basis einer Betätigung, bei der die Eyebox 200 bewegt wird, Informationen auf Basis einer Betätigung, bei der die Augenposition 700 des Betrachters eingestellt wird, usw. an den Prozessor 33 aus.
-
Das Augenpositionserfassungsteil 409 kann eine Kamera wie eine Infrarotkamera usw. umfassen, die die Augenposition 700 (vgl. 1) des auf dem Fahrersitz des Ego-Fahrzeugs 1 sitzenden Betrachters erfasst, und kann das aufgenommene Bild an den Prozessor 33 ausgeben. Der Prozessor 33 kann vom Augenpositionserfassungsteil 409 ein Aufnahmebild (ein Beispiel einer Information, bei der die Augenposition 700 geschätzt werden kann) erwerben und dadurch, dass dieses Aufnahmebild durch eine Methode wie einen Musterabgleich usw. analysiert wird, können die Koordinaten der Augenposition 700 des Betrachters erfasst werden und ein Signal, das die erfassten Koordinaten der Augenposition 700 zeigt, kann an den Prozessor 33 ausgegeben werden.
-
Ferner kann die Augenposition 409 das Analyseergebnis (z. B. ein Signal, das zeigt, zu welchem räumlichen Bereich, dem mehrere im Voraus eingestellte Anzeigeparameter entsprechen, die Augenposition 700 des Betrachters gehört), bei dem das Aufnahmebild der Kamera analysiert wurde, an den Prozessor 33 ausgeben. Das Verfahren, bei dem die Augenposition 700 des Betrachters des Ego-Fahrzeugs 1 oder eine Information, bei der die Augenposition 700 des Betrachters geschätzt werden kann, erworben wird, wird nicht darauf beschränkt und sie können auch unter Verwendung einer bereits bekannten Technik der Augenpositionserfassung (Schätzung) erworben werden.
-
Ferner kann das Augenpositionserfassungsteil 409 die Bewegungsgeschwindigkeit und/oder Bewegungsrichtung der Augenposition 700 des Betrachters erfassen und kann ein Signal, das die Bewegungsgeschwindigkeit und/oder die Bewegungsrichtung der Augenposition700 des Betrachters zeigt, an den Prozessor 33 senden.
-
Ferner kann das Augenpositionserfassungsteil 409, wenn es (10) ein Signal, das zeigt, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, (20) ein Signal, bei dem geschätzt wird, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, oder (30) ein Signal, bei dem vorausgesagt wird, dass die Augenposition 700 des Betrachters nach außerhalb der Eyebox 200 gelangt, erfasst hat, beurteilen, dass die vorbestimmten Bedingungen erfüllt wurden, und kann ein Signal, das den betreffenden Zustand zeigt, an den Prozessor 33 senden.
-
(20) Das Signal, bei dem geschätzt wird, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, umfasst (21) ein Signal, das zeigt, dass die Augenposition 700 des Betrachters nicht erfasst werden kann, (22) ein Signal, das zeigt, dass, nachdem die Bewegung der Augenposition 700 des Betrachters erfasst wurde, die Augenposition 700 des Betrachters nicht erfasst werden kann und/oder (23) ein Signal, das zeigt, dass sich eine von den Augenpositionen 700R, 700L des Betrachters in der Nähe einer Grenze 200A der Eyebox 200 (die Nähe umfasst z. B., dass sie sich innerhalb von vorbestimmten Koordinaten von der Grenze 200A befindet) befindet usw.
-
(30) Das Signal, bei dem vorausgesagt wird, dass die Augenposition 700 des Betrachters nach außerhalb der Eyebox 200 gelangt, umfasst z. B. (31) ein Signal, das zeigt, dass die neu erfasste Augenposition 700 in Bezug auf die zuvor erfasste Augenposition 700 einen im Voraus im Speicher 37 gespeicherten Augenpositionsbewegungsdistanzschwellwert oder mehr beträgt (die Bewegung der Augenposition in einer vorbestimmten Zeiteinheit ist größer als ein vorgegebener Umfang), (32) ein Signal, das zeigt, dass die Bewegungsgeschwindigkeit der Augenposition einen im Voraus im Speicher 37 gespeicherten Augenpositionsbewegungsgeschwindigkeitsschwellwert oder mehr beträgt, usw.
-
Ferner kann das Augenpositionserfassungsteil 409 auch eine Funktion als Blickrichtungserfassungsteil 409 aufweisen. Das Blickrichtungserfassungsteil 409 kann eine das Gesicht des auf dem Fahrersitz des Ego-Fahrzeugs 1 sitzenden Betrachters aufnehmende Infrarotkamera oder Sichtbares-Licht-Kamera umfassen und kann das aufgenommene Bild an den Prozessor 33 ausgeben. Der Prozessor 33 kann das Aufnahmebild (ein Beispiel einer Information, bei der die Blickrichtung geschätzt werden kann) vom Blickrichtungserfassungsteil 409 erwerben und dadurch, dass er das Aufnahmebild analysiert, kann er die Blickrichtung (und/oder die Aufmerksamkeitsposition) des Betrachters bestimmen. Das Blickrichtungserfassungsteil 409 kann auch das Aufnahmebild von der Kamera analysieren und ein Signal, das die Blickrichtung (und/oder die Aufmerksamkeitsposition) des Betrachters, bei der es sich um das Analyseergebnis handelt, zeigt, an den Prozessor 33 ausgeben. Das Verfahren, bei dem Informationen erworben werden, bei denen die Blickrichtung des Betrachters des Ego-Fahrzeugs 1 geschätzt werden kann, wird nicht darauf beschränkt und sie können unter Verwendung einer anderen bereits bekannten Technik der Blickrichtungserfassung (Schätzung) wie ein EOG (Electro-oculogram)-Verfahren, ein Hornhautreflexverfahren, ein Limbusfolgerverfahren, ein Purkinje-Bild-Erfassungsverfahren, ein Suchspulenverfahren, ein Infrarotstrahlen-Augenbodenkamera-Verfahren erworben werden.
-
Der fahrzeugäußere Sensor 411 erfasst ein im Umkreis (vorne, seitlich und hinten) des Ego-Fahrzeugs 1 vorhandenes tatsächliches Objekt. Bei den tatsächlichen Objekten, die der fahrzeugäußere Sensor 411 detektiert, können z. B. Hindernisse (Fußgänger, Fahrräder, zweirädrige Krafträder, andere Fahrzeuge usw.), die Straßenoberfläche einer später erwähnten Spur, Abschnittslinien, Gegenstände auf dem Seitenstreifen und/oder Merkmale (Gebäude usw.) usw. umfassen. Der fahrzeugäußere Sensor wird z. B. aus einer Erfassungseinheit, die aus einem Radarsensor wie einem Millimeterwellenradar, einem Ultraschallwellenradar, einem Laserradar usw., einer Kamera oder einer Kombination von diesen besteht, und einer Verarbeitungsvorrichtung, die Erfassungsdaten von der betreffenden einen oder den mehreren Erfassungseinheiten verarbeitet (eine Datenfusion tätigt), aufgebaut. Bezüglich der Objektdetektion durch den Radarsensor bzw. den Kamerasensor wird eine bisher allgemein bekannte Methode angewandt. Durch die Objektdetektion durch diese Sensoren kann das Vorhandensein eines tatsächlichen Objekts in einem dreidimensionalen Raum erfasst werden und, wenn ein tatsächliches Objekt vorhanden ist, kann die Position (relative Entfernung vom Ego-Fahrzeug 1, Position in der Links-Rechts-Richtung, Position in der Oben-Unten-Richtung usw., wenn die Fortbewegungsrichtung des Ego-Fahrzeugs 1 als Vorne-Hinten-Richtung betrachtet wird), die Größe (Größen wie die Querrichtung (Links-Rechts-Richtung), die Höhenrichtung (Oben-Unten-Richtung) usw.), die Bewegungsrichtung (Querrichtung (Links-Rechts-Richtung), Tiefenrichtung (Vorne-Hinten-Richtung)), die Bewegungsgeschwindigkeit (Querrichtung (Links-Rechts-Richtung), Tiefenrichtung (Vorne-Hinten-Richtung)) und/oder die Art usw. dieses tatsächlichen Objekts erfasst werden. Der eine oder die mehreren fahrzeugäußeren Sensoren 411 können pro Detektionsperiode jedes Sensors ein tatsächliches Objekt vor dem Ego-Fahrzeug 1 detektieren und können Informationen des tatsächlichen Objekts (Vorhandensein des tatsächlichen Objekts und, wenn ein tatsächliches Objekt vorhanden ist, Informationen der Position, der Größe und/oder der Art usw. pro tatsächliches Objekt), bei denen es sich um ein Beispiel von Informationen des tatsächlichen Objekts handelt, an den Prozessor 33 ausgeben. Diese Informationen des tatsächlichen Objekts können auch über ein anderes Gerät (z. B. die Fahrzeug-ECU 401) an den Prozessor 33 gesendet werden. Ferner ist, wenn als Sensor eine Kamera verwendet wird, eine Infrarotkamera bzw. eine Nah-Infrarotkamera wünschenswert, damit das tatsächliche Objekt auch detektiert werden kann, wenn die Umgebung dunkel ist, wie nachts usw. Ferner ist, wenn als Sensor eine Kamera verwendet wird, eine Infrarotkamera wünschenswert, bei der durch eine Parallaxe eine Distanz usw. erworben werden kann.
-
Das Helligkeitserfassungsteil 413 detektiert die Beleuchtungsstärke oder die Leuchtstärke eines vorgegebenen Umfangs der vor der Fahrerkabine des Ego-Fahrzeugs 1 vorhandenen vorderen Landschaft als Außenwelthelligkeit (ein Beispiel einer Helligkeitsinformation) oder die Beleuchtungsstärke oder die Leuchtstärke des Inneren der Fahrerkabine als fahrzeuginnere Helligkeit (ein Beispiel einer Helligkeitsinformation). Das Helligkeitserfassungsteil 413 ist z. B. ein Fototransistor oder eine Fotodiode usw. und ist in einer Instrumententafel, einem Raumspiegel oder in der HUD-Vorrichtung 20 usw. des in 1 gezeigten Ego-Fahrzeugs 1 eingebaut.
-
Die IMU 415 kann einen oder eine Kombination mehrerer Sensoren (z. B. Beschleunigungsmesser und Gyroskop) umfassen, die derart aufgebaut werden, dass auf Basis der Trägheitsbeschleunigung die Position, die Ausrichtung des Ego-Fahrzeugs 1 und deren Veränderung (Veränderungsgeschwindigkeit, Veränderungsbeschleunigung) detektiert werden. Die IMU 415 kann einen erfassten Wert (der erfasste Wert umfasst ein Signal usw., das die Position, die Ausrichtung des Ego-Fahrzeugs 1 und deren Veränderung (Veränderungsgeschwindigkeit, Veränderungsbeschleunigung) zeigt) und ein Ergebnis, bei dem der erfasste Wert analysiert wurde, an den Prozessor 33 ausgeben. Das analysierte Ergebnis ist ein Signal usw., das ein Beurteilungsergebnis, ob der erfasste Wert vorbestimmte Bedingungen erfüllt, zeigt und kann z. B. ein Signal sein, das anhand eines Werts bezüglich der Veränderung (Veränderungsgeschwindigkeit, Veränderungsbeschleunigung) der Position oder der Ausrichtung des Ego-Fahrzeugs 1 zeigt, dass das Verhalten (Vibration) des Ego-Fahrzeugs 1 gering ist.
-
Das tragbare Informationsendgerät 417 ist ein Smartphone, ein Notebook-Computer, eine Smartwatch oder ein anderes Informationsgerät, das der Betrachter (oder der Insasse des Ego-Fahrzeugs 1) tragen kann. Das I/O-Interface 31 kann dadurch, dass es mit dem tragbaren Informationsendgerät 417 gepaart wird, eine Kommunikation mit dem tragbaren Informationsendgerät 417 durchführen und erwirbt in dem tragbaren Informationsendgerät 417 (oder auf einem Server, auf den das Informationsendgerät zugreift) gespeicherte Daten. Das tragbare Informationsendgerät 417 kann dieselben Funktionen wie z. B. die oben erwähnte Straßeninformationsdatenbank 403 und das Ego-Fahrzeugpositionserfassungsteil 405 aufweisen, die Straßeninformationen (ein Beispiel von Informationen im Zusammenhang mit tatsächlichen Objekten) erwerben und sie an den Prozessor 33 senden. Ferner kann das tragbare Informationsendgerät 417 kommerzielle Informationen (ein Beispiel von Informationen im Zusammenhang mit tatsächlichen Objekten) im Zusammenhang mit Handelseinrichtungen in der Nähe des Ego-Fahrzeugs 1 erwerben und sie an den Prozessor 33 senden. Das tragbare Informationsendgerät 417 kann Zeitplaninformationen des Besitzers (z. B. der Betrachter) des tragbaren Informationsendgeräts 417, Eingangsinformationen, Empfangsinformationen von E-Mails usw. beim tragbaren Informationsendgerät 417 an den Prozessor 33 senden und der Prozessor 33 und der Bildverarbeitungsschaltkreis 35 können Bilddaten bezüglich diesen erzeugen und/oder senden.
-
Das äußere Kommunikationsgerät 419 ist ein Kommunikationsgerät, das Informationen mit dem Ego-Fahrzeug 1 austauscht und ist z. B. ein mit dem Ego-Fahrzeug 1 durch ein durch eine Kommunikation zwischen Fahrzeugen (V2V: Vehicle to Vehicle) verbundenes anderes Fahrzeug, ein durch eine Kommunikation zwischen Fußgänger und Fahrzeug (V2P: Vehicle to Pedestrian) verbundener Fußgänger (tragbares Informationsendgerät, das ein Fußgänger trägt), und ein durch eine Kommunikation zwischen Straße und Fahrzeug (V2I: Vehicle to roadside Infrastructure) verbundenes Netzwerkkommunikationsgerät, und im weiteren Sinne umfasst sie sämtliche Gegenstände, die durch eine Kommunikation mit dem Ego-Fahrzeug 1 (V2X: Vehicle to Everything) verbunden werden. Das äußere Kommunikationsgerät 419 kann z. B. die Position eines Fußgängers, eines Fahrrads, eines zweirädrigen Kraftrads, eines anderen Fahrzeugs (vorausfahrendes Fahrzeug usw.), einer Straßenoberfläche, einer Abschnittslinie, eines Gegenstands an der Straßenseite und/oder eines Merkmals (Gebäude usw.) erwerben und sie an den Prozessor 33 ausgeben. Ferner kann das äußere Kommunikationsgerät 419 auch dieselben Funktionen wie das oben erwähnte Ego-Fahrzeugpositionserfassungsteil 405 aufweisen, Positionsinformationen des Ego-Fahrzeugs 1 erwerben und an den Prozessor 33 ausgeben, wobei es darüber hinaus auch die Funktionen der oben erwähnten Straßeninformationsdatenbank 403 aufweisen und die Straßeninformationen (ein Beispiel von Informationen im Zusammenhang mit tatsächlichen Objekten) erwerben und an den Prozessor 33 senden kann. Die von dem äußeren Kommunikationsgerät 419 erworbenen Informationen werden nicht auf die oben beschriebenen beschränkt.
-
Die im Speicher 37 gespeicherten Software-Bestandteile umfassen ein Augenpositionserfassungsmodul 502, ein Augenpositionsschätzungsmodul 504, ein Augenpositionsvoraussagemodul 506, ein Augenpositionszustandsbeurteilungsmodul 508, ein Fahrzeugzustandsbeurteilungsmodul 510, ein Augennachverfolgung-Bildverarbeitungsmodul 512, ein Grafikmodul 514, ein Lichtquellenantriebsmodul 516 und ein Stellgliedantriebsmodul 518 usw.
-
11A, 11B und 11 sind Flussdiagramme, die ein Verfahren S100, bei dem auf Basis der Augenposition des Betrachters ein Betrieb, bei dem ein Bild korrigiert wird, ausgeführt wird, zeigen. Das Verfahren S100 wird bei der ein Display umfassenden HUD-Vorrichtung 20 und bei der Anzeigesteuervorrichtung 30, die diese HUD-Vorrichtung 20 steuert, ausgeführt. Einige Betriebe des im Folgenden gezeigten Verfahrens S100 werden wahlweise kombiniert, der Prozess einiger Betriebe wird wahlweise geändert und einige Betriebe werden wahlweise weggelassen.
-
Zunächst erfasst die Anzeigesteuervorrichtung 30 (Prozessor 33) die Augenposition 700 des Betrachters (Schritt S110).
-
(Schritt S112)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) erfasst in Schritt S110 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionserfassungsmodul 502 der 10 ausführt, über das Augenpositionserfassungsteil 409 die Augenposition 700 des Betrachters (erwirbt Informationen, die die Augenposition 700 zeigen). Das Augenpositionserfassungsmodul 502 umfasst verschiedene Software-Bestandteile zur Ausführung verschiedener Betriebe bezogen darauf, dass Koordinaten, die die Augenposition 700 des Betrachters zeigen (eine Position in der X-, Y-Achsenrichtung, ein Beispiel eines Signals, das die Augenposition 700 zeigt), erfasst werden, dass Koordinaten, die die Höhe der Augen des Betrachters zeigen (eine Position in der Y-Achsenrichtung, ein Beispiel eines Signals, das die Augenposition 700 zeigt), erfasst werden, dass Koordinaten, die die Höhe und die Position in der Tiefenrichtung der Augen des Betrachters zeigen (eine Position in der Y- und Z-Achsenrichtung, ein Beispiel eines Signals, das die Augenposition 700 zeigt), erfasst werden, und/oder dass Koordinaten, die die Augenposition 700 des Betrachters zeigen (eine Position in der X-, Y-, Z-Achsenrichtung, ein Beispiel eines Signals, das die Augenposition 700 zeigt), erfasst werden.
-
Die Augenposition 700, die das Augenpositionserfassungsmodul 502 erfasst, kann auch die Position 700R, 700L jeweils des rechten Auges und des linken Auges, die Position einer von der Position des rechten Auges 700R und der Position des linken Auges 700L, die im Voraus festgelegt wurde, die Position einer von der Position des rechten Auges 700R und des linken Auges 700L, die erfasst werden kann (leicht zu erfassen ist), oder die Position, die aus der Position des rechten Auges 700R und der Position des linken Auges 700L berechnet wurde (z. B. der Mittelpunkt der Position des rechten Auges und der Position des linken Auges) usw. umfassen. Z. B. das Augenpositionserfassungsmodul 502 bestimmt die Augenposition 700 auf Basis einer Beobachtungsposition, die von dem Augenpositionserfassungsteil 409 unmittelbar vor dem Zeitpunkt, zu dem die Anzeigeeinstellung aktualisiert wird, erworben wurde.
-
Ferner kann das Augenpositionserfassungsteil 409 auf Basis mehrerer vom Augenpositionserfassungsteil 409 erworbener Beobachtungspositionen zu unterschiedlichen Erfassungszeitpunkten des Auges des Betrachters die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit der Augenposition 700 des Betrachters erfassen und kann ein Signal, das die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit der Augenposition 700 des Betrachters zeigt, an den Prozessor 33 ausgeben.
-
(Schritt S114)
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S110 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionsschätzungsmodul 504 ausführt, auch Informationen erwerben, bei denen die Augenposition schätzbar ist (Schritt S114). Bei den Informationen, bei denen die Augenposition schätzbar ist, handelt es sich z. B. um ein vom Augenpositionserfassungsteil 409 erworbenes Aufnahmebild, die Position des Fahrersitzes des Fahrzeugs 1, die Position des Gesichts des Betrachters, die Höhe der Größe beim Sitzen oder mehrere Beobachtungspositionen des Auges des Betrachters usw. Das Augenpositionsschätzungsmodul 504 schätzt anhand von Informationen, bei denen die Augenposition schätzbar ist, die Augenposition 700 des Betrachters des Fahrzeugs 1. Das Augenpositionsschätzungsmodul 504 umfasst verschiedene Software-Bestandteile zur Ausführung verschiedener Betriebe bezogen darauf, dass die Augenposition 700 des Betrachters geschätzt wird, wie dass anhand des vom Augenpositionserfassungsteil 409 erworbenen Aufnahmebildes, der Position des Fahrersitzes des Fahrzeugs 1, der Position des Gesichts des Betrachters, der Höhe der Größe beim Sitzen oder der mehreren Beobachtungspositionen des Auges des Betrachters usw. die Augenposition 700 des Betrachters geschätzt wird. D. h. das Augenpositionsschätzungsmodul 504 kann Tabellendaten, Rechenformeln usw. zur Schätzung der Augenposition 700 des Betrachters anhand der Informationen, bei denen die Position der Augen schätzbar ist, umfassen.
-
(Schritt S116)
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S110 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionsvoraussagemodul 506 ausführt, auch Informationen erwerben, bei denen die Augenposition 700 des Betrachters voraussagbar ist (Schritt S116). Eine Information, bei der die Augenposition 700 des Betrachters voraussagbar ist, ist z. B. eine vom Augenpositionserfassungsteil 409 erworbene neueste Beobachtungsposition oder eine oder mehr zuvor erworbene Beobachtungspositionen usw. Das Augenpositionsvoraussagemodul 506 umfasst verschiedene Software-Bestandteile zur Ausführung verschiedener Betriebe bezogen darauf, dass auf Basis von Informationen, bei denen die Augenposition 700 des Betrachters voraussagbar ist, die Augenposition 700 vorausgesagt wird. Konkret sagt das Augenpositionsvoraussagemodul 506 z. B. die Augenposition 700 des Betrachters eines Zeitpunkts voraus, zu dem ein Bild, auf das eine neue Anzeigeeinstellung angewandt wurde, vom Betrachter visuell erkannt wird. Das Augenpositionsvoraussagemodul 506 kann z. B. unter Verwendung eines Voraussagealgorithmus wie die Methode der kleinsten Quadrate bzw. Kalman-Filter, α-β-Filter oder Partikelfilter und unter Verwendung einer oder mehr vorigen Beobachtungspositionen den nächsten Wert voraussagen.
-
(Schritt S120)
-
Als Nächstes beurteilt die Anzeigesteuervorrichtung 30 (Prozessor 33), ob die vorbestimmten Bedingungen ausreichen (Schritt S120).
-
11B ist eine Ansicht, bei der ein Betrieb des Augenpositionszustandsbeurteilungsmoduls 508 in einem Schritt S130 erläutert wird.
-
(Schritt S130)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) beurteilt in Schritt S120 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionszustandsbeurteilungsmodul 508 der 10 ausführt, auf Basis von Informationen, die die in Schritt S110 erworbene Augenposition zeigen, Informationen, bei denen die Augenposition schätzbar ist, oder Informationen, bei denen die Augenposition voraussagbar ist, ob bei der Augenposition 700 (Bewegung der Augenposition 700) die vorbestimmten Bedingungen ausreichen.
-
12 ist eine Tabelle, die die pro vorbestimmte Periodendauer t (t1, t2, t3 ... t10) erfasste (11) Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung Py (Y1, Y2, Y3...Y10), (12) Veränderungsmenge ΔPy (Py1 (=Y2-Y1), Py2 (=Y3-Y2), Py3 (=Y4-Y3),...Py9 (=Y10-Y9)) der Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung, (13) Bewegungsgeschwindigkeit Vy (Vy1 (=Py1/Δt), Vy2 (=Py2/Δt), Vy3 (=Py3/Δt),...Vy9 (=Py9/Δt)) der Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung, (21) Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung Px (X1, X2, X3...X10)), (22) Veränderungsmenge ΔPx (Px1 (=X2-X1), Px2 (=X3-X2), Px3 (=X4-X3),...Px9 (=X10-X9)) der Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung und (23) Bewegungsgeschwindigkeit Vx (Vx1 (=Px1/Δt), Vx2 (=Px2/Δt), Vx3 (=Px3/Δt),...Vx9 (=Px9/Δt) der Augenposition (oder die Kopfposition ist auch möglich) in der Oben-Unten-Richtung zeigt.
-
(Schritt S131)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S130 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionszustandsbeurteilungsmodul 508 der 10 ausführt, auch beurteilen, dass die vorbestimmten Bedingungen ausreichen, wenn sich die Augenposition in der Links-Rechts-Richtung in einer Richtung kontinuierlich verändert hat. Das Augenpositionszustandsbeurteilungsmodul 508 kann z. B. auch beurteilen, dass die vorbestimmten Bedingungen ausgereicht haben, wenn erfasst wurde, dass sich die in 12 gezeigte Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung wie Px3 (Rechtsrichtung) -> Px4 (Rechtsrichtung) in einer Richtung (hier die Rechtsrichtung) kontinuierlich verändert hat.
-
(Schritt S132)
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S130 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionszustandsbeurteilungsmodul 508 der 10 ausführt, auch beurteilen, dass die vorbestimmten Bedingungen ausreichen, wenn die Bewegungsgeschwindigkeit Vy der Augenposition in der Links-Rechts-Richtung mit einem im Voraus im Speicher 37 gespeicherten (oder durch das Betätigungserfassungsteil 407 eingestellten) vorbestimmten ersten Schwellwert (nicht dargestellt) vergleichbar ist und die Bewegungsgeschwindigkeit Vy der Augenposition in der Links-Rechts-Richtung schneller als der vorbestimmte erste Schwellwert ist.
-
(Schritt S133)
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S130 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionszustandsbeurteilungsmodul 508 der 10 ausführt, auch beurteilen, dass die vorbestimmten Bedingungen ausreichen, wenn z. B. das Verhältnis (Px/Py) der Veränderungsmenge der Augenposition in der Oben-Unten-Richtung in Bezug auf die Veränderungsmenge der Augenposition in der Links-Rechts-Richtung mit einem im Voraus im Speicher 37 gespeicherten (oder durch das Betätigungserfassungsteil 407 eingestellten) vorbestimmten zweiten Schwellwert (nicht dargestellt) vergleichbar ist und das Verhältnis (Px/Py) der Veränderungsmenge der Augenposition in der Oben-Unten-Richtung in Bezug auf die Veränderungsmenge der Augenposition in der Links-Rechts-Richtung schneller als der vorbestimmte erste Schwellwert ist.
-
(Schritt S134)
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S130 bei einigen Ausführungsformen dadurch, dass sie das Augenpositionszustandsbeurteilungsmodul 508 ausführt, auch beurteilen, dass die vorbestimmten Bedingungen ausreichen, wenn z. B. die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung mit einem im Voraus im Speicher 37 gespeicherten (oder durch das Betätigungserfassungsteil 407 eingestellten) vorbestimmten dritten Schwellwert (nicht dargestellt) vergleichbar ist und die Bewegungsgeschwindigkeit Vy der Augenposition in der Links-Rechts-Richtung schneller als der vorbestimmte erste Schwellwert ist.
-
(Schritt S135)
-
Ferner kann das Augenpositionszustandsbeurteilungsmodul 508 der 10 bei einigen Ausführungsformen beurteilen, ob bei der Augenposition 700 des Betrachters ein instabiler Zustand besteht, und kann, wenn beurteilt wurde, dass bei der Augenposition 700 des Betrachters ein instabiler Zustand besteht, beurteilen, dass die vorbestimmten Bedingungen ausreichen. Das Augenpositionszustandsbeurteilungsmodul 508 umfasst verschiedene Software-Bestandteile zur Ausführung verschiedener Betriebe bezogen darauf, dass beurteilt wird, ob die Stabilität der Augenposition des Betrachters niedrig (instabil) ist, und wenn die Stabilität der Augenposition des Betrachters niedrig ist, beurteilt wird, dass ein instabiler Zustand besteht (Schritt 135). D. h. das Augenpositionszustandsbeurteilungsmodul 508 kann Schwellwerte, Tabellendaten, Rechenformeln usw. zur Beurteilung, ob bei der Augenposition 700 des Betrachters ein instabiler Zustand besteht, anhand von Erfassungsinformationen, Schätzungsinformationen oder Voraussageinformationen der Augenposition 700 umfassen.
-
(Ein Beispiel des Schritts S135)
-
Es kann sich dabei auch um eine Form handeln, bei der das Augenpositionserfassungsmodul 502 die Streuung der Positionsdaten jeder der mehreren Beobachtungspositionen, die bei einer vorbestimmten Messungszeit vom Augenpositionserfassungsteil 409 erworben wurden, berechnet und das Augenpositionszustandsbeurteilungsmodul 508 beurteilt, dass die Stabilität der Augenposition des Betrachters niedrig ist (instabil ist), wenn die durch das Augenpositionserfassungsmodul 502 berechnete Streuung größer als ein im Voraus im Speicher 37 gespeicherter (oder durch das Betätigungserfassungsteil 407 eingestellter) vorbestimmter Schwellwert ist.
-
(Ein Beispiel des Schritts S135)
-
Es kann sich auch um eine Form handeln, bei der das Augenpositionserfassungsmodul 502 die Abweichung der Positionsdaten jeder der mehreren Beobachtungspositionen, die bei einer vorbestimmten Messungszeit vom Augenpositionserfassungsteil 409 erworben wurden, berechnet und das Augenpositionszustandsbeurteilungsmodul 508 beurteilt, dass die Stabilität der Augenposition des Betrachters niedrig (instabil ist) (es besteht kein instabiler Zustand) ist, wenn die durch das Augenpositionserfassungsmodul 502 berechnete Abweichung größer als ein im Voraus im Speicher 37 gespeicherter (oder durch das Betätigungserfassungsteil 407 eingestellter) vorbestimmter Schwellwert ist.
-
Ferner kann es sich auch um eine Form handeln, bei der, ohne dass die Streuung bzw. die Abweichung des Schritts S135 verwendet wird, das Augenpositionserfassungsmodul 502 bei der Eyebox 200 mehrere teilweise Sichtbereiche (z. B. 25 Bereiche, bei denen die Oben-Unten-Richtung in fünf unterteilt ist und die Links-Rechts-Richtung in fünf unterteilt ist) unterscheiden kann und für eine vorbestimmte Zeiteinheit, wenn die Anzahl der teilweisen Sichtbereiche, bei denen sich die Augenposition 700 bewegt hat, sich mehr als ein vorbestimmter Schwellwert vermehrt hat, beurteilt, dass die Stabilität der Augenposition des Betrachters niedrig ist (instabil ist) (es besteht kein instabiler Zustand). Ferner kann es sich auch um eine Form handeln, bei der das Augenpositionserfassungsmodul 502 für eine vorbestimmte Zeiteinheit, wenn bei der Augenposition 700 die Gesamtdistanz der Bewegung (Summe der Distanzen zwischen den mehreren Beobachtungspositionen, die für eine Zeiteinheit mehrere Male erworben werden) länger als ein vorbestimmter Schwellwert geworden ist, beurteilt, dass die Stabilität der Augenposition des Betrachters niedrig ist (instabil ist) (es besteht kein instabiler Zustand).
-
(Schritt S136)
-
Ferner beurteilt das Augenpositionszustandsbeurteilungsmodul 508 der 10 bei einigen Ausführungsformen, ob beim Erfassungsvorgang der Augenposition 700 des Betrachters ein instabiler Zustand besteht, und wenn beurteilt wurde, dass ein instabiler Zustand besteht, beurteilt es, dass die vorbestimmten Bedingungen ausreichen. Das Augenpositionszustandsbeurteilungsmodul 508 umfasst verschiedene Software-Bestandteile zur Ausführung verschiedener Betriebe bezogen darauf, dass (10) beurteilt wird, ob die Augenposition 700 des Betrachters erfasst werden kann, und wenn die Augenposition 700 nicht erfasst werden kann, beurteilt wird, dass ein instabiler Zustand besteht (ein Beispiel des Schritts S136), dass (20) beurteilt wird, ob geschätzt werden kann, dass sich die Erfassungsgenauigkeit der Augenposition 700 des Betrachters verringert, und wenn geschätzt werden kann, dass sich die Erfassungsgenauigkeit der Augenposition 700 verringert, beurteilt wird, dass ein instabiler Zustand besteht (ein Beispiel des Schritts S136), dass (30) beurteilt wird, ob sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, und wenn sie sich außerhalb der Eyebox 200 befindet, beurteilt wird, dass ein instabiler Zustand besteht (ein Beispiel des Schritts S136), dass (40) beurteilt wird, ob geschätzt werden kann, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, und wenn geschätzt werden kann, dass sie sich außerhalb der Eyebox 200 befindet, beurteilt wird, dass ein instabiler Zustand besteht (ein Beispiel des Schritts S136), oder dass (50) beurteilt wird, ob vorausgesagt wird, dass die Augenposition 700 des Betrachters nach außerhalb der Eyebox 200 gelangt, und wenn vorausgesagt wird, dass sie nach außerhalb der Eyebox 200 gelangt, beurteilt wird, dass ein instabiler Zustand besteht (ein Beispiel des Schritts S136). D. h. das Augenpositionszustandsbeurteilungsmodul 508 kann Schwellwerte, Tabellendaten, Rechenformeln usw. zur Beurteilung, ob beim Erfassungsvorgang der Augenposition 700 des Betrachters ein instabiler Zustand besteht, anhand von Erfassungsinformationen, Schätzungsinformationen oder Voraussageinformationen usw. der Augenposition 700 umfassen.
-
(Ein Beispiel des Schritts S136)
-
Das Verfahren, bei dem beurteilt wird, ob die Augenposition 700 des Betrachters erfasst werden kann, umfasst, (1) dass vom Augenpositionserfassungsteil 409 ein Signal, das zeigt, dass die Augenposition 700 nicht erfasst werden kann, erworben wird, (2) dass ein Teil (z. B. eine vorbestimmte Häufigkeit oder mehr) oder die Gesamtheit der vom Augenpositionserfassungsteil 409 in einem vorbestimmten Zeitraum erworbenen Beobachtungspositionen des Auges des Betrachters nicht erfasst werden kann, (3) dass das Augenpositionserfassungsmodul 502 in einem normalen Betrieb die Augenposition 700 des Betrachters nicht erfassen kann, oder dass durch eine Kombination von diesen beurteilt wird, dass die Augenposition 700 des Betrachters nicht erfasst werden kann (bei der Erfassung der Augenposition 700 des Betrachters besteht ein instabiler Zustand) (das Beurteilungsverfahren wird nicht darauf beschränkt).
-
(ein Beispiel des Schritts S136)
-
Das Verfahren, bei dem beurteilt wird, dass sich die Erfassungsgenauigkeit der Augenposition 700 des Betrachters verringert, umfasst, (1) dass vom Augenpositionserfassungsteil 409 ein Signal erworben wird, das zeigt, dass geschätzt wird, dass sich die Erfassungsgenauigkeit der Augenposition 700 verringert, (2) dass ein Teil (z. B. eine vorbestimmte Häufigkeit oder mehr) oder die Gesamtheit der vom Augenpositionserfassungsteil 409 in einem vorbestimmten Zeitraum erworbenen Beobachtungspositionen des Auges des Betrachters nicht erfasst werden kann, (3) dass das Augenpositionserfassungsmodul 502 in einem normalen Betrieb die Augenposition 700 des Betrachters nicht erfassen kann, (4) dass das Augenpositionsschätzungsmodul 504 in einem normalen Betrieb die Augenposition 700 des Betrachters nicht schätzen kann, (5) dass das Augenpositionsvoraussagemodul 506 in einem normalen Betrieb die Augenposition 700 des Betrachters nicht voraussagen kann, oder dass durch eine Kombination von diesen beurteilt wird, dass sich die Erfassungsgenauigkeit der Augenposition 700 des Betrachters verringert (das Beurteilungsverfahren wird nicht darauf beschränkt).
-
(Ein Beispiel des Schritts S136)
-
Das Verfahren, bei dem beurteilt wird, ob sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, umfasst, (1) dass ein Teil (z. B. eine vorbestimmte Häufigkeit oder mehr) oder die Gesamtheit der vom Augenpositionserfassungsteil 409 in einem vorbestimmten Zeitraum erworbenen Beobachtungspositionen des Auges des Betrachters außerhalb der Eyebox 200 erworben wird, (2) dass das Augenpositionserfassungsmodul 502 die Augenposition 700 des Betrachters außerhalb der Eyebox 200 erfasst, oder dass durch eine Kombination von diesen beurteilt wird, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet (bei der Augenposition 700 des Betrachters besteht ein instabiler Zustand) (das Beurteilungsverfahren wird nicht darauf beschränkt).
-
(ein Beispiel des Schritts S136)
-
Das Verfahren, bei dem beurteilt wird, ob geschätzt werden kann, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet, umfasst, (1) dass die Augenposition 700 des Betrachters nicht mehr erfasst werden kann, nachdem durch das Augenpositionserfassungsteil 409 eine Bewegung der Augenposition 700 des Betrachters erfasst wurde, (2) dass das Augenpositionserfassungsmodul 502 die Augenposition 700 des Betrachters in der Nähe einer Grenze der Eyebox 200 erfasst, (3) dass das Augenpositionserfassungsmodul 502 eine der Position des rechten Auges 700R und der Position des linken Auges 700L in der Nähe einer Grenze der Eyebox 200 erfasst, oder dass durch eine Kombination von diesen beurteilt wird, dass geschätzt werden kann, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet (bei der Augenposition 700 des Betrachters besteht ein instabiler Zustand) (das Beurteilungsverfahren wird nicht darauf beschränkt).
-
(ein Beispiel des Schritts S136)
-
Das Verfahren, bei dem beurteilt wird, ob vorausgesagt wird, dass die Augenposition 700 des Betrachters nach außerhalb der Eyebox 200 gelangt, umfasst, (1) dass das Augenpositionsvoraussagemodul 506 die Augenposition 700 des Betrachters nach einer vorbestimmten Zeit außerhalb der Eyebox 200 voraussagt, (2) dass die Augenposition 700, die das Augenpositionserfassungsmodul 502 neu erfasst hat, in Bezug auf eine zuvor erfasste Augenposition 700 einen im Voraus im Speicher 37 gespeicherten Augenpositionsbewegungsdistanzschwellwert oder mehr beträgt (dass die Bewegungsgeschwindigkeit der Augenposition 700 einen im Voraus im Speicher 37 gespeicherten Augenpositionsbewegungsgeschwindigkeitsschwellwert oder mehr beträgt), oder dass durch eine Kombination von diesen beurteilt wird, dass vorausgesagt werden kann, dass sich die Augenposition 700 des Betrachters außerhalb der Eyebox 200 befindet (bei der Augenposition 700 des Betrachters besteht ein instabiler Zustand) (das Beurteilungsverfahren wird nicht darauf beschränkt).
-
11C ist eine Ansicht, bei der ein Betrieb des Fahrzeugzustandsbeurteilungsmoduls 510 in einem Schritt S140 erläutert wird.
-
(Schritt S140)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S120 bei einigen Ausführungsformen dadurch, dass sie das Fahrzeugzustandsbeurteilungsmodul 510 der 10 ausführt, beurteilen, ob beim Zustand des Fahrzeugs die vorbestimmten Bedingungen ausreichen.
-
(Schritt S141)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S140 bei einigen Ausführungsformen dadurch, dass sie das Fahrzeugzustandsbeurteilungsmodul 510 der 10 ausführt, z. B. auf Basis der von der Fahrzeug-ECU 401 erworbenen Informationen wie Fahrdistanz, Fahrzeuggeschwindigkeit, Schaltposition usw., der von dem Ego-Fahrzeugpositionserfassungsteil 405 erworbenen Informationen, die die Ego-Fahrzeugposition zeigen, der von der IMU 415 erworbenen Informationen usw. schätzen, ob das Fahrzeug 1 fährt, und wenn sie schätzt, dass das Fahrzeug 1 fährt, kann sie beurteilen, dass die vorbestimmten Bedingungen ausreichen.
-
(Schritt S142)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S140 bei einigen Ausführungsformen dadurch, dass sie das Fahrzeugzustandsbeurteilungsmodul 510 der 10 ausführt, z. B. auf Basis der von der Fahrzeug-ECU 401 erworbenen Informationen bezüglich der Vibration (umfasst Größe, Häufigkeit und/oder Frequenz der Vibration) des Fahrzeugs und der von der IMU 415 erworbenen Informationen usw. schätzen, ob das Fahrzeug 1 vibriert (noch konkreter wird z. B. anhand davon, dass die Häufigkeit hoch ist und/oder die Schwingungsweite groß ist, geschätzt, ob das Fahrzeug 1 einen schlechten Weg befährt), und wenn sie schätzt, dass das Fahrzeug 1 vibriert, kann sie beurteilen, dass die vorbestimmten Bedingungen ausreichen.
-
(Schritt S143)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S140 bei einigen Ausführungsformen dadurch, dass sie das Fahrzeugzustandsbeurteilungsmodul 510 der 10 ausführt, z. B. auf Basis der von der Fahrzeug-ECU 401 erworbenen Informationen bezüglich des Fahrmodus (automatischer Fahrmodus oder manueller Fahrmodus) usw. beurteilen, ob bei dem Fahrzeug 1 ein manueller Fahrmodus besteht, und wenn bei dem Fahrzeug 1 ein manueller Fahrmodus besteht, kann sie beurteilen, dass die vorbestimmten Bedingungen ausreichen.
-
(Schritt S150)
-
Es wird noch einmal auf 11A verwiesen. Nachdem in Schritt S120 beurteilt wurde, ob die vorbestimmten Bedingungen ausreichen, tätigt die Anzeigesteuervorrichtung 30 (Prozessor 33) dadurch, dass sie das Augennachverfolgung-Bildverarbeitungsmodul 512 ausführt, auf Basis der Augenposition 700 (die Augenposition 700 ist konkret die Augenposition Py in der Oben-Unten-Richtung und die Augenposition Px in der Links-Rechts-Richtung der 12 und die Augenposition in der Vorne-Hinten-Richtung kann auch hinzugefügt werden) des Betrachters eine Positionskorrektur eines Bildes, das das Anzeigegerät 40 anzeigen gelassen wird (Augennachverfolgung-Bildverarbeitung).
-
Das Augennachverfolgung-Bildverarbeitungsmodul 512 der 10 schaltet auf Basis des Beurteilungsergebnisses in Schritt S120 zwischen einer ersten Bildkorrekturverarbeitung S160 (Schritt S160) und einer zweiten Bildkorrekturverarbeitung S170 (Schritt S170) um.
-
(Erste Bildkorrekturverarbeitung S160)
-
Das Augennachverfolgung-Bildverarbeitungsmodul 512 der 10 korrigiert in Schritt S120, wenn beurteilt wurde, dass die vorbestimmten Bedingungen nicht ausreichen, die Position in der Oben-Unten-Richtung des Virtuellbildes V um die der Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung entsprechende erste Korrekturmenge Cy1 und korrigiert entsprechend der Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung die Position in der Links-Rechts-Richtung des Virtuellbildes V. Die erste Korrekturmenge Cy1 (genauso wie die später erwähnte zweite Korrekturmenge Cy2) ist ein Parameter, der sich der Vergrößerung der Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung zufolge allmählich vergrößert. Ferner ist die erste Korrekturmenge Cy1 (genauso wie die später erwähnte zweite Korrekturmenge Cy2) ein Parameter, der sich der Verlängerung der Wahrnehmungsdistanz D30, die bei dem Virtuellbild V eingestellt wird, zufolge allmählich vergrößert. Die erste Bildkorrekturverarbeitung S160 umfasst eine Positionskorrektur eines Bildes, bei der eine natürliche Bewegungsparallaxe vollständig so rekonstruiert wird, als ob das Virtuellbild V sozusagen auch von der Augenposition Py jeder Oben-Unten-Richtung aus gesehen an einer eingestellten Zielposition PT fixiert ist, und kann im weiteren Sinne auch eine Korrektur einer Bildposition, die sich einer natürlichen Bewegungsparallaxe annähert, umfassen. D. h. bei der ersten Bildkorrekturverarbeitung S160 wird die Anzeigeposition des Virtuellbildes V an eine Position eines Kreuzungspunkts einer geraden Linie, die die Zielposition PT, die bei dem Virtuellbild V eingestellt wurde, und die Augenposition 700 des Betrachters verbindet, und des Virtuellbild-Anzeigebereichs VS angepasst (Annäherung an die Anzeigeposition des Virtuellbildes V).
-
(Ein Beispiel der zweiten Bildkorrekturverarbeitung S170S170)
-
Das Augennachverfolgung-Bildverarbeitungsmodul 512 der 10 korrigiert in Schritt S120, wenn beurteilt wurde, dass die vorbestimmten Bedingungen ausreichen, die Position in der Oben-Unten-Richtung des Virtuellbildes V um die der Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung entsprechende zweite Korrekturmenge Cy2 und korrigiert entsprechend der Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung die Position in der Links-Rechts-Richtung des Virtuellbildes V. Die zweite Korrekturmenge Cy2 ist kleiner als die erste Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung bei der ersten Bildkorrekturverarbeitung S160. Konkret ist z. B., wenn die erste Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung bei 100% liegt, die zweite Korrekturmenge Cy2 in Bezug auf dieselbe Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung um 25% niedriger. Im weiteren Sinne ist es gut, wenn die zweite Korrekturmenge Cy2 niedriger als die erste Korrekturmenge Cy1 ist, weshalb es gut ist, wenn sie in Bezug auf die erste Korrekturmenge Cy1 weniger als 100% beträgt, aber vorzugsweise ist es vorteilhaft, dass sie in Bezug auf die erste Korrekturmenge Cy1 weniger als 60% beträgt.
-
(Ein Beispiel der zweiten Bildkorrekturverarbeitung S170S170)
-
Ferner kann das Augennachverfolgung-Bildverarbeitungsmodul 512 der 10 bei einigen Ausführungsformen in Schritt S120, wenn beurteilt wurde, dass die vorbestimmten Bedingungen ausreichen, die der Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung entsprechende zweite Korrekturmenge Cy2 auch auf null einstellen. In diesem Fall korrigiert das Augenpositionsnachverfolgung-Bildverarbeitungsmodul 511 nur entsprechend der Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung (die Augenposition Py in der Links-Rechts-Richtung) die Position in der Links-Rechts-Richtung des Virtuellbildes V.
-
(Ein Beispiel der zweiten Bildkorrekturverarbeitung S170S170)
-
Im Übrigen sind die Korrekturmenge Cx2 der Bildposition in Bezug auf die Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung bei der zweiten Bildkorrekturverarbeitung S170S170 und die Korrekturmenge Cx1 der Bildposition in Bezug auf die Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung bei der ersten Bildkorrekturverarbeitung S160 identisch. Allerdings wird keine Beschränkung darauf vorgenommen und die Korrekturmenge Cx2 der Bildposition in Bezug auf die Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung bei der zweiten Bildkorrekturverarbeitung S170S170 kann auch niedriger eingestellt werden als die Korrekturmenge Cx1 der Bildposition in Bezug auf die Veränderungsmenge ΔPx der Augenposition in der Links-Rechts-Richtung bei der ersten Bildkorrekturverarbeitung S160, aber sie kann auch höher als das Verhältnis der zweiten Korrekturmenge Cy2 in Bezug auf die erste Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung eingestellt werden (Cx2/Cx1>Cy2/Cy1).
-
(Schritt S181)
-
Wenn die Anzeigesteuervorrichtung 30 (Prozessor 33) in Schritt S170 bei einigen Ausführungsformen beurteilt hat, dass vorbestimmte Lösebedingungen ausgereicht haben, wechselt es von der zweiten Bildkorrekturverarbeitung S170 zur ersten Bildkorrekturverarbeitung S160.
-
Die vorbestimmten Lösebedingungen umfassen, dass eine vorbestimmte Zeit (z. B. 20 Sekunden) vergangen ist, nachdem zur zweiten Bildkorrekturverarbeitung S170 gewechselt wurde. Das Augennachverfolgung-Bildverarbeitungsmodul 512 führt eine Zeitmessung aus, nachdem zur zweiten Bildkorrekturverarbeitung S170 gewechselt wurde, und wenn die im Voraus im Speicher 37 gespeicherte (oder durch das Betätigungserfassungsteil 407 eingestellte) vorbestimmte Zeit vergangen ist, kann es beurteilen, dass die vorbestimmten Lösebedingungen ausgereicht haben.
-
Ferner können die vorbestimmten Lösebedingungen auch umfassen, dass die vorbestimmten Bedingungen in Schritt S120 nicht mehr ausreichen. D. h. die vorbestimmten Lösebedingungen können auch umfassen, dass erfasst wird, dass bei zumindest einem der Schritte S131 bis S136 und der Schritte S141 bis S143 von einem Zustand, in dem die vorbestimmten Bedingungen ausgereicht haben, zu einem Zustand, in dem die vorbestimmten Bedingungen nicht mehr ausreichen, gewechselt wurde. Ferner können die vorbestimmten Lösebedingungen auch umfassen, dass eine vorbestimmte Zeit (z. B. 20 Sekunden) vergangen ist, nachdem die vorbestimmten Bedingungen in Schritt S120 nicht mehr ausgereicht haben.
-
(Schritt S182)
-
In Schritt S170 bei einigen Ausführungsformen wechselt die Anzeigesteuervorrichtung 30 (Prozessor 33), wenn sie beurteilt hat, dass die vorbestimmten Lösebedingungen ausgereicht haben, zu einer dritten Bildkorrekturverarbeitung, bei der eine dritte Korrekturmenge Cy3 der Bildposition in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung kleiner als die erste Korrekturmenge Cy1 bei der ersten Bildkorrekturverarbeitung S160 und größer als die zweite Korrekturmenge Cy2 bei der zweiten Bildkorrekturverarbeitung S170 gemacht wird. Wenn z. B. die erste Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung bei 100% liegt und die zweite Korrekturmenge Cy2 bei 20% liegt, beträgt die dritte Korrekturmenge Cy3 50%.
-
(Ein Beispiel des Schritts S182)
-
Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann in Schritt S182 bei einigen Ausführungsformen, nachdem sie zur dritten Bildkorrekturverarbeitung gewechselt hat, die dritte Korrekturmenge Cy3 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung zeitabhängig und allmählich derart vergrößern, dass sie sich der ersten Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung annähert. Wenn es z. B. so betrachtet wird, dass die erste Korrekturmenge Cy1 in Bezug auf die Veränderungsmenge ΔPy der Augenposition in der Oben-Unten-Richtung 100%, die zweite Korrekturmenge Cy2 20% und die dritte Korrekturmenge Cy3 50% beträgt, kann die Anzeigesteuervorrichtung 30 (Prozessor 33) die dritte Korrekturmenge Cy3 derart zunehmen lassen, dass sie sich zeitabhängig wie 55% -> 60% -> 65% -> ... -> 100% allmählich der ersten Korrekturmenge Cy1 annähert.
-
Es wird noch einmal auf 10 verwiesen. Das Grafikmodul 514 der 10 umfasst verschiedene bereits bekannte Software-Bestandteile zur Erzeugung der Bilddaten durch Tätigung der Bildverarbeitung wie Rendering usw. und zum Antrieb des Anzeigegeräts 40. Ferner kann das Grafikmodul 514 verschiedene bereits bekannte Software-Bestandteile zur Änderung der Art (Bewegtbild, Standbild, Form), der Anordnung (Positionskoordinaten, Winkel), der Größe, der Anzeigedistanz (bei 3D), des visuellen Effekts (z. B. Leuchtstärke, Transparenz, Sättigung, Kontrast oder andere visuelle Eigenschaften) des angezeigten Bildes umfassen. Das Grafikmodul 514 kann durch die Art des Bildes (ein Beispiel eines Anzeigeparameters), die Positionskoordinaten des Bildes (ein Beispiel eines Anzeigeparameters), den Winkel des Bildes (Nickwinkel mit der X-Richtung als Achse, Gierratenwinkel mit der Y-Richtung als Achse, Rollwinkel mit der Z-Richtung als Achse usw., ein Beispiel eines Anzeigeparameters), die Größe des Bildes (ein Beispiel eines Anzeigeparameters), die Farbe des Bildes (ein Beispiel eines durch den Farbton, die Sättigung, die Helligkeit usw. eingestellten Anzeigeparameters), die Stärke des perspektivischen Ausdrucks des Bildes (ein Beispiel eines durch die Position des Fluchtpunkts usw. eingestellten Anzeigeparameters) derart Bilddaten erzeugen, dass sie vom Betrachter visuell erkannt werden, und kann das Lichtmodulationselement 50 antreiben.
-
Das Lichtquellenantriebsmodul 516 umfasst verschiedene bereits bekannte Software-Bestandteile zum Ausführen des Antriebs der Lichtquelleneinheit 24. Das Lichtquellenantriebsmodul 516 kann auf Basis von eingestellten Anzeigeparametern die Lichtquelleneinheit 24 antreiben.
-
Das Stellgliedantriebsmodul 518 umfasst verschiedene bereits bekannte Software-Bestandteile zum Ausführen des Antriebs eines ersten Stellglieds 28 und/oder eines zweiten Stellglieds 29. Das Stellgliedantriebsmodul 518 kann auf Basis von eingestellten Anzeigeparametern das erste Stellglied 28 und das zweite Stellglied 29 antreiben.
-
13 ist eine Ansicht, die die HUD-Vorrichtung 20 bei einigen Ausführungsformen erläutert, bei der dadurch, dass die Relaisoptik 80 (gekrümmter Spiegel 81) gedreht wird, die Eyebox 200 in der Oben-Unten-Richtung bewegt werden kann. Die Anzeigesteuervorrichtung 30 (Prozessor 33) bei einigen Ausführungsformen kann z. B. dadurch, dass sie das erste Stellglied 28 steuert, die Relaisoptik 80 (gekrümmter Spiegel 81) drehen und kann die Eyebox 200 in der Oben-Unten-Richtung (Y-Achsenrichtung) bewegen. Typischerweise ist, wenn die Eyebox 200 an der in 13 gezeigten Eyebox 201 der relativ oberen Seite angeordnet wird, die Position des Virtuellbild-Anzeigebereichs PS die durch das Bezugszeichen PS1 gezeigte Position der relativ unteren Seite, und wenn die Eyebox 200 an der in 13 gezeigten unteren Eyebox 203 angeordnet wird, ist die Position des Virtuellbild-Anzeigebereichs PS die durch das Bezugszeichen PS3 gezeigte Position der relativ oberen Seite. Die Anzeigesteuervorrichtung 30 (Prozessor 33) kann bei einigen Ausführungsformen auch dadurch, dass sie das Augennachverfolgung-Bildverarbeitungsmodul 512 ausführt, wenn die Eyebox 200 weiter als ein vorbestimmter Höhenschwellwert an der oberen Seite angeordnet wird (mit anderen Worten, wenn der Steuerwert des ersten Stellglieds 28 einen Stellglied-Steuerschwellwert überschreitet, bei dem die Eyebox 200 weiter als ein vorbestimmter Höhenschwellwert an der oberen Seite angeordnet wird), die Korrekturmenge Cy der Position des Bildes, das auf dem Lichtmodulationselement 50 in Bezug auf die Veränderungsmenge der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung angezeigt wird, verkleinern. Das Stellgliedantriebsmodul 518 kann auch die Höhe der Eyebox 200 entsprechend der Position in der Oben-Unten-Richtung der Augenposition 700 (oder Kopfposition 710) automatisch ändern oder kann auch die Höhe der Eyebox 200 entsprechend einer Betätigung des Benutzers durch das Betätigungserfassungsteil 407 ändern. D. h. das Augennachverfolgung-Bildverarbeitungsmodul 512 kann Schwellwerte bzw. Tabellendaten, Rechenformeln usw. zum Umschalten der Korrekturmenge Cy der Position des Bildes, das auf dem Lichtmodulationselement 50 in Bezug auf die Veränderungsmenge der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung angezeigt wird, anhand von Informationen bezüglich der Höhe der Eyebox 200, Informationen bezüglich der Steuerwerte der Stellglieder, Informationen bezüglich der Position in der Oben-Unten-Richtung der Augenposition 700 (oder Kopfposition 710), bei der die Höhe der Eyebox 200 automatisch reguliert werden kann, oder Betätigungsinformationen von dem Betätigungserfassungsteil 407, durch das die Höhe der Eyebox 200 reguliert wird, usw. umfassen.
-
Ferner kann die Anzeigesteuervorrichtung 30 (Prozessor 33) bei einigen Ausführungsformen einer Erhöhung der vorbestimmten Höhe bei der Eyebox 200 zufolge (mit anderen Worten, der Änderung des Steuerwerts des ersten Stellglieds 28 zufolge, die derart erfolgt, dass sich die Eyebox 200 erhöht) die Korrekturmenge Cy der Position des Bildes, das auf dem Lichtmodulationselement 50 in Bezug auf die Veränderungsmenge der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung angezeigt wird, stufenweise oder kontinuierlich verkleinern. D. h. das Augennachverfolgung-Bildverarbeitungsmodul 512 kann Schwellwerte bzw. Tabellendaten, Rechenformeln usw. zur Regulierung der Korrekturmenge Cy der Position des Bildes, das auf dem Lichtmodulationselement 50 in Bezug auf die Veränderungsmenge der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung angezeigt wird, anhand von Informationen bezüglich der Höhe der Eyebox 200, Informationen bezüglich der Steuerwerte der Stellglieder, Informationen bezüglich der Position in der Oben-Unten-Richtung der Augenposition 700 (oder Kopfposition 710), bei der die Höhe der Eyebox 200 automatisch reguliert werden kann, oder Betätigungsinformationen von dem Betätigungserfassungsteil 407, durch das die Höhe der Eyebox 200 reguliert wird, usw. umfassen.
-
Wie oben erläutert wurde, führt die Anzeigesteuervorrichtung 30 der vorliegenden Ausführungsformen bei der Head-up-Display-Vorrichtung 20, die zumindest aus dem Anzeigegerät 40, das ein Bild anzeigt, und der Relaisoptik 80, die ein Licht des Bildes, das das Anzeigegerät 40 anzeigt, auf ein Projektionsbauteil projiziert, aufgebaut ist und den Benutzer des Fahrzeugs ein Virtuellbild des Bildes mit der vorderen Landschaft überlagert visuell erkennen lässt, eine Anzeigesteuerung aus, wobei sie versehen ist mit einem oder mehreren Prozessoren 33, dem Speicher 37, und einem oder mehreren Computerprogrammen, die im Speicher 37 untergebracht werden und derart aufgebaut sind, dass sie durch den einen oder die mehreren Prozessoren 33 ausgeführt werden, wobei der Prozessor 33 die Augenposition (und/oder Kopfposition) Py des Benutzers in der Oben-Unten-Richtung des Fahrzeugs und die Augenposition (und/oder Kopfposition) Px in der Links-Rechts-Richtung des Fahrzeugs erwirbt, wobei zwischen einer ersten Bildkorrekturverarbeitung S160, bei der zumindest auf Basis der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung die Position eines auf dem Anzeigegerät 40 angezeigten Bildes korrigiert wird, und einer zweiten Bildkorrekturverarbeitung S170, bei der zumindest auf Basis der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung die Position eines auf dem Anzeigegerät 40 angezeigten Bildes korrigiert wird, und bei der eine zweite Korrekturmenge Cy2 der Position des Bildes in Bezug auf eine Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung kleiner als eine erste Korrekturmenge Cy1 der Position des Bildes in Bezug auf die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung während der ersten Bildkorrekturverarbeitung S160 ist, oder bei der zumindest auf Basis der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung die Position des auf dem Anzeigegerät 40 angezeigten Bildes korrigiert wird und die Korrekturmenge der Position des Bildes in Bezug auf die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung auf null gesetzt wird, umgeschaltet wird.
-
Ferner kann der Prozessor 33 bei einigen Ausführungsformen auch die zweite Bildkorrekturverarbeitung S170 auswählen, wenn zumindest eine von den Bedingungen, (1) dass sich die Augenposition (oder Kopfposition) Px in der Links-Richtung in einer Richtung kontinuierlich verändert hat, (2) dass eine Veränderung der Augenposition (und/oder Kopfposition) in der Oben-Unten-Richtung und eine Veränderung der Augenposition (und/oder Kopfposition) in der Links-Rechts-Richtung erfasst wurden und in diesem Fall das Verhältnis der Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung in Bezug auf die Veränderungsmenge ΔPx der Augenposition (oder Kopfposition) in der Links-Rechts-Richtung weniger als ein vorbestimmter erster Schwellwert ist, und (3) dass eine Veränderung der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und eine Veränderung der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung erfasst wurden und in diesem Fall die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung weniger als ein vorbestimmter zweiter Schwellwert ist, ausreicht. Dadurch kann, wenn der Betrachter die Augenposition (Kopfposition) in der Links-Rechts-Richtung bewegt hat, das fremdartige Gefühl, das dem Betrachter dadurch erteilt wird, dass eine Bewegung der Augenposition (Kopfposition) in der Oben-Unten-Richtung, deren sich der Betrachter nicht bewusst ist, erfasst wird, reduziert werden.
-
Ferner kann der Prozessor 33 bei einigen Ausführungsformen, wenn eine Veränderung der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und eine Veränderung der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung erfasst wurden, nachdem die Augenposition (und/oder Kopfposition) Py in der Oben-Unten-Richtung und/oder die Augenposition (und/oder Kopfposition) Px in der Links-Rechts-Richtung nicht mehr erworben werden konnten, die zweite Bildkorrekturbehandlung S170 auswählen. Mit anderen Worten kann der Prozessor 33, wenn bei der ersten Bildkorrekturverarbeitung S160 von einem Zustand, in dem eine oder mehrere von der Augenposition Py in der Oben-Unten-Richtung, der Kopfposition Py in der Oben-Unten-Richtung, der Augenposition Px in der Links-Rechts-Richtung und der Kopfposition Px in der Links-Rechts-Richtung erfasst werden konnten, ein Zustand zustande kommt, in dem sie nicht erfasst werden können, auch zur zweiten Bildkorrekturverarbeitung S170 wechseln.
-
Ferner kann der Prozessor 33 bei einigen Ausführungsformen bei der zweiten Bildkorrekturverarbeitung S170, nachdem eine vorbestimmte Zeit vergangen ist, zumindest auf Basis der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung die Position des auf dem Anzeigegerät 40 angezeigten Bildes korrigieren und in eine dritte Bildkorrekturverarbeitung S182 umschalten, bei der die dritte Korrekturmenge Cy3 der Position des Bildes in Bezug auf die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung kleiner als die erste Korrekturmenge Cy1 während der ersten Bildkorrekturverarbeitung S160 und größer als die zweite Korrekturmenge Cy2 während der zweiten Bildkorrekturverarbeitung S170 ist.
-
Ferner kann der Prozessor 33 bei einigen Ausführungsformen bei der zweiten Bildkorrekturverarbeitung S170, wenn erfasst wurde, dass die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung größer als ein vorbestimmter dritter Schwellwert geworden ist, zumindest auf Basis der Augenposition (oder Kopfposition) Py in der Oben-Unten-Richtung und der Augenposition (oder Kopfposition) Px in der Links-Rechts-Richtung die Position des auf dem Anzeigegerät 40 angezeigten Bildes korrigieren und in die dritte Bildkorrekturverarbeitung S182 umschalten, bei der die dritte Korrekturmenge Cy3 der Position des Bildes in Bezug auf die Veränderungsmenge ΔPy der Augenposition (oder Kopfposition) in der Oben-Unten-Richtung kleiner als die erste Korrekturmenge Cy1 während der ersten Bildkorrekturverarbeitung S160 und größer als die zweite Korrekturmenge Cy2 während der zweiten Bildkorrekturverarbeitung S170 ist.
-
Ferner kann der Prozessor 33 bei einigen Ausführungsformen bei der dritten Bildkorrekturverarbeitung S182 die dritte Korrekturmenge Cy3 auch zeitabhängig derart verändern, dass sie sich der ersten Korrekturmenge Cy1 während der ersten Bildkorrekturverarbeitung S160 annähert.
-
Ferner kann die Head-up-Display-Vorrichtung 20 bei einigen Ausführungsformen ein Fern-Virtuellbild V1, das an einer von einem auf der Fahrzeugseite eingestellten Referenzpunkt um eine erste Distanz entfernten Position wahrgenommen wird (z. B. die in 9 gezeigten Virtuellbilder V64 bis V65) und ein Nah-Virtuellbild V2, das an einer um eine zweite Distanz, die kürzer ist als die erste Distanz, entfernten Position wahrgenommen wird (z. B. die in 9 gezeigten Virtuellbilder V61 bis V63), anzeigen, wobei der Prozessor 33 das Fern-Virtuellbild V1 entsprechend dem Ausreichen der vorbestimmten Bedingungen zwischen der ersten Bildkorrekturverarbeitung S160 und der zweiten Bildkorrekturverarbeitung S170 umschalten und anzeigen kann, und das Nah-Virtuellbild V2 unabhängig vom Ausreichen der vorbestimmten Bedingungen bei der zweiten Bildkorrekturverarbeitung S170 anzeigen kann. D. h. das Augenpositionszustandsbeurteilungsmodul 508 kann Schwellwerte, Tabellendaten, Rechenformeln usw. zur Beurteilung bei jedem Virtuellbild V, ob es das Fern-Virtuellbild V1 oder das Nah-Virtuellbild V2 ist, anhand von vom fahrzeugäußeren Sensor 411 erworbenen Positionsinformationen des tatsächlichen Objekts 300, mit dem das Virtuellbild V assoziiert wird, Informationen bezüglich der Wahrnehmungsdistanz D30, die auf Basis von Positionsinformationen des tatsächlichen Objekts 300 bei dem Virtuellbild V eingestellt wird, umfassen.
-
Wenn bei einigen Ausführungsformen bei der Head-up-Display-Vorrichtung 20 der Bereich, in dem das Virtuellbild V angezeigt werden kann, als der Virtuellbild-Anzeigebereich VS betrachtet wird, kann ferner, wie in 9 gezeigt, ein Virtuellbild V60 der oberen Seite, das in einem oberen Bereich VSα angezeigt wird, der ein oberes Ende VSu des von dem Fahrersitz des Fahrzeugs gesehenen Virtuellbild-Anzeigebereichs VS umfasst, und ein Virtuellbild V70 der unteren Seite, das ein unteres Ende VSb des Virtuellbild-Anzeigebereichs VS umfasst und in einem unteren Bereich VSβ angezeigt wird, der weiter an der unteren Seite als der obere Bereich VSα ist, angezeigt werden, wobei der Prozessor 33 das Virtuellbild V60 der oberen Seite entsprechend dem Ausreichen der vorbestimmten Bedingungen zwischen der ersten Bildkorrekturverarbeitung S160 und der zweiten Bildkorrekturverarbeitung S170 umschalten und anzeigen kann und das Virtuellbild V70 der unteren Seite anzeigen kann, ohne dass eine Positionskorrektur des Bildes auf Basis der Augenposition oder Kopfposition durchgeführt wird.
-
Ferner kann bei einigen Ausführungsformen die Head-up-Display-Vorrichtung 20, wie in 9 gezeigt, ein AR-Virtuellbild V60, bei dem die Anzeigeposition entsprechend der Position eines in der vorderen Landschaft des Fahrzeugs vorhandenen tatsächlichen Objekts verändert wird, und ein Nicht-AR-Virtuellbild V70, bei dem die Anzeigeposition entsprechend der Position des tatsächlichen Objekts nicht verändert wird, anzeigen, wobei der Prozessor 33 das AR-Virtuellbild V60 entsprechend dem Ausreichen der vorbestimmten Bedingungen zwischen der ersten Bildkorrekturverarbeitung S160 und der zweiten Bildkorrekturverarbeitung S170 umschalten und anzeigen kann und das Nicht-AR-Virtuellbild V70 anzeigen kann, ohne dass eine Positionskorrektur des Bildes auf Basis der Augenposition oder Kopfposition durchgeführt wird.
-
Die Betriebe der oben erwähnten Verarbeitungsprozesse können dadurch umgesetzt werden, dass ein oder mehrere Funktionsmodule einer Informationsverarbeitungsvorrichtung wie ein Mehrzweckprozessor oder ein zweckbestimmter Chip usw. ausgeführt werden. Die Gesamtheit dieser Module, der Kombinationen dieser Module und/oder der Kombinationen mit allgemein bekannter Hardware, die die Funktionen von diesen ersetzen kann, wird im Schutzumfang der vorliegenden Erfindung umfasst.
-
Die Funktionsblöcke des Anzeigesystems 10 für ein Fahrzeug können wahlweise auch durch Hardware, Software, oder eine Kombination von Hardware und Software ausgeführt werden, um das Prinzip der erläuterten verschiedenen Ausführungsformen auszuführen. Der Fachmann wird verstehen, dass die in 10 erläuterten Funktionsblöcke wahlweise kombiniert werden können, oder dass ein Funktionsblock auch in zwei oder mehr Unterblöcke aufgeteilt werden kann, um das Prinzip der erläuterten Ausführungsformen durchzuführen. Folglich stützt die Erläuterung in der vorliegenden Beschreibung wahlweise jegliche möglichen Kombinationen oder Aufteilungen der in der vorliegenden Beschreibung erläuterten Funktionsblöcke.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Projektionsteil
- 5
- Armaturenbrett
- 6
- Straßenoberfläche
- 10
- Anzeigesystem für ein Fahrzeug
- 20
- HUD-Vorrichtung
- 21
- Lichtausstrahlfenster
- 22
- Gehäuse
- 24
- Lichtquelleneinheit
- 28
- Erstes Stellglied
- 29
- Zweites Stellglied
- 30
- Anzeigesteuervorrichtung
- 31
- I/O-Interface
- 33
- Prozessor
- 35
- Bildverarbeitungsschaltkreis
- 37
- Speicher
- 40
- Anzeigevorrichtung
- 205
- Mitte
- 300
- Tatsächliches Objekt
- 311
- Straßenoberfläche
- 313
- Person
- 314
- Anderes Fahrzeug
- 315
- Gebäude
- 401
- Fahrzeug-ECU
- 403
- Straßeninformationsdatenbank
- 405
- Ego-Fahrzeugpositionserfassungsteil
- 407
- Betätigungserfassungsteil
- 409
- Augenpositionserfassungsteil
- 411
- Fahrzeugäußerer Sensor
- 413
- Helligkeitserfassungsteil
- 417
- Tragbares Informationsendgerät
- 419
- Äußeres Kommunikationsgerät
- 502
- Augenpositionserfassungsmodul
- 504
- Augenpositionsschätzungsmodul
- 506
- Augenpositionsvoraussagemodul
- 508
- Augenpositionszustandsbeurteilungsmodul
- 510
- Fahrzeugzustandsbeurteilungsmodul
- 511
- Augenpositionsnachverfolgung-Bildverarbeitungsmodul
- 512
- Augennachverfolgung-Bildverarbeitungsmodul
- 514
- Grafikmodul
- 516
- Lichtquellenantriebsmodul
- 518
- Stellgliedantriebsmodul
- 710
- Kopfposition
- Cy1
- Erste Korrekturmenge
- Cy2
- Zweite Korrekturmenge
- Cy3
- Dritte Korrekturmenge
- D10
- Abbildungsdistanz
- D30
- Wahrnehmungsdistanz
- FU
- Virtuelles Objekt (Wahrnehmungsvirtuellbild)
- K
- Anzeigelicht
- PS
- Virtuellbild-Anzeigebereich
- PT
- Zielposition
- Px
- Augenposition (Kopfposition) in der Links-Rechts-Richtung
- Py
- Augenposition (Kopfposition) in der Oben-Unten-Richtung
- V
- Virtuellbild
- V60
- AR-Virtuellbild (Virtuellbild der oberen Seite)
- V61
- Navigation-Virtuellbild
- V62
- Navigation-Virtuellbild
- V63
- Verdeutlichtes Virtuellbild
- V64
- Verdeutlichtes Virtuellbild
- V65
- Verdeutlichtes Virtuellbild
- V65
- POI-Virtuellbild
- V70
- Nicht-AR-Virtuellbild (Virtuellbild der unteren Seite)
- VS
- Virtuellbild-Anzeigebereich
- VSb
- Unteres Ende
- VSu
- Oberes Ende
- VSα
- Oberer Bereich
- VSβ
- Unterer Bereich
- Vx
- Bewegungsgeschwindigkeit
- Vy
- Bewegungsgeschwindigkeit
- t
- Periodendauer
- ΔPx
- Veränderungsmenge
- ΔPy
- Veränderungsmenge
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2010156608 A [0004]
- JP 2019062532 A [0004]
- WO 2019/097918 A1 [0004]