DE102023133664A1 - Anzeigesteuervorrichtung und anzeigesteuerverfahren - Google Patents

Abstract

Bereitstellen einer Anzeigesteuervorrichtung, die den Aufwand des Insassen reduzieren kann, wenn der Insasse ein Bild manipuliert, das auf einer Anzeigeeinheit angezeigt wird.MITTEL ZUR LÖSUNGEine Anzeigesteuervorrichtung 30 schließt ein: eine Insasseninformation-Erfassungseinheit 52 zum Erfassen von Gesichtswinkelinformationen von einem Insassen; eine Bilderfassungseinheit 51 zum Erfassen eines aufgenommenen Bildes, in dem ein Umfang eines Fahrzeugs aufgenommen wird; eine Bildumwandlungseinheit 54 zum Umwandeln des aufgenommenen Bildes in in einer Anzeigeeinheit, das ein virtuelles Blickpunktbild aus einem virtuellen Blickpunkt ist; eine virtuelle Blickpunkt-Einstelleinheit 53 zum Einstellen einer Position des virtuellen Blickpunkts basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen; und eine Anzeigeverarbeitungseinheit 55 zum Durchführen einer Steuerung zum Anzeigen des Anzeigebildes auf einer Anzeigeeinheit 40.

Description

• GEBIET DER ERFINDUNG
• Die vorliegende Offenbarung bezieht sich auf eine Anzeigesteuervorrichtung und ein Anzeigesteuerverfahren.
• STAND DER TECHNIK
• Ein in Patentdokument 1 offenbartes Fahrzeuganzeigesystem zeigt Inhalte auf einer Vielzahl von Anzeigen an, die mit Nichtanzeigebereichen zwischen Referenzanzeigebildschirmen bereitgestellt werden. Ein Insassenstatusmonitor wird bereitgestellt, um die Kopfposition und den Winkel des Fahrzeuginsassen sowie die Sichtlinie des Insassen zu erkennen. Eine Anzeigeverarbeitungseinheit zeigt wichtige Informationen auf einem der Vielzahl von Anzeigebildschirmen durch Verarbeiten der wichtigen Informationen an und verhindert, dass die Informationen unter der Bedingung verborgen werden, dass die wichtigen Informationen in dem auf der Anzeige anzuzeigenden Inhalt enthalten sind, basierend auf einem Erkennungsergebnis des Insassenstatusmonitors.
• Es wird offenbart, dass mit dieser herkömmlichen Technologie eine Steuereinheit die Sichtlinie, die Kopfposition und den Kopfwinkel des Insassen erkennt und, wenn der Insasse die Kopfposition nach links oder rechts bewegt, das auf der Anzeigeeinheit angezeigte Bild nach links oder rechts bewegt wird, das Bild reduziert wird oder das Bild gekippt wird.
• Die vorstehende herkömmliche Technologie erfordert jedoch, dass der Insasse seinen Kopf erheblich bewegt, um das auf der Anzeigeeinheit angezeigte Bild zu ändern, das eine starke Belastung auf den Insassen stellt.
• [Dokumente des Stands der Technik]
• [Patentdokumente]
• Patentdokument 1: Internationale Veröffentlichung WO 2022/224754
• KURZDARSTELLUNG DER ERFINDUNG
• DURCH DIE ERFINDUNG ZU LÖSENDE AUFGABE
• Daher besteht eine Aufgabe der vorliegenden Offenbarung darin, eine Anzeigesteuervorrichtung und ein Anzeigesteuerverfahren bereitzustellen, die den Aufwand eines Insassen reduzieren können, wenn der Insasse ein Bild manipuliert, das auf einer Anzeigeeinheit angezeigt wird.
• MITTEL ZUM LÖSEN DER AUFGABE
• Um die vorstehend genannte Aufgabe zu erreichen, schließt eine Anzeigesteuervorrichtung der vorliegenden Offenbarung ein: eine Insasseninformation-Erfassungseinheit zum Erfassen von Informationen, die sich auf den Winkel des Gesichts eines Insassen beziehen; eine Bilderfassungseinheit zum Erfassen eines Bildes, in dem ein Umfang eines Fahrzeugs aufgenommen wird; eine Bildumwandlungseinheit zum Umwandeln des Bildes in ein virtuelles Blickpunktbild, das aus einem virtuellen Blickpunkt betrachtet wird; eine virtuelle Blickpunkt-Einstelleinheit zum Einstellen der Position des virtuellen Blickpunkts basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen; und eine Anzeigeverarbeitungseinheit zum Durchführen einer Steuerung zum Anzeigen des virtuellen Blickpunktbildes auf einer Anzeigeeinheit.
• WIRKUNG DER ERFINDUNG
• In der Anzeigesteuervorrichtung der vorliegenden Offenbarung, die auf diese Weise konfiguriert ist, ändert sich das auf der Anzeigeeinheit angezeigte Bild, wenn der Insasse den Gesichtswinkel ändert, gemäß dem Änderungsbetrag des Winkels. Dies reduziert den Aufwand des Insassen beim Manipulieren des auf der Anzeigeeinheit angezeigten Bildes.
• KURZBESCHREIBUNGEN DER ZEICHNUNG
• 1 ist ein Funktionsblockdiagramm, das eine schematische Konfiguration eines Anzeigesteuersystems mit einer Anzeigesteuervorrichtung gemäß Ausführungsform 1 darstellt.
• 2 ist ein Diagramm zum Beschreiben der Beziehung zwischen dem Gesichtswinkel eines Insassen und einem Anzeigebildbild, das auf einer Anzeigeeinheit angezeigt wird.
• 3 ist ein Diagramm zum Beschreiben einer Berechnungsprozedur für den Änderungsbetrag des Gierwinkels und des Neigungswinkels, der in einer Insasseninformation-Erfassungseinheit ausgeführt wird.
• 4 ist ein Diagramm zum Beschreiben einer Berechnungsprozedur einer virtuellen Blickpunktposition, die in einer virtuellen Blickpunkt-Einstelleinheit ausgeführt wird.
• 5 ist ein Diagramm zum Beschreiben eines ersten Umwandlungsprozesses, der in einer Bodenmodell-Projektionseinheit ausgeführt wird.
• 6 ist ein Diagramm zum Beschreiben eines Projektionsbereich-Einstellprozesses, der in einer Blickpunkt-Reflexionseinheit ausgeführt wird.
• 7 ist ein Diagramm zum Beschreiben des ersten Umwandlungsprozesses, der in der Bodenmodell-Projektionseinheit ausgeführt wird, und eines zweiten Umwandlungsprozesses, der in der Blickpunkt-Reflexionseinheit ausgeführt wird.
• 8 ist ein Flussdiagramm zum Beschreiben eines Beispiels eines Betriebs der Anzeigesteuervorrichtung gemäß Ausführungsform 1.
• AUSFÜHRUNGSFORMEN DER ERFINDUNG
• Ausführungsform 1
• Eine Anzeigesteuervorrichtung gemäß Ausführungsform 1 in der vorliegenden Offenbarung wird basierend auf den Zeichnungen wie folgt beschrieben. 1 ist ein Funktionsblockdiagramm, das eine schematische Konfiguration eines Anzeigesteuersystems 100 mit einer Anzeigesteuervorrichtung 30 gemäß Ausführungsform 1 darstellt. Die in 1 dargestellte Anzeigesteuervorrichtung 30 ist eine Ausführungsform der Anzeigesteuervorrichtung gemäß der vorliegenden Offenbarung, aber die vorliegende Offenbarung ist nicht auf die vorliegende Ausführungsform beschränkt. Die Anzeigesteuervorrichtung 30 ist in einem sich bewegenden Körper wie einem Automobil oder dergleichen bereitgestellt. Nachstehend wird der bewegliche Körper, auf dem die Anzeigesteuervorrichtung 30 der vorliegenden Ausführungsform bereitgestellt wird, als ein eigenes Fahrzeug bezeichnet und beschrieben.
• Das Anzeigesteuersystem 100 schließt eine Bildgebungsvorrichtung 10, eine Insassenüberwachungseinheit 20, die Anzeigesteuervorrichtung 30 und eine Anzeigeeinheit 40 ein. Wie in 2 dargestellt, erzeugt das Anzeigesteuersystem 100 ein Anzeigebild 42, das in einem Anzeigebereich 41 der Anzeigeeinheit 40 angezeigt wird, gemäß dem Änderungsbetrag des Gesichtswinkels eines Fahrers, der Insasse 1 ist, und zeigt dann das Bild auf der Anzeigeeinheit 40 an. Die Zeichnung in der Mitte in 2 stellt das auf der Anzeigeeinheit 40 angezeigte Anzeigebild 42 dar, wenn sich der Gesichtswinkel des Insassen 1 in einem später beschriebenen Referenzwinkel befindet, und die rechte und linke Zeichnung zeigen das auf der Anzeigeeinheit 40 angezeigte Anzeigebild 42, wenn sich der Gesichtswinkel des Insassen 1 von dem Referenzwinkel geändert hat. Zum Beispiel ist 2 ein Beispiel des auf der Anzeigeeinheit 40 angezeigten Anzeigebildes 42, wenn sich der Gesichtswinkel φ des Insassen 1 von dem Referenzwinkel θ in einer Gierrichtung ändert. Der Gesichtswinkel φ und der Referenzwinkel θ werden später beschrieben. Beim Umwandeln des Änderungsbetrags, der der Betrag ist, um den sich der Gesichtswinkel φ des Insassen 1 von dem Referenzwinkel θ geändert hat, in eine virtuelle Blickpunktposition geändert hat, können der positive und negative Änderungsbetrag der Änderung invertiert werden, wie in der unteren Ebene „mit links-rechts-Inversion“ in 2 dargestellt. Zum Beispiel entspricht das Zentrum der Projektion dem virtuellen Blickpunkt, wenn der Anzeigebereich der Anzeigeeinheit 40 auf eine Projektionsoberfläche und das Bild, das aus der Mitte der Projektion auf die Projektionsoberfläche projiziert wird, eingestellt wird. Wie später ausführlich erörtert, entspricht der virtuelle Blickpunkt in der vorliegenden Offenbarung nicht notwendigerweise der Position eines Auges des Fahrers. Das Anzeigesteuersystem 100 kann ein Bild anzeigen, als ob man durch die Anzeigeeinheit 40 von dem virtuellen Blickpunkt nach außen aus dem Fahrzeug blicken würde.
• Die Bildgebungsvorrichtung 10 ist außerhalb des eigenen Fahrzeugs installiert und nimmt ein Bild der Umgebung des Fahrzeugs auf. Die Bildgebungsvorrichtung 10 gibt das aufgenommene Bild als aufgenommene Bilddaten gemäß einem vorgeschriebenen Protokoll an die Anzeigesteuervorrichtung 30 aus. Die Bildgebungsvorrichtung 10 schließt in der vorliegenden Ausführungsform eine Frontkamera ein, die in der Vorderseite des eigenen Fahrzeugs installiert ist. Es ist zu beachten, dass die Bildgebungsvorrichtung 10 nicht auf die Frontkamera beschränkt ist, sondern auch eine hintere Kamera, die an der Rückseite des eigenen Fahrzeugs installiert ist, Seitenkameras, die an der Vorderseite und der Rückseite des eigenen Fahrzeugs auf der linken und rechten Seite installiert sind, und Seitenkameras, die an der Vorderseite und der Rückseite des eigenen Fahrzeugs auf der linken und rechten Seite installiert sind, und dergleichen einschließen können.
• Die Insassenüberwachungseinheit 20 ist in dem eigenen Fahrzeug bereitgestellt. Die Insassenüberwachungseinheit 20 überwacht den Status des Fahrers, der der Insasse 1 ist, basierend auf einem Bild, das von einer fahrzeuginternen Kamera 21 aufgenommen wird. Die Insassenüberwachungseinheit 20 kann jede bekannte Art von Überwachungseinheit sein. Die fahrzeuginterne Kamera 21 ist eine Kamera, die ein Bild des Innenraums des eigenen Fahrzeugs, einschließlich des Fahrers, aufnimmt und ist zum Beispiel in der Nähe der Anzeigeeinheit 40 zum Fahrzeuginnenraum hin installiert. Des Weiteren erkennt die Insassenüberwachungseinheit 20 den Gesichtswinkel des Insassen 1 unter Verwendung einer bekannten Technik basierend auf dem von der fahrzeuginternen Kamera 21 aufgenommenen Bild und gibt Informationen in Bezug auf den erfassten Gesichtswinkel (nachstehend als „Winkelinformation“ bezeichnet) an die Anzeigesteuervorrichtung 30 aus. In der vorliegenden Ausführungsform gibt die Insassenüberwachungseinheit 20 den Gierwinkel und den Neigungswinkel, die die Richtung angeben, in die das Gesicht des Insassen 1 in einer horizontalen Richtung und in vertikaler Richtung gewandt ist, als die Gesichtswinkelinformationen aus.
• Die Anzeigesteuervorrichtung 30 ist eine Informationsverarbeitungsvorrichtung, die einen Prozess ausführt, der sich auf die Erstellung und Anzeige eines Bildes bezieht, und schließt eine Verarbeitungseinheit (Steuereinheit) 50 und eine Speicherungseinheit 60 ein, wie in 1 dargestellt. Die Anzeigesteuervorrichtung 30 ist zum Beispiel aus einer ECU konfiguriert, die eine CPU, GPU, RAM und ROM oder eine andere Speicherungsvorrichtung aufweist. Die Verarbeitungseinheit 50 ist hauptsächlich aus einer CPU oder dergleichen konfiguriert, die in der ECU eingeschlossen ist, und steuert einen Gesamtbetrieb der Anzeigesteuervorrichtung 30 durch das Einsetzen eines vorgeschriebenen Programms, das im ROM zu RAM gespeichert ist und das Programm ausführt. Die Speicherungseinheit 60 ist in erster Linie aus der Speicherungsvorrichtung konfiguriert, die in der ECU enthalten ist, kann aber einen extern bereitgestellten Server oder Datenbank einschließen. Es ist zu beachten, dass die Anzeigesteuervorrichtung 30 aus einer einzelnen ECU konfiguriert sein kann oder aus einer Vielzahl von ECUs konfiguriert sein kann, die jede Funktion der später beschriebenen Verarbeitungseinheit 50 verteilt oder die zu speichernden Daten verteilt. Des Weiteren können ein Teil oder alle Funktionen der Anzeigesteuervorrichtung 30 unter Verwendung von Hardware wie FPGA, ASIC oder dergleichen implementiert werden. Des Weiteren kann eine einzelne ECU konfiguriert sein, um nicht nur eine Funktion der Anzeigesteuervorrichtung 30 aufzuweisen, sondern auch die Funktionen einer Kamera-ECU, die die Bildgebungsvorrichtung 10 und die Insassenüberwachungseinheit 20 steuert.
• Die Verarbeitungseinheit 50 steuert die gesamte Anzeigesteuervorrichtung 30 und erzeugt ein auf der Anzeigeeinheit 40 anzuzeigendes Anzeigebild basierend auf der erfassten Bilddateneingabe von der Bildgebungsvorrichtung 10 und der Winkelinformationseingabe von der Insassenüberwachungseinheit 20. Um dies zu ermöglichen, fungiert die Verarbeitungseinheit 50 als eine Bilderfassungseinheit 51, Insasseninformation-Erfassungseinheit 52, virtuelle Blickpunkt-Einstelleinheit 53, Bildumwandlungseinheit 54 und Anzeigeverarbeitungseinheit 55, wie in 1 dargestellt, ist aber nicht auf diese Konfiguration beschränkt.
• Die Bilderfassungseinheit 51 erfasst aufgenommene Bilddaten des Umfangs des eigenen Fahrzeugs von der Bildgebungsvorrichtung 10 und gibt die Daten an die Bildumwandlungseinheit 54 aus.
• Die Insasseninformation-Erfassungseinheit 52 erfasst Winkelinformationen von der Insassenüberwachungseinheit 20 und berechnet den Änderungsbetrag im Gesichtswinkel, mit anderen Worten, den Gierwinkel und Neigungswinkel, basierend auf den erfassten Winkelinformationen und Informationen bezüglich eines Gesichtswinkels, der als eine vorbestimmte Referenz dient (hierin nachstehend als „Referenzwinkelinformationen“ bezeichnet). Die Insasseninformation-Erfassungseinheit 52 gibt den Änderungsbetrag des berechneten Gierwinkels und Neigungswinkels an die virtuelle Blickpunkt-Einstelleinheit 53 aus.
• Die Referenzwinkelinformationen werden im Voraus in einer Referenzwinkel-Speicherungseinheit 61 der Speicherungseinheit 60 gespeichert. Zum Beispiel können die Referenzwinkelinformationen Informationen sein, die sich auf den Gesichtswinkel beziehen, wenn der Referenzwinkel die Richtung des Gesichts ist, wenn der Insasse 1 nach vorne (vordere Oberfläche) gewandt ist. Zum Beispiel kann der Gesichtswinkel, wenn der Insasse 1 der Anzeigeeinheit 40 zugewandt ist, der Referenzwinkel sein. Die von der Insassenüberwachungseinheit 20 erfassten Winkelinformationen sind Informationen, die sich auf den Gesichtswinkel beziehen, nachdem der Insasse 1 die Richtung des Gesichts relativ zu dem Referenzwinkel geändert hat.
• Eine Berechnungsprozedur des Änderungsbetrags des Gierwinkels und des Neigungswinkels durch die Insasseninformation-Erfassungseinheit 52 ist nachstehend unter Bezugnahme auf 3 beschrieben. Der Gierwinkel (Gier) ist der Gesichtswinkel in der horizontalen Richtung (Links-Rechts-Richtung) des Insassen 1 und der Neigungswinkel (Neigung) ist der Gesichtswinkel in der vertikalen Richtung (Auf-Ab-Richtung) des Insassen 1. Mit dem Referenzwinkel θ (θ_Gier, θ_Neigung) und dem von der DMS 20 erfassten Gesichtswinkel (d. h. der Gesichtswinkel nach Ändern der Gesichtsrichtung) φ (φ_Gier, (φ_Neigung) berechnet die Insasseninformation-Erfassungseinheit 52 den Änderungsbetrag A (A_Gier, A_Neigung) im Gesichtswinkel unter Verwendung der folgenden Gleichungen (1) und (2). In den folgenden Gleichungen (1) und (2), stehen θ_Gier und θ_Neigung für den Gierwinkel und den Neigungswinkel als Referenzwinkel, φ_Gier und φ_Neigung stehen für den Gierwinkel und den Neigungswinkel als den Gesichtswinkel nach der Bewegung, und A_Gier und A_Neigung stehen für den Änderungsbetrag im Gierwinkel und den Änderungsbetrag in dem Neigungswinkel. $${\text{A}}_{\text{Gier}}={\mathrm{\phi }}_{\text{Gier}}-{\mathrm{\theta }}_{\text{Gier}}$$

  

  $${\text{A}}_{\text{Neigung}}={\mathrm{\phi }}_{\text{Neigung}}-{\mathrm{\theta }}_{\text{Neigung}}$$

  
• Die virtuelle Blickpunkt-Einstelleinheit 53 berechnet (setzt) die Position des virtuellen Blickpunkts (hierin nachstehend als „virtuelle Blickpunktposition T“ bezeichnet) des Insassen 1 in horizontaler Richtung und vertikaler Richtung basierend auf dem Änderungsbetrag der Eingabe des Gierwinkels und des Neigungswinkels (A_Gier, A_Neigung) aus der Insasseninformation-Erfassungseinheit 52. Die virtuelle Blickpunkt-Einstelleinheit 53 gibt die berechnete virtuelle Blickpunktposition an die Bildumwandlungseinheit 54 aus.
• Die Berechnungsprozedur der virtuellen Blickpunktposition T durch die virtuelle Blickpunkt-Einstelleinheit 53 wird nachstehend unter Bezugnahme auf 4 beschrieben. P in 4 stellt die virtuelle Gesichtspunktposition dar, wenn der Gesichtswinkel des Insassen 1 der Referenzwinkel θ ist, und T stellt die virtuelle Blickpunktposition dar, wenn sich der Gesichtswinkel des Insassen vom Referenzwinkel θ zu Winkel φ ändert. Mit den Koordinaten der virtuellen Blickpunktposition P als P (Px, Py, Pz) und den Koordinaten der virtuellen Blickpunktposition T als T (Tx, Ty, Tz) berechnet die virtuelle Blickpunkt-Einstelleinheit 53 die Koordinaten der virtuellen Blickpunktposition T unter Verwendung der folgenden Gleichungen (3), (4) und (5). In den Gleichungen (3) und (4) unten, stehen f_Gier und f_Neigung für die vorgeschriebenen steigenden Funktionen. Die steigenden Funktionen können jede bekannte Art von zunehmender Funktion sein. Die steigenden Funktionen können einen konstanten Anstieg des Werts der virtuellen Blickpunktposition T durch Hinzufügen eines vorgeschriebenen zusätzlichen Werts gemäß dem Änderungsbetrag des Gesichtswinkels beinhalten. Zum Beispiel kann die steigende Funktion den Wert der virtuellen Blickpunktposition T erhöhen, indem der zusätzliche Wert gemäß dem Grad der Änderung geändert wird, sodass das Erhöhen des additiven Werts als der Änderungsbetrag des Gesichtswinkels steigt, und dergleichen. Es ist zu beachten, dass die Blickpunkt-Einstelleinheit 53 die virtuelle Blickpunktposition T durch Invertieren des Änderungsbetrags des Gesichtswinkels des Insassen 1 in Auf-Ab-Richtung (Neigungsrichtung) und Links-Rechts-Richtung (Gierrichtung) einstellen kann. $$\text{Tx}=\text{Px}+{\text{f}}_{\text{Gier}}\left({\text{A}}_{\text{Gier}}\right)$$

  

  $$\text{Ty}=\text{Py}+{\text{f}}_{\text{Neigung}}\left({\text{A}}_{\text{Neigung}}\right)$$

  

  $$\text{Tz}=\text{Pz}$$

  
• Die Bildumwandlungseinheit 54 erzeugt das Anzeigebild 42 (Bild des aufgenommenen Bildes 70 aus dem virtuellen Blickpunkt betrachtet), das in dem Anzeigebereich 41 der Anzeigeeinheit 40 angezeigt werden soll, basierend auf dem aufgenommenen Bild 70, das von der Bildgebungsvorrichtung 10 und der virtuellen Blickpunktposition T aufgenommen wird, die durch die virtuelle Blickpunkt-Einstelleinheit 53 berechnet wird. Daher führt die Bildumwandlungseinheit 54 aus: einen ersten Umwandlungsprozess zum Umwandeln der Koordinaten des aufgenommenen Bildes 70 aus einem Bildkoordinatensystem des aufgenommenen Bildes 70 in die Koordinaten eines Fahrzeugkoordinatensystems, das das Koordinatensystem des eigenen Fahrzeugs ist; und einen zweiten Umwandlungsprozess zum Umwandeln der Koordinaten des Fahrzeugkoordinatensystems in ein Anzeigekoordinatensystem, das das Koordinatensystem der Anzeigeeinheit 40 ist.
• Die Bildumwandlungseinheit 54 weist eine Bodenmodell-Projektionseinheit 541 und eine Blickpunkt-Reflexionseinheit 542 auf, wie in 1 dargestellt. Die Bodenmodell-Projektionseinheit 541 führt einen Korrekturprozess und einen Bodenmodell-Bilderzeugungsprozess durch, der der erste Umwandlungsprozess ist. Darüber hinaus führt die Bodenmodell-Projektionseinheit 541 einen Berechnungsprozess für eine Projektionsumwandlungsmatrix M durch, die in dem ersten Umwandlungsprozess verwendet wird. Die Bodenmodell-Projektionseinheit 541 speichert die berechnete Projektionsumwandlungsmatrix M in der Umwandlungsinformation-Speicherungseinheit 62 der Speicherungseinheit 60.
• Die Bodenmodell-Projektionseinheit 541 korrigiert die Linsenverzerrung (z. B. Linsenverzerrungsfehler, chromatische Aberration und dergleichen) der Bildgebungsvorrichtung 10 unter Verwendung bekannter Techniken in Bezug auf das aufgenommene Bild 70, das von der Bilderfassungseinheit 51 eingegeben wird, als den Korrekturprozess. Es ist zu beachten, dass der Korrekturprozess von der Bilderfassungseinheit 51 anstelle der Bodenmodell-Projektionseinheit 541 durchgeführt werden kann und dass die Bilderfassungseinheit 51 konfiguriert sein kann, um das aufgenommene Bild 70 nach dem Linsenverzerrungskorrekturprozess an die Bodenmodell-Projektionseinheit 541 auszugeben.
• Die Bodenmodell-Projektionseinheit 541 wandelt das Bildkoordinatensystem derart in das Fahrzeugkoordinatensystem um, dass das aufgenommene Bild 70 nach dem Korrekturprozess als der Bodenmodell-Bilderzeugungsprozess, um ein Bodenmodellbild 72 zu erzeugen, abgebildet wird und auf eine Ebene projiziert wird, die in dem Fahrzeugkoordinatensystem zur Anzeige eingestellt ist. Der Bodenmodell-Bilderzeugungsprozess ist der erste Umwandlungsprozess, der das Bildkoordinatensystem in das Fahrzeugkoordinatensystem umwandelt, unter Verwendung der Projektionsumwandlungsmatrix M, die in der Umwandlungsinformation-Speicherungseinheit 62 gespeichert ist.
• Der Bodenmodell-Bilderzeugungsprozess wird nachstehend unter Bezugnahme auf 5 beschrieben. Die obere Zeichnung in 5 ist das Bildkoordinatensystem, das auf dem aufgenommenen Bild 70 nach dem Korrekturprozess basiert, und die untere Zeichnung in 5 ist das Fahrzeugkoordinatensystem basierend auf dem eigenen Fahrzeug. Das Bildkoordinatensystem ist ein zweidimensionales Koordinatensystem mit dem Ursprung O (0, 0) in der oberen linken Ecke des aufgenommenen Bildes 70 nach dem Korrekturprozess. Xa und Ya sind zueinander orthogonale Achsen, und die Einheit jeder Achse ist ein Pixel (px). Das Fahrzeugkoordinatensystem ist ein dreidimensionales Koordinatensystem mit dem Ursprung O (0, 0, 0) an einer vorgeschriebenen Position des eigenen Fahrzeugs. Xb ist eine Achse, die sich in einer Fahrzeugbreitenrichtung (horizontale Richtung) erstreckt, Yb ist eine Achse orthogonal zu Xb und erstreckt sich in der Auf-Ab-Richtung (vertikale Richtung) des Fahrzeugs, und Zb ist eine Achse orthogonal zu Xb und Yb und erstreckt sich in einer Vorwärtsrichtung des Fahrzeugs. Die Einheiten für die Xb-, Yb- und Zb-Achsen sind mm.
• Die in dem Fahrzeugkoordinatensystem eingestellte Ebene wird auf eine Ebene eingestellt, die dem Boden (Fahroberfläche) entspricht, auf der das eigene Fahrzeug fährt. In der vorliegenden Ausführungsform wird die Ebene als Bodenmodell 71 bezeichnet. Darüber hinaus stellt der Bereich, der durch den Code 72 in 5 angegeben ist, ein Bild dar, in dem das aufgenommene Bild 70 durch den Bodenmodell-Erzeugungsprozess (nachstehend als „Bodenmodellbild 72“ bezeichnet) auf das Bodenmodell 71 abgebildet wird. Darüber hinaus ist der Bereich, der durch den Code 73 in 5 angegeben ist, ein Bereich, in dem das aufgenommene Bild 70 nicht abgebildet wird, mit anderen Worten, nicht von der Bildgebungsvorrichtung 10 aufgenommen wird (nachstehend als „nicht abgebildeter Bereich 73“ bezeichnet).
• Die Bodenmodell-Projektionseinheit 541 ersetzt die Koordinaten jedes Pixels in dem aufgenommenen Bild 70 nach dem Korrekturprozess in die Koordinaten des Bodenmodells 71 in der folgenden Gleichung (6). In Gleichung (6) unten, stehen x_a und Y_a für die x- und y-Koordinaten des Bildkoordinatensystems und x_b und z_b stehen für die x- und z-Koordinaten des Fahrzeugkoordinatensystems. Hierin ist a die homogenen Koordinaten, die für die Koordinaten (x_a, y_a) im Bildkoordinatensystem stehen, und b ist die homogenen Koordinaten, die für die Koordinaten (xb, zb) im Fahrzeugkoordinatensystem stehen. Die Beziehung zwischen den homogenen Koordinaten a und b wird durch die folgende Gleichung (6) ausgedrückt. Es ist zu beachten, dass der Wert λ_b die Vergrößerung an der homogenen Koordinate b angibt. Unabhängig von Wert von λ_b (außer Wert 0) steht die gleiche homogene Koordinate b für die gleiche Koordinate im Fahrzeugkoordinatensystem.
  [Gleichung 1] $$\left(\begin{array}{c}{\lambda }_{\text{b}}{\mathbf{x}}_{\text{b}}\\ {\lambda }_{\text{b}}{z}_{\text{b}}\\ {\lambda }_{\text{b}}\end{array}\right)=\text{M}\left(\begin{array}{c}{\text{x}}_{\text{a}}\\ {\text{y}}_{\text{a}}\\ 1\end{array}\right)$$

  
• Die Projektionsumwandlungsmatrix M wird im Voraus berechnet, und die Berechnungsprozedur kann wie folgt unter Bezugnahme auf die linken und mittigen Zeichnungen in 7 durchgeführt werden. a1, a2, a3 und a4 in 7 sind zu referenzierende Punkte in dem aufgenommenen Bild 70 in dem Bildkoordinatensystem. Ferner sind b1, b2, b3 und b4 in 7 Referenzpunkte im Bodenmodell 71 in dem Fahrzeugkoordinatensystem, das den Referenzpunkten a1, a2, a3 und a4 im obigen Bildkoordinatensystem entspricht. Die Beziehung zwischen den homogenen Koordinaten a, die die Koordinaten (x_a, y_a) im Bildkoordinatensystem, und die homogenen Koordinaten b, die für die Koordinaten (x_b, z_b ) in dem Fahrzeugkoordinatensystem stehen, können durch die vorstehende Gleichung (6) ausgedrückt werden.
• Die Bodenmodell-Projektionseinheit 541 stellt die vier Referenzpunkte b1, b2, b3 und b4 im Fahrzeugkoordinatensystem ein, die Punkte sind, die auf dem aufgenommenen Bild 70 nach dem Korrekturprozess aufgenommen werden. Des Weiteren werden die Koordinaten jedes des Referenzpunkts b1, b2, b3 und b4 durch tatsächliche Messung identifiziert und in die Bodenmodell-Projektionseinheit 541 eingegeben. Als Nächstes identifiziert die Bodenmodell-Projektionseinheit 541 die Koordinaten der vier Referenzpunkte a1, a2, a3 und a4 im Bildkoordinatensystem des aufgenommenen Bildes 70 nach dem Korrekturprozess.
• Die Bodenmodell-Projektionseinheit 541 berechnet die Projektionsumwandlungsmatrix M durch Ersetzen der Koordinaten jedes vorstehend identifizierten Referenzpunkts in die vorstehende Gleichung (6) und Lösen einer gleichzeitigen Gleichung, die jedes Element der Projektionsumwandlungsmatrix M beinhaltet. Die Bodenmodell-Projektionseinheit 541 speichert die berechnete Projektionsumwandlungsmatrix M in der Umwandlungsinformation-Speicherungseinheit 62 der Speicherungseinheit 60.
• Die Blickpunkt-Reflexionseinheit 542 führt einen Projektionsbereichs-Einstellprozess, einen Berechnungsprozess einer Projektionsumwandlungsmatrix N und einen Anzeigebilderzeugungsprozess durch, der der zweite Umwandlungsprozess ist. Der Projektionsbereich-Einstellprozess wird nachstehend unter Bezugnahme auf 6 beschrieben. Wie in 6 dargestellt, berechnet die Positionsreflexionseinheit 542 mit der virtuellen Blickpunktposition T, die von der virtuellen Blickpunkt-Einstelleinheit 53 als Referenz eingegeben wird, und der Projektionsoberfläche als Anzeigeeinheit 40 den Bereich auf dem Bodenmodell 71 (Projektionsbereich 74), der aus der virtuellen Blickpunktposition T auf den Anzeigebereich 41 der Anzeigeeinheit 40 projiziert wird. Ein Bereich, der von den Punkten c1, c2, c3 und c4 in 6 umgeben ist, ist der Anzeigebereich 41 der Anzeigeeinheit 40 und ein Bereich, der von den Punkten b5, b6, b7 und b8 auf dem Bodenmodell 71 umgeben ist, ist der Projektionsbereich 74, der auf den Anzeigebereich 41 projiziert wird. Die Blickpunkt-Reflexionseinheit 542 berechnet die Koordinaten von Punkten b5 bis b8 basierend auf den Koordinaten der virtuellen Blickpunktposition T und den Koordinaten der Punkte c1 bis c4.
• Insbesondere verwendet die Blickpunkt-Reflexionseinheit 542 die Koordinaten T (Tx, Ty, Tz) der virtuellen Blickpunktposition T und die Koordinaten der Punkte c1 bis c4 an den vier Ecken des Anzeigebereichs 41, um gerade Linien einzustellen, die jeweils die Blickpunktposition T und die Punkte c1 bis c4 verbinden. Als Nächstes erfasst die Blickpunkt-Reflexionseinheit 542 die Schnittpunkte b5 bis b8 dieser Leitungen mit dem Bodenmodell 71, identifiziert den Bereich, der von den Schnittpunkten b5 bis b8 umgeben ist, als den Projektionsbereichs 74, die dem Anzeigebereich 41 entspricht, und berechnet die Koordinaten jedes Schnittpunkts b5 bis b8.
• Der Berechnungsprozess der Projektionsumwandlungsmatrix N wird nachstehend unter Bezugnahme auf die mittigen und rechten Zeichnungen in 7 beschrieben. Die rechte Zeichnung in 7 ist ein Anzeigekoordinatensystem basierend auf dem Anzeigebereich 41 der Anzeigeeinheit 40. Das Anzeigekoordinatensystem ist ein zweidimensionales Koordinatensystem mit dem Ursprung O (0, 0) an der oberen linken Ecke des Anzeigebereichs 41. Xc und Yc sind zueinander orthogonale Achsen, und die Einheit jeder Achse ist ein Pixel (px).
• An dem Bodenmodell 71 im Fahrzeugkoordinatensystem ist der Bereich, der von den Schnittpunkten b5, b6, b7 und b8 umgeben ist, der Projektionsbereich 74, der durch die Blickpunkt-Reflexionseinheit 542 berechnet wird, und b ist die gleiche homogene Koordinate, die für die Koordinaten (x_b, z_b) im Fahrzeugkoordinatensystem steht. c1, c2, c3 und c4 sind die Referenzpunkte, die jedem Schnittpunkt b5, b6, b7 und b8 im Anzeigekoordinatensystem der Anzeigeeinheit 40 entsprechen, und c ist die homogene Koordinate, die für die Koordinaten (x_c, y_c) des Anzeigekoordinatensystems steht. Die Beziehung zwischen den homogenen Koordinaten b und c wird durch die folgende Gleichung (7) ausgedrückt. Es ist zu beachten, dass der Wert λ_c die Vergrößerung an der homogenen Koordinate c angibt. Unabhängig von Wert von λ_c (außer Wert 0) steht die gleiche homogene Koordinate b für die gleiche Koordinate im Fahrzeugkoordinatensystem.
  [Gleichung 2] $$\left(\begin{array}{c}{\lambda }_{\text{c}}{\mathbf{x}}_{\text{c}}\\ {\lambda }_{\text{c}}{z}_{\text{c}}\\ {\lambda }_{\text{c}}\end{array}\right)=\text{N}\left(\begin{array}{c}{\lambda }_{\text{b}}{\mathbf{x}}_{\text{b}}\\ {\lambda }_{\text{b}}{z}_{\text{b}}\\ {\lambda }_{\text{b}}\end{array}\right)$$

  
• Die Blickpunkt-Reflexionseinheit 542 berechnet die Projektionsumwandlungsmatrix N durch Ersetzen der Koordinaten der Referenzpunkte c1 bis c4 des Anzeigekoordinatensystems der Anzeigeeinheit 40 und der Koordinaten der Schnittpunkte b5 bis b8 des Fahrzeugkoordinatensystems, die in dem Projektionsbereich-Einstellprozess berechnet werden, in der obigen Gleichung (7) und löst eine gleichzeitige Gleichung, die jedes Element der Projektionsumwandlungsmatrix N beinhaltet. Die Blickpunkt-Reflexionseinheit 542 speichert die berechnete Projektionsumwandlungsmatrix N in der Umwandlungsinformation-Speicherungseinheit 62 der Speicherungseinheit 60.
• Darüber hinaus wandelt die Blickpunkt-Reflexionseinheit 542 als der Anzeigebilderzeugungsprozess die Koordinaten des Projektionsbereichs 74 in das Anzeigekoordinatensystem um, indem die Koordinaten jedes Punktes des Projektionsbereichs 74 des Bodenmodellbildes 72, das jedem Pixel des Anzeigebereichs 41 der Anzeigeeinheit 40 entspricht, in der vorstehenden Gleichung (7) ersetzt werden, unter Verwendung der in dem vorstehenden Berechnungsprozess berechneten Projektionsumwandlungsmatrix N. Dadurch erzeugt die Blickpunkt-Reflexionseinheit 542 Bilddaten für das Anzeigebild 42, das dem Bild des Projektionsbereichs 74 auf dem Bodenmodellbild 72 entspricht. Die Blickpunkt-Reflexionseinheit 542 gibt die erzeugten Bilddaten an die Anzeigeverarbeitungseinheit 55 aus.
• Basierend auf den Bilddateneingaben aus der Blickpunkt-Reflexionseinheit 542 zeigt die Anzeigeverarbeitungseinheit 55 das Anzeigebild 42 an, das den Bilddaten auf dem Anzeigebereich 41 der Anzeigeeinheit 40 entspricht.
• Die Speicherungseinheit 60 speichert vorübergehend oder nicht vorübergehend ein Steuerprogramm zum Betreiben der Anzeigesteuervorrichtung 30 und verschiedene Daten und Parameter, die in verschiedenen Vorgängen in der Verarbeitungseinheit 50 verwendet werden. Ferner speichert, wie vorstehend beschrieben, die Referenzwinkel-Speicherungseinheit 61 der Speicherungseinheit 60 vorübergehend oder nicht vorübergehend die Referenzwinkelinformationen des Gesichts, wenn der Gesichtswinkel der Referenzwinkel ist. Die Umwandlungsinformation-Speicherungseinheit 62 der Speicherungseinheit 60 speichert vorübergehend oder nicht vorübergehend die Projektionsumwandlungsmatrix M und die Projektionsumwandlungsmatrix N, die in dem Bodenmodell-Bilderzeugungsprozess (erster Umwandlungsprozess) bzw. dem Anzeigebild-Erzeugungsprozess (zweiter Umwandlungsprozess) verwendet werden.
• Ein Beispiel für einen Betrieb des Anzeigesteuersystems 100 gemäß Ausführungsform 1 mit der vorstehend beschriebenen Konfiguration wird nachstehend unter Bezugnahme auf das Flussdiagramm in 8 beschrieben. 8 stellt ein Beispiel für den Betrieb der Anzeigesteuervorrichtung 30 dar, aber der Betrieb der Anzeigesteuervorrichtung 30 ist nicht auf den Betrieb in 8 beschränkt.
• Zunächst erfasst in Schritt S 1 die Bilderfassungseinheit 51 das aufgenommene Bild 70, das von der Bildgebungsvorrichtung 10 aufgenommen wird, und gibt das Bild an die Bildumwandlungseinheit 54 aus. In Schritt S2 erfasst die Insasseninformation-Erfassungseinheit 52 Winkelinformationen, die sich auf den Gesichtswinkel des Insassen 1 von der Insassenüberwachungseinheit 20 beziehen. In dem nachfolgenden Schritt S3 berechnet die Insasseninformation-Erfassungseinheit 52 den Änderungsbetrag des Gesichtswinkels unter Verwendung der vorstehend genannten Gleichungen (1) und (2) basierend auf den erfassten Winkelinformationen und den Referenzwinkelinformationen, die von der Referenzwinkel-Speicherungseinheit 61 erfasst werden, und gibt den Änderungsbetrag an die virtuelle Blickpunkt-Einstelleinheit 53 aus.
• In dem nachfolgenden Schritt S4 berechnet die virtuelle Blickpunkt-Einstelleinheit 53 die virtuelle Blickpunktposition T des Insassen 1 unter Verwendung der vorstehend genannten Gleichungen (3) und (4) basierend auf dem Änderungsbetrag, der von der Insasseninformation-Erfassungseinheit 52 eingegeben wurde, und gibt die Position an die Bildumwandlungseinheit 54 aus.
• In dem nachfolgenden Schritt S5 führt die Bodenmodell-Projektionseinheit 541 den Korrekturprozess durch, um die Linsenverzerrung in Bezug auf das aufgenommene Bild 70 zu korrigieren. Als Nächstes erzeugt die Bodenmodell-Projektionseinheit 541 in dem nachfolgenden Schritt S6 ein Bodenmodellbild 72 durch Umwandeln der Koordinaten des aufgenommenen Bildes 70 nach dem Korrekturprozess in die Koordinaten des Fahrzeugkoordinatensystems unter Verwendung der Projektionsumwandlungsmatrix M, die von der Umwandlungsinformation-Speicherungseinheit 62 erfasst wird, und der vorstehend erwähnten Gleichung (6).
• In dem nachfolgenden Schritt S7 berechnet die Blickpunkt-Reflexionseinheit 542 einen Bereich auf dem Bodenmodellbild 72 (Projektionsbereich 74), der auf dem Anzeigebereich 41 der Anzeigeeinheit 40 projiziert werden soll, basierend auf der virtuellen Blickpunktposition T, die von der virtuellen Blickpunkt-Einstelleinheit 53 eingegeben wurde. Mit anderen Worten berechnet die Blickpunkt-Reflexionseinheit 542 die Koordinaten der Schnittpunkte b5 bis b8, die dem Projektionsbereichs 74 umgeben, basierend auf den Koordinaten der virtuellen Blickpunktposition T und den Koordinaten der Punkte c1 bis c4 an den vier Ecken des Anzeigebereichs. Als Nächstes berechnet in Schritt S8 die Blickpunkt-Reflexionseinheit 542 die Projektionsumwandlungsmatrix N durch Ersetzen der Koordinaten von Punkten c1 bis c4 in dem Anzeigekoordinatensystem und der Koordinaten der Schnittpunkte b5 bis b8 im Fahrzeugkoordinatensystem in der vorstehend erwähnten Gleichung (7).
• In dem nachfolgenden Schritt S9 ersetzt die Blickpunkt-Reflexionseinheit 542 jede Koordinate des Projektionsbereichs 74 in der vorstehend erwähnten Gleichung (7) und wandelt die Koordinaten in Koordinaten des Anzeigekoordinatensystems um, wodurch Bilddaten des Anzeigebildes 42 erzeugt werden, die in dem Anzeigebereich 41 angezeigt werden sollen, und gibt die Daten an die Anzeigeverarbeitungseinheit 55 aus.
• Darüber hinaus zeigt in Schritt S 10, basierend auf den Bilddateneingaben aus der Blickpunkt-Reflexionseinheit 542, die Anzeigeverarbeitungseinheit 55 das Anzeigebild 42 an, das den Bilddaten auf dem Anzeigebereich 41 der Anzeigeeinheit 40 entspricht. Wie in 2 dargestellt, zeigt der Anzeigebereich 41 das Anzeigebild 42 in einer Richtung an, die dem Gesichtswinkel des Insassen 1 entspricht.
• Wie vorstehend beschrieben, wandelt die Anzeigesteuervorrichtung 30 der vorliegenden Ausführungsform das aufgenommene Bild 70, in dem ein Umfang des Fahrzeugs in das Bodenmodellbild 72 aufgenommen wird, basierend auf der virtuellen Blickpunktposition T um, die basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen 1 eingestellt wird und wandelt das Bodenmodellbild 72 in das Anzeigebild 42 um, das auf der Anzeigeeinheit 40 angezeigt werden soll. Darüber hinaus wird das Anzeigebild 42 dann auf der Anzeigeeinheit 40 angezeigt, so dass der Insasse 1 das Anzeigebild 42 gemäß dem Gesichtswinkel sehen kann. Das Anzeigebild 42 weist eine geeignete Verbindung mit der Szenerie auf, die durch ein Frontfenster gesehen wird, und der Insasse 1 kann das Anzeigebild 42 sehe, ohne sich fehl am Platz zu fühlen. Darüber hinaus muss der Insasse, wenn der Insasse 1 das auf der Anzeigeeinheit 40 angezeigte Bild ändern möchte, seinen Kopf nicht signifikant bewegen, muss aber nur den Gesichtswinkel nach oben, unten, links oder rechts bewegen. Daher kann die Anzeigesteuervorrichtung 30 in der vorliegenden Ausführungsform den Aufwand des Insassen 1 reduzieren, wenn der Insasse 1 das auf der Anzeigeeinheit 40 angezeigte Bild ändert.
• Ferner weist die Anzeigesteuervorrichtung 30 der vorliegenden Ausführungsform eine Speicherungseinheit 60 (Referenzwinkel-Speicherungseinheit 61) auf, die einen Referenzwinkel speichert, der ein vorgeschriebener Gesichtswinkel des Insassen 1 ist. Darüber hinaus stellt die virtuelle Blickpunkt-Einstelleinheit 53 die virtuelle Blickpunktposition T basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen 1 in Bezug auf den Referenzwinkel ein. Dadurch kann die virtuelle Blickpunkt-Einstelleinheit 53 den Änderungsbetrag des Gesichtswinkels mit höherer Präzision erfassen. Infolgedessen kann die Anzeigesteuervorrichtung 30 dem Insassen 1 ein angemesseneres Anzeigebild 42 gemäß dem Gesichtswinkel präsentieren.
• Außerdem erfasst in der Anzeigesteuervorrichtung 30 der vorliegenden Ausführungsform die Insasseninformation-Erfassungseinheit 52 den Gierwinkel und den Neigungswinkel als den Gesichtswinkel des Insassen 1. Darüber hinaus bewegt die virtuelle Blickpunkt-Einstelleinheit 53 die virtuelle Blickpunktposition T in der horizontalen Richtung basierend auf dem Änderungsbetrag des Gierwinkels und bewegt die virtuelle Blickpunktposition T in vertikaler Richtung basierend auf dem Änderungsbetrag des Neigungswinkels. Diese Konfiguration ermöglicht der virtuellen Blickpunkt-Einstelleinheit 53 das Berechnen des Änderungsbetrags des Gesichtswinkels mit höherer Präzision und Geschwindigkeit und somit kann die Anzeigesteuervorrichtung 30 eine Anzeigesteuerverarbeitung mit höherer Effizienz und Präzision durchführen.
• Eine Ausführungsform der vorliegenden Offenbarung wurde unter Bezugnahme auf die Zeichnungen ausführlich beschrieben, aber die spezifische Konfiguration ist nicht auf diese Ausführungsform eingeschränkt, und die Designänderungen in einem Grad, der nicht vom Geist der vorliegenden Offenbarung abweicht, sind in der vorliegenden Offenbarung eingeschlossen.
• Zum Beispiel kann die Anzeigesteuervorrichtung 30 mit einer Blickpunkt-Positionserfassungseinheit konfiguriert sein, um Informationen zu erfassen, die sich auf die Position eines Auges des Insassen 1 beziehen. Basierend auf den Informationen, die sich auf die Augenposition beziehen, die durch die Blickpunkt-Positionserfassungseinheit erfasst wird, stellt die virtuelle Blickpunkt-Einstelleinheit 53 den virtuellen Blickpunkt an einer Position ein, die der Augenposition des Insassen entspricht, wenn der Gesichtswinkel des Insassen 1 der Referenzwinkel ist, und wenn der Gesichtswinkel des Insassen 1 nicht der Referenzwinkel ist, bewegt sie den virtuellen Blickpunkt von der Augenposition des Insassen 1 zu einer Position basierend auf dem Änderungsbetrag. Diese Konfiguration ermöglicht es der virtuellen Blickpunkt-Einstelleinheit 53, die Position des virtuellen Blickpunkts gemäß der Augenposition des Insassen 1 einzustellen, wodurch die Position des virtuellen Blickpunkts angemessener und einfacher eingestellt werden kann. Wenn zum Beispiel der Gesichtswinkel, wenn der Insasse 1 der Anzeigeeinheit 40 zugewandt ist, der Referenzwinkel ist, kann der virtuelle Blickpunkt an einer Position eingestellt werden, die der Augenposition des Insassen 1 entspricht, während das Gesicht des Insassen 1 der Anzeigeeinheit 40 zugewandt ist. Außerdem kann, wenn das Gesicht des Insassen 1 nicht der Anzeigeeinheit 40 zugewandt ist, ein virtueller Blickpunkt an einer Position basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen 1 eingestellt werden.
• Darüber hinaus verwendet die Anzeigesteuervorrichtung 30 der vorstehenden Ausführungsform den Gesichtswinkel, wenn sich das Gesicht des Insassen 1 an dem Referenzwinkel als Referenzwinkel (Referenzwinkelinformationen) befindet, aber die vorliegende Erfindung ist nicht darauf beschränkt. Zum Beispiel kann der Referenzwinkel die Gesichtswinkelinformation des letzten Zeitpunkts sein, zu dem der Gesichtswinkel erfasst wurde. In diesem Fall aktualisiert die Insasseninformation-Erfassungseinheit 52 die Referenzwinkelinformationen in der Referenzwinkel-Speicherungseinheit 61 jedes Mal, wenn der Gesichtswinkel erfasst wird. Diese Konfiguration ermöglicht es der Anzeigesteuervorrichtung 30, den Änderungsbetrag zu berechnen, wenn der Insasse 1 den Gesichtswinkel für die aktuelle Zeit ändert, basierend auf dem Gesichtswinkel, bevor der Insasse 1 den Gesichtswinkel ändert.
• BESCHREIBUNG DER BEZUGSZEICHEN
• 1: Insasse 30: Anzeigesteuervorrichtung
  40: Anzeigeeinheit 42: Anzeigebild (virtuelles Blickpunktbild)
  50: Verarbeitungseinheit 51: Bilderfassungseinheit
  52: Insasseninformation-Erfassungseinheit 53: Virtuelle Blickpunkt-Einstelleinheit 54: Bildumwandlungseinheit 55: Anzeigeverarbeitungseinheit
  60: Speicherungseinheit 70: Aufgenommenes Bild (Bild)
  A: Änderungsbetrag θ: Referenzwinkel
  λ : Gesichtswinkel
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• WO 2022224754 [0005]

Claims (8)

1. Anzeigesteuervorrichtung, umfassend: eine Insasseninformation-Erfassungseinheit zum Erfassen von Informationen, die sich auf den Winkel des Gesichts eines Insassen beziehen; eine Bilderfassungseinheit zum Erfassen eines Bildes, in dem ein Umfang eines Fahrzeugs aufgenommen wird; eine Bildumwandlungseinheit zum Umwandeln des Bildes in ein virtuelles Blickpunktbild, das aus einem virtuellen Blickpunkt betrachtet wird; eine virtuelle Blickpunkt-Einstelleinheit zum Einstellen der Position des virtuellen Blickpunkts basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen; und eine Anzeigeverarbeitungseinheit zum Durchführen einer Steuerung zum Anzeigen des virtuellen Blickpunktbildes auf einer Anzeigeeinheit.
2. Anzeigesteuervorrichtung nach Anspruch 1, ferner umfassend: eine Speicherungseinheit zum Speichern eines Referenzwinkels, in dem der Gesichtswinkel des Insassen ein vorgeschriebener Winkel ist, wobei die virtuelle Blickpunkt-Einstelleinheit die Position des virtuellen Blickpunktes basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen in Bezug auf den Referenzwinkel einstellt.
3. Anzeigesteuervorrichtung nach Anspruch 2, ferner umfassend: eine Blickpunktposition-Erfassungseinheit zum Erfassen von Informationen in Bezug auf die Position eines Auges des Insassen, wobei die virtuelle Blickpunkt-Einstelleinheit den virtuellen Blickpunkt einer Position einstellt, die der Position des Auges des Insassen entspricht, wenn der Gesichtswinkel des Insassen der Referenzwinkel ist, und wenn der Gesichtswinkel des Insassen nicht der Referenzwinkel ist, die Position des virtuellen Blickpunkts zu einer Position basierend auf dem Änderungsbetrag der Position des Auges des Insassen bewegt.
4. Anzeigesteuervorrichtung nach einem der Ansprüche 1 bis 3, wobei die Insasseninformation-Erfassungseinheit einen Gierwinkel und einen Neigungswinkel als den Gesichtswinkel des Insassen erfasst, und die virtuelle Blickpunkt-Einstelleinheit die Position des virtuellen Blickpunkts in einer horizontalen Richtung basierend auf dem Änderungsbetrag des Gierwinkels bewegt und die Position des virtuellen Blickpunkts in einer vertikalen Richtung basierend auf dem Änderungsbetrag des Neigungswinkels bewegt.
5. Anzeigesteuerverfahren, das von einer Steuereinheit einer Anzeigesteuervorrichtung ausgeführt wird, die in einem Fahrzeug bereitgestellt ist, umfassend: einen Insasseninformation-Erfassungsschritt zum Erfassen von Informationen, die sich auf den Winkel des Gesichts eines Insassen beziehen; einen Bilderfassungsschritt zum Erfassen eines Bildes, in dem ein Umfang des Fahrzeugs aufgenommen wird; einen Bildumwandlungsschritt zum Umwandeln des Bildes in ein virtuelles Blickpunktbildes, das aus einem virtuellen Blickpunkt betrachtet wird; einen virtuellen Blickpunkt-Einstellschritt zum Einstellen der Position des virtuellen Blickpunkts basierend auf dem Änderungsbetrag des Insassen-Gesichtswinkels; und einen Anzeigeverarbeitungsschritt zum Durchführen einer Steuerung zum Anzeigen des virtuellen Blickpunktbildes auf einer Anzeigeeinheit.
6. Anzeigesteuerverfahren nach Anspruch 5, ferner umfassend: eine Speicherungsschritt zum Speichern eines Referenzwinkels, in dem der Gesichtswinkel des Insassen ein vorgeschriebener Winkel in einer Speicherungseinheit ist, wobei der virtuelle Blickpunkt-Einstellschritt die Position des virtuellen Blickpunktes basierend auf dem Änderungsbetrag des Gesichtswinkels des Insassen in Bezug auf den Referenzwinkel einstellt.
7. Anzeigesteuerverfahren nach Anspruch 6, ferner umfassend: einen Blickpunktposition-Erfassungsschritt zum Erfassen von Informationen in Bezug auf die Position eines Auges des Insassen, wobei der virtuelle Blickpunkt-Einstellschritt den virtuellen Blickpunkt einer Position einstellt, die der Position des Auges des Insassen entspricht, wenn der Gesichtswinkel des Insassen der Referenzwinkel ist, und wenn der Gesichtswinkel des Insassen nicht der Referenzwinkel ist, die Position des virtuellen Blickpunkts zu einer Position basierend auf dem Änderungsbetrag der Position des Auges des Insassen bewegt.
8. Anzeigesteuerverfahren nach einem der Ansprüche 5 bis 7, wobei der Insasseninformation-Erfassungsschritt einen Gierwinkel und einen Neigungswinkel als den Gesichtswinkel des Insassen erfasst, und der virtuelle Blickpunkt-Einstellschritt die Position des virtuellen Blickpunkts in einer horizontalen Richtung basierend auf dem Änderungsbetrag des Gierwinkels bewegt und die Position des virtuellen Blickpunkts in einer vertikalen Richtung basierend auf dem Änderungsbetrag des Neigungswinkels bewegt.

Images