DE112018004847B4 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt Download PDF

Info

Publication number
DE112018004847B4
DE112018004847B4 DE112018004847.0T DE112018004847T DE112018004847B4 DE 112018004847 B4 DE112018004847 B4 DE 112018004847B4 DE 112018004847 T DE112018004847 T DE 112018004847T DE 112018004847 B4 DE112018004847 B4 DE 112018004847B4
Authority
DE
Germany
Prior art keywords
content
unit
frame
user
information overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112018004847.0T
Other languages
English (en)
Other versions
DE112018004847T5 (de
Inventor
Kazuto Mugura
Ayaka Satoh
Satoshi Akagawa
Shoji Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112018004847T5 publication Critical patent/DE112018004847T5/de
Application granted granted Critical
Publication of DE112018004847B4 publication Critical patent/DE112018004847B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

Informationsverarbeitungseinrichtung, die Folgendes aufweist:eine Festlegeeinheit (201), die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; undeine Anzeigesteuereinheit (203), die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, wobei die Festlegeinheit (201) den Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung festlegt.

Description

  • [Technisches Gebiet]
  • Die vorliegende Technik betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren, ein Programm und einen sich bewegenden Körper und insbesondere eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren, ein Programm und einen sich bewegenden Körper, die einen Inhalt über einer durch einen Benutzer betrachteten Szene angemessen anzeigen können.
  • [Stand der Technik]
  • Es gibt eine Technik zum Verwenden einer Head-Up-Anzeige, um Informationen bezüglich einer Anlage oder dergleichen, die in einem Sichtfeld eines Fahrers enthalten ist, auf eine Windschutzscheibe zu projizieren und um die Informationen dem Fahrer zu präsentieren. Der Fahrer betrachtet verschiedene Typen von Informationen über einer Szene, die sich vor dem Fahrer ausbreitet.
  • Das Japanisches Patent, Offenlegungs-Nr. 2015-77876 , offenbart eine Technik zum Anzeigen eines AR(Augmented Reality - erweiterte Realität)-Bildes bezüglich einer Anlage in Assoziation mit einer realen Szene, die durch den Fahrer betrachtet wird, wobei das AR-Bild entfernt angezeigt wird, wenn die Fahrzeuggeschwindigkeit schnell ist, und das AR-Bild nahe angezeigt wird, wenn die Fahrzeuggeschwindigkeit langsam ist.
  • Weitere Anzeigeeinrichtungen zeigen die Druckschriften US 2017/0 116 785A1 , WO 2016/ 181 749 A1 , US 2014/0 012 674 A1 , US 7 561 966 B2 , US 2015/0 296 199 A1 und JP 2005- 70 231 A.
  • [Kurzdarstellung]
  • [Technisches Problem]
  • Es ist wünschenswert, Informationen in einer solchen Form zu präsentieren, dass die Informationen so betrachtet werden können, als ob sie in die Szene passen würden. Durch das Anzeigen der Informationen derart, dass die Informationen in die Szene passen, kann der Fahrer die Informationen betrachten, während er sich auf die Fahrt konzentriert.
  • Die vorliegende Technik erfolgte hinsichtlich der Umstände und die vorliegende Technik kann Inhalt angemessen über einer durch einen Benutzer betrachteten Szene anzeigen.
  • [Lösung des Problems]
  • Ein Aspekt der vorliegenden Technik stellt eine Informationsverarbeitungseinrichtung bereit, die eine Festlegeeinheit, die einen Rahmen als eine Überlagerungsstelle von Inhalt in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt, und eine Anzeigesteuereinheit aufweist, die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet erzeugt, das dem festgelegten Rahmen entspricht. Die Festlegeinheit legt den Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung fest.
  • Des Weiteren wird eine Informationsverarbeitungseinrichtung bereitgestellt, die eine Festlegeeinheit, die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und eine Anzeigesteuereinheit, die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, und eine Berechnungseinheit aufweist, die eine Eignung jedes Inhalts und jedes Rahmens basierend auf Informationen bezüglich Spezifikationen berechnet, die zum Anzeigen des Inhalts erforderlich sind, wobei die Anzeigesteuereinheit die visuellen Informationen zum Anzeigen jedes Inhalts in dem Gebiet, das dem ausgewählten Rahmen entspricht, basierend auf der Eignung erzeugt, die Berechnungseinheit die Eignung basierend auf einem Element berechnet, das gemäß einem Typ des Inhalts variiert, die Berechnungseinheit, falls der Inhalt ein Bild ist, die Eignung basierend auf einer Beziehung zwischen einem Aspektverhältnis des Bildes und einem Aspektverhältnis des Rahmens berechnet.
  • Des Weiteren wird Informationsverarbeitungseinrichtung bereitgestellt, die eine Festlegeeinheit, die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und eine Anzeigesteuereinheit aufweist, die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, wobei die Anzeigesteuereinheit einen Defokussierungsprozess auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf einer Blickpunktposition des Benutzers anwendet, der in einem sich bewegenden Körper fährt.
  • Des Weiteren wird ein Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, bereitgestellt, wobei das Verfahren das Festlegen eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers, wobei der Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung festgelegt wird; und das Erzeugen visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, aufweist.
  • Des Weiteren wird ein Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, bereitgestellt, wobei das Verfahren das Festlegen eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; das Erzeugen visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht; und das Berechnen einer Eignung jedes Inhalts und jedes Rahmens basierend auf Informationen bezüglich Spezifikationen, die zum Anzeigen des Inhalts erforderlich sind, wobei die visuellen Informationen zum Anzeigen jedes Inhalts in dem Gebiet, das dem ausgewählten Rahmen entspricht, basierend auf der Eignung erzeugt werden, die die Eignung basierend auf einem Element berechnet wird, das gemäß einem Typ des Inhalts variiert, und, falls der Inhalt ein Bild ist, die Eignung basierend auf einer Beziehung zwischen einem Aspektverhältnis des Bildes und einem Aspektverhältnis des Rahmens berechnet wird.
  • Des Weiteren weist das Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, bereitgestellt, wobei das Verfahren das Festlegen eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; und das Erzeugen visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, aufweist, wobei ein Defokussierungsprozess auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf einer Blickpunktposition des Benutzers angewendet werden, der in einem sich bewegenden Körper fährt.
  • [Vorteilhafter Effekt der Erfindung]
  • Gemäß der vorliegenden Technik kann der Inhalt angemessen über der durch den Benutzer betrachteten Szene angezeigt werden.
  • Es ist zu beachten, dass der hier beschriebene vorteilhafte Effekt möglicherweise nicht notwendigerweise beschränkt ist und dass der vorteilhafte Effekt beliebige in der vorliegenden Offenbarung beschriebene vorteilhafte Effekte sein kann.
  • [Kurze Beschreibung der Zeichnungen]
    • [1] 1 ist ein Diagramm, das einen Innenraum eines Fahrzeugs, das mit einem Fahrzeugsteuersystem versehen ist, gemäß einer ersten Ausführungsform der vorliegenden Technik veranschaulicht.
    • [2] 2 ist ein Diagramm, das ein Beispiel für ein Aussehen von Inhalt veranschaulicht.
    • [3] 3 stellt Diagramme dar, die jeweils ein Anzeigebeispiel des Inhalts zum Realisieren des in 2 veranschaulichten Aussehens veranschaulichen.
    • [4] 4 ist ein Diagramm, das eine Anzeige des Inhalts schematisch veranschaulicht.
    • [5] 5 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 2 veranschaulicht.
    • [6] 6 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 5 veranschaulicht.
    • [7] 7 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 6 veranschaulicht.
    • [8] 8 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Fahrzeugsteuersystems der ersten Ausführungsform veranschaulicht.
    • [9] 9 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel einer Ausgabesteuereinheit aus 8 veranschaulicht.
    • [10] 10 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Festlegeeinheit für ein geeignetes Informationsüberlagerungssichtfeld aus 9 veranschaulicht.
    • [11] 11 ist ein Diagramm, das ein Beispiel für ein dreidimensionales Modell eines Objekts veranschaulicht.
    • [12] 12 ist ein Diagramm, das ein Beispiel für das Festlegen von möglichen Informationsüberlagerungsrahmen veranschaulicht.
    • [13] 13 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 1 ausgeschlossen werden, veranschaulicht.
    • [14] 14 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 2 ausgeschlossen werden, veranschaulicht.
    • [15] 15 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 3 ausgeschlossen werden, veranschaulicht.
    • [16] 16 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 4 ausgeschlossen werden, veranschaulicht.
    • [17] 17 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 5 ausgeschlossen werden, veranschaulicht.
    • [18] 18 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch eine Ausschlussregel 6 ausgeschlossen werden, veranschaulicht.
    • [19] 19 ist ein Diagramm, das ein Beispiel für einen Übergang einer Fahrzeugposition veranschaulicht.
    • [20] 20 ist ein Diagramm, das ein Beispiel für eine Änderung der Richtung des Fahrzeugs veranschaulicht.
    • [21] 21 stellt Diagramme dar, die Szenenbilder bei Fahrzeugpositionen veranschaulichen.
    • [22] 22 ist ein Diagramm, das ein Beispiel für eine Winkelgeschwindigkeit in einem Benutzersichtfeld veranschaulicht.
    • [23] 23 ist ein Diagramm, das ein Beispiel für einen Winkel mit Bezug auf eine Fahrzeugfahrtrichtung veranschaulicht.
    • [24] 24 ist ein Diagramm, das ein Beispiel für ein Verhältnis eines exponierten Bereichs veranschaulicht.
    • [25] 25 ist ein Diagramm, das das Beispiel für das Verhältnis eines exponierten Bereichs veranschaulicht.
    • [26] 26 ist ein Diagramm, das ein Beispiel für eine Verweilzeit in dem Benutzersichtfeld veranschaulicht.
    • [27] 27 ist ein Diagramm, das ein Beispiel für das Festlegen eines geeigneten Informationsüberlagerungssichtfeldes veranschaulicht.
    • [28] 28 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Überlagerungszielrahmenauswahleinheit aus 9 veranschaulicht.
    • [29] 29 stellt Diagramme dar, die jeweils ein Beispiel für Inhaltinformationsgegenstände veranschaulichen.
    • [30] 30 stellt Diagramme dar, die jeweils ein Beispiel für eine Eignung veranschaulichen.
    • [31] 31 ist ein Diagramm, das ein Beispiel für das Festlegen von Überlagerungsstellen veranschaulicht.
    • [32] 32 ist ein Diagramm, das ein Beispiel für die Überlagerungsstellen veranschaulicht.
    • [33] 33 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Anzeigesteuereinheit aus 9 veranschaulicht.
    • [34] 34 ist ein Diagramm, das ein Beispiel für eine Anpassung des Kontrasts basierend auf dem passenden Kontrast veranschaulicht.
    • [35] 35 ist ein Diagramm, das ein Beispiel für das Anzeigen eines vorderen Objekts veranschaulicht.
    • [36] 36 ist ein Flussdiagramm zum Beschreiben eines Informationsanzeigeprozesses.
    • [37] 37 ist ein Flussdiagramm zum Beschreiben eines Festlegeprozesses für ein geeignetes Informationsüberlagerungssichtfeld, der in Schritt S3 aus 36 ausgeführt wird.
    • [38] 38 ist ein Flussdiagramm anschließend an 37 zum Beschreiben des Festlegeprozesses für ein geeignetes Informationsüberlagerungssichtfeld, der in Schritt S3 aus 36 ausgeführt wird.
    • [39] 39 ist ein Flussdiagramm, das einen Überlagerungszielrahmenauswahlprozess veranschaulicht, der in Schritt S4 aus 36 ausgeführt wird.
    • [40] 40 ist ein Flussdiagramm, das einen Anzeigeprozess veranschaulicht, der in Schritt S5 aus 36 ausgeführt wird.
    • [41] 41 ist ein Flussdiagramm zum Beschreiben eines Voranalyseprozesses von Inhalt.
    • [42] 42 ist ein Diagramm, das einen Überblick eines Beispiels für das Überlagern, Defokussieren and Anzeigen des Inhalts auf geeigneten Informationsüberlagerungsrahmen gemäß einer Blickpunktposition des Benutzers, wenn es einen Benutzer gibt, gemäß einer zweiten Ausführungsform der vorliegenden Technik beschreibt.
    • [43] 43 ist ein Diagramm das ein Festlegebeispiel eines Defokussierungsbereichs beschreibt, falls es einen geeigneten Informationsüberlagerungsrahmen gibt.
    • [44] 44 ist ein Diagramm, das ein Festlegebeispiel für Defokussierungsbereiche, falls es mehrere geeignete Informationsüberlagerungsrahmen gibt, beschreibt und das ein Anzeigebeispiel beschreibt, wenn eine Projektionseinheit eine durchlässige Anzeige ist.
    • [45] 45 ist ein Diagramm, das ein Konfigurationsbeispiel der Anzeigesteuereinheit gemäß der zweiten Ausführungsform der vorliegenden Technik beschreibt.
    • [46] 46 ist ein Diagramm, das ein Konfigurationsbeispiel einer Anzeigeverarbeitungseinheit aus 45 beschreibt.
    • [47] 47 ist ein Flussdiagramm, das einen Anzeigeprozess der Anzeigesteuereinheit aus 45 beschreibt.
    • [48] 48 ist ein Flussdiagramm, das einen Defokussierungsbereichskartenerzeugungsprozess aus Schritt S202 in 47 beschreibt.
    • [49] 49 ist ein Diagramm, das ein Konfigurationsbeispiel der Anzeigeverarbeitungseinheit, wenn die Projektionseinheit eine nichtdurchlässige Anzeigeeinheit ist, gemäß einer Modifikation der zweiten Ausführungsform der vorliegenden Technik beschreibt.
    • [50] 50 ist ein Flussdiagramm, das einen Anzeigeprozess der Anzeigesteuereinheit aus 45 beschreibt, in dem die Anzeigeverarbeitungseinheit aus 49 angewandt wird.
    • [51] 51 ist ein Diagramm, das ein Festlegebeispiel für die Defokussierungsbereiche, falls es mehrere geeignete Informationsüberlagerungsrahmen gibt, beschreibt und das ein Anzeigebeispiel beschreibt, wenn die Projektionseinheit eine nichtdurchlässige Anzeige ist.
    • [52] 52 ist ein Diagramm, das einen Überblick eines Beispiels für das Überlagern, Defokussieren and Anzeigen des Inhalts auf den geeigneten Informationsüberlagerungsrahmen gemäß den Blickpunktpositionen mehrerer Benutzer, wenn es mehrere Benutzer gibt, gemäß einer dritten Ausführungsform der vorliegenden Technik beschreibt.
    • [53] 53 ist ein Diagramm, das ein Konfigurationsbeispiel einer Anzeigeeinheit beschreibt, die einen Flüssigkristallpolarisationsverschluss verwendet, falls der Inhalt gemäß den Blickpunktpositionen mehrerer Benutzer, wenn es mehrere Benutzer gibt, auf geeigneten Informationsüberlagerungsrahmen überlagert, defokussiert und angezeigt wird.
    • [54] 54 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Fahrzeugsteuersystems der dritten Ausführungsform veranschaulicht.
    • [55] 55 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Anzeigeverarbeitungseinheit veranschaulicht, wenn der Flüssigkristallpolarisationsverschluss für die Anzeigeeinheit in der Anzeigesteuereinheit der Ausgabesteuereinheit in dem Fahrzeugsteuersystem aus 54 verwendet wird.
    • [56] 56 ist ein Flussdiagramm, das einen Anzeigeprozess der Anzeigesteuereinheit aus 45 beschreibt, in dem die Anzeigeverarbeitungseinheit aus 55 angewandt wird.
    • [57] 57 ist ein Diagramm, das ein Konfigurationsbeispiel der Anzeigeeinheit beschreibt, die Lentikularlinsen verwendet, falls der Inhalt gemäß den Blickpunktpositionen mehrerer Benutzer, wenn es mehrere Benutzer gibt, auf geeigneten Informationsüberlagerungsrahmen überlagert, defokussiert und angezeigt wird.
    • [58] 58 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Anzeigeverarbeitungseinheit veranschaulicht, wenn die Lentikularlinsen für die Anzeigeeinheit in der Anzeigesteuereinheit der Ausgabesteuereinheit in dem Fahrzeugsteuersystem aus 54 verwendet werden.
    • [59] 59 ist ein Flussdiagramm, das einen Anzeigeprozess der Anzeigesteuereinheit aus 45 beschreibt, in dem die Anzeigeverarbeitungseinheit aus 58 angewandt wird.
    • [60] 60 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Computers veranschaulicht.
  • [Beschreibung der Ausführungsformen]
  • Nachfolgend werden Ausführungsformen der vorliegenden Technik beschrieben. Die Ausführungsformen werden in der folgenden Reihenfolge beschrieben.
    1. 1. Erste Ausführungsform
      • 1-1. Anzeigebeispiel für den Inhalt
      • 1-2. Konfigurationsbeispiel eines Fahrzeugsteuersystems
      • 1-3. Fahrzeugbewegungssteuersystem
      • 1-4. Modifikation
    2. 2. Zweite Ausführungsform
      • 2-1. Überblick der zweiten Ausführungsform
      • 2-2. Festlegebeispiel für den Defokussierungsbereich
      • 2-3. Festlegebeispiel für Defokussierungsbereiche, falls es mehrere geeignete Informationsüberlagerungsrahmen gibt
      • 2-4. Konfigurationsbeispiel der zweiten Ausführungsform der Anzeigesteuereinheit
      • 2-5. Modifikation
    3. 3. Dritte Ausführungsform
      • 3-1. Überblick der dritten Ausführungsform
      • 3-2. Konfigurationsbeispiel eines Fahrzeugsteuersystems
      • 3-3. Anzeigeprozess der Anzeigeverarbeitungseinheit in 55
      • 3-4. Modifikation
  • <<<1. Erste Ausführungsform>>>
  • <<1-1. Anzeigebeispiel für den Inhalt>>>
  • 1 ist ein Diagramm, das einen Innenraum nahe einem Fahrersitz eines Fahrzeugs, das mit einem Fahrzeugsteuersystem versehen ist, gemäß einer Ausführungsform der vorliegenden Technik veranschaulicht.
  • Wie in 1 veranschaulicht, ist eine Windschutzscheibe G jenseits eines Armaturenbretts bei Betrachtung von einem Benutzer(Fahrer) aus, der in dem Fahrersitz sitzt, bereitgestellt. Das Fahrzeugsteuersystem zeigt Inhalt durch zum Beispiel Projizieren eines Bildes auf die Windschutzscheibe G an. Der Benutzer betrachtet den Inhalt über einer Szene, die durch die Windschutzscheibe G betrachtet werden kann.
  • Es wird angemerkt, dass, obwohl der den Inhalt betrachtende Insasse des Fahrzeugs in dem unten beschriebenen Fall der Fahrer ist, der den Inhalt betrachtende Benutzer auch ein anderer Benutzer sein kann, der auf dem Vordersitz oder dem Rücksitz sitzt.
  • Beispiele für den anzuzeigenden Inhalt schließen Bilder ein, die verschiedene Typen von Informationen repräsentieren, wie etwa Unterhaltungsinformationen, praktische Informationen und Werbung. Die als Inhalt angezeigten Bilder sind in manchen Fällen Bewegtbilder und in anderen Fällen Standbilder. Die Bilder können Symbole aufweisen oder nicht.
  • Eine Projektionseinheit, die eine AR-Anzeige des Inhalts realisiert, ist in einer vorbestimmten Position bereitgestellt, zum Beispiel auf der Rückseite des Rückspiegels und der oberen Oberfläche des Armaturenbretts. Außer der Projektionseinheit können verschiedene Vorrichtungen, die virtuelle Bilder projizieren, als Vorrichtungen verwendet werden, die die AR-Anzeige realisieren. Zum Beispiel kann eine durchlässige Anzeige, die an der Windschutzscheibe G angebracht ist, verwendet werden oder kann eine HMD (Head Mounted Display - am Kopf getragene Anzeige), die von dem Benutzer getragen wird, verwendet werden.
  • Das Fahrzeugsteuersystem verwendet einen optimalen Ausdruck, um den Inhalt an einem optimalen Ort in der Szene anzuzeigen. Insbesondere kann unter Rahmen, die auf einer Wandoberfläche eines Objekts, wie etwa eines Gebäudes, das in der Szene existiert, festgelegt werden, ein Rahmen, der durch den Benutzer einfach betrachtet werden kann, basierend auf einem Bewegungszustand als der optimale Ort ausgewählt werden. Außerdem wird, um den Inhalt so bereitzustellen, als ob der Inhalt tatsächlich auf die Wandoberfläche des Gebäudes projiziert würde, der Inhalt nach dem Ausführen einer Bildverarbeitung gemäß dem Aussehen der Wandoberfläche angezeigt.
  • 2 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts veranschaulicht.
  • Eine Szene, die in einem Bereich eines in 2 veranschaulichten horizontal langen Rechtecks dargestellt ist, repräsentiert einen Teil der Szene, die durch den in dem Fahrersitz sitzenden Benutzer betrachtet wird. Eine Kurve nach rechts kann vor dem Fahrzeug gesehen werden. Es gibt ein Gebäude B1 auf der Innenseite rechts von der Kurve und es gibt ein Gebäude B2 auf der Außenseite der Kurve. Es gibt ein Gebäude B3 weiter hinter dem Gebäude B2 entlang der Straße.
  • Wie in 2 veranschaulicht, wird ein rechteckiger Rahmen, der gemäß der Orientierung der Wandoberfläche modifiziert wird, auf der Wandoberfläche des Gebäudes B1 festgelegt und wird ein Inhalt C1 in dem Rahmen angezeigt.
  • Gleichermaßen wird ein Inhalt C2 in dem auf der Wandoberfläche des Gebäudes B2 festgelegten Rahmen angezeigt und wird ein Inhalt C3 in dem auf der Wandoberfläche des Gebäudes B3 festgelegten Rahmen angezeigt. Der Inhalt wird auf der Wandoberfläche eines Gebäudes in einer kürzeren Entfernung groß angezeigt und der Inhalt wird auf der Wandoberfläche eines Gebäudes in einer weiten Entfernung klein angezeigt.
  • Die Fahrzeuggeschwindigkeit wird oben links angezeigt. Auf diese Weise können verschiedene Typen von Informationen außer dem Inhalt ebenfalls angezeigt werden.
  • 3 stellt Diagramme dar, die jeweils ein Anzeigebeispiel des Inhalts zum Realisieren des in 2 veranschaulichten Aussehens der Szene veranschaulichen.
  • A aus 3 veranschaulicht eine tatsächliche Szene, die vor dem Benutzer gesehen wird. Wie in A aus 3 veranschaulicht, kann die Kurve nach rechts vor dem Fahrzeug gesehen werden und können die Gebäude B1 bis B3 entlang der Straße in der tatsächlichen Szene gesehen werden.
  • Die Inhalte C1 bis C3 werden in der Szene in einer Form wie in B aus 3 veranschaulicht angezeigt und das gleiche Aussehen des Inhalts wie in 2 wird realisiert, wie in C aus 3 veranschaulicht ist.
  • 4 ist ein Diagramm, das die Anzeige des Inhalts schematisch veranschaulicht.
  • Der Inhalt wird angezeigt, indem das Bild in einem Gebiet auf der Windschutzscheibe G angezeigt wird, das dem auf dem Gebäude festgelegten Rahmen entspricht. Basierend auf einer Position P, die die Position des Benutzers ist, ist ein Gebiet innerhalb gerader Linien, die die Position P und den Rahmen (diagonaler Linienteil) verbinden, das Gebiet auf der Windschutzscheibe G, das dem Rahmen entspricht. Eine horizontale Linie in 4 repräsentiert die Windschutzscheibe G als eine Anzeigeoberfläche zwischen dem Benutzer und dem Gebäude.
  • Bei dem Beispiel aus 4 ist ein Gebiet auf der Windschutzscheibe G, das einem auf dem Gebäude B1' festgelegten Rahmen entspricht, ein Gebiet G1 und ist ein Gebiet auf der Windschutzscheibe G, das einem auf einem Gebäude B2' festgelegten Rahmen entspricht, ein Gebiet G2. Der Inhalt kann sowohl in dem Gebiet G1 als auch dem Gebiet G2 angezeigt werden, um das Aussehen so zu erzeugen, als würde der Inhalt auf jeder der Wandoberflächen des Gebäudes B1' und des Gebäudes B2' angezeigt.
  • Der Benutzer betrachtet den in dem Gebiet G1 angezeigten Inhalt über dem durch die Windschutzscheibe G betrachteten Gebäude B1'. Außerdem betrachtet der Benutzer den in dem Gebiet G2 angezeigten Inhalt über dem durch die Windschutzscheibe G betrachteten Gebäude B2'. Auf diese Weise kann der Benutzer verschiedene Typen von Informationen so betrachten, als würden die Informationen auf den Wandoberflächen der Gebäude angezeigt.
  • Auf diese Weise wird die Überlagerung des Inhalts auf den auf den Wandoberflächen der Gebäude festgelegten Rahmen realisiert, indem die Bilder auf der Windschutzscheibe G angezeigt werden.
  • Der angezeigte Inhalt wird in Echtzeit gemäß dem Fahrtzustand (Bewegungszustand) während der Fahrt des Fahrzeugs aktualisiert. Das Aussehen des Inhalts ändert sich auch mit einer Änderung des Aussehens der Szene von dem Fahrersitz aus.
  • 5 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 2 veranschaulicht.
  • Der Zustand aus 5 ist ein Zustand, in dem das Fahrzeug der Kurve folgt. Der Großteil des betrachteten Gebäudes B1 auf der rechten Seite liegt außerhalb des Sichtfeldes und der auf dem Gebäude B1 überlagerte Inhalt C1 kann nicht gesehen werden.
  • Außerdem kommt das Gebäude B2 vor dem Fahrzeug näher und wird der Inhalt C2 größer als in dem Zustand aus 2 angezeigt. Der Inhalt C2 wird basierend auf der Positionsbeziehung zwischen dem Fahrzeug und der Wandoberfläche des Gebäudes B2 in einer solchen Größe und einer Form angezeigt, als ob der Inhalt C2 auf der Wandoberfläche des Gebäudes B2 angezeigt würde. Die Einzelheiten des angezeigten Inhalts C2 ändern sich auch mit verstreichender Zeit.
  • Gleichermaßen ändert sich die Anzeige des Inhalts C3 auch mit einer Änderung des Aussehens des Gebäudes B3.
  • Außerdem ist ein Gebäude B4, das in dem Zustand aus 2 nicht betrachtet wird, bei dem Beispiel aus 5 neu hinter dem Gebäude B3 zu sehen. Rahmen werden auch auf zwei Wandoberflächen des Gebäudes B4 festgelegt, die von dem Benutzer aus gesehen werden können, und ein Inhalt C4-1 und ein Inhalt C4-2 werden jeweils auf den Rahmen überlagert.
  • 6 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 5 veranschaulicht.
  • Der Zustand aus 6 ist ein Zustand, in dem sich das Fahrzeug, nachdem es der Kurve folgte, geradeaus entlang der Straße bewegt. Der Großteil des betrachteten Gebäudes B2 auf der linken Seite liegt außerhalb des Sichtfeldes und der auf dem Gebäude B2 überlagerte Inhalt C2 kann nicht gesehen werden.
  • Des Weiteren können zusätzlich zu einem Gebäude B5, das in dem Zustand aus 5 kaum zu sehen ist, Gebäude B6 und B7 im Voraus gesehen werden und wird ein Inhalt auf jeder der Wandoberflächen überlagert.
  • 7 ist ein Diagramm, das ein Beispiel für das Aussehen des Inhalts nach einem Verstreichen einer gewissen Zeit von dem Zustand aus 6 veranschaulicht.
  • Der Zustand aus 7 ist ein Zustand, in dem sich das Fahrzeug bei einer Position vor dem Gebäude B4 geradeaus bewegt. Die Anzeige des auf jedem der Gebäude B4 bis B7 überlagerten Inhalts wird mit einer Änderung des Aussehens des Gebäudes geändert. Außerdem kann ein Gebäude B8, das in dem Zustand aus 6 kaum zu sehen ist, groß auf der rechten Seite gesehen werden und wird ein Inhalt auch auf der Wandoberfläche des Gebäudes B8 überlagert.
  • Es wird angemerkt, dass, obwohl die Rahmen in dem hier beschriebenen Fall auf den Wandoberflächen der Gebäude festgelegt werden, die Rahmen auch auf verschiedenen Strukturen, wie etwa einem Wasserspeicherungstank und Schallschutzwänden, die auf beiden Seiten einer Fernstraße installiert sind, festgelegt werden und der Inhalt überlagert wird. Das Ziel des Festlegens der Rahmen ist nicht auf die Strukturen beschränkt und das Ziel kann auch natürliche Objekte sein, wie etwa ein Hang eines Berges, der in einer weiten Entfernung zu sehen ist, und eine Meeresoberfläche. Die Rahmen können auch auf der Straße selbst festgelegt werden und der Inhalt kann überlagert werden.
  • Das heißt, die Rahmen können auf verschiedenen Objekten in dem Sichtfeld des Benutzers, der das Fahrzeug fährt, festgelegt werden und der Inhalt kann überlagert werden. In der folgenden Beschreibung ist das Objekt als eine Überlagerungsstelle des Inhalts hauptsächlich das Gebäude.
  • Auf diese Weise zeigt das Fahrzeugsteuersystem den Inhalt an, indem der Inhalt auf das während des Fahrens betrachtete Gebäude projiziert wird. Des Weiteren wird der auf dem Gebäude überlagerte Inhalt angezeigt, indem die Form und die Größe gemäß der Änderung des durch den Benutzer gesehenen Aussetzens geändert werden.
  • Wie später ausführlich beschrieben, wird eine Bildverarbeitung tatsächlich auf den Inhalt durch Reduzieren des Kontrasts, falls sich das Gebäude in einer großen Entfernung befindet, so dass das Gebäude verschwommen aussieht, oder durch Reduzieren des Kontrasts, falls starkes Licht auf das Gebäude scheint, so dass das Gebäude hell aussieht, angewandt.
  • Der Inhalt wird in einer solchen Form angezeigt, als ob der Inhalt auf dem Gebäude angezeigt würde, und die Anzeige ändert sich mit einer Änderung des Aussehens der Szene. Daher kann der Benutzer den Inhalt während des Fahrens in einer natürlichen Form betrachten.
  • Ein Prozess des Fahrzeugsteuersystems, der die Anzeige des Inhalts realisiert, wird später unter Bezugnahme auf Flussdiagramme beschrieben.
  • <<1-2. Konfigurationsbeispiel eines Fahrzeugsteuersystems>>
  • <1-2-1. Gesamtkonfiguration des Fahrzeugsteuersystems>
  • 8 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Fahrzeugsteuersystems 100 veranschaulicht. Das in 8 veranschaulichte Fahrzeugsteuersystem 100 fungiert als eine Informationsverarbeitungseinrichtung.
  • Es wird angemerkt, dass, falls das mit dem Fahrzeugsteuersystem 100 versehene Fahrzeug von anderen Fahrzeugen unterschieden werden soll, das Fahrzeug angemessen als ein Auto des Benutzers oder ein Fahrzeug des Benutzers bezeichnet wird.
  • Das Fahrzeugsteuersystem 100 weist Folgendes auf: eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine Fahrzeuginnenvorrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Fahrtsteuereinheit 107, ein Fahrtsystem 108, eine Karosseriesteuereinheit 109, ein Karosseriesystem 110, eine Speicherungseinheit 111 und eine Automatisches-Fahren-Steuereinheit 112. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Fahrtsteuereinheit 107, die Karosseriesteuereinheit 109, die Speicherungseinheit 111 und die Automatisches-Fahren-Steuereinheit 112 sind durch ein Kommunikationsnetz 121 miteinander verbunden.
  • Das Kommunikationsnetz 121 weist zum Beispiel ein Onboard-Kommunikationsnetz, das einem beliebigen Standard, wie etwa CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) und FlexRay (eingetragenes Markenzeichen) entspricht, einen Bus und dergleichen auf. Die Komponenten des Fahrzeugsteuersystems 100 können direkt ohne die Beteiligung des Kommunikationsnetzes 121 verbunden sein.
  • Die Eingabeeinheit 101 weist eine Einrichtung auf, die von dem Insassen verwendet wird, um verschiedene Daten, Anweisungen und dergleichen einzugeben. Zum Beispiel weist die Eingabeeinheit 101 eine Bedienungsvorrichtung, wie etwa ein Berührungsfeld, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, eine Bedienungsvorrichtung, mit der eine Eingabe unter Verwendung eines anderen Verfahrens als eine manuelle Bedienung, wie etwa durch Ton oder Geste vorgenommen werden kann, und dergleichen auf.
  • Zusätzlich dazu kann die Eingabeeinheit 101 zum Beispiel eine Fernsteuereinrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder kann eine externe Verbindungsvorrichtung sein, wie etwa eine mobile Vorrichtung oder eine Wearable-Vorrichtung, die dem Betrieb des Fahrzeugsteuersystems 100 entspricht. Die Eingabeeinheit 101 erzeugt ein Eingabesignal auf Basis von Daten, einem Befehl oder dergleichen, die/der durch den Insassen eingegeben werden/wird, und liefert das Eingabesignal an jede Komponente des Fahrzeugsteuersystems 100.
  • Die Datenerfassungseinheit 102 weist verschiedene Sensoren und dergleichen auf, die Daten erfassen, die für den Prozess des Fahrzeugsteuersystems 100 verwendet werden sollen, und liefert die erfassten Daten an jede Komponente des Fahrzeugsteuersystems 100.
  • Zum Beispiel weist die Datenerfassungseinheit 102 verschiedene Sensoren zum Detektieren des Zustands und dergleichen des Autos des Benutzers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Gyroskopsensor, einen Beschleunigungssensor, eine Inertialmesseinrichtung (IMU) und Sensoren zum Detektieren eines Betätigungsausmaßes eines Gaspedals, eines Betätigungsausmaßes eines Bremspedals, eines Lenkwinkels eines Lenkrads, einer Verbrennungsmotorgeschwindigkeit, einer Motorgeschwindigkeit, einer Drehzahl eines Rades und dergleichen, auf.
  • Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen außerhalb des Autos des Benutzers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel eine Bildgebungseinrichtung auf, wie etwa eine ToF-Kamera (Time Of Flight - Laufzeit), eine Stereokamera, eine Monokularkamera, eine Infrarotkamera und andere Kameras. Außerdem weist die Datenerfassungseinheit 102 zum Beispiel Umfeldsensoren zum Detektieren von Wetter, Klimabedingungen und dergleichen und Umgebungsinformationsdetektionssensoren zum Detektieren von Objekten um das Auto des Benutzers herum auf. Die Umfeldsensoren weisen zum Beispiel einen Regensensor, einen Nebelsensor, einen Sonnenlichtsensor, einen Schneesensor und dergleichen auf. Die Umgebungsinformationsdetektionssensoren weisen zum Beispiel einen Ultraschallsensor, ein Radar, ein LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung), ein Sonar und dergleichen auf.
  • Des Weiteren weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren einer aktuellen Position des Autos des Benutzers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen GNSS-Empfänger oder dergleichen auf, der ein Signal von einem GNSS(globales Navigationssatellitensystem)-Satelliten empfängt.
  • Außerdem weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen innerhalb des Fahrzeugs auf. Die Datenerfassungseinheit 102 weist zum Beispiel insbesondere eine Bildgebungseinrichtung, die den Fahrer bildlich erfasst, einen Biosensor, der biologische Informationen des Fahrers detektiert, ein Mikrofon, das Geräusche des Fahrzeuginnenraums sammelt, und dergleichen auf. Der Biosensor ist zum Beispiel auf der Sitzoberfläche, dem Lenkrad oder dergleichen bereitgestellt und der Biosensor detektiert biologische Informationen des in dem Sitz sitzenden Insassen oder des Fahrers, der das Lenkrad hält.
  • Die in der Datenerfassungseinheit 102 enthaltene Kamera erfasst die Szene in der Fahrtrichtung des Fahrzeugs bildlich. Ein Szenenbild, das durch die Kamera aufgenommen wird, wird analysiert, um die Anwesenheit oder Abwesenheit von Gebäuden, die Helligkeit der Gebäude, die Helligkeit der Umgebung und dergleichen zu spezifizieren.
  • Außerdem wird der Zustand des Fahrzeugs, wie etwa die Fahrtrichtung und die Geschwindigkeit, basierend auf den Ergebnissen spezifiziert, die durch verschiedene in der Datenerfassungseinheit 102 enthaltene Sensoren detektiert werden. Der vorgegebene Zustand des Fahrzeugs wird zur Vorhersage oder dergleichen der Fahrtroute des Fahrzeugs verwendet.
  • Die Kommunikationseinheit 103 kommuniziert mit der Fahrzeuginnenvorrichtung 104 sowie verschiedenen Vorrichtungen, Servern, Basisstationen und dergleichen außerhalb des Fahrzeugs, um Daten, die von jeder der Komponenten des Fahrzeugsteuersystems 100 geliefert werden, zu übertragen und um empfangene Daten an jede der Komponenten des Fahrzeugsteuersystems 100 zu liefern. Es ist zu beachten, dass das durch die Kommunikationseinheit 103 unterstützte Kommunikationsprotokoll nicht speziell beschränkt ist und die Kommunikationseinheit 103 auch mehrere Arten von Kommunikationsprotokollen unterstützen kann.
  • Zum Beispiel verwendet die Kommunikationseinheit 103 Wireless-LAN, Bluetooth (eingetragenes Markenzeichen), NFC (Nahfeldkommunikation), WUSB (Wireless-USB) oder dergleichen, um drahtlos mit der Fahrzeuginnenvorrichtung 104 zu kommunizieren. Außerdem verwendet die Kommunikationseinheit 103 USB (Universal Serial Bus), HDMI (eingetragenes Markenzeichen) (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link) oder dergleichen, um eine drahtgebundene Kommunikation durch einen Verbindungsanschluss (und falls notwendig ein Kabel), der nicht veranschaulicht ist, mit der Fahrzeuginnenvorrichtung 104 durchzuführen.
  • Die Kommunikationseinheit 103 kommuniziert durch eine Basisstation oder einen Zugangspunkt mit einer Vorrichtung (zum Beispiel einem Anwendungsserver oder einem Steuerserver), die in einem externen Netz (zum Beispiel dem Internet, einem Cloud-Netz oder einem für einen Dienstanbieter spezifischen Netz) vorhanden ist.
  • Der auf der Szene zu überlagernde Inhalt kann von einem Server erlangt werden, der den Inhalt verwaltet. In diesem Fall kommuniziert die Kommunikationseinheit 103 mit dem Server, um den Inhalt zu erlangen. Der durch die Kommunikationseinheit 103 erlangte Inhalt wird zum Beispiel an die Speicherungseinheit 111 geliefert und in dieser gespeichert.
  • Die Kommunikationseinheit 103 verwendet eine P2P(Peer To Peer)-Technik, um mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Geschäfts oder einem MTC(Machine Typ Communication - Maschinentypkommunikation)-Endgerät) zu kommunizieren, das in der Nähe des Autos des Benutzers vorhanden ist. Außerdem führt die Kommunikationseinheit 103 eine V2X-Kommunikation durch, wie etwa eine Fahrzeug-zu-Fahrzeug-Kommunikation, eine Fahrzeug-zu-Infrastruktur-Kommunikation, eine Fahrzeug-zu-Haus-Kommunikation oder eine Fahrzeug-zu-Fußgänger-Kommunikation. Die Kommunikationseinheit 103 weist eine Beacon-Empfangseinheit auf und empfängt eine Funkwelle oder eine elektromagnetische Welle, die von einer auf der Straße installierten Drahtlosstation oder dergleichen emittiert wird, um Informationen bezüglich einer aktuellen Position, Stau, einer Verkehrsregelung, einer erforderlichen Zeit oder dergleichen, zu erlangen.
  • Die Fahrzeuginnenvorrichtung 104 weist zum Beispiel eine mobile Vorrichtung oder Wearable-Vorrichtung, die dem Insassen gehört, eine Informationsvorrichtung, die in dem Auto des Benutzers mitgeführt oder an diesem angebracht ist, und eine Navigationseinrichtung, die nach einer Route zu einem beliebigen Ziel sucht, und dergleichen auf.
  • Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Arten von Informationen an den Insassen des Autos des Benutzers oder an den Außenbereich des Fahrzeugs. Zum Beispiel erzeugt die Ausgabesteuereinheit 105 ein Ausgabesignal, das visuelle Informationen (zum Beispiel Bilddaten) und/oder akustische Informationen (zum Beispiel Audiodaten) aufweist, und liefert das Ausgabesignal an die Ausgabeeinheit 106, um die Ausgabe der visuellen Informationen und der akustischen Informationen von der Ausgabeeinheit 106 zu steuern.
  • Insbesondere kombiniert die Ausgabesteuereinheit 105 zum Beispiel Bilddaten, die durch verschiedene Bildgebungseinrichtungen der Datenerfassungseinheit 102 bildlich erfasst wurden, um ein Vogelperspektivenbild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgabesignal einschließlich des erzeugten Bildes an die Ausgabeeinheit 106. Außerdem erzeugt die Ausgabesteuereinheit 105 zum Beispiel Audiodaten einschließlich eines Warntons, einer Warnnachricht oder dergleichen für eine Gefahr, wie etwa eine Kollision, einen Kontakt und einen Eintritt in eine Gefahrenzone, und liefert ein Ausgabesignal einschließlich der erzeugten Audiodaten an die Ausgabeeinheit 106.
  • Die Ausgabeeinheit 106 weist eine Einrichtung auf, die die visuellen Informationen oder die akustischen Informationen an den Insassen des Autos des Benutzers oder den Außenbereich des Fahrzeugs ausgeben kann. Zum Beispiel weist die Ausgabeeinheit 106 eine Anzeigeeinrichtung, ein Instrumentenfeld, einen Audiolautsprecher, Kopfhörer, eine Wearable-Vorrichtung, wie etwa ein Head-Mounted Display, das von einem Insassen getragen wird, eine Lampe und dergleichen auf.
  • Außerdem weist die Ausgabeeinheit 106 eine Projektionseinheit 106A auf. Die Projektionseinheit 106A ist eine Anzeigevorrichtung, wie etwa ein HUD und eine durchlässige Anzeige, mit einer AR-Anzeigefunktion. Die Projektionseinheit 106A projiziert verschiedene Typen von Informationen, wie etwa einen Inhalt, auf die Windschutzscheibe G, wie oben beschrieben ist.
  • Die Fahrtsteuereinheit 107 liefert verschiedene Steuersignale an das Fahrtsystem 108, um das Fahrtsystem 108 zu steuern. Außerdem liefert die Fahrtsteuereinheit 107 Steuersignale nach Bedarf an Komponenten außer dem Fahrtsystem 108, um eine Benachrichtigung oder dergleichen über den Steuerzustand des Fahrtsystems 108 zu senden.
  • Das Fahrtsystem 108 weist verschiedene Einrichtungen bezüglich des Fahrtsystems des Autos des Benutzers auf. Zum Beispiel weist das Fahrtsystem 108 eine Antriebskrafterzeugungseinrichtung, wie etwa einen Verbrennungsmotor oder einen Antriebsmotor, zum Erzeugen einer Antriebskraft, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf das Rad, einen Lenkmechanismus, der den Lenkwinkel anpasst, eine Bremseinrichtung zum Erzeugen einer Bremskraft, ein ABS (Antiblockiersystem), eine ESC (elektronische Stabilitätskontrolle), eine elektrische Servolenkeinrichtung und dergleichen auf.
  • Die Karosseriesteuereinheit 109 erzeugt verschiedene Steuersignale und liefert die Steuersignale an das Karosseriesystem 110, um das Karosseriesystem 110 zu steuern. Außerdem liefert die Karosseriesteuereinheit 109 die Steuersignale nach Bedarf an Komponenten außer dem Karosseriesystem 110, um eine Benachrichtigung oder dergleichen über den Steuerzustand des Karosseriesystems 110 zu senden.
  • Das Karosseriesystem 110 weist verschiedene Einrichtungen der Karosserie auf, mit denen die Fahrzeugkarosserie ausgestattet ist. Beispielsweise weist das Karosseriesystem 110 ein schlüsselloses Zugangssystem, ein Smart-Schlüssel-System, eine elektrische Fensterhebereinrichtung, einen elektrischen Sitz, ein Lenkrad, eine Klimaanlage, verschiedene Leuchten (z. B. einen Scheinwerfer, eine Rückleuchte, eine Bremsleuchte, einen Fahrtrichtungsanzeiger, eine Nebelleuchte und dergleichen) und dergleichen auf.
  • Die Speicherungseinheit 111 weist eine Speicherungsvorrichtung, wie etwa ein SSD (Solid State Drive - Festkörperlaufwerk) und ein HDD (Hard Disc Drive - Festplattenlaufwerk) auf. Die Speicherungseinheit 111 speichert Programme, Daten und dergleichen, die durch Komponenten des Fahrzeugsteuersystems 100 verwendet werden.
  • Zum Beispiel werden Kartendaten, wie etwa eine dreidimensionale hochgenaue Karte, wie eine dynamische Karte, eine globale Karte, die einen weiten Bereich mit niedrigerer Genauigkeit als die hochgenaue Karte abdeckt, und eine lokale Karte, die Informationen bezüglich der Umgebung des Autos des Benutzers aufweist, in der Speicherungseinheit 111 gespeichert.
  • Die Automatisches-Fahren-Steuereinheit 112 führt eine Steuerung in Bezug auf automatisches Fahren durch, wie etwa eine autonome Fahrt oder eine Fahrunterstützung. Zum Beispiel führt die Automatisches-Fahren-Steuereinheit 112 eine kooperative Steuerung zum Realisieren von Funktionen von ADAS (Advanced Driver Assistance System - Fahrerassistenzsystem) durch, einschließlich einer Kollisionsvermeidung oder Aufprallabschwächung des Autos des Benutzers, einer Folgefahrt basierend auf dem folgenden Abstand, einer Fahrt mit konstanter Geschwindigkeit, einer Kollisionswarnung des Autos des Benutzers, einer Warnung des Verlassens der Fahrspur des Autos des Benutzers und dergleichen. Außerdem führt die Automatisches-Fahren-Steuereinheit 112 eine kooperative Steuerung durch, die auf automatisches Fahren oder dergleichen zur autonomen Fahrt unabhängig von der Bedienung des Fahrers abzielt.
  • Die Automatisches-Fahren-Steuereinheit 112 weist eine Detektionseinheit 131, eine Selbstpositionsschätzungseinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Bewegungssteuereinheit 135 auf.
  • Die Detektionseinheit 131 detektiert verschiedene Arten von Informationen, die zur Steuerung des automatischen Fahrens erforderlich sind. Die Detektionseinheit 131 weist eine Fahrzeugaußeninformationsdetektionseinheit 141, eine Fahrzeuginneninformationsdetektionseinheit 142 und eine Fahrzeugzustandsdetektionseinheit 143 auf.
  • Die Fahrzeugaußeninformationsdetektionseinheit 141 führt einen Detektionsprozess für Informationen außerhalb des Autos des Benutzers basierend auf Daten oder einem Signal von jeder Komponente des Fahrzeugsteuersystems 100 aus. Zum Beispiel führt die Fahrzeugaußeninformationsdetektionseinheit 141 einen Detektionsprozess, einen Erkennungsprozess und einen Verfolgungsprozess eines Objekts um das Auto des Benutzers sowie einen Detektionsprozess der Entfernung zu dem Objekt aus. Beispiele für das zu detektierende Objekt schließen ein Fahrzeug, eine Person, ein Hindernis, eine Struktur, eine Straße, eine Verkehrssignalanlage, ein Verkehrszeichen, ein Straßenzeichen und dergleichen ein.
  • Außerdem führt die Fahrzeugaußeninformationsdetektionseinheit 141 einen Detektionsprozess für die Umgebung um das Auto des Benutzers aus. Beispiele für die zu detektierende Umgebung schließen Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit, einen Zustand einer Straßenoberfläche und dergleichen ein. Die Fahrzeugaußeninformationsdetektionseinheit 141 liefert Daten, die die Ergebnisse des Detektionsprozesses angeben, an die Selbstpositionsschätzungseinheit 132, eine Kartenanalyseeinheit 151, eine Verkehrsregelerkennungseinheit 152 und eine Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, eine Notfallvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
  • Die Fahrzeuginneninformationsdetektionseinheit 142 führt einen Detektionsprozess für Informationen innerhalb des Fahrzeugs basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100 aus. Zum Beispiel führt die Fahrzeuginneninformationsdetektionseinheit 142 einen Authentifizierungsprozess und einen Erkennungsprozess des Fahrers, einen Detektionsprozess des Zustands des Fahrers, einen Detektionsprozess des Insassen, einen Detektionsprozess der Umgebung innerhalb des Fahrzeugs und dergleichen durch. Beispiele für den zu detektierenden Zustand des Fahrers schließen die physische Verfassung, Aufmerksamkeit, Konzentration, Ermüdung, eine Blicklinienrichtung und dergleichen ein. Beispiele für die zu detektierende Umgebung innerhalb des Fahrzeugs schließen die Temperatur, Luftfeuchtigkeit, Helligkeit, Geruch und dergleichen ein. Die Fahrzeuginneninformationsdetektionseinheit 142 liefert Daten, die das Ergebnis des Detektionsprozesses angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
  • Die Fahrzeugzustandsdetektionseinheit 143 führt einen Detektionsprozess des Zustands des Autos des Benutzers basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100 aus. Beispiele für den zu detektierenden Zustand des Autos des Benutzers schließen die Geschwindigkeit, die Beschleunigung, den Lenkwinkel, die Anwesenheit/Abwesenheit und Einzelheiten einer Abnormalität, den Zustand des Fahrtbetriebs, die Position und die Neigung eines elektrischen Sitzes, den Zustand einer Türverriegelung, den Zustand anderer Onboard-Vorrichtungen und dergleichen ein. Die Fahrzeugzustandsdetektionseinheit 143 liefert Daten, die das Ergebnis des Detektionsprozesses angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, die Notfallvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
  • Die Selbstpositionsschätzungseinheit 132 führt einen Schätzungsprozess einer Position, einer Orientierung und dergleichen des Autos des Benutzers basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Fahrzeugaußeninformationsdetektionseinheit 141 und der Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 aus.
  • Außerdem erzeugt die Selbstpositionsschätzungseinheit 132 eine lokale Karte, die nach Bedarf verwendet wird, um die Selbstposition zu schätzen (die im Folgenden als Selbstpositionsschätzungskarte bezeichnet wird). Die Selbstpositionsschätzungskarte ist eine sehr hochgenaue Karte, die zum Beispiel eine Technik wie SLAM (Simultaneous Localization and Mapping - gleichzeitige Lokalisierung und Kartierung) verwendet.
  • Die Selbstpositionsschätzungseinheit 132 liefert Daten, die die Ergebnisse des Schätzungsprozesses angeben, an die Kartenanalyseeinheit 151, die Verkehrsregelerkennungseinheit 152 und die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und dergleichen. Außerdem verursacht die Selbstpositionsschätzungseinheit 132, dass die Speicherungseinheit 111 die Selbstpositionsschätzungskarte speichert.
  • Die Situationsanalyseeinheit 133 führt einen Analyseprozess der Situation des Autos des Benutzers und der Umgebung aus. Die Situationsanalyseeinheit 133 weist die Kartenanalyseeinheit 151, die Verkehrsregelerkennungseinheit 152, die Situationserkennungseinheit 153 und eine Situationsvorhersageeinheit 154 auf.
  • Die Kartenanalyseeinheit 151 führt einen Analyseprozess verschiedener Karten aus, die in der Speicherungseinheit 111 gespeichert sind, während sie Daten oder Signale von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Selbstpositionsschätzungseinheit 132 und der Fahrzeugaußeninformationsdetektionseinheit 141, nach Bedarf verwendet und eine Karte erstellt, die Informationen enthält, die für den Prozess des automatischen Fahrens erforderlich sind. Die Kartenanalyseeinheit 151 liefert zum Beispiel die erstellte Karte an die Verkehrsregelerkennungseinheit 152, die Situationserkennungseinheit 153 und die Situationsvorhersageeinheit 154 sowie eine Routenplanungseinheit 161, eine Handlungsplanungseinheit 162 und eine Bewegungsplanungseinheit 163 der Planungseinheit 134.
  • Die Verkehrsregelerkennungseinheit 152 führt einen Erkennungsprozess für Verkehrsregeln um das Auto des Benutzers herum basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Selbstpositionsschätzungseinheit 132, der Fahrzeugaußeninformationsdetektionseinheit 141 und der Kartenanalyseeinheit 151, aus. Als ein Ergebnis des Erkennungsprozesses werden zum Beispiel die Position und der Zustand von Signalen um das Auto des Benutzers herum, die Einzelheiten von Verkehrsregeln um das Auto des Benutzers herum, Fahrspuren, auf denen gefahren werden kann, und dergleichen erkannt. Die Verkehrsregelerkennungseinheit 152 liefert Daten, die die Ergebnisse des Erkennungsprozesses angeben, an die Situationsvorhersageeinheit 154 und dergleichen.
  • Die Situationserkennungseinheit 153 führt einen Erkennungsprozess der Situation bezüglich des Autos des Benutzers basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Selbstpositionsschätzungseinheit 132, der Fahrzeugaußeninformationsdetektionseinheit 141, der Fahrzeuginneninformationsdetektionseinheit 142, der Fahrzeugzustandsdetektionseinheit 143 und der Kartenanalyseeinheit 151, aus. Zum Beispiel führt die Situationserkennungseinheit 153 einen Erkennungsprozess der Situation des Autos des Benutzers, der Situation um das Auto des Benutzers herum, der Situation des Fahrers des Autos des Benutzers und dergleichen aus. Außerdem erzeugt die Situationserkennungseinheit 153 eine lokale Karte (die nachfolgend als eine Situationserkennungskarte bezeichnet wird), die nach Bedarf zum Erkennen der Situation um das Auto des Benutzers herum verwendet wird. Die Situationserkennungskarte ist zum Beispiel eine Belegtheitsgitterkarte.
  • Beispiele für die zu erkennenden Situationen des Autos des Benutzers schließen die Position, die Orientierung und die Bewegung (zum Beispiel eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung und dergleichen) des Autos des Benutzers sowie die Anwesenheit/Abwesenheit und die Einzelheiten einer Abnormalität ein. Beispiele für die zu erkennende Situation um das Auto des Benutzers herum schließen einen Typ und eine Position eines umgebenden stationären Objekts, einen Typ, eine Position und eine Bewegung (zum Beispiel eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung und dergleichen) eines umgebenden sich bewegenden Objekts, eine Gestaltung einer umgebenden Straße, den Zustand der Straßenoberfläche und das Wetter, die Temperatur, die Luftfeuchtigkeit und die Helligkeit der Umgebung ein. Beispiele für den zu erkennenden Zustand des Fahrers schließen körperliche Verfassung, Wachsamkeit, Konzentration, Ermüdung, Bewegung einer Blickline und eine Fahrbedienung ein.
  • Die Situationserkennungseinheit 153 liefert Daten (einschließlich der Situationserkennungskarte, falls erforderlich), die die Ergebnisse des Erkennungsprozesses angeben, an die Selbstpositionsschätzungseinheit 132, die Situationsvorhersageeinheit 154 und dergleichen. Außerdem verursacht die Situationserkennungseinheit 153, dass die Speicherungseinheit 111 die Situationserkennungskarte speichert.
  • Die Situationsvorhersageeinheit 154 führt einen Vorhersageprozess der Situation bezüglich des Autos des Benutzers basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Kartenanalyseeinheit 151, der Verkehrsregelerkennungseinheit 152 und der Situationserkennungseinheit 153, aus. Zum Beispiel führt die Situationsvorhersageeinheit 154 einen Vorhersageprozess der Situation des Autos des Benutzers, der Situation um das Auto des Benutzers herum, der Situation des Fahrers und dergleichen aus.
  • Die vorherzusagende Situation des Autos des Benutzers schließt zum Beispiel ein Verhalten des Autos des Benutzers, eine Erzeugung einer Abnormalität, eine mögliche Fahrtentfernung und dergleichen ein. Die vorherzusagende Situation um das Auto des Benutzers herum schließt zum Beispiel ein Verhalten eines sich bewegenden Objekts um das Auto des Benutzers herum, eine Änderung des Zustands eines Signals, eine Änderung des Zustands der Umgebung, wie etwa des Wetters, und dergleichen ein. Die vorherzusagende Situation des Fahrers schließt zum Beispiel ein Verhalten und eine physische Verfassung des Fahrers und dergleichen ein.
  • Die Situationsvorhersageeinheit 154 liefert Daten, die die Ergebnisse des Vorhersageprozesses angeben, zusammen mit den Daten von der Verkehrsregelerkennungseinheit 152 und der Situationserkennungseinheit 153 zum Beispiel an die Routenplanungseinheit 161, die Handlungsplanungseinheit 162 und die Bewegungsplanungseinheit 163 der Planungseinheit 134.
  • Die Routenplanungseinheit 161 plant eine Route zu dem Ziel basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 154. Zum Beispiel legt die Routenplanungseinheit 161 die Route von der aktuellen Position zu einem designierten Ziel basierend auf der globalen Karte fest. Außerdem ändert die Routenplanungseinheit 161 die Route angemessen basierend auf zum Beispiel der Situation eines Staus, eines Unfalls, einer Verkehrsregelung, einer Baustelle und dergleichen, der physischen Verfassung des Fahrers und dergleichen. Die Routenplanungseinheit 161 liefert Daten, die die geplante Route angeben, an die Handlungsplanungseinheit 162 und dergleichen.
  • Die Handlungsplanungseinheit 162 plant Handlungen des Autos des Benutzers zum sicheren Fahren der durch die Routenplanungseinheit 161 geplanten Route innerhalb eines geplanten Zeitraums basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 154. Zum Beispiel plant die Handlungsplanungseinheit 162 Starten, Stoppen, eine Fahrtrichtung (zum Beispiel vorwärts, rückwärts, links abbiegen, rechts abbiegen, eine Änderung der Richtung und dergleichen), eine Fahrspur, eine Fahrtgeschwindigkeit, Überholen und dergleichen. Die Handlungsplanungseinheit 162 liefert Daten, die die geplanten Handlungen des Autos des Benutzers angeben, an die Bewegungsplanungseinheit 163 und dergleichen.
  • Die Bewegungsplanungseinheit 163 plant Bewegungen des Autos des Benutzers zum Realisieren der durch die Handlungsplanungseinheit 162 geplanten Handlungen basierend auf Daten oder Signalen von den Komponenten des Fahrzeugsteuersystems 100, wie etwa der Kartenanalyseeinheit 151 und der Situationsvorhersageeinheit 154. Zum Beispiel plant die Bewegungsplanungseinheit 163 eine Beschleunigung, Verlangsamung, einen Fahrtweg und dergleichen. Die Bewegungsplanungseinheit 163 liefert Daten, die die geplanten Bewegungen des Autos des Benutzers angeben, an eine Beschleunigung-und-Verlangsamung-Steuereinheit 172 und eine Richtungssteuereinheit 173 der Bewegungssteuereinheit 135 und dergleichen.
  • Die Bewegungssteuereinheit 135 steuert die Bewegungen des Autos des Benutzers. Die Bewegungssteuereinheit 135 weist die Notfallvermeidungseinheit 171, die Beschleunigung-und-Verlangsamung-Steuereinheit 172 und die Richtungssteuereinheit 173 auf.
  • Die Notfallvermeidungseinheit 171 führt einen Detektionsprozess eines Notfalls, wie etwa einer Kollision, eines Kontakts, eines Eintritts in eine Gefahrenzone, einer Abnormalität eines Fahrers und einer Abnormalität eines Fahrzeug, basierend auf den Detektionsergebnissen der Fahrzeugaußeninformationsdetektionseinheit 141, der Fahrzeuginneninformationsdetektionseinheit 142 und der Fahrzeugzustandsdetektionseinheit 143 aus. Die Notfallvermeidungseinheit 171 plant Bewegungen des Autos des Benutzers zum Vermeiden eines Notfalls, wie etwa eines plötzlichen Stoppens oder einer scharfen Lenkbewegung, falls ein Notfall detektiert wird. Die Notfallvermeidungseinheit 171 liefert Daten, die die geplanten Bewegungen des Autos des Benutzers angeben, an die Beschleunigung-und-Verlangsamung-Steuereinheit 172, die Richtungssteuereinheit 173 und dergleichen.
  • Die Beschleunigung-und-Verlangsamung-Steuereinheit 172 steuert die Beschleunigung und die Verlangsamung zum Realisieren der Bewegungen des Autos des Benutzers, die durch die Bewegungsplanungseinheit 163 oder die Notfallvermeidungseinheit 171 geplant werden. Zum Beispiel berechnet die Beschleunigung-und-Verlangsamung-Steuereinheit 172 Steuerzielwerte der Antriebskrafterzeugungseinrichtung oder der Bremseinrichtung zum Realisieren der geplanten Beschleunigung, Verlangsamung oder des plötzlichen Stoppens und liefert einen Steuerbefehl, der die berechneten Steuerzielwerte angibt, an die Fahrtsteuereinheit 107.
  • Die Richtungssteuereinheit 173 steuert die Richtung zum Realisieren der durch die Bewegungsplanungseinheit 163 oder die Notfallvermeidungseinheit 171 geplanten Bewegungen des Autos des Benutzers. Zum Beispiel berechnet die Richtungssteuereinheit 173 Steuerzielwerte des Lenkmechanismus zum Realisieren des durch die Bewegungsplanungseinheit 163 oder die Notfallvermeidungseinheit 171 geplanten Fahrtweges oder der durch diese geplanten scharfen Lenkbewegung und liefert einen Steuerbefehl, der den berechneten Steuerzielwert angibt, an die Fahrtsteuereinheit 107.
  • <1-2-2. Konfiguration der Ausgabesteuereinheit>
  • 9 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel der Ausgabesteuereinheit 105 aus 8 veranschaulicht. Wenigstens ein Teil von in 9 veranschaulichten funktionalen Einheiten ist durch Ausführen eines vorbestimmten Programms realisiert.
  • Die Ausgabesteuereinheit 105 weist eine Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld, eine Überlagerungszielrahmenauswahleinheit 202, eine Anzeigesteuereinheit 203 und eine Inhalterfassungseinheit 204 auf.
  • Die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld analysiert ein Bild, das durch bildliches Erfassen der Szene in der Fahrtrichtung des Fahrzeugs erhalten wird. Die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld wird zum Beispiel mit einem Szenenbild versorgt, das durch die in der Datenerfassungseinheit 102 enthaltene Kamera aufgenommen wird.
  • Die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld legt mögliche Informationsüberlagerungsrahmen auf den Wandoberflächen von Gebäuden in dem Szenenbild fest. Der mögliche Informationsüberlagerungsrahmen ist ein Gebiet der Oberfläche (Gebiet, das der Oberfläche entspricht) eines Objekts, wie etwa eines Gebäudes, in dem der Inhalt überlagert werden kann.
  • Außerdem wählt die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld vorbestimmte Rahmen der möglichen Informationsüberlagerungsrahmen als geeignete Informationsüberlagerungsrahmen fest, die Rahmen sind, die zum Überlagern des Inhalts angemessen sind.
  • Das heißt, der Inhalt wird nicht auf allen der möglichen Informationsüberlagerungsrahmen überlagert und die möglichen Informationsüberlagerungsrahmen, die zum Überlagern des Inhalts angemessen sind, werden gemäß dem Fahrzustand und dergleichen ausgewählt. Informationen bezüglich der geeigneten Informationsüberlagerungsrahmen, die durch die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld festgelegt werden, werden an die Überlagerungszielrahmenauswahleinheit 202 geliefert. Informationen der Analyseergebnisse des Szenenbildes werden geeignet von der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld an die Anzeigesteuereinheit 203 geliefert.
  • Die Überlagerungszielrahmenauswahleinheit 202 wählt eine Überlagerungsstelle des Inhalts, der durch die Inhaltserfassungseinheit 204 erlangt wird, aus den geeigneten Informationsüberlagerungsrahmen aus, die durch die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld festgelegt werden. Informationen bezüglich des geeigneten Informationsüberlagerungsrahmens, der als die Überlagerungsstelle des Inhalts ausgewählt wird, werden an die Anzeigesteuereinheit 203 geliefert.
  • Die Anzeigesteuereinheit 203 wendet eine Bildverarbeitung auf den Inhalt gemäß der Situation des geeigneten Informationsüberlagerungsrahmens an, der als die Überlagerungsstelle ausgewählt ist, um das Aussehen anzupassen. Auf diese Weise weist die Anzeigesteuereinheit 203 eine Funktion zum Erzeugen visueller Informationen zum Anzeigen des Inhalts auf. Außerdem steuert die Anzeigesteuereinheit 203 die Projektionseinheit 106A zum Überlagern des Inhalts, der der Bildverarbeitung unterzogen wurde, auf dem geeigneten Informationsüberlagerungsrahmen. Die Anzeigesteuereinheit 203 projiziert den Inhalt auf das Gebiet der Windschutzscheibe G, der dem geeigneten Informationsüberlagerungsrahmen entspricht, um den Inhalt anzuzeigen.
  • Die Inhalterfassungseinheit 204 liest den Inhalt aus der Speicherungseinheit 111, um den Inhalt zu erlangen. Zum Beispiel wird von einem nicht veranschaulichtem Server erlangter Inhalt in der Speicherungseinheit 111 gespeichert. Der durch die Inhalterfassungseinheit 204 erlangte Inhalt wird an die Überlagerungszielrahmenauswahleinheit 202 und die Anzeigesteuereinheit 203 geliefert.
  • Auf diese Weise wird der Inhalt angezeigt, indem der Prozess der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld als ein Prozess einer ersten Phase ausgeführt wird, der Prozess der Überlagerungszielrahmenauswahleinheit 202 als ein Prozess einer zweiten Phase ausgeführt wird und der Prozess der Anzeigesteuereinheit 203 als ein Prozess einer dritten Phase ausgeführt wird.
  • Nachfolgend werden Einzelheiten der Prozesse der Phasen zusammen mit Konfigurationen von Komponenten der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld, der Überlagerungszielrahmenauswahleinheit 202 und der Anzeigesteuereinheit 203 beschrieben.
  • <1-2-3. Prozess der ersten Phase (Festlegen eines geeigneten Informationsüberlagerungssichtfeldes)>
  • 10 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld aus 9 veranschaulicht.
  • Die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld weist eine Bildanalyseeinheit 211, eine Lichtzustandsmodusfestlegeeinheit 212, eine Objektdetektionseinheit 213, eine Rahmenfestlegeeinheit 214 und eine Festlegeeinheit 215 für ein geeignetes Sichtfeld auf.
  • Die Bildanalyseeinheit 211 analysiert ein Szenenbild, das durch bildliche Erfassung erhalten wird. Als ein Ergebnis der Analyse des Szenenbildes werden die Umrisse der Gebäude detektiert und wird die Helligkeit(Leuchtdichte) der Umgebung detektiert. Außerdem werden als ein Ergebnis der Analyse des Szenenbildes der Zustand des Sonnenlichts, der Zustand der Beleuchtung, der Zustand der Atmosphäre und dergleichen ebenfalls detektiert. Informationen, die die Analyseergebnisse der Bildanalyseeinheit 211 angeben, werden an die Lichtzustandsmodusfestlegeeinheit 212 und die Objektdetektionseinheit 213 geliefert und werden auch an die Anzeigesteuereinheit 203 geliefert.
  • Die Lichtzustandsmodusfestlegeeinheit 212 legt einen Lichtzustandsmodus basierend auf Informationen fest, die von der Bildanalyseeinheit 211 bereitgestellt werden. Zum Beispiel werden ein „Tagmodus“, ein „Dämmerungsmodus“ und ein „Nachtmodus“ als der Lichtzustandsmodus festgelegt.
  • Zum Beispiel wird der „Tagmodus“ festgelegt, wenn sich die Sonne am Himmel befindet, so dass die Umgebung hell ist. Der „Dämmerungsmodus“ wird festgelegt, wenn die Umgebung teilweise dunkel ist, wie etwa am Abend und in der Morgendämmerung. Der „Nachtmodus“ wird festgelegt, wenn die Sonne untergegangen ist, so dass die Umgebung dunkel ist.
  • Eine Referenzschwelle der Helligkeit wird für jeden Modus festgelegt. Die Lichtzustandsmodusfestlegeeinheit 212 vergleicht die Helligkeit der Umgebung, die durch Analysieren des Bildes spezifiziert wird, und die Helligkeit als die Schwelle, um den Lichtzustandsmodus gemäß der aktuellen Situation der Helligkeit festzulegen. Informationen bezüglich des Lichtzustandsmodus, der durch die Lichtzustandsmodusfestlegeeinheit 212 festgelegt wird, werden an die Rahmenfestlegeeinheit 214 geliefert.
  • Die Lichtzustandsmodusfestlegeeinheit 212 kann den Lichtzustandsmodus basierend auf den Detektionsergebnissen der Sensoren, die in der Datenerfassungseinheit 102 enthalten sind, anstelle der Analyseergebnisse des Szenenbildes festlegen. Außerdem kann der Lichtzustandsmodus unter Bezugnahme auf die aktuelle Zeit oder dergleichen festgelegt werden.
  • Die Objektdetektionseinheit 213 erlangt die Kartendaten und zeichnet die Gebäude mit detektierten Umrissen auf die Karte, um dadurch ein dreidimensionales Modell der Gebäude zu erhalten, die sich entlang der befahrenen Straße befinden und in dem Sichtfeld des Benutzers enthalten sind.
  • Zum Beispiel wird die befahrene Straße basierend auf Positionsmessungsergebnissen des GNSS-Empfängers spezifiziert, der in der Datenerfassungseinheit 102 enthalten ist. Die Kartendaten, die an die Objektdetektionseinheit 213 geliefert werden, können in der Speicherungseinheit 111 gespeichert werden oder können von einem nicht veranschaulichten Server erlangt werden.
  • 11 ist ein Diagramm, das ein Beispiel des dreidimensionalen Modells des Objekts entlang der Straße veranschaulicht.
  • Bei dem Beispiel aus 11 sind Gebäude auf der linken Seite und der rechten Seite einer geraden Straße aufgereiht, die durch das Fahrzeug des Benutzers befahren wird. Ein solches dreidimensionales Modell einschließlich der Daten der Umrisse der Gebäude wird durch die Objektdetektionseinheit 213 erzeugt. Das dreidimensionale Modell weist auch Daten von Umrissen von Objekten außer den Gebäuden, die in dem Szenenbild enthalten sind, wie etwa Bäume und Telefonmasten, auf.
  • Falls die Kartendaten, die an die Objektdetektionseinheit 213 geliefert werden, nicht nur Informationen bezüglich der Position jedes Gebäudes enthalten, sondern auch Informationen bezüglich der Höhe und dergleichen des Gebäudes, kann das dreidimensionale Modell, wie in 11 veranschaulicht, basierend auf den Kartendaten erzeugt werden. In diesem Fall bestimmt die Objektdetektionseinheit 213 basierend auf den Analyseergebnissen des Szenenbildes der Bildanalyseeinheit 211, ob die Gebäude in den Kartendaten tatsächlich existieren oder nicht, und identifiziert die Positionen der Gebäude, die tatsächlich existieren.
  • Zum Beispiel kann ein Gebäude, das in den Kartendaten existiert, zerstört worden sein. Falls sich das gleiche Gebäude wie das Gebäude in den Kartendaten nicht in dem Szenenbild befindet, schließt die Objektdetektionseinheit 213 das Gebäude aus dem Ziel der Überlagerung des Inhalts aus.
  • Auf diese Weise kann basierend auf dem Szenenbild überprüft werden, ob die Objekte existieren, wodurch eine Überlagerung des Inhalts auf ein Gebäude verhindert wird, das sich nicht in dem Sichtfeld des Benutzers befindet, weil das Gebäude tatsächlich nicht vorhanden ist.
  • Allgemein werden die Kartendaten jede vorbestimmte Periode, wie etwa jedes Jahr, aktualisiert und ist ein Gebäude, das in den Kartendaten existiert, zu der Zeit der Fahrt des Fahrzeugs möglicherweise nicht vorhanden. Obwohl der Inhalt schwebend aussieht, wenn der Inhalt auf der Wandoberfläche des Gebäudes überlagert ist, das zu der Zeit der Fahrt des Fahrzeugs nicht vorhanden ist, kann ein solches unnatürliches Aussehen verhindert werden.
  • Die Objektdetektionseinheit 213 gibt Informationen des dreidimensionalen Modells der Gebäude, die tatsächlich in dem Szenenbild vorhanden sind, an die Rahmenfestlegeeinheit 214 aus.
  • Die Rahmenfestlegeeinheit 214 legt die möglichen Informationsüberlagerungsrahmen auf den Wandoberflächen der Gebäude, die in dem Sichtfeld des Benutzers enthalten sind, basierend auf dem dreidimensionalen Modell fest, das von der Objektdetektionseinheit 213 bereitgestellt wird. Zum Beispiel werden Ebenen mit Bereichen breiter als eine Schwelle als die möglichen Informationsüberlagerungsrahmen festgelegt.
  • 12 ist ein Diagramm, das ein Beispiel für das Festlegen der möglichen Informationsüberlagerungsrahmen veranschaulicht.
  • Bei dem Beispiel aus 12 wird ein möglicher Informationsüberlagerungsrahmen F_01 für ein Gebäude auf der Innenseite auf der rechten Seite einer Kurve festgelegt. Außerdem gibt es drei Gebäude auf der linken Seite entlang der Kurve und mögliche Informationsüberlagerungsrahmen F_02, F_03 und F_04 sind von den Gebäuden auf der nahen Seite festgelegt. Es wird angemerkt, dass die in 12 veranschaulichte Szene eine Szene bei einer später beschriebenen Fahrzeugposition A ist.
  • Auf diese Weise werden die möglichen Informationsüberlagerungsrahmen als Kandidaten für die Überlagerungsstellen des Inhalts basierend auf dem dreidimensionalen Modell der Gebäude festgelegt, die von der durch das Auto des Benutzers befahrenen Straße gesehen werden. Der Rahmen als die Überlagerungsstelle des Inhalts wird aus den möglichen Informationsüberlagerungsrahmen ausgewählt, die durch die Rahmenfestlegeeinheit 214 festgelegt werden. Obwohl ein möglicher Informationsüberlagerungsrahmen auf einer Oberfläche des Gebäudes in 12 festgelegt ist, können mehrere mögliche Informationsüberlagerungsrahmen festgelegt werden.
  • Außerdem schließt die Rahmenfestlegeeinheit 214 die möglichen Informationsüberlagerungsrahmen aus, die nicht für die Überlagerungsstellen des Inhalts unter den möglichen Informationsüberlagerungsrahmen, die auf diese Weise festgelegt werden, geeignet sind. Die möglichen Informationsüberlagerungsrahmen werden basierend auf dem Lichtzustandsmodus, der durch die Lichtzustandsmodusfestlegeeinheit 212 festgelegt wird, der Helligkeit jedes Teils des Gebäudes in dem Szenenbild, das durch die Bildanalyseeinheit 211 analysiert wird, und dergleichen ausgeschlossen.
  • <Bestimmung basierend auf Ausschlussregeln>
  • Ausschlussregel 1
  • Die Rahmenfestlegeeinheit 214 schließt in allen Fällen des „Tagmodus“, des „Dämmerungsmodus“ und des „Nachtmodus“ Teile in einem stark Licht emittierenden Zustand, wie etwa einen großen Monitor, aus den möglichen Informationsüberlagerungsrahmen aus. Zum Beispiel werden Teile von Gebäuden mit einer Leuchtdichte gleich einer bis größer als eine Schwelle als die Teile in dem stark Licht emittierenden Zustand spezifiziert.
  • In diesem Fall wird basierend auf einer absoluten Leuchtdichte jedes Teils bestimmt, ob der Teil aus den möglichen Informationsüberlagerungsrahmen auszuschließen ist oder nicht.
  • 13 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch die Ausschlussregel 1 ausgeschlossen werden, veranschaulicht.
  • Wie in 13 veranschaulicht, sind große Monitore auf einem Teil eines Gebiets A1 in einem oberen Abschnitt einer Oberfläche b11-1, die in einem Gebäude B11 enthalten ist, und einem Teil eines Gebiets A2 in einem oberen Abschnitt einer Oberfläche b12-2, die in einem Gebäude B12 enthalten ist, installiert. In diesem Fall werden der Teil des Gebiets A1 und der Teil des Gebiets A2 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Falls der Inhalt auf einem Teil in dem Licht emittierenden Zustand, wie etwa einem großen Monitor, überlagert wird, kann es erscheinen, als ob das Licht von um den Inhalt herum austritt. Der Teil kann gemäß der Ausschlussregel 1 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen werden, um ein solches unnatürliches Aussehen zu vermeiden.
  • Ausschlussregel 2
  • Die Rahmenfestlegeeinheit 214 schließt in dem „Tagmodus“ Teile, die aufgrund des Sonnenlichts dunkel beschattet werden, aus den möglichen Informationsüberlagerungsrahmen aus. Falls es einen Teil mit einer hohen Leuchtdichte, die durch Sonnenschein verursacht wird, und einen Teil, in dem die Differenz der Leuchtdichte von der Leuchtdichte des Teils gleich einer oder größer als eine Schwelle ist, gibt, wird der Teil mit niedriger Leuchtdichte als der aufgrund des Sonnenlichts dunkel beschattete Teil spezifiziert.
  • In diesem Fall wird basierend auf der absoluten Leuchtdichte jedes Teils und der Differenz der Leuchtdichte von der Umgebung bestimmt, ob der Teil aus den möglichen Informationsüberlagerungsrahmen auszuschließen ist oder nicht.
  • 14 ist ein Diagramm, das ein Beispiel für die Informationsüberlagerungsrahmen, die durch die Ausschlussregel 2 ausgeschlossen werden, veranschaulicht.
  • Wie in 14 veranschaulicht, wird angenommen, dass das Sonnenlicht auf die Oberfläche b11-1 scheint, die in dem Gebäude B11 enthalten ist, und eine gesamte Oberfläche b11-2, die eine andere Oberfläche ist, beschattet wird, so dass die Leuchtdichtendifferenz zwischen den Oberflächen gleich der oder größer als die Schwelle ist. In diesem Fall wird ein Teil eines Gebiets A11 der Oberfläche b11-2 mit niedriger Leuchtdichte aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Gleichermaßen werden ein Teil eines Gebiets A12 der Oberfläche b12-2, die in dem Gebäude B12 enthalten ist, und ein Teil eines Gebiets A13 einer Oberfläche b13-2, die in einem Gebäude B13 enthalten ist, aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen. Die Leuchtdichtendifferenz ist zwischen dem oberen Abschnitt der Oberfläche b12-1 und der Oberfläche b12-2 in dem Gebäude B12 gleich der oder größer als die Schwelle und die Leuchtdichtendifferenz ist zwischen dem oberen Abschnitt der Oberfläche b13-1 und der Oberfläche b13-2 in dem Gebäude B13 gleich der oder größer als die Schwelle.
  • Der Inhalt kann kaum gesehen werden, falls der Inhalt auf einem Schattenteil überlagert wird, bei dem es einen sehr hellen Teil in der Umgebung gibt. Der Teil kann gemäß der Ausschlussregel 2 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen werden, um die Sichtbarkeit des Inhalts sicherzustellen.
  • Ausschlussregel 3
  • Die Rahmenfestlegeeinheit 214 schließt in dem „Dämmerungsmodus“ Teile, die aus verschiedenen Gründen besonders dunkel aussehen, aus den möglichen Informationsüberlagerungsrahmen aus. Zum Beispiel werden Teile mit einer Leuchtdichte niedriger als eine Schwelle als die Teile spezifiziert, die besonders dunkel aussehen.
  • In diesem Fall wird, wie bei der Ausschlussregel 1, basierend auf der absoluten Leuchtdichte jedes Teils bestimmt, ob die Teile aus den möglichen Informationsüberlagerungsrahmen auszuschließen sind oder nicht.
  • 15 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch die Ausschlussregel 3 ausgeschlossen werden, veranschaulicht.
  • Wie in 15 veranschaulicht, wird angenommen, dass die Leuchtdichte einer Oberfläche b21-1, die in einem Gebäude B21 enthalten ist, niedriger als die Schwelle ist. Außerdem wird angenommen, dass eine Oberfläche b22-1 und eine Oberfläche b22-2, die in einem Gebäude B22 enthalten sind, durch das Gebäude B21 beschattet werden und die Leuchtdichte niedriger als die Schwelle ist. In diesem Fall werden Teile der Gebiete A21-1 und A21-2 der Oberfläche b21-1, ein Teil eines Gebiets A22-1 der Oberfläche b22-1 und ein Teil eines Gebiets A22-2 der Oberfläche b22-2 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Falls der Inhalt auf dem besonders dunklen Teil überlagert wird, ist der Inhalt schwer zu sehen. Die Sichtbarkeit des Inhalts kann auch sichergestellt werden, indem die möglichen Informationsüberlagerungsrahmen gemäß der Ausschlussregel 3 ausgeschlossen werden.
  • Es wird angemerkt, dass, obwohl eine Oberfläche, die von der vorderen Seite eines Gebäudes B23 gesehen werden kann, in 15 etwas dunkel ist, die Oberfläche kein Teil ist, der besonders dunkel aussieht. Daher wird die Oberfläche nicht ausgeschlossen.
  • Ausschlussregel 4
  • Die Rahmenfestlegeeinheit 214 schließt in dem „Nachtmodus“ durch Beleuchtungslicht dunkel beschattete Teile aus den möglichen Informationsüberlagerungsrahmen aus. Falls es zum Beispiel einen Teil mit einer hohen Leuchtdichte aufgrund von Beleuchtungslicht und einen Teil, in dem die Differenz der Leuchtdichte von der Leuchtdichte des Teils gleich einer oder größer als eine Schwelle ist, gibt, wird der Teil mit niedriger Leuchtdichte als der durch das Beleuchtungslicht dunkel beschattete Teil spezifiziert.
  • In diesem Fall wird, wie bei der Ausschlussregel 2, basierend auf der absoluten Leuchtdichte jedes Teils und der Differenz der Leuchtdichte von der Umgebung bestimmt, ob der Teil aus den möglichen Informationsüberlagerungsrahmen entfernt wird oder nicht.
  • 16 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch die Ausschlussregel 4 ausgeschlossen werden, veranschaulicht.
  • Wie in 16 veranschaulicht, wird angenommen, dass Licht von einer Straßenlaterne L auf eine Oberfläche b31-1 scheint, die in einem Gebäude B31 enthalten ist, und eine gesamte Oberfläche b31-2, die eine andere Oberfläche ist, beschattet wird, so dass die Leuchtdichtendifferenz zwischen den Oberflächen gleich der oder größer als eine Schwelle ist. In diesem Fall wird ein Teil eines Gebiets A31 der Oberfläche b31-2 mit niedriger Leuchtdichte aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Gleichermaßen wird angenommen, dass das Licht von der Straßenlaterne L auf einen Teil einer Oberfläche b32-1 scheint, die in einem Gebäude B32 enthalten ist, und ein anderer Teil durch das Gebäude B31 beschattet wird, so dass die Leuchtdichtendifferenz zwischen den Teilen gleich der oder größer als die Schwelle ist. In diesem Fall wird ein Teil eines Gebiets A32 mit niedriger Leuchtdichte in der Oberfläche 32-1 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Der Inhalt kann kaum gesehen werden, falls der Inhalt auf einem Schattenteil überlagert wird, bei dem es einen sehr hellen Teil in der Umgebung gibt. Die Sichtbarkeit des Inhalts kann auch sichergestellt werden, indem die möglichen Informationsüberlagerungsrahmen gemäß der Ausschlussregel 4 ausgeschlossen werden.
  • Ausschlussregel 5
  • Die Rahmenfestlegeeinheit 214 schließt in dem Fall des „Nachtmodus“ Teile in dem lichtemittierenden Zustand in Außenwänden von Gebäuden und Fensterteile in dem lichtemittierenden Zustand aufgrund einer internen Beleuchtung oder dergleichen aus den möglichen Informationsüberlagerungsrahmen aus. Zum Beispiel werden Teile von Gebäuden mit einer Leuchtdichte gleich einer oder größer als eine Schwelle als die Teile in dem Licht emittierenden Zustand spezifiziert.
  • In diesem Fall wird basierend auf der absoluten Leuchtdichte jedes Teils bestimmt, ob die Teile aus den möglichen Informationsüberlagerungsrahmen auszuschließen sind oder nicht.
  • 17 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch die Ausschlussregel 5 ausgeschlossen werden, veranschaulicht.
  • Wie in 17 veranschaulicht, wird angenommen, dass Teile von Gebieten A41-1 und A41-2 der Oberfläche b11-1, die in dem Gebäude B11 enthalten ist, und Teile der Gebiete A41-3 und A41-4 der Oberfläche b11-2 Fenster aufweisen und dass sich die Teile aufgrund einer Beleuchtung in dem Raum in einem Licht emittierenden Zustand befinden. In diesem Fall werden Teile der Gebiete A41-1 bis A41-4 aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Gleichermaßen werden ein Teil eines Gebiets A42 der Oberfläche b12-2, die in dem Gebäude B12 enthalten ist, und ein Teil eines Gebiets A43 der Oberfläche b13-2, die in dem Gebäude B13 enthalten ist, aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen. Es wird angenommen, dass die Teile auch Fenster aufweisen und sich die Teile aufgrund der Beleuchtung in dem Raum in dem Licht emittierenden Zustand befinden.
  • Falls die Umgebung dunkel ist, kann es so erscheinen, als ob das Licht von um den Inhalt herum austritt, falls der Inhalt über einem Fensterteil oder dergleichen überlagert wird, wo das Licht innerhalb des Raums austritt. Die möglichen Informationsüberlagerungsrahmen können gemäß der Ausschlussregel 5 ausgeschlossen werden, um ein solches unnatürliches Aussehen zu vermeiden.
  • Ausschlussregel 6
  • Die Rahmenfestlegeeinheit 214 schließt Teile, die moralisch oder traditionell für das Überlagern des Inhalts unangemessen sind, wie etwa eine historische Struktur, ein Anzeigeobjekt, wie etwa ein Reklameschild und ein Objekt an einem Ort einer Sehenswürdigkeit, aus den möglichen Informationsüberlagerungsrahmen aus. Die Ausschlussregel 6 wird in allen der Fälle des „Tagmodus“, des „Dämmerungsmodus“ und des „Nachtmodus“ eingesetzt.
  • 18 ist ein Diagramm, das ein Beispiel für die möglichen Informationsüberlagerungsrahmen, die durch die Ausschlussregel 6 ausgeschlossen werden, veranschaulicht.
  • Wie durch Gebiete A51 und A52 aus 18 angegeben, werden zum Beispiel Außenwände einer Burg als eine historische Struktur aus den möglichen Informationsüberlagerungsrahmen ausgeschlossen.
  • Die Bestimmung basierend auf der Ausschlussregel 6 wird durch die Rahmenfestlegeeinheit 214 basierend auf zum Beispiel den in den Kartendaten enthaltenen Informationen durchgeführt. Das Szenenbild kann analysiert werden, um eine historische Struktur und dergleichen zu detektieren, um zu bestimmen, ob die Gebiete von den möglichen Informationsüberlagerungsrahmen zu entfernen sind oder nicht.
  • Die Rahmenfestlegeeinheit 214 schließt die möglichen Informationsüberlagerungsrahmen gemäß den oben beschriebenen Regeln aus und gibt Informationen bezüglich der verbleibenden (nicht ausgeschlossenen) möglichen Informationsüberlagerungsrahmen an die Festlegeeinheit 215 für ein geeignetes Sichtfeld aus.
  • <Bestimmung von geeigneten Informationsüberlagerungsrahmen>
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld aus 10 bestimmt, ob die möglichen Informationsüberlagerungsrahmen, die durch die Rahmenfestlegeeinheit 214 festgelegt werden und basierend auf den Ausschlussregeln bestimmt werden, die folgenden Bedingungen 1 bis 4 erfüllen oder nicht.
    • Bedingung 1: Die Entfernung von dem Benutzer, der Winkel mit Bezug auf die Fahrzeugfahrtrichtung und die Winkelgeschwindigkeit in einem Benutzersichtfeld, die aus der Fahrzeuggeschwindigkeit berechnet wird, liegen innerhalb von Referenzbereichen.
    • Bedingung 2: Der Winkel mit Bezug auf die Fahrzeugfahrtrichtung ist gleich einem oder größer als ein minimaler Referenzwert.
    • Bedingung 3: Das Verhältnis eines exponierten Bereichs ist gleich einem oder größer als ein Referenzwert, falls der mögliche Informationsüberlagerungsrahmen jenseits eines vorderen Objekts, wie etwa eines Baums oder eines Telefonmasten, gesehen werden kann.
    • Bedingung 4: Die Verweilzeit in dem Benutzersichtfeld ist gleich einem oder größer als ein Referenzwert.
  • Ob diese Bedingungen erfüllt werden oder nicht, wird bestimmt, indem die Analyseergebnisse des Szenenbildes, die in den Kartendaten enthaltenen Informationen bezüglich der Straße, die Fahrtrichtung des Fahrzeugs, die Fahrzeuggeschwindigkeit und dergleichen angemessen verwendet werden. Informationen bezüglich des aktuellen Zustands des Fahrzeugs, wie etwa die Fahrtrichtung des Fahrzeugs und die Fahrzeuggeschwindigkeit, werden basierend auf zum Beispiel Informationen, die von der Situationsanalyseeinheit 133 bereitgestellt werden, und dergleichen spezifiziert. Außerdem werden Informationen bezüglich des Zustands des Fahrzeugs in der Zukunft basierend auf zum Beispiel Fortschrittszustandsvorhersageinformationen, die von der Bewegungsplanungseinheit 163 bereitgestellt werden, und dergleichen spezifiziert.
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld legt den möglichen Informationsüberlagerungsrahmen, der alle der Bedingungen 1 bis 4 erfüllt, als einen geeigneten Informationsüberlagerungsrahmen fest. Der mögliche Informationsüberlagerungsrahmen, der wenigstens eine der Bedingungen 1 bis 4 nicht erfüllt, wird nicht als ein geeigneter Informationsüberlagerungsrahmen ausgewählt.
  • Obwohl die Bestimmung davon, ob die Bedingungen 1 bis 4 erfüllt sind oder nicht, beschrieben wird, wird zuerst ein spezielles Beispiel für einen erforderlichen Zustand des Fahrzeugs beschrieben.
  • 19 ist ein Diagramm, das ein Beispiel für einen Übergang der Fahrzeugposition veranschaulicht.
  • 19 veranschaulicht einen Zustand eines Übergangs der Position des Fahrzeugs, das einer Kurve nach rechts folgt, bei Betrachtung aus einer Vogelperspektive. Ein Rechteck mit abgerundeten Ecken auf der Straße repräsentiert das Fahrzeug und ein Rechteck auf beiden Seiten der Straße repräsentiert ein Gebäude. Es gibt ein Gebäude auf der Innenseite der Kurve und der mögliche Informationsüberlagerungsrahmen F_01 wird auf der Oberfläche auf der Straßenseite des Gebäudes festgelegt. Außerdem gibt es drei Gebäude auf der Außenseite der Kurve und die möglichen Informationsüberlagerungsrahmen F_02, F_03 und F_04 werden auf den Gebäuden auf der nahen Seite festgelegt. In 19 gibt eine dicke Line in dem Rechteck, das das Gebäude repräsentiert, den möglichen Informationsüberlagerungsrahmen an.
  • Fahrzeugpositionen A bis E repräsentieren die Positionen des Fahrzeugs zu jeder Zeit. Das Fahrzeug fährt sequenziell auf einer Trajektorie, die die Fahrzeugpositionen A bis E verbindet.
  • Zum Beispiel wird basierend auf der Orientierung des Fahrzeugs bei der Fahrzeugposition A die Richtungsänderung bei der Fahrzeugposition B als 22,5° ausgedrückt und wird die Richtungsänderung bei der Fahrzeugposition C als 45° ausgedrückt, wie in 20 veranschaulicht ist. Die Richtungsänderung des Fahrzeugs bei der Fahrzeugposition D wird als 67,5° ausgedrückt und die Richtungsänderung des Fahrzeugs bei der Fahrzeugposition E wird als 90° ausgedrückt.
  • Ein Innenwinkel eines Sektors, der basierend auf der Fahrzeugposition angegeben ist, repräsentiert einen Bereich des Sichtfeldes des Benutzers bei jeder Position des Fahrzeugs. Zum Beispiel ist das Sichtfeld bei der Fahrzeugposition A durch einen Sektor #1 angegeben und ist das Sichtfeld bei der Fahrzeugposition B durch einen Sektor #2 angegeben. Das Sichtfeld bei der Fahrzeugposition C ist durch einen Sektor #3 angegeben. Auf diese Weise ändert sich die durch den Benutzer betrachtete Szene gemäß der Fahrzeugposition und der Richtung des Fahrzeugs.
  • Der Zustand des Fahrzeugs zu jeder Zeit wird zu jedem Zeitpunkt basierend auf dem aktuellen Fortschrittszustand des Fahrzeugs und des Fortschrittszustands in der Zukunft erzeugt. 19 veranschaulicht den Zustand eines Übergangs der Fahrzeugposition, der zu einem Zeitpunkt erzeugt wird, wenn das Fahrzeug bei der Fahrzeugposition A fährt. Die Zustände des Fahrzeugs bei den Fahrzeugpositionen B bis E sind Zustände, die basierend auf dem Fortschrittszustand in der Zukunft vorhergesagt werden. Der Fortschrittszustand in der Zukunft wird durch die Fortschrittszustandsvorhersageinformationen angegeben, die von außerhalb eingegeben werden.
  • 21 stellt Diagramme dar, die Szenenbilder bei den Fahrzeugpositionen veranschaulichen.
  • Zur einfachen Beschreibung wird angenommen, dass der Bereich des durch die Kamera erfassten Szenenbildes mit dem Bereich des Sichtfeldes des Benutzers übereinstimmt. Die gesamte durch den Benutzer betrachtete Szene wird durch die Kamera bildlich erfasst.
  • A aus 21 veranschaulicht ein Szenenbild bei der Fahrzeugposition A. Das Szenenbild bei der Fahrzeugposition A weist alle der möglichen Informationsüberlagerungsrahmen F_01 bis F_04 auf. Wie durch den Sektor #1 aus 19 angegeben, weist das Sichtfeld des Benutzers zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition A die möglichen Informationsüberlagerungsrahmen F_01 bis F_04 auf.
  • In dem Zustand aus A in 21 sind jeweilige Bäume bei der Position vor dem Gebäude, das mit dem möglichen Informationsüberlagerungsrahmen F_03 versehen wird, und bei der Position vor dem Gebäude, das mit dem möglichen Informationsüberlagerungsrahmen F_04 versehen wird, auf eine solche Weise angepflanzt, dass die Bäume teilweise mit den möglichen Informationsüberlagerungsrahmen überlappen. Es wird angemerkt, dass die in A aus 21 veranschaulichte Szene die gleiche wie die unter Bezugnahme auf 12 beschriebene Szene ist.
  • B aus 21 veranschaulicht ein Szenenbild bei der Fahrzeugposition B. Die aktuelle Fahrzeugposition ist die Fahrzeugposition A und daher repräsentiert das in B aus 21 veranschaulichte Szenenbild eine Szene, deren Betrachtung nach dem Verstreichen einer gewissen Zeit vorhergesagt wird.
  • Das Szenenbild bei der Fahrzeugposition B weist den möglichen Informationsüberlagerungsrahmen F_03 und den möglichen Informationsüberlagerungsrahmen F_04 auf. Wie durch den Sektor #2 in 19 angegeben, weist das Sichtfeld des Benutzers zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition B den möglichen Informationsüberlagerungsrahmen F_03 und den möglichen Informationsüberlagerungsrahmen F_04 auf.
  • C aus 21 veranschaulicht ein Szenenbild bei der Fahrzeugposition C. Die aktuelle Fahrzeugposition ist die Fahrzeugposition A und daher repräsentiert das in C aus 21 veranschaulichte Szenenbild eine Szene, deren Betrachtung nach dem zusätzlichen Verstreichen einer gewissen Zeit von dem Zeitpunkt des Fahrens bei der Fahrzeugposition B an vorhergesagt wird.
  • Das Szenenbild bei der Fahrzeugposition C weist den möglichen Informationsüberlagerungsrahmen F_04 auf. Wie durch den Sektor #3 in 19 angegeben, ist der mögliche Informationsüberlagerungsrahmen F_04 auf der linken Seite des Sichtfeldes des Benutzers zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition C enthalten.
  • Zu dem Zeitpunkt des Fahrens bei den Fahrzeugpositionen D und E liegen alle der möglichen Informationsüberlagerungsrahmen F_01 bis F_04 außerhalb des Sichtfeldes des Benutzers.
  • Bestimmung der Bedingung 1
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld bestimmt, dass die Bedingung 1 erfüllt ist, falls die Entfernung von dem Benutzer, der Winkel mit Bezug auf die Fahrzeugfahrtrichtung und die Winkelgeschwindigkeit in dem Benutzersichtfeld, die aus der Fahrzeuggeschwindigkeit berechnet wird, innerhalb von Referenzbereichen liegen. Die Winkelgeschwindigkeit in dem Benutzersichtfeld repräsentiert eine Winkelgeschwindigkeit des Fahrzeugs während der Zeit, wenn der mögliche Informationsüberlagerungsrahmen innerhalb des Sichtfelds des Benutzers liegt, basierend auf der Position jedes möglichen Informationsüberlagerungsrahmens.
  • 22 ist ein Diagramm, das ein Beispiel für die Winkelgeschwindigkeit in dem Benutzersichtfeld veranschaulicht.
  • Das Beispiel aus 22 veranschaulicht eine Bestimmung unter Verwendung der Winkelgeschwindigkeit in dem Benutzersichtfeld während einer Bewegung von der Fahrzeugposition A zu der Fahrzeugposition B. In diesem Fall, wie in 22 veranschaulicht, beträgt die Winkelgeschwindigkeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_01 41 °/s und beträgt die Winkelgeschwindigkeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_02 38 °/s. Außerdem beträgt die Winkelgeschwindigkeit in dem Benutzersichtfeld in dem möglichen Informationsüberlagerungsrahmen F_03 3 °/s und beträgt die Winkelgeschwindigkeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_04 8 °/s.
  • Falls zum Beispiel eine obere Grenze des Referenzwertes der Winkelgeschwindigkeit in dem Benutzersichtfeld 30 °/s beträgt, erfüllen der mögliche Informationsüberlagerungsrahmen F_01 und der mögliche Informationsüberlagerungsrahmen F_02, die den Referenzwert überschreiten, nicht die Bedingung 1 und es wird bestimmt, dass die Rahmen ungeeignet für mit dem Inhalt zu versehende Rahmen sind.
  • Im Gegensatz dazu erfüllen der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 innerhalb des Bereichs des Referenzwertes die Bedingung 1 und es wird bestimmt, dass die Rahmen für die mit dem Inhalt zu versehende Rahmen geeignet sind. Die Tatsache, dass die Winkelgeschwindigkeit in dem Benutzersichtfeld kleiner als der Referenzwert ist, gibt an, dass die Bewegungsmenge in dem Sichtfeld des Benutzers klein ist.
  • Auf diese Weise kann basierend auf der Bedingung 1 bestimmt werden, ob der Rahmen für den mit dem Inhalt zu versehenden Rahmen geeignet ist oder nicht, um einen Rahmen mit einer kleinen Bewegungsmenge in dem Sichtfeld des Benutzers auszuwählen, das heißt einen Rahmen, der leicht zu betrachten ist, wenn der Inhalt überlagert wird.
  • Falls zum Beispiel der Inhalt auf dem möglichen Informationsüberlagerungsrahmen mit einer großen Winkelgeschwindigkeit in dem Benutzersichtfeld überlagert wird, erscheint die Bewegung des Inhalts stark. Die Bestimmung basierend auf der Bedingung 1 kann die Überlagerung des Inhalts auf dem möglichen Informationsüberlagerungsrahmen verhindern, der sich in dem Sichtfeld stark bewegen.
  • Bestimmung der Bedingung 2
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld bestimmt, dass die Bedingung 2 erfüllt wird, falls der Winkel mit Bezug auf die Fahrzeugfahrtrichtung gleich einem oder größer als ein minimaler Referenzwert ist.
  • 23 ist ein Diagramm, das ein Beispiel für den Winkel mit Bezug auf die Fahrzeugfahrtrichtung veranschaulicht.
  • Wie in 23 veranschaulicht, ist die Festlegeoberfläche des möglichen Informationsüberlagerungsrahmens F_03 durch eine gestrichelte Linie L1 angegeben und ist die Festlegeoberfläche des möglichen Informationsüberlagerungsrahmens F_04 durch eine gestrichelte Linie L2 angegeben. Der mögliche Informationsüberlagerungsrahmen F_01 und der mögliche Informationsüberlagerungsrahmen F_02 werden in der Bestimmung basierend auf der Bedingung 1 als ungeeignete Rahmen bestimmt und daher wird die Bestimmung basierend auf der Bedingung 2 nicht für den möglichen Informationsüberlagerungsrahmen F_01 und den möglichen Informationsüberlagerungsrahmen F_02 durchgeführt.
  • Der Winkel des möglichen Informationsüberlagerungsrahmens F_03 mit Bezug auf die Fahrzeugfahrtrichtung bei der Fahrzeugposition A ist durch einen Sektor #11-1 angegeben und der Winkel des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung ist durch einen Sektor #11-2 angegeben. Die Winkel der möglichen Informationsüberlagerungsrahmen mit Bezug auf die Fahrzeugfahrtrichtung betragen beide 90°.
  • Bei dem Beispiel werden der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 auf parallelen Oberflächen festgelegt und sind die Winkel mit Bezug auf die Fahrzeugfahrtrichtung der gleiche Winkel bei der gleichen Fahrzeugposition. Falls die Rahmen auf Oberflächen festgelegt werden, die nicht parallel sind, sind die Winkel mit Bezug auf die Fahrzeugfahrtrichtung unterschiedliche Winkel.
  • Die Winkel der möglichen Informationsüberlagerungsrahmen mit Bezug auf die Fahrzeugfahrtrichtung bei jeder Fahrzeugposition werden gleichermaßen erhalten.
  • Das heißt, dass der Winkel des möglichen Informationsüberlagerungsrahmens F_03 mit Bezug auf die Fahrzeugfahrtrichtung bei der Fahrzeugposition B durch einen Sektor #12-1 angegeben ist und der Winkel des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung durch einen Sektor #12-2 angegeben ist. Die Winkel der möglichen Informationsüberlagerungsrahmen mit Bezug auf die Fahrzeugfahrtrichtung betragen beide 67,5°.
  • Der Winkel des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung bei der Fahrzeugposition C ist durch einen Sektor #13 angegeben. Der Winkel des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung beträgt 45°. Die Bestimmung unter Verwendung des Winkels des möglichen Informationsüberlagerungsrahmens F_03 mit Bezug auf die Fahrzeugfahrtrichtung wird nicht durchgeführt, weil der Rahmen bereits außerhalb des Sichtfeldes des Benutzers zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition C liegt.
  • Falls zum Beispiel der Referenzwert des minimalen Winkels mit Bezug auf die Fahrzeugfahrtrichtung 30° beträgt, überschreiten die Winkel des möglichen Informationsüberlagerungsrahmens F_03 und des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung beide den Referenzwert zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition A. Der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 erfüllen die Bedingung 2 und es wird bestimmt, dass die Rahmen für die mit dem Inhalt zu versehenden Rahmen geeignet sind.
  • Außerdem überschreiten beide der Winkel des möglichen Informationsüberlagerungsrahmens F_03 und des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung auch den Referenzwert zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition B. Der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 erfüllen die Bedingung 2 und es wird bestimmt, dass die Rahmen für die mit dem Inhalt zu versehenden Rahmen geeignet sind.
  • Der Winkel des möglichen Informationsüberlagerungsrahmens F_04 mit Bezug auf die Fahrzeugfahrtrichtung überschreitet den Referenzwert zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition C. Der mögliche Informationsüberlagerungsrahmen F_04 erfüllt die Bedingung 2 und es wird bestimmt, dass der Rahmen für den mit dem Inhalt zu versehenden Rahmen geeignet ist.
  • Ein möglicher Informationsüberlagerungsrahmen, bei dem der Winkel mit Bezug auf die Fahrzeugfahrtrichtung den Referenzwert nicht nur zu einem Zeitpunkt überschreitet, sondern auch zu mehreren Zeitpunkten, kann bestimmt werden, um die Bedingung 2 zu erfüllen.
  • Die Tatsache, dass der Winkel des möglichen Informationsüberlagerungsrahmens mit Bezug auf die Fahrzeugfahrtrichtung gleich dem oder größer als der Referenzwert ist, gibt an, dass der mögliche Informationsüberlagerungsrahmen in einer Richtung nahe der Vorderseite des Benutzers festgelegt ist.
  • Auf diese Weise kann basierend auf der Bedingung 2 bestimmt werden, ob der Rahmen für den mit dem Inhalt zu versehenden Rahmen geeignet ist oder nicht, um einen Rahmen, der in einer Richtung nahe der Vorderseite des Benutzers festgelegt ist, auszuwählen, das heißt einen Rahmen, der leicht zu betrachten ist, wenn der Inhalt überlagert wird.
  • Bestimmung der Bedingung 3
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld bestimmt, dass die Bedingung 3 erfüllt wird, falls das Verhältnis des exponierten Bereichs gleich einem oder größer als ein Referenzwert ist, wenn der mögliche Informationsüberlagerungsrahmen jenseits eines vorderen Objekts, wie etwa eines Baums und eines Telefonmasten, betrachtet werden kann. Das vordere Objekt ist bei Betrachtung von der Position des Benutzers aus ein Objekt vor dem möglichen Informationsüberlagerungsrahmen.
  • Es wird angemerkt, dass die Bestimmung basierend auf der Bedingung 3 durchgeführt werden kann, falls die Entfernung zwischen dem vorderen Objekt und einem Gebäude (möglichen Informationsüberlagerungsrahmen) hinter dem vorderen Objekt näher als eine Schwelle ist. Die Entfernung zwischen dem vorderen Objekt und dem Gebäude wird basierend auf zum Beispiel dem dreidimensionalen Modell des Objekts, das durch die Objektdetektionseinheit 213 erzeugt wird, spezifiziert.
  • 24 und 25 sind Diagramme, die jeweils ein Beispiel für das Verhältnis eines exponierten Bereichs veranschaulichen.
  • Wie in 24 veranschaulicht, gibt es zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition A zum Beispiel einen Baum T1 vor dem möglichen Informationsüberlagerungsrahmen F_03, der in dem Sichtfeld des Benutzers enthalten ist, und gibt es einen Baum T2 vor dem möglichen Informationsüberlagerungsrahmen F_04. Wie in 25 veranschaulicht, betrachtet der Benutzer die möglichen Informationsüberlagerungsrahmen, die teilweise durch die Bäume verdeckt sind.
  • Das Verhältnis des exponierten Bereichs des möglichen Informationsüberlagerungsrahmens F_03 ist als ein Verhältnis des Bereichs des Teils (Teil mit diagonalen Linien in 25), der nicht durch den Baum T1 verborgen ist, zu dem Bereich des gesamten möglichen Informationsüberlagerungsrahmens F_03 angegeben. Die Bereiche werden durch zum Beispiel die Festlegeeinheit 215 für ein geeignetes Sichtfeld basierend auf den Analyseergebnissen des Szenenbildes erhalten. Bei diesem Beispiel beträgt das Verhältnis des exponierten Bereichs des möglichen Informationsüberlagerungsrahmens F_03 80 %.
  • Gleichermaßen ist das Verhältnis des exponierten Bereichs des möglichen Informationsüberlagerungsrahmens F_04 als ein Verhältnis des Bereichs des Teils, der nicht durch den Baum T2 verborgen ist, zu dem Bereich des gesamten möglichen Informationsüberlagerungsrahmens F_04 angegeben. Bei diesem Beispiel beträgt das Verhältnis des exponierten Bereichs des möglichen Informationsüberlagerungsrahmens F_04 95 %.
  • Falls zum Beispiel der minimale Referenzwert des Verhältnisses des exponierten Bereichs 60 % beträgt, überschreiten beide der Verhältnisse des exponierten Bereichs des möglichen Informationsüberlagerungsrahmens F_03 und des möglichen Informationsüberlagerungsrahmens F_04 den Referenzwert zu dem Zeitpunkt des Fahrens bei der Fahrzeugposition A. Der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 erfüllen die Bedingung 3 und es wird bestimmt, dass die Rahmen für die mit dem Inhalt zu versehende Rahmen geeignet sind.
  • Ein möglicher Informationsüberlagerungsrahmen, bei dem das Verhältnis des exponierten Bereichs den Referenzwert nicht nur zu einem Zeitpunkt überschreitet, sondern auch zu mehreren Zeitpunkten, kann bestimmt werden, um die Bedingung 3 zu erfüllen.
  • Die Tatsache, dass das Verhältnis des exponierten Bereichs gleich dem oder größer als der Referenzwert ist, gibt an, dass ein umfangreicher Bereich des möglichen Informationsüberlagerungsrahmens von dem Benutzer aus gesehen werden kann, selbst wenn es ein Objekt auf der nahen Seite gibt.
  • Auf diese Weise kann basierend auf der Bedingung 3 bestimmt werden, ob der Rahmen für den mit dem Inhalt zu versehenden Rahmen geeignet ist oder nicht, um einen Rahmen auszuwählen, der leicht zu betrachten ist, wenn der Inhalt überlagert wird.
  • Bestimmung der Bedingung 4
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld bestimmt, dass die Bedingung 4 erfüllt wird, falls die Verweilzeit in dem Benutzersichtfeld gleich einem oder größer als ein Referenzwert ist.
  • 26 ist ein Diagramm, das ein Beispiel für die Verweilzeit in dem Benutzersichtfeld veranschaulicht.
  • Wie in 26 veranschaulicht, wird angenommen, dass die Zeit zum Fahren von der Fahrzeugposition A zu der Fahrzeugposition B zwei Sekunden beträgt. Es wird auch angenommen, dass die Zeit zum Fahren von der Fahrzeugposition B zu der Fahrzeugposition C, die Zeit zum Fahren von der Fahrzeugposition C zu der Fahrzeugposition D und die Zeit zum Fahren von der Fahrzeugposition D zu der Fahrzeugposition E jeweils zwei Sekunden betragen. Diese Zeiten werden basierend auf der Entfernung zwischen den Fahrzeugpositionen und basierend auf der vorhergesagten Fahrtgeschwindigkeit erhalten.
  • Falls der Zeitpunkt, wenn das Fahrzeug die Fahrzeugposition A passiert, als eine Referenz festgelegt wird, wird die Verweilzeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_03 als eine Zeit von dem Referenzzeitpunkt zu dem Zeitpunkt des Fahrens bei einer Position vor der Fahrzeugposition C erhalten. Obwohl der mögliche Informationsüberlagerungsrahmen F_03 nicht in dem Sichtfeld des Benutzers bei der Fahrzeugposition C, das durch den Sektor #3 angegeben ist, enthalten ist, ist der mögliche Informationsüberlagerungsrahmen F_03 bis zu der Position vor der Fahrzeugposition C kontinuierlich in dem Sichtfeld des Benutzers enthalten. Bei diesem Beispiel beträgt die Verweilzeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_03 3,5 Sekunden.
  • Gleichermaßen wird die Verweilzeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_04 als eine Zeit von dem Referenzzeitpunkt zu dem Zeitpunkt des Fahrens bei der Position vor der Fahrzeugposition D erhalten. Obwohl der mögliche Informationsüberlagerungsrahmen F_04 kaum in dem Sichtfeld des Benutzers bei der Fahrzeugposition D enthalten ist, ist der mögliche Informationsüberlagerungsrahmen F_04 bis zu der Position vor der Fahrzeugposition D kontinuierlich in dem Sichtfeld des Benutzers enthalten. Bei dem Beispiel beträgt die Verweilzeit in dem Benutzersichtfeld des möglichen Informationsüberlagerungsrahmens F_04 5,5 Sekunden.
  • Falls zum Beispiel der Referenzwert der minimalen Verweilzeit in dem Benutzersichtfeld 3,0 Sekunden beträgt, überschreitet die Verweilzeit sowohl des möglichen Informationsüberlagerungsrahmens F_03 als auch des möglichen Informationsüberlagerungsrahmens F_04 den Referenzwert. Der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 erfüllen die Bedingung 4 und es wird bestimmt, dass die Rahmen für die mit dem Inhalt zu versehenden Rahmen geeignet sind.
  • Der Referenzwert der Verweilzeit kann gemäß der Fahrtgeschwindigkeit festgelegt werden. Der oben beschriebene Referenzwert von 3,0 Sekunden wird festgelegt, falls zum Beispiel die Fahrtgeschwindigkeit 5 m/s (18 km/h) beträgt.
  • Die Tatsache, dass die Verweilzeit gleich dem oder größer als der Referenzwert ist, gibt an, dass der mögliche Informationsüberlagerungsrahmen für eine gewisse Zeit weiterhin in dem Sichtfeld des reisenden Benutzers liegt.
  • Auf diese Weise kann basierend auf der Bedingung 4 bestimmt werden, ob der Rahmen für den mit dem Inhalt zu versehenden Rahmen geeignet ist oder nicht, um einen Rahmen auszuwählen, der, wenn der Inhalt überlagert wird, für eine gewisse Zeit kontinuierlich gesehen werden kann.
  • Ob der mögliche Informationsüberlagerungsrahmen für die Überlagerung des Inhalts angemessen ist oder nicht, wird basierend auf den Bedingungen 1 bis 4 bestimmt. Eine andere Bedingungen, wie etwa, ob die Fläche des möglichen Informationsüberlagerungsrahmens gleich einem oder größer als ein Referenzwert ist oder nicht, kann verwendet werden, um zu bestimmen, ob der mögliche Informationsüberlagerungsrahmen für die Überlagerung des Inhalts angemessen ist oder nicht.
  • Wieder unter Bezugnahme auf 10 wählt die Festlegeeinheit 215 für ein geeignetes Sichtfeld die möglichen Informationsüberlagerungsrahmen, die alle der Bedingungen 1 bis 4 erfüllen, als geeignete Informationsüberlagerungsrahmen fest. Die möglichen Informationsüberlagerungsrahmen, die wenigstens eine beliebige der Bedingungen anstelle von allen der Bedingungen 1 bis 4 erfüllen, können als geeignete Informationsüberlagerungsrahmen ausgewählt werden.
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld legt ein geeignetes Informationsüberlagerungssichtfeld basierend auf den geeigneten Informationsüberlagerungsrahmen fest. Das geeigneten Informationsüberlagerungssichtfeld ist ein Gebiet des Sichtfeldes des Benutzers, das für die Überlagerung des Inhalts angemessen ist. Zum Beispiel wird ein Gebiet innerhalb eines Rechtecks einschließlich aller der geeigneten Informationsüberlagerungsrahmen in dem Sichtfeld des Benutzers als das geeignete Informationsüberlagerungssichtfeld festgelegt.
  • 27 ist ein Diagramm, das ein Beispiel für das Festlegen des geeigneten Informationsüberlagerungssichtfeldes veranschaulicht.
  • Wie durch eine dicke Linie L21 umschlossen, wird ein Gebiet innerhalb eines minimalen Rechtecks, das den möglichen Informationsüberlagerungsrahmen F_03 und den möglichen Informationsüberlagerungsrahmen F_04 umgibt, die als die geeigneten Informationsüberlagerungsrahmen ausgewählt wurden, als das geeignete Informationsüberlagerungssichtfeld festgelegt. Der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04, die in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind, werden als die Überlagerungsstellen des Inhalts verwendet.
  • Es wird angemerkt, dass bei dem Beispiel aus 27 die möglichen Informationsüberlagerungsrahmen, die in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind, der mögliche Informationsüberlagerungsrahmen F_03 und der mögliche Informationsüberlagerungsrahmen F_04 sind, die beide als die geeigneten Informationsüberlagerungsrahmen bestimmt wurden. Die möglichen Informationsüberlagerungsrahmen, die bei der Bestimmung basierend auf den Bedingungen 1 bis 4 nicht als die geeigneten Informationsüberlagerungsrahmen bestimmt wurden, können auch als die Überlagerungsstellen des Inhalts verwendet werden, falls die Rahmen in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind.
  • Außerdem legt die Festlegeeinheit 215 für ein geeignetes Sichtfeld ein Gebiet außerhalb des geeigneten Informationsüberlagerungssichtfeldes als ein ungeeignetes Informationsüberlagerungssichtfeld fest, wie in 27 veranschaulicht ist. Das ungeeignete Informationsüberlagerungssichtfeld wird nicht für die Überlagerung des Inhalts verwendet und wird zum Anzeigen verschiedener Nachrichten, Anzeigen von Informationen, die den Fahrtzustand, wie etwa die Fahrtgeschwindigkeit, repräsentieren, und dergleichen verwendet. Die Anzeige der Geschwindigkeit oben links, die in 2 veranschaulicht ist, und dergleichen ist eine Anzeige unter Verwendung des ungeeigneten Informationsüberlagerungssichtfeldes.
  • Die Festlegeeinheit 215 für ein geeignetes Sichtfeld gibt Informationen aller der geeigneten Informationsüberlagerungsrahmen, die in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind, an die Überlagerungszielrahmenauswahleinheit 202 aus.
  • <1-2-4. Prozess der zweiten Phase (Auswahl des geeigneten Informationsüberlagerungsrahmens als Überlagerungsstelle)>
  • Als Nächstes wird die Auswahl der Überlagerungsstelle beschrieben, die durch die Überlagerungszielrahmenauswahleinheit 202 in dem Prozess der zweiten Stufe ausgeführt wird.
  • 28 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Überlagerungszielrahmenauswahleinheit 202 aus 9 veranschaulicht.
  • Die Überlagerungszielrahmenauswahleinheit 202 weist eine Voranalyseeinheit 231, eine Eignungsberechnungseinheit 232 und eine Überlagerungsstellenfestlegeeinheit 233 auf. Der durch die Inhalterfassungseinheit 204 erlangte Inhalt wird als anzuzeigender Inhalt in die Voranalyseeinheit 231 eingegeben. Außerdem werden die Informationen der geeigneten Informationsüberlagerungsrahmen, die von der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld ausgegeben werden, in die Eignungsberechnungseinheit 232 eingegeben.
  • Die Voranalyseeinheit 231 führt eine Voranalyse der Inhaltsinformationsgegenstände für den gesamten anzuzeigenden Inhalt durch und legt Anzeigepositionsbestimmungsfaktoren (Positionierungsfaktoren) fest.
  • Die Inhaltsinformationsgegenstände sind Metadaten, die Merkmale des Inhalts angeben, und unterschiedliche Gegenstände werden für jeden Typ von Inhalt bereitgestellt. Währenddessen sind die Anzeigepositionsbestimmungsfaktoren Informationen bezüglich Spezifikationen, die für die Anzeige des Inhalts erforderlich sind, und werden zum Auswählen des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle verwendet.
  • Die Voranalyseeinheit 231 klassifiziert jeden Inhalt in einen beliebigen von Inhaltstypen, einschließlich" Bewegtbild", „Standbild“, und „Symbol (Text)“. Die Klassifizierung des Inhaltstyps wird basierend auf zum Beispiel einer Erweiterung der Datei des Inhalts durchgeführt.
  • 29 stellt Diagramme dar, die jeweils ein Beispiel für die Inhaltinformationsgegenstände veranschaulichen. Eine sich überschneidende Beschreibung wird angemessen ausgelassen.
  • A aus 29 veranschaulicht Inhaltsinformationsgegenstände eines Textinhalts mit einem Dateinamen „Datei_01“.
  • Wie in A aus 29 veranschaulicht, legt die Voranalyseeinheit 231 Gegenstände „Typ“, „Anzahl an Buchstaben“, „Zeit zum Lesen“, „Proportion“ und „Zeit zum Betrachten“ als die Inhaltsinformationsgegenstände des Textinhalts fest.
  • „Typ“ verweist auf den Inhaltstyp.
  • „Anzahl an Buchstaben“ repräsentiert die Anzahl an Buchstaben, die in dem Inhalt enthalten sind.
  • „Zeit zum Lesen“ repräsentiert die Lesezeit. Die Lesezeit wird gemäß zum Beispiel der Anzahl an Buchstaben festgelegt.
  • „Proportion“ repräsentiert das Aspektverhältnis des Gebiets, das zum Anzeigen des Inhalts erforderlich ist.
  • „Zeit zum Betrachten“ repräsentiert die zum Betrachten erforderliche Zeit. In dem Fall des Textinhalts wird die erforderliche Zeit zum Betrachten auf die gleiche Zeit wie die Lesezeit festgelegt.
  • Bei dem Beispiel aus A in 29 ist die „Anzahl an Buchstaben“ auf 42 festgelegt. Außerdem ist die „Zeit zum Lesen“ auf 10 Sekunden festgelegt. „Proportion“ ist auf 4:3 festgelegt. „Zeit zum Betrachten“ ist auf 10 Sekunden festgelegt, was gleich der „Zeit zum Lesen“ ist.
  • In diesem Fall legt die Voranalyseeinheit 231 „Proportion“ von 4:3 und „Zeit zum Betrachten“ von 10 Sekunden als die Anzeigepositionsbestimmungsfaktoren des Textinhalts der „Datei_01“ fest.
  • B aus 29 veranschaulicht Inhaltsinformationsgegenstände eines Bewegtbildinhalts mit einem Dateinamen „Datei_02“.
  • Wie in B aus 29 veranschaulicht, legt die Voranalyseeinheit 231 Gegenstände „Typ“, „Abspieldauer“, „Proportion“ und „Zeit zum Betrachten“ als die Inhaltsinformationsgegenstände des Bewegtbildinhalts fest.
  • „Abspieldauer“ repräsentiert die Wiedergabezeit.
  • „Proportion“ repräsentiert das Aspektverhältnis jedes Einzelbildes, das in dem Bewegtbildinhalt enthalten ist.
  • „Zeit zum Betrachten“ repräsentiert die zum Betrachten erforderliche Zeit. In dem Fall des Bewegtbildinhalts wird die erforderliche Zeit zum Betrachten auf die gleiche Zeit wie die Wiedergabezeit festgelegt.
  • Bei dem Beispiel aus B in 29 ist die „Abspieldauer“ auf 20 Sekunden festgelegt. Außerdem ist „Proportion“ auf 16:9 festgelegt. „Zeit zum Betrachten“ ist auf 20 Sekunden festgelegt, was gleich der „Abspieldauer“ ist.
  • In diesem Fall legt die Voranalyseeinheit 231 „Proportion“ von 16:9 und „Zeit zum Betrachten“ von 20 Sekunden als die Anzeigepositionsbestimmungsfaktoren des Bewegtbildinhalts der „Datei_02“ fest.
  • C aus 29 veranschaulicht Inhaltsinformationsgegenstände eines Standbildinhalts mit einem Dateinamen „Datei_03“ und D aus 29 veranschaulicht Inhaltsinformationsgegenstände eines Standbildinhalts mit einem Dateinamen „Datei_04“.
  • Wie in C und D aus 29 veranschaulicht, legt die Voranalyseeinheit 231 Gegenstände „Typ“, „Text“, „Anzahl an Buchstaben“, „Zeit zum Lesen“, „Proportion“ und „Zeit zum Betrachten“ als die Inhaltsinformationsgegenstände des Standbildinhalts fest.
  • „Text“ gibt an, ob Textelemente in dem Bild enthalten sind oder nicht. Für den Inhalt von „Standbild“ analysiert die Voranalyseeinheit 231 das Bild, um zu identifizieren, ob das Bild ein „Standbild“ mit Textelementen oder ein „Standbild“ ohne Textelemente ist. Die anderen Inhaltsinformationsgegenstände des Standbildinhalts mit Textelementen sind die gleichen wie die Inhaltsinformationsgegenstände des Textinhalts.
  • Bei dem Beispiel aus C in 29 ist „Text“ als ein Bild mit Textelementen (enthalten) festgelegt. Der Standbildinhalt von „Datei_03“ ist ein Standbildinhalt mit Textelementen. Außerdem ist „Anzahl an Buchstaben“ auf 28 festgelegt. „Zeit zum Lesen“ ist auf 7 Sekunden festgelegt. „Proportion“ ist auf 3:4 festgelegt. „Zeit zum Betrachten“ ist auf 7 Sekunden festgelegt, was gleich der „Zeit zum Lesen“ ist.
  • In diesem Fall legt die Voranalyseeinheit 231 „Proportion“ von 3:4 und „Zeit zum Betrachten“ von 7 Sekunden als die Anzeigepositionsbestimmungsfaktoren des Standbildinhalts der „Datei_03“ fest.
  • Währenddessen ist „Text“ bei dem Beispiel aus D in 29 als ein Bild mit Textelementen festgelegt. Der Standbildinhalt von „Datei_04“ ist ein Standbildinhalt mit Textelementen. Außerdem ist „Anzahl an Buchstaben“ auf 18 festgelegt. „Zeit zum Lesen“ ist auf 5 Sekunden festgelegt. „Proportion“ ist auf 1:1 festgelegt. „Zeit zum Betrachten“ ist auf 5 Sekunden festgelegt, was gleich der „Zeit zum Lesen“ ist.
  • In diesem Fall legt die Voranalyseeinheit 231 „Proportion“ von 1:1 und „Zeit zum Betrachten“ von 5 Sekunden als die Anzeigepositionsbestimmungsfaktoren des Standbildinhalts der „Datei_04“ fest.
  • Die Voranalyseeinheit 231 gibt die Informationen der Anzeigepositionsbestimmungsfaktoren jedes Inhalts, die auf diese Weise festgelegt werden, an die Eignungsberechnungseinheit 232 aus.
  • Die Eignungsberechnungseinheit 232 berechnet die Eignung jeder Kombination des Inhalts nach der Voranalyse durch die Voranalyseeinheit 231 und des geeigneten Informationsüberlagerungsrahmens, der in dem geeigneten Informationsüberlagerungssichtfeld enthalten ist. Das heißt, die Eignung jedes von allen der Inhalte und jedes der geeigneten Informationsüberlagerungsrahmen, die in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind, wird berechnet.
  • Zum Beispiel gibt die Eignungsberechnungseinheit 232 das Aspektverhältnis und die Verweildauer in dem Benutzersichtfeld jedes geeigneten Informationsüberlagerungsrahmens basierend auf zum Beispiel den Informationen, die von der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld bereitgestellt werden, vor.
  • Die Eignungsberechnungseinheit 232 vergleicht das vorgegebene Aspektverhältnis und die vorgegebene Verweilzeit in dem Benutzersichtfeld mit den Anzeigepositionsbestimmungsfaktoren des Inhalts, um die Eignung des Inhalts und des geeigneten Informationsüberlagerungsrahmens zu berechnen. Wie oben beschrieben, werden das Aspektverhältnis („Proportion“) und die erforderliche Zeit zum Betrachten („Zeit zum Betrachten“) als die Anzeigepositionsbestimmungsfaktoren festgelegt.
  • 30 stellt Diagramme dar, die jeweils ein Beispiel für die Eignung veranschaulichen.
  • Hier wird angenommen, dass vier geeignete Informationsüberlagerungsrahmen, einschließlich geeigneter Informationsüberlagerungsrahmen F_11 bis F_14, in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind. Rahmen_11 bis Rahmen_14, die in 30 veranschaulicht sind, repräsentieren jeweils die geeigneten Informationsüberlagerungsrahmen F_11 bis F_14. Es wird angenommen, dass die Aspektverhältnisse der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 1:0,9, 3:4,2, 4:3,2 bzw. 16:8 sind und die Verweilzeit in dem Benutzersichtfeld jeweils 4 Sekunden, 7 Sekunden, 14 Sekunden und 17 Sekunden beträgt.
  • A aus 30 veranschaulicht die Eignung des Textinhalts aus „Datei_01“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14. Die Anzeigepositionsbestimmungsfaktoren des Textinhalts aus „Datei_01“ sind das Aspektverhältnis von 4:3 und die erforderliche Zeit zum Betrachten von 10 Sekunden, wie oben beschrieben ist.
  • Wie in A aus 30 veranschaulicht, bestimmt die Voranalyseeinheit 231 basierend auf dem Aspektverhältnis 4:3 für den Textinhalt und dem Aspektverhältnis von 1:0,9 für den geeigneten Informationsüberlagerungsrahmen F_11, dass die Eignung des Aspektverhältnisses 20 ist. Zum Beispiel sind die erhaltenen Eignungen umso höher, je besser die Verhältnisse übereinstimmen.
  • Außerdem bestimmt die Voranalyseeinheit 231 basierend auf der erforderlichen Zeit zum Betrachten von 10 Sekunden für den Textinhalt und der Verweilzeit in dem Benutzersichtfeld von 4 Sekunden für den geeigneten Informationsüberlagerungsrahmen F_11, dass die Eignung der erforderlichen Zeit zum Betrachten 10 beträgt. Zum Beispiel ist die erhaltene Eignung umso höher, je besser die erforderliche Zeit und die Verweilzeit übereinstimmen.
  • Die Voranalyseeinheit 231 addiert die Eignung des Aspektverhältnisses und die Eignung der erforderlichen Zeit zum Betrachten, um zu bestimmen, dass die Gesamteignung des Textinhalts aus „Datei_01“ und des geeigneten Informationsüberlagerungsrahmens F_11 30 beträgt.
  • Obwohl die Eignung des Aspektverhältnisses und die Eignung der erforderlichen Zeit zum Betrachten addiert werden, um die Gesamteignung bei diesem Beispiel zu erhalten, ist das Verfahren zum Erhalten der Gesamteignung willkürlich, wie etwa das Durchführen der Addition nach einer Gewichtung der Eignung von einer von ihnen.
  • Die Voranalyseeinheit 231 berechnet gleichermaßen die Eignung jedes der geeigneten Informationsüberlagerungsrahmen F_12 bis F_14 und des Textinhalts aus „Datei_01“.
  • Bei dem Beispiel aus A in 30 beträgt die Gesamteignung des Textinhalts aus „Datei_01“ und des geeigneten Informationsüberlagerungsrahmens F_12 30 und beträgt die Gesamteignung des Textinhalts aus „Datei_01“ und des geeigneten Informationsüberlagerungsrahmens F_13 90. Außerdem beträgt die Gesamteignung des Textinhalts aus „Datei_01“ und des geeigneten Informationsüberlagerungsrahmens F_14 70.
  • Die Voranalyseeinheit 231 berechnet gleichermaßen die Eignung jedes des Bewegtbildinhalts aus „Datei_02“, des Standbildinhalts aus „Datei_03“ und des Standbildinhalts aus „Datei_04“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14.
  • B aus 30 veranschaulicht die Eignung des Bewegtbildinhalts aus „Datei_02“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14. Die Anzeigepositionsbestimmungsfaktoren des Bewegtbildinhalts aus „Datei_02“ sind das Aspektverhältnis von 16:9 und die erforderliche Zeit zum Betrachten von 20 Sekunden, wie oben beschrieben ist.
  • Bei dem Beispiel aus B in 30 beträgt die Gesamteignung des Bewegtbildinhalts aus „Datei_02“ und des geeigneten Informationsüberlagerungsrahmens F_11 0 und beträgt die Gesamteignung des Bewegtbildinhalts aus „Datei_02“ und des geeigneten Informationsüberlagerungsrahmens F_12 0. Außerdem beträgt die Gesamteignung des Bewegtbildinhalts aus „Datei_02“ und des geeigneten Informationsüberlagerungsrahmens F_13 50 und beträgt die Gesamteignung des Bewegtbildinhalts aus „Datei_02“ und des geeigneten Informationsüberlagerungsrahmens F_14 80.
  • C aus 30 veranschaulicht die Eignung des Standbildinhalts aus „Datei_03“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14. Die Anzeigepositionsbestimmungsfaktoren des Standbildinhalts aus „Datei_03“ sind das Aspektverhältnis von 3:4 und die erforderliche Zeit zum Betrachten von 7 Sekunden, wie oben beschrieben ist.
  • Bei dem Beispiel aus C in 30 beträgt die Gesamteignung des Standbildinhalts aus „Datei_03“ und des geeigneten Informationsüberlagerungsrahmens F_11 30 und beträgt die Gesamteignung des Standbildinhalts aus „Datei_03“ und des geeigneten Informationsüberlagerungsrahmens F_12 90. Außerdem beträgt die Gesamteignung des Standbildinhalts aus „Datei_03“ und des geeigneten Informationsüberlagerungsrahmens F_13 60 und beträgt die Gesamteignung des Standbildinhalts aus „Datei_03“ und des geeigneten Informationsüberlagerungsrahmens F_14 50.
  • D aus 30 veranschaulicht die Eignung des Standbildinhalts aus „Datei_04“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14. Die Anzeigepositionsbestimmungsfaktoren des Standbildinhalts aus „Datei_04“ sind das Aspektverhältnis von 1:1 und die erforderliche Zeit zum Betrachten von 5 Sekunden, wie oben beschrieben ist.
  • Bei dem Beispiel aus D in 30 beträgt die Gesamteignung des Standbildinhalts aus „Datei_04“ und des geeigneten Informationsüberlagerungsrahmens F_11 70 und beträgt die Gesamteignung des Standbildinhalts aus „Datei_04“ und des geeigneten Informationsüberlagerungsrahmens F_12 70. Außerdem beträgt die Gesamteignung des Standbildinhalts aus „Datei_04“ und des geeigneten Informationsüberlagerungsrahmens F_13 70 und beträgt die Gesamteignung des Standbildinhalts aus „Datei_04“ und des geeigneten Informationsüberlagerungsrahmens F_14 60.
  • Die Eignungsberechnungseinheit 232 gibt die Informationen der auf diese Weise berechneten Eignung an die Überlagerungsstellenfestlegeeinheit 233 aus.
  • Die Überlagerungsstellenfestlegeeinheit 233 legt den geeigneten Informationsüberlagerungsrahmen als die Überlagerungsstelle jedes Inhalts gemäß der durch die Eignungsberechnungseinheit 232 berechneten Eignung fest. Zum Beispiel weist die Überlagerungsstellenfestlegeeinheit 233 sequentiell die geeigneten Informationsüberlagerungsrahmen mit hoher Eignung zu, um die geeigneten Informationsüberlagerungsrahmen als die Überlagerungsstellen festzulegen.
  • 31 ist ein Diagramm, das ein Beispiel für das Festlegen der Überlagerungsstellen veranschaulicht.
  • Die linke Seite aus 31 veranschaulicht ein Beispiel für das Berechnen der Eignung. Jede Eignung wird angemessen in einem Bereich von „Nicht gut“ zu „Sehr gut“ eingestuft.
  • Eine Tabelle, die jenseits eines Umrisspfeils veranschaulicht ist, ist eine Tabelle, die die Gesamteignung jedes des Textinhalts aus „Datei_01“, des Bewegtbildinhalts aus „Datei_02“, des Standbildinhalts aus „Datei_03“ und des Standbildinhalts aus „Datei_04“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 veranschaulicht.
  • Wie durch eine Ellipse umschlossen und angegeben, legt die Überlagerungsstellenfestlegeeinheit 233 den geeigneten Informationsüberlagerungsrahmen F_13 mit der höchsten Eignung unter den geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 als die Überlagerungsstelle des Textinhalts aus „Datei_01“ fest.
  • Außerdem legt die Überlagerungsstellenfestlegeeinheit 233 den geeigneten Informationsüberlagerungsrahmen F_14 mit der höchsten Eignung unter den geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 als die Überlagerungsstelle des Bewegtbildinhalts aus „Datei_02“ fest.
  • Die Überlagerungsstellenfestlegeeinheit 233 legt den geeigneten Informationsüberlagerungsrahmen F_12 mit der höchsten Eignung unter den geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 als die Überlagerungsstelle des Standbildinhalts aus „Datei_03“ fest.
  • Die Überlagerungsstellenfestlegeeinheit 233 legt den geeigneten Informationsüberlagerungsrahmen F_11 mit der höchsten Eignung unter den geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 als die Überlagerungsstelle des Standbildinhalts aus „Datei_04“ fest.
  • Es wird angemerkt, dass, obwohl die Eignung des Standbildinhalts aus „Datei_04“ und jedes der geeigneten Informationsüberlagerungsrahmen F_11, F_12 und F_13 70 beträgt, der geeignete Informationsüberlagerungsrahmen F_11, der nicht als die Überlagerungsstelle von irgendeinem Inhalt festgelegt ist, hier festgelegt wird. Der geeignete Informationsüberlagerungsrahmen F_12 ist basierend auf der Eignung von mehr als 70 bereits als die Überlagerungsstelle des Standbildinhalts aus „Datei_03“ festgelegt und der geeignete Informationsüberlagerungsrahmen F_13 ist basierend auf der Eignung von mehr als 70 bereits als die Überlagerungsstelle des Textinhalts aus „Datei_01“ festgelegt.
  • 32 ist ein Diagramm, das ein Beispiel für die auf diese Weise festgelegten Überlagerungsstellen veranschaulicht.
  • Gebäude B101 bis B103 befinden sich in einem in 32 veranschaulichten Szenenbild. Bei dem Beispiel aus 32 sind der geeignete Informationsüberlagerungsrahmen F_11 und der geeignete Informationsüberlagerungsrahmen F_12, die oben beschrieben sind, als die geeigneten Informationsüberlagerungsrahmen für das Gebäude B101 auf der linken Seite festgelegt. Der geeignete Informationsüberlagerungsrahmen F_13 ist der geeignete Informationsüberlagerungsrahmen, der für das Gebäude B102 in dem Zentrum festgelegt ist. Der geeignete Informationsüberlagerungsrahmen F_14 ist der geeignete Informationsüberlagerungsrahmen, der für das Gebäude B103 auf der rechten Seite festgelegt ist.
  • Falls der geeignete Informationsüberlagerungsrahmen auf diese Weise als die Überlagerungsstelle festgelegt wird, wird der Standbildinhalt aus „Datei_04“, bei dem die berechnete Eignung mit dem geeigneten Informationsüberlagerungsrahmen F_11 70 beträgt, auf dem geeigneten Informationsüberlagerungsrahmen F_11 überlagert. Des Weiteren wird der Standbildinhalt aus „Datei_03“, bei dem die berechnete Eignung mit dem geeigneten Informationsüberlagerungsrahmen F_12 80 beträgt, auf dem geeigneten Informationsüberlagerungsrahmen F_12 überlagert.
  • Der Textbildinhalt aus „Datei_01“, bei dem die berechnete Eignung mit dem geeigneten Informationsüberlagerungsrahmen F_13 90 beträgt, wird auf dem geeigneten Informationsüberlagerungsrahmen F_13 überlagert. Der Bewegtbildbildinhalt aus „Datei_02“, bei dem die berechnete Eignung mit dem geeigneten Informationsüberlagerungsrahmen F_14 80 beträgt, wird auf dem geeigneten Informationsüberlagerungsrahmen F_14 überlagert.
  • Die Überlagerungsstellenfestlegeeinheit 233 gibt die Informationen der auf diese Weise festgelegten Überlagerungsstelle jedes Inhalts, das heißt Informationen, die angeben, welcher geeignete Informationsüberlagerungsrahmen mit jedem Inhalt zu versehen ist, an die Anzeigesteuereinheit 203 aus.
  • Obwohl die Eignung des Inhalts und des geeigneten Informationsüberlagerungsrahmens bei der obigen Beschreibung basierend auf dem Aspektverhältnis und der Zeit des Inhalts und des geeigneten Informationsüberlagerungsrahmens berechnet wird, kann die Eignung basierend auf anderen Elementen berechnet werden. Zum Beispiel kann die Eignung basierend auf nur dem Aspektverhältnis berechnet werden oder kann basierend auf nur der Zeit (der erforderlichen Zeit zum Betrachten und der Verweilzeit in dem Sichtfeld) berechnet werden.
  • Das heißt, die Eignung des Inhalts und des geeigneten Informationsüberlagerungsrahmens kann basierend auf wenigstens einem der Anzeigepositionsbestimmungsfaktoren berechnet werden.
  • Des Weiteren kann der Bewegtbildinhalt auf dem geeigneten Informationsüberlagerungsrahmen an einem dunklen Ort überlagert werden und kann der Textinhalt auf dem Informationsüberlagerungsrahmen an einem hellen Ort überlagert werden. Auf diese Weise kann die Eignung basierend auf anderen Elementen berechnet werden. In diesem Fall wird die Eignung basierend auf der Leuchtdichte des geeigneten Informationsüberlagerungsrahmens und dem Typ des Inhalts berechnet.
  • Die Eignung kann so berechnet werden, dass der Bewegtbildinhalt auf dem geeigneten Informationsüberlagerungsrahmen in einer langen Entfernung überlagert wird und der Textinhalt auf dem geeigneten Informationsüberlagerungsrahmen in einer kurzen Entfernung überlagert wird. In diesem Fall wird die Eignung basierend auf der Entfernung zu dem geeigneten Informationsüberlagerungsrahmen und dem Typ des Inhalts berechnet.
  • Auf diese Weise können verschiedene Verfahren für das Verfahren zum Berechnen der Eignung jedes Inhalts und des geeigneten Informationsüberlagerungsrahmens genutzt werden.
  • Obwohl die Analyse der Inhaltsinformationsgegenstände und der Anzeigepositionsbestimmungsfaktoren durch das Fahrzeugsteuersystem 100 durchgeführt wird, kann die Serverseite, die den Inhalt verwaltet, die Analyse durchführen. Die Serverseite versorgt das Fahrzeugsteuersystem 100 mit den Informationen bezüglich der Inhaltsinformationsgegenstände und der Anzeigepositionsbestimmungsfaktoren in Assoziation mit dem Inhalt.
  • <1-2-5. Prozess der dritten Phase (Ausführung der Anzeige)>
  • Als Nächstes wird ein Anzeigeprozess beschrieben, der durch die Anzeigesteuereinheit 203 in dem Prozess der dritten Stufe ausgeführt wird.
  • 33 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Anzeigesteuereinheit 203 aus 9 veranschaulicht.
  • Die Anzeigesteuereinheit 203 weist eine Berechnungseinheit 251 für einen passenden Kontrast, eine Kontrastanpassungseinheit 252, eine Maskenverarbeitungseinheit 253 und eine Anzeigeverarbeitungseinheit 254 auf.
  • Die Analyseergebnisse des Szenenbildes, die von der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld ausgegeben werden, und die Informationen bezüglich des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle jedes Inhalts, die von der Überlagerungszielrahmenauswahleinheit 202 ausgegeben werden, werden in die Berechnungseinheit 251 für einen passenden Kontrast eingegeben. Der Inhalt, der von der Inhaltserfassungseinheit 204 ausgegeben wird, wird in die die Kontrastanpassungseinheit 252 eingegeben und das Szenenbild wird in die Maskenverarbeitungseinheit 253 eingegeben.
  • Die Berechnungseinheit 251 für einen passenden Kontrast berechnet einen passenden Kontrast jedes geeigneten Informationsüberlagerungsrahmens basierend auf dem Kontext bei der Stelle des geeigneten Informationsüberlagerungsrahmens, der als die Überlagerungsstelle des Inhalts festgelegt wird. Der passende Kontrast wird verwendet, um den Kontrast des Inhalts derart anzupassen, dass das Aussehen des Inhalts das gleiche wie das tatsächliche Aussehen bei der Stelle des geeigneten Informationsüberlagerungsrahmens wird.
  • Die Berechnungseinheit 251 für einen passenden Kontrast berechnet den passenden Kontrast basierend auf zum Beispiel dem Zustand des Sonnenlichts, dem Zustand der Beleuchtung, dem Zustand der Atmosphäre und/oder der Entfernung von der Fahrzeugposition. Obwohl bei diesem Beispiel wenigstens ein beliebiger des Zustands des Sonnenlichts, des Zustands der Beleuchtung, des Zustands der Atmosphäre und der Entfernung von der Fahrzeugposition als der Kontext verwendet wird, können andere Zustände, wie etwa Wetter und Temperatur, als der Kontext verwendet werden.
  • Zum Beispiel sind der Zustand des Sonnenlichts, der Zustand der Beleuchtung, der Zustand der Atmosphäre und die Entfernung von der Fahrzeugposition in den Analyseergebnissen des Szenenbildes enthalten. Die Entfernung von der Fahrzeugposition zu der Stelle des geeigneten Informationsüberlagerungsrahmens kann basierend auf Detektionsergebnissen eines Entfernungssensors erlangt werden.
  • Die Berechnungseinheit 251 für einen passenden Kontrast gibt die Informationen bezüglich des passenden Kontrasts jedes geeigneten Informationsüberlagerungsrahmens an die Kontrastanpassungseinheit 252 aus.
  • Die Kontrastanpassungseinheit 252 passt den Kontrast des Inhalts, der mit der Überlagerungsstelle versorgt wird, gemäß dem passenden Kontrast des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle an. Die Kontrastanpassungseinheit 252 gibt den Inhalt nach der Anpassung des Kontrasts an die Anzeigeverarbeitungseinheit 254 aus.
  • 34 ist ein Diagramm, das ein Beispiel für die Anpassung des Kontrasts basierend auf dem passenden Kontrast veranschaulicht.
  • Die in 34 veranschaulichten geeigneten Informationsüberlagerungsrahmen F_11 bis F_14 sind die gleichen wie die unter Bezugnahme auf 32 beschriebenen geeigneten Informationsüberlagerungsrahmen.
  • Bei dem Beispiel aus 34 wird der geeignete Informationsüberlagerungsrahmen F_11 auf der Wandoberfläche des Gebäudes B101 in einer kurzen Entfernung festgelegt. Das Sonnenlicht scheint auf die mit dem geeigneten Informationsüberlagerungsrahmen F_11 versehene Wandoberfläche und der Zustand des Sonnenlichts des geeigneten Informationsüberlagerungsrahmens F_11 ist ein sonniger Zustand. Der Zustand des Sonnenlichts wird basierend auf zum Beispiel der Leuchtdichte der mit dem geeigneten Informationsüberlagerungsrahmen F_11 versehenen Wandoberfläche spezifiziert.
  • In diesem Fall bestimmt, wie bei der Spitze einer Ausdehnungslinie in 34 veranschaulicht, die Berechnungseinheit 251 für einen passenden Kontrast basierend auf der Tatsache, dass der geeignete Informationsüberlagerungsrahmen F_11 in einer kurzen Entfernung ist und der Zustand des Sonnenlichts ein sonniger Zustand ist, dass der passende Kontrast des geeigneten Informationsüberlagerungsrahmens F_11 100 % beträgt.
  • Da der passende Kontrast 100 % beträgt, wird der Standbildinhalt aus „Datei_04“ mit der Überlagerungsstelle bei dem geeigneten Informationsüberlagerungsrahmen F_11 auf dem geeigneten Informationsüberlagerungsrahmen F_11 mit dem ursprünglichen Kontrast ohne Anpassung des Kontrasts überlagert.
  • Dagegen ist der Zustand des Sonnenlichtes des geeigneten Informationsüberlagerungsrahmens F_12, der auf der Wandoberfläche des Gebäudes B101 in einer kurzen Entfernung festgelegt ist, ein etwas schattiger Zustand.
  • In diesem Fall bestimmt die Berechnungseinheit 251 für einen passenden Kontrast basierend auf der Tatsache, dass der geeignete Informationsüberlagerungsrahmen F_12 in einer kurzen Entfernung ist und der Zustand des Sonnenlichts ein etwas schattiger Zustand ist, dass der passende Kontrast des geeigneten Informationsüberlagerungsrahmens F_12 60 % beträgt.
  • Da der passende Kontrast 60 % beträgt, wird der Kontrast des Standbildinhalts aus „Datei_03“ mit der Überlagerungsstelle bei dem geeigneten Informationsüberlagerungsrahmen F_12 auf 60 % reduziert und wird der Inhalt auf dem geeigneten Informationsüberlagerungsrahmen F_12 in diesem Zustand überlagert.
  • Falls das tatsächliche Aussehen der Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_11 versehen wird, und das tatsächliche Aussehen der Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_12 versehen wird, verglichen werden, ist die Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_12 versehen wird, schattig, so dass die Wandoberfläche dunkler mit niedrigerem Kontrast erscheint. Der Kontrast kann gemäß dem tatsächlichen Aussehen der Wandoberfläche reduziert werden, um den Standbildinhalt aus „Datei_03“ in einem Zustand anzuzeigen, bei dem der Inhalt in das Aussehen der mit dem Inhalt versehenen Wandoberfläche passt.
  • Der geeignete Informationsüberlagerungsrahmen F_13 wird auf der Wandoberfläche des Gebäudes B102 in einer langen Entfernung festgelegt. Der Zustand der Atmosphäre des geeigneten Informationsüberlagerungsrahmens F_13 ist in einem nebligen Zustand. Der neblige Zustand der Atmosphäre wird basierend auf zum Beispiel der Leuchtdichte und dem Kontrast der mit dem geeigneten Informationsüberlagerungsrahmen F_13 versehenen Wandoberfläche spezifiziert.
  • In diesem Fall bestimmt die Berechnungseinheit 251 für einen passenden Kontrast basierend auf der Tatsache, dass der geeignete Informationsüberlagerungsrahmen F_13 in einer langen Entfernung ist und der Zustand der Atmosphäre ein nebliger Zustand ist, dass der passende Kontrast des geeigneten Informationsüberlagerungsrahmens F_13 10 % beträgt.
  • Da der passende Kontrast 10 % beträgt, wird der Kontrast des Textinhalts aus „Datei_01“ mit der Überlagerungsstelle bei dem geeigneten Informationsüberlagerungsrahmen F_13 auf 10 % reduziert und wird der Inhalt auf dem geeigneten Informationsüberlagerungsrahmen F_13 in diesem Zustand überlagert.
  • Falls das tatsächliche Aussehen der Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_11 versehen wird, und das tatsächliche Aussehen der Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_13 versehen wird, verglichen werden, erscheint der Kontrast der Wandoberfläche, die mit dem geeigneten Informationsüberlagerungsrahmen F_13 versehen wird, geringer, weil sich die Wandoberfläche in einer langen Entfernung befindet und aufgrund des Nebels verschwommen erscheint. Der Kontrast kann gemäß dem tatsächlichen Aussehen der Wandoberfläche reduziert werden, um den Textinhalt aus „Datei_01“ in einem Zustand anzuzeigen, bei dem der Inhalt in das Aussehen der mit dem Inhalt versehenen Wandoberfläche passt.
  • Der geeignete Informationsüberlagerungsrahmen F_14 wird auf der Wandoberfläche des Gebäudes B103 in einer kurzen Entfernung festgelegt. Der Zustand des Sonnenlichts des geeigneten Informationsüberlagerungsrahmens F_14 ist ein sonniger Zustand.
  • In diesem Fall bestimmt die Berechnungseinheit 251 für einen passenden Kontrast basierend auf der Tatsache, dass der geeignete Informationsüberlagerungsrahmen F_14, wie in dem Fall des geeigneten Informationsüberlagerungsrahmens F_11, in einer kurzen Entfernung ist und der Zustand des Sonnenlichts ein sonniger Zustand ist, dass der passende Kontrast des geeigneten Informationsüberlagerungsrahmens F_14 100 % beträgt.
  • Da der passende Kontrast 100 % beträgt, wird der Bewegtbildinhalt aus „Datei_02“ mit der Überlagerungsstelle bei dem geeigneten Informationsüberlagerungsrahmen F_14 auf dem geeigneten Informationsüberlagerungsrahmen F_14 mit dem ursprünglichen Kontrast ohne Anpassung des Kontrasts überlagert.
  • Auf diese Weise wird der Kontrast jedes Inhalts basierend auf dem passenden Kontrast angepasst, der gemäß dem tatsächlichen Aussehen der Stelle des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle berechnet wird. Dies ermöglicht, dass der Benutzer den Inhalt so betrachtet, als würde der Inhalt auf der Wandoberfläche des tatsächlichen Gebäudes angezeigt.
  • Wieder unter Bezugnahme auf 33 führt, falls das vordere Objekt, wie etwa ein Baum oder ein Telefonmast, den geeigneten Informationsüberlagerungsrahmen verdeckt, die Maskenverarbeitungseinheit 253 einen Maskierungsprozess aus, um das Bild des vorderen Objekts aus dem Szenenbild auszuschneiden.
  • Der Maskierungsprozess der Maskenverarbeitungseinheit 253 wird ausgeführt, falls es ein vorderes Objekt gibt, das mit dem geeigneten Informationsüberlagerungsrahmen überlappt. Die Maskenverarbeitungseinheit 253 gibt ein Teilbild, das das Bild des vorderen Objekts ist, das durch Ausführen des Maskierungsprozesses ausgeschnitten wird, an die Anzeigeverarbeitungseinheit 254 aus.
  • Die Anzeigeverarbeitungseinheit 254 steuert die Projektionseinheit 106A dazu, jeden Inhalt auf dem geeigneten Informationsüberlagerungsrahmen, der als die Überlagerungsstelle jedes Inhalts festgelegt ist, zu überlagern.
  • Außerdem zeigt die Anzeigeverarbeitungseinheit 254 das Teilbild, das von der Maskenverarbeitungseinheit 253 bereitgestellt wird, über dem Inhalt an. Das Teilbild wird über der Position angezeigt, wo das vordere Objekt tatsächlich gesehen wird. Die Anzeigeeinheit des Inhalts und dergleichen der Anzeigeverarbeitungseinheit 254 wird während der Fahrt des Fahrzeugs wiederholt.
  • 35 ist ein Diagramm, das ein Beispiel für das Anzeigen des vorderen Objekts veranschaulicht.
  • Wie bei dem linken Ende aus 35 gezeigt, wird angenommen, dass ein Baum vor einem Gebäude den geeigneten Informationsüberlagerungsrahmen, der auf der Wandoberfläche des Gebäudes festgelegt ist, zu einem Zeitpunkt des Fahrens bei einer gewissen Position verdeckt. Ein durch eine gestrichelte Linie angegebener Bereich bei dem linken Ende aus 35 ist ein Bereich des geeigneten Informationsüberlagerungsrahmens. In diesem Fall ist ein farbiger Bereich, der jenseits eines Umrisspfeils #31 veranschaulicht ist, ein Bereich, wo das vordere Objekt und der geeignete Informationsüberlagerungsrahmen überlappen.
  • Die Maskenverarbeitungseinheit 253 detektiert eine externe Form des vorderen Objekts und erzeugt ein Maskenbild M, wie jenseits eines Pfeils #41 veranschaulicht ist. Außerdem verwendet die Maskenverarbeitungseinheit 253 das Maskenbild M, um einen Maskierungsprozess auf das Szenenbild anzuwenden, um ein Teilbild P des vorderen Objekts auszuschneiden.
  • Wie jenseits eines Umrisspfeils #32 veranschaulicht ist, überlagert die Anzeigeverarbeitungseinheit 254 den Inhalt auf dem geeigneten Informationsüberlagerungsrahmen.
  • Wie oben beschrieben, wird die Anzeige des Inhalts durchgeführt, indem der Inhalt auf der Windschutzscheibe G angezeigt wird, und, bezüglich des durch den Benutzer betrachteten Aussehens, betrachtet der Benutzer den Inhalt über dem vorderen Objekt, wie jenseits des Umrisspfeils #32 angegeben ist. Diagonale Linien, die über dem gesamten geeigneten Informationsüberlagerungsrahmen bereitgestellt sind, der jenseits des Umrisspfeils #32 veranschaulicht ist, geben an, dass der gesamte Inhalt betrachtet werden kann, ohne durch das vordere Objekt verdeckt zu werden.
  • Die Anzeigeverarbeitungseinheit 254 zeigt das Teilbild P auf der Position des vorderen Objekts an, um die Anzeige so zu realisieren, als ob der Inhalt auf der Wandoberfläche des Gebäudes hinter dem vorderen Objekt angezeigt würde, wie jenseits eines Umrisspfeils #33 veranschaulicht ist.
  • Falls das Teilbild P nicht über dem Inhalt angezeigt wird, wird der Inhalt vor dem vorderen Objekt betrachtet, wie jenseits des Umrisspfeils #32 veranschaulicht ist, und kann der Inhalt nicht so betrachtet werden, als würde der Inhalt auf der Wandoberfläche des Gebäudes angezeigt. Das Teilbild P kann auf dem Inhalt angezeigt werden, um das Aussehen so zu realisieren, als ob der Inhalt ohne ein Gefühl des Unbehagens auf der Wandoberfläche des tatsächlichen Gebäudes angezeigt würde.
  • <<1-3. Fahrzeugbewegungssteuersystem>>
  • Hier wird das Fahrzeugbewegungssteuersystem 100 beschrieben, das auf diese Weise ausgebildet ist.
  • <1-3-1. Informationsanzeigeprozess>
  • Zuerst wird ein Informationsanzeigeprozess als ein Gesamtprozess unter Bezugnahme auf ein Flussdiagramm aus 36 beschrieben.
  • In Schritt S1 steuert die Automatisches-Fahren-Steuereinheit 112 die in der Datenerfassungseinheit 102 enthaltene Kamera dazu, zu bewirken, dass die Kamera mit einer Bildgebung der Szene in der Fahrtrichtung des Fahrzeugs beginnt. Das durch die Bildgebung erhaltene Szenenbild wird an die Ausgabesteuereinheit 105 geliefert.
  • In Schritt S2 steuert die Automatisches-Fahren-Steuereinheit 112 die in der Datenerfassungseinheit 102 enthaltenen Sensoren dazu, zu bewirken, dass die verschiedenen Sensoren die Messung beginnen. Die Vorhersage oder dergleichen des Zustands des Fahrzeugs wird basierend auf den Messergebnissen und dergleichen der Sensoren durchgeführt. Die Informationen bezüglich des Zustands des Fahrzeugs werden als Fortschrittszustandsvorhersageinformationen an die Ausgabesteuereinheit 105 geliefert.
  • In Schritt S3 führt die Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld den Festlegeprozess für ein geeignetes Informationsüberlagerungssichtfeld aus, der der Prozess der ersten Phase ist. Als ein Ergebnis des Festlegeprozesses für ein geeignetes Informationsüberlagerungssichtfeld werden die geeigneten Informationsüberlagerungsrahmen, die für die Überlagerung des Inhalts angemessen sind, ausgewählt. Einzelheiten des Festlegeprozesses für ein geeignetes Informationsüberlagerungssichtfeld werden später unter Bezugnahme auf Flussdiagramme aus 37 und 38 beschrieben.
  • In Schritt S4 führt die Überlagerungszielrahmenauswahleinheit 202 den Überlagerungszielrahmenauswahlprozess aus, der der Prozess der zweiten Phase ist. Als ein Ergebnis des Überlagerungszielrahmenauswahlprozesses wird der geeignete Informationsüberlagerungsrahmen als die Überlagerungsstelle unter den geeigneten Informationsüberlagerungsrahmen festgelegt, die in dem geeigneten Informationsüberlagerungssichtfeld enthalten sind. Einzelheiten des Überlagerungszielrahmenauswahlprozesses werden später unter Bezugnahme auf ein Flussdiagramm aus 39 beschrieben.
  • In Schritt S5 führt die Anzeigesteuereinheit 203 den Anzeigeprozess aus, der der Prozess der dritten Phase ist. Als ein Ergebnis des Anzeigeprozesses wird der Inhalt angezeigt. Einzelheiten des Anzeigeprozesses werden später unter Bezugnahme auf ein Flussdiagramm aus 40 beschrieben.
  • Die Prozesse der Schritte S3 bis S5 werden während der Fahrt des Fahrzeugs wiederholt.
  • <1-3-2. Festlegeprozess für ein geeignetes Informationsüberlagerungssichtfeld>
  • Der Festlegeprozess für ein geeignetes Informationsüberlagerungssichtfeld, der in Schritt S3 aus 36 ausgeführt wird, wird unter Bezugnahme auf die Flussdiagramme aus 37 und 38 beschrieben.
  • In Schritt S11 analysiert die Bildanalyseeinheit 211 der Festlegeeinheit 201 für ein geeignetes Informationsüberlagerungssichtfeld das Szenenbild. Zum Beispiel werden die Umrisse der Gebäude in dem Szenenbild detektiert und wird die Helligkeit der Umgebung detektiert.
  • In Schritt S12 legt die Lichtzustandsmodusfestlegeeinheit 212 einen beliebigen der Lichtzustandsmodi, einschließlich des „Tagmodus“, des „Dämmerungsmodus“ und des „Nachtmodus“, basierend auf der Helligkeit der Umgebung fest.
  • In Schritt S13 bestimmt die Objektdetektionseinheit 213 die Position jedes Objekts. Das heißt, die Objektdetektionseinheit 213 zeichnet die Gebäude, für die die Umrisse detektiert werden, auf die Karte und bestimmt die Positionen der Gebäude in dem Szenenbild. Außerdem bestimmt die Objektdetektionseinheit 213 die Positionen der Objekte, wie etwa von Bäumen, zusätzlich zu den Gebäuden. Die Objektdetektionseinheit 213 erzeugt ein dreidimensionales Modell der Objekte, für die die Positionen bestimmt werden.
  • In Schritt S14 legt die Rahmenfestlegeeinheit 214 die möglichen Informationsüberlagerungsrahmen auf den Oberflächen der Objekte fest.
  • In Schritt S15 schließt die Rahmenfestlegeeinheit 214 die ungeeigneten möglichen Informationsüberlagerungsrahmen gemäß dem Lichtzustandsmodus aus. Hier werden die möglichen Informationsüberlagerungsrahmen, die unnatürlich erscheinen, falls der Inhalt überlagert wird, auf eine Weise, wie oben beschrieben, basierend auf den Ausschlussregeln 1 bis 4 ausgeschlossen. Die Informationen der möglichen Informationsüberlagerungsrahmen, die nicht ausgeschlossen werden, werden an die Festlegeeinheit 215 für ein geeignetes Sichtfeld geliefert.
  • In Schritt S16 fokussiert die Festlegeeinheit 215 für ein geeignetes Sichtfeld auf einen möglichen Informationsüberlagerungsrahmen.
  • In Schritt S17 berechnet die Festlegeeinheit 215 für ein geeignetes Sichtfeld die Winkelgeschwindigkeit in dem Benutzersichtfeld des fokussierten möglichen Informationsüberlagerungsrahmen.
  • In Schritt S18 bestimmt die Festlegeeinheit 215 für ein geeignetes Sichtfeld, ob die berechnete Winkelgeschwindigkeit in dem Benutzersichtfeld in dem Referenzbereich liegt oder nicht.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S18 bestimmt, dass die Winkelgeschwindigkeit in dem Benutzersichtfeld in dem Referenzbereich liegt, berechnet die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S19 den Winkel des fokussierten möglichen Informationsüberlagerungsrahmens mit Bezug auf die Fahrzeugfahrtrichtung.
  • In Schritt S20 bestimmt die Festlegeeinheit 215 für ein geeignetes Sichtfeld, ob der berechnete Winkel mit Bezug auf die Fahrzeugfahrtrichtung gleich dem oder größer als der minimale Referenzwert ist oder nicht.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S20 bestimmt, dass der Winkel mit Bezug auf die Fahrzeugfahrtrichtung gleich dem oder größer als der minimale Referenzwert ist, berechnet die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S21 das Verhältnis des exponierten Bereichs des fokussierten möglichen Informationsüberlagerungsrahmens.
  • In Schritt S22 bestimmt die Festlegeeinheit 215 für ein geeignetes Sichtfeld, ob das berechnete Verhältnis des exponierten Bereichs gleich dem oder größer als der Referenzwert ist oder nicht.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S22 bestimmt, dass das Verhältnis des exponierten Bereichs gleich dem oder größer als der Referenzwert ist, berechnet die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S23 die Verweilzeit in dem Sichtfeld des Benutzers des fokussierten möglichen Informationsüberlagerungsrahmens.
  • In Schritt S24 bestimmt die Festlegeeinheit 215 für ein geeignetes Sichtfeld, ob die berechnete Verweilzeit in dem Sichtfeld des Benutzers gleich dem oder größer als der Referenzwert ist oder nicht.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S24 bestimmt, dass die Verweilzeit gleich dem oder größer als der Referenzwert ist, legt die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S25 den fokussierten möglichen Informationsüberlagerungsrahmen als den geeigneten Informationsüberlagerungsrahmen fest.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S18 bestimmt, dass die Winkelgeschwindigkeit in dem Benutzersichtfeld nicht in dem Referenzbereich liegt, legt die Festlegeeinheit 215 für ein geeignetes Sichtfeld dagegen in Schritt S26 den fokussierten möglichen Informationsüberlagerungsrahmen als einen für die Überlagerung von Informationen ungeeigneten Rahmen fest. Dies ist ähnlich, falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S20 bestimmt, dass der Winkel mit Bezug auf die Fahrzeugfahrtrichtung nicht gleich dem oder größer als der minimale Referenzwert ist, falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S22 bestimmt, dass das Verhältnis des exponierten Bereichs nicht gleich dem oder größer als der Referenzwert ist, oder falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S24 bestimmt, dass die Verweilzeit in dem Sichtfeld des Benutzers nicht gleich dem oder größer als der Referenzwert ist.
  • Nach dem Prozess von Schritt S25 oder Schritt S26 bestimmt die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S27, ob alle der möglichen Informationsüberlagerungsrahmen fokussiert wurden oder nicht.
  • Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S27 bestimmt, dass es mögliche Informationsüberlagerungsrahmen gibt, die noch nicht fokussiert wurden, kehrt die Festlegeeinheit 215 für ein geeignetes Sichtfeld zu Schritt S16 zurück und fokussiert einen anderen möglichen Informationsüberlagerungsrahmen, um den Prozess zu wiederholen. Falls die Festlegeeinheit 215 für ein geeignetes Sichtfeld in Schritt S27 bestimmt, dass alle der möglichen Informationsüberlagerungsrahmen fokussiert wurden, geht der Prozess zu Schritt S28 über.
  • In Schritt S28 legt die Festlegeeinheit 215 für ein geeignetes Sichtfeld das Gebiet innerhalb des Rechtecks einschließlich aller der geeigneten Informationsüberlagerungsrahmen als das geeignete Informationsüberlagerungssichtfeld fest. Der Prozess kehrt dann zu Schritt S3 aus 36 zurück und der anschließende Prozess wird ausgeführt.
  • <1-3-3. Überlagerungszielrahmenauswahlprozess>
  • Der Überlagerungsrahmenzielauswahlprozess, der in Schritt S4 aus 36 ausgeführt wird, wird unter Bezugnahme auf das Flussdiagramm aus 39 beschrieben.
  • Es wird angemerkt, dass die Voranalyse des Inhalts durch die Voranalyseeinheit 231 parallel mit dem Prozess aus 36 durchgeführt wird. Die Anzeigepositionsbestimmungsfaktoren, die in dem Voranalyseprozess erhalten werden, werden von der Voranalyseeinheit 231 an die Eignungsberechnungseinheit 232 geliefert.
  • In Schritt S41 fokussiert die Eignungsberechnungseinheit 232 der Überlagerungszielrahmenauswahleinheit 202 auf einen anzuzeigenden Inhalt.
  • In Schritt S42 berechnet die Eignungsberechnungseinheit 232 die Eignung des fokussierten Inhalts und jedes von allen der geeigneten Informationsüberlagerungsrahmen in dem geeigneten Informationsüberlagerungssichtfeld. Die Eignung wird unter Bezugnahme auf zum Beispiel das Aspektverhältnis, die erforderliche Zeit zum Betrachten und dergleichen berechnet, die in den Anzeigepositionsbestimmungsfaktoren enthalten sind, wie oben beschrieben ist.
  • In Schritt S43 bestimmt die Eignungsberechnungseinheit 232, ob alle der Inhalte fokussiert wurden oder nicht.
  • Falls die Eignungsberechnungseinheit 232 in Schritt S43 bestimmt, dass es Inhalte gibt, die noch nicht fokussiert wurden, kehrt die Eignungsberechnungseinheit 232 zu Schritt S41 zurück und fokussiert einen anderen Inhalt, um den Prozess zu wiederholen. Als ein Ergebnis wird die Eignung jedes Inhalts und jedes von allen der geeigneten Informationsüberlagerungsrahmen berechnet.
  • Falls die Eignungsberechnungseinheit 232 in Schritt S43 bestimmt, dass alle der Inhalte fokussiert wurden, legt die Überlagerungsstellenfestlegeeinheit 233 in Schritt S44 den geeigneten Informationsüberlagerungsrahmen als die Überlagerungsstelle jedes Inhalts basierend auf der Eignung fest. Der Prozess kehrt dann zu Schritt S4 aus 36 zurück und der anschließende Prozess wird ausgeführt.
  • <1-3-4. Anzeigeprozess>
  • Der Anzeigeprozess, der in Schritt S5 aus 36 ausgeführt wird, wird unter Bezugnahme auf das Flussdiagramm aus 40 beschrieben.
  • In Schritt S51 fokussiert die Berechnungseinheit 251 für einen passenden Kontrast der Anzeigesteuereinheit 203 auf einen Inhalt, der mit der Überlagerungsstelle versorgt wird.
  • In Schritt S52 berechnet die Berechnungseinheit 251 für einen passenden Kontrast den passenden Kontrast basierend auf dem Kontext der Stelle des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle.
  • In Schritt S53 passt die Kontrastanpassungseinheit 252 den Kontrast des fokussierten Inhalts basierend auf dem passenden Kontrast an.
  • In Schritt S54 führt die Maskenverarbeitungseinheit 253 den Maskierungsprozess aus, um das Bild des vorderen Objekts auszuschneiden, falls es ein Objekt vor dem geeigneten Informationsüberlagerungsrahmen als die Überlagerungsstelle des fokussierten Inhalts gibt.
  • In Schritt S55 überlagert die Anzeigeverarbeitungseinheit 254 den Inhalt auf dem geeigneten Informationsüberlagerungsrahmen.
  • In Schritt S56 zeigt die Anzeigeverarbeitungseinheit 254 das Bild des vorderen Objekts angemessen über dem Inhalt an.
  • In Schritt S57 bestimmt die Anzeigesteuereinheit 203, ob alle der Inhalte fokussiert wurden oder nicht.
  • Falls die Anzeigesteuereinheit 203 in Schritt S57 bestimmt, dass es Inhalte gibt, die noch nicht fokussiert wurden, kehrt die Anzeigesteuereinheit 203 zu Schritt S51 zurück und fokussiert einen anderen Inhalt, um den Prozess zu wiederholen.
  • Falls die Anzeigesteuereinheit 203 in Schritt S57 bestimmt, dass alle der Inhalte fokussiert wurden, kehrt die Anzeigesteuereinheit 203 zu Schritt S5 aus 36 zurück und führt den anschließenden Prozess aus. Als ein Ergebnis werden alle der Inhalte auf die geeigneten Informationsüberlagerungsrahmen überlagert, die als die Überlagerungsstellen festgelegt wurden.
  • Als ein Ergebnis der oben beschriebenen Reihe von Prozessen kann der Inhalt an optimalen Orten in der Szene in einer solchen Form angezeigt werden, dass der Inhalt in die Szene passt. Der Benutzer kann den Inhalt auf eine ähnliche Weise wie das Betrachten einer normalen Szene betrachten.
  • <1-3-5. Voranalyseprozess>
  • Der Voranalyseprozess des Inhalts wird unter Bezugnahme auf ein Flussdiagramm aus 41 beschrieben. Der Voranalyseprozess wird angemessen parallel mit dem Prozess aus 36 ausgeführt.
  • In Schritt S101 fokussiert die Voranalyseeinheit 231 der Überlagerungszielrahmenauswahleinheit 202 auf einen anzuzeigenden Inhalt unter den Inhalten, die von der Inhaltserfassungseinheit 204 bereitgestellt werden.
  • In Schritt S102 klassifiziert die Voranalyseeinheit 231 den fokussierten Inhalt gemäß dem Inhaltstyp basierend auf der Erweiterung der Datei.
  • Falls der Inhaltstyp des fokussierten Inhalts „Bewegtbild“ ist, legt die Voranalyseeinheit 231 das Aspektverhältnis und die erforderliche Zeit zum Betrachten in Schritt S103 als die Anzeigepositionsbestimmungsfaktoren fest.
  • Falls der Inhaltstyp des fokussierten Inhalts „Standbild“ ist, analysiert die Voranalyseeinheit 231 in Schritt S104 den fokussierten Standbildinhalt, um zu bestimmen, ob es ein Textelement gibt oder nicht.
  • In Schritt S105 bestimmt die Voranalyseeinheit 231, ob ein Textelement enthalten ist oder nicht, und, falls die Voranalyseeinheit 231 bestimmt, dass kein Textelement enthalten ist, legt die Voranalyseeinheit 231 das Aspektverhältnis in Schritt S106 als den Anzeigepositionsbestimmungsfaktor fest.
  • Falls die Voranalyseeinheit 231 in Schritt S105 bestimmt, dass ein Textelement enthalten ist, legt dagegen die Voranalyseeinheit 231 das Aspektverhältnis und die erforderliche Zeit zum Betrachten in Schritt S107 als die Anzeigepositionsbestimmungsfaktoren fest.
  • Falls der Inhaltstyp des fokussierten Inhalts „Symbol“ ist, legt die Voranalyseeinheit 231 das Aspektverhältnis und die erforderliche Zeit zum Betrachten in Schritt S108 als die Anzeigepositionsbestimmungsfaktoren fest.
  • Nach dem Festlegen der Anzeigepositionsbestimmungsfaktoren in den Schritten S103, S106 und S107 oder in dem Schritt S108 bestimmt die Voranalyseeinheit 231 in Schritt S109, ob alle der Inhalte fokussiert wurden oder nicht.
  • Falls die Voranalyseeinheit 231 in Schritt S109 bestimmt, dass es Inhalte gibt, die noch nicht fokussiert wurden, kehrt die Voranalyseeinheit 231 zu Schritt S101 zurück und fokussiert einen anderen Inhalt, um den Prozess zu wiederholen.
  • Falls die Voranalyseeinheit 231 in Schritt S109 bestimmt, dass alle der Inhalte fokussiert wurden, ist der Voranalyseprozess abgeschlossen. Die Informationen bezüglich der Anzeigepositionsbestimmungsfaktoren jedes Inhalts werden von der Voranalyseeinheit 231 an die Eignungsberechnungseinheit 232 geliefert und zum Berechnen der Eignung verwendet.
  • Es wird angemerkt, dass der Prozess jedes oben beschriebenen Schrittes angemessen parallel mit einem anderen Prozess ausgeführt werden kann oder der Prozess vor oder nach einem anderen Prozess ausgeführt werden kann, indem eine Reihenfolge geändert wird.
  • <<1-4. Modifikation>>
  • Obwohl der sich bewegende Körper, den der Benutzer fährt, in der Beschreibung oben ein Auto ist, kann der sich bewegende Körper andere bewegende Körper sein, wie etwa ein Fahrrad, ein Motorrad, ein Zug und ein Flugzeug. Die oben beschriebene Technik kann auf die Anzeige des Inhalts in verschiedenen sich bewegenden Körpern angewandt werden, so lange eine Vorrichtung, die als eine Anzeigeoberfläche des Inhalts dient, für den sich bewegenden Körper zwischen dem Objekt und dem Benutzer vorbereitet ist.
  • Außerdem kann die Technik auch auf die Anzeige des Inhalts in einem Fall angewandt werden, in dem der Benutzer eine durchlässige HMD trägt und sich zu Fuß bewegt. In diesem Fall zeigt die HMD den Inhalt über der Szene in der Bewegungsrichtung an.
  • Obwohl unterschiedliche Inhalte überlagert werden, falls es mit einem gewissen Timing mehrere auf der Szene zu überlagernde Inhalte gibt, kann ein Typ von Inhalt auf mehreren geeigneten Informationsüberlagerungsrahmen überlagert werden.
  • Obwohl die Bildverarbeitung, die basierend auf dem Kontext bei der Stelle des geeigneten Informationsüberlagerungsrahmens auf den Inhalt angewandt wird, die Anpassung des Kontrasts ist, kann eine andere Verarbeitung, wie etwa eine Anpassung der Luminanz oder eine Anpassung der Farbe, ausgeführt werden.
  • <<<2. Zweite Ausführungsform>>>
  • <<2-1. Überblick der zweiten Ausführungsform>>
  • Bei dem oben beschriebenen Beispiel werden die geeigneten Informationsüberlagerungsrahmen basierend auf dem Szenenbild in der Fahrtrichtung des Fahrzeugs, das durch die in der Datenerfassungseinheit 102 enthaltene Kamera bildlich erfasst wird, festgelegt und wird der Inhalt auf den festgelegten geeigneten Informationsüberlagerungsrahmen überlagert und angezeigt.
  • Jedoch basiert das Beispiel auf dem durch die Kamera erfassten Szenenbild und der Blickpunkt des Benutzers wird nicht berücksichtigt. Daher kann das Aussehen unnatürlich werden.
  • Das heißt, der Inhalt, der in der Blicklinienrichtung des Benutzers vorhanden ist, sollte fokussiert und klar gesehen werden und der Inhalt außerhalb der Blicklinienrichtung sollte defokussiert und in einem verschwommenen Zustand gesehen werden. Jedoch wird dies bei dem oben beschriebenen Verfahren nicht berücksichtigt. Alle der Inhalte werden derart angezeigt, dass die gesamten Inhalte unabhängig von der Blicklinienrichtung klar gesehen werden, und das Aussehen kann unnatürlich werden.
  • Daher kann der Benutzer, der in dem Fahrzeug fährt, bildlich erfasst werden, um die Blickpunktposition des Benutzers zu detektieren, und der gemäß der Blickpunktposition auf dem geeigneten Informationsüberlagerungsrahmen überlagerte Inhalt kann angezeigt werden, indem ein Defokussierungsprozess auf den Inhalt angewandt wird, so dass die Sicht des Inhalts umso unklarer wird, je weiter die Position des Inhalts von der Blickpunktposition entfernt ist.
  • 42 stellt Diagramme dar, die jeweils einen Überblick einer zweiten Ausführungsform des Fahrzeugsteuersystems 100 beschreiben, das den Inhalt durch Anwenden eines Defokussierungsprozesses auf den auf dem geeigneten Informationsüberlagerungsrahmen zu überlagernden Inhalt gemäß einer Blickpunktposition EP des Benutzers, der in dem Fahrzeug fährt, anwendet.
  • Das heißt, das Fahrzeugsteuersystem 100 aus 42 ist mit einer Kamera 271, die ein Szenenbild in der Fahrtrichtung des Fahrzeugs bildlich erfasst, und einer Kamera 272, die einen Benutzer 273 als einen Insassen innerhalb des Fahrzeugs bildlich erfasst, versehen.
  • Des Weiteren führt die Ausgabesteuereinheit 105 die oben beschriebene Reihe von Prozessen durch, um den Inhalt auf dem geeigneten Informationsüberlagerungsrahmen basierend auf dem Szenenbild zu überlagern, das durch die Kamera 271 erfasst wird, und wendet einen Defokussierungsprozess auf den auf der Projektionseinheit 106A anzuzeigenden Inhalt gemäß der Entfernung von der Blickpunktposition EP auf der Projektionseinheit 106A des Benutzers 273 innerhalb des Fahrzeugs an, der durch die Kamera 272 bildlich erfasst wird.
  • Hier bezeichnet die Defokussierung eine Verarbeitung, die beim Anzeigen des Bildes ausgeführt wird, bei der das Bild in einen Zustand verarbeitet wird, in dem das Bild nicht im Fokus ist, so dass das Bild dem Benutzer undeutlich angezeigt wird.
  • Das heißt, bei der zweiten Ausführungsform der vorliegenden Offenbarung wird ein Defokussierungsbereich (Deforcus_Range) gemäß dem Abstand von der Benutzerblickpunktposition des Benutzers 273 festgelegt und wird der Inhalt nach dem Verarbeiten des Inhalts in einen Zustand angezeigt, in dem der Inhalt zu einem Grad defokussiert ist, der dem Defokussierungsbereich entspricht.
  • Infolgedessen wird der Inhalt, selbst wenn der Benutzer die Blicklinie bewegt, bei einer Position nahe der Blickpunktposition EP in einem fokussierten Zustand mit einem kleinen Defokussierungsgrad gemäß der Bewegung der Blicklinie angezeigt. Der Inhalt bei einer Position von der Blickpunktposition EP entfernt wird in einem defokussierten Zustand gemäß der Größe der Entfernung von der Blickpunktposition EP angezeigt. Dies kann eine natürliche Sicht gemäß der Blicklinienrichtung des Benutzers realisieren.
  • <<2-2. Festlegebeispiel für den Defokussierungsbereich>>
  • Als Nächstes wird ein Festlegebeispiel für den Defokussierungsbereich unter Bezugnahme auf 43 beschrieben.
  • Der Benutzer 273 fokussiert auf die Blickpunktposition, um ein Objekt zu beobachten, wobei sich die Blickpunktposition bei dem Objekt in der Blicklinienrichtung befindet. Daher befindet sich ein Objekt, das bei einer von der Blickpunktposition entfernten Position vorhanden ist, in einem defokussierten Zustand.
  • Daher wird der Defokussierungsbereich gemäß einem Entfernungsdifferenzwert festgelegt, der ein Differenzwert der Entfernung zwischen der Position des Inhalts und der Blickpunktposition des Benutzers 273 ist.
  • Zum Beispiel wird in einem hier betrachteten Fall, der auf der rechten Seite aus 43 veranschaulicht ist, ein geeigneter Informationsüberlagerungsrahmen 281F auf einer Seitenoberfläche eines Gebäudes 281 festgelegt und werden Positionen 281A, 281B und 281C in aufsteigender Reihenfolge gemäß der Entfernung von der Blickpunktposition des Benutzers 273 auf dem geeigneten Informationsüberlagerungsrahmen 281F festgelegt.
  • Hier veranschaulicht 43 ein Festlegebeispiel für den Defokussierungsbereich und veranschaulicht die rechte Seite aus 43 ein Beispiel für eine Szene in einem Fall, in dem sich Gebäude 281 und 282 links und rechts auf der nahen Seite in der Fahrtrichtung des Benutzers 273 befinden, der in dem Fahrzeug fährt. Außerdem veranschaulicht die linke Seite aus 43 eine Positionsbeziehung zwischen dem Benutzer 273 und den Gebäuden 281 und 283 bei Betrachtung von oberhalb, falls die Szene auf der rechten Seite aus 43 betrachtet wird.
  • In einem hier betrachteten Fall, der auf der linken Seite aus 43 veranschaulicht ist, geht die Blicklinie des Benutzers 273 zu der Position 281B hin. Nachfolgend wird die Blickpunktposition in der Richtung der Blicklinie des Benutzers 273 als eine Benutzerblickpunktposition bezeichnet. Daher ist, wie auf der linken Seite aus 43 veranschaulicht, die Position 281B die Benutzerblickpunktposition, falls ein Pfeil mit einer gepunkteten Linie die Blicklinie des Benutzers 273 angibt.
  • In diesem Fall ist die Position 281B auf dem geeigneten Informationsüberlagerungsrahmen 281F die Benutzerblickpunktposition und daher kann angenommen werden, dass der Benutzer 273 die Position 281B, die die Benutzerblickpunktposition ist, betrachtet und diese fokussiert.
  • Mit anderen Worten kann angenommen werden, dass der Benutzer 273 die Szene in dem defokussierten Zustand bei den Positionen 281A und 281C, die nicht die Benutzerblickpunktposition sind, auf dem geeigneten Informationsüberlagerungsrahmen 281F betrachtet. Es kann angenommen werden, dass der Inhalt umso stärker defokussiert ist, je größer die Entfernung von der Benutzerblickpunktposition ist.
  • Daher wird, wie in 43 veranschaulicht, der Defokussierungsbereich (Deforcus_Range) bei der Position 281B, die die Benutzerblickpunktposition ist, auf 0 % festgelegt. Außerdem wird der Defokussierungsbereich (Deforcus_Range) bei den Positionen 281A und 281C von der Benutzerblickpunktposition entfernt gemäß den Entfernungsdifferenzwerten, die Werte der Entfernungen von den Benutzerblickpunktpositionen zu den Positionen 281A und 281C sind, auf 0,1A % bis 0,5A % festgelegt.
  • Das heißt, der für den Defokussierungsbereich festgelegte Wert ist umso größer, je größer der Entfernungsdifferenzwert zwischen der Benutzerblickpunktposition des Benutzers 273 und der Position ist. Der für den Defokussierungsbereich festgelegte Wert ist umso kleiner, je kleiner der Entfernungsdifferenzwert ist. Daher ist der Entfernungsdifferenzwert bei der Position 281B, die die Benutzerblickpunktposition ist, 0 und wird der Defokussierungsbereich ebenfalls auf 0 festgelegt.
  • Mit anderen Worten ist der für den Defokussierungsbereich festgelegte Wert umso kleiner, je näher die Position zu der Benutzerblickpunktposition ist. Der für den Defokussierungsbereich festgelegte Wert ist umso größer, je weiter die Position von der Benutzerblickpunktposition ist.
  • Hier ist A in dem Festlegebeispiel für den Defokussierungsbereich in 43 ein vorbestimmter Koeffizient, der willkürlich als eine Gewichtung gemäß dem Defokussierungsbereich und dem Entfernungsdifferenzwert festgelegt werden kann. Das heißt, falls der Koeffizient A klein ist, ändert eine Änderung des Entfernungsdifferenzwertes zwischen der Benutzerblickpunktposition und der Position den Defokussierungsbereich nicht erheblich und wird der Defokussierungsprozess zum beträchtlich unklaren Anzeigen der Szene bei einer Position nahe der Benutzerblickpunktposition nicht ausgeführt. Im Gegensatz dazu ändert, falls der Koeffizient A groß ist, sogar eine geringfügige Änderung des Entfernungsdifferenzwertes den Defokussierungsbereich erheblich und wird der Defokussierungsprozess zum unklaren Anzeigen des Inhalts selbst bei einer Position nahe der Benutzerblickpunktposition ausgeführt.
  • <<2-3. Festlegebeispiel für Defokussierungsbereiche, falls es mehrere geeignete Informationsüberlagerungsrahmen gibt>>
  • Obwohl es bei dem oben beschriebenen Festlegebeispiel für den Defokussierungsbereich einen geeigneten Informationsüberlagerungsrahmen gibt, kann der Defokussierungsbereich gleichermaßen festgelegt werden, falls es mehrere geeignete Informationsüberlagerungsrahmen gibt.
  • Zum Beispiel gibt es in einem betrachteten Fall, der in 44 veranschaulicht ist, mehrere Gebäude in der Projektionseinheit 106A und werden die geeigneten Informationsüberlagerungsrahmen für die mehreren Gebäude festgelegt.
  • 44 veranschaulicht eine Szene einschließlich einer Straße 290 im Voraus in der Fahrtrichtung des Fahrzeugs. Gebäude 291 bis 293 sind in aufsteigender Reihenfolge einer Entfernung von der linken Seite der Straße 290 angeordnet und Gebäude 294 und 295 sind in aufsteigender Reihenfolge einer Entfernung von der rechten Seite der Straße 290 vorhanden.
  • Des Weiteren wird in 44 ein geeigneter Informationsüberlagerungsrahmen 291A auf einer Oberfläche des Gebäudes 291 festgelegt, die der Fahrtrichtung des Benutzers zugewandt ist, und ein sternförmiger Inhalt 291a wird überlagert und angezeigt. Hier wird angenommen, dass sich eine Benutzerblickpunktposition 301 des Benutzers 273 im Wesentlichen im Zentrum des Inhalts 291a befindet. Daher wird der Defokussierungsbereich (Deforcus_Range) für den Inhalt 291a des geeigneten Informationsüberlagerungsrahmens 291A auf 0 % festgelegt.
  • Hier sind die Entfernungen von der Benutzerblickpunktposition 301 zu den Bildern auf den geeigneten Informationsüberlagerungsrahmen, die durch die Projektionseinheit 106A projiziert werden, und zu den Gebäuden 291 bis 295, die in der Fahrtrichtung im Voraus durch die Projektionseinheit 106A hindurch direkt betrachtet werden, in der Reihenfolge der Gebäude 291, 292, 293, 294 und 295 in aufsteigender Reihenfolge.
  • Außerdem wird ein geeigneter Informationsüberlagerungsrahmen 292A auf einer Oberfläche des Gebäudes 292 festgelegt, die der Fahrtrichtung des Benutzers zugewandt ist, und ein sternförmiger Inhalt 292a wird überlagert und angezeigt. Die Entfernung von der Benutzerblickpunktposition 301 zu dem Gebäude 292 ist weiter als zu dem Gebäude 291 und der Defokussierungsbereich (Deforcus_Range) wird auf zum Beispiel 1,0A % bis 1,9A % für den Inhalt 292a des geeigneten Informationsüberlagerungsrahmens 292A festgelegt.
  • Des Weiteren wird ein geeigneter Informationsüberlagerungsrahmen 294A auf einer Oberfläche des Gebäudes 294 festgelegt, die der Straße 290 zugewandt ist, und ein sternförmiger Inhalt 294a wird überlagert und angezeigt. Die Entfernung von der Benutzerblickpunktposition 301 zu dem Gebäude 294 ist weiter als zu dem Gebäude 292 und der Defokussierungsbereich (Deforcus_Range) wird auf zum Beispiel 2,0A % bis 2,9A %, was größere Werte als die Werte für den Inhalt 292a sind, für den Inhalt 294a der geeigneten Informationsüberlagerungsrahmen 294A festgelegt.
  • Außerdem wird ein geeigneter Informationsüberlagerungsrahmen 295A auf einer Oberfläche des Gebäudes 295 festgelegt, die der Fahrtrichtung des Benutzers zugewandt ist, und ein sternförmiger Inhalt 295a wird überlagert und angezeigt. Die Entfernung von der Benutzerblickpunktposition 301 zu dem Gebäude 295 ist weiter als zu dem Gebäude 294 und der Defokussierungsbereich (Deforcus_Range) wird auf zum Beispiel 3,0A % bis 3,9A %, was größere Werte als die Werte für den Inhalt 294a sind, für den Inhalt 295a des geeigneten Informationsüberlagerungsrahmens 295A festgelegt.
  • Das heißt, der Defokussierungsbereich des Inhalts 291a bei der Benutzerblickpunktposition 301 wird auf den minimalen Wert von 0 % festgelegt.
  • Außerdem wird der Defokussierungsbereich des Inhalts 292a in dem geeigneten Informationsüberlagerungsrahmen 292A in der kürzesten Entfernung zu dem geeigneten Informationsüberlagerungsrahmen 291A als die Benutzerblickpunktposition 301 auf zum Beispiel 1,0 % bis 1,9 % festgelegt.
  • Des Weiteren wird der Defokussierungsbereich des Inhalts 294a in dem geeigneten Informationsüberlagerungsrahmen 294A in der zweitkürzesten Entfernung zu dem geeigneten Informationsüberlagerungsrahmen 291A als die Benutzerblickpunktposition 301 auf zum Beispiel 2,0 % bis 2,9 % festgelegt.
  • Außerdem wird der Defokussierungsbereich des Inhalts 295a in dem geeigneten Informationsüberlagerungsrahmen 295A in der drittkürzesten Entfernung zu dem geeigneten Informationsüberlagerungsrahmen 291A als die Benutzerblickpunktposition 301 auf zum Beispiel 3,0 % bis 3,9 % festgelegt.
  • Daher wird der Inhalt 291a in einem fokussierten Zustand angezeigt. Der Inhalt 292a wird in einem defokussierten Zustand angezeigt, so dass der Defokussierungsbereich 1,0 % bis 1,9 % entspricht, und der Inhalt 292a wird im Vergleich zu dem Inhalt 291a für den Benutzer 273 unklarer angezeigt.
  • Außerdem wird der Inhalt 294a in einem defokussierten Zustand angezeigt, so dass der Defokussierungsbereich 2,0 % bis 2,9 % entspricht, und der Inhalt 294a wird im Vergleich zu dem Inhalt 292a für den Benutzer 273 unklarer angezeigt.
  • Des Weiteren wird der Inhalt 295a in einem defokussierten Zustand angezeigt, so dass der Defokussierungsbereich 3,0 % bis 3,9 % entspricht, und der Inhalt 295a wird im Vergleich zu dem Inhalt 294a für den Benutzer 273 unklarer angezeigt.
  • Das heißt, der Defokussierungsgrad nimmt in der Reihenfolge der Inhalte 292a, 294a und 295a zu und die Inhalte werden unklarer angezeigt. In 44 drücken Sternformen, die durch gepunktete Linien angegeben sind, den defokussierten Zustand aus. Es wird angemerkt, dass in 44 der Inhalt 291a in einer Sternform mit ausschließlich durchgezogenen Linien angezeigt ist, und dies gibt an, dass es keine Fokusabweichung gibt. Außerdem wird der Inhalt 292a in einer Sternform angezeigt, die durch eine durchgezogene Linie und eine gepunktete Linie angegeben ist, und dies drückt aus, dass der Inhalt 292a stärker defokussiert und unklarer angezeigt wird als der Inhalt 291a.
  • Des Weiteren wird der Inhalt 294a in einer Sternform angezeigt, die durch eine durchgezogene Linie und zwei gepunktete Linien angegeben ist, und dies drückt aus, dass der Inhalt 294a stärker defokussiert und unklarer angezeigt wird als der Inhalt 292a.
  • Des Weiteren wird der Inhalt 295a in einer Sternform angezeigt, die durch eine durchgezogene Linie und drei gepunktete Linien angegeben ist, und dies drückt aus, dass der Inhalt 295a stärker defokussiert und unklarer angezeigt wird als der Inhalt 294a.
  • Als ein Ergebnis der Anzeige wird der Inhalt 291a bei der Benutzerblickpunktposition 301 in dem fokussierten Zustand angezeigt und werden die Inhalte 292a, 294a und 295a in den defokussierten, unklaren und verschwommenen Zuständen gemäß den Entfernungsdifferenzwerten zwischen der Benutzerblickpunktposition 301 des Benutzers 273 und den jeweiligen Positionen angezeigt. Dies kann eine natürliche Anzeige gemäß der Blicklinie realisieren.
  • <<2-4. Konfigurationsbeispiel der zweiten Ausführungsform der Anzeigesteuereinheit>>
  • <2-4-1. Konfigurationsbeispiel der Anzeigesteuereinheit>
  • Als Nächstes wird ein Konfigurationsbeispiel der zweiten Ausführungsform der Ausgabesteuereinheit 105 unter Bezugnahme auf 45 beschrieben. Jedoch ist bei dem Konfigurationsbeispiel der zweiten Ausführungsform der Ausgabesteuereinheit 105 der Unterschied zu dem Konfigurationsbeispiel der ersten Ausführungsform die Konfiguration der Anzeigesteuereinheit 203 und es wird lediglich die Konfiguration der Anzeigesteuereinheit 203 beschrieben.
  • Des Weiteren ist bei der Anzeigesteuereinheit 203 aus 45 der Prozess der Anzeigeverarbeitungseinheit 254 verschieden von dem Prozess der Anzeigesteuereinheit 203 in 33 und es wird der Prozess der Anzeigeverarbeitungseinheit 254 beschrieben.
  • Die Anzeigesteuereinheit 203 aus 45 verwendet das Szenenbild, das durch die Kamera 271 erfasst wird, die den Fahrzeugaußenbereich bildlich erfasst, die Kartendaten, die in der Speicherungseinheit 111 gespeichert sind, oder Kartendaten, die von einem nicht veranschaulichten Server erlangt werden, und die Informationen der geeigneten Informationsüberlagerungsrahmen, um ein Pseudo-3D-Modell in dem Speicherraum zu konstruieren, und erzeugt in dem Pseudo-3D-Modell Drahtgitter, die den geeigneten Informationsüberlagerungsrahmen entsprechen.
  • Außerdem verwendet die Anzeigesteuereinheit 203 Informationen eines Koordinatensystems des Pseudo-3D-Modells und das Fahrzeuginnenraumbild, das durch die Kamera 272 erfasst wird, um den Defokussierungsbereich bei jeder Position auf den geeigneten Informationsüberlagerungsrahmen, die auf den Drahtgittern in dem Pseudo-3D-Modell überlagert werden, zu erhalten, und erzeugt eine Defokussierungsbereichskarte.
  • Des Weiteren überlagert die Anzeigesteuereinheit 203 den Inhalt mit angepasstem Kontrast und die Teilbilder auf den Drahtgittern in dem Pseudo-3D-Modell und liest den Defokussierungsbereich jeder Position aus der Defokussierungsbereichskarte, um einen entsprechenden Defokussierungsprozess auszuführen. Die Anzeigesteuereinheit 203 gibt das Pseudo-3D-Modell an die Projektionseinheit 106A aus und bewirkt, dass die Projektionseinheit 106A das Pseudo-3D-Modell anzeigt.
  • <2-4-2. Konfigurationsbeispiel der Anzeigeverarbeitungseinheit aus Figur 45>
  • Als Nächstes wird ein ausführliches Konfigurationsbeispiel der Anzeigeverarbeitungseinheit 254 aus 45 unter Bezugnahme auf 46 beschrieben.
  • Die Anzeigeverarbeitungseinheit 254 aus 45 weist eine Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321, eine Inhaltsüberlagerungseinheit 322, eine Defokussierungsverarbeitungseinheit 323, eine Blickpunktpositionsdetektionseinheit 324, eine Defokussierungsbereichsfestlegeeinheit 325 und eine Defokussierungsbereichskartenspeicherungseinheit 326 auf.
  • Die Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321 verwendet die Straße, das Gebäude und dergleichen, die dem Raum in der Fahrtrichtung des Fahrzeugs entsprechen, um ein Pseudo-3D-Modell in dem Speicherraum basierend auf dem Szenenbild, den Kartendaten und den Informationen der geeigneten Informationsüberlagerungsrahmen zu konstruieren. Des Weiteren erzeugt die Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321 in dem konstruierten Pseudo-3D-Modell entsprechende Drahtgitter basierend auf den Informationen der Positionen, die mit den geeigneten Informationsüberlagerungsrahmen versehen werden, und gibt die Drahtgitter als Pseudo-3D-Modell-Drahtgitter-Informationen an die Inhaltsüberlagerungseinheit 322, die Blickpunktpositionsdetektionseinheit 324 und die Defokussierungsbereichsfestlegeeinheit 325 aus.
  • Die Inhaltüberlagerungseinheit 322 überlagert den Inhalt mit angepasstem Kontrast und die Teilbilder auf den Drahtgittern, die den geeigneten Informationsüberlagerungsrahmen entsprechen, in dem Pseudo-3D-Modell und gibt die Drahtgitter an die Defokussierungsverarbeitungseinheit 323 aus.
  • Die Defokussierungsverarbeitungseinheit 323 greift auf die Defokussierungsbereichskartenspeicherungseinheit 326 zu und liest die festgelegte Defokussierungsbereichsgruppe für jedes Drahtgitter, das dem geeigneten Informationsüberlagerungsrahmen entspricht, in dem Pseudo-3D-Modell, welches mit dem Inhalt mit angepasstem Kontrast und den Teilbildern versehen wird. Die Defokussierungsverarbeitungseinheit 323 wendet den Defokussierungsprozess auf das Bild in dem entsprechenden Defokussierungsbereich an und gibt das Bild aus.
  • Die Blickpunktpositionsdetektionseinheit 324 sucht nach der Benutzerblickpunktposition aus dem Fahrzeuginnenraumbild, das durch die Kamera 272 erfasst wird, und erhält die Koordinatenposition auf dem 3D-Modell-Drahtgitter. Die Blickpunktpositionsdetektionseinheit 324 gibt die Koordinatenposition an die Defokussierungsbereichsfestlegeeinheit 325 aus. Insbesondere detektiert die Blickpunktpositionsdetektionseinheit 324 das Gesichtsbild des Benutzers aus dem Fahrzeuginnenraumbild, das durch die Kamera 272 erfasst wird. Des Weiteren gibt die Blickpunktpositionsdetektionseinheit 324 die Irisposition der Augen aus dem detektierten Gesichtsbild vor und detektiert die Blickpunktposition auf der Projektionsoberfläche der Projektionseinheit 106A als die Benutzerblickpunktposition basierend auf den Positionen der Iris.
  • Die Defokussierungsbereichsfestlegeeinheit 325 legt den Defokussierungsbereich bei jeder Position in den Drahtgittern, die den geeigneten Informationsüberlagerungsrahmen entsprechen, in dem Pseudo-3D-Modell basierend auf den Pseudo-3D-Modell-Drahtgitter-Informationen und den Informationen der Benutzerblickpunktposition fest, um eine Defokussierungsbereichsgruppe für jedes Drahtgitter zu bilden, und bewirkt, dass die Defokussierungsbereichskartenspeicherungseinheit 326 die Defokussierungsbereichsgruppen als eine Defokussierungsbereichskarte bezüglich der mehreren geeigneten Informationsüberlagerungsrahmen speichert. Des Weiteren legt die Defokussierungsbereichsfestlegeeinheit 325 in diesem Fall auch die Defokussierungsbereiche für Gebiete außer den Drahtgittern fest. Das heißt, die Defokussierungsbereichsfestlegeeinheit 325 legt die Defokussierungsbereiche für alle der Positionen in dem Pseudo-3D-Modell-Raum fest und bewirkt, dass die Defokussierungsbereichskartenspeicherungseinheit 326 die Defokussierungsbereiche als eine Defokussierungsbereichskarte speichert.
  • Die Defokussierungsbereichskartenspeicherungseinheit 326 speichert die Defokussierungsbereichskarte. Die Defokussierungsverarbeitungseinheit 323 wendet den Defokussierungsprozess, der den Defokussierungsbereichen entspricht, auf den Inhalt an, der von der Inhaltsüberlagerungseinheit 322 bereitgestellt wird, in der der Inhalt mit angepasstem Kontrast und die Teilbilder auf den Drahtgittern, die den geeigneten Informationsüberlagerungsrahmen entsprechen, in dem Pseudo-3D-Modell-Raum überlagert werden. Die Defokussierungsverarbeitungseinheit 323 gibt den Inhalt aus.
  • <2-4-3. Anzeigeprozess der Anzeigesteuereinheit in Figur 45>
  • Als Nächstes wird der Anzeigeprozess der Anzeigesteuereinheit 203 in 45 unter Bezugnahme auf ein Flussdiagramm aus 47 beschrieben.
  • In Schritt S201 konstruiert die Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321 das Pseudo-3D-Modell der Straße, der Gebäude und dergleichen in dem Speicherraum basierend auf dem Szenenbild, den Kartendaten und den Informationen bezüglich der geeigneten Informationsüberlagerungsrahmen. Des Weiteren legt die Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321 in dem Pseudo-3D-Modell Drahtgitter, die den geeigneten Informationsüberlagerungsrahmen entsprechen, basierend auf den Informationen der Positionen, die mit den geeigneten Informationsüberlagerungsrahmen versehen werden, fest und gibt die Drahtgitter als die Pseudo-3D-Modell-Drahtgitter-Informationen an die Inhaltsüberlagerungseinheit 322, die Blickpunktpositionsdetektionseinheit 324 und die Defokussierungsbereichsfestlegeeinheit 325 aus.
  • In Schritt S202 führen die Blickpunktpositionsdetektionseinheit 324 und die Defokussierungsbereichsfestlegeeinheit 325 den Defokussierungsbereichskartenerzeugungsprozess aus, um die Defokussierungsbereichskarte zu erzeugen, und bewirken, dass die Defokussierungsbereichskartenspeicherungseinheit 326 die Defokussierungsbereichskarte speichert.
  • <2-4-4. Defokussierungsbereichskartenerzeugungsprozess der Anzeigesteuereinheit in Figur 45>
  • Hier wird der Defokussierungsbereichskartenerzeugungsprozess der Anzeigesteuereinheit 203 in 45 unter Bezugnahme auf ein Flussdiagramm aus 48 beschrieben.
  • In Schritt S221 erlangt die Blickpunktpositionsdetektionseinheit 324 das Fahrzeuginnenraumbild, das durch die Kamera 272 erfasst wird, und detektiert das Gesichtsbild des Benutzers als ein Insasse. Die Blickpunktpositionsdetektionseinheit 324 detektiert ferner die Irispositionen, um die Blicklinienrichtung basierend auf den Irispositionen zu detektieren, und spezifiziert die Benutzerblicklinienposition auf der Anzeigeoberfläche der Projektionseinheit 106A.
  • In Schritt S222 spezifiziert die Blickpunktpositionsdetektionseinheit 324 die Koordinatenposition der Benutzerblickpunktposition auf der Projektionseinheit 106A in dem Pseudo-3D-Modell und gibt die Koordinatenposition der Benutzerblickpunktposition an die Defokussierungsbereichsfestlegeeinheit 325 aus.
  • In Schritt S223 legt die Defokussierungsbereichsfestlegeeinheit 325 den Defokussierungsbereich, der dem Differenzwert einer Entfernung von der Benutzerblickpunktposition entspricht, für jeden Punkt in dem Pseudo-3D-Modell fest, um die Defokussierungsbereichskarte zu erzeugen, und bewirkt, dass die Defokussierungsbereichskartenspeicherungseinheit 326 die Defokussierungsbereichskarte speichert.
  • Als ein Ergebnis des oben beschriebenen Prozesses wird der Defokussierungsbereich bei jedem Punkt des 3D-Modells festgelegt und werden die Defokussierungsbereiche als die Defokussierungsbereichskarte in der Defokussierungsbereichskartenspeicherungseinheit 326 gespeichert. In diesem Fall werden kontinuierliche Defokussierungsbereiche in den Drahtgittern des 3D-Modells in der Defokussierungsbereichskarte festgelegt und werden die Defokussierungsbereichsgruppen basierend auf den Drahtgittern gebildet. Die Defokussierungsbereiche werden in der Defokussierungsbereichskarte in diesem Zustand gespeichert.
  • Hier wird das Flussdiagramm aus 47 weiter beschrieben.
  • In Schritt S202 fokussiert die Berechnungseinheit 251 für einen passenden Kontrast der Anzeigesteuereinheit 203, sobald die Defokussierungsbereichskarte in dem Defokussierungsbereichskartenerzeugungsprozess erzeugt wird, auf einen Inhalt, der in Schritt S203 mit der Überlagerungsstelle versorgt wird.
  • In Schritt S204 berechnet die Berechnungseinheit 251 für einen passenden Kontrast den passenden Kontrast basierend auf dem Kontext der Stelle des geeigneten Informationsüberlagerungsrahmens als die Überlagerungsstelle.
  • In Schritt S205 passt die Kontrastanpassungseinheit 252 den Kontrast des fokussierten Inhalts basierend auf dem passenden Kontrast an.
  • In Schritt S206 führt die Maskenverarbeitungseinheit 253 den Maskierungsprozess aus, um das Bild des vorderen Objekts auszuschneiden, falls es ein vorderes Objekt in dem geeigneten Informationsüberlagerungsrahmen als die Überlagerungsstelle des fokussierten Inhalts gibt.
  • In Schritt S207 überlagert die Inhaltüberlagerungseinheit 322 der Anzeigeverarbeitungseinheit 254 den Inhalt mit dem angepassten Kontrast auf dem Drahtgitter in dem Pseudo-3D-Modell-Raum, welches dem geeigneten Informationsüberlagerungsrahmen entspricht.
  • In Schritt S208 zeigt die Inhaltüberlagerungseinheit 322 das Bild des vorderen Objekts angemessen über dem Inhalt an und gibt den Inhalt an die Defokussierungsverarbeitungseinheit 323 aus.
  • In Schritt S209 greift die Defokussierungsverarbeitungseinheit 323 auf die Defokussierungsbereichskartenspeicherungseinheit 326 zu und liest die Defokussierungsbereichsgruppe, die dem mit dem fokussierten Inhalt versehenen Rahmen entspricht, aus der Defokussierungsbereichskarte. Gemäß dem Fokussierungsbereich bei jedem Punkt auf dem Rahmen wendet die Defokussierungsverarbeitungseinheit 323 den Defokussierungsprozess auf jeden Punkt auf dem Drahtgitter des Pseudo-3D-Modells, welches dem mit dem Inhalt versehenen geeigneten Informationsüberlagerungsrahmen entspricht, an und gibt den Rahmen aus.
  • In Schritt S210 bestimmt die Anzeigesteuereinheit 203, ob alle der Inhalte fokussiert wurden oder nicht.
  • Falls die Anzeigesteuereinheit 203 in Schritt S210 bestimmt, dass es Inhalte gibt, die noch nicht fokussiert wurden, kehrt die Anzeigesteuereinheit 203 zu Schritt S203 zurück, um auf einen anderen Inhalt zu fokussieren, und wiederholt den oben beschriebenen Prozess.
  • Falls die Anzeigesteuereinheit 203 in Schritt S210 bestimmt, dass alle der Inhalte fokussiert wurden, werden alle der Inhalte auf den Drahtgittern des Pseudo-3D-Modells, welche den geeigneten Informationsüberlagerungsrahmen entsprechen, die als die Überlagerungsstellen festgelegt wurden, überlagert. Sobald der Defokussierungsprozess ausgeführt wurde, geht der Prozess zu Schritt S211 über.
  • In Schritt S211 gibt die Defokussierungsverarbeitungseinheit 323 das Bild, das dem Defokussierungsprozess gemäß der Entfernung von der Benutzerblickpunktposition unterzogen wurde, in dem Zustand aus, in dem alle der Inhalte auf den geeigneten Informationsüberlagerungsrahmen überlagert werden, die als die Überlagerungsstellen festgelegt wurden. Die Defokussierungsverarbeitungseinheit 323 gibt das Bild an die Projektionseinheit 106A aus und bewirkt, dass die Projektionseinheit 106A das Bild anzeigt. Der Prozess kehrt zu Schritt S5 aus 36 zurück und der anschließende Prozess wird ausgeführt.
  • Als ein Ergebnis der oben beschriebenen Reihe von Prozessen werden die Inhalte auf der Projektionseinheit 106A einschließlich der durchlässigen Anzeige überlagert und auf den geeigneten Informationsüberlagerungsrahmen derart angezeigt, dass die Inhalte in die Szene passen. In diesem Fall ist der Defokussierungsgrad in dem angezeigten Bild umso kleiner (stärker fokussiertes, schärferes und klareres Bild), je näher die Position des Inhalts des geeigneten Informationsüberlagerungsrahmens zu der Benutzerblickpunktposition ist. Der Defokussierungsgrad in dem angezeigten Bild ist umso größer (stärker defokussiertes und unklareres Bild), je weiter die Position des Inhalts des geeigneten Informationsüberlagerungsrahmens von der Benutzerblickpunktposition entfernt ist.
  • Als ein Ergebnis kann der Inhalt an optimalen Orten in der Szene in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt. Der Benutzer kann den Inhalt auf eine ähnliche Weise wie das Sehen einer normalen Szene betrachten.
  • Es wird angemerkt, dass, obwohl der Defokussierungsbereich jedes Punkts in dem 3D-Modell, das dem gesamten Szenenbild entspricht, bei dem oben beschriebenen Beispiel erhalten wird, um die Defokussierungsbereichskarte in dem Defokussierungsbereichskartenerzeugungsprozess zu erzeugen, der Defokussierungsprozess tatsächlich nur auf die Gebiete der geeigneten Informationsüberlagerungsrahmen angewandt wird, die mit dem Inhalt versehen werden. Daher werden für die Defokussierungsbereichskarte möglicherweise nur die Defokussierungsbereichsgruppen der Gebiete der Drahtgitter in dem Pseudo-3D-Modell, die den Gebieten der geeigneten Informationsüberlagerungsrahmen entsprechen, erhalten, um die Defokussierungsbereichskarte zu bilden.
  • <<2-5. Modifikation>>
  • <2-5-1. Konfigurationsbeispiel der Anzeigeverarbeitungseinheit, falls die Projektionseinheit eine nichtdurchlässige Anzeige ist>
  • Obwohl die Projektionseinheit 106A in 42 bei dem Beispiel des oben beschriebenen Falls die durchlässige Anzeige aufweist, kann die Projektionseinheit 106A eine nichtdurchlässige Anzeige aufweisen.
  • Das heißt, die Projektionseinheit 106A ist bei der obigen Beschreibung die durchlässige Anzeige und der Inhalt wird auf den Gebieten überlagert, die als die oben beschriebenen geeigneten Informationsüberlagerungsrahmen angenommen werden. Daher wird der Inhalt nach dem Anwenden des Defokussierungsprozesses nur auf die mit dem Inhalt versehenen Gebiete, die als die geeigneten Informationsüberlagerungsrahmen angenommen werden, projiziert. Dementsprechend beobachtet der Benutzer die projizierten Bilder in den Gebieten, die als die geeigneten Informationsüberlagerungsrahmen angenommen werden, und betrachtet und beobachtet Objekte direkt, die auf der Vorderseite in den Gebieten außer den Gebieten, die als die geeigneten Informationsüberlagerungsrahmen angenommen werden, vorhanden sind. Auf diese Weise beobachtet der Benutzer den Inhalt, der so angezeigt wird, das er natürlich in die Szene passt.
  • Jedoch zeigt, in einem Fall einer nichtdurchlässigen Anzeige, die gesamte Anzeige zum Beispiel das durch die Kamera 271 erfasste Szenenbild an und wird der Inhalt in den Gebieten der geeigneten Informationsüberlagerungsrahmen in dem angezeigten Szenenbild überlagert und angezeigt. Das heißt, der Benutzer beobachtet, falls der Inhalt in der nichtdurchlässigen Anzeige angezeigt wird, die Bilder in dem Zustand, in dem der Inhalt auf einem Teil der Bilder angezeigt wird, die auf der gesamten Anzeige angezeigt werden. Daher ist in dem Fall der nichtdurchlässigen Anzeige der Defokussierungsprozess, der der Benutzerblickpunktposition entspricht, in dem gesamten Anzeigegebiet der Anzeige notwendig.
  • Hier wird ein Konfigurationsbeispiel der Anzeigeverarbeitungseinheit, falls die Projektionseinheit eine nichtdurchlässige Anzeige ist, unter Bezugnahme auf 49 beschrieben.
  • Bei der Anzeigeverarbeitungseinheit 254 aus 49 unterscheidet sich die von der Anzeigeverarbeitungseinheit 254 aus 46 verschiedene Konfiguration darin, dass die Informationen des Szenenbildes an die Defokussierungsverarbeitungseinheit 323 geliefert werden und die Defokussierungsverarbeitungseinheit 323 den Defokussierungsprozess in dem Zustand ausführt, in dem die Informationen der geeigneten Informationsüberlagerungsrahmen überlagert werden.
  • Das heißt, falls die Projektionseinheit 106A eine nichtdurchlässige Anzeige ist, wendet die Defokussierungsverarbeitungseinheit 323 den Defokussierungsprozess auf das gesamte Szenenbild in dem Zustand an, in dem die geeigneten Informationsüberlagerungsrahmen, die mit dem Inhalt versehen werden, auf dem durch die Kamera 271 erfassten gesamten Szenenbild überlagert werden.
  • In diesem Fall verwendet die Defokussierungsverarbeitungseinheit 323 alle der Informationen der in dem gesamten Szenenbild festgelegten Defokussierungsbereiche, die in der Defokussierungsbereichskartenspeicherungseinheit 326 gespeichert werden, und wendet den Defokussierungsprozess auf das gesamte Szenenbild in dem Zustand an, in dem die geeigneten Informationsüberlagerungsrahmen, die mit dem Inhalt versehen werden, überlagert werden.
  • <2-5-2. Anzeigeprozess, falls die Projektionseinheit eine nichtdurchlässige Anzeige ist>
  • Als Nächstes wird ein Anzeigeprozess, falls die Projektionseinheit 106A eine nichtdurchlässige Anzeige ist, unter Bezugnahme auf ein Flussdiagramm aus 50 beschrieben. Es wird angemerkt, dass der Prozess der Schritte S241 bis S249 in 49 ähnlich dem Prozess der Schritte S201 bis S208 und S210 in 47 ist und die Beschreibung nicht wiederholt wird.
  • Das heißt, sobald der Inhalt auf allen der Drahtgitter, die den geeigneten Informationsüberlagerungsrahmen entsprechen, in dem Pseudo-3D-Modell in dem Prozess der Schritte S241 bis S249 überlagert wurde, geht der Prozess zu Schritt S250 über.
  • In Schritt S250 haftet die Defokussierungsverarbeitungseinheit 323 die Drahtgitter an dem durch die Kamera 271 erfassten Szenenbild an und überlagert diese in dem Zustand, in dem der Inhalt auf allen der Drahtgitter, die den geeigneten Informationsüberlagerungsrahmen entsprechen, in dem Pseudo-3D-Modell überlagert wird.
  • In Schritt S251 wendet die Defokussierungsverarbeitungseinheit 323 den Defokussierungsprozess auf das gesamte Szenenbild gemäß den Defokussierungsbereichen an. Das heißt, hier wird der Defokussierungsprozess mit den Defokussierungsbereichen, die den Differenzwerten der Entfernungen von der Benutzerbeobachtungsposition entsprechen, nicht nur auf die Gebiete angewandt, die mit dem Inhalt auf den Drahtgittern, die den geeigneten Informationsüberlagerungsrahmen entsprechen, versehen werden, sondern auch auf jede Position des gesamten Szenenbildes in dem Pseudo-3D-Modell.
  • In Schritt S252 gibt die Defokussierungsverarbeitungseinheit 323 das Szenenbild, das dem Defokussierungsprozess unterzogen wurde, an die Projektionseinheit 106A einschließlich der nichtdurchlässigen Anzeige aus und bewirkt, dass die Projektionseinheit 106A das Szenenbild anzeigt. Der Prozess kehrt zu Schritt S5 aus 36 zurück und der anschließende Prozess wird ausgeführt.
  • Das heißt, ein Anzeigebeispiel aus 51 veranschaulicht ein Beispiel, bei dem die Szene, die auf der Projektionsanzeigeeinheit 106A basierend auf der unter Bezugnahme auf 44 beschriebenen durchlässigen Anzeige angezeigt wird, durch eine Projektionseinheit 106A einschließlich einer nichtdurchlässigen Anzeige angezeigt wird.
  • Das heißt, die Szene wird bei dem Beispiel aus 44 durch die Projektionseinheit 106A einschließlich der durchlässigen Anzeige angezeigt, und daher wird der Defokussierungsprozess nur auf die jeweiligen sternförmigen Inhalte 292a, 294a und 295a in den geeigneten Informationsüberlagerungsrahmen 292A, 294A und 295A gemäß der Entfernung von der Benutzerblickpunktposition 301 angewandt.
  • Im Gegensatz dazu wird die Szene bei dem Beispiel aus 51 durch die Projektionseinheit 106A einschließlich der nichtdurchlässigen Anzeige angezeigt, und wird der Defokussierungsprozess auf das gesamte Szenenbild einschließlich der Gebäude 292` bis 295', die den Gebäuden 292 bis 295 entsprechen, gemäß der Entfernung von der Benutzerblickpunktposition 301 angewandt. Daher wird der Defokussierungsprozess auch auf die geeigneten Informationsüberlagerungsrahmen 292A, 294A und 295A ähnlich den sternförmigen Inhalten 292a, 294a und 295a angewandt. Der Defokussierungsprozess wird auch auf andere Konfigurationen angewandt. Es wird angemerkt, dass, wie für den Defokussierungsprozess bei den sternförmigen Inhalten 292a, 294a und 295a, ein ähnlicher Defokussierungsprozess unabhängig davon ausgeführt wird, ob die Projektionseinheit 106A eine durchlässige Anzeige oder eine nichtdurchlässige Anzeige ist.
  • Als ein Ergebnis kann der Inhalt an optimalen Orten in der Szene in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt, und kann der Benutzer den Inhalt auf eine Weise ähnlich dem Sehen einer normalen Szene betrachten.
  • <<<3. Dritte Ausführungsform>>>
  • <<3-1. Überblick der dritten Ausführungsform>>
  • Obwohl der Defokussierungsprozess bei dem oben beschriebenen Beispiel, falls es einen Benutzer als einen Insassen gibt, auf den Inhalt auf den geeigneten Informationsüberlagerungsrahmen gemäß den Differenzwerten von Entfernungen von der Benutzerblickpunktposition angewandt wird, kann der Defokussierungsprozess, falls es mehrere Benutzer als Insassen gibt, gemäß jeweiligen Benutzerbeobachtungspositionen ausgeführt werden, um zu ermöglichen, dass jeweilige Benutzer Bilder beobachten, die optimalen Defokussierungsprozessen unterzogen wurden.
  • 52 ist ein Diagramm, das einen Überblick einer dritten Ausführungsform des Fahrzeugsteuersystems 100 beschreibt, das den Inhalt, der auf den geeigneten Informationsüberlagerungsrahmen überlagert wird, gemäß jeweiligen Blickpunktpositionen (Blicklinienrichtungen) mehrerer Benutzer, die in einem Fahrzeug fahren, defokussiert und das den Inhalt anzeigt, um zu ermöglichen, dass jeweilige Benutzer den Inhalt angemessen betrachten. Es wird angemerkt, dass in 52 die Beschreibung der Komponenten mit den gleichen Funktionen wie die Komponenten in 42 angemessen ausgelassen wird.
  • Das heißt, 51 unterscheidet sich von 42 darin, dass die Benutzer als Insassen drei Benutzer 273-1 bis 273-3 aufweisen, entsprechend Kameras 272 drei Kameras 272-1 bis 272-3 aufweisen und eine Anzeigeeinheit 351 anstelle der Projektionseinheit 106A bereitgestellt ist.
  • Die Kameras 272-1 bis 272-3 erfassen den Fahrzeuginnenraum bildlich, um jeweils die Benutzer 273-1 bis 273-3 als Insassen bildlich zu erfassen, und liefern die erfassten Fahrzeuginnenraumbilder an die Ausgabesteuereinheit 105. In diesem Fall spezifiziert die Ausgabesteuereinheit 105, wie in dem Fall, in dem es einen Insassen gibt, eine Benutzerblickpunktposition EP1 des Benutzers 273-1 aus dem durch die Kamera 272-1 erfassten Bild, spezifiziert eine Benutzerblickpunktposition EP2 des Benutzers 273-2 aus dem durch die Kamera 272-2 erfassten Bild und spezifiziert eine Benutzerblickpunktposition EP3 des Benutzers 273-3 aus dem durch die Kamera 272-3 erfassten Bild. Es wird angemerkt, dass möglicherweise nur eine Kamera 272 enthalten ist und die Kamera 272 dazu in der Lage sein kann, den gesamten Fahrzeuginnenraum bildlich zu erfassen. Auf diese Weise können mehrere Benutzer aus einem Bild detektiert werden und können die jeweiligen Benutzerblickpunktpositionen EP1 bis EP3 detektiert werden.
  • Außerdem erzeugt die Ausgabesteuereinheit 105 basierend auf den Informationen der jeweiligen Benutzerblickpunktpositionen EP1 bis EP3 der Benutzer 273-1 bis 273-3 Szenenbilder, die es ermöglichen, dass die jeweiligen Benutzer 273-1 bis 273-3 den Inhalt in einem Zustand betrachten, in dem der Inhalt natürlich auf den geeigneten Informationsüberlagerungsrahmen überlagert wird. Die Ausgabesteuereinheit 105 integriert die Szenenbilder in ein Bild in chronologischer Reihenfolge.
  • Des Weiteren gibt die Ausgabesteuereinheit 105 die in ein Bild in chronologischer Reihenfolge integrierten Szenenbilder an die Anzeigeeinheit 351 aus, während die Szenenbilder in chronologischer Reihenfolge geändert werden.
  • Die Anzeigeeinheit 351 ist zusätzlich zu der oben beschriebenen Projektionseinheit 106A mit einem Flüssigkristallpolarisationsverschluss 361 versehen und beim Anzeigen der in ein Szenenbild in chronologischer Reihenfolge integrierten Bilder wechselt die Ausgabesteuereinheit 105 die Polarisationsrichtung des durch den Flüssigkristallpolarisationsverschluss 361 transmittierten Lichts gemäß dem Timing der Anzeige des Bildes, das durch jeden der Benutzer 273-1 bis 273-3 zu betrachten ist. Auf diese Weise wird das Szenenbild in dem Zustand angezeigt, der es ermöglicht, dass jeder der Benutzer 273-1 bis 273-3 nur die für jeden Benutzer angemessenen Bilder betrachtet.
  • Hier wird die Konfiguration der Anzeigeeinheit 351 unter Bezugnahme auf 53 beschrieben. 53 veranschaulicht die Konfiguration, falls die in der Anzeigeeinheit 351 enthaltene Projektionseinheit 106A zum Beispiel die durchlässige Anzeige aufweist, und 53 ist eine Draufsicht von vertikal oberhalb der Anzeigeoberfläche der Anzeigeeinheit 351.
  • In dem Fall aus 53 betrachten die Benutzer 273-1 bis 273-3 auf der unteren Seite aus 53 die Szene auf der oberen Seite aus 53, die in der Fahrtrichtung nach vorne ist, durch die Projektionseinheit 106A. Daher können die Benutzer 273-1 bis 273-3 in dem Zustand, in dem der Inhalt auf den geeigneten Informationsüberlagerungsrahmen auf der Projektionseinheit 106A überlagert wird, in der Fahrtrichtung nach vorne sehen. Auf diese Weise können die Benutzer 273-1 bis 273-3 einen Inhalt derart betrachten, dass der Inhalt natürlich in die Szene passt.
  • Wenn die Bilder einschließlich des Inhalts, der für jede der mehreren Personen angemessen ist und der auf den geeigneten Informationsüberlagerungsrahmen überlagert wird, die für jede der mehreren Personen erzeugt werden, in ein Bild in chronologischer Reihenfolge integriert werden, wird dagegen das Bild so angezeigt, wie auf der oberen Seite aus 53 veranschaulicht ist. Das heißt, es wird zum Beispiel ein Bild für den Benutzer 273-1, das durch Video_01 angegeben ist, zur Zeit t1 angezeigt und es wird ein Bild für den Benutzer 273-2, das durch Video_02 angegeben ist, zur Zeit t2 angezeigt. Ein Bild für den Benutzer 273-3, das durch Video_03 angegeben ist, wird zur Zeit t3 angezeigt und eine solche Anzeige wird wiederholt.
  • Wenn ein in chronologischer Reihenfolge integriertes Bild in einem Zustand ohne den Flüssigkristallpolarisationsverschluss 361 angezeigt wird, betrachtet daher jeder der Benutzer 273-1 bis 273-3 in zwei von drei Fällen Bilder, die nicht zum Betrachten angemessen sind.
  • Daher wird der Flüssigkristallpolarisationsverschluss 361 in einer vorhergehenden Stufe der Projektionseinheit 106A bereitgestellt und die Ausgabesteuereinheit 105 steuert das integrierte Bild gemäß dem Timing zum Anzeigen, um die Polarisationsrichtung zu wechseln.
  • Das heißt, die Ausgabesteuereinheit 105 bewirkt, dass die Projektionseinheit 106A das Bild für den Benutzer 273-1 mit dem Timing der Zeit t1 anzeigt, und steuert den Flüssigkristallpolarisationsverschluss 361 dazu, wie durch eine gepunktete Linie angegeben, das Licht in einer Richtung zu polarisieren, die es nur dem Benutzer 273-1 ermöglicht, das Bild zu betrachten, wie durch Pfeile von gepunkteten Linien angegeben ist.
  • Außerdem bewirkt die Ausgabesteuereinheit 105, dass die Projektionseinheit 106A das Bild für den Benutzer 273-2 mit dem Timing der Zeit t2 anzeigt, und steuert den Flüssigkristallpolarisationsverschluss 361 dazu, wie durch eine durchgezogene Linie angegeben, das Licht in einer Richtung zu polarisieren, die es nur dem Benutzer 273-2 ermöglicht, das Bild zu betrachten, wie durch Pfeile von durchgezogenen Linien angegeben ist.
  • Des Weiteren bewirkt die Ausgabesteuereinheit 105, dass die Projektionseinheit 106A das Bild für den Benutzer 273-3 mit dem Timing der Zeit t3 anzeigt, und steuert den Flüssigkristallpolarisationsverschluss 361 dazu, wie durch eine strichpunktierte Linie angegeben, das Licht in einer Richtung zu polarisieren, die es nur dem Benutzer 273-3 ermöglicht, das Bild zu betrachten, wie durch Pfeile von strichpunktierten Linien angegeben ist.
  • Anschließend wiederholt die Ausgabesteuereinheit 105 eine ähnliche Steuerung, um die Anzeigeeinheit 351 dazu zu steuern, zu ermöglichen, dass jeder der Benutzer 273-1 bis 273-3 nur die Bilder betrachtet, die für den Benutzer zum Betrachten angemessen sind. Es wird angemerkt, dass die gepunktete Linie, die durchgezogene Linie und die strichpunktierte Linie in dem Flüssigkristallpolarisationsverschluss 361 in 53 Steuerzustände des Flüssigkristallpolarisationsverschlusses 361 ausdrücken und die Linien keine unterschiedlichen Verschlüsse oder dergleichen angeben.
  • Gemäß der oben beschriebenen Konfiguration kann, selbst wenn es mehrere Benutzer gibt, die in dem Fahrzeug fahren, der Inhalt an optimalen Orten in der Szene in einem Zustand, der für jeden Benutzer angemessen ist, in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt. Jeder Benutzer kann den Inhalt bei jeder Position auf eine ähnliche Weise wie das Sehen einer normalen Szene betrachten.
  • <<3-2. Konfigurationsbeispiel eines Fahrzeugsteuersystems>>
  • <3-2-1. Gesamtkonfiguration des Fahrzeugsteuersystems>
  • 54 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Fahrzeugsteuersystems 100 gemäß der dritten Ausführungsform veranschaulicht. Es wird angemerkt, dass bei dem Fahrzeugsteuersystem 100 aus 54 die gleichen Bezugszeichen für die Komponenten mit den gleichen Funktionen wie bei dem Fahrzeugsteuersystem 100 aus 8 bereitgestellt sind und die Beschreibung davon angemessen ausgelassen wird.
  • Das heißt, das Fahrzeugsteuersystem 100 aus 54 unterscheidet sich von dem Fahrzeugsteuersystem 100 aus 8 darin, dass die Anzeigeeinheit 351 anstelle der Projektionseinheit 106A bereitgestellt ist.
  • Die Anzeigeeinheit 351 weist die Projektionseinheit 106A und den Flüssigkristallpolarisationsverschluss 361, wie unter Bezugnahme auf 53 beschrieben, auf.
  • Der Flüssigkristallpolarisationsverschluss 361 wechselt die Polarisationsrichtung, um zu ermöglichen, dass nur der Benutzer 273, der zum Betrachten des Bildes angemessen ist, das Bild betrachtet, gemäß dem Timing einer Anzeige des Bildes, wenn die Bilder, die mit dem Inhalt auf den geeigneten Informationsüberlagerungsrahmen versorgt werden, in den Zuständen, die jeweils für die mehreren Benutzer 273 angemessen sind, als ein Bild in chronologischer Reihenfolge angezeigt werden.
  • Es wird angemerkt, dass, obwohl die Projektionseinheit 106A eine durchlässige Anzeige oder eine nichtdurchlässige Anzeige sein kann, die Konfiguration und der Prozess, die für jede Anzeige geeignet sind, notwendig sind, wie bei der zweiten Ausführungsform beschrieben ist. Das heißt, falls die Projektionseinheit 106A eine durchlässige Anzeige ist, muss der Anzeigeprozess, wie in dem Flussdiagramm aus 47 veranschaulicht, in der Konfiguration der Anzeigeverarbeitungseinheit 254, wie in 46 veranschaulicht, ausgeführt werden. Falls die Projektionseinheit 106A eine nichtdurchlässige Anzeige ist, muss des Weiteren der Anzeigeprozess, wie in dem Flussdiagramm aus 50 veranschaulicht, in der Konfiguration der Anzeigeverarbeitungseinheit 254, wie in 49 veranschaulicht, ausgeführt werden.
  • <3-2-2. Konfiguration der Anzeigeverarbeitungseinheit>
  • Als Nächstes wird die Konfiguration der Anzeigeverarbeitungseinheit 254 in der Ausgabesteuereinheit 105 des Fahrzeugsteuersystems 100 aus 54 unter Bezugnahme auf 55 beschrieben. Es wird angemerkt, dass bei der Anzeigeverarbeitungseinheit 254 aus 54 die gleichen Bezugszeichen für die Komponenten mit den gleichen Funktionen wie bei der Anzeigeverarbeitungseinheit 254 aus 46 bereitgestellt sind und die Beschreibung davon angemessen ausgelassen wird.
  • Das heißt, der Unterschied zu der Anzeigeverarbeitungseinheit 254 aus 46 besteht darin, dass die Anzeigeverarbeitungseinheit 254 aus 55 neu einen Puffer 371, eine Kombiniereinheit 372, eine Timingsteuereinheit 373, eine Verschlusssteuereinheit 374 und eine Personenanzahldetektionseinheit 324a, die die Anzahl an Benutzern detektiert, in der Blickpunktpositionsdetektionseinheit 324 aufweist.
  • Der Puffer 371 puffert die Bilder, die durch Verwenden der Komponenten von der Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit 321 für die Defokussierungsbereichskartenspeicherungseinheit 326 erzeugt wurden, gemäß jedem der mehreren Benutzer 273 erzeugt wurden, die die Bilder betrachten, mit dem Inhalt in den geeigneten Informationsüberlagerungsrahmen versehen wurden und dem Defokussierungsprozess gemäß der Benutzerbetrachtungsposition unterzogen wurden.
  • Die Kombiniereinheit 372 integriert und kombiniert die Bilder, die durch den Puffer 371 gepuffert wurden, die für jeden der mehreren die Bilder betrachtenden Benutzer angemessen sind, mit dem Inhalt in den geeigneten Informationsüberlagerungsrahmen versehen wurden und dem Defokussierungsprozess gemäß der Benutzerbetrachtungsposition unterzogen wurden, in chronologischer Reihenfolge und gibt die Bilder an die Timingsteuereinheit 373 aus. Es wird angemerkt, dass die Kombiniereinheit 372 die Bilder in ein Bild in chronologischer Reihenfolge integriert, indem Informationen zum Identifizieren des Timings des anzuzeigenden Bildes und des Benutzers 273, der zum Betrachten des Bildes geeignet ist, aufgenommen werden.
  • Wenn die in chronologischer Reihenfolge integrierten Bilder sequentiell bereitgestellt werden, erkennt die Timingsteuereinheit 373 beliebige der Benutzer 273, die zum Betrachten der Bilder angemessen sind, und bewirkt, dass die Projektionseinheit 106A die Bilder sequentiell anzeigt. Die Timingsteuereinheit 373 steuert auch die Verschlusssteuereinheit 374, um die Polarisationsrichtung des Flüssigkristallpolarisationsverschlusses 361 zu der Richtung, die dem entsprechenden Benutzer 273 zugewandt ist, zu steuern.
  • Die Personenanzahldetektionseinheit 324a verwendet das Fahrzeuginnenraumbild, um die Anzahl an Benutzern basierend auf zum Beispiel der Anzahl an durch Gesichtserkennung oder dergleichen detektieren Gesichtsbildern zu detektieren, und benachrichtigt die Defokussierungsverarbeitungseinheit 323 über die Anzahl an Benutzern. Daher wendet die Defokussierungsverarbeitungseinheit 323 den Defokussierungsprozess auf die Bilder gemäß der bereitgestellten Anzahl an Benutzern an.
  • Es wird angemerkt, dass, obwohl 55 die Konfiguration des Falls veranschaulicht, in dem die Projektionseinheit 106A eine durchlässige Anzeige ist, das Szenenbild wie bei der Anzeigeverarbeitungseinheit 254 aus 49 in die Defokussierungsverarbeitungseinheit 323 eingegeben wird, falls die Projektionseinheit 106A eine nichtdurchlässige Anzeige ist. Des Weiteren haftet die Defokussierungsverarbeitungseinheit 323 die mit dem Inhalt in den geeigneten Informationsüberlagerungsrahmen versehenen Bilder an das Szenenbild an und wendet dann den Defokussierungsprozess auf das gesamte Szenenbild an. Hier wird das Konfigurationsdiagramm der Anzeigeverarbeitungseinheit 254, die der nichtdurchlässigen Anzeige entspricht, nicht veranschaulicht.
  • <<3-3. Anzeigeprozess der Anzeigeverarbeitungseinheit in Figur 55>>
  • Als Nächstes wird der Anzeigeprozess der Anzeigeverarbeitungseinheit 254 aus 55 unter Bezugnahme auf ein Flussdiagramm aus 56 beschrieben.
  • In Schritt S291 initialisiert die Defokussierungsverarbeitungseinheit 323 einen Zähler m einer Kennung zum Identifizieren des Benutzers auf 1.
  • In Schritt S292 detektiert die Personenanzahldetektionseinheit 324a die Anzahl an Benutzern M als Insassen aus den durch die Kameras 272-1 bis 272-3 erfassten Bildern, legt die Kennung m für jeden Benutzer fest und liefert das Detektionsergebnis an die Defokussierungsverarbeitungseinheit 323.
  • In Schritt S293 wird der Anzeigeprozess des durch die Kennung m identifizierten Benutzers unter den Benutzern 273 ausgeführt.
  • Hier ist der Anzeigeprozess für den Benutzer m zum Beispiel der Prozess der Schritte S201 bis 210 in 47, der einem Benutzer 273-m entspricht, der das Bild beobachtet, falls die Projektionseinheit 106A die durchlässige Anzeige ist. Der Anzeigeprozess für den Benutzer m ist ein Prozess der Schritte S241 bis 251 in 50, der einem Benutzer m entspricht, der das Bild beobachtet, falls die Projektionseinheit 106A die nichtdurchlässige Anzeige ist. Das heißt, in dem Prozess wird der Defokussierungsprozess, der der Benutzerblickpunktposition des Benutzers 273-m entspricht, angewandt, um das Bild in dem Zustand zu erzeugen, in dem der Inhalt auf die geeigneten Informationsüberlagerungsrahmen überlagert wird, die dem Benutzer 273-m entsprechen, der das Bild betrachtet.
  • In Schritt S294 assoziiert die Defokussierungsverarbeitungseinheit 323 das in dem Anzeigeprozess des Benutzers m erzeugte Bild mit der Kennung m und bewirkt, dass der Puffer 371 das Bild puffert.
  • In Schritt S295 bestimmt die Defokussierungsverarbeitungseinheit 323, ob der Zähler m mit der Anzahl an Personen M übereinstimmt oder nicht, das heißt, ob die Bilder, die allen der Benutzer entsprechen, erzeugt wurden oder nicht.
  • Falls der Zähler m in Schritt S295 nicht mit M übereinstimmt, das heißt, falls die Bilder, die allen der Benutzer entsprechen, nicht erzeugt wurden, geht der Prozess zu Schritt S296 über.
  • In Schritt S296 erhöht die Defokussierungsverarbeitungseinheit 323 den Zähler m um 1 und kehrt der Prozess zu Schritt S293 zurück.
  • Das heißt, der Prozess der Schritte S293 bis S296 wird wiederholt, bis die Bilder durch den Puffer 371 nach dem Erzeugen der Bilder durch Ausführen des Anzeigeprozesses für alle der Benutzer gepuffert sind.
  • Des Weiteren geht der Prozess zu Schritt S297 über, falls der Zähler m in Schritt S295 mit M übereinstimmt, nachdem die Bilder erzeugt wurden, die allen der Benutzer entsprechen, das heißt, falls angenommen wird, dass der Anzeigeprozess für alle der Benutzer ausgeführt wurde.
  • In Schritt S297 integriert die Kombiniereinheit 372 die Bilder, die durch den Puffer 371 gepuffert wurden, mit dem Inhalt auf den geeigneten Informationsüberlagerungsrahmen versehen wurden, die allen der Benutzer entsprechen, und dem Defokussierungsprozess gemäß dem Defokussierungsbereich unterzogen wurden, der der Benutzerbetrachtungsposition entspricht, in ein Bild in chronologischer Reihenfolge.
  • In Schritt S298 liefert die Timingsteuereinheit 373 sequentiell die integrierten Bilder an die Projektionseinheit 106A, um zu bewirken, dass die Projektionseinheit 106A die Bilder anzeigt, und steuert die Verschlusssteuereinheit 374 mit einem entsprechenden Timing dazu, den Flüssigkristallpolarisationsverschluss 361 so zu steuern, dass das Licht in der Richtung polarisiert wird, die ermöglicht, dass der Zielbenutzer 273 das angezeigte Bild betrachtet.
  • Als ein Ergebnis des oben beschriebenen Prozesses kann, selbst wenn mehrere Benutzer in dem Fahrzeug fahren, der Inhalt an optimalen Orten in der Szene in dem Zustand, der für jeden Benutzer angemessen ist, in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt. Jeder Benutzer kann den Inhalt bei jeder Position auf eine ähnliche Weise wie das Sehen einer normalen Szene betrachten.
  • <<3-4. Modifikation>>
  • Bei der Beschreibung oben wechselt der Flüssigkristallpolarisationsverschluss 361 die Polarisationsrichtungen der Bilder, die auf die Projektionseinheit 106A projiziert werden, um zu realisieren, dass die mehreren Benutzer die Bilder betrachten. Statt dem Verwenden des Flüssigkristallpolarisationsverschlusses 361 können die Bilder, die jeweils für die mehreren die Bilder betrachtenden Benutzer angemessen sind, vertikal in einer Pixelreihenfolge in dem Rahmen aufgeteilt werden, um die Bilder in ein Bild zu kombinieren, und die Bilder können durch Lentikularlinsen angezeigt werden, um zu ermöglichen, dass die mehreren Benutzer das Bild betrachten.
  • 57 ist ein Diagramm, das ein Konfigurationsbeispiel der Anzeigeeinheit 351 gemäß einer Modifikation veranschaulicht. Es wird angemerkt, dass die gleichen Bezugszeichen für die Komponenten mit den gleichen Funktionen wie bei der Anzeigeeinheit 351 aus 53 bereitgestellt sind und die Beschreibung davon angemessen ausgelassen wird.
  • Das heißt, die Anzeigeeinheit 351 aus 57 unterscheidet sich von der Anzeigeeinheit 351 aus 53 darin, dass die Lentikularlinsen 381 anstelle des Flüssigkristallpolarisationsverschlusses 361 bereitgestellt sind.
  • Des Weiteren werden, wie oben rechts in 57 veranschaulicht, das Bild Video_01 für den Benutzer 273-1, das Bild Video_02 für den Benutzer 273-2 und das Bild Video_03 für den Benutzer 273-3 wiederholt in einem Zustand angeordnet, in dem die Bilder in Gebiete C1, C2 und C3 aufgeteilt werden, die basierend auf Spalten aufgeteilt werden, die in der Pixelreihenfolge gebildet sind, um dadurch die in ein Bild kombinierten Bilder in der Projektionseinheit 106A anzuzeigen.
  • Die Lentikularlinsen 381 transmittieren unter den Bildern, die auf der Projektionseinheit 106A angezeigt werden, das Bild Video_01 selektiv in der Richtung, die es dem Benutzer 273-1 ermöglicht, es zu betrachten, transmittieren das Bild Video_02 selektiv in der Richtung, die es dem Benutzer 273-2 ermöglicht, es zu betrachten, und transmittieren das Bild Video_03 selektiv in der Richtung, die es dem Benutzer 273-3 ermöglicht, es zu betrachten.
  • Gemäß der oben beschriebenen Konfiguration kann, selbst wenn mehrere Benutzer in dem Fahrzeug fahren, der Inhalt an optimalen Orten in der Szene in dem Zustand, der für jeden Benutzer angemessen ist, in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt. Jeder Benutzer kann den Inhalt bei jeder Position auf eine ähnliche Weise wie das Sehen einer normalen Szene betrachten.
  • <3-4-1. Konfiguration der Anzeigeverarbeitungseinheit>
  • Als Nächstes wird die Konfiguration der Anzeigeverarbeitungseinheit 254 in der Ausgabesteuereinheit 105 des Fahrzeugsteuersystems 100 aus 52 unter Bezugnahme auf 58 beschrieben. Es wird angemerkt, dass bei der Anzeigeverarbeitungseinheit 254 aus 57 die gleichen Bezugszeichen für die Komponenten mit den gleichen Funktionen wie bei der Anzeigeverarbeitungseinheit 254 aus 55 bereitgestellt sind und die Beschreibung angemessen ausgelassen wird.
  • Das heißt, die Anzeigeverarbeitungseinheit 254 aus 58 unterscheidet sich von der Anzeigeverarbeitungseinheit 254 aus 55 darin, dass eine Kombiniereinheit 391 anstelle der Kombiniereinheit 372, der Timingsteuereinheit 373 und der Verschlusssteuereinheit 374 bereitgestellt ist.
  • Die Kombiniereinheit 391 unterteilt die Bilder, die durch den Puffer 371 gepuffert werden und die jeweils für mehrere Benutzer angemessen sind, die die Bilder betrachten, in Gebiete basierend auf Spalten in einer Pixelreihenfolge und kombiniert die Bilder in ein Bild. Die Kombiniereinheit 391 gibt das Bild an die Projektionseinheit 106A der Anzeigeeinheit 351 aus.
  • Die Projektionseinheit 106A projiziert das Bild, das erhalten wird, indem die Bilder, die in Gebiete basierend auf Spalten in einer Pixelreihenfolge aufgeteilt sind und die jeweils für die mehreren Benutzer angemessen sind, die die Bilder betrachten, in ein Bild integriert werden. Auf diese Weise projiziert die Projektionseinheit 106A die Bilder durch die Lentikularlinsen 381 in dem Zustand, der jedem der Benutzer 273 ermöglicht, die Bilder angemessen zu betrachten.
  • Es wird angemerkt, dass, obwohl die Projektionseinheit 106A eine durchlässige Anzeige oder eine nichtdurchlässige Anzeige sein kann, die Konfiguration und der Prozess, die für jede Anzeige geeignet sind, notwendig sind, wie bei der zweiten Ausführungsform beschrieben ist. Das heißt, falls die Projektionseinheit 106A eine durchlässige Anzeige ist, muss der Anzeigeprozess, wie in dem Flussdiagramm aus 47 veranschaulicht, in der Konfiguration der Anzeigeverarbeitungseinheit 254, wie in 46 veranschaulicht, ausgeführt werden. Falls die Projektionseinheit 106A eine nichtdurchlässige Anzeige ist, muss des Weiteren der Anzeigeprozess, wie in dem Flussdiagramm aus 50 veranschaulicht, in der Konfiguration der Anzeigeverarbeitungseinheit 254, wie in 49 veranschaulicht, ausgeführt werden.
  • <3-4-2. Anzeigeprozess der Anzeigeverarbeitungseinheit in Figur 57>
  • Als Nächstes wird der Anzeigeprozess der Anzeigeverarbeitungseinheit 254 in 58 unter Bezugnahme auf ein Flussdiagramm aus 59 beschrieben.
  • Der Prozess der Schritte S311 bis S316 in dem Flussdiagramm aus 59 ist dem Prozess der Schritte S291 bis S296 in dem Flussdiagramm aus 56 ähnlich und die Beschreibung davon wird nicht wiederholt.
  • Das heißt, in dem Prozess der Schritte S311 bis S316 wird der Anzeigeprozess, der allen der Benutzer entspricht, ausgeführt, wird der Inhalt auf den geeigneten Informationsüberlagerungsrahmen überlagert, die allen der Benutzer entsprechen, werden Bilder durch Ausführen des Defokussierungsprozesses gemäß der Entfernung von den jeweiligen Benutzerblickpunktpositionen erzeugt und werden die Bilder durch den Puffer 371 gepuffert. Der Prozess geht dann zu Schritt S317 über.
  • In Schritt S317 teilt die Kombiniereinheit 391 die Bilder, die durch den Puffer 371 gepuffert wurden, mit dem Inhalt auf den geeigneten Informationsüberlagerungsrahmen versehen wurden, die allen der Benutzer entsprechen, und dem Defokussierungsprozess in den Defokussierungsbereichen unterzogen wurden, die den Entfernungen von den Benutzerbetrachtungspositionen entsprechen, in Gebiete basierend auf Spalten in einer vorbestimmten Pixelreihenfolge auf. Die Kombiniereinheit 391 kombiniert und integriert die Bilder in ein Bild, wie unter Bezugnahme auf 57 beschrieben ist.
  • In Schritt S318 bewirkt die Kombiniereinheit 391, dass die Projektionseinheit 106A das Bild projiziert, das erhalten wird, indem die Bilder, die dem Defokussierungsprozess unterzogen wurden und den mehreren Benutzern entsprechen, in ein Bild integriert werden, und bewirkt, dass die Projektionseinheit 106A das Licht durch die Lentikularlinse 381 selektiv polarisiert und das Bild projiziert. Auf diese Weise betrachten die mehreren Benutzer die für die jeweiligen Benutzer angemessenen Bilder.
  • Als ein Ergebnis des oben beschriebenen Prozesses kann, selbst wenn mehrere Benutzer in dem Fahrzeug fahren, der Inhalt an optimalen Orten in dem Szenenbild in dem Zustand, der für jeden Benutzer angemessen ist, in einer solchen Form angezeigt werden, dass der Inhalt besser in die Szene passt. Jeder Benutzer kann den Inhalt bei jeder Position auf eine ähnliche Weise wie das Sehen einer normalen Szene betrachten.
  • Es wird angemerkt, dass nachfolgend der Prozess des Falls, in dem es einen Benutzer gibt, wie bei der zweiten Ausführungsform, als ein Einzelmodusprozess bezeichnet wird und der Prozess des Falls, in dem es mehrere Benutzer gibt, wie bei der dritten Ausführungsform, als ein Mehrfachmodusprozess bezeichnet wird.
  • Wie oben beschrieben, kann selbst nur eine Kamera 272, die das Fahrzeuginnenraumbild erfasst, den Mehrfachmodus realisieren. Daher können der Einzelmodusprozess und der Mehrfachmodusprozess gewechselt und durch Verwenden einer Kamera 272 verwendet werden.
  • Außerdem kann, obwohl oben hauptsächlich der Prozess des Anzeigens des Bildes, das natürlich in die Szene in der Fahrtrichtung passt, beschrieben ist, die Technik auch in einer Durchführung zum Auffordern, ein spezielles Objekt zu beobachten, verwendet werden.
  • Das heißt, selbst in einem Zustand, in dem es mehrere Benutzer gibt und der Mehrfachmodusprozess ausgeführt wird, kann die Steuerung durchgeführt werden, um allen der Benutzer zu ermöglichen, das gleiche Bild gemäß der Blickpunktposition eines speziellen Benutzers zu betrachten.
  • Zum Beispiel kann in einer Situation, in der ein Busreiseleiter eines Touristenbusses oder dergleichen eine spezielle historische oder berühmte Stelle vorstellt, der Defokussierungsprozess auf den Inhalt, der auf den geeigneten Informationsüberlagerungsrahmen überlagert wird, gemäß der Benutzerblickpunktposition des Busreiseleiters als ein spezieller Benutzer angewandt werden und alle der Insassen des Busses, die Benutzer außer dem speziellen Benutzer sind, können dazu in der Lage sein, das Bild zu betrachten.
  • Dies ermöglicht eine Durchführung zum natürlichen Lenken der Blicklinie zu der historischen oder berühmten Stelle, die nun durch den Busreiseleiter vorgestellt wird, und die Führung durch den Busreiseleiter kann einfach verstanden werden.
  • Des Weiteren wird bei einer Bühnenaufführung oder dergleichen, wenn die Blicklinie zu einem Gegenstand gerichtet ist, auf den der Regisseur den Blick des Benutzer besonders lenken will, das Bild defokussiert, um zu ermöglichen, dass der Benutzer den Gegenstand bei der Benutzerblickposition scharf sieht, auf welchen der Regisseur den Blick des Benutzer besonders lenken will. Für andere Gegenstände werden die Bilder stärker defokussiert, um die Bilder unklar anzuzeigen, und das gesamte Publikum der Bühne kann die Bilder beobachten. Auf diese Weise kann die Technik auch für Bühnenaufführungen und dergleichen verwendet werden.
  • Das heißt, in diesem Fall wird der Defokussierungsbereich für den Gegenstand klein festgelegt, auf den der Regisseur den Blick des Benutzers lenken will, und ein stärker fokussiertes scharfes Bild kann erkannt werden. Im Gegensatz dazu wird der Defokussierungsbereich für einen Gegenstand groß festgelegt, auf den der Regisseur den Blick des Benutzers nicht lenken will, und das Bild kann unklarer gesehen werden. Infolgedessen kann die Wirkung der Bühnenaufführung erhöht werden.
  • Es wird angemerkt, dass, obwohl die Anzahl an Benutzern in dem oben beschriebenen Fall drei ist, die Anzahl an Benutzern eine andere Anzahl sein kann.
  • <Konfigurationsbeispiel des Computers>
  • Die oben beschriebenen Reihen von Prozessen können durch Hardware ausgeführt werden oder können durch Software ausgeführt werden. Falls die Reihen von Prozessen durch Software ausgeführt werden, wird ein in der Software enthaltenes Programm von einem Programmaufzeichnungsmedium auf einem Computer installiert, der in dedizierter Hardware, einem Mehrzweckcomputer oder dergleichen eingebunden ist.
  • 60 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Hardware eines Computers veranschaulicht, der ein Programm verwendet, um die Reihen von Prozessen auszuführen. Der in 60 veranschaulichte Computer führt ein vorbestimmtes Programm aus, um die Funktionen der Komponenten, einschließlich der in 8 und 54 veranschaulichten Automatisches-Fahren-Steuereinheit 112, zu realisieren.
  • Eine CPU (Central Processing Unit - zentrale Verarbeitungseinheit) 1001, ein ROM (Read Only Memory - Nurlesespeicher) 1002 und ein RAM (Random Access Memory - Direktzugriffsspeicher) 1003 sind durch einen Bus 1004 miteinander verbunden.
  • Eine Eingabe-Ausgabe-Schnittstelle 1005 ist ferner mit dem Bus 1004 verbunden. Eine Eingabeeinheit 1006 einschließlich einer Tastatur, einer Maus oder dergleichen und eine Ausgabeeinheit 1007 einschließlich einer Anzeige, eines Lautsprechers oder dergleichen sind mit der Eingabe-Ausgabe-Schnittstelle 1005 verbunden. Außerdem sind eine Speicherungseinheit 1008 einschließlich einer Festplatte, eines nichtflüchtigen Speichers oder dergleichen, eine Kommunikationseinheit 1009 einschließlich einer Netzwerkschnittstelle oder dergleichen und ein Laufwerk 1010, das ein Wechselaufzeichnungsmedium 1011 antreibt, mit der Eingabe-Ausgabe-Schnittstelle 1005 verbunden.
  • Bei dem auf diese Weise ausgebildeten Computer lädt die CPU 1001 das Programm, das zum Beispiel in der Speicherungseinheit 1008 gespeichert ist, durch die Eingabe-Ausgabe-Schnittstelle 1005 und den Bus 1004 in den RAM 1003, um das Programm auszuführen, um dadurch die oben beschriebenen Reihen von Prozessen auszuführen.
  • Das durch die CPU 1001 ausgeführte Programm wird durch zum Beispiel Aufzeichnen des Programms auf dem Wechselaufzeichnungsmedium 1011 bereitgestellt oder wird durch ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein lokales Netzwerk, das Internet und digitales Broadcasting, bereitgestellt und das Programm wird auf der Speicherungseinheit 1008 installiert.
  • Es ist zu beachten, dass das durch den Computer ausgeführte Programm ein Programm zum Ausführen der Prozesse in chronologischer Reihenfolge, die in der vorliegenden Beschreibung beschrieben ist, sein kann oder ein Programm zum parallelen Ausführen oder zum Ausführen mit einem erforderlichen Timing der Prozesse, wie etwa wenn die Prozesse aufgerufen werden, sein kann.
  • Das System in der vorliegenden Beschreibung bezeichnet einen Satz aus mehreren Bestandsteilelementen (Einrichtungen, Modulen (Komponenten) und dergleichen) und es macht keinen Unterschied, ob sich alle der Bestandsteilelemente in demselben Gehäuse befinden oder nicht. Daher sind sowohl mehrere Einrichtungen, die in getrennten Gehäusen gelagert und durch ein Netz verbunden sind, als auch eine Einrichtung, die mehrere Module in einem Gehäuse lagert, beides Systeme.
  • Es wird angemerkt, dass die in der vorliegenden Patentschrift beschriebenen vorteilhaften Effekte nur veranschaulichend sind und die vorteilhaften Effekte nicht beschränkt sind. Daher kann es auch andere vorteilhafte Effekte geben.
  • Die Ausführungsformen der vorliegenden Technik sind nicht auf die oben beschriebenen Ausführungsformen beschränkt und verschiedene Änderungen können vorgenommen werden, ohne von dem Schutzumfang der vorliegenden Technik abzuweichen.
  • Zum Beispiel kann die vorliegende Technik als Cloud-Berechnung bereitgestellt werden, bei der mehrere Einrichtungen eine Funktion gemeinsam nutzen und zusammenwirken, um einen Prozess durch ein Netz auszuführen.
  • Außerdem kann eine Einrichtung jeden in den Flussdiagrammen beschriebenen Schritt ausführen oder können mehrere Einrichtungen dies übernehmen und jeden Schritt ausführen.
  • Des Weiteren kann, falls ein Schritt mehrere Prozesse aufweist, eine Einrichtung die in einem Schritt enthaltenen mehreren Prozesse ausführen oder können mehrere Einrichtungen dies übernehmen und die Prozesse ausführen.
  • <Beispiel für eine Kombination von Konfigurationen>
  • Die vorliegende Technik kann auch wie folgt ausgebildet sein.
    • (1) Eine Informationsverarbeitungseinrichtung, die Folgendes aufweist:
      • eine Festlegeeinheit, die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und
      • eine Anzeigesteuereinheit, die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt.
    • (2) Die Informationsverarbeitungseinrichtung nach (1), die ferner Folgendes aufweist:
      • eine Vorhersageeinheit, die den Bewegungszustand einschließlich einer Fahrtroute und einer Fahrtgeschwindigkeit eines sich bewegenden Körpers vorhersagt, in dem der Benutzer fährt.
    • (3) Die Informationsverarbeitungseinrichtung nach (1) oder (2), die ferner Folgendes aufweist:
      • eine Detektionseinheit, die das Objekt durch Analysieren eines Bildes detektiert, das durch bildliches Erfassen einer Szene in einer Fahrtrichtung erhalten wird.
    • (4) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (3), wobei die Festlegeeinheit den Rahmen basierend auf Winkeln von jeweiligen Positionen, einschließlich einer ersten Position auf einer Bewegungsroute und einer zweiten Position nach einem Verstreichen einer vorbestimmten Zeit, zu der Oberfläche des Objekts hin festlegt.
    • (5) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (4), wobei die Festlegeinheit den Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung festlegt.
    • (6) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (5), wobei die Festlegeeinheit den Rahmen basierend auf einem exponierten Bereich der Oberfläche des Objekts festlegt, falls die Oberfläche des Objekts durch ein anderes Objekt davor verdeckt ist.
    • (7) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (6), wobei die Festlegeeinheit den Rahmen basierend auf einer Zeit festlegt, für die die Oberfläche des Objekts in einem Sichtfeld des Benutzers enthalten ist und die basierend auf dem Bewegungszustand erhalten wird.
    • (8) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (7), die ferner Folgendes aufweist:
      • eine Lichtzustandsdetektionseinheit, die einen Zustand von Licht auf der Oberfläche des Objekts detektiert, wobei
      • die Festlegeeinheit den Rahmen basierend auf dem Zustand des Lichts festlegt.
    • (9) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (8), die ferner Folgendes aufweist:
      • eine Berechnungseinheit, die eine Eignung jedes Inhalts und jedes Rahmens basierend auf Informationen bezüglich Spezifikationen berechnet, die zum Anzeigen des Inhalts erforderlich sind, wobei
      • die Anzeigesteuereinheit die visuellen Informationen zum Anzeigen jedes Inhalts in dem Gebiet, das dem ausgewählten Rahmen entspricht, basierend auf der Eignung erzeugt.
    • (10) Die Informationsverarbeitungseinrichtung nach (9), wobei die Berechnungseinheit die Eignung basierend auf einem Element berechnet, das gemäß einem Typ des Inhalts variiert.
    • (11) Die Informationsverarbeitungseinrichtung nach (10), wobei die Berechnungseinheit, falls der Inhalt ein Bild ist, die Eignung basierend auf einer Beziehung zwischen einem Aspektverhältnis des Bildes und einem Aspektverhältnis des Rahmens berechnet.
    • (12) Die Informationsverarbeitungseinrichtung nach (11), wobei die Berechnungseinheit, falls der Inhalt ein Bewegtbild ist, die Eignung auch basierend auf einer Beziehung zwischen einer Wiedergabezeit des Bewegtbildes und einer Zeit, für die der Rahmen in einem Sichtfeld des Benutzers enthalten ist, berechnet.
    • (13) Die Informationsverarbeitungseinrichtung nach (10), wobei die Berechnungseinheit, falls der Inhalt Symbole aufweist, die Eignung basierend auf wenigstens einem beliebigen einer Beziehung zwischen einem Aspektverhältnis eines Anzeigebereichs der Symbole und einem Aspektverhältnis des Rahmens und einer Beziehung zwischen einer Betrachtungszeit, die durch die Anzahl an Symbolen definiert wird, und der Zeit, für die der Rahmen in einem Sichtfeld des Benutzers enthalten ist, berechnet.
    • (14) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (13), wobei die Anzeigesteuereinheit einen Defokussierungsprozess auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf einer Blickpunktposition des Benutzers anwendet, der in einem sich bewegenden Körper fährt.
    • (15) Die Informationsverarbeitungseinrichtung nach (14), die ferner Folgendes aufweist:
      • eine Bildgebungseinheit, die den Benutzer, der in dem sich bewegenden Körper fährt, bildlich erfasst; und
      • eine Defokussierungsbereichsfestlegeeinheit, die einen Defokussierungsbereich gemäß einem Abstand zwischen der vorgegebenen Blickpunktposition des Benutzers und jeder Position des Gebiets, das dem Rahmen entspricht, basierend auf einem Bild festlegt, das durch die Bildgebungseinheit aufgenommen wird, wobei
      • die Anzeigesteuereinheit den Defokussierungsprozess gemäß dem Defokussierungsbereich auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf der Blickpunktposition des Benutzers anwendet, der in dem sich bewegenden Körper fährt.
    • (16) Die Informationsverarbeitungseinrichtung nach (15), wobei der durch die Defokussierungsbereichsfestlegeeinheit festgelegte Defokussierungsbereich umso kleiner ist, je geringer die Entfernung zwischen jeder Position des dem Rahmen entsprechenden Gebiets und der Blickpunktposition des Benutzers ist, der durch die Defokussierungsbereichsfestlegeeinheit festgelegte Defokussierungsbereich umso größer ist, je weiter die Entfernung zwischen jeder Position des dem Rahmen entsprechenden Gebiets und der Blickpunktposition des Benutzers ist, und der Fokussierungsgrad in dem Defokussierungsprozess der Anzeigesteuereinheit, der auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf der Blickpunktposition des Benutzers angewendet wird, der in dem sich bewegenden Körper fährt, umso höher ist, je kleiner der Defokussierungsbereich ist, ein Defokussierungsgrad in dem Defokussierungsprozess der Anzeigesteuereinheit umso höher ist, je größer der Defokussierungsbereich ist.
    • (17) Die Informationsverarbeitungseinrichtung nach einem von (14) bis (16), wobei die Festlegeeinheit für jeden von mehreren der Benutzer den Rahmen als die Überlagerungsstelle des Inhalts in dem Gebiet, das der Oberfläche des Objekts entspricht, basierend auf dem Bewegungszustand des Benutzers festlegt; und die Anzeigesteuereinheit den Defokussierungsprozess auf die visuellen Informationen anwendet, die in dem Gebiet erzeugt werden, das dem für jeden der mehreren Benutzer festgelegten Rahmen entspricht, und das dem Anzeigen des Inhalts dient.
    • (18) Ein Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, wobei das Verfahren Folgendes aufweist:
      • Festlegen eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; und
      • Erzeugen visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht.
    • (19) Ein Programm zum Veranlassen eines Computers dazu, einen Prozess auszuführen, der Folgendes aufweist:
      • Festlegen eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; und
      • Erzeugen visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht.
    • (20) Ein sich bewegender Körper, der Folgendes aufweist:
      • eine Festlegeeinheit, die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt;
      • eine Anzeigesteuereinheit, die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt; und
      • eine Ausgabeeinheit, die die visuellen Informationen anzeigt.
    • (21) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (13), die ferner Folgendes aufweist:
      • eine Anpassungseinheit, die einen Kontrast des Inhalts basierend auf einem Kontext des Rahmens anpasst, wobei
      • die Anzeigesteuereinheit in dem Gebiet, das dem Rahmen entspricht, die visuellen Informationen zum Anzeigen des Inhalts mit angepasstem Kontrast erzeugt.
    • (22) Die Informationsverarbeitungseinrichtung nach (21), wobei die Anpassungseinheit als den Kontext einen Sonnenlichtzustand, einen Beleuchtungszustand, einen Atmosphärenzustand und/oder eine Entfernung zu dem Rahmen verwendet, um den Kontrast des Inhalts anzupassen.
    • (23) Die Informationsverarbeitungseinrichtung nach (21) oder (22), die ferner Folgendes aufweist:
      • eine Bildverarbeitungseinheit, die ein Gebiet eines anderen Objekts vor dem Rahmen aus dem durch bildliche Erfassung erhaltenen Bild ausschneidet, wobei
      • die Anzeigesteuereinheit die visuellen Informationen zum Anzeigen eines Bildes des Gebiets des anderen Objekts auf dem Inhalt mit angepasstem Kontrast erzeugt.
  • [Bezugszeichenliste]
  • 105 Ausgabesteuereinheit, 201 Festlegeeinheit für ein geeignetes Informationsüberlagerungssichtfeld, 202 Überlagerungszielrahmenauswahleinheit, 203 Anzeigesteuereinheit, 204 Inhaltserfassungseinheit, 211 Bildanalyseeinheit, 212 Lichtzustandsmodusfestlegeeinheit, 213 Objektdetektionseinheit, 214 Rahmenfestlegeeinheit, 215 Festlegeeinheit für ein geeignetes Sichtfeld, 231 Voranalyseeinheit, 232 Eignungsberechnungseinheit, 233 Überlagerungsstellenfestlegeeinheit, 251 Berechnungseinheit für einen passenden Kontrast, 252 Kontrastanpassungseinheit, 253 Maskenverarbeitungseinheit, 254 Anzeigeverarbeitungseinheit, 271, 272, 272-1 bis 272-3 Kamera, 321 Pseudo-3D-Modell-Drahtgitter-Erzeugungseinheit, 322 Inhaltsüberlagerungseinheit, 323 Defokussierungsverarbeitungseinheit, 324 Blickpunktpositionsdetektionseinheit, 324a Personenanzahldetektionseinheit, 325 Defokussierungsbereichsfestlegeeinheit, 326 Defokussierungsbereichskartenspeicherungseinheit, 361 Flüssigkristallpolarisationsverschluss, 371 Puffer, 372 Kombiniereinheit, 373 Timingsteuereinheit, 374 Verschlusssteuereinheit, 381 Lentikularlinse, 391 Kombiniereinheit

Claims (19)

  1. Informationsverarbeitungseinrichtung, die Folgendes aufweist: eine Festlegeeinheit (201), die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und eine Anzeigesteuereinheit (203), die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, wobei die Festlegeinheit (201) den Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung festlegt.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes aufweist: eine Vorhersageeinheit (154), die den Bewegungszustand einschließlich einer Fahrtroute und einer Fahrtgeschwindigkeit eines sich bewegenden Körpers vorhersagt, in dem der Benutzer fährt.
  3. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes aufweist: eine Detektionseinheit (213), die das Objekt durch Analysieren eines Bildes detektiert, das durch bildliches Erfassen einer Szene in einer Fahrtrichtung erhalten wird.
  4. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Festlegeeinheit (201) den Rahmen basierend auf Winkeln von jeweiligen Positionen, einschließlich einer ersten Position auf einer Bewegungsroute und einer zweiten Position nach einem Verstreichen einer vorbestimmten Zeit, zu der Oberfläche des Objekts hin festlegt.
  5. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Festlegeeinheit (201) den Rahmen basierend auf einem exponierten Bereich der Oberfläche des Objekts festlegt, falls die Oberfläche des Objekts durch ein anderes Objekt davor verdeckt ist.
  6. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Festlegeeinheit (201) den Rahmen basierend auf einer Zeit festlegt, für die die Oberfläche des Objekts in einem Sichtfeld des Benutzers enthalten ist und die basierend auf dem Bewegungszustand erhalten wird.
  7. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes aufweist: eine Lichtzustandsdetektionseinheit (212), die einen Zustand von Licht auf der Oberfläche des Objekts detektiert, wobei die Festlegeeinheit (201) den Rahmen basierend auf dem Zustand des Lichts festlegt.
  8. Informationsverarbeitungseinrichtung, die Folgendes aufweist: eine Festlegeeinheit (201), die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und eine Anzeigesteuereinheit (203), die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, eine Berechnungseinheit (232), die eine Eignung jedes Inhalts und jedes Rahmens basierend auf Informationen bezüglich Spezifikationen berechnet, die zum Anzeigen des Inhalts erforderlich sind, wobei die Anzeigesteuereinheit (203) die visuellen Informationen zum Anzeigen jedes Inhalts in dem Gebiet, das einem ausgewählten Rahmen entspricht, basierend auf der Eignung erzeugt, die Berechnungseinheit (232) die Eignung basierend auf einem Element berechnet, das gemäß einem Typ des Inhalts variiert, die Berechnungseinheit (232), falls der Inhalt ein Bild ist, die Eignung basierend auf einer Beziehung zwischen einem Aspektverhältnis des Bildes und einem Aspektverhältnis des Rahmens berechnet.
  9. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei die Berechnungseinheit (232), falls der Inhalt ein Bewegtbild ist, die Eignung auch basierend auf einer Beziehung zwischen einer Wiedergabezeit des Bewegtbildes und einer Zeit, für die der Rahmen in einem Sichtfeld des Benutzers enthalten ist, berechnet.
  10. Informationsverarbeitungseinrichtung nach Anspruch 8 oder 9, wobei die Berechnungseinheit (232), falls der Inhalt Symbole aufweist, die Eignung basierend auf wenigstens einem beliebigen einer Beziehung zwischen einem Aspektverhältnis eines Anzeigebereichs der Symbole und einem Aspektverhältnis des Rahmens und einer Beziehung zwischen einer Betrachtungszeit, die durch die Anzahl an Symbolen definiert wird, und der Zeit, für die der Rahmen in einem Sichtfeld des Benutzers enthalten ist, berechnet.
  11. Informationsverarbeitungseinrichtung, die Folgendes aufweist: eine Festlegeeinheit (201), die einen Rahmen als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers festlegt; und eine Anzeigesteuereinheit (203), die visuelle Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, erzeugt, wobei die Anzeigesteuereinheit (203) einen Defokussierungsprozess auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf einer Blickpunktposition des Benutzers anwendet, der in einem sich bewegenden Körper fährt.
  12. Informationsverarbeitungseinrichtung nach Anspruch 11, die ferner Folgendes aufweist: eine Bildgebungseinheit, die den Benutzer, der in dem sich bewegenden Körper fährt, bildlich erfasst; und eine Defokussierungsbereichsfestlegeeinheit (325), die einen Defokussierungsbereich gemäß einem Abstand zwischen der vorgegebenen Blickpunktposition des Benutzers und jeder Position des Gebiets, das dem Rahmen entspricht, basierend auf einem Bild festlegt, das durch die Bildgebungseinheit aufgenommen wird, wobei die Anzeigesteuereinheit (203) den Defokussierungsprozess gemäß dem Defokussierungsbereich auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf der Blickpunktposition des Benutzers anwendet, der in dem sich bewegenden Körper fährt.
  13. Informationsverarbeitungseinrichtung nach Anspruch 12, wobei der durch die Defokussierungsbereichsfestlegeeinheit (325) festgelegte Defokussierungsbereich umso kleiner ist, je geringer die Entfernung zwischen jeder Position des dem Rahmen entsprechenden Gebiets und der Blickpunktposition des Benutzers ist, der durch die Defokussierungsbereichsfestlegeeinheit festgelegte Defokussierungsbereich umso größer ist, je weiter die Entfernung zwischen jeder Position des dem Rahmen entsprechenden Gebiets und der Blickpunktposition des Benutzers ist, und der Fokussierungsgrad in dem Defokussierungsprozess der Anzeigesteuereinheit (203), der auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf der Blickpunktposition des Benutzers angewendet wird, der in dem sich bewegenden Körper fährt, umso höher ist, je kleiner der Defokussierungsbereich ist, ein Defokussierungsgrad in dem Defokussierungsprozess der Anzeigesteuereinheit umso höher ist, je größer der Defokussierungsbereich ist.
  14. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Festlegeeinheit (201) für jeden von mehreren der Benutzer den Rahmen als die Überlagerungsstelle des Inhalts in dem Gebiet, das der Oberfläche des Objekts entspricht, basierend auf dem Bewegungszustand des Benutzers festlegt; und die Anzeigesteuereinheit (203) den Defokussierungsprozess auf die visuellen Informationen anwendet, die in dem Gebiet erzeugt werden, das dem für jeden der mehreren Benutzer festgelegten Rahmen entspricht, und das dem Anzeigen des Inhalts dient.
  15. Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, wobei das Verfahren Folgendes aufweist: Festlegen (S3) eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers, wobei der Rahmen basierend auf einem Winkel der Oberfläche des Objekts mit Bezug auf eine Fahrtrichtung festgelegt wird; und Erzeugen (S5) visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht.
  16. Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, wobei das Verfahren Folgendes aufweist: Festlegen (S3) eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; und Erzeugen (S5) visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht; Berechnen einer Eignung jedes Inhalts und jedes Rahmens basierend auf Informationen bezüglich Spezifikationen, die zum Anzeigen des Inhalts erforderlich sind, wobei die visuellen Informationen zum Anzeigen jedes Inhalts in dem Gebiet, das einem ausgewählten Rahmen entspricht, basierend auf der Eignung erzeugt werden, die die Eignung basierend auf einem Element berechnet wird, das gemäß einem Typ des Inhalts variiert, und, falls der Inhalt ein Bild ist, die Eignung basierend auf einer Beziehung zwischen einem Aspektverhältnis des Bildes und einem Aspektverhältnis des Rahmens berechnet wird.
  17. Informationsverarbeitungsverfahren, das durch eine Informationsverarbeitungseinrichtung ausgeführt wird, wobei das Verfahren Folgendes aufweist: Festlegen (S3) eines Rahmens als eine Überlagerungsstelle eines Inhalts in einem Gebiet, das einer Oberfläche eines Objekts entspricht, basierend auf einem Bewegungszustand eines Benutzers; und Erzeugen (S5) visueller Informationen zum Anzeigen des Inhalts in dem Gebiet, das dem festgelegten Rahmen entspricht, wobei ein Defokussierungsprozess auf die visuellen Informationen, die in dem Gebiet erzeugt werden, das dem festgelegten Rahmen entspricht, und dem Anzeigen des Inhalts dienen, basierend auf einer Blickpunktposition des Benutzers angewendet wird, der in einem sich bewegenden Körper fährt.
  18. Programm zum Veranlassen eines Computers dazu, ein Informationsverarbeitungsverfahren gemäß einem der Ansprüche 15 bis 17 auszuführen.
  19. Sich bewegender Körper, der Folgendes aufweist: eine Informationsverarbeitungseinrichtung nach einem der Ansprüche 1 bis 14, und eine Ausgabeeinheit, die die visuellen Informationen anzeigt.
DE112018004847.0T 2017-08-31 2018-08-17 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt Active DE112018004847B4 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017166871 2017-08-31
JP2017-166871 2017-08-31
JP2018-069055 2018-03-30
JP2018069055 2018-03-30
PCT/JP2018/030489 WO2019044536A1 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体

Publications (2)

Publication Number Publication Date
DE112018004847T5 DE112018004847T5 (de) 2020-06-18
DE112018004847B4 true DE112018004847B4 (de) 2024-02-08

Family

ID=65527216

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018004847.0T Active DE112018004847B4 (de) 2017-08-31 2018-08-17 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt

Country Status (4)

Country Link
US (2) US11645840B2 (de)
JP (2) JP7331696B2 (de)
DE (1) DE112018004847B4 (de)
WO (1) WO2019044536A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
US11511627B2 (en) * 2017-11-17 2022-11-29 Aisin Corporation Display device and computer program
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
WO2020157995A1 (ja) * 2019-01-28 2020-08-06 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
JP7292144B2 (ja) * 2019-08-06 2023-06-16 株式会社日立製作所 表示制御装置、透過型表示装置
JP7344051B2 (ja) * 2019-08-30 2023-09-13 ダイハツ工業株式会社 情報表示システム
DE102019213740A1 (de) * 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
CN218198110U (zh) 2019-10-23 2023-01-03 索尼公司 移动装置
CA3162785A1 (en) 2020-01-01 2021-07-08 Latham Pool Products, Inc. Visualizer for swimming pools
US20230186651A1 (en) * 2020-06-19 2023-06-15 Sony Group Corporation Control device, projection system, control method, and program
US20230304821A1 (en) * 2021-01-12 2023-09-28 Lg Electronics Inc. Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device
WO2022269753A1 (ja) * 2021-06-22 2022-12-29 マクセル株式会社 情報処理システム、情報処理装置及び画像表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US20140012674A1 (en) 2000-03-21 2014-01-09 Gregory A. Piccionielli Heads-up billboard
US20150296199A1 (en) 2012-01-05 2015-10-15 Robert Bosch Gmbh Method and device for driver information
WO2016181749A1 (ja) 2015-05-13 2016-11-17 日本精機株式会社 ヘッドアップディスプレイ
US20170116785A1 (en) 2015-10-22 2017-04-27 Ford Motor Company Limited Head up display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070231A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両における表示方法
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
EP2450667B1 (de) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Visionssystem und Verfahren zur Analysierung eines Bilds
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
JP5987791B2 (ja) * 2013-06-28 2016-09-07 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP6107590B2 (ja) 2013-10-16 2017-04-05 株式会社デンソー ヘッドアップディスプレイ装置
EP3285230B1 (de) * 2016-08-19 2021-04-07 Veoneer Sweden AB Verbesserte objekterkennung und bewegungsschätzung für ein fahrzeugumgebungserkennungssystem
US10922886B2 (en) * 2016-09-23 2021-02-16 Apple Inc. Augmented reality display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012674A1 (en) 2000-03-21 2014-01-09 Gregory A. Piccionielli Heads-up billboard
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US20150296199A1 (en) 2012-01-05 2015-10-15 Robert Bosch Gmbh Method and device for driver information
WO2016181749A1 (ja) 2015-05-13 2016-11-17 日本精機株式会社 ヘッドアップディスプレイ
US20170116785A1 (en) 2015-10-22 2017-04-27 Ford Motor Company Limited Head up display

Also Published As

Publication number Publication date
US20230237799A1 (en) 2023-07-27
JPWO2019044536A1 (ja) 2020-11-19
JP7331696B2 (ja) 2023-08-23
US20200184219A1 (en) 2020-06-11
DE112018004847T5 (de) 2020-06-18
WO2019044536A1 (ja) 2019-03-07
US11645840B2 (en) 2023-05-09
JP2023159121A (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
DE112018004847B4 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
EP2491530B1 (de) Bestimmung der pose einer kamera
DE102021126254A1 (de) Überwachen der Aufmerksamkeit und der kognitiven Belastung der Insassen für autonome und halbautonome Fahranwendungen
DE102020106176A1 (de) Lokalisierungssysteme und -verfahren
DE112019000070T5 (de) Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
DE112018003986T5 (de) Steuervorrichtung, steuerverfahren, programm und mobileinheit
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
DE112019001659T5 (de) Steuervorrichtung, steuerverfahren und programm
DE112018004891T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
DE112018004953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und sich bewegender körper
US20200193570A1 (en) Image processing device, image processing method, and program
DE112018006464T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm, anzeigesystem und mobiles objekt
DE112017007019T5 (de) Fahrzeuganzeigesteuervorrichtung
DE112018002918T5 (de) Steuervorrichtung, bildaufnahmevorrichtung, steuerverfahren, programm undbildaufnahmesystem
JPWO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
DE112018004904T5 (de) Informationsverarbeitungseinrichtung, selbstpositionsschätzverfahren und programm
DE112018005910T5 (de) Steuervorrichtung und steuerverfahren, programm und mobiler körper
KR20210056336A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
DE112018003270T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
DE112020001221T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und mobile Körpervorrichtung
DE112017005228T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE102021133534A1 (de) Betreiben eines fahrzeugs
DE112020006958T5 (de) Anzeigevorrichtung, Anzeigeverfahren und Fahrzeug
DE112018003025T5 (de) Bildgebungssystem für ein fahrzeug, serversystem und bildgebungsverfahren für ein fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division