JP2023159121A - 情報処理装置、情報処理方法、プログラム、および移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、および移動体 Download PDF

Info

Publication number
JP2023159121A
JP2023159121A JP2023124515A JP2023124515A JP2023159121A JP 2023159121 A JP2023159121 A JP 2023159121A JP 2023124515 A JP2023124515 A JP 2023124515A JP 2023124515 A JP2023124515 A JP 2023124515A JP 2023159121 A JP2023159121 A JP 2023159121A
Authority
JP
Japan
Prior art keywords
content
frame
information
unit
superimposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023124515A
Other languages
English (en)
Other versions
JP7571829B2 (ja
Inventor
計人 椋
Kazuto Mugura
綾香 佐藤
Ayaka Sato
聰 赤川
Satoshi Akagawa
祥次 渡邊
Shoji Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023159121A publication Critical patent/JP2023159121A/ja
Application granted granted Critical
Publication of JP7571829B2 publication Critical patent/JP7571829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Figure 2023159121000001
【課題】本技術は、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにする。
【解決手段】オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、設定したフレームに対応する領域にコンテンツを表示するための視覚情報を生成する。本技術は、コンテンツのAR表示を行う装置に適用することができる。
【選択図】図３

Description

本技術は、情報処理装置、情報処理方法、プログラム、および移動体に関し、特に、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにした情報処理装置、情報処理方法、プログラム、および移動体に関する。
運転者の視界内に含まれる施設などに関する情報をヘッドアップディスプレイを用いてフロントガラスに投影し、運転者に提示する技術がある。運転者は、自身の前方に広がる風景に重ねて、各種の情報を見ることになる。
特許文献１には、施設に関するAR(Augmented Reality)画像を運転者が見ている実風景と対応付けて表示させる場合において、車速が速いときにはAR画像を遠方に表示させ、遅いときにはAR画像を近くに表示させる技術が開示されている。
特開２０１５－７７８７６号公報
風景に溶け込んで見えるような形で情報を提示することが望ましい。風景に溶け込んで見せることにより、運転者は、運転に集中しながら、情報を見ることができる。
本技術はこのような状況に鑑みてなされたものであり、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにするものである。
本技術の一側面の情報処理装置、およびプログラム、並びに移動体は、移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部とを備え、前記表示制御部は、前記視覚情報に対してデフォーカス処理する情報処理装置、およびプログラム、並びに移動体である。
本技術の一側面の情報処理方法は、移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定し、前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成するステップを含み、前記視覚情報に対してデフォーカス処理がなされる情報処理方法である。
本技術の一側面においては、移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームが設定され、前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報が生成され、前記視覚情報に対してデフォーカス処理がなされる。
本技術の第１の実施の形態に係る車両制御システムを搭載した車両の内装を示す図である。 コンテンツの見え方の例を示す図である。 図２に示す見え方を実現するためのコンテンツの表示例を示す図である。 コンテンツの表示を模式的に示す図である。 図２の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 図５の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 図６の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 第１の実施の形態の車両制御システムの構成例を示すブロック図である。 図８の出力制御部の機能構成例を示すブロック図である。 図９の情報重畳適切視界設定部の構成例を示すブロック図である。 オブジェクトの３次元モデルの例を示す図である。 情報重畳可能フレームの設定の例を示す図である。 除外ルール１により除外される情報重畳可能フレームの例を示す図である。 除外ルール２により除外される情報重畳可能フレームの例を示す図である。 除外ルール３により除外される情報重畳可能フレームの例を示す図である。 除外ルール４により除外される情報重畳可能フレームの例を示す図である。 除外ルール５により除外される情報重畳可能フレームの例を示す図である。 除外ルール６により除外される情報重畳可能フレームの例を示す図である。 車両位置の推移の例を示す図である。 車両の方向変移の例を示す図である。 各車両位置における風景画像を示す図である。 ユーザ視界内角速度の例を示す図である。 車両進行方向に対する対面角度の例を示す図である。 露出面積比率の例を示す図である。 露出面積比率の例を示す図である。 ユーザ視界内の滞在時間の例を示す図である。 情報重畳適切視界の設定の例を示す図である。 図９の重畳対象フレーム選択部の構成例を示すブロック図である。 コンテンツ情報項目の例を示す図である。 適合度の例を示す図である。 重畳先の設定の例を示す図である。 重畳先の例を示す図である。 図９の表示制御部の構成例を示すブロック図である。 適応コントラストに基づくコントラストの調整の例を示す図である。 手前オブジェクトの表示の例を示す図である。 情報表示処理について説明するフローチャートである。 図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明するフローチャートである。 図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明する、図３７に続くフローチャートである。 図３６のステップＳ４において行われる重畳対象フレーム選択処理について説明するフローチャートである。 図３６のステップＳ５において行われる表示処理について説明するフローチャートである。 コンテンツの事前解析処理について説明するフローチャートである。 本技術の第２の実施の形態に係るユーザが１人である時のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示する例の概要を説明する図である。 情報重畳適切フレームが１枚の場合のデフォーカス度の設定例を説明する図である。 情報重畳適切フレームが複数の場合のデフォーカス度の設定例と、投影ユニットが透過型ディスプレイであるときの表示例を説明する図である。 本技術の第２の実施の形態に係る表示制御部の構成例を説明する図である。 図４５の表示処理部の構成例を説明する図である。 図４５の表示制御部による表示処理を説明するフローチャートである。 図４７のステップＳ２０２のデフォーカス度マップ生成処理を説明するフローチャートである。 本技術の第２の実施の形態の変形例である、投影ユニットが非透過型ディスプレイであるときの表示処理部の構成例を説明する図である。 図４９の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 情報重畳適切フレームが複数の場合のデフォーカス度の設定例と、投影ユニットが非透過型ディスプレイであるときの表示例を説明する図である。 本技術の第３の実施の形態に係るユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示する例の概要を説明する図である。 ユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示するときの、液晶偏光シャッタを用いた表示部の構成例を説明する図である。 第３の実施の形態の車両制御システムの構成例を示すブロック図である。 図５４の車両制御システムの出力制御部の表示制御部であって、表示部に液晶偏光シャッタを用いたときの表示処理部の構成例を示すブロック図である。 図５５の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 ユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示するときの、レンチキュラレンズを用いた表示部の構成例を説明する図である。 図５４の車両制御システムの出力制御部の表示制御部であって、表示部にレンチキュラレンズを用いたときの表示処理部の構成例を示すブロック図である。 図５８の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
１－１．コンテンツの表示例
１－２．車両制御システムの構成例
１－３．車両制御システムの動作
１－４．変形例
２．第２の実施の形態
２－１．第２の実施の形態の概要
２－２．デフォーカス度の設定例
２－３．複数の情報重畳適切フレームが存在する場合のデフォーカス度の設定例
２－４．表示制御部の第２の実施の形態の構成例
２－５．変形例
３．第３の実施の形態
３－１．第３の実施の形態の概要
３－２．車両制御システムの構成例
３－３．図５５の表示処理部による表示処理
３－４．変形例
＜＜＜１．第１の実施の形態＞＞＞
＜＜１－１．コンテンツの表示例＞＞
図１は、本技術の一実施形態に係る車両制御システムを搭載した車両の運転席近傍の内装を示す図である。
図１に示すように、運転席に座るユーザ（運転者）から見てダッシュボードの先にはフロントガラスＧが設けられる。車両制御システムによるコンテンツの表示は、例えば、フロントガラスＧに画像を投影することによって行われる。ユーザは、フロントガラスＧ越しに見える風景に重ねてコンテンツを見ることになる。
なお、以下においては、コンテンツを見る車両の搭乗者が運転者である場合について説明するが、コンテンツを見るユーザは、助手席や後部座席に座っている他のユーザであってもよい。
コンテンツとして、娯楽情報、実用情報、広告などの各種の情報を表す画像が表示される。コンテンツとして表示される画像は、動画である場合もあるし、静止画である場合もある。画像中に文字が含まれるようにしてもよいし、含まれないようにしてもよい。
このようなコンテンツのAR表示を実現する投影ユニットは、バックミラーの背面側やダッシュボードの上面などの所定の位置に設けられる。AR表示を実現するデバイスとして、投影ユニット以外の、虚像を投影する各種のデバイスが用いられるようにしてもよい。例えば、フロントガラスＧに貼り付けられた透過型のディスプレイが用いられるようにしてもよいし、ユーザが装着する透過型のHMD(Head Mounted Display)が用いられるようにしてもよい。
車両制御システムによるコンテンツの表示は、風景内の最適な場所に、最適な表現で行われる。具体的には、風景内に実在する建物などのオブジェクトの壁面に設定されたフレームのうち、ユーザにとって見やすいと考えられるフレームが、最適な場所として移動状況に基づいて選択される。また、建物の壁面に実際に投影されているように見せるために、壁面の見え方に応じた画像処理を施した上でコンテンツの表示が行われる。
図２は、コンテンツの見え方の例を示す図である。
図２に示す横長長方形の範囲に示す風景は、運転席に座っているユーザが見ている風景の一部を表す。車両の前方には右に曲がるカーブが見えている。カーブの手前の右側には建物Ｂ１があり、カーブの先には建物Ｂ２がある。道路沿いの、建物Ｂ２のさらに先には建物Ｂ３がある。
図２に示すように、建物Ｂ１の壁面には、壁面の向きに合わせて矩形を変形させたフレームが設定され、そこにコンテンツＣ１が表示されている。
同様に、建物Ｂ２の壁面に設定されたフレームにはコンテンツＣ２が表示され、建物Ｂ３の壁面に設定されたフレームにはコンテンツＣ３が表示されている。近くにある建物の壁面にはコンテンツが大きく表示され、遠くにある建物の壁面にはコンテンツが小さく表示されている。
左上には、車速が表示されている。このように、コンテンツ以外の各種の情報を表示することも可能である。
図３は、図２に示すような風景の見え方を実現するためのコンテンツの表示例を示す図である。
図３のＡは、ユーザの前方に見える実際の風景を示している。図３のＡに示すように、実際の風景には、車両の前方に右に曲がるカーブが見え、道路沿いに建物Ｂ１乃至Ｂ３が見えている。
このような風景に対して、図３のＢに示すような形でコンテンツＣ１乃至Ｃ３が表示され、図３のＣに示す、図２と同じコンテンツの見え方が実現される。
図４は、コンテンツの表示を模式的に示す図である。
コンテンツの表示は、建物に設定されたフレームに対応するフロントガラスＧ上の領域に画像を表示させることによって行われる。ユーザの位置である位置Ｐを基準とすると、位置Ｐとフレーム（斜線部分）を結ぶ直線の内側の領域が、フレームに対応するフロントガラスＧ上の領域となる。図４の水平線は、ユーザと建物の間にある表示面としてのフロントガラスＧを示す。
図４の例において、建物Ｂ１’に設定されたフレームに対応するフロントガラスＧ上の領域は領域Ｇ１であり、建物Ｂ２’に設定されたフレームに対応するフロントガラスＧ上の領域は領域Ｇ２である。領域Ｇ１と領域Ｇ２にコンテンツを表示させることによって、建物Ｂ１’と建物Ｂ２’の壁面にコンテンツが表示されているかのような見え方が実現される。
ユーザは、フロントガラスＧ越しに見える建物Ｂ１’に重ねて、領域Ｇ１に表示されたコンテンツを見ることになる。また、ユーザは、フロントガラスＧ越しに見える建物Ｂ２’に重ねて、領域Ｇ２に表示されたコンテンツを見ることになる。これにより、ユーザは、あたかも建物の壁面に表示されているかのような状態で各種の情報を見ることができる。
このように、建物の壁面に設定されたフレームに対するコンテンツの重畳は、フロントガラスＧに画像を表示させることによって実現される。
表示内容は、車両の走行中、走行状況（移動状況）に応じてリアルタイムで更新される。運転席からの風景の見え方が変化することに伴って、コンテンツの見え方も変化する。
図５は、図２の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
図５の状態は、車両がカーブを曲がっている最中の状態である。右側に見えていた建物Ｂ１の大部分は視界から外れ、建物Ｂ１に重畳されていたコンテンツＣ１が見えなくなっている。
また、建物Ｂ２が正面前方に迫っており、コンテンツＣ２が、図２の状態より大きく表示されている。コンテンツＣ２は、車両と建物Ｂ２の壁面との位置関係に基づいて、建物Ｂ２の壁面に表示されているかのような大きさ、形状で表示される。時間経過に伴って、コンテンツＣ２の表示内容も変化する。
同様に、建物Ｂ３の見え方の変化に伴って、コンテンツＣ３の表示も変化している。
また、図５の例では、図２の状態では見えなかった建物Ｂ４が、建物Ｂ３の先に新たに見えるようになっている。ユーザから見える建物Ｂ４の２つの壁面にもフレームがそれぞれ設定され、それぞれのフレームにコンテンツＣ４－１とコンテンツＣ４－２が重畳されている。
図６は、図５の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
図６の状態は、車両がカーブを曲がりきり、道路を直進している状態である。左側に見えていた建物Ｂ２の大部分は視界から外れ、建物Ｂ２に重畳されていたコンテンツＣ２が見えなくなっている。
また、図５の状態ではほぼ見えていなかった建物Ｂ５の他に、建物Ｂ６，Ｂ７が前方に見えるようになっており、それぞれの壁面にコンテンツが重畳されている。
図７は、図６の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
図７の状態は、建物Ｂ４の手前の位置を直進している状態である。建物Ｂ４乃至Ｂ７のそれぞれの建物に重畳されていたコンテンツの表示は、建物の見え方の変化に伴って変化している。また、図６の状態ではほぼ見えていなかった建物Ｂ８が右側に大きく見えるようになっており、建物Ｂ８の壁面にもコンテンツが重畳されている。
なお、ここでは、フレームが建物の壁面に設定される場合について説明しているが、貯水タンク、高速道路の両脇に設置された防音壁などの各種の建造物にもフレームが設定され、コンテンツが重畳される。フレームが設定される対象は建造物に限られるものではなく、遠くに見える山の斜面、海面などの自然物であってもよい。道路自体にフレームが設定され、コンテンツが重畳されるようにしてもよい。
すなわち、運転をしているユーザの視界内にある各種のオブジェクトにフレームを設定し、コンテンツを重畳させることが可能である。以下、主に、コンテンツの重畳先のオブジェクトが建物であるものとして説明する。
このように、車両制御システムによるコンテンツの表示は、運転中に見える建物に重畳させることによって行われる。また、建物に重畳されたコンテンツは、ユーザの見え方の変化に伴って、形状、大きさを変えて表示される。
後に詳述するように、実際には、建物が遠くにあり、霞んで見える場合にはコントラストを下げたり、建物に強い光が当たっており、明るく見える場合にはコントラストを下げたりするような画像処理が、コンテンツに対して施される。
建物に表示されているかのような形でコンテンツが表示され、また、その表示が風景の見え方の変化に伴って変化するから、ユーザは、運転をしながら、自然な形でコンテンツを見ることができる。
このようなコンテンツの表示を実現する車両制御システムの処理についてはフローチャートを参照して後述する。
＜＜１－２．車両制御システムの構成例＞＞
＜１－２－１．車両制御システムの全体構成＞
図８は、車両制御システム１００の構成例を示すブロック図である。図８に示す車両制御システム１００が情報処理装置として機能する。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、適宜、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および自動運転制御部１１２は、通信ネットワーク１２１を介して相互に接続されている。
通信ネットワーク１２１は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）、FlexRay（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。
また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（IMU）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ToF（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、GNSS（Global Navigation Satellite System）衛星からの信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
データ取得部１０２を構成するカメラにより、車両の進行方向の風景が撮影される。カメラにより撮影された風景画像が解析されることによって、建物の有無、建物の明るさ、周囲の明るさなどが特定される。
また、データ取得部１０２を構成する各種のセンサにより検出された結果に基づいて、進行方向、速度等の、車両の状況が特定される。特定された車両の状況は、車両の走行経路の予測などに用いられる。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）、WUSB（Wireless USB）等により車内機器１０４と無線通信を行う。また、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）、又は、MHL（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。
風景に重畳されるコンテンツが、コンテンツを管理するサーバから取得されるようにしてもよい。この場合、通信部１０３は、サーバと通信を行うことによってコンテンツを取得する。通信部１０３により取得されたコンテンツは例えば記憶部１１１に供給され、記憶される。
通信部１０３は、P2P（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、MTC（Machine Type Communication）端末）との通信を行う。また、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、および、歩車間（Vehicle to Pedestrian）通信等のV2X通信を行う。通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。
具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、ランプ等を備える。
また、出力部１０６は、投影ユニット１０６Ａを有する。投影ユニット１０６Ａは、HUD、透過型ディスプレイなどの、AR表示機能を有する表示デバイスである。投影ユニット１０６Ａは、上述したように、コンテンツ等の各種の情報をフロントガラスＧに投影する。
駆動系制御部１０７は、各種の制御信号を駆動系システム１０８に供給し、駆動系システム１０８を制御する。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS（Antilock Brake System）、ESC（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、SSD（Solid State Drive）、HDD（Hard Disc Drive）等の記憶デバイスにより構成される。記憶部１１１は、車両制御システム１００の各部が用いるプログラムやデータ等を記憶する。
例えば、記憶部１１１には、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データが記憶される。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。
自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
また、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置および姿勢等の推定処理を行う。
また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、SLAM（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。
自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、および、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無および内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜１－２－２．出力制御部の構成＞
図９は、図８の出力制御部１０５の機能構成例を示すブロック図である。図９に示す機能部のうちの少なくとも一部は、所定のプログラムが実行されることによって実現される。
出力制御部１０５は、情報重畳適切視界設定部２０１、重畳対象フレーム選択部２０２、表示制御部２０３、およびコンテンツ取得部２０４から構成される。
情報重畳適切視界設定部２０１は、車両の進行方向の風景を撮影することによって得られた画像を解析する。情報重畳適切視界設定部２０１に対しては、例えば、データ取得部１０２を構成するカメラにより撮影された風景画像が供給される。
情報重畳適切視界設定部２０１は、風景画像に写る建物の壁面に情報重畳可能フレームを設定する。情報重畳可能フレームは、建物などのオブジェクトの表面（表面に対応する領域）のうち、コンテンツの重畳が可能な領域である。
また、情報重畳適切視界設定部２０１は、情報重畳可能フレームのうちの所定のフレームを、コンテンツを重畳するのに適したフレームである情報重畳適切フレームとして選択する。
すなわち、全ての情報重畳可能フレームにコンテンツが重畳されるのではなく、コンテンツを重畳するのに適した情報重畳可能フレームが走行状況などに応じて選択される。情報重畳適切視界設定部２０１により設定された情報重畳適切フレームに関する情報は重畳対象フレーム選択部２０２に供給される。情報重畳適切視界設定部２０１から表示制御部２０３に対しては、風景画像の解析結果の情報が適宜供給される。
重畳対象フレーム選択部２０２は、コンテンツ取得部２０４により取得されたコンテンツの重畳先を、情報重畳適切視界設定部２０１により設定された情報重畳適切フレームの中から選択する。コンテンツの重畳先として選択された情報重畳適切フレームに関する情報は表示制御部２０３に供給される。
表示制御部２０３は、コンテンツに対して、重畳先として選択された情報重畳適切フレームの状況に応じた画像処理を施して見た目の調整を行う。このように、表示制御部２０３は、コンテンツを表示させるための視覚情報を生成する機能を有する。また、表示制御部２０３は、投影ユニット１０６Ａを制御し、画像処理を施したコンテンツを情報重畳適切フレームに重畳させる。表示制御部２０３は、情報重畳適切フレームに対応するフロントガラスＧ上の領域にコンテンツを投影することによって、コンテンツの表示を行うことになる。
コンテンツ取得部２０４は、記憶部１１１から読み出すことによってコンテンツを取得する。例えば記憶部１１１には、図示せぬサーバから取得されたコンテンツが記憶されている。コンテンツ取得部２０４により取得されたコンテンツは、重畳対象フレーム選択部２０２と表示制御部２０３に供給される。
このように、コンテンツの表示は、情報重畳適切視界設定部２０１による処理を第１段階の処理、重畳対象フレーム選択部２０２による処理を第２段階の処理、表示制御部２０３による処理を第３段階の処理として行われる。
以下、各段階の処理の詳細について、情報重畳適切視界設定部２０１、重畳対象フレーム選択部２０２、および表示制御部２０３の各部の構成とあわせて説明する。
＜１－２－３．第１段階の処理（情報重畳適切視界の設定）＞
図１０は、図９の情報重畳適切視界設定部２０１の構成例を示すブロック図である。
情報重畳適切視界設定部２０１は、画像解析部２１１、光状態モード設定部２１２、オブジェクト検出部２１３、フレーム設定部２１４、および適切視界設定部２１５から構成される。
画像解析部２１１は、撮影を行うことによって得られた風景画像を解析する。風景画像の解析により、建物のアウトラインが検出されるとともに、周囲の明るさ（輝度）が検出される。また、風景画像の解析を行うことにより、日照の状態、照明の状態、大気の状態なども検出される。画像解析部２１１による解析結果を表す情報は光状態モード設定部２１２とオブジェクト検出部２１３に供給されるとともに、表示制御部２０３にも供給される。
光状態モード設定部２１２は、画像解析部２１１から供給された情報に基づいて光状態モードを設定する。例えば、光状態モードとして、「昼モード」、「薄暮モード」、「夜モード」のうちのいずれかが設定される。
例えば、「昼モード」は、太陽が出ていて周囲が明るいときに設定される。「薄暮モード」は、夕方や明け方などのように、周囲が薄暗いときに設定される。「夜モード」は、太陽が沈んでいて周囲が暗いときに設定される。
各モードには基準となる明るさの閾値が設定されている。光状態モード設定部２１２は、画像を解析することによって特定された周囲の明るさと、閾値となる明るさを比較することによって、現在の明るさの状況に応じた光状態モードを設定する。光状態モード設定部２１２により設定された光状態モードに関する情報はフレーム設定部２１４に供給される。
光状態モード設定部２１２による光状態モードの設定が、風景画像の解析結果に基づいて行われるのではなく、データ取得部１０２を構成するセンサの検出結果に基づいて行われるようにしてもよい。また、光状態モードの設定が、現在時刻等を参照して行われるようにしてもよい。
オブジェクト検出部２１３は、地図データを取得し、アウトラインが検出された建物を地図上にプロットすることによって、走行中の道路沿いにあって、ユーザの視界に含まれる建物の３次元モデルを生成する。
例えば、走行中の道路は、データ取得部１０２を構成するGNSS受信機による測位結果に基づいて特定される。オブジェクト検出部２１３に供給される地図データは、記憶部１１１に記憶されているものであってもよいし、図示せぬサーバから取得されるものであってもよい。
図１１は、道路沿いのオブジェクトの３次元モデルの例を示す図である。
図１１の例においては、自車両が走行している直線状の道路の左右に建物が並んでいる。このような建物のアウトラインのデータを含む３次元モデルがオブジェクト検出部２１３により生成される。３次元モデルには、樹木や電柱などの、風景画像に含まれる建物以外のオブジェクトのアウトラインのデータも含まれる。
オブジェクト検出部２１３に供給される地図データに、各建物の位置だけでなく、建物の高さなどに関する情報が含まれている場合、図１１に示すような３次元モデルが地図データに基づいて生成されるようにしてもよい。この場合、オブジェクト検出部２１３は、地図データ上の建物が実際に存在しているか否かを画像解析部２１１による風景画像の解析結果に基づいて判定し、実際に存在している建物について、その位置を確定する。
例えば、地図データ上では存在する建物が取り壊されていることがある。オブジェクト検出部２１３は、地図データ上の建物と同じ建物が風景画像に写っていない場合、その建物については、コンテンツの重畳対象から除外する。
このように、オブジェクトの存在を風景画像に基づいて確認することにより、実際にはなくなっていて、ユーザの視界にない建物にコンテンツが重畳されるのを防ぐことが可能になる。
一般的に、地図データの更新は１年毎などの所定の期間毎に行われるため、地図データ上に存在する建物が、車両の走行時点でなくなっていることも起こりうる。車両の走行時点でなくなっている建物の壁面にコンテンツを重畳させた場合、コンテンツが浮いているように見えてしまうが、そのような不自然な見え方を防ぐことが可能になる。
オブジェクト検出部２１３は、風景画像に実際に写っている建物の３次元モデルの情報をフレーム設定部２１４に出力する。
フレーム設定部２１４は、オブジェクト検出部２１３から供給された３次元モデルに基づいて、ユーザの視界に含まれる建物の壁面に情報重畳可能フレームを設定する。例えば、閾値より広い面積を有する平面が情報重畳可能フレームとして設定される。
図１２は、情報重畳可能フレームの設定の例を示す図である。
図１２の例においては、カーブ手前の右側にある建物に情報重畳可能フレームF_01が設定されている。また、カーブに沿って左手に３つの建物があり、手前の建物から順に、情報重畳可能フレームF_02，F_03，F_04が設定されている。なお、図１２に示す風景は、後述する車両位置Ａにおける風景を示している。
このように、自車両が走行する道路から見える建物の３次元モデルに基づいて、コンテンツの重畳先の候補としての情報重畳可能フレームが設定される。フレーム設定部２１４により設定された情報重畳可能フレームの中から、コンテンツの重畳先となるフレームが選択される。図１２においては、建物の１つの面に情報重畳可能フレームが１つ設定されているが、複数設定されるようにしてもよい。
また、フレーム設定部２１４は、以上のようにして設定した情報重畳可能フレームのうち、コンテンツの重畳先として適切でない情報重畳可能フレームを除外する。情報重畳可能フレームの除外は、光状態モード設定部２１２により設定された光状態モードと、画像解析部２１１により解析された風景画像に写っている建物の各部分の明るさ等に基づいて行われる。
＜除外ルールに基づく判断＞
・除外ルール１
フレーム設定部２１４は、「昼モード」、「薄暮モード」、「夜モード」の全ての場合において、大型モニタなどの強力な発光状態にある部分を、情報重畳可能フレームから除外する。例えば、閾値以上の輝度を有する建物の部分が、強力な発光状態にある部分として特定される。
この場合、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
図１３は、除外ルール１により除外される情報重畳可能フレームの例を示す図である。
図１３に示すように、建物Ｂ１１を構成する面ｂ１１－１上方の領域Ａ１の部分と、建物Ｂ１２を構成する面ｂ１２－２上方の領域Ａ２の部分に大型モニタが設置されているものとする。この場合、領域Ａ１の部分と領域Ａ２の部分が情報重畳可能フレームから除外される。
大型モニタなどの発光状態にある部分にコンテンツを重畳させた場合、コンテンツの周りから光が漏れるように見えてしまうことがある。除外ルール１に従って情報重畳可能フレームから除外することにより、そのような不自然な見え方を防ぐことが可能になる。
・除外ルール２
フレーム設定部２１４は、「昼モード」の場合、太陽光によって強い影となって見える部分を、情報重畳可能フレームから除外する。例えば、太陽光が当たることによって高輝度になっている部分と、その部分と閾値以上の輝度差を有する部分がある場合、輝度の低い部分が、太陽光によって強い影となって見える部分として特定される。
この場合、各部分の絶対的な輝度と、周囲との輝度差に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
図１４は、除外ルール２により除外される情報重畳可能フレームの例を示す図である。
図１４に示すように、建物Ｂ１１を構成する面ｂ１１－１に太陽光が当たり、他の面である面ｂ１１－２全体に影が生じることによって、それらの面の輝度差が閾値以上あるものとする。この場合、輝度の低い面ｂ１１－２の領域Ａ１１の部分が情報重畳可能フレームから除外される。
同様に、建物Ｂ１２を構成する面ｂ１２－２の領域Ａ１２の部分と、建物Ｂ１３を構成する面ｂ１３－２の領域Ａ１３の部分が情報重畳可能フレームから除外される。建物Ｂ１２において、面ｂ１２－１の上方と面ｂ１２－２には閾値以上の輝度差があり、建物Ｂ１３において、面ｂ１３－１の上方と面ｂ１３－２には閾値以上の輝度差がある。
非常に明るい部分が周りにある影の部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール２に従って情報重畳可能フレームを除外することにより、コンテンツの視認性を確保することが可能になる。
・除外ルール３
フレーム設定部２１４は、「薄暮モード」の場合、各種理由によって特に暗く見える部分を、情報重畳可能フレームから除外する。例えば、輝度が閾値より低い部分が、特に暗く見える部分として特定される。
この場合、除外ルール１と同様に、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
図１５は、除外ルール３により除外される情報重畳可能フレームの例を示す図である。
図１５に示すように、建物Ｂ２１を構成する面ｂ２１－１の輝度が閾値より低いものとする。また、建物Ｂ２１の陰になって、建物Ｂ２２を構成する面ｂ２２－１と面ｂ２２－２の輝度が閾値より低いものとする。この場合、面ｂ２１－１の領域Ａ２１－１，Ａ２１－２の部分、面ｂ２２－１の領域Ａ２２－１の部分、および、面ｂ２２－２の領域Ａ２２－２の部分が情報重畳可能フレームから除外される。
特に暗い部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール３に従って情報重畳可能フレームを除外することによっても、コンテンツの視認性を確保することが可能になる。
なお、図１５において、建物Ｂ２３の正面に見える面は、薄暗くなってはいるが、特に暗く見える部分ではないため、除外対象とはされていない。
・除外ルール４
フレーム設定部２１４は、「夜モード」の場合、照明光によって強い影となって見える部分を、情報重畳可能フレームから除外する。例えば、照明光が当たることによって高輝度になっている部分と、その部分と閾値以上の輝度差を有する部分がある場合、輝度の低い部分が、照明光によって強い影となって見える部分として特定される。
この場合、除外ルール２と同様に、各部分の絶対的な輝度と、周囲との輝度差に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
図１６は、除外ルール４により除外される情報重畳可能フレームの例を示す図である。
図１６に示すように、建物Ｂ３１を構成する面ｂ３１－１に街灯Ｌからの光が当たり、他の面である面ｂ３１－２全体に影が生じることによって、それらの面の輝度差が閾値以上あるものとする。この場合、輝度の低い面ｂ３１－２の領域Ａ３１の部分が情報重畳可能フレームから除外される。
同様に、建物Ｂ３２を構成する面ｂ３２－１の一部に街灯Ｌからの光が当たり、他の部分に建物Ｂ３１の影が生じることによって、それらの部分の輝度差が閾値以上あるものとする。この場合、面３２－１のうちの、輝度の低い領域Ａ３２の部分が情報重畳可能フレームから除外される。
非常に明るい部分が周りにある影の部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール４に従って情報重畳可能フレームを除外することによっても、コンテンツの視認性を確保することが可能になる。
・除外ルール５
フレーム設定部２１４は、「夜モード」の場合、建物外壁の発光状態にある部分や内部照明などによって発光状態にある窓部分を、情報重畳可能フレームから除外する。例えば、閾値以上の輝度を有する建物の部分が、発光状態にある部分として特定される。
この場合、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
図１７は、除外ルール５により除外される情報重畳可能フレームの例を示す図である。
図１７に示すように、建物Ｂ１１を構成する面ｂ１１－１の領域Ａ４１－１，Ａ４１－２の部分と、面ｂ１１－２の領域Ａ４１－３，Ａ４１－４の部分に窓があり、室内の照明によって、それらの部分が発光状態にあるものとする。この場合、領域Ａ４１－１乃至Ａ４１－４の部分が情報重畳可能フレームから除外される。
同様に、建物Ｂ１２を構成する面ｂ１２－２の領域Ａ４２の部分と、建物Ｂ１３を構成する面ｂ１３－２の領域Ａ４３の部分が情報重畳可能フレームから除外される。これらの部分にも窓があり、室内の照明によって、それらの部分が発光状態にあるものとされている。
周りが暗い場合において、室内からの光が漏れている窓の部分などにコンテンツを重畳させた場合、コンテンツの周りから光が漏れるように見えてしまうことがある。除外ルール５に従って情報重畳可能フレームを除外することにより、そのような不自然な見え方を防ぐことが可能になる。
・除外ルール６
フレーム設定部２１４は、歴史的建造物、看板などの表示物、観光名所にある対象物など、コンテンツを重畳することが道義的あるいは慣習的に不適当とされる部分を、情報重畳可能フレームから除外する。除外ルール６は、「昼モード」、「薄暮モード」、「夜モード」の全ての場合において採用される。
図１８は、除外ルール６により除外される情報重畳可能フレームの例を示す図である。
図１８の領域Ａ５１，Ａ５２として示すように、例えば歴史的建造物である城の外壁は、情報重畳可能フレームから除外される。
除外ルール６に基づく判断は、例えば、地図データに含まれる情報に基づいてフレーム設定部２１４により行われる。風景画像を解析することによって歴史的建造物などが検出され、情報重畳可能フレームから除外するか否かの判断が行われるようにしてもよい。
フレーム設定部２１４は、以上のような各ルールに従って情報重畳可能フレームを除外し、残った（除外されなかった）情報重畳可能フレームの情報を適切視界設定部２１５に出力する。
＜情報重畳適切フレームの判断＞
図１０の適切視界設定部２１５は、フレーム設定部２１４により設定され、除外ルールに基づく判断を経た情報重畳可能フレームが、次の条件１乃至４を満たすか否かを判断する。
条件１：ユーザからの距離、車両進行方向に対する角度、および車両速度から算出されるユーザ視界内角速度が基準範囲内にあること
条件２：車両進行方向に対する対面角度が最小基準値以上であること
条件３：情報重畳可能フレームが樹木や電柱などの手前オブジェクト越しに見える場合、露出面積比率が基準値以上であること
条件４：ユーザ視界内に滞在している時間が基準値以上であること
これらの条件を満たすか否かの判断は、風景画像の解析結果、地図データに含まれる道路に関する情報、車両の進行方向、車両速度などを適宜用いて行われる。車両の進行方向、車両速度などの、現在の車両の状況に関する情報は、例えば、状況分析部１３３などから供給される情報に基づいて特定される。また、将来の車両の状況に関する情報は、例えば、動作計画部１６３などから供給される進行状況予測情報に基づいて特定される。
適切視界設定部２１５は、条件１乃至４の全ての条件を満たす情報重畳可能フレームを、情報重畳適切フレームとして設定する。条件１乃至４のうちの少なくともいずれかの条件を満たさない情報重畳可能フレームは、情報重畳適切フレームとしては選択されない。
条件１乃至４を満たすか否かの判断について説明するが、はじめに、前提とする車両の状況の具体例について説明する。
図１９は、車両位置の推移の例を示す図である。
図１９は、右に曲がるカーブを走行する車両の位置の推移を平面から見た状態を示している。道路上にある角丸の長方形は車両を表し、道路の両脇にある矩形は建物を表す。カーブの内側に１つの建物があり、その建物の道路側の面に情報重畳可能フレームF_01が設定されている。また、カーブの外側に３つの建物があり、手前の建物から順に、情報重畳可能フレームF_02，F_03，F_04が設定されている。図１９において、建物を表す矩形内の太線は情報重畳可能フレームを示す。
各時刻における車両の位置を車両位置Ａ乃至Ｅとする。車両は、車両位置Ａ乃至Ｅを結ぶ軌跡上を順に走行することになる。
例えば、車両位置Ａにおける車両の向きを基準とすると、図２０に示すように、車両位置Ｂにおける方向変移は22.5°で表され、車両位置Ｃにおける方向変移は45°で表される。車両位置Ｄにおける車両の方向変移は67.5°で表され、車両位置Ｅにおける車両の方向変移は90°で表される。
車両位置を基準として示される扇形の内角が、車両が各位置にあるときのユーザの視界の範囲を表す。例えば、車両位置Ａにおける視界は扇形＃１で表され、車両位置Ｂにおける視界は扇形＃２で表される。車両位置Ｃにおける視界は扇形＃３で表される。このように、車両位置と車両の方向に応じてユーザが見る風景が変化する。
このような各時刻の車両の状況が、現在の車両の進行状況と将来の進行状況に基づいて、各タイミングで生成される。図１９は、車両が車両位置Ａを走行しているタイミングで生成された車両位置の推移の状況を示している。車両位置Ｂ乃至Ｅにおける車両の状況は、将来の進行状況に基づいて予測される状況となる。このような将来の進行状況が、外部から入力される進行状況予測情報により表される。
図２１は、各車両位置における風景画像を示す図である。
説明の便宜上、カメラにより撮影される風景画像の範囲とユーザの視界の範囲が一致するものとする。ユーザが見ている風景全体が、カメラにより撮影されることになる。
図２１のＡは、車両位置Ａの風景画像を示している。車両位置Ａの風景画像には、情報重畳可能フレームF_01乃至F_04が全て含まれる。図１９の扇形＃１に示すように、車両位置Ａを走行しているタイミングにおけるユーザの視界には、情報重畳可能フレームF_01乃至F_04が含まれる。
図２１のＡの状態において、情報重畳可能フレームF_03が設定された建物の手前の位置と情報重畳可能フレームF_04が設定された建物の手前の位置には、それぞれの情報重畳可能フレームに一部重なる形で樹木が植えられている。なお、図２１のＡに示す風景は、図１２を参照して説明した風景と同じである。
図２１のＢは、車両位置Ｂの風景画像を示している。現在の車両位置は車両位置Ａであるから、図２１のＢに示す風景画像は、一定時間経過後に見えることが予測される風景を表す。
車両位置Ｂの風景画像には、情報重畳可能フレームF_03と情報重畳可能フレームF_04が含まれる。図１９の扇形＃２に示すように、車両位置Ｂを走行しているタイミングにおけるユーザの視界には、情報重畳可能フレームF_03と情報重畳可能フレームF_04が含まれる。
図２１のＣは、車両位置Ｃの風景画像を示している。現在の車両位置は車両位置Ａであるから、図２１のＣに示す風景画像は、車両位置Ｂを走行しているタイミングよりもさらに一定時間経過後に見えることが予測される風景を表す。
車両位置Ｃの風景画像には、情報重畳可能フレームF_04が含まれる。図１９の扇形＃３に示すように、車両位置Ｃを走行しているタイミングにおけるユーザの視界の左側には情報重畳可能フレームF_04が含まれる。
車両位置Ｄ，Ｅを走行しているタイミングでは、情報重畳可能フレームF_01乃至F_04は、いずれもユーザの視界から外れることになる。
・条件１の判断
適切視界設定部２１５は、ユーザからの距離、車両進行方向に対する角度、および車両速度から算出されるユーザ視界内角速度が基準範囲内にある場合に、条件１を満たすものとして判断する。ユーザ視界内角速度は、各情報重畳可能フレームの位置を基準としたときの、情報重畳可能フレームが、ユーザの視界に収まっている間の車両の角速度を表す。
図２２は、ユーザ視界内角速度の例を示す図である。
図２２の例においては、車両位置Ａから車両位置Ｂまでの移動中のユーザ視界内角速度を用いた判断が示されている。この場合、図２２に示すように、情報重畳可能フレームF_01のユーザ視界内角速度は41°/secとなり、情報重畳可能フレームF_02のユーザ視界内角速度は38°/secとなる。また、情報重畳可能フレームF_03のユーザ視界内角速度は3°/secとなり、情報重畳可能フレームF_04のユーザ視界内角速度は8°/secとなる。
例えば、上限となるユーザ視界内角速度の基準値が30°/secである場合、基準値を超える情報重畳可能フレームF_01と情報重畳可能フレームF_02は、条件１を満たさず、コンテンツを重畳させるフレームとしては不適切であるとして判断される。
一方、基準値の範囲内にある情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件１を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。ユーザ視界内角速度が基準値より小さいということは、ユーザの視界内における移動量が少ないことを表す。
このように、コンテンツを重畳させるフレームとして適切であるか否かを条件１に基づいて判断することにより、ユーザの視界内における移動量が少ないフレーム、すなわち、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
例えば、ユーザ視界内角速度が大きい情報重畳可能フレームにコンテンツを重畳させた場合、コンテンツが大きく移動して見えることになる。条件１に基づく判断により、視界内で大きく移動するような情報重畳可能フレームにコンテンツが重畳されるのを防ぐことが可能になる。
・条件２の判断
適切視界設定部２１５は、車両進行方向に対する対面角度が最小基準値以上である場合に、条件２を満たすものとして判断する。
図２３は、車両進行方向に対する対面角度の例を示す図である。
図２３に示すように、情報重畳可能フレームF_03の設定面は破線Ｌ１で表され、情報重畳可能フレームF_04の設定面は破線Ｌ２で表される。条件１に基づく判断により情報重畳可能フレームF_01と情報重畳可能フレームF_02は不適切なフレームとして判断されているから、情報重畳可能フレームF_01と情報重畳可能フレームF_02についての、条件２に基づく判断は行われない。
車両位置Ａにおける、車両進行方向に対する情報重畳可能フレームF_03の対面角度は扇形＃１１－１で表され、情報重畳可能フレームF_04の対面角度は扇形＃１１－２で表される。いずれの情報重畳可能フレームの対面角度も90°となる。
この例においては、情報重畳可能フレームF_03と情報重畳可能フレームF_04が平行な面に設定されているために、同じ車両位置におけるそれぞれの対面角度が同じ角度になっているが、平行ではない面に設定されている場合、それぞれの対面角度は異なる角度になる。
各車両位置における、車両進行方向に対する情報重畳可能フレームの対面角度が同様にして求められる。
すなわち、車両位置Ｂにおける、車両進行方向に対する情報重畳可能フレームF_03の対面角度は扇形＃１２－１で表され、情報重畳可能フレームF_04の対面角度は扇形＃１２－２で表される。いずれの情報重畳可能フレームの対面角度も67.5°となる。
車両位置Ｃにおける、車両進行方向に対する情報重畳可能フレームF_04の対面角度は扇形＃１３で表される。情報重畳可能フレームF_04の対面角度は45°となる。車両位置Ｃを走行しているタイミングでは、ユーザの視界から既に外れるため、情報重畳可能フレームF_03の対面角度を用いた判断は行われない。
例えば、最小となる対面角度の基準値が30°である場合、車両位置Ａを走行しているタイミングでは、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの対面角度も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
また、車両位置Ｂを走行しているタイミングでも、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの対面角度も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
車両位置Ｃを走行しているタイミングでは、情報重畳可能フレームF_04の対面角度は基準値を超えることになる。情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
１回のタイミングにおける対面角度が基準値を超えるだけでなく、複数のタイミングにおける対面角度が基準値を超える情報重畳可能フレームが、条件２を満たすとして判断されるようにしてもよい。
車両進行方向に対する情報重畳可能フレームの対面角度が基準値以上であるということは、情報重畳可能フレームがユーザに対して正面に近い向きで設定されていることを表す。
このように、コンテンツを重畳させるフレームとして適切であるか否かを条件２に基づいて判断することにより、ユーザに対して正面に近い向きで設定されているフレーム、すなわち、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
・条件３の判断
適切視界設定部２１５は、情報重畳可能フレームが樹木や電柱などの手前オブジェクト越しに見える場合、露出面積比率が基準値以上である場合に、条件３を満たすものとして判断する。手前オブジェクトは、ユーザの位置から見たときに、情報重畳可能フレームの手前にあるオブジェクトである。
なお、条件３に基づく判断が、手前オブジェクトと、その後方にある建物（情報重畳可能フレーム）との距離が閾値より近い場合に行われるようにしてもよい。手前のオブジェクトと建物との距離は、例えばオブジェクト検出部２１３により生成された、オブジェクトの３次元モデルに基づいて特定される。
図２４および図２５は、露出面積比率の例を示す図である。
図２４に示すように、例えば、車両位置Ａを走行しているタイミングでは、ユーザの視界に含まれる情報重畳可能フレームF_03の手前に樹木Ｔ１があり、情報重畳可能フレームF_04の手前に樹木Ｔ２がある。図２５に示すように、ユーザは、これらの情報重畳可能フレームを、樹木が一部覆い隠している状態で見ることになる。
情報重畳可能フレームF_03の露出面積比率は、情報重畳可能フレームF_03全体の面積に対する、樹木Ｔ１によって隠されていない部分（図２５の斜線部分）の面積の比率として表される。それぞれの面積は、風景画像の解析結果に基づいて例えば適切視界設定部２１５により求められる。この例においては、情報重畳可能フレームF_03の露出面積比率は80％となる。
同様に、情報重畳可能フレームF_04の露出面積比率は、情報重畳可能フレームF_04全体の面積に対する、樹木Ｔ２によって隠されていない部分の面積の比率として表される。この例においては、情報重畳可能フレームF_04の露出面積比率は95％となる。
例えば、最低となる露出面積比率の基準値が60％である場合、車両位置Ａを走行しているタイミングでは、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの露出面積比率も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件３を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
１回のタイミングにおける露出面積比率が基準値を超えるだけでなく、複数のタイミングにおける露出面積比率が基準値を超える情報重畳可能フレームが、条件３を満たすとして判断されるようにしてもよい。
露出面積比率が基準値以上であるということは、手前にオブジェクトがある場合であっても、情報重畳可能フレームの広い範囲がユーザから見えていることを表す。
このように、コンテンツを重畳させるフレームとして適切であるか否かを条件３に基づいて判断することにより、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
・条件４の判断
適切視界設定部２１５は、ユーザ視界内に滞在している時間が基準値以上である場合に、条件４を満たすものとして判断する。
図２６は、ユーザ視界内の滞在時間の例を示す図である。
図２６に示すように、車両位置Ａから車両位置Ｂまで走行するのにかかる時間が２秒であるものとする。車両位置Ｂから車両位置Ｃ、車両位置Ｃから車両位置Ｄ、車両位置Ｄから車両位置Ｅまで走行するのにかかる時間もそれぞれ２秒であるものとする。これらの時間は、車両位置間の距離と予測される走行速度に基づいて求められる。
車両位置Ａを通過するタイミングを基準とした場合、情報重畳可能フレームF_03のユーザ視界内の滞在時間は、基準となるタイミングから、車両位置Ｃの手前の位置を走行するタイミングまでの時間として求められる。扇形＃３で表される車両位置Ｃにおけるユーザの視界には含まれていないが、その手前の位置までは、ユーザの視界に情報重畳可能フレームF_03が含まれ続ける。この例においては、情報重畳可能フレームF_03のユーザ視界内の滞在時間は3.5秒となる。
同様に、情報重畳可能フレームF_04のユーザ視界内の滞在時間は、基準となるタイミングから、車両位置Ｄの手前の位置を走行するタイミングまでの時間として求められる。車両位置Ｄにおけるユーザの視界にはほとんど含まれていないが、その手前の位置までは、ユーザの視界に情報重畳可能フレームF_04が含まれ続ける。この例においては、情報重畳可能フレームF_04のユーザ視界内の滞在時間は5.5秒となる。
例えば、最小となるユーザ視界内の滞在時間の基準値が3.0秒である場合、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの滞在時間も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件４を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
滞在時間の基準値が、走行速度に応じて設定されるようにしてもよい。上述した3.0秒の基準値は、例えば走行速度が5ｍ/sec（18km/h）である場合に設定される。
滞在時間が基準値以上であるということは、走行中のユーザの視界に、一定の時間、情報重畳可能フレームが収まり続けていることを表す。
このように、コンテンツを重畳させるフレームとして適切であるか否かを条件４に基づいて判断することにより、コンテンツを重畳させたときに一定時間見続けることのできるフレームを選択することが可能になる。
以上のような条件１乃至４に基づいて、コンテンツの重畳に適した情報重畳可能フレームであるか否かの判断が行われる。情報重畳可能フレームの面積が基準値以上であるか否かなどの、他の条件を用いて、コンテンツの重畳に適した情報重畳可能フレームであるか否かの判断が行われるようにしてもよい。
図１０の説明に戻り、適切視界設定部２１５は、条件１乃至４の全ての条件を満たす情報重畳可能フレームを情報重畳適切フレームとして選択する。条件１乃至４の全ての条件ではなく、少なくともいずれか１つの条件を満たす情報重畳可能フレームが、情報重畳適切フレームとして選択されるようにしてもよい。
適切視界設定部２１５は、情報重畳適切フレームに基づいて情報重畳適切視界を設定する。情報重畳適切視界は、ユーザの視界全体のうちの、コンテンツを重畳させるのに適した領域である。例えば、ユーザの視界全体のうち、全ての情報重畳適切フレームを含む矩形の内側の領域が、情報重畳適切視界として設定される。
図２７は、情報重畳適切視界の設定の例を示す図である。
太線Ｌ２１で囲んで示すように、情報重畳適切フレームとして選択された情報重畳可能フレームF_03と情報重畳可能フレームF_04を囲む最小矩形の内側の領域が、情報重畳適切視界として設定される。情報重畳適切視界に含まれる情報重畳可能フレームF_03と情報重畳可能フレームF_04が、コンテンツの重畳先として用いられる。
なお、図２７の例においては、情報重畳適切視界に含まれる情報重畳可能フレームが、いずれも情報重畳適切フレームとして判断された情報重畳可能フレームF_03と情報重畳可能フレームF_04とされている。条件１乃至４に基づく判断によって情報重畳適切フレームとして判断されなかった情報重畳可能フレームについても、情報重畳適切視界に含まれる場合にはコンテンツの重畳先として用いられるようにしてもよい。
また、適切視界設定部２１５は、図２７に示すように、情報重畳適切視界の外側の領域を、情報重畳不適視界として設定する。情報重畳不適視界はコンテンツの重畳には用いられず、各種のメッセージの表示、走行速度などの走行状態を表す情報の表示などに用いられる。図２等に示す左上の速度表示は、情報重畳不適視界を用いた表示である。
適切視界設定部２１５は、情報重畳適切視界に含まれる全ての情報重畳適切フレームの情報を重畳対象フレーム選択部２０２に出力する。
＜１－２－４．第２段階の処理（重畳先とする情報重畳適切フレームの選択）＞
次に、第２段階の処理として重畳対象フレーム選択部２０２により行われる重畳先の選択について説明する。
図２８は、図９の重畳対象フレーム選択部２０２の構成例を示すブロック図である。
重畳対象フレーム選択部２０２は、事前解析部２３１、適合度算出部２３２、および重畳先設定部２３３から構成される。事前解析部２３１に対しては、コンテンツ取得部２０４により取得されたコンテンツが表示予定のコンテンツとして入力される。また、適合度算出部２３２に対しては、情報重畳適切視界設定部２０１から出力された情報重畳適切フレームの情報が入力される。
事前解析部２３１は、表示予定の全てのコンテンツについて、コンテンツ情報項目の事前解析を行い、表示位置判定要素(Positioning Factors)を設定する。
コンテンツ情報項目は、コンテンツの特徴を表すメタデータであり、コンテンツの種別毎に異なる項目から構成される。一方、表示位置判定要素は、コンテンツの表示に要する仕様に関する情報であり、重畳先となる情報重畳適切フレームを選択するために用いられる。
事前解析部２３１は、それぞれのコンテンツを、「動画」、「静止画」、「文字（テキスト）」のうちのいずれかのコンテンツ種別に分類する。コンテンツ種別の分類は、例えばコンテンツのファイルの拡張子に基づいて行われる。
図２９は、コンテンツ情報項目の例を示す図である。重複する説明については適宜省略する。
図２９のＡは、ファイル名が「File_01」である文字コンテンツのコンテンツ情報項目を示している。
図２９のＡに示すように、事前解析部２３１は、文字コンテンツのコンテンツ情報項目として、「Type」、「Number of Letters」、「Time for Reading」、「Proportion」、および「Time for Viewing」の各項目を設定する。
「Type」はコンテンツ種別を表す。
「Number of Letters」はコンテンツに含まれる文字数を表す。
「Time for Reading」は読解時間を表す。読解時間は、例えば文字数に応じて設定される。
「Proportion」は、コンテンツの表示に要する領域の縦横サイズ比率を表す。
「Time for Viewing」は閲覧所要時間を表す。文字コンテンツの場合、閲覧所要時間は読解時間と同じ時間として設定される。
図２９のＡの例においては、「Number of Letters」は42として設定されている。また、「Time for Reading」は10秒として設定されている。「Proportion」は4:3として設定されている。「Time for Viewing」は、「Time for Reading」と同じ10秒として設定されている。
この場合、事前解析部２３１は、「Proportion」の4:3と「Time for Viewing」の10秒を、「File_01」の文字コンテンツの表示位置判定要素として設定する。
図２９のＢは、ファイル名が「File_02」である動画コンテンツのコンテンツ情報項目を示している。
図２９のＢに示すように、事前解析部２３１は、動画コンテンツのコンテンツ情報項目として、「Type」、「Playback Duration」、「Proportion」、および「Time for Viewing」の各項目を設定する。
「Playback Duration」は再生時間を表す。
「Proportion」は、動画コンテンツを構成する各フレームの縦横サイズ比率を表す。
「Time for Viewing」は閲覧所要時間を表す。動画コンテンツの場合、閲覧所要時間は再生時間と同じ時間として設定される。
図２９のＢの例においては、「Playback Duration」は20秒として設定されている。また、「Proportion」は16:9として設定されている。「Time for Viewing」は、「Playback Duration」と同じ20秒として設定されている。
この場合、事前解析部２３１は、「Proportion」の16:9と「Time for Viewing」の20秒を、「File_02」の動画コンテンツの表示位置判定要素として設定する。
図２９のＣは、ファイル名が「File_03」である静止画コンテンツのコンテンツ情報項目を示し、図２９のＤは、ファイル名が「File_04」である静止画コンテンツのコンテンツ情報項目を示している。
図２９のＣ，Ｄに示すように、事前解析部２３１は、静止画コンテンツのコンテンツ情報項目として、「Type」、「Text」、「Number of Letters」、「Time for Reading」、「Proportion」、および「Time for Viewing」の各項目を設定する。
「Text」は、画像中に文字要素が含まれているか否かを表す。事前解析部２３１は、「静止画」のコンテンツについては、画像解析を行うことによって、文字要素ありの「静止画」であるか、文字要素無しの「静止画」であるかの識別を行う。文字要素ありの静止画コンテンツの他のコンテンツ情報項目は、文字コンテンツのコンテンツ情報項目と同じである。
図２９のＣの例においては、「Text」は文字要素あり（Included）として設定されている。「File_03」の静止画コンテンツは、文字要素ありの静止画コンテンツである。また、「Number of Letters」は28として設定されている。「Time for Reading」は7秒として設定されている。「Proportion」は3:4として設定されている。「Time for Viewing」は、「Time for Reading」と同じ7秒として設定されている。
この場合、事前解析部２３１は、「Proportion」の3:4と「Time for Viewing」の7秒を、「File_03」の静止画コンテンツの表示位置判定要素として設定する。
一方、図２９のＤの例においては、「Text」は文字要素ありとして設定されている。「File_04」の静止画コンテンツも、文字要素ありの静止画コンテンツである。また、「Number of Letters」は18として設定されている。「Time for Reading」は5秒として設定されている。「Proportion」は1:1として設定されている。「Time for Viewing」は、「Time for Reading」と同じ5秒として設定されている。
この場合、事前解析部２３１は、「Proportion」の1:1と「Time for Viewing」の5秒を、「File_04」の静止画コンテンツの表示位置判定要素として設定する。
事前解析部２３１は、以上のようにして設定した各コンテンツの表示位置判定要素の情報を適合度算出部２３２に出力する。
適合度算出部２３２は、事前解析部２３１により事前解析が行われたコンテンツと、情報重畳適切視界に含まれる情報重畳適切フレームの組み合わせ毎の適合度を算出する。すなわち、全てのコンテンツのそれぞれについて、情報重畳適切視界に含まれるそれぞれの情報重畳適切フレームとの適合度が算出される。
例えば、適合度算出部２３２は、各情報重畳適切フレームの縦横サイズ比率とユーザ視界内の滞在時間を例えば情報重畳適切視界設定部２０１から供給された情報に基づいて特定する。
適合度算出部２３２は、特定した縦横サイズ比率とユーザ視界内の滞在時間を、コンテンツの表示位置判定要素と比較することによって、コンテンツと情報重畳適切フレームの適合度を算出する。上述したように、表示位置判定要素として、縦横サイズ比率（「Proportion」）と閲覧所要時間（「Time for Viewing」）が設定されている。
図３０は、適合度の例を示す図である。
ここでは、情報重畳適切フレームF_11乃至F_14の４つの情報重畳適切フレームが情報重畳適切視界に含まれているものとする。図３０に示すFrame_11乃至Frame_14は、それぞれ、情報重畳適切フレームF_11乃至F_14を表す。情報重畳適切フレームF_11乃至F_14の縦横サイズ比率は、それぞれ、1:0.9、3:4.2、4:3.2、16:8であり、ユーザ視界内の滞在時間は、それぞれ、4秒、7秒、14秒、17秒であるものとする。
図３０のＡは、「File_01」の文字コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_01」の文字コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の4:3と閲覧所要時間の10秒である。
図３０のＡに示すように、事前解析部２３１は、文字コンテンツの縦横サイズ比率の4:3と情報重畳適切フレームF_11の縦横サイズ比率の1:0.9に基づいて、縦横サイズ比率の適合度を20として求める。例えば、両者の比率が近いほど、高い適合度が求められる。
また、事前解析部２３１は、文字コンテンツの閲覧所要時間の10秒と情報重畳適切フレームF_11のユーザ視界内の滞在時間の4秒に基づいて、閲覧所要時間の適合度を10として求める。例えば、両者の時間が近いほど、高い適合度が求められる。
事前解析部２３１は、縦横サイズ比率の適合度と閲覧所要時間の適合度を足し合わせることによって、「File_01」の文字コンテンツと情報重畳適切フレームF_11の全体の適合度を30として算出する。
この例においては、縦横サイズ比率の適合度と閲覧所要時間の適合度を足し合わせることによって全体の適合度が求められているが、一方の適合度に重み付けをしてから足し合わせるなど、全体の適合度の求め方については任意である。
事前解析部２３１は、情報重畳適切フレームF_12乃至F_14のそれぞれについて、「File_01」の文字コンテンツとの適合度を同様にして算出する。
図３０のＡの例においては、「File_01」の文字コンテンツと情報重畳適切フレームF_12との全体の適合度は30であり、「File_01」の文字コンテンツと情報重畳適切フレームF_13との全体の適合度は90である。また、「File_01」の文字コンテンツと情報重畳適切フレームF_14との全体の適合度は70である。
事前解析部２３１は、「File_02」の動画コンテンツ、「File_03」の静止画コンテンツ、「File_04」の静止画コンテンツのそれぞれの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を同様にして算出する。
図３０のＢは、「File_02」の動画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_02」の動画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の16:9と閲覧所要時間の20秒である。
図３０のＢの例においては、「File_02」の動画コンテンツと情報重畳適切フレームF_11との全体の適合度は0であり、「File_02」の動画コンテンツと情報重畳適切フレームF_12との全体の適合度は0である。また、「File_02」の動画コンテンツと情報重畳適切フレームF_13との全体の適合度は50であり、「File_02」の動画コンテンツと情報重畳適切フレームF_14との全体の適合度は80である。
図３０のＣは、「File_03」の静止画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_03」の静止画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の3:4と閲覧所要時間の7秒である。
図３０のＣの例においては、「File_03」の静止画コンテンツと情報重畳適切フレームF_11との全体の適合度は30であり、「File_03」の静止画コンテンツと情報重畳適切フレームF_12との全体の適合度は90である。また、「File_03」の静止画コンテンツと情報重畳適切フレームF_13との全体の適合度は60であり、「File_03」の静止画コンテンツと情報重畳適切フレームF_14との全体の適合度は50である。
図３０のＤは、「File_04」の静止画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_04」の静止画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の1:1と閲覧所要時間の5秒である。
図３０のＤの例においては、「File_04」の静止画コンテンツと情報重畳適切フレームF_11との全体の適合度は70であり、「File_04」の静止画コンテンツと情報重畳適切フレームF_12との全体の適合度は70である。また、「File_04」の静止画コンテンツと情報重畳適切フレームF_13との全体の適合度は70であり、「File_04」の静止画コンテンツと情報重畳適切フレームF_14との全体の適合度は60である。
適合度算出部２３２は、このようにして算出した適合度の情報を重畳先設定部２３３に出力する。
重畳先設定部２３３は、適合度算出部２３２により算出された適合度に従って、各コンテンツの重畳先となる情報重畳適切フレームを設定する。例えば、重畳先設定部２３３は、適合度の高い情報重畳適切フレームを順に割り当てることによって、重畳先となる情報重畳適切フレームを設定する。
図３１は、重畳先の設定の例を示す図である。
図３１の左側は、上述したような適合度の算出例を示している。各適合度には、適宜、「Not Good」から「Very Good」の範囲でランク付けされる。
白抜き矢印の先に示す表は、「File_01」の文字コンテンツ、「File_02」の動画コンテンツ、「File_03」の静止画コンテンツ、「File_04」の静止画コンテンツのそれぞれの、情報重畳適切フレームF_11乃至F_14のそれぞれとの全体の適合度を示す表である。
楕円で囲んで示すように、重畳先設定部２３３は、「File_01」の文字コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_13を設定する。
また、重畳先設定部２３３は、「File_02」の動画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_14を設定する。
重畳先設定部２３３は、「File_03」の静止画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_12を設定する。
重畳先設定部２３３は、「File_04」の静止画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_11を設定する。
なお、「File_04」の静止画コンテンツと、情報重畳適切フレームF_11，F_12，F_13との適合度はいずれも70であるが、ここでは、いずれのコンテンツの重畳先としても設定されていない情報重畳適切フレームF_11が設定される。情報重畳適切フレームF_12は、70より高い適合度に基づいて「File_03」の静止画コンテンツの重畳先として既に設定され、情報重畳適切フレームF_13は、70より高い適合度に基づいて「File_01」の文字コンテンツの重畳先として既に設定されている。
図３２は、以上のように設定された重畳先の例を示す図である。
図３２に示す風景画像には、建物Ｂ１０１乃至Ｂ１０３が写っている。図３２の例において、上述した情報重畳適切フレームF_11と情報重畳適切フレームF_12は、左側にある建物Ｂ１０１に設定された情報重畳適切フレームである。情報重畳適切フレームF_13は、中央にある建物Ｂ１０２に設定された情報重畳適切フレームである。情報重畳適切フレームF_14は、右側にある建物Ｂ１０３に設定された情報重畳適切フレームである。
重畳先となる情報重畳適切フレームの設定が以上のようにして行われた場合、情報重畳適切フレームF_11には、それとの適合度が70として算出された「File_04」の静止画コンテンツが重畳される。また、情報重畳適切フレームF_12には、それとの適合度が80として算出された「File_03」の静止画コンテンツが重畳される。
情報重畳適切フレームF_13には、それとの適合度が90として算出された「File_01」の文字コンテンツが重畳される。情報重畳適切フレームF_14には、それとの適合度が80として算出された「File_02」の動画コンテンツが重畳される。
重畳先設定部２３３は、このようにして設定した各コンテンツの重畳先の情報、すなわち、どのコンテンツを、どの情報重畳適切フレームに重畳させるのかを表す情報を表示制御部２０３に出力する。
以上においては、コンテンツと情報重畳適切フレームとの適合度が、両者の縦横サイズ比率と時間に基づいて算出されるものとしたが、他の要素に基づいて算出されるようにしてもよい。例えば、縦横サイズ比率だけに基づいて算出されるようにしてもよいし、時間（閲覧所要時間と視界内の滞在時間）だけに基づいて算出されるようにしてもよい。
すなわち、コンテンツと情報重畳適切フレームとの適合度が、上述した表示位置判定要素のうちの少なくともいずれかに基づいて算出されるようにすることが可能である。
また、暗い場所にある情報重畳適切フレームには動画コンテンツを重畳させ、明るい場所にある情報重畳適切フレームには文字コンテンツを重畳させるといったように、他の要素に基づいて適合度の算出が行われるようにしてもよい。この場合、情報重畳適切フレームの輝度とコンテンツ種別に基づいて適合度の算出が行われることになる。
遠くにある情報重畳適切フレームには動画コンテンツを重畳させ、近くにある情報重畳適切フレームには文字コンテンツを重畳させるように適合度の算出が行われるようにしてもよい。この場合、情報重畳適切フレームまでの距離とコンテンツ種別に基づいて適合度の算出が行われることになる。
このように、各コンテンツと情報重畳適切フレームの適合度の算出方法については様々な方法を採用することが可能である。
コンテンツ情報項目と表示位置判定要素の解析が車両制御システム１００において行われるものとしたが、コンテンツを管理するサーバ側で行われるようにしてもよい。サーバから車両制御システム１００に対しては、コンテンツ情報項目と表示位置判定要素の情報が、コンテンツと対応付けて提供される。
＜１－２－５．第３段階の処理（表示の実行）＞
次に、第３段階の処理として表示制御部２０３により行われる表示処理について説明する。
図３３は、図９の表示制御部２０３の構成例を示すブロック図である。
表示制御部２０３は、適応コントラスト算出部２５１、コントラスト調整部２５２、マスク処理部２５３、および表示処理部２５４から構成される。
適応コントラスト算出部２５１に対しては、情報重畳適切視界設定部２０１から出力された風景画像の解析結果と、重畳対象フレーム選択部２０２から出力された各コンテンツの重畳先となる情報重畳適切フレームの情報が入力される。コントラスト調整部２５２に対してはコンテンツ取得部２０４から出力されたコンテンツが入力され、マスク処理部２５３に対しては風景画像が入力される。
適応コントラスト算出部２５１は、コンテンツの重畳先として設定された情報重畳適切フレームの存在箇所のコンテキストに基づいて、各情報重畳適切フレームの適応コントラスト(Fitting Contrast)を算出する。適応コントラストは、情報重畳適切フレームの存在箇所の実際の見え方と同じ見え方になるように、コンテンツのコントラストを調整するために用いられる。
適応コントラスト算出部２５１は、例えば、日照の状態、照明の状態、大気の状態、および、車両位置からの距離のうちの少なくともいずれかに基づいて適応コントラストを算出する。この例においては、日照の状態、照明の状態、大気の状態、および、車両位置からの距離のうちの少なくともいずれかがコンテキストとして用いられているが、天候、気温などの他の状態がコンテキストとして用いられるようにしてもよい。
例えば、日照の状態、照明の状態、大気の状態、および、車両位置からの距離は風景画像の解析結果に含まれる。車両位置から情報重畳適切フレームの存在箇所までの距離が、距離センサによる検出結果に基づいて取得されるようにしてもよい。
適応コントラスト算出部２５１は、各情報重畳適切フレームの適応コントラストの情報をコントラスト調整部２５２に出力する。
コントラスト調整部２５２は、重畳先が設定されたコンテンツのコントラストを、重畳先となる情報重畳適切フレームの適応コントラストに応じて調整する。コントラスト調整部２５２は、コントラスト調整後のコンテンツを表示処理部２５４に出力する。
図３４は、適応コントラストに基づくコントラストの調整の例を示す図である。
図３４に示す情報重畳適切フレームF_11乃至F_14は、図３２を参照して説明した情報重畳適切フレームと同じである。
図３４の例においては、情報重畳適切フレームF_11は、近距離にある建物Ｂ１０１の壁面に設定されている。情報重畳適切フレームF_11の日照の状態は、情報重畳適切フレームF_11が設定された壁面に太陽光が当たることによって、日向の状態になっている。日照の状態は、例えば、情報重畳適切フレームF_11が設定されている壁面の輝度に基づいて特定される。
この場合、図３４において引出線の先に示すように、適応コントラスト算出部２５１は、情報重畳適切フレームF_11が近距離にあり、日照の状態が日向の状態であることに基づいて、情報重畳適切フレームF_11の適応コントラストとして100％を算出する。
適応コントラストが100％であるから、情報重畳適切フレームF_11を重畳先とする「File_04」の静止画コンテンツは、コントラストの調整が行われることなく、元のコントラストで情報重畳適切フレームF_11に重畳される。
一方、近距離にある建物Ｂ１０１の壁面に設定されている情報重畳適切フレームF_12の日照の状態は、弱い日陰の状態になっている。
この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_12が近距離にあり、日照の状態が弱い日陰の状態であることに基づいて、情報重畳適切フレームF_12の適応コントラストとして60％を算出する。
適応コントラストが60％であるから、情報重畳適切フレームF_12を重畳先とする「File_03」の静止画コンテンツは、コントラストを60％に下げた状態で情報重畳適切フレームF_12に重畳される。
情報重畳適切フレームF_11が設定されている壁面と情報重畳適切フレームF_12が設定されている壁面の実際の見え方を比べた場合、日陰になっているから、情報重畳適切フレームF_12が設定されている壁面の方が暗く、コントラストが低く見える。壁面の実際の見え方に応じてコントラストを下げることにより、「File_03」の静止画コンテンツを、それが重畳される壁面の見え方に溶け込んだ状態で表示させることが可能になる。
情報重畳適切フレームF_13は、遠距離にある建物Ｂ１０２の壁面に設定されている。情報重畳適切フレームF_13の大気の状態は、霧が発生している状態になっている。霧が発生しているといった大気の状態は、例えば、情報重畳適切フレームF_13が設定されている壁面の輝度やコントラストに基づいて特定される。
この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_13が遠距離にあり、大気の状態が霧が発生している状態であることに基づいて、情報重畳適切フレームF_13の適応コントラストとして10％を算出する。
適応コントラストが10％であるから、情報重畳適切フレームF_13を重畳先とする「File_01」の文字コンテンツは、コントラストを10％に下げた状態で情報重畳適切フレームF_13に重畳される。
情報重畳適切フレームF_11が設定されている壁面と情報重畳適切フレームF_13が設定されている壁面の実際の見え方を比べた場合、遠距離にあって霧で霞んで見えることから、情報重畳適切フレームF_13が設定されている壁面の方が、コントラストが低く見える。壁面の実際の見え方に応じてコントラストを下げることにより、「File_01」の文字コンテンツを、それが重畳される壁面の見え方に溶け込んだ状態で表示させることが可能になる。
情報重畳適切フレームF_14は、近距離にある建物Ｂ１０３の壁面に設定されている。情報重畳適切フレームF_14の日照の状態は日向の状態になっている。
この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_11の場合と同様に、情報重畳適切フレームF_14が近距離にあり、日照の状態が日向の状態であることに基づいて、情報重畳適切フレームF_14の適応コントラストとして100％を算出する。
適応コントラストが100％であるから、情報重畳適切フレームF_14を重畳先とする「File_02」の動画コンテンツは、コントラストの調整が行われることなく、元のコントラストで情報重畳適切フレームF_14に重畳される。
このように、各コンテンツに対しては、重畳先となる情報重畳適切フレームの存在箇所の実際の見え方に応じて算出される適応コントラストに基づいて、コントラストの調整が施される。これにより、コンテンツが、あたかも実際の建物の壁面に表示されているかのようにユーザに見せることが可能になる。
図３３の説明に戻り、マスク処理部２５３は、樹木や電柱などの手前オブジェクトが情報重畳適切フレームを覆い隠している場合、マスク処理を行うことによって、手前オブジェクトの画像を風景画像から切り出す。
マスク処理部２５３によるマスク処理は、情報重畳適切フレームに重なる手前オブジェクトがある場合に行われる。マスク処理部２５３は、マスク処理を行うことによって切り出した手前オブジェクトの画像を、部品画像として表示処理部２５４に出力する。
表示処理部２５４は、投影ユニット１０６Ａを制御し、各コンテンツを、各コンテンツの重畳先として設定された情報重畳適切フレームに重畳させる。
また、表示処理部２５４は、コンテンツに重ねて、マスク処理部２５３から供給された部品画像を表示させる。部品画像は、手前オブジェクトが実際に見える位置に重ねて表示される。表示処理部２５４によるコンテンツ等の表示は、車両の走行中、繰り返し行われる。
図３５は、手前オブジェクトの表示の例を示す図である。
図３５の左端に示すように、ある位置を走行しているタイミングにおいて、建物の手前にある樹木が、その建物の壁面に設定された情報重畳適切フレームを覆い隠しているものとする。図３５の左端において、破線で示す範囲が情報重畳適切フレームの範囲である。この場合、白抜き矢印＃３１の先に色を付して示す範囲が、手前オブジェクトと情報重畳適切フレームが重なる範囲となる。
マスク処理部２５３は、手前オブジェクトの外形を検出し、矢印＃４１の先に示すようなマスク画像Ｍを生成する。また、マスク処理部２５３は、マスク画像Ｍを用いて風景画像にマスク処理を施すことによって、手前オブジェクトの部品画像Ｐを切り出す。
白抜き矢印＃３２の先に示すように、表示処理部２５４は、情報重畳適切フレームにコンテンツを重畳させる。
上述したように、コンテンツの表示は、フロントガラスＧ上にコンテンツを表示することによって行われるから、ユーザの見え方としては、白抜き矢印＃３２の先に示すように、手前オブジェクトに重ねてコンテンツが見えることになる。白抜き矢印＃３２の先に示す情報重畳適切フレーム全体に斜線を付していることは、手前オブジェクトに覆われることなく、コンテンツ全体が見えることを表す。
表示処理部２５４は、部品画像Ｐを、手前オブジェクトの位置に重ねて表示させることによって、白抜き矢印＃３３の先に示すように、コンテンツが、手前オブジェクトの奥にある建物の壁面に表示されているかのような表示を実現する。
仮に、部品画像Ｐを重ねて表示させないとした場合、白抜き矢印＃３２の先に示すように手前オブジェクトの手前にコンテンツが見えてしまうことになり、コンテンツが建物の壁面に表示されているようには見えない。部品画像Ｐをコンテンツに重ねて表示させることにより、実際の建物の壁面にコンテンツが表示されているかのような見え方を違和感なく実現することが可能になる。
＜＜１－３．車両制御システムの動作＞＞
ここで、以上のような構成を有する車両制御システム１００の動作について説明する。
＜１－３－１．情報表示処理＞
はじめに、図３６のフローチャートを参照して、全体の処理である情報表示処理について説明する。
ステップＳ１において、自動運転制御部１１２は、データ取得部１０２を構成するカメラを制御し、車両の進行方向の風景の撮影を開始させる。撮影によって得られた風景画像は出力制御部１０５に供給される。
ステップＳ２において、自動運転制御部１１２は、データ取得部１０２を構成するセンサを制御し、各種のセンサによる測定を開始させる。センサによる測定結果等に基づいて、車両の状態の予測などが行われる。車両の状況に関する情報は、進行状況予測情報として出力制御部１０５に供給される。
ステップＳ３において、情報重畳適切視界設定部２０１は、第１段階の処理である情報重畳適切視界設定処理を行う。情報重畳適切視界設定処理により、コンテンツの重畳に適した情報重畳適切フレームが選択される。情報重畳適切視界設定処理の詳細については、図３７、図３８のフローチャートを参照して後述する。
ステップＳ４において、重畳対象フレーム選択部２０２は、第２段階の処理である重畳対象フレーム選択処理を行う。重畳対象フレーム選択処理により、情報重畳適切視界に含まれる情報重畳適切フレームの中から、重畳先となる情報重畳適切フレームが設定される。重畳対象フレーム選択処理の詳細については、図３９のフローチャートを参照して後述する。
ステップＳ５において、表示制御部２０３は、第３段階の処理である表示処理を行う。表示処理により、コンテンツの表示が実行される。表示処理の詳細については、図４０のフローチャートを参照して後述する。
車両の走行中、ステップＳ３乃至Ｓ５の処理が繰り返し行われる。
＜１－３－２．情報重畳適切視界設定処理＞
図３７、図３８のフローチャートを参照して、図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明する。
ステップＳ１１において、情報重畳適切視界設定部２０１の画像解析部２１１は、風景画像を解析する。例えば、風景画像に写っている建物のアウトラインが検出されるとともに、周囲の明るさが検出される。
ステップＳ１２において、光状態モード設定部２１２は、周囲の明るさに基づいて、「昼モード」、「薄暮モード」、「夜モード」のうちのいずれかの光状態モードを設定する。
ステップＳ１３において、オブジェクト検出部２１３は、各オブジェクトの位置を確定する。すなわち、オブジェクト検出部２１３は、アウトラインを検出した建物を地図上にプロットし、風景画像に写っている建物の位置を確定する。また、オブジェクト検出部２１３は、建物の他に、樹木などのオブジェクトの位置を確定する。オブジェクト検出部２１３は、位置を確定したオブジェクトの３次元モデルを生成する。
ステップＳ１４において、フレーム設定部２１４は、オブジェクトの表面に情報重畳可能フレームを設定する。
ステップＳ１５において、フレーム設定部２１４は、光状態モードに応じて、不適切な情報重畳可能フレームを除外する。ここでは、除外ルール１乃至４に基づいて、コンテンツを重畳させた場合に不自然な見え方になってしまう情報重畳可能フレームが上述したようにして除外される。除外されなかった情報重畳可能フレームの情報が適切視界設定部２１５に供給される。
ステップＳ１６において、適切視界設定部２１５は、１つの情報重畳可能フレームに注目する。
ステップＳ１７において、適切視界設定部２１５は、注目する情報重畳可能フレームのユーザ視界内角速度を算出する。
ステップＳ１８において、適切視界設定部２１５は、算出したユーザ視界内角速度が基準範囲内にあるか否かを判定する。
ユーザ視界内角速度が基準範囲内にあるとステップＳ１８において判定した場合、ステップＳ１９において、適切視界設定部２１５は、注目する情報重畳可能フレームの、車両進行方向に対する対面角度を算出する。
ステップＳ２０において、適切視界設定部２１５は、算出した対面角度が最小基準値以上あるか否かを判定する。
対面角度が最小基準値以上あるとステップＳ２０において判定した場合、ステップＳ２１において、適切視界設定部２１５は、注目する情報重畳可能フレームの露出面積比率を算出する。
ステップＳ２２において、適切視界設定部２１５は、算出した露出面積比率が基準値以上あるか否かを判定する。
露出面積比率が基準値以上あるとステップＳ２２において判定した場合、ステップＳ２３において、適切視界設定部２１５は、注目する情報重畳可能フレームの、ユーザの視界内の滞在時間を算出する。
ステップＳ２４において、適切視界設定部２１５は、算出したユーザの視界内の滞在時間が基準値以上あるか否かを判定する。
滞在時間が基準値以上あるとステップＳ２４において判定した場合、ステップＳ２５において、適切視界設定部２１５は、注目する情報重畳可能フレームを、情報重畳適切フレームとして設定する。
一方、ステップＳ１８においてユーザ視界内角速度が基準範囲内にないと判定された場合、注目する情報重畳可能フレームについては、ステップＳ２６において、情報重畳が不適切なフレームとして設定される。ステップＳ２０において対面角度が最小基準値以上ないと判定された場合、ステップＳ２２において露出面積比率が基準値以上ないと判定された場合、または、ステップＳ２４においてユーザの視界内の滞在時間が基準値以上ないと判定された場合も同様である。
ステップＳ２５またはステップＳ２６の処理の後、ステップＳ２７において、適切視界設定部２１５は、全ての情報重畳可能フレームに注目したか否かを判定する。
まだ注目していない情報重畳可能フレームがあるとステップＳ２７において判定された場合、ステップＳ１６に戻り、他の情報重畳可能フレームに注目して、上述した処理が繰り返される。全ての情報重畳可能フレームに注目したとステップＳ２７において判定された場合、処理はステップＳ２８に進む。
ステップＳ２８において、適切視界設定部２１５は、全ての情報重畳適切フレームを含む矩形の内側の領域を情報重畳適切視界として設定する。その後、図３６のステップＳ３に戻り、それ以降の処理が行われる。
＜１－３－３．重畳対象フレーム選択処理＞
図３９のフローチャートを参照して、図３６のステップＳ４において行われる重畳対象フレーム選択処理について説明する。
なお、図３６の処理と並行して、コンテンツの事前解析が事前解析部２３１により行われる。事前解析処理によって得られた表示位置判定要素は、事前解析部２３１から適合度算出部２３２に供給される。
ステップＳ４１において、重畳対象フレーム選択部２０２の適合度算出部２３２は、表示予定の１つのコンテンツに注目する。
ステップＳ４２において、適合度算出部２３２は、注目するコンテンツについて、情報重畳適切視界内にある全ての情報重畳適切フレームとの適合度を算出する。適合度の算出は、上述したように、例えば、表示位置判定要素に含まれる縦横サイズ比率と閲覧所要時間等を参照して行われる。
ステップＳ４３において、適合度算出部２３２は、全てのコンテンツに注目したか否かを判定する。
まだ注目していないコンテンツがあるとステップＳ４３において判定された場合、ステップＳ４１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。これにより、各コンテンツと、全ての情報重畳適切フレームのそれぞれとの適合度が算出される。
全てのコンテンツに注目したとステップＳ４３において判定された場合、ステップＳ４４において、重畳先設定部２３３は、各コンテンツの重畳先となる情報重畳適切フレームを適合度に基づいて設定する。その後、図３６のステップＳ４に戻り、それ以降の処理が行われる。
＜１－３－４．表示処理＞
図４０のフローチャートを参照して、図３６のステップＳ５において行われる表示処理について説明する。
ステップＳ５１において、表示制御部２０３の適応コントラスト算出部２５１は、重畳先が設定された１つのコンテンツに注目する。
ステップＳ５２において、適応コントラスト算出部２５１は、重畳先となる情報重畳適切フレームの存在箇所のコンテキストに基づいて適応コントラストを算出する。
ステップＳ５３において、コントラスト調整部２５２は、注目するコンテンツのコントラストを、適応コントラストに基づいて調整する。
ステップＳ５４において、マスク処理部２５３は、注目するコンテンツの重畳先となる情報重畳適切フレームに手前オブジェクトがある場合、マスク処理を行うことによって手前オブジェクトの画像を切り出す。
ステップＳ５５において、表示処理部２５４は、情報重畳適切フレームにコンテンツを重畳させる。
ステップＳ５６において、表示処理部２５４は、適宜、手前オブジェクトの画像をコンテンツに重ねて表示させる。
ステップＳ５７において、表示制御部２０３は、全てのコンテンツに注目したか否かを判定する。
まだ注目していないコンテンツがあるとステップＳ５７において判定された場合、ステップＳ５１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
全てのコンテンツに注目したとステップＳ５７において判定された場合、図３６のステップＳ５に戻り、それ以降の処理が行われる。これにより、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに重畳された状態になる。
以上の一連の処理により、風景内の最適な場所に、風景に溶け込んだ形でコンテンツを表示させることが可能になる。ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを見ることができる。
＜１－３－５．事前解析処理＞
図４１のフローチャートを参照して、コンテンツの事前解析処理について説明する。事前解析処理は、図３６の処理と適宜並行して行われる。
ステップＳ１０１において、重畳対象フレーム選択部２０２の事前解析部２３１は、コンテンツ取得部２０４から供給されたコンテンツのうち、表示予定の１つコンテンツに注目する。
ステップＳ１０２において、事前解析部２３１は、ファイルの拡張子に基づいて、注目するコンテンツをコンテンツ種別に応じて分類する。
注目するコンテンツのコンテンツ種別が「動画」である場合、ステップＳ１０３において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
注目するコンテンツのコンテンツ種別が「静止画」である場合、ステップＳ１０４において、事前解析部２３１は、注目する静止画コンテンツを解析し、文字要素の有無を検出する。
ステップＳ１０５において、事前解析部２３１は、文字要素が含まれているか否かを判定し、文字要素が含まれていないと判定した場合、ステップＳ１０６において、縦横サイズ比率を表示位置判定要素として設定する。
一方、文字要素が含まれているとステップＳ１０５において判定した場合、ステップＳ１０７において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
注目するコンテンツのコンテンツ種別が「文字」である場合、ステップＳ１０８において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
ステップＳ１０３，Ｓ１０６，Ｓ１０７、またはステップＳ１０８において表示位置判定要素を設定した後、ステップＳ１０９において、事前解析部２３１は、全てのコンテンツに注目したか否かを判定する。
まだ注目していないコンテンツがあるとステップＳ１０９において判定された場合、ステップＳ１０１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
全てのコンテンツに注目したとステップＳ１０９において判定された場合、事前解析処理は終了される。各コンテンツの表示位置判定要素に関する情報は、事前解析部２３１から適合度算出部２３２に供給され、適合度の算出に用いられる。
なお、以上の各ステップの処理は、適宜、他の処理と並行して、または、他の処理と順番を代えて行われるようにしてもよい。
＜＜１－４．変形例＞＞
ユーザが乗っている移動体が車であるものとしたが、自転車、バイク、電車、飛行機などの他の移動体であってもよい。オブジェクトとユーザとの間にコンテンツの表示面となるデバイスが用意されている移動体であれば、各種の移動体におけるコンテンツの表示に上述した技術を適用可能である。
また、ユーザが透過型のHMDを装着し、徒歩で移動している場合のコンテンツの表示にも適用可能である。この場合、HMDにより、進行方向の風景に重ねてコンテンツが表示される。
あるタイミングにおける風景に重畳されるコンテンツが複数である場合、それぞれ異なるコンテンツが重畳されるものとしたが、１種類のコンテンツが複数の情報重畳適切フレームに重畳されるようにしてもよい。
情報重畳適切フレームの存在箇所のコンテキストに基づいてコンテンツに施される画像処理がコントラストの調整であるものとしたが、輝度の調整、色の調整などの他の処理が行われるようにしてもよい。
＜＜＜２．第２の実施の形態＞＞＞
＜＜２－１．第２の実施の形態の概要＞＞
以上においては、データ取得部１０２を構成するカメラにより撮影される車両の進行方向の風景画像に基づいて、情報重畳適切フレームを設定し、設定した情報重畳適切フレームに対してコンテンツを重畳して表示する例について説明してきた。
しかしながら、以上においては、カメラで撮影された風景画像が基準となっており、ユーザの視点が考慮されていないため、見え方が不自然になる可能性があった。
すなわち、本来、ユーザの視線方向に存在するコンテンツは焦点が合った状態ではっきりと見えて、視線方向から外れたものは焦点が合っていない、ぼやけた状態で見えるはずである。しかしながら、以上の手法では、このような考慮がなされていないため、どのコンテンツも視線方向と無関係に全体がはっきりと見えるように表示されてしまい、不自然な見え方になる恐れがあった。
そこで、車両に搭乗するユーザを撮影して、ユーザの視点位置を検出し、視点位置に応じて情報重畳適切フレームに重畳するコンテンツに、視点位置から遠い位置のコンテンツほど、ぼんやりと見えるようにデフォーカス処理を加えて表示するようにしてもよい。
図４２は、車両に搭乗するユーザの視点位置ＥＰに応じて、情報重畳適切フレームに重畳するコンテンツにデフォーカス処理を加えて表示するようにした車両制御システム１００の第２の実施の形態の概要を説明する図である。
すなわち、図４２の車両制御システム１００においては、車両の進行方向の風景画像を撮影するカメラ２７１および車内の搭乗者であるユーザ２７３を撮影するカメラ２７２が設けられている。
そして、出力制御部１０５は、カメラ２７１により撮影された風景画像に基づいて、上述した一連の処理により情報重畳適切フレームに対してコンテンツを重畳させると共に、カメラ２７２により撮影された車内のユーザ２７３の投影ユニット１０６Ａ上の視点位置ＥＰからの距離に応じて、投影ユニット１０６Ａ上に表示されるコンテンツに対してデフォーカス処理を加える。
ここで、デフォーカスとは、画像を表示するに当たって、ユーザにはぼんやりと見えるように、画像を焦点が合っていない状態に加工処理を加えることである。
すなわち、本開示の第２の実施の形態においては、ユーザ２７３のユーザ視点位置からの距離に応じて、デフォーカス度（Deforcus_Range）が設定されて、デフォーカス度に応じた程度に焦点が合っていない状態に加工された状態でコンテンツが表示される。
結果として、ユーザが視線を動かしても、視線の動きに合わせて、視点位置ＥＰに近い位置のコンテンツにおいてはデフォーカスの程度が小さく焦点のあった状態で表示され、視点位置ＥＰから離れた位置のコンテンツは、視点位置ＥＰからの距離の大きさ応じて、焦点が合っていない状態で表示されるので、ユーザの視線方向に応じた自然な視聴を実現することができる。
＜＜２－２．デフォーカス度の設定例＞＞
次に、図４３を参照して、デフォーカス度の設定例について説明する。
ユーザ２７３は、視線方向に存在する物体を視点位置として、視点位置に焦点を合わせて視聴しているので、視点位置から離れた位置に存在する物体には焦点が合っていない状態となっている。
そこで、デフォーカス度は、コンテンツ上の位置と、ユーザ２７３の視点位置との距離の差分値である距離差分値に応じて設定される。
例えば、図４３の右部に示されるように、建物２８１の側面に情報重畳適切フレーム２８１Ｆが設定されており、情報重畳適切フレーム２８１Ｆ上のユーザ２７３の視点位置からの距離に応じて、近い順に位置２８１Ａ，２８１Ｂ，２８１Ｃが設定されている場合について考える。
ここで、図４３は、デフォーカス度の設定例を示しており、図中の右部においては、車両に搭乗するユーザ２７３の進行方向である前方の左右に建物２８１，２８２が存在する場合の風景の例が示されている。また、図４３の左部においては、図４３の右部の風景が見える場合の、ユーザ２７３と建物２８１，２８３とを上面からみたときの位置関係が示されている。
図４３の左部で示されるように、ユーザ２７３が位置２８１Ｂへと視線を向けている場合について考える。以降において、ユーザ２７３が視線を向けている視点位置をユーザ視点位置と称する。したがって、図４３の左部に示されるように、点線の矢印がユーザ２７３の視線を示している場合、位置２８１Ｂが、ユーザ視点位置となる。
このとき、情報重畳適切フレーム２８１Ｆ上の位置２８１Ｂがユーザ視点位置であるので、ユーザ２７３は、ユーザ視点位置である位置２８１Ｂに対して焦点を合わせて視聴していると考えることができる。
逆に言えば、ユーザ２７３は、情報重畳適切フレーム２８１Ｆ上のユーザ視点位置ではない位置２８１Ａ，２８１Ｃにおいては、焦点が合っていない状態で視聴していると考えることができ、ユーザ視点位置から遠いほど焦点が合っていない状態であると考えることができる。
そこで、図４３に示されるように、ユーザ視点位置である位置２８１Ｂにおいては、デフォーカス度（Deforcus_Range）が0%に設定される。また、ユーザ視点位置から離れた位置２８１Ａ，２８１Ｃにおいては、ユーザ視点位置から位置２８１Ａ，２８１Ｃのそれぞれまでの距離の値である距離差分値に応じて、デフォーカス度（Deforcus_Range）が0.1乃至0.5A%に設定される。
すなわち、デフォーカス度は、ユーザ２７３のユーザ視点位置と、それぞれの位置との距離差分値が大きいほど大きな値に設定され、距離差分値が小さいほど小さく設定される。したがって、ユーザ視点位置である位置２８１Ｂにおいては距離差分値が０となるので、デフォーカス度も０に設定される。
換言すれば、デフォーカス度は、ユーザ視点位置から近い位置ほど小さく設定され、遠い位置ほど大きな値に設定される。
ここで、図４３のデフォーカス度の設定例における、Aは所定の係数であり、デフォーカス度と距離差分値に応じた重みとして任意に設定することができる。つまり、係数Aが小さい場合は、ユーザ視点位置からの位置との距離差分値が変化してもデフォーカス度は大きく変化せず、ユーザ視点位置の近傍の位置では、それほどぼんやりと見えるようにデフォーカス処理されない。これに対して、係数Aが大きい場合は、僅かな距離差分値の変化でもデフォーカス度が大きく変化するので、ユーザ視点位置の近傍の位置であっても、よりぼんやりと見えるようにデフォーカス処理される。
＜＜２－３．複数の情報重畳適切フレームが存在する場合のデフォーカス度の設定例＞＞ 以上においては、情報重畳適切フレームが１枚である場合のデフォーカス度の設定例について説明してきたが、デフォーカス度は、情報重畳適切フレームが複数に存在する場合においても同様に設定することができる。
例えば、図４４に示されるように、投影ユニット１０６Ａ内において、複数の建物が存在し、複数の建物に情報重畳適切フレームが設定されるような場合について考える。
図４４においては、車両の進行方向に、道路２９０が正面に存在し、道路２９０の左側に近い方から順に、建物２９１乃至２９３が配置され、道路２９０の右側に近い方から建物２９４，２９５が存在する風景が示されている。
そして、図４４において、建物２９１のユーザが走行方向に対向する面には、情報重畳適切フレーム２９１Ａが設定されており、星印のコンテンツ２９１ａが重畳されて表示されている。ここで、ユーザ２７３のユーザ視点位置３０１が、コンテンツ２９１ａのほぼ中心であることを前提とする。このため、情報重畳適切フレーム２９１Ａのコンテンツ２９１ａに対しては、デフォーカス度（Deforcus_Range）が、0%に設定される。
ここで、投影ユニット１０６Ａにより投影される情報重畳適切フレーム上の画像と、投影ユニット１０６Ａを通して進行方向前方に見える直視される建物２９１乃至２９５の、それぞれのユーザ視点位置３０１からの距離は、近い順に建物２９１，２９２，２９３，２９４，２９５の順序であるものとする。
また、建物２９２における、ユーザの進行方向に対向する面には、情報重畳適切フレーム２９２Ａが設定されており、星印のコンテンツ２９２ａが重畳されて表示されている。建物２９２のユーザ視点位置３０１からの距離は、建物２９１よりも離れているので、情報重畳適切フレーム２９２Ａのコンテンツ２９２ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、1.0A乃至1.9A%に設定される。
さらに、建物２９４における、道路２９０に対向する面には、情報重畳適切フレーム２９４Ａが設定されており、星印のコンテンツ２９４ａが重畳されて表示されている。建物２９４のユーザ視点位置３０１からの距離は、建物２９２よりも離れているので、情報重畳適切フレーム２９４Ａのコンテンツ２９４ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、コンテンツ２９２ａにおける値より大きな値である2.0A乃至2.9A%に設定される。
また、建物２９５における、ユーザの進行方向に対向する面には、情報重畳適切フレーム２９５Ａが設定されており、星印のコンテンツ２９５ａが重畳されて表示されている。建物２９５のユーザ視点位置３０１からの距離は、建物２９４よりも遠いので、情報重畳適切フレーム２９５Ａのコンテンツ２９５ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、コンテンツ２９４ａに対する値よりも大きな値である3.0A乃至3.9A%に設定される。
すなわち、ユーザ視点位置３０１となるコンテンツ２９１ａのデフォーカス度が最小となる0%に設定される。
また、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに最も近い距離となる情報重畳適切フレーム２９２Ａにおけるコンテンツ２９２ａのデフォーカス度が、例えば、1.0乃至1.9%に設定される。
さらに、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに2番目に近い距離となる情報重畳適切フレーム２９４Ａにおけるコンテンツ２９４ａのデフォーカス度が、例えば、2.0乃至2.9%に設定される。
また、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに3番目に近い距離となる情報重畳適切フレーム２９５Ａにおけるコンテンツ２９５ａのデフォーカス度が、例えば、3.0乃至3.9%に設定される。
したがって、コンテンツ２９１ａは、焦点が合った状態で表示され、コンテンツ２９２ａは、デフォーカス度が1.0乃至1.9%に対応するように、焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９１ａよりも、ぼんやりと見えるように表示される。
また、コンテンツ２９４ａは、デフォーカス度が2.0乃至2.9%に対応するように焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９２ａよりも、よりぼんやりと見えるように表示される。
さらに、コンテンツ２９５ａは、デフォーカス度が3.0乃至3.9%に対応するように、焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９４ａよりもぼんやりと見えるように表示される。
すなわち、コンテンツ２９２ａ，２９４ａ，２９５ａの順序で焦点が合っていない程度が大きく、よりぼんやりとした状態で表示される。図４４においては、点線で表示される星印が、焦点の合っていない状態を表現している。尚、図４４においては、コンテンツ２９１ａは、実線でのみ星印として表示されており、焦点のずれがないことが示されている。また、コンテンツ２９２ａは、１本の実線と１本の点線で表示された星印として表示されており、コンテンツ２９１ａよりも焦点のずれが生じており、ぼんやりと見えていることが表現されている。
さらに、コンテンツ２９４ａは、１本の実線と２本の点線で表示された星印として表示されており、コンテンツ２９２ａよりも焦点のずれが大きく生じており、よりぼんやりと見えていることが表現されている。
さらに、コンテンツ２９５ａは、１本の実線と３本の点線で表示された星印として表示されており、コンテンツ２９４ａよりも焦点のずれが大きく生じており、さらにぼんやりと見えていることが表現されている。
このような表示により、ユーザ視点位置３０１のコンテンツ２９１ａが、焦点が合っている状態で表示され、コンテンツ２９２ａ，２９４ａ，２９５ａは、ユーザ２７３のユーザ視点位置３０１とそれぞれの位置との距離差分値に応じて、焦点が合っていない、ぼんやりとした、ぼやけた状態で表示されることにより、視線に応じた自然な表示を実現することが可能となる。
＜＜２－４．表示制御部の第２の実施の形態の構成例＞＞
＜２－４－１．表示制御部の構成例＞
次に、図４５を参照して、出力制御部１０５の第２の実施の形態の構成例について説明する。ただし、出力制御部１０５の第２の実施の形態の構成例において、第１の実施の形態の構成例と異なる点は、表示制御部２０３の構成であるので、表示制御部２０３の構成についてのみ説明する。
また、図４５の表示制御部２０３においては、図３３の表示制御部２０３に対して、表示処理部２５４の処理が異なるので、表示処理部２５４の処理について説明する。
図４５の表示制御部２０３は、車外を撮影するカメラ２７１により撮影された風景画像、記憶部１１１に記憶されている地図データ、または、図示せぬサーバから取得される地図データ、および情報重畳適切フレームの情報からメモリ空間上に擬似３Ｄモデルを構築し、その擬似３Ｄモデル内に、情報重畳適切フレームに対応するワイヤフレームを生成する。
また、表示制御部２０３は、擬似３Ｄモデルの座標系の情報と、カメラ２７２により撮影された車内画像とから、擬似３Ｄモデル内のワイヤフレームに重畳される情報重畳適切フレーム上の各位置におけるデフォーカス度を求めて、デフォーカス度マップを生成する。
そして、表示制御部２０３は、擬似３Ｄモデルにおけるワイヤフレーム上にコントラスト調整済みのコンテンツと部品画像とを重畳し、デフォーカス度マップより各位置のデフォーカス度を読み出して、対応するデフォーカス処理を施して、投影ユニット１０６Ａに出力して表示させる。
＜２－４－２．図４５の表示処理部の構成例＞
次に、図４６を参照して、図４５の表示処理部２５４の詳細な構成例について説明する。
図４５の表示処理部２５４は、擬似３Ｄモデルワイヤフレーム生成部３２１、コンテンツ重畳部３２２、デフォーカス処理部３２３、視点位置検出部３２４、デフォーカス度設定部３２５、およびデフォーカス度マップ記憶部３２６を備えている。
擬似３Ｄモデルワイヤフレーム生成部３２１は、風景画像、地図データ、および情報重畳適切フレームの情報に基づいて、車両の進行方向の空間に対応する道路や建物などから、メモリ空間内に擬似３Ｄモデルを構築する。そして、擬似３Ｄモデルワイヤフレーム生成部３２１は、構築した擬似３Ｄモデル内に、情報重畳適切フレームが設けられる位置の情報に基づいて、対応するワイヤフレームを生成して、擬似３Ｄモデルワイヤフレーム情報として、コンテンツ重畳部３２２、視点位置検出部３２４、およびデフォーカス度設定部３２５に出力する。
コンテンツ重畳部３２２は、コントラストが調整済みとされているコンテンツ、および部品画像を、擬似３Ｄモデルにおける情報重畳適切フレームに対応するワイヤフレーム上に重畳して、デフォーカス処理部３２３に出力する。
デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６にアクセスし、コントラストが調整済みとされているコンテンツ、および部品画像が重畳された擬似３Ｄモデルにおける情報重畳適切フレームに対応するワイヤフレーム毎に、設定されているデフォーカス度群を読み出して、対応するデフォーカス度で画像に対してデフォーカス処理を施して出力する。
視点位置検出部３２４は、カメラ２７２により撮影された車内画像よりユーザ視点位置を検索し、３Ｄモデルワイヤフレーム上の座標位置を求めて、デフォーカス度設定部３２５に出力する。より詳細には、視点位置検出部３２４は、カメラ２７２により撮影された車内画像よりユーザの顔画像を検出する。さらに、視点位置検出部３２４は、検出された顔画像から目の虹彩位置を特定し、虹彩の位置に基づいて、投影ユニット１０６Ａの投影面上の視点位置をユーザ視点位置として検出する。
デフォーカス度設定部３２５は、擬似３Ｄモデルワイヤフレーム情報と、ユーザ視点位置の情報とに基づいて、擬似３Ｄモデル内の情報重畳適切フレームに対応するワイヤフレーム上の各位置にデフォーカス度を設定することで、ワイヤフレーム毎にデフォーカス度群を形成し、複数の情報重畳適切フレームについてのデフォーカス度マップとして、デフォーカス度マップ記憶部３２６に記憶させる。また、この際、デフォーカス度設定部３２５は、ワイヤフレーム以外の領域についても、デフォーカス度を設定する。すなわち、デフォーカス度設定部３２５は、擬似３Ｄモデル空間における全ての位置に対してデフォーカス度を設定し、デフォーカス度マップとしてデフォーカス度マップ記憶部３２６に記憶させる。
デフォーカス度マップ記憶部３２６は、デフォーカス度マップを記憶し、デフォーカス処理部３２３が、コンテンツ重畳部３２２より供給される、コントラストが調整済みとされているコンテンツ、および部品画像が、擬似３Ｄモデル空間内における情報重畳適切フレームに対応するワイヤフレーム上に重畳されたコンテンツに対して、デフォーカス度に応じたデフォーカス処理を施して出力させる。
＜２－４－３．図４５の表示制御部による表示処理＞
次に、図４７のフローチャートを参照して、図４５の表示制御部２０３による表示処理について説明する。
ステップＳ２０１において、擬似３Ｄモデルワイヤフレーム生成部３２１は、風景画像、地図データ、および情報重畳適切フレームの情報に基づいて、道路や建物などの擬似３Ｄモデルをメモリ空間内に構築する。そして、擬似３Ｄモデルワイヤフレーム生成部３２１は、情報重畳適切フレームが設けられる位置の情報に基づいて、情報重畳適切フレームに対応するワイヤフレームを擬似３Ｄモデル内に設定し、擬似３Ｄモデルワイヤフレーム情報として、コンテンツ重畳部３２２、視点位置検出部３２４、およびデフォーカス度設定部３２５に出力する。
ステップＳ２０２において、視点位置検出部３２４およびデフォーカス度設定部３２５は、デフォーカス度マップ生成処理を実行し、デフォーカス度マップを生成して、デフォーカス度マップ記憶部３２６に記憶させる。
＜２－４－４．図４５の表示制御部によるデフォーカス度マップ生成処理＞
ここで、図４８のフローチャートを参照して、図４５の表示制御部２０３によるデフォーカス度マップ生成処理について説明する。
ステップＳ２２１において、視点位置検出部３２４は、カメラ２７２により撮影された車内画像を取得し、搭乗者であるユーザの顔画像を検出し、さらに、虹彩位置を検出して、虹彩位置から視線方向を推定し、投影ユニット１０６Ａの表示面上のユーザ視線位置を特定する。
ステップＳ２２２において、視点位置検出部３２４は、投影ユニット１０６Ａ上のユーザ視点位置に対する擬似３Ｄモデルにおける座標位置を特定し、ユーザ視点位置の座標位置をデフォーカス度設定部３２５に出力する。
ステップＳ２２３において、デフォーカス度設定部３２５は、擬似３Ｄモデルにおける各点について、ユーザ視点位置からの距離差分値に応じたデフォーカス度を設定して、デフォーカス度マップを生成し、デフォーカス度マップ記憶部３２６に記憶させる。
以上の処理により、３Ｄモデルの各点におけるデフォーカス度が設定され、デフォーカス度マップとしてデフォーカス度マップ記憶部３２６に記憶させる。この際、デフォーカス度マップにおいては、３Ｄモデルにおけるワイヤフレームにおいては、連続的なデフォーカス度が設定され、ワイヤフレーム単位でデフォーカス度群が形成された状態で、デフォーカス度マップに格納されることになる。
ここで、図４７のフローチャートの説明に戻る。
ステップＳ２０２において、デフォーカス度マップ生成処理により、デフォーカス度マップが生成されると、ステップＳ２０３において、表示制御部２０３の適応コントラスト算出部２５１は、重畳先が設定された１つのコンテンツに注目する。
ステップＳ２０４において、適応コントラスト算出部２５１は、重畳先となる情報重畳適切フレームの存在箇所のコンテキストに基づいて適応コントラストを算出する。
ステップＳ２０５において、コントラスト調整部２５２は、注目するコンテンツのコントラストを、適応コントラストに基づいて調整する。
ステップＳ２０６において、マスク処理部２５３は、注目するコンテンツの重畳先となる情報重畳適切フレームに手前オブジェクトがある場合、マスク処理を行うことによって手前オブジェクトの画像を切り出す。
ステップＳ２０７において、表示処理部２５４のコンテンツ重畳部３２２は、情報重畳適切フレームに対応する擬似３Ｄモデル空間におけるワイヤフレームに、コントラストが調整されたコンテンツを重畳させる。
ステップＳ２０８において、コンテンツ重畳部３２２は、適宜、手前オブジェクトの画像をコンテンツに重ねて表示させて、デフォーカス処理部３２３に出力する。
ステップＳ２０９において、デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６にアクセスし、デフォーカス度マップから、注目するコンテンツが重畳されるフレームに対応するデフォーカス度群を読み出し、フレーム上の各点におけるデフォーカス度に応じて、コンテンツが重畳された情報重畳適切フレームに対応する擬似３Ｄモデルのワイヤフレーム上の各点に対してデフォーカス処理を施して出力する。
ステップＳ２１０において、表示制御部２０３は、全てのコンテンツに注目したか否かを判定する。
まだ注目していないコンテンツがあるとステップＳ２１０において判定された場合、ステップＳ２０３に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
全てのコンテンツに注目したとステップＳ２１０において判定された場合、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに対応する擬似３Ｄモデルのワイヤフレーム上に重畳された状態になり、デフォーカス処理がなされると、処理は、ステップＳ２１１に進む。
ステップＳ２１１において、デフォーカス処理部３２３は、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに重畳された状態で、ユーザ視点位置からの距離に応じてデフォーカス処理された画像を出力して投影ユニット１０６Ａに出力して表示させ、図３６のステップＳ５に戻り、それ以降の処理が行われる。
以上の一連の処理により、透過型ディスプレイからなる投影ユニット１０６Ａ上に、風景に馴染むように、情報重畳適切フレームにコンテンツが重畳されて表示される。この際、ユーザ視点位置に近い位置の情報重畳適切フレームのコンテンツほど焦点のあっていない程度が小さい画像（フォーカスがより合ったシャープでクリアな状態の画像）として表示され、ユーザ視点位置から遠い位置の情報重畳適切フレームのコンテンツほど焦点の合わない画像（フォーカスがより合っていないぼんやりとした状態の画像）として表示される。
結果として、風景内の最適な場所に、より風景に溶け込んだ形でコンテンツを表示させることが可能となり、ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
尚、以上においては、デフォーカス度マップ生成処理において、風景画像の全体に対応する３Ｄモデル内の各点のデフォーカス度が求められて、デフォーカス度マップが生成される例について説明してきたが、実際にデフォーカス処理がなされるのは、コンテンツが重畳される情報重畳適切フレームの領域のみであるので、デフォーカス度マップについても、情報重畳適切フレームの領域に対応する擬似３Ｄモデル内におけるワイヤフレームの領域のデフォーカス度群だけを求めて、デフォーカス度マップを形成するようにしてもよい。
＜＜２－５．変形例＞＞
＜２－５－１．投影ユニットが非透過型ディスプレイである場合の表示処理部の構成例＞
以上においては、図４２における投影ユニット１０６Ａが透過型ディスプレイから構成される場合の例として説明を進めてきたが、投影ユニット１０６Ａは、非透過型ディスプレイから構成されるようにしてもよい。
すなわち、以上においては、投影ユニット１０６Ａは透過型ディスプレイであるので、上述した情報重畳適切フレームとみなされた領域にコンテンツが重畳されるため、情報重畳適切フレームとみなされたコンテンツが重畳されている領域にのみデフォーカス処理を施して投影される。このため、ユーザは、情報重畳適切フレームとみなされた領域については、投影された画像を視聴し、情報重畳適切フレームとみなされた領域以外の領域については、前方に実在する物体を直視により視聴することで、風景に自然に溶け込むように表示されたコンテンツを視聴していた。
しかしながら、非透過型ディスプレイの場合、ディスプレイ全体において、例えば、カメラ２７１により撮影された風景画像が表示され、表示される風景画像における情報重畳適切フレームの領域にコンテンツが重畳されて表示される。すなわち、非透過型ディスプレイで表示する場合については、ユーザは、ディスプレイ全体に表示された画像の一部にコンテンツが表示されている状態の画像を視聴することになる。このため、非透過型ディスプレイの場合については、ディスプレイの表示領域全体についてユーザ視点位置に応じたデフォーカス処理が必要となる。
ここで、図４９を参照して、投影ユニットが非透過型ディスプレイである場合の表示処理部の構成例について説明する。
図４９の表示処理部２５４において、図４６の表示処理部２５４と異なる構成は、デフォーカス処理部３２３において、風景画像の情報が供給されて、情報重畳適切フレームの情報が重畳された状態でデフォーカス処理がなされる点である。
すなわち、投影ユニット１０６Ａが非透過型ディスプレイである場合、デフォーカス処理部３２３は、カメラ２７１により撮影された風景画像に、コンテンツが重畳された情報重畳適切フレームを重畳した状態で、風景画像全体にデフォーカス処理を施す。
この際、デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６に記憶されている風景画像の全体に設定されたデフォーカス度の情報を全て利用して、コンテンツが重畳された情報重畳適切フレームを重畳した状態で、風景画像全体にデフォーカス処理を施す。
＜２－５－２．投影部が非透過型ディスプレイである場合の表示処理＞
次に、図５０のフローチャートを参照して、投影ユニット１０６Ａが非透過型ディスプレイである場合の表示処理について説明する。尚、図４９のステップＳ２４１乃至Ｓ２４９の処理は、図４７のステップＳ２０１乃至Ｓ２０８，Ｓ２１０の処理と同様であるので、その説明は省略する。
すなわち、ステップＳ２４１乃至Ｓ２４９の処理により、擬似３Ｄモデルにおける全ての、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳されると、処理は、ステップＳ２５０に進む。
ステップＳ２５０において、デフォーカス処理部３２３は、擬似３Ｄモデルにおける全ての、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳された状態で、カメラ２７１により撮影された風景画像に貼り合わせて重畳する。
ステップＳ２５１において、デフォーカス処理部３２３は、風景画像全体に対してデフォーカス度に応じてデフォーカス処理を施す。すなわち、ここでは、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳された領域のみならず、擬似３Ｄモデルにおける風景画像全体の各位置に対して、ユーザ視聴位置からの距離差分値に応じたデフォーカス度でデフォーカス処理が施される。
ステップＳ２５２において、デフォーカス処理部３２３は、デフォーカス処理された風景画像を、非透過型ディスプレイからなる投影ユニット１０６Ａに出力して、表示させ、図３６のステップＳ５に戻り、それ以降の処理が行われる。
すなわち、図５１の表示例は、図４４を参照して説明した透過型ティスプレイを前提とした投影ユニット１０６Ａに表示される風景が、非透過型ディスプレイからなる１０６Ａで表示される例を示している。
すなわち、図４４においては、透過型ディスプレイからなる投影ユニット１０６Ａにより表示される例であるので、ユーザ視点位置３０１からの距離に応じて、情報重畳適切フレーム２９２Ａ，２９４Ａ，２９５Ａ内のそれぞれの星印のコンテンツ２９２ａ，２９４ａ，２９５ａに対してのみデフォーカス処理が施されている。
これに対して、図５１においては、非透過型ディスプレイからなる投影ユニット１０６Ａにより表示される例であるので、ユーザ視点位置３０１からの距離に応じて、建物２９２乃至２９５に対応する建物２９２’乃至２９５’を含めた風景画像全体についてデフォーカス処理が施されている。従って、情報重畳適切フレーム２９２Ａ，２９４Ａ，２９５Ａのそれぞれについても、星印のコンテンツ２９２ａ，２９４ａ，２９５ａと同様にデフォーカス処理が施されている。その他の構成についても、デフォーカス処理が施されている。尚、星印のコンテンツ２９２ａ，２９４ａ，２９５ａにおけるデフォーカス処理は、投影ユニット１０６Ａが透過型ディスプレイであっても、非透過型ディスプレイであっても同様のデフォーカス処理が施されている。
結果として、風景内の最適な場所に、より風景に溶け込んだ形でコンテンツを表示させることが可能となり、ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜＜３．第３の実施の形態＞＞＞
＜＜３－１．第３の実施の形態の概要＞＞
以上においては、搭乗者であるユーザが１人である場合にユーザ視点位置からの距離差分値に応じて情報重畳適切フレーム上のコンテンツにデフォーカス処理を施す例について説明してきたが、搭乗者であるユーザが複数人数である場合に、それぞれのユーザ視聴位置に応じたデフォーカス処理を施して、ユーザそれぞれに最適なデフォーカス処理された画像を視聴できるようにしてもよい。
図５２は、車両に搭乗する複数のユーザのそれぞれの視点位置（視線方向）に応じて、情報重畳適切フレームに重畳するコンテンツにデフォーカスを加えて、それぞれのユーザに対して適切に視聴できるように表示する車両制御システム１００の第３の実施の形態の概要を説明する図である。尚、図５２において、図４２における構成と、同一の機能を備えた構成については、適宜説明を省略する。
すなわち、図５１において、図４２と異なる点は、搭乗者であるユーザがユーザ２７３－１乃至２７３－３の３人であり、対応してカメラ２７２がカメラ２７２－１乃至２７２－３の３台であり、投影ユニット１０６Ａに代えて、表示部３５１が設けられている点である。
カメラ２７２－１乃至２７２－３は、搭乗者であるユーザ２７３－１乃至２７３－３のそれぞれを撮影するように車内を撮影し、撮影した車内画像を出力制御部１０５に供給する。この場合、出力制御部１０５は、搭乗者が１人であるときと同様に、カメラ２７２－１により撮影された画像からユーザ２７３－１のユーザ視点位置ＥＰ１を特定し、カメラ２７２－２により撮影された画像からユーザ２７３－２のユーザ視点位置ＥＰ２を特定し、カメラ２７２－３により撮影された画像からユーザ２７３－３のユーザ視点位置ＥＰ３を特定する。尚、カメラ２７２は、１台のみの構成とし、車内全体を撮影できるようにすることで、１枚の画像から複数のユーザを検出し、それぞれのユーザ視点位置ＥＰ１乃至ＥＰ３を検出するようにしてもよい。
また、出力制御部１０５は、ユーザ２７３－１乃至２７３－３のそれぞれのユーザ視点位置ＥＰ１乃至ＥＰ３の情報に基づいて、ユーザ２７３－１乃至２７３－３のそれぞれが視聴に際して自然に、情報重畳適切フレーム上にコンテンツが重畳された状態で視聴可能な風景画像をそれぞれに生成し、それらを時系列に１本の画像に統合する。
そして、出力制御部１０５は、時系列に一本に統合された風景画像を時系列に変化させながら表示部３５１に出力する。
表示部３５１は、上述した投影ユニット１０６Ａに加えて、液晶偏光シャッタ３６１が設けられており、出力制御部１０５は、時系列に１本の風景画像にされた画像を表示する際、ユーザ２７３－１乃至２７３－３のそれぞれのユーザが視聴すべき画像が表示されるタイミングに合わせて、液晶偏光シャッタ３６１により透過する光の偏光方向を切り替えるようにする。これにより、ユーザ２７３－１乃至２７３－３のそれぞれが、それぞれに適切な画像のみを視聴できる状態の風景画像が表示される。
ここで、図５３を参照して、表示部３５１の構成について説明する。図５３は、表示部３５１を構成する投影ユニット１０６Ａが、例えば、透過型ディスプレイから構成される場合の構成であって、表示部３５１の表示面に対して垂直上方からみるときの上面図となる。
図５３の場合、図中下部のユーザ２７３－１乃至２７３－３は、進行方向前方となる図中上部の風景を、投影ユニット１０６Ａ越しに見ることになるので、投影ユニット１０６Ａ上の、情報重畳適切フレーム上にコンテンツが重畳された状態で、進行方向前方を視聴することで、自然に風景に溶け込むようにコンテンツを視聴することができる。
ところで、複数の人数のそれぞれに生成された情報重畳適切フレーム上に、それぞれに適したコンテンツが重畳された画像が、時系列に１本に統合されると、図５３の上部で示されるように表示される。すなわち、例えば、時刻ｔ１において、Video_01で示されるユーザ２７３－１用の画像が表示され、時刻ｔ２において、Video_02で示されるユーザ２７３－２用の画像が表示され、時刻ｔ３において、Video_03で示されるユーザ２７３－３用の画像が表示されるといった表示が繰り返されることになる。
このため、液晶偏光シャッタ３６１が設けられていない状態で、時系列に統合された１本の画像が表示されると、ユーザ２７３－１乃至２７３－３は、それぞれ視聴に適していない画像を3回に2回ずつ視聴することになる。
そこで、出力制御部１０５は、液晶偏光シャッタ３６１を投影ユニット１０６Ａの前段に設け、統合した画像を表示するタイミングに合わせて制御して、偏光方向を切り替える。
すなわち、出力制御部１０５は、時刻ｔ１のタイミングにおいて、ユーザ２７３－１用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を点線で示されるように制御して、点線の矢印で示されるように、ユーザ２７３－１のみが視聴できる方向に偏光させる。
また、出力制御部１０５は、時刻ｔ２のタイミングにおいて、ユーザ２７３－２用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を実線で示されるように制御して、実線の矢印で示されるように、ユーザ２７３－２のみが視聴できる方向に偏光させる。
さらに、出力制御部１０５は、時刻ｔ３のタイミングにおいて、ユーザ２７３－３用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を一点鎖線で示されるように制御して、１点鎖線の矢印で示されるように、ユーザ２７３－３のみが視聴できる方向に偏光させる。
以降、出力制御部１０５は、同様の制御を繰り返すことにより、ユーザ２７３－１乃至２７３－３のそれぞれに対して、それぞれの視聴に適した画像のみを視聴できるように表示部３５１を制御する。尚、図５３における液晶偏光シャッタ３６１内の点線、実線、および一点鎖線は、液晶偏光シャッタ３６１の制御状態を表現したものであり、それぞれ異なるシャッタ等が存在するわけではない。
以上のような構成により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜３－２．車両制御システムの構成例＞＞
＜３－２－１．車両制御システムの全体構成＞
図５４は、第３の実施の形態における車両制御システム１００の構成例を示すブロック図である。尚、図５４の車両制御システム１００において、図８の車両制御システム１００と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図５４の車両制御システム１００において、図８の車両制御システム１００と異なる点は、投影ユニット１０６Ａに代えて、表示部３５１が設けられている点である。
表示部３５１は、図５３を参照して説明したように、投影ユニット１０６Ａおよび液晶偏光シャッタ３６１を備えている。
液晶偏光シャッタ３６１は、複数のユーザ２７３のそれぞれに適した状態で情報重畳適切フレーム上にコンテンツが重畳されている画像が、時系列に１本の画像として表示されるとき、画像が表示されるタイミングに応じて、視聴に適したユーザ２７３のみが視聴可能となるように偏光方向を切り替える。
尚、投影ユニット１０６Ａは、透過型ディスプレイでもよいし、非透過型ディスプレイでもよいが、第２の実施の形態において上述したように、それぞれに適した構成と処理が必要となる。すなわち、投影ユニット１０６Ａが透過型ディスプレイである場合には、図４６で示されるような表示処理部２５４の構成で、図４７のフローチャートで示されるような表示処理がなされる必要がある。また、投影ユニット１０６Ａが非透過型ディスプレイである場合には、図４９で示されるような表示処理部２５４の構成で、図５０のフローチャートで示されるような表示処理がなされる必要がある。
＜３－２－２．表示処理部の構成＞
次に、図５５を参照して、図５４の車両制御システム１００の出力制御部１０５における表示処理部２５４の構成について説明する。尚、図５４の表示処理部２５４において、図４６の表示処理部２５４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図５５の表示処理部２５４において、図４６の表示処理部２５４と異なる点は、新たに、バッファ３７１、合成部３７２、タイミング制御部３７３、シャッタ制御部３７４、および視点位置検出部３２４において、ユーザの人数を検出する人数検出部３２４ａを新たに備えている点である。
バッファ３７１は、擬似３Ｄモデルワイヤフレーム生成部３２１乃至デフォーカス度マップ記憶部３２６の構成により、複数のユーザ２７３のそれぞれの視聴に対応して生成される、情報重畳適切フレームにコンテンツが重畳され、ユーザ視聴位置に応じたデフォーカス処理がなされた画像をバッファリングする。
合成部３７２は、バッファ３７１にバッファリングされた複数のユーザのそれぞれの視聴に適した、情報重畳適切フレームにコンテンツが重畳され、ユーザ視聴位置に応じたデフォーカス処理がなされた画像を時系列に統合して合成しタイミング制御部３７３に出力する。尚、合成部３７２は、どのタイミングで表示される画像が、どのユーザ２７３の視聴に適した画像であるかを識別する情報を含めて、時系列に１本の画像に統合して合成する。
タイミング制御部３７３は、時系列に統合された画像が順次供給されてくるとき、いずれのユーザ２７３の視聴に適した画像であるかを認識して、その画像を順次投影ユニット１０６Ａにより表示させると共に、シャッタ制御部３７４を制御して、液晶偏光シャッタ３６１の偏光方向を対応するユーザ２７３に対向する方向に制御させる。
人数検出部３２４ａは、車内画像より、例えば、顔検出等で検出される顔画像の数等に基づいて、ユーザが何人存在するのかを検出し、デフォーカス処理部３２３に通知する。このため、デフォーカス処理部３２３は、供給されたユーザの人数に応じて、画像に対するデフォーカス処理を施す。
尚、図５５においては、投影ユニット１０６Ａが透過型ディスプレイである場合の構成れが示されているが、非透過型ディスプレイである場合は、図４９の表示処理部２５４のようにデフォーカス処理部３２３に対して、風景画像が入力される。そして、デフォーカス処理部３２３が、情報重畳適切フレームにコンテンツが重畳された画像を、風景画像に貼りつけた後に、風景画像全体にデフォーカス処理を施す。ここでは、非透過型ディスプレイに対応する表示処理部２５４の構成図は省略する。
＜＜３－３．図５５の表示処理部による表示処理＞＞
次に、図５６のフローチャートを参照して、図５５の表示処理部２５４による表示処理について説明する。
ステップＳ２９１において、デフォーカス処理部３２３は、ユーザを識別する識別子のカウンタｍを１に初期化する。
ステップＳ２９２において、人数検出部３２４ａは、カメラ２７２－１乃至２７２－３により撮影された画像から搭乗者であるユーザの人数Ｍを検出して、それぞれのユーザに対して識別子ｍを設定し、検出結果をデフォーカス処理部３２３に供給する。
ステップＳ２９３において、ユーザ２７３のうち識別子ｍで識別されるユーザの表示処理が実行される。
ここで、ユーザｍの表示処理とは、例えば、投影ユニット１０６Ａが透過型ディスプレイである場合、ユーザ２７３－ｍの視聴に対応する図４７におけるステップＳ２０１乃至２１０までの処理であり、投影ユニット１０６Ａが非透過型ディスプレイであれば、ユーザｍの視聴に対応する図５０におけるステップＳ２４１乃至２５１までの処理である。すなわち、この処理においては、ユーザ２７３－ｍの視聴に対応する情報重畳適切フレームにコンテンツが重畳された状態で、ユーザ２７３－ｍのユーザ視点位置に応じたデフォーカス処理がなされた画像が生成される。
ステップＳ２９４において、デフォーカス処理部３２３は、ユーザｍの表示処理により生成された画像を識別子ｍと対応付けてバッファ３７１にバッファリングさせる。
ステップＳ２９５において、デフォーカス処理部３２３は、カウンタｍが人数Ｍと一致するか否か、すなわち、全ユーザ分の画像が生成されたか否かを判定する。
ステップＳ２９５において、カウンタｍがＭと一致しない場合、すなわち、全ユーザ分の画像が生成されていない場合、処理は、ステップＳ２９６に進む。
ステップＳ２９６において、デフォーカス処理部３２３は、カウンタｍを１インクリメントして、処理は、ステップＳ２９３に戻る。
すなわち、全ユーザ分の表示処理がなされて、画像が生成され、バッファ３７１にバッファリングされるまで、ステップＳ２９３乃至Ｓ２９６の処理が繰り返される。
そして、ステップＳ２９５において、全ユーザ分の画像が生成されて、カウンタｍがＭと一致した場合、すなわち、全ユーザ分の表示処理がなされたとみなされた場合、処理は、ステップＳ２９７に進む。
ステップＳ２９７において、合成部３７２は、バッファ３７１にバッファリングされている全ユーザ分の情報重畳適切フレーム上にコンテンツが重畳されて、ユーザ視聴位置に応じたデフォーカス度に応じたデフォーカス処理がなされた画像を、時系列に１本の画像に統合する。
ステップＳ２９８において、タイミング制御部３７３は、統合された画像を順次投影ユニット１０６Ａに供給して表示させると共に、対応するタイミングにおいて、シャッタ制御部３７４を制御して、表示する画像の対象となるユーザ２７３により視聴できる方向に偏光させるように液晶偏光シャッタ３６１を制御させる。
以上の処理により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜３－４．変形例＞＞
以上においては、投影ユニット１０６Ａに投影された画像を液晶偏光シャッタ３６１により偏光方向を切り替えるようにすることで、複数のユーザによる視聴を実現してきたが、液晶偏光シャッタ３６１に代えて、複数のユーザのそれぞれの視聴に適した画像をフレーム内において、ピクセルオーダで列分割して１枚の画像として合成し、レンチキュラレンズを介して表示することにより複数のユーザのそれぞれが視聴できるようにしてもよい。
図５７は、変形例における表示部３５１の構成例を示す図である。尚、図５３における表示部３５１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図５７の表示部３５１において、図５３の表示部３５１と異なる点は、液晶偏光シャッタ３６１に代えて、レンチキュラレンズ３８１が設けられている点である。
さらに、図５７の右上部で示されるように、投影ユニット１０６Ａにおいては、ユーザ２７３－１用の画像Video_01、ユーザ２７３－２用の画像Video_02、およびユーザ２７３－３用の画像Video_03が、それぞれピクセルオーダで形成される列単位で分割された領域Ｃ１，Ｃ２，Ｃ３のそれぞれに分割された状態で繰り返し配置されることにより、1枚の画像として合成された画像が表示される。
レンチキュラレンズ３８１は、このように投影ユニット１０６Ａに表示される画像のうち、画像Video_01をユーザ２７３－１において視聴できる方向に選択的に透過させ、画像Video_02をユーザ２７３－２において視聴できる方向に選択的に透過させ、画像Video_03をユーザ２７３－３において視聴できる方向に選択的に透過させる。
以上のような構成により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜３－４－１．表示処理部の構成＞
次に、図５８を参照して、図５２の車両制御システム１００における出力制御部１０５における表示処理部２５４の構成について説明する。尚、図５７の表示処理部２５４において、図５５の表示処理部２５４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図５８の表示処理部２５４において、図５５の表示処理部２５４と異なる点は、合成部３７２、タイミング制御部３７３、およびシャッタ制御部３７４に代えて、合成部３９１が設けられている点である。
合成部３９１は、バッファ３７１にバッファリングされた複数のユーザのそれぞれの視聴に適した画像をピクセルオーダの列単位で領域分割して合成して１枚の画像に統合して、表示部３５１の投影ユニット１０６Ａに出力する。
投影ユニット１０６Ａは、ピクセルオーダの列単位で領域分割されて複数のユーザのそれぞれの視聴に適した画像が１枚に統合された画像を投影することで、レンチキュラレンズ３８１を介して、それぞれのユーザ２７３において適切に視聴可能な状態で画像を投影する。
尚、投影ユニット１０６Ａは、透過型ディスプレイでもよいし、非透過型ディスプレイでもよいが、第２の実施の形態において上述したように、それぞれに適した構成と処理が必要となる。すなわち、投影ユニット１０６Ａが透過型ディスプレイである場合には、図４６で示されるような表示処理部２５４の構成で、図４７のフローチャートで示されるような表示処理がなされる必要がある。また、投影ユニット１０６Ａが非透過型ディスプレイである場合には、図４９で示されるような表示処理部２５４の構成で、図５０のフローチャートで示されるような表示処理がなされる必要がある。
＜３－４－２．図５７の表示処理部による表示処理＞
次に、図５９のフローチャートを参照して、図５８の表示処理部２５４による表示処理について説明する。
図５９のフローチャートにおけるステップＳ３１１乃至Ｓ３１６の処理は、図５６のフローチャートにおけるステップＳ２９１乃至Ｓ２９６の処理と同様であるので、その説明は省略する。
すなわち、ステップＳ３１１乃至Ｓ３１６の処理により、全ユーザ分の表示処理がなされて、全ユーザ分の情報重畳適切フレームにコンテンツが重畳されて、それぞれのユーザ視点位置からの距離に応じてデフォーカス処理が施された画像が生成され、バッファ３７１にバッファリングされると、処理は、ステップＳ３１７に進む。
ステップＳ３１７において、合成部３９１は、バッファ３７１にバッファリングされている全ユーザ分の情報重畳適切フレーム上にコンテンツが重畳されて、ユーザ視聴位置からの距離に応じたデフォーカス度でデフォーカス処理がなされた画像を、所定のピクセルオーダの列単位で領域分割し、図５７を参照して説明したように１枚の画像に統合して合成する。
ステップＳ３１８において、合成部３９１は、投影ユニット１０６Ａに、複数のユーザ分のデフォーカス処理された画像が１枚に統合された画像を投影させ、レンチキュラレンズ３８１を介して選択的に偏光して投影させることにより、複数のユーザのそれぞれに適した画像を視聴させる。
以上の処理により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景画像内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
尚、以降において、第２の実施の形態のように、ユーザが１人である場合の処理をシングルモード処理と称し、第３の実施の形態のように、ユーザが複数である場合の処理をマルチモード処理と称する。
上述したように、車内画像を撮影するカメラ２７２は、１台であってもマルチモードを実現することができるため、１台のカメラ２７２を用いた状態で、シングルモード処理とマルチモード処理とを切り替えて使用できるようにしてもよい。
また、以上においては、進行方向の風景に自然な状態で溶け込むように表示することを主眼とした処理について説明してきたが、特定の物体に対する視聴を促すための演出に使用するようにしてもよい。
すなわち、複数のユーザが存在している状態で、マルチモード処理が実行されている状態であっても、特定のユーザの視点位置に合わせて、全員が同一の画像を視聴できるように制御してもよい。
例えば、観光バスなどのバスガイドが、特定の旧所や名跡を案内するような場面で、特定のユーザとしてのバスガイドのユーザ視点位置に合わせて、情報重畳適切フレーム上に重畳されたコンテンツをデフォーカス処理した画像を、特定のユーザ以外のユーザであるバスの乗客全員で視聴できるようにしてもよい。
このようにすることで、バスガイドが今案内している旧所や名跡へと自然に視線が向かうような演出が可能となり、バスガイドの案内を理解し易くすることが可能となる。
また、舞台演出などにおいて、舞台演出家が特に見て欲しいものに視線を送ると、そのユーザ視点位置となる、特に視聴してもらいたいものについては、シャープに視聴できるようにデフォーカスし、その他のものについては、より大きくデフォーカスしてぼんやると見えるようにして、舞台の観衆全員が視聴できるよにすることで、舞台演出などに使用することもできる。
すなわち、この場合、視聴させたいものに対しては、デフォーカス度は、小さく設定されることで、より焦点があったシャープな画像として認識することができ、逆に、視聴させたくないものについてはデフォーカス度が大きく設定されて、よりぼんやりと視聴させるようにすることができる。結果として、舞台演出の効果を高めることが可能となる。
尚、以上においては、複数のユーザが３人である場合について説明してきたが、それ以外の人数であってもよい。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
図６０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。図８，図５４に示す自動運転制御部１１２を含む各部の機能が、図６０に示すコンピュータにより所定のプログラムが実行されることによって実現される。
CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブル記録媒体１０１１を駆動するドライブ１０１０が接続される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
CPU１００１が実行するプログラムは、例えばリムーバブル記録媒体１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
＜１＞ 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部とを備え、
前記表示制御部は、前記視覚情報に対してデフォーカス処理する
情報処理装置。
＜２＞ デフォーカス度を設定するデフォーカス度設定部を更に備え、
前記表示制御部は、設定された前記デフォーカス度に応じて、前記視覚情報に対してデフォーカス処理する
＜１＞に記載の情報処理装置。
＜３＞ 前記デフォーカス度設定部は、前記フレームに対応する領域の各位置と、前記移動体に乗るユーザの視点位置との距離が近い程、前記デフォーカス度を小さく設定し、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が遠い程、前記デフォーカス度を大きく設定し、
前記表示制御部は、前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度が小さい程、よりフォーカスが合った状態にデフォーカス処理し、前記デフォーカス度が大きい程、よりフォーカスが合っていない状態にデフォーカス処理する
＜２＞に記載の情報処理装置。
＜４＞ 前記移動体に乗る前記ユーザを撮影する撮影部をさらに含み、
前記デフォーカス度設定部は、前記撮影部により撮影された画像に基づいて、特定された前記ユーザの視点位置と、前記フレームに対応する領域の各位置との距離に応じて、前記デフォーカス度を設定する
＜３＞に記載の情報処理装置。
＜５＞ 前記設定部は、前記オブジェクトの表面に対応する領域に、前記コンテンツが表示されるように、前記コンテンツを含む前記フレームを、前記移動体に乗る複数のユーザのそれぞれに設定し、
前記表示制御部は、複数の前記ユーザのそれぞれに設定された、前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、それぞれにデフォーカス処理する
＜１＞に記載の情報処理装置。
＜６＞ 進行方向の風景を撮影することによって得られた画像を解析し、前記オブジェクトを検出する検出部をさらに備える
＜１＞に記載の情報処理装置。
＜７＞ 前記設定部は、移動経路上の第１の位置と所定時間経過後の第２の位置のそれぞれの位置における、前記オブジェクトの表面に向かう角度に基づいて前記フレームを設定する
＜１＞に記載の情報処理装置。
＜８＞ 前記設定部は、前記オブジェクトの表面の、進行方向に対する対面角度に基づいて前記フレームを設定する
＜１＞に記載の情報処理装置。
＜９＞ 前記設定部は、前記オブジェクトの表面が、手前にある他のオブジェクトによって遮られる場合、前記オブジェクトの表面の露出面積に基づいて前記フレームを設定する
＜１＞に記載の情報処理装置。
＜１０＞ 前記設定部は、前記オブジェクトの表面が、前記移動体に乗るユーザの視界内に含まれる時間に基づいて前記フレームを設定する
＜１＞に記載の情報処理装置。
＜１１＞ 前記オブジェクトの表面の光の状態を検出する光状態検出部をさらに備え、
前記設定部は、前記光の状態に基づいて前記フレームを設定する
＜１＞に記載の情報処理装置。
＜１２＞ 前記コンテンツの表示に要する仕様に関する情報に基づいて、前記コンテンツ毎の、それぞれの前記フレームとの適合度を算出する算出部をさらに備え、
前記表示制御部は、それぞれの前記コンテンツを、前記適合度に基づいて選択された前記フレームに対応する領域に表示させるための前記視覚情報を生成する
＜１＞に記載の情報処理装置。
＜１３＞ 前記算出部は、前記コンテンツの種別に応じて異なる要素を基準として前記適合度を算出する
＜１２＞に記載の情報処理装置。
＜１４＞ 前記算出部は、前記コンテンツが画像である場合、前記画像の縦横比と、前記フレームの縦横比との関係に基づいて前記適合度を算出する
＜１３＞に記載の情報処理装置。
＜１５＞ 前記算出部は、前記コンテンツが動画である場合、さらに、前記動画の再生時間と、前記フレームが前記移動体に乗るユーザの視界内に含まれる時間との関係に基づいて前記適合度を算出する
＜１４＞に記載の情報処理装置。
＜１６＞ 前記算出部は、前記コンテンツが文字を含む場合、前記文字の表示範囲の縦横比と前記フレームの縦横比との関係、および、文字数により規定される閲覧時間と前記フレームが前記移動体に乗るユーザの視界内に含まれる時間との関係のうちの少なくともいずれかに基づいて前記適合度を算出する
＜１３＞に記載の情報処理装置。
＜１７＞ 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定し、
前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成するステップを含み、
前記視覚情報に対してデフォーカス処理がなされる
情報処理方法。
＜１８＞ 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部としてコンピュータを機能させ、
前記表示制御部は、前記視覚情報に対してデフォーカス処理する
プログラム。
＜１９＞ 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と、
前記視覚情報を表示する出力部とを備え、
前記表示制御部は、前記視覚情報に対してデフォーカス処理する
移動体。
１０５ 出力制御部， ２０１ 情報重畳適切視界設定部， ２０２ 重畳対象フレーム選択部， ２０３ 表示制御部， ２０４ コンテンツ取得部， ２１１ 画像解析部， ２１２ 光状態モード設定部， ２１３ オブジェクト検出部， ２１４ フレーム設定部， ２１５ 適切視界設定部， ２３１ 事前解析部， ２３２ 適合度算出部， ２３３ 重畳先設定部， ２５１ 適応コントラスト算出部， ２５２ コントラスト調整部， ２５３ マスク処理部， ２５４ 表示処理部， ２７１，２７２，２７２－１乃至２７２－３ カメラ， ３２１ 擬似３Ｄモデルワイヤフレーム生成部， ３２２ コンテンツ重畳部， ３２３ デフォーカス処理部， ３２４ 視点位置検出部， ３２４ａ 人数検出部， ３２５ デフォーカス度設定部， ３２６ デフォーカス度マップ記憶部， ３６１ 液晶偏光シャッタ， ３７１ バッファ， ３７２ 合成部， ３７３ タイミング制御部， ３７４ シャッタ制御部， ３８１ レンチキュラレンズ， ３９１ 合成部

Claims (19)

  1. 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
    前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部とを備え、
    前記表示制御部は、前記視覚情報に対してデフォーカス処理する
    情報処理装置。
  2. デフォーカス度を設定するデフォーカス度設定部を更に備え、
    前記表示制御部は、設定された前記デフォーカス度に応じて、前記視覚情報に対してデフォーカス処理する
    請求項１に記載の情報処理装置。
  3. 前記デフォーカス度設定部は、前記フレームに対応する領域の各位置と、前記移動体に乗るユーザの視点位置との距離が近い程、前記デフォーカス度を小さく設定し、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が遠い程、前記デフォーカス度を大きく設定し、
    前記表示制御部は、前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度が小さい程、よりフォーカスが合った状態にデフォーカス処理し、前記デフォーカス度が大きい程、よりフォーカスが合っていない状態にデフォーカス処理する
    請求項２に記載の情報処理装置。
  4. 前記移動体に乗る前記ユーザを撮影する撮影部をさらに含み、
    前記デフォーカス度設定部は、前記撮影部により撮影された画像に基づいて、特定された前記ユーザの視点位置と、前記フレームに対応する領域の各位置との距離に応じて、前記デフォーカス度を設定する
    請求項３に記載の情報処理装置。
  5. 前記設定部は、前記オブジェクトの表面に対応する領域に、前記コンテンツが表示されるように、前記コンテンツを含む前記フレームを、前記移動体に乗る複数のユーザのそれぞれに設定し、
    前記表示制御部は、複数の前記ユーザのそれぞれに設定された、前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、それぞれにデフォーカス処理する
    請求項１に記載の情報処理装置。
  6. 進行方向の風景を撮影することによって得られた画像を解析し、前記オブジェクトを検出する検出部をさらに備える
    請求項１に記載の情報処理装置。
  7. 前記設定部は、移動経路上の第１の位置と所定時間経過後の第２の位置のそれぞれの位置における、前記オブジェクトの表面に向かう角度に基づいて前記フレームを設定する
    請求項１に記載の情報処理装置。
  8. 前記設定部は、前記オブジェクトの表面の、進行方向に対する対面角度に基づいて前記フレームを設定する
    請求項１に記載の情報処理装置。
  9. 前記設定部は、前記オブジェクトの表面が、手前にある他のオブジェクトによって遮られる場合、前記オブジェクトの表面の露出面積に基づいて前記フレームを設定する
    請求項１に記載の情報処理装置。
  10. 前記設定部は、前記オブジェクトの表面が、前記移動体に乗るユーザの視界内に含まれる時間に基づいて前記フレームを設定する
    請求項１に記載の情報処理装置。
  11. 前記オブジェクトの表面の光の状態を検出する光状態検出部をさらに備え、
    前記設定部は、前記光の状態に基づいて前記フレームを設定する
    請求項１に記載の情報処理装置。
  12. 前記コンテンツの表示に要する仕様に関する情報に基づいて、前記コンテンツ毎の、それぞれの前記フレームとの適合度を算出する算出部をさらに備え、
    前記表示制御部は、それぞれの前記コンテンツを、前記適合度に基づいて選択された前記フレームに対応する領域に表示させるための前記視覚情報を生成する
    請求項１に記載の情報処理装置。
  13. 前記算出部は、前記コンテンツの種別に応じて異なる要素を基準として前記適合度を算出する
    請求項１２に記載の情報処理装置。
  14. 前記算出部は、前記コンテンツが画像である場合、前記画像の縦横比と、前記フレームの縦横比との関係に基づいて前記適合度を算出する
    請求項１３に記載の情報処理装置。
  15. 前記算出部は、前記コンテンツが動画である場合、さらに、前記動画の再生時間と、前記フレームが前記移動体に乗るユーザの視界内に含まれる時間との関係に基づいて前記適合度を算出する
    請求項１４に記載の情報処理装置。
  16. 前記算出部は、前記コンテンツが文字を含む場合、前記文字の表示範囲の縦横比と前記フレームの縦横比との関係、および、文字数により規定される閲覧時間と前記フレームが前記移動体に乗るユーザの視界内に含まれる時間との関係のうちの少なくともいずれかに基づいて前記適合度を算出する
    請求項１３に記載の情報処理装置。
  17. 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定し、
    前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成するステップを含み、
    前記視覚情報に対してデフォーカス処理がなされる
    情報処理方法。
  18. 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
    前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部としてコンピュータを機能させ、
    前記表示制御部は、前記視覚情報に対してデフォーカス処理する
    プログラム。
  19. 移動体の外部に存在するオブジェクトの表面に対応する領域にコンテンツが表示されるように、前記コンテンツを含むフレームを設定する設定部と、
    前記フレームに対して、前記領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と、
    前記視覚情報を表示する出力部とを備え、
    前記表示制御部は、前記視覚情報に対してデフォーカス処理する
    移動体。
JP2023124515A 2017-08-31 2023-07-31 情報処理装置、情報処理方法、プログラム、および移動体 Active JP7571829B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2017166871 2017-08-31
JP2017166871 2017-08-31
JP2018069055 2018-03-30
JP2018069055 2018-03-30
JP2019539362A JP7331696B2 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体
PCT/JP2018/030489 WO2019044536A1 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019539362A Division JP7331696B2 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体

Publications (2)

Publication Number Publication Date
JP2023159121A true JP2023159121A (ja) 2023-10-31
JP7571829B2 JP7571829B2 (ja) 2024-10-23

Family

ID=65527216

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019539362A Active JP7331696B2 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体
JP2023124515A Active JP7571829B2 (ja) 2017-08-31 2023-07-31 情報処理装置、情報処理方法、プログラム、および移動体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019539362A Active JP7331696B2 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体

Country Status (4)

Country Link
US (2) US11645840B2 (ja)
JP (2) JP7331696B2 (ja)
DE (1) DE112018004847B4 (ja)
WO (1) WO2019044536A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019097755A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
US10218941B1 (en) * 2018-03-13 2019-02-26 Lyft, Inc. Systems and methods for coordinated collection of street-level image data
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
JP7374981B2 (ja) 2018-07-10 2023-11-07 マジック リープ， インコーポレイテッド クロス命令セットアーキテクチャプロシージャ呼出のためのスレッドウィービング
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
WO2020157995A1 (ja) * 2019-01-28 2020-08-06 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
EP4004630A4 (en) * 2019-07-26 2022-09-28 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR AUGMENTED REALITY
JP7292144B2 (ja) * 2019-08-06 2023-06-16 株式会社日立製作所 表示制御装置、透過型表示装置
JP7344051B2 (ja) * 2019-08-30 2023-09-13 ダイハツ工業株式会社 情報表示システム
DE102019213740A1 (de) * 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
CN218198110U (zh) 2019-10-23 2023-01-03 索尼公司 移动装置
US11410373B2 (en) * 2020-01-01 2022-08-09 Latham Pool Products, Inc. Visualizer for swimming pools
US20230186651A1 (en) * 2020-06-19 2023-06-15 Sony Group Corporation Control device, projection system, control method, and program
WO2022154299A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
EP4307237A4 (en) * 2021-03-08 2024-10-30 Sony Group Corporation Information processing device, information processing method, program, and information processing system
US20240289083A1 (en) * 2021-06-22 2024-08-29 Maxell, Ltd. Information processing system, information processing device, and image display device
JP7559808B2 (ja) 2022-07-13 2024-10-02 セイコーエプソン株式会社 プロジェクターの制御方法、プログラム、及びプロジェクター

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012674A1 (en) 2000-03-21 2014-01-09 Gregory A. Piccionielli Heads-up billboard
JP2005070231A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両における表示方法
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP2012035745A (ja) 2010-08-06 2012-02-23 Toshiba Corp 表示装置、画像データ生成装置及び画像データ生成プログラム
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
DE102012200133A1 (de) * 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
JP5987791B2 (ja) * 2013-06-28 2016-09-07 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP6107590B2 (ja) 2013-10-16 2017-04-05 株式会社デンソー ヘッドアップディスプレイ装置
JP6458998B2 (ja) 2015-05-13 2019-01-30 日本精機株式会社 ヘッドアップディスプレイ
GB2543560A (en) * 2015-10-22 2017-04-26 Ford Global Tech Llc A head up display
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
WO2018057987A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Augmented reality display

Also Published As

Publication number Publication date
US11645840B2 (en) 2023-05-09
US20230237799A1 (en) 2023-07-27
JP7331696B2 (ja) 2023-08-23
DE112018004847B4 (de) 2024-02-08
JP7571829B2 (ja) 2024-10-23
DE112018004847T5 (de) 2020-06-18
JPWO2019044536A1 (ja) 2020-11-19
WO2019044536A1 (ja) 2019-03-07
US20200184219A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7571829B2 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
JP7188397B2 (ja) 画像処理装置及び画像処理方法
CN110419063B (zh) Ar显示装置和ar显示方法
EP3106838B1 (en) Display apparatus for vehicle
CN218198109U (zh) 移动装置
US11525694B2 (en) Superimposed-image display device and computer program
JPWO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2019095213A (ja) 重畳画像表示装置及びコンピュータプログラム
WO2021006060A1 (ja) 表示制御装置および表示制御プログラム
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
WO2018146961A1 (ja) 車両用表示制御装置
WO2020116205A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20230017486A1 (en) Display device, display method, and vehicle
KR20150051671A (ko) 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법
JP2021049968A (ja) 表示制御装置および表示制御プログラム
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020190942A (ja) 表示制御装置
JP7127565B2 (ja) 表示制御装置及び表示制御プログラム
WO2020036057A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2020008876A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2020039855A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
JP7614921B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP7596039B2 (ja) 表示システム
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240923

R150 Certificate of patent or registration of utility model

Ref document number: 7571829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150