JP2017191378A - 拡張現実情報表示装置および拡張現実情報表示方法 - Google Patents

拡張現実情報表示装置および拡張現実情報表示方法 Download PDF

Info

Publication number
JP2017191378A
JP2017191378A JP2016079055A JP2016079055A JP2017191378A JP 2017191378 A JP2017191378 A JP 2017191378A JP 2016079055 A JP2016079055 A JP 2016079055A JP 2016079055 A JP2016079055 A JP 2016079055A JP 2017191378 A JP2017191378 A JP 2017191378A
Authority
JP
Japan
Prior art keywords
display
information
augmented reality
reality information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016079055A
Other languages
English (en)
Inventor
智史 曽田
Tomohito Soda
智史 曽田
将嘉 伊井野
Takeyoshi Iino
将嘉 伊井野
智春 山本
Chiharu Yamamoto
智春 山本
悟 池田
Satoru Ikeda
悟 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016079055A priority Critical patent/JP2017191378A/ja
Priority to US15/460,747 priority patent/US10083546B2/en
Publication of JP2017191378A publication Critical patent/JP2017191378A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/27—Optical features of instruments using semi-transparent optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】表示する拡張現実情報に対するユーザの没入感を高めることができる拡張現実情報表示装置および拡張現実情報表示方法を提供すること。【解決手段】実施形態に係る拡張現実情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられた拡張現実情報を記憶する。表示位置決定部は、透過型表示装置の表示画面を視認するユーザの現実位置、表示画面の現実位置、および表示画面越しの景色中で拡張現実情報が対応付けられた現実位置に基づいて、表示画面における拡張現実情報の表示位置を決定する。表示制御部は、表示位置決定部によって決定される表示位置に、景色中で拡張現実情報が対応付けられた現実位置およびユーザの現実位置の位置関係に応じた態様の拡張現実情報を表示させる。【選択図】図２

Description

本発明は、拡張現実情報表示装置および拡張現実情報表示方法に関する。
従来、透過型表示装置の表示画面に、表示画面を通して見える景色中の現実位置に関する拡張現実情報を重畳させて表示させる装置がある（例えば、特許文献１参照）。
特開２０１２−０６８４８１号公報
しかしながら、従来の装置は、表示画面を通して見える風景中の現実位置に対して、一様な拡張現実情報を表示させるものであったため、拡張現実情報に対するユーザの没入感を高めることが困難であった。
本発明は、上記に鑑みてなされたものであって、表示する拡張現実情報に対するユーザの没入感を高めることができる拡張現実情報表示装置および拡張現実情報表示方法を提供することを目的とする。
実施形態に係る拡張現実情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられた拡張現実情報を記憶する。表示位置決定部は、透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する。表示制御部は、前記表示位置決定部によって決定される前記表示位置に、景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる。
実施形態に係る拡張現実情報表示装置および拡張現実情報表示方法は、表示する拡張現実情報に対するユーザの没入感を高めることができる。
図１は、実施形態に係るＡＲ情報表示方法の説明図である。 図２は、実施形態に係るＡＲ情報表示装置の構成を示す機能ブロック図である。 図３は、実施形態に係るＡＲ情報ＤＢの説明図である。 図４は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。 図５は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。 図６は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。 図７は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。 図８は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。 図９は、実施形態に係る制御部が実行する処理を示すフローチャートである。 図１０は、実施形態に係る制御部が実行する処理を示すフローチャートである。
以下に添付図面を参照して、実施形態に係る拡張現実情報表示装置および拡張現実情報表示方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
本実施形態では、車両の窓ガラスに貼合される透過型表示装置に、拡張現実情報（以下、「ＡＲ（Augmented Reality）情報と記載する」）を表示させるＡＲ情報表示装置を例に挙げて説明する。なお、実施形態に係るＡＲ情報表示装置は、例えば、船舶や航空機の窓ガラス、ガラス張りのエレベータの窓ガラスに貼合される透過型表示装置にＡＲ情報を表示させることもできる。
また、実施形態に係るＡＲ情報表示装置は、例えば、乗客がガラス越しに見える景色を視認しながら様々なアトラクションを体感する体感型の遊戯設備の窓ガラスに貼合される透過型表示装置にＡＲ情報を表示させることもできる。
図１は、実施形態に係るＡＲ情報表示装置によるＡＲ情報表示方法の説明図である。なお、図１には、車両の窓ガラスに貼合される透過型表示装置１４と、車室内で透過型表示装置１４の表示画面（以下、単に「表示画面」と記載する）を視認するユーザｕと、ＡＲ情報が対応付けられた車両外の現実位置ｐとの平面視による位置関係を示している。
図１に（ａ）で示す状況では、ユーザｕは、車両の右側後部座席に乗車しており、右側後部の窓ガラスの比較的後側から透過型表示装置１４を通して車両外右前方の現実位置ｐを見ている。
かかる場合に、ＡＲ情報表示装置は、ユーザｕの現実位置、表示画面の現実位置、および表示画面を通してユーザｕから見える景色中でＡＲ情報が対応付けられた現実位置ｐに基づいて、表示画面におけるＡＲ情報の表示位置を決定する。以下、ユーザｕの現実位置をユーザ位置、表示画面の現実位置を画面位置、ＡＲ情報が対応付けられた現実位置ｐをＡＲ対応位置ｐと称する。
図１に（ａ）で示す状況では、ＡＲ情報表示装置は、景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ａ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１の表示位置の中心点として決定する。
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ１を表示させる。このとき、ＡＲ情報表示装置は、景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ１を表示させる。
その後、例えば、図１に（ｂ）で示すように、ユーザｕが右側後部の窓ガラスの比較的前側へ移動して景色中のＡＲ対応位置ｐを見る場合がある。かかる場合に、ＡＲ情報表示装置は、図１に（ｂ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ｂ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ２の表示位置の中心点として決定する。
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ２を表示させる。ここでは、ＡＲ情報表示装置は、先ほど表示させたＡＲ情報ｄ１とは態様が異なり、図１に（ｂ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ２を表示させる。
その後、例えば、図１に（ｃ）で示すように、車両が前進した場合、景色中のＡＲ対応位置ｐが相対的に車両の右後方へ移動する。かかる場合に、ＡＲ情報表示装置は、図２に（ｃ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ｃ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ３の表示位置の中心点として決定する。
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ３を表示させる。ここでは、ＡＲ情報表示装置は、先ほど表示させたＡＲ情報ｄ２とは態様が異なり、図１に（ｃ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ３を表示させる。なお、実施形態に係るＡＲ情報表示装置が表示させるＡＲ情報の具体的な態様例については、図３〜図８を参照して後述する。
このように、実施形態に係るＡＲ情報表示装置は、ユーザ位置、画面位置、および表示画面を通して見える景色中のＡＲ対応位置ｐに基づき、表示画面における景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１，ｄ２，ｄ３の表示位置を決定する。
これにより、実施形態に係るＡＲ情報表示装置は、表示画面内でユーザｕから見て景色中のＡＲ対応位置ｐと重なる位置を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１，ｄ２，ｄ３の表示位置として決定することができる。
そして、実施形態に係るＡＲ情報表示装置は、決定した表示位置に、景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ１，ｄ２，ｄ３を表示させる。
これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置ｐに、あたかも存在しているかのような態様のＡＲ情報ｄ１，ｄ２，ｄ３を表示させることができるので、ＡＲ情報ｄ１，ｄ２，ｄ３に対するユーザの没入感を高めることができる。
次に、図２を参照し、実施形態に係るＡＲ情報表示装置１の構成について説明する。図２は、実施形態に係るＡＲ情報表示装置１の構成を示す機能ブロック図である。ＡＲ情報表示装置１は、車両に搭載され、車両のフロントガラスおよび窓ガラスにＡＲ情報を表示させる装置である。
図２に示すように、ＡＲ情報表示装置１は、カーナビゲーション装置１０、５台の内部撮像装置１１、５台の外部撮像装置１２、車速度センサ１３、および５台の透過型表示装置１４に接続される。
カーナビゲーション装置１０は、地図情報を記憶しており、地図情報とＧＰＳ（Global Positioning System）を使用して、車両の現在位置から入力される目的地までの経路案内を行う装置である。カーナビゲーション装置１０は、自車両が走行中の現実位置を示す情報をＡＲ情報表示装置１へ出力する。
内部撮像装置１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えるカメラである。内部撮像装置１１は、フロントガラス側から車室内前部の座席のユーザを撮像する位置、車室内前右側の窓ガラス側から車室内前右側の座席のユーザを撮像する位置、および車室前左側の窓ガラス側から車室内前左側の座席のユーザを撮像する位置に配置される。
さらに、内部撮像装置１１は、車室内後右側の窓ガラス側から車室内後右側の座席のユーザを撮像する位置、および車室後左側の窓ガラス側から車室内後左側の座席のユーザを撮像する位置に配置される。各内部撮像装置１１は、撮像した車内画像をＡＲ情報表示装置１へ出力する。
外部撮像装置１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えるカメラである。外部撮像装置１２は、フロントガラス越しに見える車外の景色を撮像する位置、車室内前右側の窓ガラス越しに見える車外の景色を撮像する位置、および車室前左側の窓ガラス越しに見える車外の景色を撮像する位置に配置される。
さらに、外部撮像装置１２は、車室内後右側の窓ガラス越しに見える車外の景色を撮像する位置、および車室後左側の窓ガラス越しに見える車外の景色を撮像する位置に配置される。各外部撮像装置１２は、撮像した車外画像をＡＲ情報表示装置１へ出力する。車速度センサ１３は、ＡＲ情報表示装置１が搭載される自車両の走行速度を検知するセンサであり、走行速度の検知結果をＡＲ情報表示装置１へ出力する。
透過型表示装置１４は、表示画面が光透過性を備えるディスプレイであり、例えば、透明液晶ディスプレイや透明有機ＥＬ（Electroluminescence）ディスプレイである。透過型表示装置１４は、フロントガラス、車室内前右側の窓ガラス、車室内前左側の窓ガラス、車室内後右側の窓ガラス、および車室内後左側の窓ガラスの全面にそれぞれ貼合される。透過型表示装置１４は、ＡＲ情報表示装置１から入力されるＡＲ情報を表示させる。
ＡＲ情報表示装置１は、制御部２と、記憶部３とを備える。記憶部３は、ＡＲ情報表示プログラム３１およびＡＲ情報ＤＢ（Data Base）３２等の情報を記憶する。かかる記憶部３は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ（Hard Disk Drive）、光ディスク等の記憶装置である。
ここで、図３を参照し、実施形態に係るＡＲ情報ＤＢ３２について説明する。図３は、実施形態に係るＡＲ情報ＤＢ３２の説明図である。図３に示すように、ＡＲ情報ＤＢ３２は、複数のＡＲ対応位置と、各ＡＲ対応位置にそれぞれ対応付けられたＡＲ情報とを含む。
ＡＲ対応位置は、例えば、緯度および経度によって表される位置情報である。またＡＲ情報は、例えば、ＡＲ対応位置に対応付けられた３次元画像情報およびテキスト情報等である。本実施形態では、各ＡＲ対応位置に対して、ＡＲ対応位置に関する過去の３次元画像情報およびテキスト情報と、ＡＲ対応位置に関する現在のテキスト情報と、ＡＲ対応位置に関する将来の３次元画像情報およびテキスト情報とが対応付けられる。
過去の３次元画像情報は、例えば、対応付けられたＡＲ対応位置に過去に存在していた建造物や風景を再現した３次元ＣＧ（Computer Graphics）の情報である。また、過去のテキスト情報は、対応付けられたＡＲ対応位置に過去に存在していた建造物や地所に関する情報が記載されたテキスト情報である。現在のテキスト情報は、対応付けられたＡＲ対応位置に現在存在する建造物や地所に関する情報が記載されたテキスト情報である。
将来の３次元画像情報は、対応付けられたＡＲ対応位置に将来建設される建造物を再現した３次元ＣＧの情報である。将来のテキスト情報は、対応付けられたＡＲ対応位置に将来建設される建造物や地所に関する情報が記載されたテキスト情報である。なお、図３に示すＡＲ情報ＤＢ３２は、一例であり、透過型表示装置１４の表示画面に表示させる情報であれば、図３に示すＡＲ情報以外の任意のＡＲ情報であってもよい。
図２へ戻り、制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。
制御部２は、現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６を備える。かかる現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６の機能は、例えば、上記ＣＰＵが記憶部３に記憶されているＡＲ情報表示プログラム３１を読み出して実行することにより実現される。
なお、現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６は、それぞれ一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。以下、これら現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６について具体的に説明する。
現在位置取得部２１は、カーナビゲーション装置１０から、ＡＲ情報表示装置１が搭載される自車両の現在の現実位置を示す情報（以下、「車両位置」と記載する）を取得する。車両位置は、例えば、自車両が走行している緯度および経度を示す情報である。現在位置取得部２１は、カーナビゲーション装置１０から取得する車両位置を表示位置決定部２２へ出力する。
表示位置決定部２２は、各内部撮像装置１１から入力される車内画像と、各外部撮像装置１２から入力される車外画像と、記憶部３に記憶されたＡＲ情報ＤＢ３２に基づいて、表示画面におけるＡＲ情報の表示位置を決定する処理部である。
かかる表示位置決定部２２は、各内部撮像装置１１から入力される車内画像毎に、透過型表示装置１４の表示画面を視認するユーザの現実位置を特定する。例えば、表示位置決定部２２は、車内画像からユーザの顔を抽出し、車内におけるユーザの顔の位置および向きと、現在位置取得部２１から入力される車両位置とに基づいて、ユーザ位置を特定する。なお、ユーザ位置を特定する手順は、これに限定されるものではなく、ユーザ位置を特定可能な手順であれば、任意の手順を適用することができる。
また、表示位置決定部２２は、例えば、現在位置取得部２１から入力される車両位置と、既知である自車両における各透過型表示装置１４の表示画面の位置とに基づいて、画面位置を特定する。画面位置を特定する手順は、これに限定されるものではなく、画面位置を特定可能な手順であれば、任意の手順を適用することができる。
また、表示位置決定部２２は、各外部撮像装置１２から入力される車外画像毎に、表示画面越しの景色中で、ＡＲ対応位置を特定する。例えば、表示位置決定部２２は、連続して撮像される２フレームの車外画像から建造物等を抽出し、車外画像における建造物等の２フレーム間における位置の差に基づき、ステレオカメラの原理によって外部撮像装置１２から建造物等までの距離を算出する。
続いて、表示位置決定部２２は、各外部撮像装置１２から建造物等までの距離と、カーナビゲーション装置１０から取得する車両位置とに基づいて、建造物等の現実位置を特定する。そして、表示位置決定部２２は、建造物等の現実位置が対応付けられたＡＲ情報がＡＲ情報ＤＢ３２中に存在するか否かを判定し、存在する場合に、その建造物等の現実位置をＡＲ対応位置として特定する。
なお、表示位置決定部２２は、他の手順によって、ＡＲ対応位置を特定する構成であってもよい。例えば、表示位置決定部２２は、車両位置と各外部撮像装置１２の撮像範囲とに基づいて、各車外画像に含まれる景色の領域に対応する緯度および経度の範囲を算出する。そして、表示位置決定部２２は、算出した緯度および経度の範囲内に存在するＡＲ対応位置をＡＲ情報ＤＢ３２から検索することによって、ＡＲ対応位置を特定することもできる。
表示位置決定部２２は、こうして特定したユーザ位置、画面位置、およびＡＲ対応位置に基づき、図１を参照して説明した手順に基づいて、表示画面におけるＡＲ情報の表示位置を決定する。そして、表示位置決定部２２は、特定したＡＲ対応位置、ユーザ位置、および決定したＡＲ情報の表示位置を示す情報を表示制御部２６へ出力する。また、表示位置決定部２２は、特定したＡＲ対応位置と決定した表示位置を示す情報とを表示制御部２６および遮蔽物検知部２３へ出力する。
遮蔽物検知部２３は、各外部撮像装置１２から入力される車外画像、表示位置決定部２２から入力されるＡＲ対応位置、およびＡＲ情報の表示位置とに基づいて、ＡＲ情報の表示位置からのＡＲ対応位置の視認を阻害する遮蔽物を検知する処理部である。
遮蔽物検知部２３は、検知した遮蔽物に関する情報を時間算出部２５および表示制御部２６へ出力する。遮蔽物に関する情報は、例えば、遮蔽物の現実位置を示す情報および遮蔽物の大きさを示す情報を含む。
速度取得部２４は、車速度センサ１３から自車両の走行速度を示す情報を取得して、時間算出部２５へ出力する処理部である。時間算出部２５は、速度取得部２４から入力される走行速度を示す情報と、遮蔽物検知部２３から入力される遮蔽物に関する情報とに基づいて、遮蔽物によってＡＲ情報の表示位置からのＡＲ対応位置の視認が阻害される継続時間を算出する処理部である。時間算出部２５は、算出した継続時間を示す情報を表示制御部２６へ出力する。
表示制御部２６は、表示位置決定部２２から特定されたＡＲ対応位置、ユーザ位置、および決定されたＡＲ情報の表示位置を示す情報を取得する。また、表示制御部２６は、遮蔽物検知部２３から検知された遮蔽物に関する情報を取得し、時間算出部２５から算出された継続時間を示す情報を取得する。
そして、表示制御部２６は、表示位置決定部２２から入力される情報に基づいて、表示画面に表示させるＡＲ情報をＡＲ情報ＤＢ３２から読出して透過型表示装置１４へ出力し、表示位置決定部２２によって決定された表示位置に表示させる。
このとき、表示制御部２６は、表示位置決定部２２、遮蔽物検知部２３、および時間算出部２５から入力される情報に基づいて、ＡＲ対応位置およびユーザ位置の位置関係に応じた態様のＡＲ情報を表示させる。
次に、図４〜図８を参照し、実施形態に係る表示制御部２６が表示させるＡＲ情報の態様の具体例について説明する。図４〜図８は、実施形態に係る表示制御部２６が表示させるＡＲ情報の態様の具体例を示す説明図である。
図４に（ａ）で示すように、例えば、車両の窓ガラスから見えるＡＲ対応位置Ｐに、将来建物が建設される場合、表示位置決定部２２によって決定される透過型表示装置１４の表示位置に、ＡＲ対応位置Ｐに対応付けられたＡＲ情報を表示させる。
このとき、表示制御部２６は、ユーザ位置とＡＲ対応位置Ｐとに基づき、建設予定の建物が建設されていればユーザｕから見えるはずの角度に調整された建物の３次元ＣＧ情報ｄ１１をＡＲ情報として表示させる。
その後、車両が走行すると、図４に（ｂ）で示すように、ＡＲ対応位置Ｐが相対的に自車両の斜め後方へ移動する。このため、表示制御部２６は、建設予定の建物が建設されていればユーザｕから見えるはずの角度となるように回転させた建物の３次元ＣＧ情報ｄ１２を表示させる。
このように、表示制御部２６は、ユーザ位置およびＡＲ対応位置Ｐの位置関係に応じて、３次元ＣＧ情報ｄ１１や、３次元ＣＧ情報ｄ１１を回転させた３次元ＣＧ情報ｄ１２等の態様の異なるＡＲ情報を表示させる。
また、表示制御部２６は、ＡＲ対応位置Ｐがユーザ位置へ徐々に近付いてくる場合には、表示させるＡＲ情報の大きさを徐々に拡大し、ＡＲ対応位置Ｐがユーザ位置から徐々に遠ざかる場合には、表示させるＡＲ情報の大きさを徐々に縮小する。
これにより、ＡＲ情報表示装置１は、表示画面を通して見える現実のＡＲ対応位置Ｐに、あたかも存在しているかのような態様の３次元ＣＧ情報ｄ１１，ｄ１２をＡＲ情報として表示させることにより、ＡＲ情報に対するユーザの没入感を高めることができる。
次に、図５に（ａ）で示すように、例えば、ＡＲ対応位置Ｐに建設予定の建物の３次元ＣＧ情報ｄ１３が表示されている場合に、自車両の走行に伴い、透過型表示装置１４の表示画面に、ＡＲ対応位置Ｐの視認を阻害する遮蔽物Ｂが出現する場合がある。かかる場合、表示制御部２６は、図５に（ｂ）で示すように、遮蔽物ＢによってＡＲ対応位置Ｐの視認が阻害されると、３次元ＣＧ情報ｄ１３を非表示にする。
例えば、表示制御部２６は、建設予定の建物が建設されていれば、建設予定の建物が遮蔽物Ｂによって視認が阻害されるような状況になると、建設予定の建物の３次元ＣＧ情報ｄ１３を非表示にする。つまり、表示制御部２６は、ＡＲ情報の表示および非表示の切り替えを、現実の遮蔽物によるＡＲ対応位置Ｐの出現および消失と対応させる。
これにより、ＡＲ情報表示装置１は、表示画面を通して見える現実のＡＲ対応位置Ｐに、あたかも建設予定の建物が存在しているかのような印象をユーザｕに与えることができるので、ＡＲ情報に対するユーザの没入感を高めることができる。
また、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認が阻害される継続時間に応じて、ＡＲ対応位置Ｐに対応付けられているＡＲ情報の表示および非表示を切り替える。例えば、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置の視認が阻害される継続時間が閾値以下の場合には、ＡＲ情報を非表示とせずに、表示を継続させる。
これにより、ＡＲ情報表示装置１は、例えば、短時間内に遮蔽物ＢによってＡＲ対応位置Ｐの視認が閾値以下の極短時間繰り返し阻害される場合に、ＡＲ情報の閲覧が阻害されることを抑制することができる。
また、ＡＲ情報表示装置１は、遮蔽物ＢによるＡＲ対応位置Ｐの視認が阻害される継続時間と比較する閾値を、表示させるＡＲ情報に応じて変更する構成であってもよい。かかる構成の場合、ＡＲ情報表示装置１は、大きさの異なる複数の閾値を記憶部３に記憶する。そして、ＡＲ情報表示装置１は、ＡＲ情報ＤＢ３２に含まれる各ＡＲ情報に、情報の重要度を対応付けて記憶する。
そして、表示制御部２６は、表示するＡＲ情報の重要度が高いほど大きな閾値と、遮蔽物ＢによるＡＲ対応位置Ｐの継続遮蔽時間と比較して、閾値以下の場合に、ＡＲ情報を非表示とせずに、表示を継続させる。
一方、表示制御部２６は、表示するＡＲ情報の重要度が低いほど小さな閾値と、遮蔽物ＢによるＡＲ対応位置Ｐの継続遮蔽時間とを比較して、閾値以下の場合に、ＡＲ情報を非表示とせずに、表示を継続させる。これにより、ＡＲ情報表示装置１は、重要度の高いＡＲ情報が非表示となる頻度を低減することができる。
また、図６に（ａ）で示すように、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認の阻害が開始される場合、遮蔽物Ｂによる視認の阻害が開始される側から３次元ＣＧ情報ｄ１４の像の濃淡を徐々に薄くする。
一方、図６に（ｂ）で示すように、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認の阻害が終了される場合、遮蔽物Ｂによる視認の阻害が終了される側から３次元ＣＧ情報ｄ１５の像の濃淡を徐々に濃くする。これにより、ＡＲ情報表示装置１は、ユーザｕの眼の錯覚を利用して、より違和感なく、３次元ＣＧ情報ｄ１４，ｄ１５の出現および消失を再現することができる。
また、図７に示すように、表示制御部２６は、遮蔽物ＢによりＡＲ対応位置Ｐの視認が阻害される場合、ＡＲ情報を非表示とはせず、ＡＲ情報の透過像である３次元ＣＧ情報ｄ１６を表示させることも可能である。
これにより、ＡＲ情報表示装置１は、ＡＲ情報の内容をユーザｕに継続的に認識させることができ、しかも、遮蔽物Ｂによる遮蔽中に、遮蔽前と同一のＡＲ情報を継続して表示させる場合に比べて、ユーザｕに与える違和感を低減することができる。
なお、図４〜図７では、ＡＲ情報が３次元ＣＧ情報である場合を例に挙げたが、表示制御部２６は、図４〜図７に示す状況で、ＡＲ情報としてテキスト情報を表示させることもでき、３次元ＣＧ画像およびテキスト情報を表示させることもできる。かかる場合、表示制御部２６は、図４〜図７を参照して説明した表示態様と同様の表示態様でテキスト情報の表示制御を行う。
また、図８に（ａ）で示すように、ＡＲ対応位置Ｐ２に対応付けられたＡＲ情報のテキスト情報ｄ１７を表示させると、ＡＲ対応位置Ｐ２の明度や透過型表示装置１４の表示画面越しに見える景色の色彩によってテキスト情報ｄ１７の視認性が低下する場合がある。
かかる場合、図８に（ｂ）で示すように、表示制御部２６は、ＡＲ対応位置Ｐ２の明度に応じて、明度を調整し、透過型表示装置１４の表示画面越しに見える景色の色彩に応じて、色を調整したテキスト情報ｄ１８を表示させる。
なお、図８では、ＡＲ情報がテキスト情報である場合を例に挙げたが、表示制御部２６は、図８に示す状況で、ＡＲ情報として３次元ＣＧ情報を表示させることもでき、３次元ＣＧ画像およびテキスト情報を表示させることもできる。かかる場合、表示制御部２６は、図８を参照して説明した表示態様と同様の表示態様で３次元ＣＧ情報の表示制御を行う。
これにより、ＡＲ情報表示装置１は、周囲の実環境における明るさに関わらず、常時均一な見易さのＡＲ情報を表示させることができる。また、ＡＲ情報表示装置１は、背景色との同化、補色による視認性の低下や眼精疲労の発生を抑制すること、および表示するＡＲ情報から見えにくい色を排除することができる。
さらに、ＡＲ情報表示装置１は、混色により本来のＡＲ情報とは異なる色に見える状況の発生を防止することができる。また、ＡＲ情報表示装置１は、ＡＲ情報の色を予め混色を考慮した配色にすることで、ＡＲ情報から見えにくい色を排除することができる。また、ＡＲ情報表示装置１は、混色によりＡＲ情報が見えにくくなる場合に、敢えて本来のＡＲ情報の色とは異なる色のＡＲ情報を表示させることができる。
次に、図９および図１０を参照し、実施形態に係る制御部２が実行する処理について説明する。図９および図１０は、実施形態に係る制御部２が実行する処理を示すフローチャートである。制御部２は、ＡＲ情報表示装置１に電源が投入されると、図９に示す処理を繰り返し実行する。
具体的には、図９に示すように、制御部２は、まず、カーナビゲーション装置１０から車両位置を取得し（ステップＳ１０１）、内部撮像装置１１から車内画像を取得する（ステップＳ１０２）。さらに、制御部２は、外部撮像装置１２から車外画像を取得し（ステップＳ１０３）、車速度センサ１３から走行速度を取得する（ステップＳ１０４）。
続いて、制御部２は、車両位置、車内画像、および車外画像に基づいて、ユーザ位置、画面位置、およびＡＲ対応位置を特定する（ステップＳ１０５）。その後、制御部２は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面におけるＡＲ情報の表示位置を決定する（ステップＳ１０６）。
続いて、制御部２は、ユーザ位置およびＡＲ対応位置の位置関係に応じたＡＲ情報の態様を決定し（ステップＳ１０７）、表示させるＡＲ情報の色および色彩を調整する（ステップＳ１０８）。その後、制御部２は、遮蔽物があるか否かの判定を行う（ステップＳ１０９）。
そして、制御部２は、遮蔽物なしと判定した場合（ステップＳ１０９，Ｎｏ）、特定したＡＲ対応位置に対応付けられたＡＲ情報を、決定した態様、色、および色彩で、決定した表示位置に表示させる（ステップＳ１１１）。一方、制御部２は、遮蔽物ありと判定した場合（ステップＳ１０９，Ｙｅｓ）、図１０に示すＡＲ情報非表示処理を行い（ステップＳ１１０）、処理を終了する。
また、制御部２は、ＡＲ情報非表示処理を開始すると、図１０に示すように、遮蔽物によるＡＲ対応位置の視認阻害部分があるか否かの判定を行う（ステップＳ２０１）。そして、制御部２は、遮蔽物によるＡＲ対応位置の視認阻害部分があると判定した場合（ステップＳ２０１，Ｙｅｓ）、視認阻害部分に対応する部分のＡＲ情報を非表示にする（ステップＳ２０２）。
続いて、制御部２は、遮蔽物によるＡＲ対応位置の視認未阻害部分があるか否かの判定を行う（ステップＳ２０３）。そして、制御部２は、視認未阻害部分があると判定した場合（ステップＳ２０３，Ｙｅｓ）、視認阻害開始側からＡＲ情報の濃淡を徐々に薄くし（ステップＳ２０４）、処理をステップＳ２０５へ移す。
一方、制御部２は、視認未阻害部分がないと判定した場合（ステップＳ２０３，Ｎｏ）、処理をステップＳ２０５へ移す。ステップＳ２０５において、制御部２は、遮蔽物によるＡＲ対応位置の視認阻害終了部分があるか否かの判定を行う。
そして、制御部２は、視認阻害終了部分があると判定した場合（ステップＳ２０５，Ｙｅｓ）、視認阻害終了側からＡＲ情報の濃淡を徐々に濃くし（ステップＳ２０６）、処理を終了する。一方、制御部２は、視認阻害終了部分がないと判定した場合（ステップＳ２０５，Ｎｏ）、処理を終了する。
また、制御部２は、ステップＳ２０１において、遮蔽物によるＡＲ対応位置の視認阻害部分がないと判定した場合（ステップＳ２０１，Ｎｏ）、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下であるか否かの判定を行う（ステップＳ２０７）。
そして、制御部２は、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下であると判定した場合（ステップＳ２０７，Ｙｅｓ）、ステップＳ２０４〜ステップＳ２０６の処理を行う。
一方、制御部２は、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下でないと判定した場合（ステップＳ２０７，Ｎｏ）、特定したＡＲ対応位置に対応付けられたＡＲ情報を、決定した態様、色、および色彩で、決定した表示位置に表示させ（ステップＳ２０８）、処理を終了する。
上述したように、実施形態に係るＡＲ情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられたＡＲ情報を記憶する。表示位置決定部は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面におけるＡＲ情報の表示位置を決定する。
表示制御部は、表示位置決定部によって決定される表示位置に、ＡＲ対応位置およびユーザ位置の位置関係に応じた態様のＡＲ情報を表示させる。これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置に、あたかも存在しているかのような態様のＡＲ情報を表示させることにより、ＡＲ情報に対するユーザの没入感を高めることができる。
また、実施形態に係るＡＲ情報は、対応付けられた現実位置に関連する３次元画像情報を含む。そして、表示制御部は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面に表示させる３次元画像情報の向きおよび大きさの少なくともいずれか一方を変更する。これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置に関連する３次元画像情報を表示させることによって、ＡＲ情報に対するユーザの没入感を高めることができる。
また、実施形態に係るＡＲ情報表示装置は、ＡＲ情報表示位置からのＡＲ対応位置の視認を阻害する遮蔽物を検知する遮蔽物検知部を備え、表示制御部は、遮蔽物によってＡＲ対応位置の視認が阻害される場合に、ＡＲ情報を非表示にする。
これにより、ＡＲ情報表示装置は、ＡＲ情報の表示および非表示の切り替えを、現実の遮蔽物によるＡＲ対応位置の出現および消失と対応させることにより、ＡＲ対応位置に、あたかもＡＲ情報が存在しているかのような印象をユーザに与えることができる。
また、表示制御部は、遮蔽物によってＡＲ対応位置の視認が阻害される場合に、ＡＲ情報の透過像を表示させる。これにより、ＡＲ情報表示装置は、ＡＲ情報の内容をユーザに認識させることができ、しかも、遮蔽物による遮蔽中に、遮蔽前と同一のＡＲ情報を継続して表示させる場合に比べて、ユーザに与える違和感を低減することができる。
また、ＡＲ情報表示装置は、表示画面の移動速度を取得する速度取得部と、遮蔽物によってＡＲ対応位置の視認が阻害される継続時間を速度取得部によって取得される移動速度に基づいて算出する時間算出部をさらに備える。
そして、表示制御部は、時間算出部によって算出される継続時間に応じて、ＡＲ情報の表示および非表示を切り替える。これにより、ＡＲ情報表示装置は、例えば、短時間内に遮蔽物によってＡＲ対応位置の視認が極短時間繰り返し阻害される場合に、ＡＲ情報の閲覧が阻害されることを抑制することができる。
また、表示制御部は、表示画面の移動に伴い、遮蔽物によるＡＲ対応位置の視認の阻害が開始される側からＡＲ情報の像の濃淡を徐々に薄くし、視認の阻害が終了される側から像の濃淡を徐々に濃くする。これにより、ＡＲ情報表示装置は、ユーザの眼の錯覚を利用して、より違和感なく、ＡＲ情報の出現および消失を再現することができる。
また、表示制御部は、ＡＲ対応位置の明度に応じて、表示させるＡＲ情報の明度を調整する。これにより、ＡＲ情報表示装置は、周囲の実環境における明るさに関わらず、常時均一な見易さのＡＲ情報を表示させることができる。また、ＡＲ情報表示装置は、背景色との同化、補色による視認性の低下や眼精疲労の発生を抑制すること、および表示するＡＲ情報から見えにくい色を排除することができる。
また、表示制御部は、表示画面越しの景色の色彩に応じて、表示させるＡＲ情報の色を調整する。これにより、ＡＲ情報表示装置は、混色により本来のＡＲ情報とは異なる色に見える状況の発生を防止することができる。また、ＡＲ情報表示装置は、ＡＲ情報の色を予め混色を考慮した配色にすることで、ＡＲ情報から見えにくい色を排除することができる。また、ＡＲ情報表示装置は、混色によりＡＲ情報が見えにくくなる場合に、敢えて本来のＡＲ情報の色とは異なる色のＡＲ情報を表示させることができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
符号の説明
１ ＡＲ情報表示装置
２ 制御部
２１ 現在位置取得部
２２ 表示位置決定部
２３ 遮蔽物検知部
２４ 速度取得部
２５ 時間算出部
２６ 表示制御部
３ 記憶部
３１ ＡＲ情報表示プログラム
３２ ＡＲ情報ＤＢ
１０ カーナビゲーション装置
１１ 内部撮像装置
１２ 外部撮像装置
１３ 車速度センサ
１４ 透過型表示装置

Claims (9)

  1. 現実位置に対応付けられた拡張現実情報を記憶する記憶部と、
    透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する表示位置決定部と、
    前記表示位置決定部によって決定される前記表示位置に、前記景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる表示制御部と
    を備える
    ことを特徴とする拡張現実情報表示装置。
  2. 前記拡張現実情報は、
    対応付けられた現実位置に関連する３次元画像情報を含み、
    前記表示制御部は、
    前記ユーザの現実位置、前記表示画面の現実位置、および前記景色中で前記拡張現実情報が対応付けられた現実位置に応じて、前記表示画面に表示させる前記３次元画像情報の向きおよび大きさの少なくともいずれか一方を変更する
    ことを特徴とする請求項１に記載の拡張現実情報表示装置。
  3. 前記景色中で前記拡張現実情報が対応付けられた現実位置の前記表示位置からの視認を阻害する遮蔽物を検知する遮蔽物検知部
    を備え、
    前記表示制御部は、
    前記遮蔽物によって前記視認が阻害される場合に、前記拡張現実情報を非表示にする
    ことを特徴とする請求項１または請求項２に記載の拡張現実情報表示装置。
  4. 前記景色中で前記拡張現実情報が対応付けられた現実位置の前記表示位置からの視認を阻害する遮蔽物を検知する遮蔽物検知部
    を備え、
    前記表示制御部は、
    前記遮蔽物によって前記視認が阻害される場合に、前記拡張現実情報の透過像を表示させる
    ことを特徴とする請求項１または請求項２に記載の拡張現実情報表示装置。
  5. 前記表示画面の移動速度を取得する速度取得部と、
    前記遮蔽物によって前記視認が阻害される継続時間を前記速度取得部によって取得される移動速度に基づいて算出する時間算出部
    をさらに備え、
    前記表示制御部は、
    前記時間算出部によって算出される継続時間に応じて、前記拡張現実情報の表示および非表示を切り替える
    ことを特徴とする請求項３または請求項４に記載の拡張現実情報表示装置。
  6. 前記表示制御部は、
    前記表示画面の移動に伴い、前記遮蔽物による前記視認の阻害が開始される側から前記拡張現実情報の像の濃淡を徐々に薄くし、前記視認の阻害が終了される側から前記像の濃淡を徐々に濃くする
    ことを特徴とする請求項３〜５のいずれか一つに記載の拡張現実情報表示装置。
  7. 前記表示制御部は、
    前記景色中で前記拡張現実情報が対応付けられた現実位置の明度に応じて、表示させる前記拡張現実情報の明度を調整する
    ことを特徴とする請求項１〜６のいずれか一つに記載の拡張現実情報表示装置。
  8. 前記表示制御部は、
    前記景色の色彩に応じて、表示させる前記拡張現実情報の色を調整する
    ことを特徴とする請求項１〜７のいずれか一つに記載の拡張現実情報表示装置。
  9. コンピュータが実行する拡張現実情報表示方法であって、
    現実位置に対応付けられた拡張現実情報を記憶部に記憶する記憶工程と、
    透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する表示位置決定工程と、
    前記表示位置決定工程によって決定される前記表示位置に、前記景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる表示制御工程と
    を含む
    ことを特徴とする拡張現実情報表示方法。
JP2016079055A 2016-04-11 2016-04-11 拡張現実情報表示装置および拡張現実情報表示方法 Pending JP2017191378A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016079055A JP2017191378A (ja) 2016-04-11 2016-04-11 拡張現実情報表示装置および拡張現実情報表示方法
US15/460,747 US10083546B2 (en) 2016-04-11 2017-03-16 Augmented reality information displaying device and augmented reality information displaying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016079055A JP2017191378A (ja) 2016-04-11 2016-04-11 拡張現実情報表示装置および拡張現実情報表示方法

Publications (1)

Publication Number Publication Date
JP2017191378A true JP2017191378A (ja) 2017-10-19

Family

ID=59998293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016079055A Pending JP2017191378A (ja) 2016-04-11 2016-04-11 拡張現実情報表示装置および拡張現実情報表示方法

Country Status (2)

Country Link
US (1) US10083546B2 (ja)
JP (1) JP2017191378A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017252A (ja) * 2018-07-23 2020-01-30 緯創資通股▲ふん▼有限公司Ｗｉｓｔｒｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 拡張現実感システム及びその色補償方法
WO2021172137A1 (ja) * 2020-02-28 2021-09-02 株式会社Ｎｔｔドコモ コンテンツ共有システム及び端末
JP2022071801A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理装置及び情報処理方法
WO2022190970A1 (ja) * 2021-03-08 2022-09-15 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2024095357A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ 映像システム
WO2024095358A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ 画像表示システム、ディスプレイ装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10854002B2 (en) * 2017-09-08 2020-12-01 Verizon Patent And Licensing Inc. Interactive vehicle window system including augmented reality overlays
WO2019067780A1 (en) 2017-09-28 2019-04-04 Dakiana Research Llc METHOD AND DEVICE FOR REPAIRING INTERACTIONS WITH THE PHYSICAL ENVIRONMENT DURING SIMULATED REALITY SESSIONS
CN108153502B (zh) * 2017-12-22 2021-11-12 长江勘测规划设计研究有限责任公司 基于透明屏幕的手持式增强现实显示方法及装置
US20190230317A1 (en) * 2018-01-24 2019-07-25 Blueprint Reality Inc. Immersive mixed reality snapshot and video clip
WO2019217163A1 (en) 2018-05-08 2019-11-14 Zermatt Technologies Llc Techniques for switching between immersion levels
DE102020115055A1 (de) 2020-06-05 2021-12-09 Mohamad Hamed Jalalzada Vorrichtung und Verfahren zur Darstellung von Erweiterte-Realität-Informationen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234253A (ja) * 2003-01-29 2004-08-19 Canon Inc 複合現実感呈示方法
JP2005098912A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2012068481A (ja) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法
JP2014039234A (ja) * 2012-08-20 2014-02-27 Au Optronics Corp 娯楽表示システム及びその対話型立体表示方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775139B2 (ja) 2006-06-28 2011-09-21 トヨタ自動車株式会社 車輌用表示装置
US20100070175A1 (en) * 2008-09-15 2010-03-18 Navteq North America, Llc Method and System for Providing a Realistic Environment for a Traffic Report
JP5804571B2 (ja) 2010-09-06 2015-11-04 国立大学法人 東京大学 車両システム
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP2013149029A (ja) 2012-01-18 2013-08-01 Sharp Corp 情報処理装置、情報処理方法
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP6225379B2 (ja) 2013-12-23 2017-11-08 日本精機株式会社 車両情報投影システム
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
CN106489177B (zh) * 2014-07-18 2020-06-16 伊奎蒂公司 具有自发光微显示引擎的近眼显示器
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234253A (ja) * 2003-01-29 2004-08-19 Canon Inc 複合現実感呈示方法
JP2005098912A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2012068481A (ja) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法
JP2014039234A (ja) * 2012-08-20 2014-02-27 Au Optronics Corp 娯楽表示システム及びその対話型立体表示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017252A (ja) * 2018-07-23 2020-01-30 緯創資通股▲ふん▼有限公司Ｗｉｓｔｒｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 拡張現実感システム及びその色補償方法
WO2021172137A1 (ja) * 2020-02-28 2021-09-02 株式会社Ｎｔｔドコモ コンテンツ共有システム及び端末
JP2022071801A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理装置及び情報処理方法
JP7122408B2 (ja) 2020-10-28 2022-08-19 株式会社日本総合研究所 情報処理装置及び情報処理方法
JP2022171655A (ja) * 2020-10-28 2022-11-11 株式会社日本総合研究所 情報処理装置及びプログラム
JP7340078B2 (ja) 2020-10-28 2023-09-06 株式会社日本総合研究所 情報処理装置及びプログラム
WO2022190970A1 (ja) * 2021-03-08 2022-09-15 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2024095357A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ 映像システム
WO2024095358A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ 画像表示システム、ディスプレイ装置

Also Published As

Publication number Publication date
US10083546B2 (en) 2018-09-25
US20170294046A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP2017191378A (ja) 拡張現実情報表示装置および拡張現実情報表示方法
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
US9639968B2 (en) Generating an augmented view of a location of interest
US9598013B2 (en) Device and method for displaying head-up display (HUD) information
JP5798392B2 (ja) 駐車支援装置
JP6409337B2 (ja) 表示装置
US20090262145A1 (en) Information display device
US20140267282A1 (en) System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems
US11525694B2 (en) Superimposed-image display device and computer program
WO2017056210A1 (ja) 車両用表示装置
US11567622B2 (en) Navigation application with novel declutter mode
WO2021197190A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
JP2010185761A (ja) ナビゲーションシステム、道路地図表示方法
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
CN114489332A (zh) Ar-hud输出信息的显示方法及系统
JP5007059B2 (ja) 立体視車載表示装置
JP2007230491A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2006347451A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2005313772A (ja) 車両用ヘッドアップ・ディスプレイ装置
US11938863B2 (en) Peripheral image generation device and display control method
JPWO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
JP2010052553A (ja) 車両周囲画像提供装置および車両周囲画像提供方法
JP2020019369A (ja) 車両用表示装置、方法、及びコンピュータ・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105