JP2016171550A - ヘッドマウントディスプレイ装置 - Google Patents
ヘッドマウントディスプレイ装置 Download PDFInfo
- Publication number
- JP2016171550A JP2016171550A JP2015057277A JP2015057277A JP2016171550A JP 2016171550 A JP2016171550 A JP 2016171550A JP 2015057277 A JP2015057277 A JP 2015057277A JP 2015057277 A JP2015057277 A JP 2015057277A JP 2016171550 A JP2016171550 A JP 2016171550A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- image
- user
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 239000000446 fuel Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なHMD装置を提供する。
【解決手段】使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置100である。制御部10は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部20からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させ、通信部60を介してクラウドサーバ200から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器70に取得した前記画像情報に応じた前記表示画像を表示させる。
【選択図】図2
【解決手段】使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置100である。制御部10は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部20からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させ、通信部60を介してクラウドサーバ200から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器70に取得した前記画像情報に応じた前記表示画像を表示させる。
【選択図】図2
Description
本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ(Head Mounted Display;HMD)装置に関する。
従来より、視認者に風景と重ねて虚像を視認させる透過型のHMD装置が知られている(例えば特許文献1参照)。HMD装置は、頭部に装着する表示装置であり、表示器からの表示光を投射光学系や導光体などを用いて使用者に投射し、使用者に表示光が示す表示画像の虚像を視認させるものである。使用者は、HMD装置による虚像を前方の実風景を重ねて視認することができる。また、HMD装置は、拡張現実(Augmented Reality;AR)と称される技術を適用することができる。すなわち、表示画像として実風景に関連するAR画像を表示することで、実風景に情報を付加することができる。
また、HMD装置として、使用者が視認する虚像の結像位置を変更可能な技術が特許文献2及び3に開示されている。特許文献2に開示される技術は、虚像距離制御手段によって表示パネルと拡大光学部材の間隔を機械的に切り換えることで虚像の結像位置を変更するものである。また、特許文献3に開示される技術は、一対の表示駆動部からの表示光により形成される像の射出領域を移動させることで画像処理によって虚像の結像位置を変更するものである。
前述したように、透過型のHMD装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、視認される情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。
本発明は、上記の問題点に鑑みてなされたものであり、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なHMD装置を提供することを目的とする。
本発明のヘッドマウントディスプレイ装置は、前述の課題を解決するために、使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
表示画像を示す表示光を出射する表示器と、
使用者の注視位置を検出する注視位置検出部と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。
表示画像を示す表示光を出射する表示器と、
使用者の注視位置を検出する注視位置検出部と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。
本発明は、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能となる。
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態(図面の内容も含む。)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図1は、本発明の第一の実施形態に係るヘッドマウントディスプレイ装置(以下、HMD装置ともいう)100の概観を示す図であり、図2はHMD装置100の電気的構成を示す図である。
HMD装置100は、制御部10と、注視位置検出部20と、撮像部30と、位置情報取得部40と、状態情報取得部50と、通信部60と、表示器70と、結像位置調整部80と、を備える。
HMD装置100は、使用者Uの頭部に装着される眼鏡型の表示装置である。HMD装置100は、クラウドサーバ(外部サーバ)200と無線通信で接続され、HMD装置100とクラウドサーバ200とからなる表示システムを構成している。クラウドサーバ200には、使用者Uの個人情報や身体情報などの生体情報や、地図情報、後述する第1、第2、第3の表示ゾーンZ1、Z2、Z3にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。HMD装置100は、後述する表示処理によって、クラウドサーバ200から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Uの眼に入射させ、使用者Uに前方の風景と重ねて表示画像の虚像を視認させる。
HMD装置100は、制御部10と、注視位置検出部20と、撮像部30と、位置情報取得部40と、状態情報取得部50と、通信部60と、表示器70と、結像位置調整部80と、を備える。
HMD装置100は、使用者Uの頭部に装着される眼鏡型の表示装置である。HMD装置100は、クラウドサーバ(外部サーバ)200と無線通信で接続され、HMD装置100とクラウドサーバ200とからなる表示システムを構成している。クラウドサーバ200には、使用者Uの個人情報や身体情報などの生体情報や、地図情報、後述する第1、第2、第3の表示ゾーンZ1、Z2、Z3にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。HMD装置100は、後述する表示処理によって、クラウドサーバ200から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Uの眼に入射させ、使用者Uに前方の風景と重ねて表示画像の虚像を視認させる。
制御部10は、例えばマイクロコンピュータからなり、制御部10が実行する処理(HMD装置100全体の制御など)を実際に行うCPU(Central Processing Unit)と、CPUのメインメモリとして機能するRAM(Random Access Memory)と、制御部10に後述の処理などを実行させる各種プログラムを記憶するROM(Read Only Memory)と、制御部10に入出力される情報(信号)をCPU用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部10は、CPUに加えて、制御部10が行う処理の一部をCPUに代わって実行するための各種専用回路(例えば、画像処理回路など)を備えても良い。
制御部10は、図1に示すように、使用者Uの前方に奥行き方向の異なる第1、第2、第3の表示ゾーンZ1、Z2、Z3を仮想的に設定している。
第1の表示ゾーンZ1は、第2の表示ゾーンZ2と第3の表示ゾーンZ3との間に位置する表示ゾーンである。第2の表示ゾーンZ2は、第1の表示ゾーンZ1よりも奥行き側(最も奥行き側)に位置する表示ゾーンである。第3の表示ゾーンZ3は、第1の表示ゾーンZ1よりも使用者U側(最も手前側)に位置する表示ゾーンである。
各表示ゾーンZ1、Z2、Z3の奥行き位置は、任意に設定されるものであるが、図3に示すように、使用者Uが車両Cの運転席に座って車両C前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第3の表示ゾーンZ3は、使用者U(運転者)とインパネC2との間に位置するステアリングC1付近を奥行き位置とする。第1の表示ゾーンZ1は、ステアリングC1よりも奥行き側のインパネC2付近を奥行き位置とする。第2の表示ゾーンZ2は、インパネC2よりも奥行き側の、フロントガラスから視認できる使用者Uから15m先の風景付近を奥行き位置とする。なお、以上の説明は、第1、第2、第3の表示ゾーンZ1、Z2、Z3の奥行き位置の例を説明したものであって、第1、第2、第3の表示ゾーンZ1、Z2、Z3は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Uの顔が向いている先に設定される。
第1の表示ゾーンZ1は、第2の表示ゾーンZ2と第3の表示ゾーンZ3との間に位置する表示ゾーンである。第2の表示ゾーンZ2は、第1の表示ゾーンZ1よりも奥行き側(最も奥行き側)に位置する表示ゾーンである。第3の表示ゾーンZ3は、第1の表示ゾーンZ1よりも使用者U側(最も手前側)に位置する表示ゾーンである。
各表示ゾーンZ1、Z2、Z3の奥行き位置は、任意に設定されるものであるが、図3に示すように、使用者Uが車両Cの運転席に座って車両C前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第3の表示ゾーンZ3は、使用者U(運転者)とインパネC2との間に位置するステアリングC1付近を奥行き位置とする。第1の表示ゾーンZ1は、ステアリングC1よりも奥行き側のインパネC2付近を奥行き位置とする。第2の表示ゾーンZ2は、インパネC2よりも奥行き側の、フロントガラスから視認できる使用者Uから15m先の風景付近を奥行き位置とする。なお、以上の説明は、第1、第2、第3の表示ゾーンZ1、Z2、Z3の奥行き位置の例を説明したものであって、第1、第2、第3の表示ゾーンZ1、Z2、Z3は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Uの顔が向いている先に設定される。
前述のように、クラウドサーバ200には、第1、第2、第3の表示ゾーンZ1、Z2、Z3に関連付けられた情報を示す画像情報が記憶されている。図4は表示ゾーンZ1、Z2、Z3に関連付けられた情報の一例を示すものである。第1の表示ゾーンZ1、第2の表示ゾーンZ2、第3の表示ゾーンZ3は、第3の表示ゾーンZ3、第1の表示ゾーンZ1、第2の表示ゾーンZ2の順に優先度が高い情報が関連付けられている。すなわち、第1の表示ゾーンZ1を基準として、より優先度の低い情報が第2の表示ゾーンZ2に関連付けられており、より優先度が高い情報が第3の表示ゾーンZ3に関連付けられている。第1の表示ゾーンZ1には、2番目に優先度の高い(優先度「中」)、例えば使用者Uの状態(心拍数、脈拍、脳波など)や使用者Uが搭乗する車両C(使用者Uと共に移動する移動体の一例)の状態(走行速度、エンジン回転数、残燃料など)といった使用者U及び使用者と共に移動する移動体に関する情報(第1の情報)が関連付けられている。第2の表示ゾーンZ2には、最も優先度の低い(優先度「低」)、例えば周辺の店舗情報や経路案内情報、ヒヤリハット情報といった風景に重畳して情報を付加するAR情報(第2の情報)が関連付けられている。第3の表示ゾーンZ3には、最も優先度の高い(優先度「高」)、例えば使用者Uの体調不良や車両Cの故障などの警告情報といった緊急度の高い警告状態に関する情報(第3の情報)が関連付けられている。
注視位置検出部20は、視線検出や眼軸測定により使用者Uの注視位置を検出するものである。視線検出の場合は、CCDカメラなどで使用者Uの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置として使用者Uの視線方向を検出する。眼軸測定の場合は、使用者Uの眼球に超音波を照射し、眼の水晶体前面、後面、網膜前面までの距離をエコーの伝搬時間から算出することによって、眼軸長(角膜、前房、水晶体、硝子体の組織の軸長を含んだ眼の角膜前面から網膜前面までの長さ)及び水晶体厚を測定し、その測定結果から注視位置として使用者Uの焦点位置を検出する。注視位置検出部20は、使用者Uの注視位置情報を制御部10に送信する。
撮像部30は、例えばCCDカメラなどからなり、使用者U前方の風景画像を撮像するものである。撮像部30は、使用者U前方の風景画像を撮像した撮像情報を制御部10に送信する。
位置情報取得部40は、例えばGPSアンテナを含み、使用者Uの現在位置を取得するものである。位置情報取得部40は、使用者Uの現在位置を示す位置情報を制御部10に送信する。
状態情報取得部50は、使用者Uの状態を検出する各種センサや使用者Uと共に移動する移動体(車両C)と接続され、使用者Uの状態を示す使用者状態情報や移動体の状態示す移動体状態情報を取得し、制御部10に送信する。なお、使用者Uの状態としては、例えば心拍数、脈拍、脳波などが挙げられる。また、移動体が車両Cである場合、移動体の状態としては、走行速度、エンジン回転数、残燃料、走行距離などが挙げられる。
通信部60は、クラウドサーバ200との間で無線通信を行う送信部及び受信部からなり、制御部10からの注視位置情報、後述する特定表示ゾーン情報、撮像情報、位置情報、状態情報等の各種情報をクラウドサーバ200に送信し、クラウドサーバ200から画像情報を受信し、制御部10に送信する。
表示器70は、例えばTFT型の液晶表示器や有機EL表示器からなり、所定の表示画像を表示して、表示画像を表す表示光を出射するものである。
結像位置調整部80は、使用者Uに視認される表示画像の虚像の結像位置を変更可能とするものである。具体的には、一例として、表示器70から使用者Uまでの表示光の光路長を変更するべく、表示器70を移動させて表示器70と図示しないレンズとの間の距離を変更可能とするモータなどから構成される。また、表示器70とレンズとの間に光学部材が設けられる場合は、この光学部材の位置を変更するものであってもよい。さらに、結像位置の調整として、画像処理を行うものであってもよく、左右の視差によって結像位置を変更するために左右の眼に入射させる画像の位置を調整するものや、任意の焦点距離で画像が鮮明に視認されるように画像をぼかして表示するものであってもよい。この場合、制御部10が結像位置調整部80を兼ねても良い。したがって、結像位置の調整、変更には使用者Uの錯覚による場合も含む。
次に、図5を用いてHMD装置100の注視位置に基づく通常表示処理について説明する。
まず、ステップS101において、制御部10は、注視位置検出部20から使用者Uの注視位置を示す注視位置情報を取得する。なお、情報の取得には、受信する場合のほか受信した情報に基づいて算出する場合を含む。
次に、ステップS102において、制御部10は、注視位置情報に基づいて第1、第2、第3の表示ゾーンZ1、Z2、Z3のうちから、使用者Uが注視している表示ゾーン(以下、注視表示ゾーンともいう)を特定する。具体的に、制御部10は、奥行き位置が最も注視位置に近い表示ゾーンを注視表示ゾーンに特定する。なお、注視位置情報に基づいて、注視表示ゾーンがないと判断する場合を含んでもよい。
また、ステップS103において、制御部10は、撮像部30から使用者U前方の風景画像を撮像した撮像情報を取得する。
また、ステップS104において、制御部10は、位置情報取得部40から使用者Uの現在位置を示す位置情報を取得する。
また、ステップS105において、制御部10は、状態情報取得部50から使用者U及び使用者Uと共に移動する移動体の状態を示す使用者状態情報及び移動体状態情報(以下、まとめて状態情報ともいう)を取得する。
次に、ステップS106において、制御部10は、ステップS101、S103〜S105で取得した注視位置情報、撮像情報、状態情報に基づいて、新たに警告状態が発生したか否かを判定する。なお、本実施形態における警告状態とは、第3の表示ゾーンZ3に表示する、緊急度の高い情報が示す内容が発生した状態を意味している。制御部10は、上述の情報の他にも外部から警告状態の発生を示す情報を受信して、新たに警告状態が発生したか否かを判定してもよい。ステップS106において新たに警告状態が発生していないと判定されると(ステップS106;No)、制御部10はステップS107以降の処理を実行し、新たに警告状態が発生したと判定されると(ステップS106;Yes)、制御部はステップS111の警告表示処理を実行する。警告表示処理については後で詳述する。
ステップS107において、制御部10は、ステップS102で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップS101、S103〜S105で取得した注視位置情報、撮像情報、状態情報を通信部60を介してクラウドサーバ200に送信する。
HMD装置100(の通信部60)からこれらの情報を受信したクラウドサーバ200は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第1の表示ゾーンZ1である場合、クラウドサーバ200は、抽出する情報の種別を第1の表示ゾーンZ1に関連付けられた「使用者U及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報(例えば状態情報の値や程度を表す数字、文字、図柄など)を抽出する。また、注視表示ゾーンが第2の表示ゾーンZ2である場合、クラウドサーバ200は、抽出する情報の種別を第2の表示ゾーンZ2に関連付けられた「風景に重畳するAR情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報(例えば、使用者Uの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報)を抽出する。また、注視表示ゾーンが第3の表示ゾーンZ3である場合、クラウドサーバ200は、抽出する情報の種別を第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報(例えば使用者Uの体調不良や移動体の故障、不調を報知する文字、図柄など)を抽出する。クラウドサーバ200は、抽出した画像情報をHMD装置100に送信する。
HMD装置100(の通信部60)からこれらの情報を受信したクラウドサーバ200は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第1の表示ゾーンZ1である場合、クラウドサーバ200は、抽出する情報の種別を第1の表示ゾーンZ1に関連付けられた「使用者U及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報(例えば状態情報の値や程度を表す数字、文字、図柄など)を抽出する。また、注視表示ゾーンが第2の表示ゾーンZ2である場合、クラウドサーバ200は、抽出する情報の種別を第2の表示ゾーンZ2に関連付けられた「風景に重畳するAR情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報(例えば、使用者Uの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報)を抽出する。また、注視表示ゾーンが第3の表示ゾーンZ3である場合、クラウドサーバ200は、抽出する情報の種別を第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報(例えば使用者Uの体調不良や移動体の故障、不調を報知する文字、図柄など)を抽出する。クラウドサーバ200は、抽出した画像情報をHMD装置100に送信する。
次に、ステップS108において、制御部10は、通信部60を介してクラウドサーバ200が抽出した画像情報を受信する。なお、HMD装置100は、クラウドサーバ200から各表示ゾーンZ1〜Z3に関連付けられた情報を示す画像情報の一部を予め受信して内部の記憶部(図示しない)に記憶しておき、ステップS102で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップS101、S103〜S105で取得した注視位置情報、撮像情報、状態情報に基づいて記憶部から注視表示ゾーンに関連付けられた情報のうち表示するべき画像情報を読み出してもよい。
次に、ステップS109において、制御部10は、ステップS102で特定した注視表示ゾーンの奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させる。
次に、ステップS110において、制御部10は、表示器70にステップS107でクラウドサーバ200から受信した画像情報に応じた表示画像を表示させる(表示画像を更新させる)。
以上の処理を繰り返し実行することによって、HMD装置100は、使用者Uの注視位置に応じて、注視位置に関連する情報を虚像として使用者Uに視認させることができる。これにより、使用者Uが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Uが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
図6は、使用者Uが車両Cを運転している場合のHMD装置100の表示例を示すものである。なお、図6では使用者Uに視認される表示画像の虚像を示している。図6(a)は、注視表示ゾーンが第1の表示ゾーンZ1である場合の例を示す。図6(a)に示す例では、使用者U及び移動体に関する情報として、車両Cの走行速度(60Km/h)と使用者Uの脈拍(80bpm)を示す表示画像が表示器70に表示され、その表示画像の虚像V1が使用者Uに視認される。図6(b)は、注視表示ゾーンが第2の表示ゾーンZ2である場合の例を示す。図6(b)に示す例では、風景に重畳するAR情報として、経路案内マーク(矢印マーク)と駐車場マーク(「P」を含むアイコン)を示す表示画像が表示器70に表示され、その表示画像の虚像V2が使用者Uに視認される。図6(c)は、注視表示ゾーンが第3の表示ゾーンZ3である場合の例を示す。図6(c)に示す例では、緊急度の高い警告状態に関する情報として、残燃料の減少(警告状態)を報知するテキストメッセージ(「燃料減少。給油してください。」なる文字)を示す表示画像が表示器70に表示され、その表示画像の虚像V3が使用者Uに視認される。
図7は、使用者Uが車両Cを運転している場合のHUD装置100の他の表示例を示すものである。他の表示例では、ステップS101で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像が注視位置P近傍に位置する情報をその虚像が使用者Uの注視位置P近傍よりも外側に位置する情報に対して強調されるように表示器70に表示画像が表示される。本実施形態においては、制御部10は、注視位置情報と表示器70に表示される表示画像における情報の位置とから、その虚像の少なくとも一部が使用者Uの注視位置Pを含む注視領域Eの内側に位置すると判断される場合に使用者Uの注視位置P近傍に位置すると判断し、その虚像が注視領域Eの外側に位置すると判断される場合に使用者Uの注視位置P近傍の外側に位置すると判断する。なお、注視領域Eは注視位置Pを中心として車両Cの水平方向(使用者Uの前後方向に対して垂直な方向)に広がる円状の範囲である。なお、図7では使用者Uに視認される表示画像の虚像を示している。図7は、注視表示ゾーンが第2の表示ゾーンZ2である場合の例を示す。図7に示す例では、風景に重畳するAR情報として、経路案内マーク(矢印マーク)と駐車場マーク(「P」を含むアイコン)を含む表示画像が表示器70に表示され、その表示画像の虚像V22が使用者Uに視認される。さらに、表示画像に含まれるAR情報のうち、経路案内マークはその虚像の一部が注視領域Eの内側に位置し、駐車場マークはその虚像が注視領域Eの外側に位置しており、経路案内マークが駐車場マークよりも強調されている表示画像が表示器70に表示される。ここで、特定の情報を他の情報よりも強調するとは、特定の情報が他の情報よりも鮮明に使用者Uに視認されることを意味し、その具体的な方法としては、特定の情報の表示輝度を他の情報よりも高くする、表示色を異ならせるなどのほか、他の情報の表示輝度を下げる、他の情報の表示色をカラーからモノクロ(白黒)とする、他の情報をぼかして表示する(ピントをずらす)など他の情報の視認性を強調する特定の情報よりも低下させて相対的に強調する方法がある。なお、かかる他の表示例では、注視表示ゾーンが第1、第3の表示ゾーンZ1、Z3である場合も同様に、ステップS101で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像の少なくとも一部が使用者Uの注視位置Pを含む注視領域Eの内側、すなわち注視位置P近傍に位置する情報をその虚像が使用者Uの注視領域Eよりも外側に位置する情報に対して強調されるように表示器70に表示画像が表示され、その虚像が使用者Uに視認される。
次に、ステップS111における警告表示処理について図8を用いて説明する。
まず、ステップS121において、制御部10は、警告状態の発生を示す警告状態発生情報、ステップS101、S103〜S105で取得した注視位置情報、撮像情報、状態情報を通信部60を介してクラウドサーバ200に送信する。
HMD装置100(の通信部60)からこれらの情報を受信したクラウドサーバ200は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第3の表示ゾーンZ3に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ200は、抽出する情報の種別を第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報(新たに発生した警告状態に関する画像情報)を抽出する。クラウドサーバ200は、抽出した画像情報をHMD装置100に送信する。
まず、ステップS121において、制御部10は、警告状態の発生を示す警告状態発生情報、ステップS101、S103〜S105で取得した注視位置情報、撮像情報、状態情報を通信部60を介してクラウドサーバ200に送信する。
HMD装置100(の通信部60)からこれらの情報を受信したクラウドサーバ200は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第3の表示ゾーンZ3に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ200は、抽出する情報の種別を第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報(新たに発生した警告状態に関する画像情報)を抽出する。クラウドサーバ200は、抽出した画像情報をHMD装置100に送信する。
次に、ステップS122において、制御部10は、通信部60を介してクラウドサーバ200が抽出した画像情報を受信する。このとき、クラウドサーバ200から受信する画像情報は、第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報となる。
次に、ステップS123において、制御部10は、第3の表示ゾーンZ3の奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させる。
次に、ステップS124において、制御部10は、表示器70にステップS107でクラウドサーバ200から受信した、第3の表示ゾーンZ3に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報に応じた表示画像を表示させる(表示画像を更新させる)。
以上の処理を実行することによって、HMD装置100は、警告状態が新たに発生した場合には、使用者Uの注視位置に係わらず、優先順位の高い情報を虚像として使用者Uに視認させることができる。これにより、新たに発生した優先順位の高い情報が使用者Uに近い結像位置で自動的に表示されるため、使用者Uが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。なお、警告状態が継続する場合、制御部10は、ステップS101からの処理を繰り返し実行することで、再び使用者Uの注視表示ゾーンに関連付けられた情報を示す表示画像の表示を行う。すなわち、使用者Uの注視位置が第3の表示ゾーンZ3に維持されない場合は、虚像の結像位置が他の表示ゾーンに移動し、また、視認される虚像はその表示内容が緊急度の高い警告状態に関する情報から使用者Uの注視表示ゾーンに関連付けられた情報に切り替わることとなる。
図9は、使用者Uが車両Cを運転している場合のHMD装置100の警告表示処理による表示例を示すものである。なお、図8においては使用者Uに視認される表示画像の虚像を示している。図9(a)に示す第1の例では、警告表示処理により、使用者Uの注視位置に応じた情報の表示に替えて、緊急度の高い警告状態に関する情報(残燃料の減少を報知するテキストメッセージ(「燃料減少。給油してください。」なる文字))のみを含む表示画像が表示器70に表示され、その表示画像の虚像V4が使用者Uに視認される。図9(b)に示す第2の例では、警告表示処理により、使用者Uの注視表示ゾーンに関連付けられた情報の表示(風景に重畳するAR情報(経路案内マーク(矢印マーク)及び駐車場マーク(「P」を含むアイコン))に、緊急度の高い警告状態に関する情報(残燃料の減少を報知するテキストメッセージ(「燃料減少。給油してください。」なる文字))が使用者U側となるように重なり、かつ緊急度の高い警告状態に関する情報が使用者Uの注視表示ゾーンに関連付けられた情報よりも強調されている表示画像が表示器70に表示され、その表示画像の虚像V5が使用者Uに視認される。情報を強調する具体的な方法としては、その表示輝度を他の情報よりも高くする、表示色を異ならせるなど前述の方法が用いられる。図9(c)に示す第3の例では、警告表示処理により、使用者Uの注視表示ゾーンに関連付けられた情報の表示(風景に重畳するAR情報(経路案内マーク(矢印マーク)及び駐車場マーク(「P」を含むアイコン))に、緊急度の高い警告状態に関する情報(残燃料の減少を報知するテキストメッセージ(「燃料減少。給油してください。」なる文字))が使用者U側となるように重なり、かつ、使用者Uの注視表示ゾーンに関連付けられた情報が緊急度の高い警告状態に関する情報よりも視認性を下げられた表示画像が表示器70に表示され、その表示画像の虚像V6が使用者Uに視認される。情報の視認性を下げる具体的な方法としては、その表示輝度を他の情報よりも低くする、彩度及び/あるいは明度を下げる、表示をぼかす(ピントをずらす)、一部(例えば緊急度の高い警告状態に関する情報と重なる部分及び周辺部分)を非表示とする、大きさを縮小するなどの方法がある。さらに、図9(d)に示す例の表示画像の虚像V7のように、情報の視認性を下げる方法として、使用者Uの注視表示ゾーンに関連付けられた情報を緊急度の高い警告状態に関する情報と重ならない表示位置に移動させてもよい。
本実施形態におけるHMD装置100は、使用者Uに風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、使用者Uの注視位置を検出する注視位置検出部20と、表示画像を示す表示光を出射する表示器70と、クラウドサーバ200と通信可能な通信部60と、通信部60を介してクラウドサーバ200から取得した画像情報に応じた表示画像を表示器70に表示させる制御部10と、前記表示光によって使用者Uに視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部80と、を備え、
制御部10は、使用者U前方に奥行き方向の位置が異なる複数の表示ゾーンZ1、Z2、Z3を仮想的に設定し、注視位置検出部20からの注視位置情報に基づいて使用者Uが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させ、通信部60を介してクラウドサーバ200から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器70に取得した前記画像情報に応じた前記表示画像を表示させる。
制御部10は、使用者U前方に奥行き方向の位置が異なる複数の表示ゾーンZ1、Z2、Z3を仮想的に設定し、注視位置検出部20からの注視位置情報に基づいて使用者Uが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部80を駆動させ、通信部60を介してクラウドサーバ200から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器70に取得した前記画像情報に応じた前記表示画像を表示させる。
これによれば、使用者Uが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Uが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。
また、HMD装置100は、複数の表示ゾーンとして、第1の表示ゾーンZ1とこの第1の表示ゾーンZ1よりも奥行き側に位置する第2の表示ゾーンZ2が設定され、
クラウドサーバ200において、第1の表示ゾーンZ1に関連付けられて使用者U及び/あるいは使用者Uと共に移動する移動体(車両C)に関する第1の情報が記憶されており、第2の表示ゾーンZ2に関連付けられて風景に重畳する第2の情報が記憶されている。
またさらに、HMD装置100は、複数の表示ゾーンとして、さらに第1の表示ゾーンZ1よりも手前側に位置する第3の表示ゾーンZ3が設定され、
クラウドサーバ200において、第3の表示ゾーンZ3に関連付けられて警告状態に関する第3の情報が記憶されている。
これによれば、使用者Uが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Uが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。
クラウドサーバ200において、第1の表示ゾーンZ1に関連付けられて使用者U及び/あるいは使用者Uと共に移動する移動体(車両C)に関する第1の情報が記憶されており、第2の表示ゾーンZ2に関連付けられて風景に重畳する第2の情報が記憶されている。
またさらに、HMD装置100は、複数の表示ゾーンとして、さらに第1の表示ゾーンZ1よりも手前側に位置する第3の表示ゾーンZ3が設定され、
クラウドサーバ200において、第3の表示ゾーンZ3に関連付けられて警告状態に関する第3の情報が記憶されている。
これによれば、使用者Uが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Uが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。
また、HMD装置100において、制御部10は、取得した前記画像情報に応じた前記表示画像を表示器70に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が使用者Uの注視位置P近傍に位置する情報をその虚像が使用者Uの注視位置P近傍よりも外側に位置する情報に対して強調されるように表示器70に前記表示画像を表示させる。
これによれば、使用者Uが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
これによれば、使用者Uが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
また、HMD装置100において、制御部10は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を第3の表示ゾーンZ3の奥行き位置に一致するように結像位置調整部80を駆動させ、通信部60を介してクラウドサーバ200から前記第3の情報を示す画像情報を取得して、表示器70に取得した前記第3の情報を示す画像情報に応じた前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
また、HMD装置100において、制御部10は、前記警告状態が発生したと判定し、表示器70に前記第3の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第3の情報とを含み、かつ、前記第3の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Uが使用者Uの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Uが使用者Uの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
また、HMD装置100において、制御部10は、前記警告状態が発生したと判定し、表示器70に前記第3の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第3の情報とを含み、かつ、前記情報が前記第3の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Uが使用者Uの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Uが使用者Uの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ装置に好適である。
100 ヘッドマウントディスプレイ装置(HMD装置)
10 制御部
20 注視位置検出部
30 撮像部
40 位置情報取得部
50 状態情報取得部
60 通信部
70 表示器
80 結像位置調整部
C 車両
U 使用者
V1〜V7、V22 表示画像の虚像
10 制御部
20 注視位置検出部
30 撮像部
40 位置情報取得部
50 状態情報取得部
60 通信部
70 表示器
80 結像位置調整部
C 車両
U 使用者
V1〜V7、V22 表示画像の虚像
Claims (7)
- 使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
使用者の注視位置を検出する注視位置検出部と、
表示画像を示す表示光を出射する表示器と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とするヘッドマウントディスプレイ装置。 - 前記複数の表示ゾーンとして、第1の表示ゾーンとこの第1の表示ゾーンよりも奥行き側に位置する第2の表示ゾーンが設定され、
前記外部サーバにおいて、前記第1の表示ゾーンに関連付けられて使用者及び/あるいは使用者と共に移動する移動体に関する第1の情報が記憶されており、前記第2の表示ゾーンに関連付けられて風景に重畳する第2の情報が記憶されている、ことを特徴とする請求項1に記載のヘッドマウントディスプレイ装置。 - 前記複数の表示ゾーンとして、さらに前記第1の表示ゾーンよりも手前側に位置する第3の表示ゾーンが設定され、
前記外部サーバにおいて、前記第3の表示ゾーンに関連付けられて警告状態に関する第3の情報が記憶されている、ことを特徴とする請求項2に記載のヘッドマウントディスプレイ装置。 - 前記制御部は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を前記第3の表示ゾーンの奥行き位置に一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから前記第3の情報を示す画像情報を取得して、前記表示器に取得した前記第3の情報を示す画像情報に応じた前記表示画像を表示させる、ことを特徴とする請求項3に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第3の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第3の情報とを含み、かつ、前記第3の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項4に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第3の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第3の情報とを含み、かつ、前記情報が前記第3の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項4に記載のヘッドマウントディスプレイ装置。
- 前記制御部は、取得した前記画像情報に応じた前記表示画像を前記表示器に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が前記使用者の注視位置近傍に位置する情報をその虚像が前記使用者の注視位置近傍よりも外側に位置する情報に対して強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項1または請求項2に記載のヘッドマウントディスプレイ装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/557,351 US10288882B2 (en) | 2015-03-12 | 2016-03-07 | Head mounted display device |
PCT/JP2016/057008 WO2016143744A1 (ja) | 2015-03-12 | 2016-03-07 | ヘッドマウントディスプレイ装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015049921 | 2015-03-12 | ||
JP2015049921 | 2015-03-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016171550A true JP2016171550A (ja) | 2016-09-23 |
JP6443677B2 JP6443677B2 (ja) | 2018-12-26 |
Family
ID=56982603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015057277A Active JP6443677B2 (ja) | 2015-03-12 | 2015-03-20 | ヘッドマウントディスプレイ装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10288882B2 (ja) |
JP (1) | JP6443677B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019095214A (ja) * | 2017-11-17 | 2019-06-20 | アイシン・エィ・ダブリュ株式会社 | 重畳画像表示装置及びコンピュータプログラム |
JP2019119357A (ja) * | 2018-01-09 | 2019-07-22 | アルパイン株式会社 | 表示システム |
JP2019159076A (ja) * | 2018-03-13 | 2019-09-19 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
WO2021192673A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | 表示装置及び表示方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11037532B2 (en) * | 2016-02-08 | 2021-06-15 | Sony Corporation | Information processing apparatus and information processing method |
US10908279B2 (en) * | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
US10339933B2 (en) * | 2016-05-11 | 2019-07-02 | International Business Machines Corporation | Visualization of audio announcements using augmented reality |
EP3584120B1 (en) * | 2017-02-17 | 2021-04-14 | Sumitomo Heavy Industries, Ltd. | Work machine surroundings monitoring system |
JP2018151851A (ja) * | 2017-03-13 | 2018-09-27 | セイコーエプソン株式会社 | 透過型表示装置、表示制御方法、およびコンピュータープログラム |
US11188944B2 (en) | 2017-12-04 | 2021-11-30 | At&T Intellectual Property I, L.P. | Apparatus and methods for adaptive signage |
JP7043845B2 (ja) * | 2018-01-17 | 2022-03-30 | トヨタ自動車株式会社 | 車両用表示連携制御装置 |
CN108399903B (zh) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | 一种成像位置的调节方法及装置、平视显示系统 |
DE102018219481A1 (de) * | 2018-11-15 | 2020-05-20 | Robert Bosch Gmbh | Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor |
US11703590B2 (en) * | 2018-11-19 | 2023-07-18 | Suteng Innovation Technology Co., Ltd. | Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same |
JP7201486B2 (ja) * | 2019-03-13 | 2023-01-10 | 日立建機株式会社 | 作業機械 |
DE102019127170A1 (de) * | 2019-10-09 | 2021-04-15 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel und Anordnung zur Information eines Anwenders eines Fortbewegungsmittels |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
KR20210091580A (ko) * | 2020-01-14 | 2021-07-22 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 방법 |
DE102020207314A1 (de) * | 2020-06-11 | 2021-12-16 | Volkswagen Aktiengesellschaft | Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014066927A (ja) * | 2012-09-26 | 2014-04-17 | Seiko Epson Corp | 映像表示システムおよび頭部装着型表示装置 |
JP2014225727A (ja) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10262165A (ja) | 1997-03-19 | 1998-09-29 | Sony Corp | 映像表示装置およびパソコン |
US9100640B2 (en) * | 2010-08-27 | 2015-08-04 | Broadcom Corporation | Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information |
JP2012244396A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US9147111B2 (en) * | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
JP6119228B2 (ja) | 2012-12-13 | 2017-04-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP6225546B2 (ja) | 2013-08-02 | 2017-11-08 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 |
-
2015
- 2015-03-20 JP JP2015057277A patent/JP6443677B2/ja active Active
-
2016
- 2016-03-07 US US15/557,351 patent/US10288882B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014066927A (ja) * | 2012-09-26 | 2014-04-17 | Seiko Epson Corp | 映像表示システムおよび頭部装着型表示装置 |
JP2014225727A (ja) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019095214A (ja) * | 2017-11-17 | 2019-06-20 | アイシン・エィ・ダブリュ株式会社 | 重畳画像表示装置及びコンピュータプログラム |
JP2019119357A (ja) * | 2018-01-09 | 2019-07-22 | アルパイン株式会社 | 表示システム |
JP6993068B2 (ja) | 2018-01-09 | 2022-01-13 | アルパイン株式会社 | 表示システム |
JP2019159076A (ja) * | 2018-03-13 | 2019-09-19 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
JP7087481B2 (ja) | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
US11536964B2 (en) | 2018-03-13 | 2022-12-27 | Seiko Epson Corporation | Head-mounted display apparatus, display control method, and computer program |
WO2021192673A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | 表示装置及び表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6443677B2 (ja) | 2018-12-26 |
US10288882B2 (en) | 2019-05-14 |
US20180239136A1 (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6443677B2 (ja) | ヘッドマウントディスプレイ装置 | |
US20140098008A1 (en) | Method and apparatus for vehicle enabled visual augmentation | |
US20230249618A1 (en) | Display system and display method | |
JP4970379B2 (ja) | 車両用表示装置 | |
JP4501778B2 (ja) | 車両用情報表示方法及び車両用情報表示装置 | |
JP2015015708A (ja) | 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 | |
JP4367212B2 (ja) | 虚像表示装置およびプログラム | |
JP2014068331A (ja) | 立体表示装置及びその表示方法 | |
JP6620977B2 (ja) | 表示制御装置、投影装置、および表示制御プログラム | |
JP2021121536A (ja) | 制御装置、画像表示方法及びプログラム | |
JP5008611B2 (ja) | 車両用表示装置 | |
JP2018041011A (ja) | 表示装置 | |
JP2011128799A (ja) | 運転者状態推定装置及び運転者状態推定方法 | |
JP2017009406A (ja) | 車両用表示システム | |
JP2017167623A (ja) | 情報表示装置、情報表示方法及びプログラム | |
CN108885802B (zh) | 信息处理装置、信息处理方法和存储介质 | |
JP6485310B2 (ja) | 情報提供システム、情報提供方法及びコンピュータプログラム | |
WO2016143744A1 (ja) | ヘッドマウントディスプレイ装置 | |
JP2018041010A (ja) | 表示装置 | |
JP2018042166A (ja) | 表示装置 | |
JP2018041008A (ja) | 表示装置 | |
JP2018039444A (ja) | 車両用表示装置 | |
JP2018041009A (ja) | 表示装置 | |
JP2016081465A (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 | |
JP2016085316A (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6443677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |