JP2019159076A - 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム - Google Patents

頭部装着型表示装置、表示制御方法、およびコンピュータープログラム Download PDF

Info

Publication number
JP2019159076A
JP2019159076A JP2018045023A JP2018045023A JP2019159076A JP 2019159076 A JP2019159076 A JP 2019159076A JP 2018045023 A JP2018045023 A JP 2018045023A JP 2018045023 A JP2018045023 A JP 2018045023A JP 2019159076 A JP2019159076 A JP 2019159076A
Authority
JP
Japan
Prior art keywords
display
distance
image
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018045023A
Other languages
English (en)
Other versions
JP7087481B2 (ja
Inventor
由貴 藤巻
Yuki Fujimaki
由貴 藤巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018045023A priority Critical patent/JP7087481B2/ja
Priority to CN201910183333.5A priority patent/CN110275297B/zh
Priority to US16/299,568 priority patent/US10838215B2/en
Publication of JP2019159076A publication Critical patent/JP2019159076A/ja
Priority to US17/070,397 priority patent/US11536964B2/en
Application granted granted Critical
Publication of JP7087481B2 publication Critical patent/JP7087481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/33Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/642Disposition of sound reproducers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type

Abstract

【課題】頭部装着型表示装置において、輻輳角のずれ、および焦点距離のずれに起因する光学的不整合を低減する。【解決手段】頭部装着型表示装置であって、予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部と、隣り合う2つの焦点距離の間に存在する表示対象物を表す表示オブジェクトを、仮想画面に表示させるための距離別表示画像を生成する距離別画像生成部と、生成された各距離別表示画像を、隣り合う2つの焦点距離のうち、頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する仮想画面に表示させる表示制御部と、を備える、頭部装着型表示装置。【選択図】図11

Description

本発明は、頭部装着型表示装置に関する。
頭部に装着されて使用者の視野領域内に画像等を表示する頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))として、装着時に表示画像とともに外界の風景を透過視認できる透過型の頭部装着型表示装置が知られている。透過型の頭部装着型表示装置において外界の風景と表示画像とを重畳して表示させる場合に、外界の風景と表示画像との輻輳角のずれ、および焦点距離のずれに起因する光学的不整合が生じて、目の疲れや違和感を使用者に与えてしまうことがある。このため、従来、透過型の頭部装着型表示装置における光学的不整合を低減する技術が種々提案されている。例えば、特許文献1には、透過型の頭部装着型表示装置の使用者の注視点距離にあわせて映像表示ユニットの輻輳角を変更する技術が提案されている。
特開2010−139589号公報
しかしながら、特許文献1に記載の技術は、焦点距離に関する十分な工夫がなされていないのが実情である。例えば、特許文献1に記載の映像表示ユニットを、使用者の注視点距離に合わせて使用者の視線方向に移動させる場合において、注視点距離の異なる位置に存在する複数の表示対象物の表示画像を同時に表示させることができないという問題や、使用者の注視点が移動した場合に表示の遅延が生じるという問題がある。このような課題は、透過型の頭部装着型表示装置に限らず、外界の風景の透過が遮断される頭部装着型表示装置においても共通する。
本発明の一実施形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部と;隣り合う2つの前記焦点距離の間に存在する表示対象物を表す表示オブジェクトを、前記仮想画面に表示させるための距離別表示画像を生成する距離別画像生成部と;生成された各前記距離別表示画像を、前記隣り合う2つの焦点距離のうち、前記頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する前記仮想画面に表示させる表示制御部と;を備える。
本発明の実施形態としての頭部装着型表示装置の概略構成を示す説明図である。 表示部が備える光学系の構成を示す要部平面図である。 右光学系の詳細構成を模式的に示す説明図である。 使用者から見た表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 HMDの構成を機能的に示すブロック図である。 制御装置の構成を機能的に示すブロック図である。 HMDによる拡張現実感表示の一例を示す説明図である。 表示オブジェクトの一例を模式的に示す説明図である。 表示オブジェクトの表示距離を模式的に示す説明図である。 表示制御処理の処理手順を示すフローチャートである。 3DCGオブジェクトマップを模式的に示す説明図である。 ステップS130実行後の使用者の視界を模式的に示す説明図である。 第1距離別表示画像を注視した場合における使用者の視界を模式的に示す説明図である。 第2距離別表示画像を注視した場合における使用者の視界を模式的に示す説明図である。 第3距離別表示画像を注視した場合における使用者の視界を模式的に示す説明図である。 第2実施形態における表示オブジェクトの表示距離を模式的に示す説明図である。 第2実施形態における表示制御処理の処理手順を示すフローチャートである。 ステップS135実行後の使用者の視界を模式的に示す説明図である。 第3実施形態における表示制御処理の処理手順を示すフローチャートである。 ステップS135a実行後の使用者の視界を模式的に示す説明図である。
A.第1実施形態:
A1.頭部装着型表示装置の全体構成:
図1は、本発明の実施形態としての頭部装着型表示装置100の概略構成を示す説明図である。頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。
HMD100は、使用者に画像を視認させる表示部20と、表示部20を制御する制御装置10とを備えている。
表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。本実施形態において、表示部20には、予め定められた複数の焦点距離ごとに仮想画面が設定されている。表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する支持体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に表示部20を保持する。ここで、前部フレーム27の両端部のうち、表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、表示部20の装着状態における使用者の左側頭部の近傍に位置する。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって、自身を透過して視認される外界の風景ともに、画像(拡張現実感(Augmented Reality、AR)画像)を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外界(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61は、制御機能部150(図7)の制御に従って撮像を実行し、得られた撮像データを制御機能部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、HMD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーは、カメラ61と同様に、制御機能部150の指示に従って測距し、検出結果を制御機能部150へ出力する。
図2は、表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに画像(AR画像)を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。なお、図2では、右光学系251の詳細構成の図示を省略している。
OLEDユニット221は、画像光を発する。OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、後述の制御機能部150(図7)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217(図6)が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
図3は、右光学系251の詳細構成を模式的に示す説明図である。右光学系251は、複数の焦点距離ごとに光学系SL、MLおよびLLと、プリズムPSMと、投写レンズL1とを備える。OLEDユニット221が発する画像光Lは、各光学系SL、MLおよびLLで焦点距離が変更されて、プリズムPSMおよび投写レンズL1を介して右導光板26へと導かれる。本実施形態では、焦点距離として、「第1焦点距離」、「第2焦点距離」、「第3焦点距離」の3段階の距離が予め定められている。
各光学系SL、MLおよびLLは、互いに同様な構成を有する。具体的には、近距離光学系SLは、コリメートレンズSL1と、焦点距離変更レンズSL2とを備える。コリメートレンズSL1は、図2に示すOLEDパネル223側に配置され、焦点距離変更レンズSL2は、図3に示すプリズムPSM側に配置されている。コリメートレンズSL1と焦点距離変更レンズSL2とは、互いに並んで配置されている。コリメートレンズSL1は、OLEDユニット221から射出された画像光Lを平行状態の光束にして、焦点距離変更レンズSL2へ入射させる。焦点距離変更レンズSL2は、画像光Lの焦点距離を第1焦点距離に変更して、焦点距離が変更された画像光LをプリズムPSMへ入射させる。本実施形態において、第1焦点距離は、50センチメートルに設定されている。
中距離光学系MLは、コリメートレンズML1と、焦点距離変更レンズML2と、を備える。各レンズML1およびML2の構成は、近距離光学系SLの各レンズSL1およびSL2と同様である。OLEDユニット221から射出された画像光Lは、コリメートレンズML1において平行状態の光束にされて、焦点距離変更レンズML2に入射する。焦点距離変更レンズML2は、画像光Lの焦点距離を第2焦点距離に変更して、焦点距離が変更された画像光LをプリズムPSMへ入射させる。本実施形態において、第2焦点距離は、1メートルに設定されている。
遠距離光学系LLは、コリメートレンズLL1と、焦点距離変更レンズLL2とを備える。各レンズLL1およびLL2の構成は、近距離光学系SLの各レンズSL1およびSL2と同様である。OLEDユニット221から射出された画像光Lは、コリメートレンズLL1において平行状態の光束にされて、焦点距離変更レンズLL2に入射する。焦点距離変更レンズLL2は、画像光Lの焦点距離を第3焦点距離に変更して、焦点距離が変更された画像光LをプリズムPSMへ入射させる。本実施形態において、第3焦点距離は、2メートルに設定されている。
プリズムPSMは、各光学系SL、MLおよびLLから射出された画像光Lを投写レンズL1に入射させる。プリズムPSMは、いわゆるクロスダイクロイックプリズムであり、互いの直角面が貼り合わされた4つの直角プリズムで構成されている。プリズムPSMの中心には、第1反射膜m1と、第2反射膜m2とが十字状に形成されている。第1反射膜m1は、中距離光学系MLから射出された画像光Lのみを投写レンズL1の方向へ全反射させる。第1反射膜m1は、近距離光学系SLおよび遠距離光学系LLから射出された画像光Lを反射させない。第2反射膜m2は、遠距離光学系LLから射出された画像光Lのみを投写レンズL1の方向へ全反射させる。第2反射膜m2は、近距離光学系SLおよび中距離光学系MLから射出された画像光Lを反射させない。近距離光学系SLから射出された画像光Lは、第1反射膜m1および第2反射膜m2を通過して、そのまま投写レンズL1に入射する。
投写レンズL1は、プリズムPSMから射出された焦点距離が互いに異なる複数の画像光Lを平行状態の光束にして右導光板26へ射出する。なお、投写レンズL1は、省略してもよい。
上述のように、OLEDユニット221から射出された画像光Lを各光学系SL、MLおよびLLと、プリズムPSMとを利用して右導光板26へと導くことにより、表示部20において第1焦点距離、第2焦点距離、および第3焦点距離ごとに仮想画面を設定できる。以降の説明では、第1焦点距離に対応する仮想画面を第1仮想画面、第2焦点距離に対応する仮想画面を第2仮想画面、および第3焦点距離に対応する仮想画面を第3仮想画面と呼ぶ。
右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に画像を視認させる。
左眼LEに画像(AR画像)を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239(図6)が実装される。また、左光学系252の詳細は上述の右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外界の風景(実世界)が見えると共に、この外界に重なるようにして画像光Lによる虚像(虚像画像、AR画像)が視認される。
なお、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端から、表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す本実施形態の例では、コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェイス182(図6)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、HMD100を制御するための装置である。制御装置10は、点灯部12と、トラックパッド14と、方向キー16と、決定キー17と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。
トラックパッド14は、トラックパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー17は、押下操作を検出して、制御装置10において操作された内容を決定するための信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図4は、使用者から見た表示部20の要部構成を示す図である。図4では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図4の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む右導光板26、左導光板28の全体を透過して外界の風景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図5は、カメラ61の画角を説明するための図である。図5では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をθで示す。なお、カメラ61の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、表示部20において右側の端部に配置され、使用者の視界の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外界の風景は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図5)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ61の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ61の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図6は、HMD100の構成を機能的に示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、トラックパッド14と、操作部110とが含まれている。操作部110には、制御装置10に備えられた方向キー16と、決定キー17と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GNSS(Global Navigation Satellite System)レシーバー115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。GNSSレシーバー115は、GNSSを構成する人工衛星から受信した航法信号に基づいて、制御装置10の現在位置(経度・緯度)を測位する。これらセンサー類(6軸センサー111、磁気センサー113、GNSSレシーバー115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェイスには、無線通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェイス186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェイス196とが含まれている。これらは、外部とのインターフェイスとして機能する。
無線通信部117は、HMD100と外部機器との間における無線通信を実行する。無線通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部117は、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。音声インターフェイス182は、音声信号を入出力するインターフェイスである。音声コーデック180は、アナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。本実施形態のHMD100は、音声を右イヤホン32および左イヤホン34から出力し、マイク63により集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線LANインターフェイス、Bluetoothインターフェイス等の無線接続に対応したインターフェイスを採用できる。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス186は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェイス回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオンオフされた場合等に所定の振動パターンでバイブレーター19により振動を発生させる。バイブレーター19は、制御装置10に設ける構成に換えて、表示部20側、例えば、画像表示部の右保持部21(テンプルの右側部分)に設ける構成としてもよい。
センサーハブ192およびFPGA194は、インターフェイス(I/F)196を介して表示部20に接続されている。センサーハブ192は、表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と表示部20の各部との間で送受信されるデータの処理およびインターフェイス196を介した伝送を実行する。インターフェイス196は、表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェイス196に接続される。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143(図7)への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read−Only Memory)215とが実装されている。受信部213は、インターフェイス211を介して制御装置10から入力されるデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデータをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、表示部20のOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24のセンサー特性に関するデータ等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデータを読み込んで各種の処理に利用する。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図2)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225(図2)に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェイス231を介して制御装置10から入力されるデータを受信する。受信部233は、OLEDユニット241で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。6軸センサー235と磁気センサー237は、表示部20に設けられているため、表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから表示部20の向き、すなわち、使用者の視界が特定される。
温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図2)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245(図2)に内蔵されてもよい。詳細は温度センサー217と同様である。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデータ形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。
視線検出部62は、使用者の左右の目尻の下方に対応する位置にそれぞれ配置されている。左右の視線検出部62は、図示しない赤外線発光部と赤外線受光部とをそれぞれ備える。右側の視線検出部62は、赤外線発光部から射出されて、利用者の右眼に当たり反射した赤外線を受光する。左側の視線検出部62は、赤外線発光部から射出されて、利用者の左眼に当たり反射した赤外線を受光する。左右の視線検出部62は、それぞれ受光した赤外線の強さに基づいて、使用者の左眼および右眼の視線を検出する。視線検出部62は、インターフェイス196を介して、検出された視線を制御装置10へと出力する。赤外線の反射率は、赤外線が虹彩(黒目)に当たった場合と、赤外線がまぶたに当たった場合と、赤外線が白目に当たった場合と、でそれぞれ異なる。このため、視線検出部62は、受光した赤外線の強さによって、利用者の視線の動きを取得することができる。なお、視線検出部62は、左右それぞれに設けられていなくてもよく、左右いずれか一方に設けられていてもよい。
図7は、制御装置10の構成を機能的に示すブロック図である。制御装置10は、機能的には、記憶機能部122と、制御機能部150とを備える。記憶機能部122は、不揮発性記憶部121(図6)により構成される論理的な記憶部である。記憶機能部122は、記憶機能部122のみを使用する構成に代えて、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118を使用する構成としてもよい。制御機能部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶機能部122には、制御機能部150における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部122には、設定データ123と、コンテンツデータ124とが記憶されている。設定データ123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データ123には、制御機能部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデータ124には、制御機能部150の制御によって表示部20が表示する画像や映像を含むコンテンツのデータ(画像データ、映像データ、音声データ等)が含まれている。なお、コンテンツデータ124には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部110によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部150が実行し、処理内容に応じたコンテンツを表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。
制御機能部150は、記憶機能部122が記憶しているデータを利用して各種処理を実行することにより、OS(Operating System)143、画像処理部145、表示制御部147、撮像制御部149、入出力制御部151、距離別画像生成部153、中間距離画像生成部155、注視点距離算出部157としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるコンピュータープログラムとして構成されている。
画像処理部145は、表示部20により表示する画像/映像の画像データに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor)で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。2D/3D変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル40を介して表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。また、表示制御部147は、後述の表示制御処理において、表示部20の各仮想画面上に距離別画像生成部153により生成される後述の距離別表示画像を表示させる。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部122に一時的に記憶させる。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データをカメラ61から取得して、記憶機能部122に一時的に記憶させる。
入出力制御部151は、トラックパッド14(図1)と、方向キー16と、決定キー17とを適宜、制御して、これらから入力指令を受け付ける。受け付けた入力指令は、OS143、またはOS143と共にOS143上で動作するコンピュータープログラムに出力される。
距離別画像生成部153は、上述の3段階の各焦点距離のうち隣り合う2つの焦点距離の間に存在する表示オブジェクトを上述の仮想画面に表示させるための表示画像(以下、「距離別表示画像」と呼ぶ)を生成する。なお、距離別表示画像についての詳細な説明は、後述する。
中間距離画像生成部155は、上述の3段階の各焦点距離の中間位置に存在する表示対象物を表す表示オブジェクトを上述の仮想画面に表示させるための表示画像(以下、「中間距離表示画像」と呼ぶ)を生成する。このとき、中間距離画像生成部155は、第1焦点距離、第2焦点距離および第3焦点距離にそれぞれ存在する表示オブジェクトの色を合成し、合成して得られた色を中間距離表示画像の色として設定する。なお、このとき、中間距離画像生成部155は、第1焦点距離、第2焦点距離および第3焦点距離にそれぞれ存在する表示オブジェクトの輝度(明るさ)を合成し、合成して得られた輝度(明るさ)を中間距離表示画像の色として設定してもよい。
注視点距離算出部157は、注視点距離を算出する。本実施形態において、「注視点距離」とは、使用者と、使用者が注視している注視点との間の距離を意味する。また、「注視点」とは、使用者の中心窩(網膜で視力の最も高い場所)と、虹彩の中心とを結ぶ左右の仮想線が交わる点を意味する。注視点距離算出部157は、視線検出部62により検出される使用者の視線から使用者の注視点を検出し、検出された注視点と使用者の眼との間の距離を注視点距離として算出する。なお、注視点距離算出部157は、注視点距離の算出を繰り返し実行してもよい。これにより、リアルタイムで注視点距離を特定できる。
A2.拡張現実感表示:
図8は、HMD100による拡張現実感表示の一例を示す説明図である。図8では、使用者の視界VTを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は、表示領域PN内において、表示対象の対象画像AIを拡張現実感(AR)として視認する。図8に示す例では、対象画像AIは、HMD100のOSのメニュー画面である。メニュー画面には、例えば、「アナログ時計」、「メッセージ」、「ミュージック」、「ナビゲーション」、「カメラ」、「ブラウザー」、「カレンダー」、「電話」の各アプリケーションプログラムを起動するためのアイコン画像ICが含まれる。また、右導光板26、左導光板28が外界からの光を透過することで、使用者は外景SCを視認する。このように、本実施形態のHMD100の使用者は、視界VTのうち対象画像AIが表示された部分については、外景SCに重なるようにして対象画像AIを見ることができる。また、視界VTのうち対象画像AIが表示されていない部分については、外景SCだけを見ることができる。
図9は、表示オブジェクトの一例を模式的に示す説明図である。視界VTは、HMD100の使用者が装着したHMD100の表示部20を通して使用者によって視認される。なお、図9では、外景SCの図示を省略している。表示領域PNには、3つの表示オブジェクトOb1、Ob2およびOb3が表示されている。本実施形態において、「表示オブジェクト」とは、表示対象物を表す立体(3D)の表示画像を意味する。具体的には、第1表示オブジェクトOb1は、表示対象物である「りんご」を表す立体の表示画像である。第2表示オブジェクトOb2は、表示対象物である「テレビ」を表す立体の表示画像である。第3表示オブジェクトOb3は、表示対象物である「時計」を表す立体の表示画像である。
図9に示すように、3つの表示オブジェクトOb1、Ob2およびOb3は、HMD100の使用者の視界方向において表示部20側(使用者に近い側)から第1表示オブジェクトOb1、第2表示オブジェクトOb2、第3表示オブジェクトOb3の順に配置されているように表示されている。このとき、HMD100の使用者の左眼LEおよび右眼REから各表示オブジェクトOb1、Ob2およびOb3までの距離は、表示オブジェクトOb1、Ob2およびOb3ごとに異なる。
図10は、表示オブジェクトOb1、Ob2およびOb3の表示距離を模式的に示す説明図である。本実施形態において、「表示距離」とは、使用者の右眼REおよび左眼LEの視点位置と、表示オブジェクトの表示位置との間の距離を意味する。図10に示すように、第1表示オブジェクトOb1の表示距離は、第1表示距離W1である。第1表示距離W1は、上述の表示部20における近距離光学系SLの焦点距離変更レンズSL2に設定されている第1焦点距離と同じであり、50センチメートルである。第2表示オブジェクトOb2の表示距離は、第2表示距離W2である。第2表示距離W2は、上述の表示部20における中距離光学系MLの焦点距離変更レンズML2に設定されている第2焦点距離と同じであり、1メートルである。第3表示オブジェクトOb3の表示距離は、第3表示距離W3である。第3表示距離W3は、上述の表示部20における遠距離光学系LLの焦点距離変更レンズLL2に設定されている第3焦点距離と同じであり、2メートルである。
図9および図10に示すように、表示距離の異なる表示オブジェクトOb1、Ob2およびOb3を単一の焦点距離に対応する表示画面上に表示させると、各表示オブジェクトOb1、Ob2およびOb3の焦点距離の相違、および各表示オブジェクトOb1、Ob2およびOb3の輻輳角の相違に起因する光学的不整合が生じてしまう。しかし、本実施形態では、後述の表示制御処理において、焦点距離間ごとに表示オブジェクトOb1、Ob2およびOb3を切り出して表示画像を生成し、隣り合う2つの焦点距離のうち、HMD100の使用者の視界の方向における奥側の焦点距離に対応する仮想画面上に生成された表示画像を表示させることにより、上述の光学的不整合を低減できる。以下、具体的な処理内容について説明する。
A3.表示制御処理:
図11は、表示制御処理の処理手順を示すフローチャートである。表示制御処理は、使用者が制御装置10の電源スイッチ18をオンに設定すると、開始される。距離別画像生成部153は、3DCGオブジェクトマップを生成する(ステップS100)。3DCGオブジェクトマップは、3次元のコンピューターグラフィックスオブジェクトと、かかるオブジェクトの位置(座標)とをマッピングしたものである。3DCGオブジェクトマップは、公知の方法により作成でき、例えば、表示部20を透過して視認される外景SC中の物体(現実空間に存在する物体)に対する各表示オブジェクトOb1、Ob2およびOb3の位置に基づいて、3次元コンピューターグラフィックスの仮想環境内に各表示オブジェクトOb1、Ob2およびOb3を配置することにより作成できる。
図12は、3DCGオブジェクトマップOMを模式的に示す説明図である。図12に示すように、3DCGオブジェクトマップOMにおけるXYZ空間には、表示オブジェクトOb1、Ob2およびOb3が配置されている。各表示オブジェクトOb1、Ob2およびOb3は、図9および図10に示す位置関係と同様な位置関係となるように配置されている。距離別画像生成部153は、使用者の視点の位置から現実空間に存在する物体を見たときに該物体を基準とする各表示オブジェクトOb1、Ob2およびOb3の表示位置を特定することにより、3DCGオブジェクトマップOMにおいて、現実空間に存在する物体の位置と各表示対象物の位置とが整合性のとれる位置に各表示オブジェクトOb1、Ob2およびOb3を配置できる。なお、図12に示すように、3DCGオブジェクトマップOMには、左眼用仮想カメラCLと、右眼用仮想カメラCRとが設定されている。各仮想カメラCLおよびCRは、後述の距離別表示画像を作成する際に用いられる。
図11に示すように、距離別画像生成部153は、左眼LEおよび右眼REの視点位置を設定する(ステップS110)。具体的には、距離別画像生成部153は、3DCGオブジェクトマップOMに設定されている左眼用仮想カメラCLの位置をHMD100の使用者の左眼LEの視点位置に、右眼用仮想カメラCRの位置をHMD100の使用者の右眼REの視点位置に、それぞれ設定する。このとき、距離別画像生成部153は、各仮想カメラCLおよびCRの向きをHMD100の使用者の視界の方向に設定する。なお、ステップS110は、ステップS100と同時に実行してもよい。
図11に示すように、距離別画像生成部153は、距離別表示画像を生成する(ステップS120)。具体的には、距離別画像生成部153は、仮想カメラCLおよびCRで各表示オブジェクトOb1、Ob2およびOb3を撮像し、撮像画像から隣り合う2つの焦点距離の間に存在する表示オブジェクトOb1、Ob2およびOb3を切り出す。より具体的には、距離別画像生成部153は、3DCGオブジェクトマップOMにおいて、焦点距離が0センチメートルから第1焦点距離までにある表示オブジェクトを切り出して、第1焦点距離に対応する距離別表示画像(以下、「第1距離別表示画像」と呼ぶ)を生成する。本実施形態において、「焦点距離が0センチメートル」とは、使用者の視点の位置からの距離が0センチメートルを意味する。上述のように、各仮想カメラCLおよびCRの位置は、HMD100の使用者の左眼LEおよび右眼REの視点の位置に設定されているので、距離別画像生成部153は、各仮想カメラCLおよびCRから第1焦点距離までの間に存在する表示オブジェクトを切り出すこととなる。
また、距離別画像生成部153は、3DCGオブジェクトマップOMにおいて、第1焦点距離から第2焦点距離までにある表示オブジェクトを切り出して、第2焦点距離に対応する距離別表示画像(以下、「第2距離別表示画像」と呼ぶ)を生成する。また、距離別画像生成部153は、3DCGオブジェクトマップOMにおいて、第2焦点距離から第3焦点距離までにある表示オブジェクトを切り出して、第3焦点距離に対応する距離別表示画像(以下、「第3距離別表示画像」と呼ぶ)を生成する。
例えば、図12に示す例では、第1距離別表示画像として、第1表示オブジェクトOb1が切り出された画像が生成される。また、第2距離別表示画像として第2表示オブジェクトOb2が切り出された画像が、第3距離別表示画像として第3表示オブジェクトOb3が切り出された画像が、それぞれ生成される。なお、第3距離別表示画像には、第2焦点距離と第3焦点距離との間に存在する表示オブジェクトに加えて、使用者の視界方向において第3焦点距離よりも奥側に存在する表示オブジェクトが切り出されてもよい。
なお、上述のステップS120では、使用者の視界の方向に見て表示オブジェクトOb1、Ob2およびOb3が完全に重なっている場合、距離別画像生成部153は、視界の方向における手前側に位置する表示オブジェクトのみを切り出して、視界の方向における奥側に位置する表示オブジェクトを切り出さない。また、使用者の視界の方向に見て表示オブジェクトOb1、Ob2およびOb3の一部が重なっている場合、距離別画像生成部153は、視界の方向における手前側に位置する表示オブジェクトを切り出し、また、視界の方向における奥側に位置する表示オブジェクトのうち、視界の方向における手前側に位置する表示オブジェクトと重なっていない部分を切り出す。このとき、距離別画像生成部153は、視界の方向における奥側に位置する表示オブジェクトから視界の方向における手前側に位置する表示オブジェクトと重なっている部分を切り欠くことにより、重なっている部分を除く部分を切り出す。これは、仮想カメラCLおよびCRに見えている部分だけを切り出し、仮想カメラCLおよびCRから見えていない部分は切り出さないことにより、使用者に与える違和感を低減させるためである。
図11に示すように、表示制御部147は、生成された距離別表示画像を仮想画面に表示させる(ステップS130)。具体的には、表示制御部147は、隣り合う2つの焦点距離のうち、使用者の視界の方向における奥側の焦点距離に対応する仮想画面上に各距離別画像を同時に表示させる。例えば、第1距離別表示画像に対応する焦点距離は、0センチメートルと、第1焦点距離とであり、使用者の視界の方向における奥側の焦点距離は、第1焦点距離である。したがって、第1距離別表示画像は、第1焦点距離に対応する第1仮想画面上に表示される。また、例えば、第2距離別表示画像に対応する焦点距離は、第1焦点距離と、第2焦点距離とであり、使用者の視界の方向における奥側の焦点距離は、第2焦点距離である。したがって、第2距離別表示画像は、第2焦点距離に対応する第2仮想画面上に表示される。また、例えば、第3距離別表示画像に対応する焦点距離は、第2焦点距離と、第3焦点距離とであり、使用者の視界の方向における奥側の焦点距離は、第3焦点距離である。したがって、第3距離別表示画像は、第3焦点距離に対応する第3仮想画面上に表示される。
図13は、ステップS130実行後の使用者の視界VTを模式的に示す説明図である。図13では、図9と同様に、外景SCの図示を省略している。図13に示すように、表示領域PNには、距離別表示画像Im1、Im2およびIm3が表示されている。第1距離別表示画像Im1は、一点鎖線に示す第1仮想画面VS1上に表示されている。第2距離別表示画像Im2は、破線に示す第2仮想画面VS2上に表示されている。第3距離別表示画像Im3は、二点鎖線に示す第3仮想画面VS3上に表示されている。上述のように、各距離別表示画像Im1、Im2およびIm3は、互いに異なる焦点距離に対応する仮想画面VS1、VS2およびVS3上に表示されているため、使用者が各距離別表示画像Im1、Im2およびIm3を注視すると、焦点距離のずれや、輻輳角のずれを低減させつつ、各距離別表示画像Im1、Im2およびIm3を視認できる。
図14は、第1距離別表示画像Im1を注視した場合における使用者の視界VTを模式的に示す説明図である。図14では、図13と同様に、外景SCの図示を省略している。図14に示すように、使用者が第1距離別表示画像Im1を注視した場合、第1表示オブジェクトOb1の表示距離(第1表示距離W1)と第1焦点距離とが同じであることから、第1距離別表示画像Im1は、第1仮想画面VS1上で合焦する。この場合、第2距離別表示画像Im2は、第1表示距離W1よりも大きな第2焦点距離に対応する第2仮想画面VS2上に、第3距離別表示画像Im3は、第1表示距離W1よりも大きな第3焦点距離に対応する第3仮想画面VS3上に、それぞれ表示されているので、第2距離別表示画像Im2および第3距離別表示画像Im3は、ぼやけて視認される。なお、図14では、第2距離別表示画像Im2および第3距離別表示画像Im3にハッチングを付すことにより、ぼやけて視認される様子を模式的に示している。
図15は、第2距離別表示画像Im2を注視した場合における使用者の視界VTを模式的に示す説明図である。図15では、図14と同様に、外景SCの図示を省略している。図15では、図14と同様に、第1距離別表示画像Im1および第3距離別表示画像Im3にハッチングを付すことにより、焦点距離がずれてぼやけて視認される様子を模式的に示している。図15に示すように、使用者が第2距離別表示画像Im2を注視した場合、第2表示オブジェクトOb2の表示距離(第2表示距離W2)と第2焦点距離とが同じであることから、第2距離別表示画像Im2は、第2仮想画面VS2上で合焦する。この場合、第1距離別表示画像Im1は、第2表示距離W2よりも小さな第1焦点距離に対応する第1仮想画面VS1上に、第3距離別表示画像Im3は、第2表示距離W2よりも大きな第3焦点距離に対応する第3仮想画面VS3上に、それぞれ表示されているので、第1距離別表示画像Im1および第3距離別表示画像Im3は、ぼやけて視認される。
図16は、第3距離別表示画像Im3を注視した場合における使用者の視界VTを模式的に示す説明図である。図16では、図14と同様に、外景SCの図示を省略している。図16では、図14と同様に、第1距離別表示画像Im1および第2距離別表示画像Im2にハッチングを付すことにより、焦点距離がずれてぼやけて視認される様子を模式的に示している。図16に示すように、使用者が第3距離別表示画像Im3を注視した場合、第3表示オブジェクトOb3の表示距離(第3表示距離W3)と第3焦点距離とが同じであることから、第3距離別表示画像Im3は、第3仮想画面VS3上で合焦する。この場合、第1距離別表示画像Im1は、第3表示距離W3よりも小さな第1焦点距離に対応する第1仮想画面VS1上に、第2距離別表示画像Im2は、第3表示距離W3よりも小さな第2焦点距離に対応する第2仮想画面VS2上に、それぞれ表示されているので、第1距離別表示画像Im1および第2距離別表示画像Im2は、ぼやけて視認される。
図11に示すように、ステップS130の実行後、上述のステップS100に戻る。
以上説明した本実施形態のHMD100によれば、隣り合う2つの焦点距離の間に存在する表示対象物を表す表示オブジェクトOb1、Ob2およびOb3を仮想画面VS1、VS2およびVS3上に表示させるための距離別表示画像Im1、Im2およびIm3が生成される。また、生成された各距離別表示画像Im1、Im2およびIm3が、隣り合う2つの焦点距離のうち、HMD100の使用者の視界の方向における奥側の焦点距離に対応する仮想画面上に表示されるので、輻輳角のずれ、および焦点距離のずれに起因する光学的不整合を低減できる。
加えて、複数の表示オブジェクトOb1、Ob2およびOb3が視界の方向に見て重なっている場合、該複数の表示オブジェクトOb1、Ob2およびOb3のうち、視界の方向における奥側に位置する表示オブジェクトOb1、Ob2およびOb3の一部が表示されないので、視界の方向における奥側に位置する表示オブジェクトOb1、Ob2およびOb3が表示される構成に比べて、使用者に与える違和感を低減できる。
B.第2実施形態:
第2実施形態における頭部装着型表示装置100は、第1実施形態における頭部装着型表示装置100と同様であるので、その詳細な説明は省略する。
第2実施形態における制御機能部は、表示制御部147が、複数の焦点距離に亘って連続して存在する表示対象物を表す表示オブジェクト(以下、「連続表示オブジェクト」と呼ぶ)の全体を注視点距離に最も近い焦点距離に対応する仮想画面上に表示させる点において、第1実施形態における制御機能部150と異なる。第2実施形態における制御機能部のその他の構成は、第1実施形態の制御機能部150と同じであるので、その詳細な説明は省略する。
図17は、第2実施形態における表示オブジェクトOb4、Ob5およびROb1の表示距離を模式的に示す説明図である。図17に示すように、第4表示オブジェクトOb4は、表示対象物である「観葉植物」を表す立体の表示画像である。連続表示オブジェクトROb1は、表示対象物である「台」を表す立体の表示画像である。第5表示オブジェクトOb5は、表示対象物である「飛行機」を表す立体の表示画像である。第4表示オブジェクトOb4の表示距離は、第1表示距離W1である。連続表示オブジェクトROb1の表示距離は、第1表示距離W1から第3表示距離W3までに亘る距離である。第5表示オブジェクトOb5の表示距離は、第3表示距離W3である。第1実施形態と同様に、各表示距離W1、W2およびW3は、上述の第1焦点距離、第2焦点距離および第3焦点距離にそれぞれ対応している。
図18は、第2実施形態における表示制御処理の処理手順を示すフローチャートである。第2実施形態における表示制御処理は、ステップS125、ステップS131およびステップS135を追加して実行する点において、図11に示す第1実施形態における表示制御処理の処理手順と異なる。第2実施形態の表示制御処理におけるその他の手順は、第1実施形態の表示制御処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。
図18に示すように、距離別表示画像が生成されると(ステップS120)、距離別画像生成部153は、表示オブジェクトが連続表示オブジェクトROb1であるか否かを判定する(ステップS125)。具体的には、距離別画像生成部153は、各仮想カメラCLおよびCRにより撮像された画像を解析して、表示オブジェクトが複数の焦点距離に亘って連続しているか否かを特定する。表示オブジェクトが連続表示オブジェクトROb1でないと判定された場合(ステップS125:NO)、上述のステップS130が実行される。他方、表示オブジェクトが連続表示オブジェクトROb1であると判定された場合(ステップS125:YES)、注視点距離算出部157は、注視点距離を算出する(ステップS131)。具体的には、まず、視線検出部62は、使用者の視線を検出する。次に、注視点距離算出部157は、検出された視線から注視点を算出することにより注視点距離を算出する。
表示制御部147は、距離別表示画像を縮小して表示させる(ステップS135)。具体的には、表示制御部147は、上述の第1焦点距離、第2焦点距離およい第3焦点距離のうち、算出された注視点距離に最も近い焦点距離に対応する仮想画面上に連続表示オブジェクトROb1の距離別表示画像(以下、「連続距離別表示画像」と呼ぶ)を表示させる。連続表示オブジェクトROb1は複数の焦点距離に亘って連続しているので、単一の仮想画面上に表示させるために、表示制御部147は、仮想画面の大きさに合わせて連続距離別表示画像を縮小して表示させる。
図19は、ステップS135実行後の使用者の視界VTを模式的に示す説明図である。図19では、図13と同様に、外景SCの図示を省略している。図19に示すように、表示領域PNには、距離別表示画像Im4、RIm1およびIm5が表示されている。図17に示すように、第4表示オブジェクトOb4は、連続表示オブジェクトROb1ではないため、上述のステップS130が実行されて、図19に示すように、第4距離別表示画像Im4は、第1焦点距離に対応する第1仮想画面VS1上に表示されている。同様に、第5表示オブジェクトOb5は、連続表示オブジェクトROb1ではないため、上述のステップS130が実行されて、第5距離別表示画像Im5は、第3焦点距離に対応する第3仮想画面VS3上に表示されている。
他方、図17に示すように、連続表示オブジェクトROb1は、第1表示距離W1から第3表示距離W3までに亘る表示オブジェクトであるため、上述のステップS135が実行されて、連続距離別表示画像RIm1は、算出された注視点距離に最も近い焦点距離に対応する仮想画面(図19に示す例では、第1仮想画面VS1)上に表示されている。また、連続距離別表示画像RIm1は、第1仮想画面VS1において連続表示オブジェクトROb1の全体が表示されるように、縮小されて表示されている。
以上説明した第2実施形態のHMD100によれば、第1実施形態と同様な効果を奏する。加えて、複数の焦点距離に亘って連続して存在する連続表示オブジェクトROb1の全体が、注視点距離に最も近い焦点距離に対応する第1仮想画面VS1上に表示されるので、連続表示オブジェクトROb1を精度よく表示できる。
C.第3実施形態:
第3実施形態における頭部装着型表示装置100は、第1実施形態における頭部装着型表示装置100と同様であるので、その詳細な説明は省略する。
第3実施形態における制御機能部は、表示制御部147が、連続表示オブジェクトROb1を焦点距離ごとに分割して、各焦点距離に対応する仮想画面VS1、VS2およびVS3に分割して表示させる点において、第1実施形態における制御機能部150と異なる。第3実施形態における制御機能部のその他の構成は、第1実施形態の制御機能部150と同じであるので、その詳細な説明は省略する。
図20は、第3実施形態における表示制御処理の処理手順を示すフローチャートである。第3実施形態における表示制御処理は、ステップS115およびステップS133を追加して実行する点と、ステップS125を省略する点と、ステップS135に代えてステップS135aを実行する点と、において、図18に示す第2実施形態における表示制御処理の処理手順と異なる。第3実施形態の表示制御処理におけるその他の手順は、第2実施形態の表示制御処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。なお、ステップS115と図18に示すステップS125とは、同一の手順であるが、処理手順の便宜上、異なる符号を付している。
図20に示すように、左眼LEおよび右眼REの視点位置が設定されると(ステップS110)、距離別画像生成部153は、表示オブジェクトが連続表示オブジェクトROb1であるか否かを判定する(ステップS115)。ステップS115の処理内容は、上述のステップS125と同様である。表示オブジェクトが連続表示オブジェクトROb1でないと判定された場合(ステップS115:NO)、上述のステップS120が実行される。他方、表示オブジェクトが連続表示オブジェクトROb1であると判定されると(ステップS115:YES)、距離別画像生成部153は、距離別表示画像を分割して生成する(ステップS133)。具体的には、距離別画像生成部153は、連続距離別表示画像のうち、仮想カメラCLおよびCRから第1焦点距離までの部分の画像と、第1焦点距離から第2焦点距離までの画像と、第2焦点距離から第3焦点距離までの画像と、をそれぞれ生成することにより、連続距離別表示画像を生成する。
表示制御部147は、距離別表示画像を分割して表示させる(ステップS135a)。具体的には、表示制御部147は、連続距離別表示画像のうち、仮想カメラCLおよびCRから第1焦点距離までの部分の画像を第1仮想画面VS1上に表示させる。また、表示制御部147は、連続距離別表示画像のうち、第1焦点距離から第2焦点距離までの部分の画像を第2仮想画面VS2上に表示させる。また、表示制御部147は、連続距離別表示画像のうち、第2焦点距離から第3焦点距離までの部分の画像を第3仮想画面VS3上に表示させる。
図21は、ステップS135a実行後の使用者の視界VTを模式的に示す説明図である。図21では、図19と同様に、外景SCの図示を省略している。また、図21では、図19に示す距離別表示画像Im4およびIm5の図示を省略している。図21に示すように、表示領域PNには、連続距離別表示画像RIm2が表示されている。連続距離別表示画像RIm2は、3つの連続距離別表示画像RIm2a、RIm2bおよびRIm2cからなる。各連続距離別表示画像RIm2a、RIm2bおよびRIm2cは、それぞれ異なる仮想画面に表示されている。具体的には、連続距離別表示画像RIm2aは第1仮想画面VS1上に、連続距離別表示画像RIm2bは第2仮想画面VS2上に、連続距離別表示画像RIm2cは第3仮想画面VS3上に、それぞれ表示されている。
図17と図21とを比較して理解できるように、第3実施形態では、連続表示オブジェクトROb1は、表示対象物の大きさを変えることなく表示されている。また、使用者が各仮想画面VS1、VS2およびVS3をそれぞれ注視した場合に、注視された仮想画面VS1、VS2およびVS3上に表示されているいずれかの連続距離別表示画像RIm2a、RIm2bおよびRIm2cと合焦し得ることになる。
以上説明した第3実施形態のHMD100によれば、第1実施形態と同様な効果を奏する。加えて、複数の焦点距離に亘って連続して存在する連続表示オブジェクトROb1が、焦点距離ごとに分割して各仮想画面VS1、VS2およびVS3に表示されるので、使用者の焦点がいずれかの仮想画面VS1、VS2およびVS3で合焦した場合に、使用者は、連続表示オブジェクトROb1を精度よく視認できる。
D.他の実施形態:
D1.他の実施形態1:
上記第1実施形態において、表示制御部147は、中間距離表示画像を注視点距離に最も近い焦点距離に対応する仮想画面に表示させてもよい。例えば、図10に示す第1表示オブジェクトOb1と第2表示オブジェクトOb2との間に表示オブジェクトが存在する場合、かかる表示オブジェクトの表示画像である中間距離別表示画像は、第1実施形態によれば、中間距離別表示画像に対応する第1焦点距離と第2焦点距離とのうち、使用者の視線方向の奥側の第2焦点距離に対応する第2仮想画面VS2上に表示される。
これに代えて、表示制御部147は、注視点距離算出部157により算出される注視点距離に最も近い焦点距離に対応する仮想画面に中間距離別表示画像を表示させてもよい。また、例えば、表示制御部147は、中間距離別表示画像を第1仮想画面VS1に表示させてもよい。また、例えば、表示制御部147は、中間距離別表示画像を第1仮想画面VS1と第2仮想画面VS2との両方に表示させてもよい。かかる構成では、表示制御部147は、注視点距離に応じて中間距離別表示画像の明るさ(輝度)を異ならせて表示させてもよい。具体的には、焦点距離が大きくなるにつれて明るさ(輝度)が高くなるように表示させてもよい。すなわち、一般には、中間距離表示画像を第1仮想画面VS1と、第2仮想画面VS2と、のうちの少なくとも一方に表示させる構成であれば、上記各実施形態と同様な効果を奏する。
D2.他の実施形態2:
上記各実施形態において、距離別画像生成部153は、注視点距離を利用して距離別表示画像を生成してもよい。具体的には、上述のステップS120において、距離別画像生成部153は、使用者の視点位置から注視点距離までの間にある表示オブジェクトを切り出して距離別表示画像を生成し、上述のステップS130において、表示制御部147は、生成された距離別表示画像を注視点距離に最も近い焦点距離に対応する仮想画面に表示させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D3.他の実施形態3:
上記第2実施形態において、表示制御部147は、注視点距離に最も近い焦点距離に対応する仮想画面に連続距離別表示画像RIm1の全体を表示させていたが、本発明はこれに限定されない。例えば、表示制御部147は、使用者の視線方向における連続表示オブジェクトROb1の長さの中点を算出し、使用者と該中点との間の距離を算出し、算出された距離に最も近い焦点距離に対応する仮想画面に連続距離別表示画像RIm1の全体を表示させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D4.他の実施形態4:
上記各実施形態において、視線検出部62は、赤外線発光部と赤外線受光部とから構成されていたが、本発明はこれに限定されない。例えば、視線検出部62は、瞳孔撮影用カメラであってもよい。かかる構成では、左右の瞳孔撮影用カメラにより撮像された使用者の右眼REおよび左眼LEの画像を解析することにより、視線方向を特定してもよい。かかる構成では、注視点距離算出部157は、特定された視線方向によって使用者が見ている位置を推定できるため、使用者の注視点を特定できる。また、例えば、視線検出部62は、筋電センサーの検出結果や、アイトラッキング等の公知技術を利用して、使用者の視線を検出してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D5.他の実施形態5:
上記各実施形態において、各焦点距離は、上述の例に限定されない。例えば、第1焦点距離は、50センチメートルに代えて、使用者の手が届く範囲内の任意の距離を設定してもよい。また、例えば、第2焦点距離は、1メートルに代えて、第1焦点距離と第3焦点距離との間の任意の距離を設定してもよい。また、例えば、第3焦点距離は、2メートルに代えて、第1焦点距離および第2焦点距離よりも大きく、使用者の焦点距離が有効な範囲における任意の距離を設定してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D6.他の実施形態6:
上記各実施形態において、表示部20に設定されている仮想画面の数は、3つであったが、これに代えて、例えば、仮想画面の数は、左眼LE用の仮想画面3つと、右眼RE用の仮想画面3つとの合計6つであってもよく、表示部20に予め定められた複数の焦点距離ごとに仮想画面が設定される構成であれば、他の任意の数の仮想画面が設定されていてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D7.他の実施形態7:
上記各実施形態において、OLEDユニット221、241は、OLEDパネル223、243と、OLEDパネル223、243を駆動するOLED駆動回路225、245とを有し、OLEDパネル223、243は、有機エレクトロルミネッセンスにより発光しそれぞれ発する発光素子により構成される自発光型の表示パネルであったが、本発明はこれに限定されない。また、OLEDパネル223、243は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されていたが、本発明はこれに限定されない。例えば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。なお、OLEDパネルが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザースキャン方式のレーザー網膜投影型のHMDとしてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D8.他の実施形態8:
上記各実施形態において、表示制御部147は、視界の方向に表示オブジェクトが重なっている場合に、視界の方向における奥側に位置する表示オブジェクトのうち、手前側に位置する表示オブジェクトと重なっている部分を除く部分を表示させていたが、本発明はこれに限定されない。例えば、表示制御部147は、使用者の視界の方向における奥側に位置する表示オブジェクトの全体を表示させてもよい。かかる構成では、例えば、視界の方向における奥側に位置する表示オブジェクトの輝度および彩度を、手前側に位置する表示オブジェクトの輝度および彩度に比べて低くすることにより、視界の方向における奥側に位置する表示オブジェクトの視認性を低下させて表示させてもよい。すなわち、一般には、複数の表示オブジェクトが視界の方向に重なっている場合、該複数の表示オブジェクトのうち、視界の方向における奥側に位置する表示オブジェクトの少なくとも一部を表示させない構成であれば、上記各実施形態と同様な効果を奏する。
D9.他の実施形態9:
上記各実施形態において、頭部装着型表示装置100は、透過型の頭部装着型表示装置であったが、本発明はこれに限定されない。例えば、ビデオシースルー型のHMDであってもよいし、単眼タイプのHMDであってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D10.他の実施形態10:
上記各実施形態において、距離別表示画像Im1〜Im5は、仮想画面VS1〜VS3上に表示されていたが、これに代えて、または、これに加えて、予め、第1仮想画面VS1と第2仮想画面VS2との間に、または、第2仮想画面VS2と第3仮想画面VS3との間に、仮想画面VS1〜VS3とは異なる仮想画面をそれぞれ設定しておき、第1仮想画面VS1と第2仮想画面VS2との間に位置する表示オブジェクトの距離別表示画像を、第1仮想画面VS1と第2仮想画面VS2との間に設定された仮想画面と、第2仮想画面VS2とのうちのいずれか一方に選択的に表示されてもよいし、両方の仮想画面に表示されてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
D11.他の実施形態11:
上記各実施形態において、各仮想画面VS1〜VS3は、使用者の視界の方向における所定の焦点距離に対応して設定されていたが、本発明はこれに限定されない。例えば、各仮想画面VS1〜VS3は、使用者の視線の方向における所定の焦点距離に対応して設定されていてもよい。かかる構成では、上述の表示制御処理において、各仮想カメラCLおよびCRの向きを使用者の視線の方向に設定することにより、使用者の視線の方向に存在する表示対象物の距離別表示画像を生成してもよい。また、例えば、各仮想画面VS1〜VS3は、使用者の視野の方向における所定の焦点距離に対応して設定されていてもよい。このような構成においても上記各実施形態と同様な効果を奏する。
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
E.他の形態:
(1)本発明の一実施形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部と;隣り合う2つの前記焦点距離の間に存在する表示対象物を表す表示オブジェクトを、前記仮想画面に表示させるための距離別表示画像を生成する距離別画像生成部と;生成された各前記距離別表示画像を、前記隣り合う2つの焦点距離のうち、前記頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する前記仮想画面に表示させる表示制御部と;を備える。
この形態の頭部装着型表示装置によれば、隣り合う2つの焦点距離の間に存在する表示対象物を表す表示オブジェクトを仮想画面に表示させるための距離別表示画像が生成され、生成された各距離別表示画像が、隣り合う2つの焦点距離のうち、頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する仮想画面に表示されるので、輻輳角のずれ、および焦点距離のずれに起因する光学的不整合を低減できる。
(2)上記形態の頭部装着型表示装置において、前記表示制御部は、複数の前記表示オブジェクトが前記視界の方向に見て重なっている場合、該複数の前記表示オブジェクトのうち、前記視界の方向における奥側に位置する前記表示オブジェクトの少なくとも一部を表示させなくてもよい。
この形態の頭部装着型表示装置によれば、複数の表示オブジェクトが視界の方向に見て重なっている場合、該複数の表示オブジェクトのうち、視界の方向における奥側に位置する表示オブジェクトの少なくとも一部が表示されないので、視界の方向における奥側に位置する表示オブジェクトが表示される構成に比べて、使用者に与える違和感を低減できる。
(3)上記形態の頭部装着型表示装置において、前記使用者の視線を検出する視線検出部と;検出された前記視線から、前記使用者と、前記使用者が注視している注視点と、の間の距離である注視点距離を算出する注視点距離算出部と;をさらに備え;前記表示制御部は、複数の前記焦点距離に亘って連続して存在する表示対象物を表す前記表示オブジェクトである連続表示オブジェクトの全体を、前記注視点距離に最も近い前記焦点距離に対応する前記仮想画面に表示させてもよい。
この形態の頭部装着型表示装置によれば、複数の焦点距離に亘って連続して存在する連続表示オブジェクトの全体が、注視点距離に最も近い焦点距離に対応する仮想画面に表示されるので、連続表示オブジェクトを精度よく表示できる。
(4)上記形態の頭部装着型表示装置において、前記表示制御部は、複数の前記焦点距離に亘って連続して存在する表示対象物を表す前記表示オブジェクトである連続表示オブジェクトを、前記焦点距離ごとに前記連続表示オブジェクトを分割して各前記仮想画面に表示させてもよい。
この形態の頭部装着型表示装置によれば、複数の焦点距離に亘って連続して存在する連続表示オブジェクトが、焦点距離ごとに分割して各仮想画面に表示されるので、使用者の焦点がいずれかの仮想画面で合焦した場合に、使用者は、連続表示オブジェクトを精度よく視認できる。
(5)上記形態の頭部装着型表示装置において、前記表示部には、第1表示対象物を表す第1表示オブジェクトが表示される第1仮想画面と、第2表示対象物を表す第2表示オブジェクトが表示される第2仮想画面と、が設定され;前記視界の方向に見て前記第1表示対象物と前記第2表示対象物との間に存在する表示対象物を表す前記表示オブジェクトを、前記仮想画面に表示させるための中間距離表示画像を生成する中間距離画像生成部を;さらに備え;前記中間距離画像生成部は、前記第1表示オブジェクトの色と、前記第2表示オブジェクトの色とを合成し、合成して得られる色の前記中間距離表示画像を生成し;前記表示制御部は、生成された前記中間距離表示画像を、前記第1仮想画面と、前記第2仮想画面と、のうちの少なくとも一方に表示させてもよい。
この形態の頭部装着型表示装置によれば、第1表示オブジェクトの色と第2表示オブジェクトの色とが合成され、合成して得られる色の中間距離表示画像が生成され、中間距離表示画像が第1仮想画面と第2仮想画面とのうちの少なくとも一方に表示されるので、使用者は、第1仮想画面と第2仮想画面とのうちの少なくとも一方の仮想画面を注視した場合において中間距離表示画像を精度よく視認できる。
(6)上記形態の頭部装着型表示装置において、前記使用者の視線を検出する視線検出部と;検出された前記視線から、前記使用者と、前記使用者が注視している注視点と、の間の距離である注視点距離を算出する注視点距離算出部と;をさらに備え;前記距離別画像生成部は、算出された前記注視点距離を利用して前記距離別表示画像を生成し;前記表示制御部は、前記注視点距離を利用して生成される前記距離別表示画像を前記注視点距離に対応する前記仮想画面に表示させてもよい。
この形態の頭部装着型表示装置によれば、算出された注視点距離を利用して距離別表示画像が生成され、注視点距離を利用して生成される距離別表示画像が注視点距離に対応する仮想画面に表示されるので、使用者が注視点を変更した場合においても、焦点距離のずれや、輻輳角のずれが生じることを低減できる。
本発明は、種々の形態で実現することも可能である。例えば、頭部装着型表示装置における表示制御方法、かかる表示制御方法を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記録した記録媒体等の形態で実現できる。
10…制御装置、12…点灯部、14…トラックパッド、16…方向キー、17…決定キー、18…電源スイッチ、19…バイブレーター、20…表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、62…視線検出部、63…マイク、65…照度センサー、67…LEDインジケーター、100…頭部装着型表示装置、110…操作部、111…6軸センサー、113…磁気センサー、115…GNSSレシーバー、117…無線通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶機能部、123…設定データ、124…コンテンツデータ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御機能部、151…入出力制御部、153…距離別画像生成部、155…中間距離画像生成部、157…注視点距離算出部、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、196…インターフェイス、210…表示ユニット基板、211…インターフェイス、213…受信部、215…EEPROM、217…温度センサー、221…OLEDユニット、223…OLEDパネル、225…OLED駆動回路、230…表示ユニット基板、231…インターフェイス、233…受信部、235…6軸センサー、237…磁気センサー、239…温度センサー、241…OLEDユニット、243…OLEDパネル、245…OLED駆動回路、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、AI…対象画像、CL…左眼用仮想カメラ、CR…右眼用仮想カメラ、EL…端部、ER…端部、Im1…第1距離別表示画像、Im2…第2距離別表示画像、Im3…第3距離別表示画像、Im4…第4距離別表示画像、Im5…第5距離別表示画像、L…画像光、L1…投写レンズ、LE…左眼、LL…遠距離光学系、LL1…コリメートレンズ、LL2…焦点距離変更レンズ、ML…中距離光学系、ML1…コリメートレンズ、ML2…焦点距離変更レンズ、OB…対象物、OL…外光、OM…3DCGオブジェクトマップ、Ob1…第1表示オブジェクト、Ob2…第2表示オブジェクト、Ob3…第3表示オブジェクト、Ob4…第4表示オブジェクト、Ob5…第5表示オブジェクト、PN…表示領域、PSM…プリズム、RD…視線、RE…右眼、RIm1…連続距離別表示画像、RIm2…連続距離別表示画像、RIm2a…連続距離別表示画像、RIm2b…連続距離別表示画像、RIm2c…連続距離別表示画像、ROb1…連続表示オブジェクト、SC…外景、SL…近距離光学系、SL1…コリメートレンズ、SL2…焦点距離変更レンズ、VS1…第1仮想画面、VS2…第2仮想画面、VS3…第3仮想画面、VT…視界、W1…第1表示距離、W2…第2表示距離、W3…第3表示距離、m1…第1反射膜、m2…第2反射膜

Claims (8)

  1. 頭部装着型表示装置であって、
    予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部と、
    隣り合う2つの前記焦点距離の間に存在する表示対象物を表す表示オブジェクトを、前記仮想画面に表示させるための距離別表示画像を生成する距離別画像生成部と、
    生成された各前記距離別表示画像を、前記隣り合う2つの焦点距離のうち、前記頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する前記仮想画面に表示させる表示制御部と、
    を備える、
    頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置において、
    前記表示制御部は、複数の前記表示オブジェクトが前記視界の方向に見て重なっている場合、該複数の前記表示オブジェクトのうち、前記視界の方向における奥側に位置する前記表示オブジェクトの少なくとも一部を表示させない、
    頭部装着型表示装置。
  3. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記使用者の視線を検出する視線検出部と、
    検出された前記視線から、前記使用者と、前記使用者が注視している注視点と、の間の距離である注視点距離を算出する注視点距離算出部と、
    をさらに備え、
    前記表示制御部は、複数の前記焦点距離に亘って連続して存在する表示対象物を表す前記表示オブジェクトである連続表示オブジェクトの全体を、前記注視点距離に最も近い前記焦点距離に対応する前記仮想画面に表示させる、
    頭部装着型表示装置。
  4. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記表示制御部は、複数の前記焦点距離に亘って連続して存在する表示対象物を表す前記表示オブジェクトである連続表示オブジェクトを、前記焦点距離ごとに前記連続表示オブジェクトを分割して各前記仮想画面に表示させる、
    頭部装着型表示装置。
  5. 請求項1から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示部には、第1表示対象物を表す第1表示オブジェクトが表示される第1仮想画面と、第2表示対象物を表す第2表示オブジェクトが表示される第2仮想画面と、が設定され、
    前記視界の方向に見て前記第1表示対象物と前記第2表示対象物との間に存在する表示対象物を表す前記表示オブジェクトを、前記仮想画面に表示させるための中間距離表示画像を生成する中間距離画像生成部を、さらに備え、
    前記中間距離画像生成部は、前記第1表示オブジェクトの色と、前記第2表示オブジェクトの色とを合成し、合成して得られる色の前記中間距離表示画像を生成し、
    前記表示制御部は、生成された前記中間距離表示画像を、前記第1仮想画面と、前記第2仮想画面と、のうちの少なくとも一方に表示させる、
    頭部装着型表示装置。
  6. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記使用者の視線を検出する視線検出部と、
    検出された前記視線から、前記使用者と、前記使用者が注視している注視点と、の間の距離である注視点距離を算出する注視点距離算出部と、
    をさらに備え、
    前記距離別画像生成部は、算出された前記注視点距離を利用して前記距離別表示画像を生成し、
    前記表示制御部は、前記注視点距離を利用して生成される前記距離別表示画像を前記注視点距離に対応する前記仮想画面に表示させる、
    頭部装着型表示装置。
  7. 予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部を備える頭部装着型表示装置における表示制御方法であって、
    隣り合う2つの前記焦点距離の間に存在する表示対象物を表す表示オブジェクトを、前記仮想画面に表示させるための距離別表示画像を生成する工程と、
    生成された各前記距離別表示画像を、前記隣り合う2つの焦点距離のうち、前記頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する前記仮想画面に表示させる工程と、
    を備える、
    表示制御方法。
  8. 予め定められた複数の焦点距離ごとに設定された仮想画面をそれぞれ表示する表示部を備える頭部装着型表示装置における表示制御を実現するためのコンピュータープログラムであって、
    隣り合う2つの前記焦点距離の間に存在する表示対象物を表す表示オブジェクトを、前記仮想画面に表示させるための距離別表示画像を生成する機能と、
    生成された各前記距離別表示画像を、前記隣り合う2つの焦点距離のうち、前記頭部装着型表示装置の使用者の視界の方向における奥側の焦点距離に対応する前記仮想画面に表示させる機能と、
    をコンピューターに実現させる、
    コンピュータープログラム。
JP2018045023A 2018-03-13 2018-03-13 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム Active JP7087481B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018045023A JP7087481B2 (ja) 2018-03-13 2018-03-13 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
CN201910183333.5A CN110275297B (zh) 2018-03-13 2019-03-12 头部佩戴型显示装置、显示控制方法以及记录介质
US16/299,568 US10838215B2 (en) 2018-03-13 2019-03-12 Head-mounted display apparatus, display control method, and computer program
US17/070,397 US11536964B2 (en) 2018-03-13 2020-10-14 Head-mounted display apparatus, display control method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018045023A JP7087481B2 (ja) 2018-03-13 2018-03-13 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2019159076A true JP2019159076A (ja) 2019-09-19
JP7087481B2 JP7087481B2 (ja) 2022-06-21

Family

ID=67903955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045023A Active JP7087481B2 (ja) 2018-03-13 2018-03-13 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム

Country Status (3)

Country Link
US (2) US10838215B2 (ja)
JP (1) JP7087481B2 (ja)
CN (1) CN110275297B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022023962A (ja) * 2019-10-16 2022-02-08 トヨタ自動車株式会社 画像表示システム
WO2022249597A1 (ja) * 2021-05-28 2022-12-01 ソニーグループ株式会社 画像表示装置及び導光光学系
WO2023055000A1 (ko) * 2021-09-29 2023-04-06 삼성전자 주식회사 증강 현실 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치
US11635625B2 (en) 2020-03-24 2023-04-25 Seiko Epson Corporation Virtual image display device and optical unit

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014248874B2 (en) * 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
KR20200043371A (ko) * 2017-08-29 2020-04-27 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置
CN112346252A (zh) * 2020-11-09 2021-02-09 京东方科技集团股份有限公司 近眼显示装置
US20230037329A1 (en) * 2021-08-05 2023-02-09 Meta Platforms Technologies, Llc Optical systems and methods for predicting fixation distance
TR2022003184A2 (tr) * 2022-03-03 2022-04-21 Ismail Kocak Sanal ortamda ses eti̇ketlemeye yöneli̇k göz taki̇pli̇ sanal gerçekli̇k ci̇hazi ve çalişma yöntemi̇

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223609A (ja) * 1995-02-09 1996-08-30 Atr Tsushin Syst Kenkyusho:Kk 焦点調節の可能な三次元表示方法および表示装置
JPH09331552A (ja) * 1996-06-10 1997-12-22 Atr Tsushin Syst Kenkyusho:Kk 多焦点式頭部搭載型ディスプレイ
JP2002196280A (ja) * 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
JP2016171550A (ja) * 2015-03-12 2016-09-23 日本精機株式会社 ヘッドマウントディスプレイ装置
US20160363770A1 (en) * 2015-06-15 2016-12-15 Samsung Electronics Co., Ltd. Head mounted display apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010139589A (ja) 2008-12-10 2010-06-24 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
JP5678709B2 (ja) * 2011-02-10 2015-03-04 ソニー株式会社 表示装置
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8803764B2 (en) * 2011-03-24 2014-08-12 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
CN102937745B (zh) * 2012-11-13 2015-04-01 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
CN103487938B (zh) * 2013-08-28 2016-03-02 成都理想境界科技有限公司 头戴显示装置
CN103500446B (zh) * 2013-08-28 2016-10-26 成都理想境界科技有限公司 一种头戴显示装置
JP6379572B2 (ja) * 2014-03-27 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN106646882A (zh) * 2016-12-30 2017-05-10 北京七鑫易维信息技术有限公司 一种头戴式显示装置及其调节参数确定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223609A (ja) * 1995-02-09 1996-08-30 Atr Tsushin Syst Kenkyusho:Kk 焦点調節の可能な三次元表示方法および表示装置
JPH09331552A (ja) * 1996-06-10 1997-12-22 Atr Tsushin Syst Kenkyusho:Kk 多焦点式頭部搭載型ディスプレイ
JP2002196280A (ja) * 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
JP2016171550A (ja) * 2015-03-12 2016-09-23 日本精機株式会社 ヘッドマウントディスプレイ装置
US20160363770A1 (en) * 2015-06-15 2016-12-15 Samsung Electronics Co., Ltd. Head mounted display apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022023962A (ja) * 2019-10-16 2022-02-08 トヨタ自動車株式会社 画像表示システム
US11635625B2 (en) 2020-03-24 2023-04-25 Seiko Epson Corporation Virtual image display device and optical unit
WO2022249597A1 (ja) * 2021-05-28 2022-12-01 ソニーグループ株式会社 画像表示装置及び導光光学系
WO2023055000A1 (ko) * 2021-09-29 2023-04-06 삼성전자 주식회사 증강 현실 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치

Also Published As

Publication number Publication date
US11536964B2 (en) 2022-12-27
US20190285895A1 (en) 2019-09-19
JP7087481B2 (ja) 2022-06-21
CN110275297B (zh) 2021-10-01
CN110275297A (zh) 2019-09-24
US20210026145A1 (en) 2021-01-28
US10838215B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
JP7087481B2 (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US10657722B2 (en) Transmissive display device, display control method, and computer program
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US10718948B2 (en) Head-mounted display apparatus, display control method, and computer program
US20180259775A1 (en) Transmission-type display device, display control method, and computer program
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
CN109960481B (zh) 显示系统及其控制方法
US10567730B2 (en) Display device and control method therefor
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20200227007A1 (en) Display system, control method of display system, information processing device, and control program of information processing device
JP2018142168A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US11156841B2 (en) Display device, control program for display device, control method for display device, and display system
JP2017182413A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2021043300A (ja) 表示システム、情報処理装置の制御プログラム、情報処理装置の制御方法、及び表示装置
US11520414B2 (en) Display system, control program for information processing device, and method for controlling information processing device
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2017183854A (ja) 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7087481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150