JP2016082466A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム Download PDF

Info

Publication number
JP2016082466A
JP2016082466A JP2014213543A JP2014213543A JP2016082466A JP 2016082466 A JP2016082466 A JP 2016082466A JP 2014213543 A JP2014213543 A JP 2014213543A JP 2014213543 A JP2014213543 A JP 2014213543A JP 2016082466 A JP2016082466 A JP 2016082466A
Authority
JP
Japan
Prior art keywords
image
display
head
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014213543A
Other languages
English (en)
Other versions
JP6459380B2 (ja
Inventor
和夫 西沢
Kazuo Nishizawa
和夫 西沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014213543A priority Critical patent/JP6459380B2/ja
Priority to US14/870,864 priority patent/US9846305B2/en
Publication of JP2016082466A publication Critical patent/JP2016082466A/ja
Application granted granted Critical
Publication of JP6459380B2 publication Critical patent/JP6459380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

【課題】使用者の視線方向に応じて輝度やコントラスト以外の要素も変化させた画像を表示させる頭部装着型表示装置を提供する。
【解決手段】頭部装着型表示装置は、使用者の視線方向を検出する視線方向検出部と；画像を表示する画像表示領域を有する画像表示部と；画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更する表示画像設定部と、を備える。
【選択図】図１

Description

本発明は、頭部装着型表示装置の技術に関する。
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。
特許文献１には、撮像手段によって撮像された使用者の眼の光彩情報を取得し、取得された光彩情報に基づいて、虚像を表示するための使用者の焦点位置を中心とする領域を設定し、設定された領域外の輝度やコントラストを小さくする画像表示装置が開示されている。また、特許文献２には、画像を表示しない非表示領域の輝度に基づいて、画像を表示する画像表示領域の輝度を調整する表示装置が開示されている。また、特許文献３には、カメラによって検出した使用者の瞳孔の向きや動きによって使用者の視線の中心点を特定し、表示画像の内の特定された視線の中心点に対応する部分のコントラストを調整する画像処理装置が開示されている。
特開２０１４−７１２３０号公報 特開２０１３−２５７４９２号公報 特開２０１３−２５４３５８号公報
しかし、特許文献１から特許文献３に記載された技術では、使用者の視線方向に応じて、所定の領域の輝度やコントラストが変化するだけであり、輝度やコントラスト以外の要素も使用者の視線方向などに応じて変化させたいという要望があった。そのほか、従来の画像処理の技術においては、その小型化や、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれていた。
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この形態の頭部装着型表示装置は、使用者の視線方向を検出する視線方向検出部と；画像を表示する画像表示領域を有する画像表示部と；画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更する表示画像設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者の視線方向に応じて、使用者が視認できる画像が変化するため、画像表示領域の大きさが限られていても、使用者は、視線方向を変化させることで、画像表示領域に表示できる大きさよりも大きな画像を実質的に視認でき、使用者の利便性が向上する。
（２）上記形態の頭部装着型表示装置において、前記画像表示領域は、複数の領域に分割され；分割された前記複数の領域の内の少なくとも２つの領域は、少なくとも一部分を共通の領域として共有しており；前記表示画像設定部は、特定された視線方向に基づいて前記表示位置を変更する場合に、前記複数の領域から前記視線方向に対応付けられた１つの領域を選択して、選択した前記１つの領域に画像を表示させてもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向の変化に対応して画像表示領域に表示された画像が変化しても、変化前後で少なくとも一部分は同じ画像が表示されているため、画像表示領域に表示された画像における変化前後の位置関係を使用者が認識でき、使用者の利便性がさらに向上する。
（３）上記形態の頭部装着型表示装置において、前記表示画像設定部は、前記画像が静止画像を含む場合に、前記複数の領域から前記視線方向に対応付けられた１つの領域を選択して、選択した前記１つの領域に前記静止画像を表示させてもよい。この形態の頭部装着型表示装置によれば、限られた種類の画像が画像表示領域に表示され、使用者は、現時点で表示されている画像がいずれの視線方向に対応付けられているのかを認識でき、次に視認したい画像を表示させるために変化させる視線方向を認識でき、使用者の利便性がさらに向上する。
（４）上記形態の頭部装着型表示装置において、前記表示画像設定部は、検出された前記視線方向の変化の速度よりも遅い速度で、前記画像表示領域において表示される前記画像の少なくとも一部と前記画像の表示位置との少なくとも一方を変更してもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向の変化に応じて、瞬間的に画像表示領域に表示された画像が切り替わることがなく、使用者の眼に対する負担を軽減できる。
（５）上記形態の頭部装着型表示装置において、前記表示画像設定部は、検出された前記視線方向の変化の速度と前記画像表示領域に表示させる画像の変化の速度との対応関係を、前記画像が動画である場合と静止画像である場合とで異なる関係に設定してもよい。この形態の頭部装着型表示装置によれば、画像表示領域に表示される画像の変化速度が、静止画像か動画かによって変化するため、使用者は、画像の変化速度によって、表示された画像が静止画像であるか動画であるかを区別できる。また、表示された画像が静止画像の場合には、徐々に表示される画像を変化させることで、使用者の眼に対する負担をより軽減できる。
（６）上記形態の頭部装着型表示装置において、前記視線方向検出部は、前記視線方向検出部は、使用者の眼を撮像し、撮像された使用者の眼の画像に基づいて前記視線方向を検出してもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向を簡便に特定できる。
（７）上記形態の頭部装着型表示装置において、さらに；前記視線方向が異なる使用者の眼の複数の画像を記憶する眼画像記憶部を備え；前記視線方向検出部は、撮像された使用者の眼の画像と、特定された使用者の眼の前記複数の画像と、を照合することによって、前記視線方向を検出してもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向をより簡便に特定できる。
（８）上記形態の頭部装着型表示装置において、さらに；使用者の頭部の向きを検出する頭部方向検出部を備え；前記表示画像設定部は、検出された前記頭部の向きと検出された前記視線方向とに基づいて、前記画像表示領域において表示される前記画像の少なくとも一部と前記画像の表示位置との少なくとも一方を変更してもよい。この形態の頭部装着型表示装置によれば、使用者の頭部の向きと視線方向との組み合わせによって、使用者に視認される画像が変化するので、使用者は、画像表示領域の大きさが限られていても、頭部の向きと視線方向とを変化させることにより、より多彩な画像を視認できる。
（９）上記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過し；前記表示画像設定部は、検出された前記視線方向が正面である場合には、前記画像表示領域の中心領域を除く領域に画像を表示させ、前記視線方向が正面から正面以外の方向に変化した場合には、変化した前記視線方向に対応付けられた画像を、前記中心領域を含む前記画像表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向が正面である場合には、使用者が外景を視認したいと判断して、画像が画像表示領域の中心以外の領域に表示されるため、使用者は、視線方向を変化させるだけで、外景か画像かの視認したい方を視認でき、使用者の利便性が向上する。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、視線方向検出部と、画像表示部と、表示画像設定部と、３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、視線方向検出部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、表示画像設定部を有していてもよく、有していなくてもよい。視線方向検出部は、例えば、使用者の視線方向を検出してもよい。画像表示部は、例えば、画像を表示する画像表示領域を有してもよい。表示画像設定部は、例えば、画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 使用者の視線方向に対応付けられて眼画像ＤＢに記憶された右眼の画像の一例を示す説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 表示画像設定処理のフローチャートである。 特定された視線方向と視線方向に対応付けられた画像データの領域との関係の一例を示す説明図である。 画像表示最大領域に画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 特定された変化後の頭部の向きおよび特定された変化後の視線方向の組み合わせと画像データの領域との関係の一例を示す説明図である。 視線方向が変化した後に使用者が視認する視野の一例を示す説明図である。 使用者の輻輳角についての説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。
ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
右眼撮像カメラ３７は、画像表示部２０を装着した使用者の右眼を撮像するカメラである。同様に、左眼撮像カメラ３８は、画像表示部２０を装着した使用者の左眼を撮像するカメラである。右眼撮像カメラ３７によって撮像された使用者の右眼の画像および左眼撮像カメラ３８によって撮像された使用者の左眼の画像は、後述する視線方向特定部１６７が使用者の視線方向を特定するための処理に用いられる。なお、右眼撮像カメラ３７および左眼撮像カメラ３８は、単眼カメラであるが、ステレオカメラであってもよい。右眼撮像カメラ３７と左眼撮像カメラ３８と後述する視線方向特定部１６７とは、請求項における視線方向特定部に相当する。以降では、右眼撮像カメラ３７および左眼撮像カメラ３８を合わせて、眼撮像カメラ３７，３８とも呼ぶ。
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。
電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。
記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。また、記憶部１２０は、使用者の視線方向に対応付けられた複数の画像を記憶する眼画像ＤＢ１２２を有している。眼画像ＤＢ１２２は、使用者に視線方向に対応付けられた画像として、例えば、視線方向が右方向である場合の右眼ＲＥの画像および左眼ＬＥの画像を記憶している。なお、眼画像ＤＢ１２２は、請求項における眼画像記憶部に相当する。
図３は、使用者の視線方向に対応付けられて眼画像ＤＢ１２２に記憶された右眼ＲＥの画像の一例を示す説明図である。図３には、使用者の右眼ＲＥの視線方向が正面、右、左、上、下を向いている場合のそれぞれの右眼ＲＥの画像が示されている。図３に示された５種類の使用者の右眼ＲＥの画像は、予め右眼撮像カメラ３７によって撮像された使用者の右眼ＲＥの撮像画像である。後述する視線方向特定部１６７は、右眼撮像カメラ３７によって撮像された使用者の右眼ＲＥの画像と、視線方向ごとに対応付けられた使用者の右眼ＲＥの画像と、を照合することで、使用者の視線方向を特定する。
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、頭部方向特定部１６６、視線方向特定部１６７、および、表示画像設定部１６５として機能する。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
頭部方向特定部１６６は、後述する画像表示部２０に搭載された１０軸センサー６６によって検出された角速度に基づいて、使用者の頭部の向きを特定する。頭部方向特定部１６６は、１０軸センサー６６によって角速度が検出され始めた時点の頭部の向きを基準として、現時点の頭部の向きを特定する。頭部方向特定部１６６は、特定した頭部の向きの情報を視線方向特定部１６７に送信する。なお、１０軸センサー６６および頭部方向特定部１６６は、請求項における頭部方向検出部に相当する。
視線方向特定部１６７は、眼撮像カメラ３７，３８によって撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像と、眼画像ＤＢ１２２に記憶された使用者の視線方向に対応付けられた右眼ＲＥの画像および左眼ＬＥの画像と、を照合することによって、使用者の視線方向を特定する。より具体的には、視線方向特定部１６７は、撮像された画像と眼画像ＤＢ１２２に記憶された画像とに対してパターンマッチングや統計的識別法を用いて、使用者の視線方向が正面、右、左、上、下の内のいずれかであるかを決定する。
表示画像設定部１６５は、特定された使用者の頭部の向きと特定された使用者の視線方向とに基づいて、画像表示部２０に表示させる画像を設定する。本実施形態では、１フレームごとに記憶部１２０内のＤＲＡＭに格納された画像データに基づく画像の大きさは、画像表示部２０に表示される最大の画像の大きさよりも大きい。そのため、表示画像設定部１６５は、視線方向に基づいて、ＤＲＡＭに格納された画像データの内から、画像表示部２０に送信する画像データを設定する。その後、表示画像設定部１６５は、送信部５１，５２を介して、設定した画像データを画像表示部２０に送信する。言い換えれば、表示画像設定部１６５は、ＤＲＡＭに格納された画像データに基づく画像の一部を画像表示部２０に表示させる。なお、表示画像設定部１６５は、画像表示部２０に画像を表示できる最大の領域である画像表示最大領域ＰＮの全体に画像を表示する必要はなく、画像表示最大領域ＰＮの一部に画像を表示してもよい。また、ＤＲＡＭに格納された画像データとしては、全く異なる画像を表す複数の画像データが組み合わされた画像を表す画像データであってもよい。視線方向と画像表示部２０に表示される表示画像との関係の詳細については、後述する表示画像設定処理のフローにおいて説明するが、表示画像設定部１６５は、視線方向の変化に対応して、ＤＲＡＭに格納されたデータから、送信部５１，５２を介して、画像表示部２０へと送信する画像データを変更する。なお、画像表示最大領域ＰＮは、請求項における画像表示領域に相当する。
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、１０軸センサー６６と、を備えている。
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
右眼撮像カメラ３７は、使用者の右眼ＲＥの画像を撮像する。同じように、左眼撮像カメラ３８は、使用者の左眼ＬＥの画像を撮像する。１０軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、および、気圧（１軸）を検出するセンサーである。１０軸センサー６６は、画像表示部２０における右表示駆動部２２の近くに内蔵されており、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きや位置を検出する。なお、本実施形態では、使用者の頭部の向きを特定するために地磁気等も検出する１０軸センサー６６が用いられたが、他の実施形態では、１０軸センサー６６の代わりに、角速度（３軸）のみを検出するジャイロセンサーが用いられてもよい。
図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
Ａ−２．表示画像設定処理：
図５は、表示画像設定処理のフローチャートである。表示画像設定処理では、制御部１０が特定された視線方向に対応させて画像表示部２０に表示させる画像を設定する。初めに、操作部１３５は、画像表示部２０にコンテンツの画像を表示させる操作が受け付けられたかを判定する（ステップＳ１０）。画像を表示させる操作を受け付けていないと判定された場合には（ステップＳ１０：ＮＯ）、操作部１３５は、引き続き、画像を表示させる操作の受付を待機する（ステップＳ１０）。画像を表示させる操作を受け付けたと判定された場合には（ステップＳ１０：ＹＥＳ）、画像処理部１６０は、操作に応じたコンテンツの画像データを記憶部１２０内のＤＲＡＭに格納する（ステップＳ１２）。
次に、表示画像設定部１６５は、ＤＲＡＭに格納された画像データ（以下、単に「格納データ」とも呼ぶ）が画像表示部２０の画像表示最大領域ＰＮよりも領域が大きい画像データであるか否かを判定する（ステップＳ１４）。格納データが画像表示最大領域ＰＮよりも領域が大きいと判定された場合には（ステップＳ１４：ＹＥＳ）、頭部方向特定部１６６は、１０軸センサー６６によって検出された角速度を用いて、使用者の頭部の向きを特定する（ステップＳ１６）。視線方向特定部１６７は、眼撮像カメラ３７，３８によって撮像された右眼ＲＥおよび左眼ＬＥの画像と、眼画像ＤＢ１２２に記憶された画像と、を照合することによって、使用者の視線方向を、正面、右、左、上、下（図３）のいずれかとして特定する（ステップＳ１８）。表示画像設定部１６５は、格納データの内から、特定された視線方向に対応付けられた領域の画像データに基づく画像を画像表示最大領域ＰＮに表示させる（ステップＳ２０）。
図６は、特定された視線方向と視線方向に対応付けられた画像データの領域との関係の一例を示す説明図である。図６には、特定された視線方向に対応付けられた画像表示最大領域ＰＮに表示する画像データの対応領域が表として示されている。対応領域は、２段に分類されている。分類された対応領域の上段は、画像が表示される対応領域の位置が文字として示されている。分類された対応領域の下段は、一点鎖線で示された格納データの外枠に対して、画像表示最大領域ＰＮに表示される画像データの対応領域を、外枠を実線とすると共に内部がハッチングして示している。なお、図６に示す例では、画像データの対応領域は、格納データの縦と横とのそれぞれを４分割して、格納データの全体を１６分割した部分の内の４つの部分によって構成される。図６の対応領域の下段に示すように、画像データの対応領域が異なっていても、１６分割された格納データの一部が重複している場合もある。例えば、対応領域が中心の場合と対応領域が右との場合とでは、１６分割された格納データの内の２つの部分が重複している。なお、本実施形態では、図５のステップＳ２０の処理において、１６分割された領域における右上、右下、左上、左下の４つの部分については、画像表示最大領域ＰＮに表示されない。詳細については後述するが、これらの４つの部分は、使用者の頭部の向きが変化した場合に、使用者の視線方向との組み合わせによって表示される。
図７は、画像表示最大領域ＰＮに画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図７に示すように、使用者は、光学像表示部２６，２８を透過して外景ＳＣを視認すると共に、画像表示最大領域ＰＮに表示された表示画像ＶＩ１を視認する。表示画像ＶＩ１は、使用者の視線方向が正面と特定された場合に、格納データの中心の対応領域に基づいて画像表示最大領域ＰＮに表示される画像である。なお、本実施形態では、表示画像ＶＩ１は、静止画の画像データに基づく画像であるが、他の実施形態では、静止画以外、例えば、動画の画像データに基づく画像であってもよい。なお、図７では、便宜上、画像表示最大領域ＰＮの外枠が破線として表示されているが、画像表示最大領域ＰＮの外枠は、表示されていない。また、図７に示す例では、表示画像ＶＩ１は、画像表示最大領域ＰＮの全体に表示されているが、他の実施形態では、画像表示最大領域ＰＮの一部に格納データに基づく画像が表示されてもよい。
図５のステップＳ２０の処理が行なわれると、制御部１０は、操作部１３５が表示画像設定処理を終了する操作の受付を検出したか否かを判定する（ステップＳ２２）。操作部１３５が表示画像設定処理を終了する操作の検出がないと判定された場合には（ステップＳ２２：ＮＯ）、頭部方向特定部１６６は、使用者の頭部の向きが予め定められた閾値以上の角度の変化があるか否かを判定する（ステップＳ２４）。本実施形態では、閾値として１０度が予め設定されている。そのため、例えば、使用者の頭部の向きが１０度以上右に回転した場合には、頭部の向きが右に変化したと判定する。なお、他の実施形態では、閾値として異なる数値が予め設定されてもよい。ステップＳ２４の処理において、使用者の頭部の向きが変化したと判定された場合には（ステップＳ２４：ＹＥＳ）、頭部方向特定部１６６は、使用者の頭部の向きを特定する（ステップＳ２６）。具体的には、頭部方向特定部１６６は、使用者の視線方向と同じように、変化する前の頭部の向きを正面として、右、左、上、下のいずれかに変化したと特定する。
使用者の頭部の向きが特定される、または、ステップＳ２４の処理において使用者の頭部の向きが変化していないと判定された場合には（ステップＳ２４：ＮＯ）、視線方向特定部１６７は、使用者の視線方向が変化しているか否かを判定する（ステップＳ２８）。使用者の視線方向が変化していると判定された場合には（ステップＳ２８：ＹＥＳ）、視線方向特定部１６７は、変化後の使用者の視線方向を特定する（ステップＳ３０）。使用者の視線方向が特定される、または、ステップＳ２８の処理において、使用者の視線方向が変化していないと判定された場合には（ステップＳ２８：ＮＯ）、表示画像設定部１６５は、格納データの内から、使用者の頭部の向きと使用者の視線方向とに対応付けられた領域の画像データに基づく画像を画像表示最大領域ＰＮに表示させる（ステップＳ２０）。表示画像設定部１６５は、格納データの内から、画像表示最大領域ＰＮに表示される領域の画像データが変化する場合には、徐々に変化前の画像から変化後の画像へと、画像表示最大領域ＰＮに表示される画像を変化させる。例えば、使用者の頭部の向きの変化と視線方向の変化とが０．１秒かけて行なわれた場合には、表示画像設定部１６５は、画像を変化させるのに、０．５秒かけて行なう。なお、使用者の頭部の向きが変化せず、かつ、使用者の視線方向も変化しなかった場合には、表示画像設定部１６５は、同じ画像を画像表示最大領域ＰＮに表示する。
図８は、特定された変化後の頭部の向きおよび特定された変化後の視線方向の組み合わせと画像データの領域との関係の一例を示す説明図である。図８には、変化後の使用者の頭部の向きと、使用者の視線方向と、の組み合わせに対応付けられた画像表示最大領域ＰＮに表示する画像データの対応領域が表として示されている。例えば、図８に示すように、使用者の頭部の向きの変化がなく（図８の変化なし）、かつ、使用者の視線方向が左の場合には、対応領域は、上下方向において中央であると共に左右方向において左側に位置する４つの部分から構成される。また、使用者の頭部の向きの変化が左であり、使用者の視線方向が下の場合には、対応領域は、画像データの左下に位置する４つの部分から構成される。なお、本実施形態では、変化後の頭部の向きとして、右、左、上、下の４つに分類したが、他の実施形態では、右上などの分類があってもよい。なお、本実施形態では、上述したように、使用者の頭部の向きの変化として検出する角度の閾値が１０度であり、使用者の頭部の向きが左だと判定されている場合に、頭部の向きが右に１０度の２倍である２０度以上変化すると、頭部方向特定部１６６は、頭部の向きが左から右に変化したと特定する。
図９は、視線方向が変化した後に使用者が視認する視野ＶＲの一例を示す説明図である。図９には、使用者の頭部の向きが変化せずに、使用者の視線方向が左に変化した場合の表示画像ＶＩ２が画像表示最大領域ＰＮに表示された状態での視野ＶＲが示されている。使用者の頭部の向きが変化していないため、外景ＳＣは、図７に示した外景ＳＣと同じである。一方で、図７の状態に対して、使用者の視線方向が左に変化しているため、画像表示最大領域ＰＮに表示された表示画像ＶＩ２は、同じ格納データであっても、格納データの左側の画像データに基づく画像である。
図５のステップＳ２０の処理が行なわれると、制御部１０は、再度、ステップＳ２２以降の処理を行なう。ステップＳ２２の処理において、操作部１３５が表示画像設定処理を終了する操作の受付を検出したと判定された場合には（ステップＳ２２：ＹＥＳ）、制御部１０は、表示画像設定処理を終了する。
ステップＳ１４の処理において、格納データが画像表示最大領域ＰＮよりも領域が大きいと判定されなかった場合には（ステップＳ１４：ＮＯ）、表示画像設定部１６５は、格納データの全体を画像表示最大領域ＰＮに表示することができるため、通常通り、格納データの全体に基づく画像を画像表示最大領域ＰＮに表示する（ステップＳ３２）。その後、ステップＳ２２と同様に、制御部１０は、操作部１３５が表示画像設定処理を終了する操作の受付の検出があるか否かを判定する（ステップＳ３２）。操作部１３５が表示画像設定処理を終了する操作の検出がないと判定された場合には（ステップＳ３２：ＮＯ）、引き続き、画像表示最大領域ＰＮに画像を表示しつつ、操作部１３５に表示画像設定処理を終了する操作の受付の検出を監視する（ステップＳ３４）。操作部１３５が表示画像設定処理を終了する操作の検出があったと判定された場合には（ステップＳ２２：ＹＥＳ）、制御部１０は、表示画像設定処理を終了する。
以上説明したように、本実施形態のＨＭＤ１００では、視線方向特定部１６７は、眼撮像カメラ３７，３８によって撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像を用いることによって、使用者の視線方向を特定する。表示画像設定部１６５は、特定された使用者の視線方向に対応付けられた格納データの内の一部の画像データを画像表示部２０の画像表示最大領域ＰＮに表示する。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向に応じて、使用者が視認できる画像が変化するため、画像表示部２０が画像を表示できる画像表示最大領域ＰＮの大きさが限られていても、使用者は、視線方向を変化させることで、画像表示最大領域ＰＮに表示できる大きさよりも大きな画面を実質的に視認でき、使用者の利便性が向上する。
また、本実施形態のＨＭＤ１００では、格納データの内から設定された画像データの対応領域が異なっていても、画像データの一部が重複しており、表示画像設定部１６５は、使用者の視線方向に対応付けられた対応領域の画像データに基づく画像を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向の変化に対応して表示画像が変化しても、変化前後で少なくとも一部分は同じ画像が表示されているため、表示画像における変化前後の位置関係を使用者が認識でき、使用者の利便性がさらに向上する。
また、本実施形態のＨＭＤ１００では、表示画像設定部１６５は、格納データが静止画の画像データであり、画像表示最大領域ＰＮに表示する画像として、５種類の視線方向および５種類の頭部の向きの変化に対応付けて、中心、右、左、上、下、右上、右下、左上、左下９種類（図８）の対応領域のいずれかの対応領域の画像を表示する。そのため、本実施形態のＨＭＤ１００では、限られた種類の画像が画像表示最大領域ＰＮに表示され、使用者は、現時点で表示されている表示画像がいずれの視線方向と頭部の向きとに対応付けられているのかを認識でき、次に視認したい画像を表示させるために変化させる視線方向や頭部の向きを認識でき、使用者の利便性がさらに向上する。
また、本実施形態のＨＭＤ１００では、表示画像設定部１６５は、格納データの内から、画像表示最大領域ＰＮに表示される領域の画像データが変化する場合には、徐々に変化前の画像から変化後の画像へと、画像表示最大領域ＰＮに表示される画像を変化させる。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向の変化に応じて、瞬間的に画像表示最大領域ＰＮに表示された画像が切り替わることがなく、使用者の眼に対する負担を軽減できる。
また、本実施形態のＨＭＤ１００では、記憶部１２０の眼画像ＤＢ１２２は、使用者に視線方向に対応付けられた画像として、例えば、視線方向が右方向である場合に右眼ＲＥの画像および左眼ＬＥの画像を記憶している（図３）。また、視線方向特定部１６７は、眼撮像カメラ３７，３８によって撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像と、眼画像ＤＢ１２２に記憶された画像と、を照合することによって、使用者の視線方向を特定する。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向を簡便に特定できる。
また、本実施形態のＨＭＤ１００では、表示画像設定部１６５は、使用者の頭部の向きと視線方向とに基づいて、画像表示部２０の画像表示最大領域ＰＮに表示させる画像を設定する。そのため、本実施形態のＨＭＤ１００では、使用者の頭部の向きと視線方向との組み合わせによって、使用者に視認される画像が変化するので、使用者は、画像表示最大領域ＰＮの大きさが限られていても、頭部の向きと視線方向とを変化させることにより、より多彩な画像を視認できる。
Ｂ．第２実施形態：
第２実施形態では、第１実施形態と比べて、記憶部１２０内のＤＲＡＭに格納された画像データが動画である点と、格納データから画像表示部２０に送信される画像データが使用者の視線方向のみに基づいて設定される点と、が異なり、他の構成や制御については、第１実施形態と同じである。
第２実施形態では、画像表示部２０に表示される画像が動画であるため、第１実施形態とは異なり、視線方向特定部１６７は、使用者の眼の輻輳角に基づいて、使用者の視線方向を特定する。表示画像設定部１６５は、特定された使用者の視線方向に対応付けて、格納データの内から画像表示部２０に表示させる画像の画像データを設定する。
図１０は、使用者の輻輳角についての説明図である。図１０には、使用者が地点Ｐ１と地点Ｐ２とを注視した場合における輻輳角が示されている。使用者の右眼ＲＥの中心と左眼ＬＥの中心とを結び直線を直線ＬＬとした場合に、直線ＬＬに垂直であると共に水平方向に平行で、右眼ＲＥの中心を通る直線を直線ＯＬ１、左眼ＬＥの中心を通る直線を直線ＯＬ２と定義する。この場合に、右眼ＲＥの中心および地点Ｐ１を結ぶ直線と直線ＯＬ１とがなす角度α１と、左眼ＬＥの中心および地点Ｐ１を結ぶ直線と直線ＯＬ２とがなす角度α２と、を加えた角度が、使用者が地点Ｐ１を注視している場合の輻輳角として算出される。なお、同じように、右眼ＲＥおよび地点Ｐ２を結ぶ直線と直線ＯＬ１とがなす角度β１から、左眼ＬＥおよび地点Ｐ２を結ぶ直線と直線ＯＬ２とがなす角度を差し引いた角度が、使用者が地点Ｐ２を注視している場合の輻輳角として算出される。
第２実施形態では、表示画像設定処理が行なわれる前に、予め、表示画像設定部１６５が画像表示最大領域ＰＮに複数の仮想点を表示させて、記憶部１２０の眼画像ＤＢ１２２は、仮想点を注視している場合の使用者の眼の画像を記憶している。そのため、視線方向特定部１６７は、撮像された使用者の右眼ＲＥおよび左眼ＬＥの画像と、眼画像ＤＢ１２２に記憶された使用者の眼の画像と、を照合して輻輳角および角度α１，α２を特定することで、使用者の視線方向を特定する。また、視線方向特定部１６７は、輻輳角を特定することで、使用者から、使用者が注視している位置までの距離を測定できる。
表示画像設定部１６５は、特定された使用者の視線方向に対応させて、格納データの内から選択した画像データに基づく画像を画像表示部２０に表示させる。例えば、格納データの全体に基づく画像を表示させる場合には、使用者の視線方向が、左右のそれぞれに３０度、上下のそれぞれに１５度、変化する必要があるときには、表示画像設定部１６５は、当該範囲において、１対１で対応付けられた画像を画像表示部２０に表示させる。使用者の視線方向が正面から左に１０度、上に５度変化している場合には、表示画像設定部１６５は、格納データの対応領域の中心から左に１０度、上に５度変化させた位置を中心とする画像を画像表示部２０に表示させる。仮に、使用者の視線方向が、左の角度の上限である３０度を超えた３５度、上に５度変化している場合には、表示画像設定部１６５は、格納データの対応領域の中心から左に限度である３０度、上に５度変化させた位置を中心とする画像を画像表示部２０に表示させる。なお、他の実施形態では、表示画像設定部１６５は、格納データの対応領域の中心から左に３５度、上に５度変化させた位置を中心とする画像を画像表示部２０に表示させ、画像表示最大領域ＰＮの右側の５度に相当する部分に画像を表示させない態様であってもよい。また、格納データの全体に基づく画像が、使用者が視線方向を変化させられる上限を超える場合（例えば、左右のそれぞれに２５０度など）には、使用者の視線方向の変化に対応して格納データの全体に基づく画像が表示できるように、表示画像設定部１６５は、使用者の視線方向の変化１度に対して、対応領域の中心が２度変化するように設定してもよい。第２実施形態のＨＭＤ１００では、格納データに基づいて画像表示部２０に表示される画像が動画である場合に、表示画像設定部１６５は、特定された使用者の視線方向に対応付けて、格納データから選択する対応領域を１対１で設定する。そのため、第２実施形態のＨＭＤ１００では、視線方向の微妙な変化を表示画像の領域として変化させることができ、使用者の使い勝手が向上する。
Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
Ｃ−１．変形例１：
上記実施形態では、画像表示部２０の画像表示最大領域ＰＮの全体に画像を表示させる態様について説明したが、必ずしも画像表示最大領域ＰＮの全体に画像を表示させる必要はなく、画像表示最大領域ＰＮと表示画像との関係については、種々変形可能である。例えば、表示画像設定部１６５は、操作部１３５が受け付けた操作などに応じて、画像表示最大領域ＰＮ内に表示する画像の大きさを設定してもよい。また、画像表示最大領域ＰＮの一部に画像が表示される場合に、表示画像設定部１６５は、使用者の視線方向や頭部の向きの変化に応じて、画像表示最大領域ＰＮに表示される画像の位置を変更してもよい。具体的には、表示画像設定部１６５は、使用者の視線方向が正面である場合に、画像表示最大領域ＰＮを縦と横とのそれぞれに２分割した計４分割した左上の領域に表示させておき、使用者の視線方向が左上に変化した場合に、視線方向が変化する前に画像表示最大領域ＰＮの左上に表示させていた画像を拡大して、画像表示最大領域ＰＮの全体に表示させてもよい。また、表示画像設定部１６５は、使用者の視線方向が正面である場合に、画像表示最大領域ＰＮの中心の一部に画像を表示し、使用者の視線方向が左に変化した場合に、視線方向に追従させて、表示画像を画像表示最大領域ＰＮの左に変化させてもよい。その際、表示画像設定部１６５は、格納データから選択する領域を変化させなくてもよいし、左の領域に変化さてもよい。
また、上記実施形態では、虚像を投影させるＨＭＤ１００が用いられたが、ＭＥＭＳ（Micro Electro-Mechanical System）方式の光スキャナー方式のＨＭＤが用いられてもよい。ＭＥＭＳ方式のＨＭＤでは、１画素または複数画素（例えば、３×３画素）ごとの画像光の投射位置が１枚または複数のミラーによって変更されるため、ミラーの向きによって、画像が表示される領域が異なる。ＭＥＭＳ方式のＨＭＤが用いられた場合には、請求項における画像表示領域とは、ミラーの向きによって画像が表示できる範囲のすべての領域のことをいう。例えば、ミラーの向きによって、画像が表示される領域が領域Ｄ１と領域Ｄ２との二通りがある場合には、領域Ｄ１または領域Ｄ２に含まれる領域の全体を、画像表示領域という。
また、記憶部１２０内のＤＲＡＭの格納データは、複数の画像データを組み合わされた画像であってもよい。例えば、表示画像設定部１６５は、異なる２つの飲食店を比較する場合に、使用者の視線方向が右に変化した場合には、一方の飲食店のメニューなどの画像を画像表示最大領域ＰＮの全体に表示し、使用者の視線方向が左に変化した場合には、もう一方の飲食店のメニューなどの画像を画像表示最大領域ＰＮの全体に表示してもよい。
また、表示画像設定部１６５は、使用者の視線方向が正面である場合には、画像表示最大領域ＰＮの中心の領域には画像を表示せずに、画像表示最大領域ＰＮの中心を除く領域に表示してもよい。そして、表示画像設定部１６５は、使用者の視線方向が正面以外に変化した場合に、変化後の視線方向の対応領域に対応付けられた画像を画像表示最大領域ＰＮの全体に表示してもよい。この変形例では、使用者の視線方向が正面である場合には、使用者が外景を視認したいと判断して、画像が画像表示最大領域ＰＮの中心以外の領域に表示されるため、使用者は、視線方向を変化させるだけで、外景か画像かの視認したい方を視認でき、使用者の利便性が向上する。なお、画像表示最大領域ＰＮの中心の領域の例としては、図６および図８に示す格納データと同じように、画像表示最大領域ＰＮを１６分割した場合の中心の４つの部分が挙げられる。また、画像表示最大領域ＰＮの中心の領域としては、使用者が前方を向いている場合に、いわゆる有効視野（水平約３０度、垂直約２０度）のように、使用者の視野に基づいて設定される領域であってもよい。
また、格納データが動画の画像データと静止画の画像データとが組み合わされた画像であった場合に、表示画像設定部１６５は、どちらの画像データに基づく画像を画像表示最大領域ＰＮに表示するかによって、使用者の視線が変化した後の画像の変化の速度の設定を変更してもよい。例えば、表示画像設定部１６５は、第１実施形態のように、いくつかの領域に分類された静止画を画像表示部２０に表示させた後に、表示画像を変化させる場合には、画像の変化速度を視線方向の変化速度よりも遅くする。逆に、表示画像設定部１６５は、第２実施形態のように、１対１で表示画像の領域を変化させる動画を画像表示部２０に表示させる場合には、画像の変化速度を視線方向の変化速度と同じになるように設定してもよい。この変形例では、画像表示最大領域ＰＮに表示される画像の変化速度が、静止画の画像データに基づく画像か、動画の画像データに基づく画像かによって変化するため、使用者は、画像の変化速度によって、表示画像が静止画であるか動画であるかを認識できる。また、静止画は、格納データが時間に伴って変化しないが、動画は、格納データが時間に伴って変化するため、静止画に基づく表示画像が変化する場合と動画に基づく表示画像が変化する場合とでは、格納データが変化していない静止画が急に変化した場合には、より使用者の眼に対する負担が大きくなる。よって、表示画像が静止画の場合には、徐々に表示画像を変化させることで、使用者の眼に対する負担をより軽減できる。
また、上記実施形態では、光学像表示部２６，２８が外景を透過して、使用者が透過した外景を視認できるＨＭＤ１００について説明したが、必ずしも、ＨＭＤ１００は、外景を透過する頭部装着型表示装置でなくてもよい。例えば、同じ透過型でも、ビデオシースルーの頭部装着型表示装置であってもよいし、非透過型のクローズドの頭部装着型表示装置であってもよい。
Ｃ−２．変形例２：
上記第１実施形態では、５種類の視線方向および５種類の頭部の向きの変化に対応付けて、表示画像が９種類の対応領域に分類されたが、第２実施形態のように、視線方向や頭部の向きと１対１に対応した画像が表示されてもよい。同じように、第２実施形態では、視線方向と１対１に対応した画像が表示されたが、第１実施形態のように、いくつかの領域に分類された画像表示部２０に画像が表示されてもよい。また、上記第１実施形態では、使用者の視線方向と頭部の向きとによって表示画像の対応領域が設定されたが、必ずしも使用者の頭部の向きに基づいて表示画像が設定される必要はない。
上記第１実施形態では、使用者の視線方向が５種類の視線方向に分類され、表示画像が９種類の対応領域に分類されたが、使用者の視線方向の分類や表示画像の対応領域については、これらに限られず、種々変形可能である。例えば、使用者の視線方向が、第１実施形態の５種類の視線方向に対して、右上、右下、左上、左下の４種類の視線方向を加えた計９種類の視線方向に分類され、かつ、表示画像の対応領域が増やされ（例えば、１６種類（縦４種、横４種）、使用者の視線方向と頭部の向きとの組み合わせに対応させて、より多くの対応領域に対応させた画像が表示されてもよい。なお、視線方向の種類、頭部の向きの種類、表示画像の対応領域の種類については、種々変形可能である。
上記実施形態では、例えば、図５のステップＳ１６からステップＳ２０までの処理やステップＳ２４からステップＳ３０までの処理において、使用者の頭部の向きが特定された後に、使用者の視線方向が特定されているが、使用者の頭部の向きおよび視線方向の特定については、この順番に限られず、種々変形可能である。例えば、使用者の視線方向が特定された後に、使用者の頭部の向きが特定されて、画像が表示されてもよい。また、使用者の頭部の向きが特定されずに、使用者の視線方向のみが特定され、特定された使用者の視線方向に基づいて、画像が表示されてもよい。また、使用者の操作によって、使用者の視線方向と頭部の向きとを特定する順番が設定されてもよい。
上記実施形態では、使用者の視線方向を特定するために、眼撮像カメラ３７，３８によって撮像された使用者の眼の画像と眼画像ＤＢ１２２に記憶された眼の画像とが照合されたが、使用者の視線方向を特定する方法は、これらに限られず、種々変形可能である。例えば、視線方向特定部１６７は、眼撮像カメラ３７，３８によって撮像された使用者の眼の画像の代わりに、使用者の眼に赤外線を照射する赤外線発光部と、眼を反射した赤外線を受光する赤外線受光部を備えることで、使用者の瞳孔の大きさおよび瞳孔の中心を特定して、使用者の視線方向を特定してもよい。また、眼画像ＤＢ１２２は、撮像された使用者の右眼ＲＥおよび左眼ＬＥのデータではなく、使用者の瞳孔の大きさや中心に関係する情報を記憶していてもよい。また、人の眼球における角膜側の電荷と網膜側の電荷とが異なることを利用した眼電位センシングの技術によって、使用者の視線方向が特定されてもよい。眼電位センシングの技術は、人の眼球の角膜側が正の電荷を帯びていることと網膜側が負の電荷を帯びていることとを利用して、角膜側と網膜側との電位差である眼電位を検出することで、使用者の視線方向を特定できる。また、上記実施形態では、使用者の右眼ＲＥおよび左眼ＬＥの眼を撮像したが、片眼のみの眼の撮像画像によって、使用者の視線方向が特定されてもよい。
上記第１実施形態では、表示画像ＶＩ１，ＶＩ２は、静止画の画像データに基づく画像であったが、静止画の背景に一部の動画を重ねた画像データに基づく画像などであってもよい。例えば、画像表示最大領域ＰＮに表示される画像としては、背景としての花の木を含む静止画に対して、背景の花の木の花びらが舞い散る動画を重ねた画像であってもよい。
Ｃ−３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。
また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。
また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
Ｃ−４．変形例４：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。
図１１は、変形例におけるＨＭＤの外観構成を示す説明図である。図１１（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１１（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。
また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
３７…右眼撮像カメラ
３８…左眼撮像カメラ
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ
６６…１０軸センサー
１００…ＨＭＤ
１２０…記憶部
１２２…眼画像ＤＢ
１３０…電源
１３２…無線通信部
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…表示画像設定部
１６６…頭部方向特定部
１６７…視線方向特定部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
ＵＳＢインターフェイス…マイクロ
Ｐ１，Ｐ２…地点
ＯＡ…外部機器
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＬＬ…直線
ＰＮ…画像表示最大領域（画像表示領域）
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＶＩ１，ＶＩ２…表示画像
ＯＬ１，ＯＬ２…直線
α１，α２，β１，β２…角度
Ｄ１，Ｄ２…領域

Claims (11)

  1. 頭部装着型表示装置であって、
    使用者の視線方向を検出する視線方向検出部と、
    画像を表示する画像表示領域を有する画像表示部と、
    画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更する表示画像設定部と、を備える頭部装着型表示装置。
  2. 請求項１に記載の頭部装着型表示装置であって、
    前記画像表示領域は、複数の領域に分割され、
    分割された前記複数の領域の内の少なくとも２つの領域は、少なくとも一部分を共通の領域として共有しており、
    前記表示画像設定部は、特定された前記視線方向に基づいて前記表示位置を変更する場合に、前記複数の領域から前記視線方向に対応付けられた１つの領域を選択して、選択した前記１つの領域に画像を表示させる、頭部装着型表示装置。
  3. 請求項２に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、前記画像が静止画像を含む場合に、前記複数の領域から前記視線方向に対応付けられた１つの領域を選択して、選択した前記１つの領域に前記静止画像を表示させる、頭部装着型表示装置。
  4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、検出された前記視線方向の変化の速度よりも遅い速度で、前記画像表示領域において表示される前記画像の少なくとも一部と前記表示位置との少なくとも一方を変更する、頭部装着型表示装置。
  5. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、検出された前記視線方向の変化の速度と前記画像表示領域に表示させる画像の変化の速度との対応関係を、前記画像が動画である場合と静止画像である場合とで異なる関係に設定する、頭部装着型表示装置。
  6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
    前記視線方向検出部は、使用者の眼を撮像し、撮像された使用者の眼の画像に基づいて前記視線方向を検出する、頭部装着型表示装置。
  7. 請求項６に記載の頭部装着型表示装置であって、さらに、
    前記視線方向が異なる使用者の眼の複数の画像を記憶する眼画像記憶部を備え、
    前記視線方向検出部は、撮像された使用者の眼の画像と、特定された使用者の眼の前記複数の画像と、を照合することによって、前記視線方向を検出する、頭部装着型表示装置。
  8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    使用者の頭部の向きを検出する頭部方向検出部を備え、
    前記表示画像設定部は、検出された前記頭部の向きと検出された前記視線方向とに基づいて、前記画像表示領域において表示される前記画像の少なくとも一部と前記表示位置との少なくとも一方を変更する、頭部装着型表示装置。
  9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、外景を透過し、
    前記表示画像設定部は、検出された前記視線方向が正面である場合には、前記画像表示領域の中心領域を除く領域に画像を表示させ、前記視線方向が正面から正面以外の方向に変化した場合には、変化した前記視線方向に対応付けられた画像を、前記中心領域を含む前記画像表示領域に表示させる、頭部装着型表示装置。
  10. 画像を表示する画像表示領域を有する画像表示部を備える頭部装着型表示装置の制御方法であって、
    使用者の視線方向を検出する工程と、
    画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更する工程と、を備える、制御方法。
  11. 画像を表示する画像表示領域を有する画像表示部を備える頭部装着型表示装置のためのコンピュータープログラムであって、
    使用者の視線方向を検出する検出機能と、
    画像の少なくとも一部を前記画像表示領域に表示させ、検出された前記視線方向に基づいて、前記画像表示領域に表示される前記画像の少なくとも一部と、前記画像表示領域において表示される画像の表示位置と、の少なくとも一方を変更する表示画像設定機能と、をコンピューターに実現させるコンピュータープログラム。
JP2014213543A 2014-10-20 2014-10-20 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム Active JP6459380B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014213543A JP6459380B2 (ja) 2014-10-20 2014-10-20 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US14/870,864 US9846305B2 (en) 2014-10-20 2015-09-30 Head mounted display, method for controlling head mounted display, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014213543A JP6459380B2 (ja) 2014-10-20 2014-10-20 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2016082466A true JP2016082466A (ja) 2016-05-16
JP6459380B2 JP6459380B2 (ja) 2019-01-30

Family

ID=55748942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014213543A Active JP6459380B2 (ja) 2014-10-20 2014-10-20 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Country Status (2)

Country Link
US (1) US9846305B2 (ja)
JP (1) JP6459380B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008101A1 (ja) * 2016-07-06 2018-01-11 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
KR101831070B1 (ko) * 2016-11-11 2018-02-22 가톨릭대학교 산학협력단 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법
JP2019134341A (ja) * 2018-01-31 2019-08-08 株式会社ジャパンディスプレイ 表示装置及び表示システム
CN111176452A (zh) * 2019-12-30 2020-05-19 联想(北京)有限公司 确定显示区域的方法和装置、计算机系统和可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
KR102117376B1 (ko) * 2015-09-25 2020-06-01 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치
US10965884B2 (en) * 2016-12-01 2021-03-30 Sony Interactive Entertainment Inc. Head-mounted display, display controlling apparatus, display controlling method, and program
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
JP2021047227A (ja) * 2019-09-17 2021-03-25 セイコーエプソン株式会社 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179238A (ja) * 1994-12-22 1996-07-12 Canon Inc 観察光学装置
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2011198141A (ja) * 2010-03-19 2011-10-06 Olympus Corp 注視エリア検出装置及び頭部装着型情報表示装置
JP2014110474A (ja) * 2012-11-30 2014-06-12 Olympus Corp 頭部装着型装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) * 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
JP6007600B2 (ja) 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2013257492A (ja) 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
JP6026836B2 (ja) 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179238A (ja) * 1994-12-22 1996-07-12 Canon Inc 観察光学装置
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2011198141A (ja) * 2010-03-19 2011-10-06 Olympus Corp 注視エリア検出装置及び頭部装着型情報表示装置
JP2014110474A (ja) * 2012-11-30 2014-06-12 Olympus Corp 頭部装着型装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008101A1 (ja) * 2016-07-06 2018-01-11 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JP6450890B2 (ja) * 2016-07-06 2019-01-09 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JPWO2018008101A1 (ja) * 2016-07-06 2019-01-17 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
KR101831070B1 (ko) * 2016-11-11 2018-02-22 가톨릭대학교 산학협력단 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법
JP2019134341A (ja) * 2018-01-31 2019-08-08 株式会社ジャパンディスプレイ 表示装置及び表示システム
WO2019150624A1 (ja) * 2018-01-31 2019-08-08 株式会社ジャパンディスプレイ 表示装置及び表示システム
CN111176452A (zh) * 2019-12-30 2020-05-19 联想(北京)有限公司 确定显示区域的方法和装置、计算机系统和可读存储介质

Also Published As

Publication number Publication date
US20160109703A1 (en) 2016-04-21
JP6459380B2 (ja) 2019-01-30
US9846305B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6337433B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6237000B2 (ja) 頭部装着型表示装置
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6318596B2 (ja) 情報処理装置および情報処理装置の制御方法
JP2014192550A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10416460B2 (en) Head mounted display device, control method for head mounted display device, and computer program
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2015115848A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016033759A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6331374B2 (ja) 頭部装着型表示装置
JP2015087523A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2016109710A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6136162B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6459380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150