JP2015188175A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】頭部装着型表示装置において、使用者に頭部装着型表示装置を操作するための操作部を提供しつつ、仮想空間への没入感を感じさせる。【解決手段】使用者が虚像を視認可能な頭部装着型表示装置は、使用者に虚像を視認させるための画像表示部と、頭部装着型表示装置を操作するために用いられる複数の画像と、背景画像とを表す虚像を、画像表示部に形成させる表示処理部と、使用者の頭部の動きを検出する動き検出部とを備える。表示処理部は、使用者の頭部の動きに応じて背景画像を変更する。【選択図】図９

Description

本発明は、頭部装着型表示装置に関する。

使用者の頭部に装着されて用いられることによって、使用者の視野領域に虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）とも呼ばれる。

このような頭部装着型表示装置において、使用者に視認させる虚像を、使用者の頭の動き等に追従させて変化させ、仮想空間を提示するバーチャルリアリティと呼ばれる技術が知られている。頭部装着型表示装置を用いて実現される仮想空間では、自身の動きに応じて視認する虚像が変化することから、使用者は、自身の眼で直接仮想空間を見ているという強い没入感を得ることができる。特許文献１には、仮想表示スクリーンの異なる位置に、操作部として機能する仮想画面をそれぞれ配置し、使用者の頭部の動きに応じて、一の操作部（仮想画面）を使用者に視認させる頭部装着型表示装置が記載されている。

特許第３８７２１００号公報

特許文献１に記載された技術では、使用者は、頭部の動きに応じて全く異なる操作部（仮想画面）を視認するため、没入感を得づらいという課題があった。

このため、使用者に頭部装着型表示装置を操作するための操作部を提供しつつ、仮想空間への没入感を感じさせることのできる頭部装着型表示装置が望まれている。そのほか、頭部装着型表示装置には、小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、使用者が虚像を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記使用者に前記虚像を視認させるための画像表示部と；前記頭部装着型表示装置を操作するために用いられる複数の画像と、背景画像とを表す前記虚像を、前記画像表示部に形成させる表示処理部と；前記使用者の頭部の動きを検出する動き検出部と、を備え；前記表示処理部は、前記使用者の頭部の動きに応じて前記背景画像を変更する。この形態の頭部装着型表示装置によれば、表示処理部は、頭部装着型表示装置を操作するために用いられる複数の画像と、背景画像とを表す虚像を画像表示部に形成させることで、使用者に視認させる。このため、表示処理部は、使用者に頭部装着型表示装置を操作するための操作部を提供することができる。また、表示処理部は、使用者の頭部の動きに応じて背景画像を変更するため、使用者は、自身の頭部の動きに応じて変化する背景画像によって、仮想空間への没入感を感じることができる。この結果、使用者に頭部装着型表示装置を操作するための操作部を提供しつつ、仮想空間への没入感を感じさせることのできる頭部装着型表示装置を提供することができる。

（２）上記形態の頭部装着型表示装置において；前記表示処理部は；前記背景画像の領域よりも大きな領域を有する対象画像から、前記対象画像の一部を抜き出して前記背景画像とし；前記使用者の頭部の動きに応じて前記対象画像から抜き出す部分を変更することで、前記背景画像を変更してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、使用者の頭部の動きに応じて対象画像から背景画像として抜き出す部分を変更するため、背景画像の変化に連続性を持たせることができる。この結果、使用者により深い没入感を感じさせることができる。

（３）上記形態の頭部装着型表示装置において；前記表示処理部は；検出された前記使用者の頭部の水平方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を水平方向に移動させ；検出された前記使用者の頭部の鉛直方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を鉛直方向に移動させてもよい。この形態の頭部装着型表示装置によれば、表示処理部は、使用者の頭部の水平方向の動きに応じて、対象画像から背景画像として抜き出す部分を水平方向に移動させ、使用者の頭部の鉛直方向の動きに応じて、対象画像から背景画像として抜き出す部分を鉛直方向に移動させる。このように、表示処理部は、使用者の頭部の動きに追従して背景画像を変化させるため、使用者により深い没入感を感じさせることができる。

（４）上記形態の頭部装着型表示装置では、さらに；前記対象画像の水平方向の大きさに対する前記使用者の頭部の水平方向の移動量と、前記対象画像の鉛直方向の大きさに対する前記使用者の頭部の鉛直方向の移動量と、を予め記憶する記憶部を備え；前記表示処理部は、検出された前記使用者の頭部の水平方向の動きおよび前記水平方向の移動量と、検出された前記使用者の頭部の鉛直方向の動きおよび前記鉛直方向の移動量と、に基づいて、前記対象画像から前記背景画像として抜き出す部分を決定してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、記憶部に記憶されている使用者の頭部の水平および鉛直方向の移動量と、検出された使用者の頭部の水平および鉛直方向の動きに基づいて対象画像から抜き出す部分を決定する。このため、記憶部の内容を変更することで簡便に、表示処理部の処理を変更することができる。

（５）上記形態の頭部装着型表示装置において；前記表示処理部は、さらに；前記使用者の頭部の斜め方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を傾けてもよい。この形態の頭部装着型表示装置によれば、表示処理部は、使用者の頭部の斜め方向の動きに応じて、対象画像から背景画像として抜き出す部分を傾ける。このように、表示処理部は、使用者の頭部の動きに追従して背景画像を変化させるため、使用者により深い没入感を感じさせることができる。

（６）上記形態の頭部装着型表示装置において；前記表示処理部は、さらに；現在時刻に応じて前記対象画像を変更してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、現在時刻に応じて対象画像を変更するため、使用者により深い没入感を感じさせることができる。

（７）上記形態の頭部装着型表示装置では、さらに；前記対象画像の特性に関する特性条件を予め記憶する記憶部を備え；前記表示処理部は；前記対象画像の元となる元画像を取得し；取得した前記元画像が前記特性条件を満たさない場合は、前記元画像を変換することで前記特性条件を満たすような前記対象画像を生成し；取得した前記元画像が前記特性条件を満たす場合は、前記元画像をそのまま前記対象画像としてもよい。この形態の頭部装着型表示装置によれば、表示処理部は、対象画像の元となる元画像が対象画像の特性に関する特性条件を満たさない場合は、元画像を変換することで特性条件を満たすような対象画像を生成する。このため、背景画像を生成するために用いられる対象画像の特性を画一化することができる。

（８）上記形態の頭部装着型表示装置では、さらに；前記対象画像の生成に関する生成条件を予め記憶する記憶部を備え；前記表示処理部は；前記対象画像の元となる元画像を取得し；取得した前記元画像を、前記生成条件に従って変換することで前記対象画像を生成してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、対象画像の元となる元画像を、対象画像の生成に関する生成条件に従って変換することで対象画像を生成する。このため、背景画像を生成するために用いられる対象画像の特性を画一化することができる。

（９）上記形態の頭部装着型表示装置では、さらに；前記使用者の視線を検出する視線検出部を備え；前記表示処理部は、さらに、前記使用者の視線に応じて前記背景画像を変更してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、使用者の視線に応じて背景画像を変更する。このため、使用者は、自身の頭部の動きに加えて、自身の視線の変化に応じて変化する背景画像によって、仮想空間へのより没入感を感じることができる。

（１０）上記形態の頭部装着型表示装置では、さらに；前記使用者の姿勢を検出する姿勢検出部を備え；前記表示処理部は、さらに、前記使用者の姿勢に応じて前記背景画像を変更してもよい。この形態の頭部装着型表示装置によれば、表示処理部は、使用者の姿勢に応じて背景画像を変更する。このため、使用者は、自身の頭部の動きに加えて、自身の姿勢の変化に応じて変化する背景画像によって、仮想空間へのより没入感を感じることができる。

（１１）上記形態の頭部装着型表示装置において；前記複数の画像には、少なくとも、前記頭部装着型表示装置内のアイコン画像が含まれていてもよい。この形態の頭部装着型表示装置によれば、複数の画像には、頭部装着型表示装置にインストールされているアプリケーションの起動用のアイコン画像を含むことができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、表示処理部と、動き検出部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、表示処理部を有していてもよく、有していなくてもよい。また、この装置は、動き検出部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 画像設定の一例を示す説明図である。 ＨＭＤの利用者によって与えられた元画像ファイル１２４が表す画像の一例を示す説明図である。 連動動作設定の一例を示す説明図である。 連動動作設定について説明するための説明図である。 アイコン情報の一例を示す説明図である。 使用者に視認される虚像の一例を示す説明図である。 ＵＩ表示処理の手順を示すフローチャートである。 使用者の頭部の動きの検出について説明するための説明図である。 ＵＩ表示処理のステップＳ１１４について説明するための説明図である。 ＵＩ表示処理のステップＳ１１４について説明するための説明図である。 ＵＩ表示処理のステップＳ１１４について説明するための説明図である。 ＵＩ表示処理を経て使用者に視認されるＵＩ画像を表す虚像の一例を示す説明図である。 第２実施家形態におけるＨＭＤの構成を機能的に示すブロック図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。また、本実施形態のＨＭＤ１００では、後述のＵＩ（User Interface）表示処理を実行することにより、ＨＭＤ１００を操作するために用いられる複数の画像（例えばアイコン画像）を、背景画像に対して重畳させた画像を表す虚像を使用者に視認させることができる。さらに、本実施形態のＨＭＤ１００では、背景画像を使用者の頭部の動きに応じて変化させることができる。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。なお、以降の説明において、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、９軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

９軸センサー６６は、使用者が画像表示部２０を装着した際の使用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が頭部に装着されているときには、頭部の動きを検出する「動き検出部」として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０はＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。なお、入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、視線検出部６２によって検出された使用者の視線、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは使用者によって追加可能に設定されていてもよい。また、例えば、使用者の視界方向の画像を撮影するカメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部１１０は、使用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０は、画像設定１２２と、元画像ファイル１２４と、連動動作設定１２６と、アイコン情報１２８とを含んでいる。

図３は、画像設定１２２の一例を示す説明図である。画像設定１２２は、後述のＵＩ表示処理において、元画像から対象画像を生成する際に使用される。ここで「元画像」とは、ＨＭＤ１００の利用者によって与えられる画像である。また、「対象画像」とは、ＵＩ表示処理において、ＨＭＤ１００を操作するために用いられる複数の画像（例えばアイコン画像）が重畳される「背景画像」の抽出元となる画像を意味する。画像設定１２２には、対象画像の特性に関する特性条件と、対象画像の生成に関する生成条件と、が予め記憶されている。なお、画像設定１２２の内容は、使用者によって追加、削除、変更可能な構成としてもよい。

対象画像の特性に関する特性条件には、例えば、画像ファイルのサイズと、画像ファイルのフォーマットと、画像の大きさ（幅、高さ）と、が含まれている。画像ファイルのサイズには、対象画像の画像ファイルの大きさ（バイト数）として推奨されるファイルサイズの上限値、下限値、上限値および下限値の組み合わせ、の少なくともいずれかが記憶されている。画像ファイルのフォーマットには、対象画像の画像ファイルのデーター記録方式として推奨される形式、例えば、ＪＰＥＧ、ＧＩＦ等が記憶されている。画像の大きさには、対象画像の幅方向および高さ方向のピクセル数として推奨される上限値、下限値、上限値および下限値の組み合わせ、の少なくともいずれかが記憶されている。

対象画像の生成に関する生成条件には、例えば、加工後のファイル命名規則と、変換方式と、付加的画像処理と、が含まれている。加工後のファイル命名規則には、後述のＵＩ表示処理において生成される対象画像の画像ファイルの命名規則が記憶されている。なお、ファイル命名規則は、例えば正規表現を用いて表現することができる。変換方式には、ＵＩ表示処理において実施される、元画像から対象画像への変換方式が記憶されている。変換方式とは、拡大・縮小処理、切り出し処理といった「実行される処理の指定」と、当該処理における具体的な方式（3-lobed Lanczos-windowed sinc補間、平均画素法等）とが含まれる。付加的画像処理とは、ＵＩ表示処理において生成される対象画像に対する、付加的な画像処理である。付加的な画像処理としては、例えば、ガンマ補正、輝度補正、コントラスト補正、ノイズ除去、輪郭強調等を採用することができる。

図４は、ＨＭＤ１００の利用者によって与えられた元画像ファイル１２４が表す画像の一例を示す説明図である。図４の例では、元画像ファイル１２４が表す画像（以降、「元画像」とも呼ぶ。）は、下一面に花畑、左側に森林、中央に富士山、右側に小屋が写されたパノラマ写真である。

図５は、連動動作設定１２６の一例を示す説明図である。連動動作設定１２６は、後述のＵＩ表示処理において、背景画像を使用者の頭部の動きに応じて変化させる際に使用される。連動動作設定１２６には、水平角度と、鉛直角度と、リセット時間と、表示領域の大きさと、ホームポジション座標と、が予め記憶されている。なお、連動動作設定１２６の内容は、使用者によって追加、削除、変更可能な構成としてもよい。

図６は、連動動作設定１２６について説明するための説明図である。なお、図６では図示の便宜上、対象画像ＴＰを白画像として示している。連動動作設定１２６の水平角度には、対象画像ＴＰの水平方向の大きさＢＨに対応する使用者の頭部の水平方向の移動量が記憶されている。例えば、水平角度に「３６０度」と記憶されている場合、後述のＵＩ表示処理において、頭部の水平方向の移動量が３６０度となった場合に、背景画像を対象画像ＴＰの水平方向の大きさＢＨと同じだけ移動させる。鉛直角度には、対象画像ＴＰの鉛直方向（垂直方向）の大きさＢＰに対応する使用者の頭部の鉛直方向の移動量が記憶されている。例えば、鉛直角度に「４５度」と記憶されている場合、ＵＩ表示処理において、頭部の鉛直方向の移動量が４５度となった場合に、背景画像を対象画像ＴＰの鉛直方向の大きさＢＰと同じだけ移動させる。なお、対象画像ＴＰのデーター量およびＵＩ表示処理の処理負荷の増大を抑制しつつ、使用者に違和感のない仮想空間を提供するためには、水平角度は３６０度であることが好ましく、一方で、鉛直角度は好ましくは４５度〜９０度、さらに好ましくは９０度である。

リセット時間には、後述のＵＩ表示処理において移動された背景画像をホームポジションへ戻すまでの時間が記憶されている。表示領域の大きさには、対象画像ＴＰから「背景画像」として抽出する領域の縦方向の大きさＷＰと、横方向の大きさＷＨとが記憶されている。以降、この領域を「背景画像領域ＷＡ」とも呼ぶ。図６では背景画像領域ＷＡを太枠で示している。背景画像領域ＷＡの大きさは、対象画像ＴＰの大きさよりも小さい。ホームポジション座標には、対象画像ＴＰの所定の点（例えば、左上端部）を原点（０，０）と定めたうえで、背景画像領域ＷＡの初期配置位置の座標ＷＯが原点からの移動量（ｘ，ｙ）として定義され、記憶されている。

図７は、アイコン情報１２８の一例を示す説明図である。アイコン情報１２８は、後述のＵＩ表示処理において、背景画像にアイコン画像を重畳させる際に使用される。アイコン情報１２８には、アイコン画像６０と、アイコン画像の座標７０と、アイコン画像のリンク先８０と、が予め記憶されている。

アイコン画像６０は、ＨＭＤ１００のＯＳ１５０の、いわゆる「待ち受け画面」に通常表示される画像の集合である。アイコン画像には、ＨＭＤ１００にインストールされているアプリケーションの起動用の画像、ＨＭＤ１００にインストールされているウィジェットやガジェットによって描画されている画像、ＨＭＤ１００に記憶されているデーターの起動用の画像（例えば、フォルダ画像やショートカット画像、サムネイル画像）等が含まれる。図の例では、アイコン画像６０には、カメラのアプリケーションの起動用のアイコン画像６０ａと、ＳＮＳサービスのアプリケーションの起動用のアイコン画像６０ｂと、スピーカーのアプリケーションの起動用のアイコン画像６０ｃと、メールサービスのアプリケーションの起動用のアイコン画像６０ｄとが含まれている。個々のアイコン画像６０ａ〜ｄは、ＨＭＤ１００を操作するための操作部を構成する画像といえる。

アイコン画像の座標７０は、ＨＭＤ１００のＯＳ１５０の待ち受け画面において、各アイコン６０ａ〜６０ｄが配置されている位置を識別するための座標の集合である。アイコン画像の座標７０は、ＨＭＤ１００の待ち受け画面の所定の点（例えば、左上端部）を原点（０，０）と定めたうえで、原点に対する各アイコン画像の中心位置の移動量（ｘ，ｙ）として定義され、記憶されている。アイコン画像のリンク先８０は、各アイコン６０ａ〜６０ｄが紐付けされているアプリケーションの実行ファイルのリンク先（換言すれば、実行ファイルのファイルパス）の集合である。なお、アイコン画像が、ＨＭＤ１００に記憶されているデーターの起動用の画像である場合、アイコン画像のリンク先は、データーのリンク先（換言すれば、データのファイルパス）となる。

図２において、電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って他の機器との間で無線通信を行う。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、ＯＳ１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、ＵＩ表示処理部１４２として機能する。ＵＩ表示処理部１４２は、ＵＩ表示処理を実行することで、ユーザーインターフェースを提供するための「表示処理部」として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、コンテンツに含まれる画像信号を取得し、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６とを備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。

図８は、使用者に視認される虚像の一例を示す説明図である。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。図の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

Ａ−２．ＵＩ表示処理：
図９は、ＵＩ表示処理の手順を示すフローチャートである。ＵＩ表示処理は、ＨＭＤ１００を操作するために用いられる複数の画像（例えばアイコン画像）を、背景画像に対して重畳させた画像を表す虚像を使用者に視認させると共に、背景画像を使用者の頭部の動きに応じて変化させる処理である。ＵＩ表示処理は、ＯＳ１５０や任意のアプリケーションからの処理開始要求をトリガーとして開始される。

ステップＳ１０２においてＵＩ表示処理部１４２は、記憶部１２０に記憶されている元画像ファイル１２４を取得する。ステップＳ１０４においてＵＩ表示処理部１４２は、元画像ファイル１２４が設定にマッチするか否かを判定する。具体的には、ＵＩ表示処理部１４２は、記憶部１２０に記憶されている画像設定１２２を参照する。ＵＩ表示処理部１４２は、元画像ファイル１２４を解析し、元画像ファイル１２４が画像設定１２２のうちの「対象画像の特性に関する特性条件」を満たすか否かを判定する。元画像ファイル１２４が全ての特性条件を満たす場合（ステップＳ１０４：ＹＥＳ）、ＵＩ表示処理部１４２は、処理をステップＳ１０８へ遷移させる。なお、この場合、以降の処理においてＵＩ表示処理部１４２は、元画像ファイル１２４が表す画像をそのまま「対象画像」とする。

元画像ファイル１２４が特性条件を満たさない場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６においてＵＩ表示処理部１４２は、元画像ファイル１２４を変換する。具体的には、ＵＩ表示処理部１４２は、画像設定１２２のうちの「対象画像の特性に関する特性条件」を満たすように、元画像ファイル１２４を変換（拡大・縮小処理、切り出し処理等）する。この変換の際、ＵＩ表示処理部１４２は、画像設定１２２の「対象画像の生成に関する生成条件」に従って、元画像ファイル１２４の変換処理を実施してもよい。この場合、ＵＩ表示処理部１４２は、変換後の元画像ファイル１２４が表す画像を「対象画像」とする。

ステップＳ１０８においてＵＩ表示処理部１４２は、対象画像から、ホームポジションの表示領域に相当する部分の画像を取得する。具体的には、ＵＩ表示処理部１４２は、記憶部１２０に記憶されている連動動作設定１２６を参照する。そして、ＵＩ表示処理部１４２は、対象画像上において、ホームポジション座標（図６）に背景画像領域ＷＡ（図６）を仮想的に配置する。ＵＩ表示処理部１４２は、配置した背景画像領域ＷＡと重なる部分の対象画像を抜き出し、抜き出した画像を「背景画像」とする。

ステップＳ１１０においてＵＩ表示処理部１４２は、ステップＳ１０８の背景画像にアイコン画像を配置した画像（以降、「ＵＩ画像」とも呼ぶ。）を生成し、送信する。具体的には、ＵＩ表示処理部１４２は、記憶部１２０に記憶されているアイコン情報１２８を参照する。そして、ＵＩ表示処理部１４２は、ステップＳ１０８の背景画像に対して、複数のアイコン画像６０ａ〜ｄ（図７）をそれぞれ、アイコン画像の座標７０（図７）に従った位置に重畳させる。このように、ＵＩ表示処理部１４２は、背景画像に対して複数のアイコン画像を重畳させることで「ＵＩ画像」を生成する。その後、ＵＩ表示処理部１４２は、生成したＵＩ画像を画像処理部１６０へ送信する。ＵＩ画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ＨＭＤ１００の使用者は、視野にＵＩ画像の虚像を視認することができる。換言すれば、ＨＭＤ１００は、ＵＩ画像を表示することができる。

ステップＳ１１２においてＵＩ表示処理部１４２は、９軸センサー６６によって使用者の頭部の動きが検出されたか否かを判定する。

図１０は、使用者の頭部の動きの検出について説明するための説明図である。９軸センサー６６には３軸ジャイロ（角速度）センサーが内蔵されている。この３軸ジャイロセンサーは、Ｘ，Ｙ，Ｚ軸の３軸方向における角速度をそれぞれ検出することができる。本実施形態では、Ｘ軸の角速度Ｖ１が頭部の鉛直方向（垂直方向）の動きに対応し、Ｙ軸の角速度Ｖ２が頭部の水平方向の動きに対応し、Ｚ軸の角速度Ｖ３が頭部の斜め方向の動きに対応している。なお、頭部の斜め方向の動きには、回転、チルト等も含む。このため、例えば、使用者が頭部を上下に動かした場合は角速度Ｖ１に変化が検出され、頭部を左右に動かした場合は角速度Ｖ２に変化が検出され、頭部を斜めに動かして首をかしげる動作をした場合は角速度Ｖ３に変化が検出される。ＵＩ表示処理部１４２は、角速度Ｖ１〜Ｖ３の変化の有無によって頭部の動きの有無を知ることができ、角速度Ｖ１〜Ｖ３の値によって頭部の動き量を知ることができる。

図９のステップＳ１１２において使用者の頭部の動きが検出された場合（ステップＳ１１２：ＹＥＳ）、ステップＳ１１４においてＵＩ表示処理部１４２は、対象画像から、移動後の表示領域に相当する画像を取得する。具体的には、ＵＩ表示処理部１４２は、記憶部１２０に記憶されている連動動作設定１２６を参照する。

図１１は、ＵＩ表示処理のステップＳ１１４について説明するための説明図である。図１１に示すように、ＵＩ表示処理部１４２は、対象画像ＴＰ上において、ホームポジション座標（図６）を基準として、検出された頭部の水平方向の動き（角速度Ｖ２）に応じて、背景画像として抜き出す部分（すなわち背景画像領域ＷＡ）を水平方向に移動させる。この際、ＵＩ表示処理部１４２は、連動動作設定１２６に規定されている水平角度に基づいて、背景画像領域ＷＡを移動させる量（移動量）を決定する。このようにすれば、連動動作設定１２６の水平角度の内容を変更することで簡便に、ＵＩ表示処理部１４２の処理を変更することができる。

図１２は、ＵＩ表示処理のステップＳ１１４について説明するための説明図である。図１２に示すように、ＵＩ表示処理部１４２は、対象画像ＴＰ上において、ホームポジション座標を基準として、検出された頭部の鉛直方向（垂直方向）の動き（角速度Ｖ１）に応じて、背景画像領域ＷＡを鉛直方向に移動させる。この際、ＵＩ表示処理部１４２は、連動動作設定１２６に規定されている鉛直角度に基づいて、背景画像領域ＷＡを移動させる量（移動量）を決定する。このようにすれば、連動動作設定１２６の鉛直角度の内容を変更することで簡便に、ＵＩ表示処理部１４２の処理を変更することができる。

図１３は、ＵＩ表示処理のステップＳ１１４について説明するための説明図である。図１３に示すように、ＵＩ表示処理部１４２は、対象画像ＴＰ上において、ホームポジション座標を基準として、検出された頭部の斜め方向の動き（角速度Ｖ３）に応じて、背景画像領域ＷＡを傾ける。なお、図１３で説明した頭部の斜め方向の動きに応じて背景画像領域ＷＡを傾ける処理は、省略してもよい。

図１１〜図１３の処理が終了後、ＵＩ表示処理部１４２は、移動後の背景画像領域ＷＡと重なる部分の対象画像ＴＰを抜き出し、抜き出した画像を「背景画像」とする。

図９のステップＳ１１６においてＵＩ表示処理部１４２は、ステップＳ１１４の背景画像にアイコン画像を配置した新たなＵＩ画像を生成し、送信する。具体的には、ＵＩ表示処理部１４２は、ステップＳ１１４の背景画像に対して、複数のアイコン画像６０ａ〜ｄ（図７）をそれぞれ、アイコン画像の座標７０（図７）に従った位置に重畳させる。このように、ＵＩ表示処理部１４２は、新たな背景画像に対して複数のアイコン画像を重畳させることで新たな「ＵＩ画像」を生成する。

図１４は、ＵＩ表示処理を経て使用者に視認されるＵＩ画像を表す虚像の一例を示す説明図である。図９のステップＳ１１６においてＵＩ表示処理部１４２は、生成した新たなＵＩ画像を画像処理部１６０へ送信する。ＵＩ画像を受信した画像処理部１６０において上述の表示処理が行われた結果、ＨＭＤ１００は、図１４に示すような新たなＵＩ画像を表す虚像ＶＩを使用者に視認させることができる。なお、図示の都合上、図１４では背景の図示を省略している。その後、ＵＩ表示処理部１４２は処理をステップＳ１１８へ遷移させる。

図９のステップＳ１１２において使用者の頭部の動きが検出されない場合（ステップＳ１１２：ＮＯ）、ＵＩ表示処理部１４２は、処理をステップＳ１１８へ遷移させる。

ステップＳ１１８においてＵＩ表示処理部１４２は、頭部の動きが検出されない静止時間が、連動動作設定１２６のリセット時間を越えたか否かを判定する（ステップＳ１１８）。静止時間がリセット時間以下である場合（ステップＳ１１８：ＮＯ）、ＵＩ表示処理部１４２は、処理をステップＳ１１２へ遷移させて、頭部の動きの監視を継続する。一方、静止時間がリセット時間を超えた場合（ステップＳ１１８：ＹＥＳ）、ＵＩ表示処理部１４２は、処理をステップＳ１０８へ遷移させて、背景画像をホームポジションに戻す。このようにすれば、使用者の意図しない動きに応じて背景画像が変化してしまった場合でも、使用者の静止を契機として背景画像を最初の場所（ホームポジション）へ戻すことができる。なお、使用者の意図しない動きとは、例えば、第三者に声を掛けられて使用者が振り向いた場合や、移動中に使用者が躓いた場合等、使用者の意に反して行われた使用者の動き全般を意味する。

以上のように、上記実施形態の頭部装着型表示装置（ＨＭＤ１００）によれば、表示処理部（ＵＩ表示処理部１４２）は、頭部装着型表示装置を操作するための複数の画像（アイコン画像６０ａ〜ｄ）が、背景画像に対して重畳された画像（ＵＩ画像）を表す虚像ＶＩを画像表示部２０に形成させることで、使用者に視認させる。このため、表示処理部は、使用者に頭部装着型表示装置を操作するための操作部を提供することができる。また、表示処理部は、使用者の頭部の動きに応じて背景画像を変更するため、使用者は、自身の頭部の動きに応じて変化する背景画像によって、仮想空間への没入感を感じることができる。この結果、使用者に頭部装着型表示装置を操作するための操作部を提供しつつ、仮想空間への没入感を感じさせることのできる頭部装着型表示装置を提供することができる。

さらに、上記実施形態のＵＩ表示処理のステップＳ１０８、Ｓ１１４によれば、表示処理部（ＵＩ表示処理部１４２）は、背景画像の領域（背景画像領域ＷＡ）よりも大きな領域を有する対象画像ＴＰから、対象画像ＴＰの一部を抜き出して背景画像とする。また、表示処理部は、使用者の頭部の動きに応じて対象画像ＴＰから背景画像として抜き出す部分（背景画像領域ＷＡ）を変更する。このため、表示処理部は、背景画像の変化に連続性を持たせることができ、使用者により深い没入感を感じさせることができる。

さらに、上記実施形態のＵＩ表示処理のステップＳ１１４によれば、表示処理部（ＵＩ表示処理部１４２）は、使用者の頭部の水平方向の動き（角速度Ｖ２）に応じて、対象画像ＴＰから背景画像として抜き出す部分（背景画像領域ＷＡ）を水平方向に移動させ、使用者の頭部の鉛直方向の動き（角速度Ｖ１）に応じて、対象画像ＴＰから背景画像として抜き出す部分を鉛直方向に移動させる。同様に、表示処理部は、使用者の頭部の斜め方向の動き（角速度Ｖ３）に応じて、対象画像ＴＰから背景画像として抜き出す部分を傾ける。このように、表示処理部は、使用者の頭部の動きに追従して背景画像を変化させるため、使用者により深い没入感を感じさせることができる。

さらに、上記実施形態のＵＩ表示処理のステップＳ１０４、Ｓ１０６によれば、表示処理部（ＵＩ表示処理部１４２）は、対象画像ＴＰの元となる元画像（元画像ファイル１２４）が対象画像の特性に関する特性条件（画像設定１２２の画像ファイルのサイズと、画像ファイルのフォーマットと、画像の大きさ）を満たさない場合は、元画像を変換することで特性条件を満たすような対象画像ＴＰを生成する。このため、背景画像を生成するために用いられる対象画像ＴＰの特性を画一化することができる。同様に、上記実施形態のＵＩ表示処理のステップＳ１０６によれば、表示処理部は、対象画像ＴＰの元となる元画像を、対象画像の生成に関する生成条件（画像設定１２２の加工後のファイル命名規則と、変換方式と、付加的画像処理）に従って変換することで対象画像ＴＰを生成する。このため、背景画像を生成するために用いられる対象画像ＴＰの特性を画一化することができる。

Ｂ．第２実施形態：
第２実施形態の頭部装着型表示装置では、使用者の頭部の動きに代えて、または、使用者の頭部の動きと共に、使用者の視線と、目の動きと、使用者の姿勢と、のうちの少なくともいずれか一方に応じて背景画像を変化させる構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｂ−１．頭部装着型表示装置の構成：
図１５は、第２実施家形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点と、画像表示部２０に代えて画像表示部２０ａを備える点である。制御部１０ａは、ＵＩ表示処理部１４２に代えてＵＩ表示処理部１４２ａを備える。ＵＩ表示処理部１４２ａは、実行するＵＩ表示処理の内容が、第１実施形態とは異なる。詳細は後述する。

画像表示部２０ａは、９軸センサー６６に代えて９軸センサー６６ａを備え、さらに視線検出部６２を備える。９軸センサー６６ａは、第１実施形態と同様に、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。第２実施形態の９軸センサー６６ａは、使用者の姿勢を検出する「姿勢検出部」としても機能する。ここで、姿勢とは、使用者の体の速度・加速度・角速度・向き・向きの変化を含む。

視線検出部６２は、使用者が画像表示部２０ａを装着した際の右側の目じりに対応する位置に配置されている。視線検出部６２は、可視光カメラを備えている。視線検出部６２は、可視光カメラを用いてＨＭＤ１００ａを装着した状態における使用者の左右の眼を撮像し、得られた眼の画像を解析することによって使用者の視線の方向を検出する。すなわち、第２実施形態の視線検出部６２は、使用者の視線を検出する「視線検出部」として機能する。視線検出部６２は、可視光カメラに代えて赤外線センサーを用いて、使用者の視線の方向を検出してもよい。

Ｂ−２．ＵＩ表示処理：
第２実施形態のＵＩ表示処理の手順は、図９に示した第１実施形態と同様である。ただし、使用者の視線に応じて背景画像を変化させる場合、図９のステップＳ１１２においてＵＩ表示処理部１４２ａは、視線検出部６２によって使用者の視線の動きが検出されたか否かを判定する。また、使用者の視線に応じて背景画像を変化させる場合、図９の説明における「使用者の頭部」との記載を「使用者の視線」と読み替える。一方、使用者の姿勢に応じて背景画像を変化させる場合、図９のステップＳ１１２においてＵＩ表示処理部１４２ａは、９軸センサー６６ａによって使用者の姿勢の動きが検出されたか否かを判定する。また、使用者の姿勢に応じて背景画像を変化させる場合、図９の説明における「使用者の頭部」との記載を「使用者の姿勢」と読み替える。

このようにしても、上記第１実施形態と同様の効果を得ることができる。さらに、使用者は、自身の頭部の動きに加えて、自身の視線の変化や自身の姿勢の変化に応じて変化する背景画像によって、仮想空間へのより没入感を感じることができる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、上記実施形態では、制御部が送信部を備え、画像表示部が受信部を備えるものとしたが、送信部および受信部はいずれも、双方向通信が可能な機能を備えており、送受信部として機能してもよい。また、例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図１６は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１６（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図１６（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部等）は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。また、使用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例２：
上記実施形態では、ＵＩ表示処理の一例を示した。しかし、上記実施形態においてに示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、ステップＳ１０２においてＵＩ表示処理部は、複数の元画像ファイルの中から、所定の選択基準に基づいて、一の元画像ファイルを選択してもよい。所定の選択基準とは、例えば、元画像ファイルを指定する操作に基づく選択、ＯＳにログインしたユーザＩＤに基づく選択、現在時刻に基づく選択等がある。ユーザＩＤに基づく選択を実現すれば、ユーザごとに異なる元画像ファイルの選択と、対象画像の生成とが実施されるため、ＵＩ画像における背景画像を、ユーザごとに異なる画像とすることができる。また、現在時刻に基づく選択を実現すれば、時刻によって異なる元画像ファイルの選択と、対象画像の生成とが実施されるため、ＵＩ画像における背景画像を時刻にあった画像とすることができる。これらの結果、使用者により深い没入感を感じさせることができる。

例えば、ステップＳ１０２〜Ｓ１０６においてＵＩ表示処理部は、元画像ファイルの解析と変換を実施するとした。しかし、ＵＩ表示処理部は、元画像の解析と変換とのいずれか一方を省略してもよい。例えばＵＩ表示処理部は、元画像の解析を行わず、一律に元画像を変換することで対象画像を生成してもよい。

例えば、ステップＳ１０２〜１０６においてＵＩ表示処理部は、予め記憶されている対象画像の特性に関する特性条件と、対象画像の生成に関する生成条件とを利用して元画像ファイルの解析と変換を実施するとした。しかし、ＵＩ表示処理部は、特性条件と生成条件とを用いずに、または、特性条件と生成条件とのいずれか一方を用いずに、元画像ファイルの解析と変換を実施してもよい。

例えば、ステップＳ１１２、Ｓ１１４において、ＵＩ表示処理部は、使用者の頭部の動き、視線の動き、姿勢の動きの全てを用いて、背景画像を変化させてもよい。また、ステップＳ１１２、Ｓ１１４において、ＵＩ表示処理部は、使用者の頭部の動き、視線の動き、姿勢の動き以外の他の条件を用いて、背景画像を変化させてもよい。使用者に深い没入感を与えるとの観点からは、他の条件は、使用者の体の一部の動きであることが好ましい。

例えば、ステップＳ１１２、Ｓ１１４において、ＵＩ表示処理部は、多軸（具体的には、Ｘ，Ｙ，Ｚの３軸）センサーを用いて、使用者の頭部の水平、鉛直、斜め方向の動きを検出して、これに基づいて背景画像を変化させた。しかし、ＵＩ表示処理部は、１軸や２軸のセンサーを用いて使用者の頭部の動きを検出してもよい。

例えば、ステップＳ１１８において、ＵＩ表示処理部は、リセット時間経過以外の条件を用いて、背景画像をホームポジションに戻してもよい。リセット時間以外の条件とは、例えば、使用者による指示や、特定のアプリケーションの起動等がある。

・変形例３：
上記実施形態では、画像設定と、元画像と、連動動作設定と、アイコン情報と、の構成をそれぞれ例示した。しかし、上記実施形態における具体例はあくまで一例であり、それぞれの設定および情報に含まれる項目は、任意に追加、削除、変更が可能である。また、画像設定と、連動動作設定と、アイコン情報とは、ＨＭＤに内蔵された記憶装置以外の手段、例えば、可搬型の記憶装置等によって提供されてもよい。

例えば、元画像は、複数の画像ファイルであってもよい。この場合、ＵＩ表示処理部は、当該複数の画像ファイルを結合させて、結合させた画像から「対象画像」を生成してもよい。さらに、アイコン情報に含まれるアイコン画像の代わりに、文字、記号、絵文字等を使用してもよい。

・変形例４：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６２…視線検出部
６６…９軸センサー（動き検出部）
６６ａ…９軸センサー（姿勢検出部）
１１０…入力情報取得部
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１２２…画像設定
１２４…元画像ファイル
１２６…連動動作設定
１２８…アイコン情報
１３０…電源
１４０…ＣＰＵ
１４２…ＵＩ表示処理部（表示処理部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＡＰ…先端部
Ｖ１〜Ｖ３…角速度
ＷＡ…背景画像領域
ＴＰ…対象画像

Claims (12)

1. 使用者が虚像を視認可能な頭部装着型表示装置であって、
   前記使用者に前記虚像を視認させるための画像表示部と、
   前記頭部装着型表示装置を操作するために用いられる複数の画像と、背景画像とを表す前記虚像を、前記画像表示部に形成させる表示処理部と、
   前記使用者の頭部の動きを検出する動き検出部と、
   を備え、
   前記表示処理部は、前記使用者の頭部の動きに応じて前記背景画像を変更する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記表示処理部は、
   前記背景画像の領域よりも大きな領域を有する対象画像から、前記対象画像の一部を抜き出して前記背景画像とし、
   前記使用者の頭部の動きに応じて前記対象画像から抜き出す部分を変更することで、前記背景画像を変更する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記表示処理部は、
   検出された前記使用者の頭部の水平方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を水平方向に移動させ、
   検出された前記使用者の頭部の鉛直方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を鉛直方向に移動させる、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、さらに、
   前記対象画像の水平方向の大きさに対する前記使用者の頭部の水平方向の移動量と、前記対象画像の鉛直方向の大きさに対する前記使用者の頭部の鉛直方向の移動量と、を予め記憶する記憶部を備え、
   前記表示処理部は、検出された前記使用者の頭部の水平方向の動きおよび前記水平方向の移動量と、検出された前記使用者の頭部の鉛直方向の動きおよび前記鉛直方向の移動量と、に基づいて、前記対象画像から前記背景画像として抜き出す部分を決定する、頭部装着型表示装置。
5. 請求項３または請求項４に記載の頭部装着型表示装置であって、
   前記表示処理部は、さらに、
   前記使用者の頭部の斜め方向の動きに応じて、前記対象画像から前記背景画像として抜き出す部分を傾ける、頭部装着型表示装置。
6. 請求項２から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記表示処理部は、さらに、
   現在時刻に応じて前記対象画像を変更する、頭部装着型表示装置。
7. 請求項２から請求項６のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記対象画像の特性に関する特性条件を予め記憶する記憶部を備え、
   前記表示処理部は、
   前記対象画像の元となる元画像を取得し、
   取得した前記元画像が前記特性条件を満たさない場合は、前記元画像を変換することで前記特性条件を満たすような前記対象画像を生成し、
   取得した前記元画像が前記特性条件を満たす場合は、前記元画像をそのまま前記対象画像とする、頭部装着型表示装置。
8. 請求項２から請求項７のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記対象画像の生成に関する生成条件を予め記憶する記憶部を備え、
   前記表示処理部は、
   前記対象画像の元となる元画像を取得し、
   取得した前記元画像を、前記生成条件に従って変換することで前記対象画像を生成する、頭部装着型表示装置。
9. 請求項１から請求項８のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記使用者の視線を検出する視線検出部を備え、
   前記表示処理部は、さらに、前記使用者の視線に応じて前記背景画像を変更する、頭部装着型表示装置。
10. 請求項１から請求項９のいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記使用者の姿勢を検出する姿勢検出部を備え、
    前記表示処理部は、さらに、前記使用者の姿勢に応じて前記背景画像を変更する、頭部装着型表示装置。
11. 請求項１から請求項１０のいずれか一項に記載の頭部装着型表示装置であって、
    前記複数の画像には、少なくとも、前記頭部装着型表示装置内のアイコン画像が含まれる、頭部装着型表示装置。
12. 頭部装着型表示装置の制御方法であって、
    （ａ）前記頭部装着型表示装置の使用者に虚像を視認させる工程と、
    （ｂ）前記頭部装着型表示装置を操作するために用いられる複数の画像と、背景画像とを表す前記虚像を形成させる工程と、
    （ｃ）前記使用者の頭部の動きを検出する工程と、
    を備え、
    前記工程（ｂ）は、前記使用者の頭部の動きに応じて前記背景画像を変更する、頭部装着型表示装置の制御方法。

Images