JP2019128757A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】適切かつ効果的な案内を表示させて、頭部の動きによる操作をより確実に行うことができるようにする。【解決手段】使用者Ｕの頭部に装着され、外景とともに視認できるように表示領域ＶＲに画像を表示する画像表示部２０と、使用者Ｕの頭部の動きを検出する６軸センサー２３５と、ＨＭＤ１００が実行可能な処理の案内表示を画像表示部２０により表示領域ＶＲに表示させる制御部１５０とを備える。制御部１５０は、６軸センサー２３５により検出された頭部の動きに対応付けられた処理を実行する処理実行部として動作し、制御部１５０は、案内表示として、使用者が操作として行う頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトとを表示させる。【選択図】図４

Description

本発明は、頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法に関する。

従来、使用者の頭部に装着される表示装置として頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、以下、ＨＭＤとも表記する）が知られている。このＨＭＤでは、使用者の頭部に装着されて使用されるという性質上、従来とは異なる様々な態様の入力手段が提案されている（例えば、特許文献１参照）。

特許文献１は、頭部装着型表示装置を用いて視聴者の視界を超える大きさの映像を表示する際に、視聴者の顔の向きに関する情報に基づいて、映像の再生速度を決定する画像処理装置を開示する。

特開２０１７−１２６８９９号公報

ところで、頭部を動かして行う操作により、映像の再生速度の変更に限らず種々の操作が可能となるが、可能な操作の数が増えるほど、頭部の動きがどの操作に対応付けられているのかが分かり難い場合がある。特に、頭部装着型表示装置の状態に応じて可能な操作が変更される場合、頭部の動きがどの操作に対応付けられているのかが分かり難いという問題がある。
本発明は、適切かつ効果的な案内を表示させて、頭部の動きによる操作をより確実に行うことができるようにすることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、外景とともに視認できるように表示領域に画像を表示する表示部と、前記頭部の動きを検出する検出部と、前記頭部装着型表示装置が実行可能な処理の案内表示を前記表示部により前記表示領域に表示させる表示制御部と、前記検出部により検出された前記頭部の動きに対応付けられた処理を実行する処理実行部と、を備え、前記表示制御部は、前記案内表示として、使用者が操作として行う前記頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトと、を表示させる。
この構成によれば、頭部の動きを検出して検出して前記頭部の動きに対応付けられた処理を実行する場合に、頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトとが表示領域に表示される。このため、使用者は、状態オブジェクトの表示により頭部装着型表示装置の状態を確認しながら、操作オブジェクトの表示を視認して頭部による操作を行うことができる。このため、頭部の動きによる操作をより確実に行うことができる。

また、本発明は、前記表示制御部は、前記頭部の動きを案内するアイコンと、前記頭部の動きに対応付けられた処理を示す文字とを前記操作オブジェクトとして表示させる。
この構成によれば、アイコンに加えて、頭部の動きに対応付けられた処理を示す文字が表示されるので、頭部の動きによる操作をさらに確実に行うことができる。

また、本発明は、前記表示制御部は、前記処理実行部が実行する処理に応じて、前記表示領域に表示させる前記操作オブジェクトの表示位置、又は表示順序を変更する。
この構成によれば、操作オブジェクトの表示位置又は表示順序により、処理実行部が実行する処理を使用者に認識させることができる。

また、本発明は、前記検出部は、前記頭部の回転量を検出し、前記表示制御部は、前記検出部が検出する前記頭部の回転量に応じて前記アイコンの表示態様を変更する。
この構成によれば、検出部が検出する頭部の回転量に応じてアイコンの表示態様が変更される。従って、頭部装着型表示装置が検出した頭部の回転量を使用者に認識させることができる。

また、本発明は、前記アイコンは、第１領域と、前記第１領域とは異なる第２領域とを有し、前記表示制御部は、前記検出部が検出する前記頭部の回転量に応じて前記第１領域と前記第２領域との面積の比率を変更する。
この構成によれば、頭部の回転量に応じてアイコンの有する第１領域と第２領域との面積の比率が変更される。従って、頭部装着型表示装置が検出した頭部の回転量を使用者に明確に認識させることができる。

また、本発明は、前記表示制御部は、前記第１領域に表示する画像の色、濃度、彩度、明度及び模様の少なくともいずれか１つを、前記第２領域に表示する画像とは変更する。
この構成によれば、第１領域と第２領域の区別を明確につけることができる。このため、頭部装着型表示装置により検出された頭部の回転量を使用者により明確に認識させることができる。

上記課題を解決するため、本発明は、外景とともに視認できるように表示領域に画像を表示する表示部を備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記頭部装着型表示装置が実行可能な処理の案内表示を前記表示部により前記表示領域に表示させる表示ステップと、前記頭部の動きを検出する検出ステップと、検出された前記頭部の動きに対応付けられた処理を実行する実行ステップと、を有し、前記表示ステップにおいて、前記案内表示として、使用者が操作として行う前記頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトと、を表示させる。
この構成によれば、頭部の動きを検出して検出して前記頭部の動きに対応付けられた処理を実行する場合に、頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトとが表示領域に表示される。このため、使用者は、状態オブジェクトの表示により頭部装着型表示装置の状態を確認しながら、操作オブジェクトの表示を視認して頭部による操作を行うことができる。このため、頭部の動きによる操作をより確実に行うことができる。

ＨＭＤの外観構成を示す説明図。 ＨＭＤの構成を示すブロック図。 制御装置の機能ブロック図。 表示領域を示す図。 表示領域を示す図。 表示領域を示す図。 表示領域を示す図。 ＨＭＤの動作を示すフローチャート。

以下、添付図面を参照しながら本発明の実施形態について説明する。図１は、ＨＭＤ１００の外観構成を示す図である。

ＨＭＤ１００は、使用者Ｕが頭部に装着する画像表示部２０と、画像表示部２０を制御するコントローラー１０とを備える。画像表示部２０は、本発明の「表示部」に対応した動作を行う機能部であり、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作する制御装置としても機能する。

コントローラー１０は、箱形の本体１１に、使用者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７と、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。

画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角は、使用者Ｕの正面方向を向き、使用者Ｕが画像表示部２０を透過して視認する外景と重複する。カメラ６１の画角は、使用者Ｕが画像表示部２０を透過して視認する視界の全体を含むことがより好ましい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は、使用者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図２）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。操作パッド１４への接触（タッチ操作）は、例えば、タッチセンサー（不図示）により検出される。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。

本体１１にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（不図示）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作は、タッチセンサー１７２（図２）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Universal Serial Bus）コネクター１９を備える。

図２は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９５及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出又は算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスであってもよいし、各種回路が実装された通信モジュール基板であってもよい。

通信部１１７の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。

音声処理部１８０は、オーディオコネクター４６（図１）に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。また、音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備える。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（不図示）、偏心した回転子（不図示）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１００の電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。

インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Field Programmable Gate Array）１９５を、画像表示部２０に接続する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。

接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。

温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。

６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例であり、本発明の「検出部」に対応した動作を行う。６軸センサー２３５は、３軸加速度センサー、及び３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（inertial measurement unit）であってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

６軸センサー２３５は、使用者Ｕの頭部の回転量を検出する。具体的には、６軸センサー２３５は、図１に示すＸ軸方向の加速度、Ｙ軸方向の加速度、及びＺ軸方向の加速度を測定する。また、６軸センサー２３５は、内蔵する測定機構（図示略）の測定基準点において、図１に示すＸ軸まわりの回転の角速度、Ｙ軸まわりの回転の角速度、Ｚ軸まわりの回転の角速度を測定する。Ｘ軸、Ｙ軸及びＺ軸は、図１に示すように相互に直交する３軸の方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者Ｕの頭部の左右方向に対応し、Ｙ軸方向が使用者Ｕの頭部の前後方向に対応する。鉛直方向に対応するＺ軸方向は、使用者Ｕの体軸の方向に相当する。６軸センサー２３５から出力されたアナログの電圧値は、Ａ／Ｄ変換器（図示略）によりデジタルの電圧値に変換されて制御部１５０に入力される。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。

ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。

図３は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図３に示す記憶部１４０は、不揮発性記憶部１２１（図２）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３及びコンテンツデータ１４４を記憶する。

制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能には、基本制御部１５１、通信制御部１５２、画像処理部１５３、撮像制御部１５４、アプリケーション実行部１５５、検出制御部１５６及び表示制御部１５７を含む。制御部１５０は、本発明の「表示制御部」及び「処理実行部」として動作する。より詳細には、表示制御部１５７が本発明の「表示制御部」として動作し、アプリケーション実行部１５５が本発明の「処理実行部」として動作する。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。

設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。

ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１５５がアプリケーションプログラム１４２を起動できる。

コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。また、コンテンツデータ１４４は、双方向型のコンテンツのデータであってもよい。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１５５がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５５を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。

基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。

通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。
例えば、通信制御部１５２は、パーソナルコンピューター等の画像供給装置（不図示）から供給されるコンテンツデータを通信部１１７により受信し、受信したコンテンツデータをコンテンツデータ１４４として記憶部１４０に記憶させる。

画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。

画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Digital Signal Processor）が挙げられる。

撮像制御部１５４は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５４は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。

アプリケーション実行部１５５は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５５は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。例えば、記憶部１４０に記憶されたコンテンツデータ１４４のいずれかが操作部１７０の操作により選択されると、コンテンツデータ１４４を再生するアプリケーションプログラム１４２が実行される。これにより制御部１５０は、コンテンツデータ１４４を再生するアプリケーション実行部１５５として動作する。

検出制御部１５６は、６軸センサー２３５の検出値に基づいて操作を検出する。具体的には、検出制御部１５６は、使用者Ｕの頭部の動きを操作として検出する。６軸センサー２３５は、所定の周期（例えば、５０ｍｓｅｃ）毎にサンプリング（測定）を実行して、測定された加速度や角速度の値を示すアナログの電圧値を出力する。

検出制御部１５６は、６軸センサー２３５の検出値に基づいてＺ軸まわりの回転であるロール角、すなわち、使用者Ｕが頭部（顔）を左右に回転させる動きを検出する。また、検出制御部１５６は、６軸センサー２３５の検出値によりＹ軸まわりの回転であるヨー角、すなわち、使用者Ｕが頭部を左肩又は右肩方向に傾ける動きを検出する。また、検出制御部１５６は、６軸センサー２３５の検出値によりＸ軸まわりの回転であるピッチ角、すなわち、使用者Ｕが頭部を前方（視線方向）又は後方に傾ける動きを検出する。検出制御部１５６は、６軸センサー２３５の検出値に基づき、頭部の動きが検出された方向と、動いた頭部の角度とを判定する。

表示制御部１５７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５７は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５７は、画像表示部２０を制御して表示領域ＶＲに画像を表示させる。

図４は、表示領域ＶＲを示す図である。
表示領域ＶＲは、画像表示部２０を頭部に装着した使用者Ｕの視野範囲において、画像表示部２０が画像を表示可能な領域である。表示領域ＶＲは外景に重畳され、使用者Ｕは画像表示部２０が表示する画像と外景とを同時に視認することができる。図４に示す表示領域ＶＲには、コンテンツデータ１４４としての動画像データや静止画像データに対応した画像を再生する再生画面３００が表示された状態を示す。なお、図４には、画像が再生される前の初期画面を示す。上述のようにコンテンツデータ１４４が選択されると、制御部１５０はコンテンツデータ１４４を再生するためのアプリケーションプログラム１４２を実行する。制御部１５０がアプリケーションプログラム１４２に従って動作することで、アプリケーション実行部１５５が実現される。

また、表示領域ＶＲには、第１オブジェクト領域３１０及び第２オブジェクト領域３３０が設けられる。第１オブジェクト領域３１０には、頭部の動きによる操作を案内する画像である操作オブジェトを含む画像が表示される。頭部の動きには、前述したＸ軸、Ｙ軸及びＺ軸（体軸）まわりの回転、すなわち、頭部を左右方向に回す動き、頭部を左肩方向又は右肩方向に傾ける動き、頭部を前方又は後方に傾ける動きが含まれる。また、第２オブジェクト領域３３０には、ＨＭＤ１００の動作状態を示す画像である状態オブジェクトを含む画像が表示される。オブジェクト、すなわち、操作オブジェクト及び状態オブジェクトには、例えば、アイコン、記号、マーク、ソフトキー等が含まれる。

第１オブジェクト領域３１０には、操作オブジェクトとして、第１アイコン３１１、第２アイコン３１３及び第３アイコン３１６が表示される。第１アイコン３１１、第２アイコン３１３及び第３アイコン３１６は、人の頭部の形状を模したアイコンであり、本発明の「アイコン」に相当する。第１アイコン３１１は、使用者Ｕの方向を向いたアイコンである。また、第２アイコン３１３は、使用者Ｕから見て右方向を向くアイコンである。また、第３アイコン３１６は、使用者Ｕから見て左方向を向くアイコンである。また、第１オブジェクト領域３１０には、一時停止を示すアイコン３１２が表示される。一時停止を示すアイコン３１２は、第１アイコン３１１に対応付けて（第１アイコン３１１の近く）に表示される。一時停止を示すアイコン３１２は、第１アイコン３１１に対応した頭部の動作を行うことで、実行可能な処理を示すアイコンである。これらのアイコン３１１、３１３、３１６のうち、入力が可能な操作に対応したアイコンは点滅状態となる。例えば、図４に示す初期画面では、第２アイコン３１３が点滅した状態となる。

第１アイコン３１１は、例えば、頭部を右に向けた後に、正面に戻す状態を示すアイコンである。第１アイコン３１１が表示領域ＶＲに表示された状態で、６軸センサー２３５の検出値により頭部を右に向けた後に、正面に戻す動きが検出制御部１５６により検出されると、アプリケーション実行部１５５はコンテンツデータ１４４の再生を一時停止させる。

図４に示す再生画面３００において、使用者Ｕから見て第１アイコン３１１の右側には第２アイコン３１３が表示される。第２アイコン３１３は、使用者Ｕから見て右方向を向いたアイコンであり、第２アイコン３１３には、テキストや記号が重ねて表示される。図４に示す第２アイコン３１３には、「Ｕｐ」の文字３１４が重ねて表示される。この「Ｕｐ」の文字３１４は、第２アイコン３１３に対応した頭部の動き、すなわち使用者Ｕが頭部をＺ軸まわり右方向に回転させる動作が、コンテンツデータ１４４の再生速度を上げる操作であることを示す文字である。同様に、第２アイコン３１３には、使用者Ｕが頭部をＺ軸まわり右方向に回転させる動作が、コンテンツデータ１４４の再生速度を上げる操作であることを示す「＞＞」の記号３１５が表示される。

６軸センサー２３５の検出値により頭部を右方向に回転させる動作が検出制御部１５６により検出された場合、アプリケーション実行部１５５は、コンテンツデータ１４４の再生速度を上げる。また、アプリケーション実行部１５５は、検出制御部１５６により検出される頭部のＺ軸まわりの回転量（角度）、具体的には、頭部の予め定められた基準方向から右方向への回転の角度に応じて、再生速度を上げる程度を設定する。基準方向は、例えば、操作部１７０の操作が入力されたタイミングで使用者Ｕの頭部が向く方向を基準方向として設定してもよいし、コンテンツデータ１４４が選択されたタイミングで使用者Ｕの頭部が向く方向を基準方向に設定してもよい。

また、図４に示す初期画面において、使用者Ｕから見て第１アイコン３１１の左側には第３アイコン３１６が表示される。第３アイコン３１６は、使用者Ｕから見て左方向を向いたアイコンであり、第３アイコン３１６にも、テキストや記号が重ねて表示される。図４に示す第３アイコン３１６には、「Ｄｏｗｎ」の文字３１７が重ねて表示される。この「Ｄｏｗｎ」の文字３１７は、第３アイコン３１７に対応した頭部の動き、すなわち使用者Ｕが頭部をＺ軸まわり左方向に回転させる動作が、コンテンツデータ１４４の再生速度を下げる操作であることを示す文字である。同様に、第３アイコン３１６には、使用者Ｕが頭部をＺ軸まわり左方向に回転させる動作が、コンテンツデータ１４４の再生速度を下げる操作であることを示す「＜＜」の記号３１８が表示される。

６軸センサー２３５の検出値により頭部を左方向に回転させる動作が検出制御部１５６により検出された場合、アプリケーション実行部１５５は、コンテンツデータ１４４の再生速度を下げる。また、アプリケーション実行部１５５は、検出制御部１５６により検出される頭部のＺ軸まわりの回転量（角度）、具体的には、頭部の予め定められた基準方向から左方向への回転の角度に応じて、再生速度を下げる程度を設定する。

第２オブジェクト領域３３０は、処理実行部として動作するアプリケーション実行部１５５の動作状態を示す状態オブジェクトが表示される領域である。第２オブジェクト領域３３０は、第１オブジェクト領域３１０とは異なる位置に設けられる。すなわち、状態オブジェクトは、アプリケーション実行部１５５の現在の状態を使用者Ｕが容易に認識できるようにするため、操作オブジェクトとは異なる位置に表示される。図４に示す例では、操作オブジェクト（第１アイコン３１１、第２アイコン３１３及び第３アイコン３１６）は、使用者Ｕから見て再生画面３００の下に表示される。また、状態アイコン３３１は、使用者Ｕから見て再生画面３００の上に表示される。また、操作オブジェクトを、使用者Ｕから見て再生画面３００の左側に表示し、状態アイコン３３１を、使用者Ｕから見て再生画面３００の右側に表示してもよい。また、操作オブジェクトを、使用者Ｕから見て再生画面３００の右側に表示し、状態アイコン３３１を、使用者Ｕから見て再生画面３００の左側に表示してもよい。

第２オブジェクト領域３３０には、例えば、再生中や、停止、一時停止、巻き戻し、早送り等を示す状態アイコンが表示される。状態アイコンは、本発明の「状態オブジェクト」に対応する。図４には、コンテンツデータ１４４が再生される前の停止状態を示す状態アイコン３３１が表示された状態を示す。第２オブジェクト領域３３０に表示される状態アイコン３３１は、コンテンツデータ１４４の再生状態に応じて変更される。

図５は、表示領域ＶＲを示す図である。特に、図５は、コンテンツデータ１４４の再生が開始された状態を示す図である。
使用者Ｕは、ＨＭＤ１００にコンテンツデータ１４４の再生を開始させる場合、頭部を右方向に回転させる。アプリケーション実行部１５５は、検出制御部１５６により頭部のＺ軸まわり右方向への回転が検出されると、コンテンツデータ１４４の再生を開始する。このとき、アプリケーション実行部１５５は、検出された頭部のＺ軸まわりの回転角度に比例した速度でコンテンツデータ１４４を再生する。このため、再生開始時は、コンテンツデータ１４４はスロー再生される。検出制御部１５６により検出される頭部のＺ軸まわりの回転角度が大きくなるほど、再生速度は上昇する。

また、表示制御部１５７は、頭部のＺ軸まわり右方向への回転が検出されると、検出された回転角度に対応して第２アイコン３１３の表示状態を変更する。詳細には、表示制御部１５７は、第２アイコン３１３の一部の領域の色を他の領域とは異なる色で表示する。このとき色が変更される第２アイコン３１３の領域を第１領域３２１といい、色が変更されない第２アイコン３１３の領域を第２領域３２３という。使用者Ｕから見て、第１領域３２１は第２アイコン３１３の左側に位置し、第２領域３２３は第２アイコン３１３の右側に位置する。

第１領域３２１及び第２領域３２３のサイズ（面積）は、検出された頭部のＺ軸まわり右方向への回転角度に応じて変更される。例えば、表示制御部１５７は、基準方向からＺ軸まわり右方向への４５度の回転が検出された場合を１００％とし、検出される頭部のＺ軸まわり右方向への回転角度に応じて第１領域３２１と第２領域３２３との面積比を決定する。具体的には、表示制御部１５７は、頭部のＺ軸まわり右方向への回転角度として２２．５度が検出された場合、第１領域３２１の面積を第２アイコン３１３の５０％、第２領域３２３の面積を第２アイコン３１３の５０％で表示する。また、表示制御部１５７は、頭部のＺ軸まわり右方向への回転角度として４５度が検出された場合、第１領域３２１の面積を第２アイコン３１３の１００％、第２領域３２３の面積を第２アイコン３１３の０％で表示する。

また、コンテンツデータ１４４の再生が開始されると、第２オブジェクト領域３３０には、停止を示す状態アイコン３３１に代えて、コンテンツデータ１４４を再生中であること示す状態アイコン３３１が表示される。また、第２オブジェクト領域３３０には、再生速度を示す文字３３３が表示される。また、図５に示す表示状態では、第２アイコン３１３と、第３アイコン３１６とが、入力が可能な操作に対応したアイコンとして点滅する。

図６は、表示領域ＶＲを示す図である。特に、図６は、第１アイコン３１１と第２アイコン３１３との表示位置又は表示順序が変更された状態を示す図である。
使用者Ｕは、頭部を動かして操作を行うと、行った操作を確定させる。使用者Ｕは、一定の角度回転させた頭部の状態を一定時間維持する。操作を確定させないと、ＨＭＤ１００が頭部の動きに対応した他の処理を実行してしまう場合もある。例えば、使用者Ｕが頭部を右方向に回転させた後、左方向に回転させると、ＨＭＤ１００は、後に検出された頭部の動きに対応した処理を実行する場合がある。

検出制御部１５６は、頭部の回転を検出後、Ｚ軸まわりの回転角度が一定時間変化していない状態を検出すると、その旨をアプリケーション実行部１５５及び表示制御部１５７に通知する。

アプリケーション実行部１５５は、検出制御部１５６から通知を受けると、コンテンツデータ１４４の再生速度を、一定時間維持された頭部の回転角度に対応した速度に設定する。また、表示制御部１５７は、検出制御部１５６から通知を受けると、操作対象のアイコンの表示位置を変更してもよい。操作対象のアイコンとは、対応付けられた頭部の動きが検出されたアイコンである。例えば、頭部のＺ軸まわり右方向の回転が検出された場合、第２アイコン３１３が操作対象のアイコンとなり、頭部のＺ軸まわり左方向の回転が検出された場合、第３アイコン３１６が操作対象のアイコンとなる。

例えば、使用者Ｕの頭部のＺ軸まわり右方向の回転が検出され、第２アイコン３１３の表示状態が変更された状態で、Ｚ軸まわりの回転角度が一定時間変化していない状態が検出されると、表示制御部１５７は、第２アイコン３１３の表示位置を変更する。具体的には、表示制御部１５７は、第２アイコン３１３を、第１アイコン３１１及び一時停止のアイコン３１２を表示していた位置に表示させ、第１アイコン３１１及び一時停止のアイコン３１２を、第２アイコン３１３を表示していた位置に表示させる。すなわち、操作対象のアイコンである第２アイコン３１３を第１オブジェクト領域３１０の中央に表示させる。操作オブジェクトの表示位置が変更されることで、操作の確定を使用者Ｕに通知することできる。また、操作が確定することで、使用者Ｕが頭部の向きを元の位置である正面に変更しても確定した操作が元に戻されることはない。
また、第１アイコン３１１、第２アイコン３１３、第３アイコン３１６の表示位置は変更せずに、アイコンに表示される文字や記号の表示位置を変更してもよい。また、図６に示す表示状態では、第２アイコン３１３と、第３アイコン３１６とが、入力が可能な操作に対応したアイコンとして点滅する。

また、表示制御部１５７は、予め設定された表示順序に従ってアイコンを表示させてもよい。例えば、使用者Ｕから見て、第１オブジェクト領域３１０の左端に表示されたアイコンの順位が第１位、右端に表示されたアイコンの順位が第３位に設定されている場合、操作対象のアイコンの順位を第１位の位置に変更してもよい。

図７は、表示領域ＶＲを示す図である。特に、図７は、使用者Ｕが左を向いた場合を示す。
使用者Ｕは、コンテンツデータ１４４の再生速度を遅くする場合、頭部を左方向に回転させる。アプリケーション実行部１５５は、検出制御部１５６により頭部のＺ軸まわり左方向への回転が検出されると、コンテンツデータ１４４の再生速度を遅くする。また、アプリケーション実行部１５５は、検出された頭部のＺ軸まわりの回転角度に比例してコンテンツデータ１４４の再生速度を遅くする。この他の動作、例えば、頭部の回転角度に応じて第３アイコン３１６の第１領域３２５と第２領域３２７の面積比を変更する動作や、第３アイコン３１６の表示位置を変更する操作は、図５及び図６で説明した使用者Ｕが頭部をＺ軸まわり右方向に回転させた場合の動作と同一である。また、図７に示す表示状態では、第２アイコン３１３と、第３アイコン３１６とが、入力が可能な操作に対応したアイコンとして点滅する。

図４〜図７を参照して行った説明では、コンテンツデータ１４４の再生速度を上げる、再生速度を下げる、及び一時停止させる操作について説明したが、使用者Ｕの頭部の動きにより他の操作を行うことも可能である。

例えば、頭部のＹ軸まわり右方向への回転、すなわち頭部を右肩側に倒す動作を、コンテンツデータ１４４の巻き戻し動作に対応付け、Ｙ軸まわり左方向への回転、すなわち頭部を左肩側に倒す動作を、コンテンツデータ１４４の早送りの動作に対応付けてもよい。また、頭部をＸ軸まわり後方へ回転させる動作を、再生停止の操作に対応付けてもよい。
この場合、第１オブジェクト領域３１０には、頭部が右肩側に倒れた状態の第４アイコンや、頭部が左肩側に倒れた状態の第５アイコンを操作オブジェクトとして表示させる。また、頭部を後方に倒す動きに対応した第６アイコンを操作オブジェクトとして第１オブジェクト領域３１０に表示させる。
なお、使用者Ｕが行う頭部の動きと、この動きに対応してＨＭＤ１００が実行する処理との対応付けは任意に変更することができる。例えば、使用者Ｕは、操作部１７０を操作して、使用者Ｕが行う頭部の動きと、この動きに対応してＨＭＤ１００が実行する処理との対応付けを変更することも可能である。

また、第１オブジェクト領域３１０に表示させる操作オブジェクトを、アプリケーション実行部１５５の動作状態に対応させて選択的に表示させてもよい。例えば、コンテンツデータ１４４の再生を停止させている状態では、再生に対応した操作オブジェクトだけを第１オブジェクト領域３１０に表示させる。また、コンテンツデータ１４４の再生を一時停止させている状態では、再生、早送り及び巻き戻しに対応した操作オブジェクトを第１オブジェクト領域３１０に表示させる。このように、操作対象外の操作オブジェクトの表示を消去することで、操作の選択がさらに容易になる。

図８は、制御部１５０の動作を示すフローチャートである。
まず、制御部１５０は、コンテンツデータ１４４を選択する操作を操作部１７０が受け付けたか否かを判定する（ステップＳ１）。制御部１５０は、操作部１７０がコンテンツデータ１４４を選択する操作を受け付けていない場合（ステップＳ１／ＮＯ）、操作を受け付けるまで待機する。

制御部１５０は、操作部１７０がコンテンツデータ１４４を選択する操作を受け付けた場合（ステップＳ１／ＹＥＳ）、アプリケーションプログラム１４２を実行する（ステップＳ２）。制御部１５０は、アプリケーションプログラム１４２を実行してコンテンツデータ１４４の再生画面３００を表示させる（ステップＳ３）。また、制御部１５０は、再生画面３００と共に、第１アイコン３１１、一時停止を示すアイコン３１２、第２アイコン３１３、第３アイコン３１６等の操作オブジェクトを第１オブジェクト領域３１０に表示させる。さらに、制御部１５０は、停止を示す状態アイコン３３１を第２オブジェクト領域３３０に表示させる。制御部１５０がステップＳ３において行う動作は、本発明の「表示ステップ」に対応した動作である。

制御部１５０は、表示領域ＶＲに再生画面３００を表示させると、６軸センサー２３５の検出値を入力して、頭部の動きの検出を開始する（ステップＳ４）。制御部１５０がステップＳ４において行う動作は、本発明の「検出ステップ」に対応した動作である。制御部１５０は、６軸センサー２３５の検出値により頭部の動きが検出されない場合（ステップＳ５／ＮＯ）、頭部の動きが検出されるまで待機する。また、制御部１５０は、６軸センサー２３５の検出値により頭部の動きが検出された場合（ステップＳ５／ＹＥＳ）、６軸センサー２３５の検出値により使用者Ｕが行った操作を特定する（ステップＳ６）。すなわち、制御部１５０は、頭部の動きが検出された方向と、回転角度とを求めて動作を特定する。

次に、制御部１５０は、特定した操作に対応したアイコンの表示状態を変更する（ステップＳ７）。例えば、ステップＳ６において頭部をＺ軸まわりの右方向に回転させる動作が特定された場合、制御部１５０は、操作対象のアイコンとして第２アイコン３１３を選択し、選択した第２アイコン３１３の表示状態を変更する。具体的には、制御部１５０は、検出した頭部の回転角度に対応した面積の第１領域３２１を第２アイコン３１３に設定し、設定した第１領域３２１の色を第２領域３２３の色とは異なる色で表示させる。

次に、制御部１５０は、ステップＳ６で特定した操作に対応した処理を実行する（ステップＳ８）。例えば、頭部のＺ軸まわり右方向への回転が検出された場合、制御部１５０は、コンテンツデータ１４４の再生を開始する。制御部１５０がステップＳ８において行う動作は、本発明の「実行ステップ」に対応した動作である。次に、制御部１５０は、頭部の回転角度に変化があるか否かを判定する（ステップＳ９）。制御部１５０は、頭部の回転角度に変化があると判定すると（ステップＳ９／ＹＥＳ）、ステップＳ６に戻り、再度、操作を特定する。また、制御部１５０は、頭部の回転角度に変化がないと判定すると（ステップＳ９／ＮＯ）、変化のない状態が一定時間経過しているか否かを判定する（ステップＳ１０）。

制御部１５０は、頭部の回転角度に変化がない状態が一定時間経過していないと判定すると（ステップＳ１０／ＮＯ）、ステップＳ９の判定に戻る。また、制御部１５０は、頭部の回転角度に変化がない状態が一定時間経過したと判定すると（ステップＳ１０／ＹＥＳ）、操作対象のアイコンの第１オブジェクト領域３１０における表示位置を変更して（ステップＳ１１）、操作を確定させる。例えば、ステップＳ７で、表示状態を変更したアイコンが第２アイコン３１３であった場合、制御部１５０は、第２アイコン３１３の表示位置を、第１オブジェクト領域３１０の中央の位置に表示させる。また、制御部１５０は、中央の位置に表示させていたアイコンを第２アイコン３１３の表示位置に変更する。

次に、制御部１５０は、コンテンツデータ１４４の再生が終了したか否かを判定する（ステップＳ１２）。制御部１５０は、コンテンツデータ１４４の再生が終了していないと判定した場合（ステップＳ１２／ＮＯ）、ステップＳ５の判定に戻り頭部の動きが検出されたか否かを判定する。また、制御部１５０は、コンテンツデータ１４４の再生が終了したと判定した場合（ステップＳ１２／ＹＥＳ）、この処理フローを終了させる。

上述の説明では、第２アイコン３１３や第３アイコン３１６における第１領域３２１、３２５と、第２領域３２３、３２７との面積や色を変更することで、検出された頭部の回転角度を使用者Ｕに通知する方法を説明した。この他の方法として、第１領域３２１、３２５と、第２領域３２３、３２７とに表示される画像の濃度や、彩度、明度及び模様の少なくともいずれか１つを変更してもよい。

以上説明したように本実施形態のＨＭＤ１００は、使用者Ｕの頭部に装着される表示装置であって、画像表示部２０、６軸センサー２３５及び制御部１５０を備える。
画像表示部２０は、外景とともに視認できるように表示領域に画像を表示する。
６軸センサー２３５は、頭部の動きを検出する。
制御部１５０は、ＨＭＤ１００が実行可能な処理の案内表示を画像表示部２０により表示領域ＶＲに表示させる。また、制御部１５０は、６軸センサー２３５により検出された頭部の動きに対応付けられた処理を実行する。さらに、制御部１５０は、案内表示として、使用者Ｕが操作として行う頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトと、を表示させる。
従って、使用者Ｕは、状態オブジェクトの表示によりＨＭＤ１００の状態を確認しながら、操作オブジェクトの表示を視認して頭部による操作を行うことができる。このため、頭部の動きによる操作をより確実に行うことができる。

また、制御部１５０は、頭部の動きを案内するアイコンと、頭部の動きに対応付けられた処理を示す文字とを操作オブジェクトとして表示させる。
従って、アイコンに加えて、頭部の動きに対応付けられた処理を示す文字が表示されるので、頭部の動きによる操作をさらに確実に行うことができる。

また、制御部１５０は、実行する処理に応じて、表示領域ＶＲに表示させる操作オブジェクトの表示位置、又は表示順序を変更する。
従って、操作オブジェクトの表示位置又は表示順序により、実行する処理を使用者Ｕに認識させることができる。

また、６軸センサー２３５は、頭部の回転量を検出する。制御部１５０は、６軸センサー２３５が検出する頭部の回転量に応じてアイコンの表示態様を変更する。
従って、ＨＭＤ１００により検出された頭部の回転量を使用者Ｕに認識させることができる。

また、アイコンは、第１領域３２１、３２５と、第１領域３２１、３２５とは異なる第２領域３２３、３２７とを有する。
制御部１５０は、６軸センサー２３５が検出する頭部の回転量に応じて第１領域３２１、３２５と第２領域３２３、３２７との面積の比率を変更する。
従って、ＨＭＤ１００が検出した頭部の回転量を使用者Ｕに明確に認識させることができる。

また、制御部１５０は、第１領域３２１、３２５に表示する画像の色、濃度、彩度、明度及び模様の少なくともいずれか１つを、第２領域３２３、３２７に表示する画像とは変更する。
従って、第１領域３２１、３２５と第２領域３２３、３２７の区別を明確につけることができる。このため、ＨＭＤ１００により検出された頭部の回転量を使用者Ｕにより明確に認識させることができる。

この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えたコンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。

１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１５０…制御部、１５１…基本制御部、１５２…通信制御部、１５３…画像処理部、１５４…撮像制御部、１５５…アプリケーション実行部、１５６…検出制御部、１５７…表示制御部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声処理部、１９１…外部メモリーインターフェイス、１９３…センサーハブ、１９５…ＦＰＧＡ、１９７…インターフェイス、１９９…ＵＳＢコントローラー、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３００…表示画面、３１０…第１オブジェクト領域、３１１…第１アイコン、３１２…一時停止を示すアイコン、３１３…第２アイコン、３１４、３１７、３３３…文字、３１５、３１８…記号、３３０…第２オブジェクト領域、３３１…状態アイコン。

Claims (7)

1. 使用者の頭部に装着される頭部装着型表示装置であって、
   外景とともに視認できるように表示領域に画像を表示する表示部と、
   前記頭部の動きを検出する検出部と、
   前記頭部装着型表示装置が実行可能な処理の案内表示を前記表示部により前記表示領域に表示させる表示制御部と、
   前記検出部により検出された前記頭部の動きに対応付けられた処理を実行する処理実行部と、を備え、
   前記表示制御部は、前記案内表示として、使用者が操作として行う前記頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトとを表示させる、頭部装着型表示装置。
2. 前記表示制御部は、前記頭部の動きを案内するアイコンと、前記頭部の動きに対応付けられた処理を示す文字とを前記操作オブジェクトとして表示させる、請求項１記載の頭部装着型表示装置。
3. 前記表示制御部は、前記処理実行部が実行する処理に応じて、前記表示領域に表示させる前記操作オブジェクトの表示位置、又は表示順序を変更する、請求項１又は２記載の頭部装着型表示装置。
4. 前記検出部は、前記頭部の回転量を検出し、
   前記表示制御部は、前記検出部が検出する前記頭部の回転量に応じて前記アイコンの表示態様を変更する、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
5. 前記アイコンは、第１領域と、前記第１領域とは異なる第２領域とを有し、
   前記表示制御部は、前記検出部が検出する前記頭部の回転量に応じて前記第１領域と前記第２領域との面積の比率を変更する、請求項４記載の頭部装着型表示装置。
6. 前記表示制御部は、前記第１領域に表示する画像の色、濃度、彩度、明度及び模様の少なくともいずれか１つを、前記第２領域に表示する画像とは変更する、請求項５記載の頭部装着型表示装置。
7. 外景とともに視認できるように表示領域に画像を表示する表示部を備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
   前記頭部装着型表示装置が実行可能な処理の案内表示を前記表示部により前記表示領域に表示させる表示ステップと、
   前記頭部の動きを検出する検出ステップと、
   検出された前記頭部の動きに対応付けられた処理を実行する実行ステップと、を有し、
   前記表示ステップにおいて、前記案内表示として、使用者が操作として行う前記頭部の動きを案内する操作オブジェクトと、処理実行部の動作状態を示す状態オブジェクトとを表示させる、頭部装着型表示装置の制御方法。

Images