JP2016126588A - 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】使用者の頭部に装着される表示装置を、より直感的な入力操作により制御できる表示システム、及び、表示装置の制御方法を提供する。
【解決手段】頭部装着型表示装置１００は、使用者の頭部に装着される表示部を有する頭部装着型表示装置１００と、表示部とは別体として構成される操作デバイス３とを備える。操作デバイス３は、使用者の操作を受け付ける操作部を備える。頭部装着型表示装置１００は、画像表示部２０の表示を制御する制御部を備え、制御部は、操作デバイス３の操作に基づき、画像表示部２０で表示する画面を遷移させる処理を含む表示制御を行う。
【選択図】図１

Description

本発明は、表示装置を備える表示システム、プログラム、サーバー装置、及び、表示装置の制御方法に関する。

従来、使用者が頭部に装着して使用するヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）等の表示装置に対する入力操作の方法として、手指に装置を装着し、この装置により手指の動きを検出する方法が提案された（例えば、特許文献１、２参照）。特許文献１には、指に装着される装置を利用してテキスト入力を行う構成が開示されている。また、特許文献２には、ＨＭＤと指に装着される発光体とを用いて、マウスと同等の操作を行う構成が開示されている。

特開２０００−２８４８８６号公報 特開２０００−２９６１９号公報

ＨＭＤにおいてテキスト入力やマウスと同等の入力操作を行う場合、誤入力があると、使用者の意図に反した結果を招く。このため、使用者は、入力される文字、或いは、指示位置を示すカーソルを注視して、正確で誤りの無いように操作を行う。このため、使用者には、表示装置の表示に注視して慎重に操作することが求められ、より直感的な操作でＨＭＤを制御できる方法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、使用者の頭部に装着される表示装置を、より直感的な入力操作により制御できる表示システム、及び、表示装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の表示システムは、使用者の頭部に装着される表示部を有する表示装置と、前記表示部とは別体として構成される操作デバイスとを備え、前記操作デバイスは、前記使用者の操作を受け付ける操作部を備え、前記表示装置は、前記表示部の表示を制御する制御部を備え、前記制御部は、前記操作デバイスの操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスを操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

本発明は、上記表示システムにおいて、前記操作デバイスは、前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部を備え、前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記操作デバイスの操作を検出すること、を特徴とする。
本発明によれば、操作デバイスにおける操作を、表示装置において確実に検出できる。また、操作の検出に係る表示装置の負荷を軽減できる。

本発明は、上記表示システムにおいて、前記操作デバイスは、前記使用者の身体に装着される装着部を有すること、を特徴とする。
本発明によれば、使用者の身体に装着される操作デバイスを用いて、より直感的な入力操作を行い、表示装置を制御できる。

本発明は、上記表示システムにおいて、前記操作デバイスが有する前記操作部は、回転を伴う操作を検出し、前記表示装置の前記制御部は、前記操作デバイスから回転を伴う操作を示すデータが送信された場合に、前記操作の回転方向に対応して、前記表示部により表示する画面を遷移させること、を特徴とする。
本発明によれば、回転を伴う操作により、回転方向に対応して表示される画面が遷移するので、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行うこと、を特徴とする。
本発明によれば、直感的な操作により表示装置が表示する画像の表示制御が可能となる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部の表示を制御すること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置に対応して表示を制御できる。

本発明は、上記表示システムにおいて、前記表示装置は撮像部を備え、前記制御部は、前記撮像部の撮像画像に基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。

本発明は、上記表示システムにおいて、前記操作デバイスが有する前記操作部は、前記操作デバイスの動きを操作として検出すること、を特徴とする。
本発明によれば、操作デバイスを動かすことで表示装置に対する操作を行える。

本発明は、上記表示システムにおいて、前記表示部は、外景を透過して前記使用者に視認させる透過型の表示部であること、を特徴とする。
本発明によれば、使用者が外景を見ながら操作デバイスを操作して、表示装置の表示を制御できる。表示装置のみを注視せず、直感的に操作できるため、外景を見ながら表示装置を使用する場合に好適である。

本発明は、上記表示システムにおいて、前記表示装置は、前記操作デバイスに出力用のデータを送信し、前記操作デバイスは、前記表示装置が送信する出力用のデータを前記通信部で受信し、受信した出力用のデータを出力すること、を特徴とする。
本発明によれば、操作デバイスを、データを出力する装置として利用できる。

本発明は、上記表示システムにおいて、前記操作デバイスは撮像部を備え、前記撮像部の撮像画像を含むデータを前記通信部により前記表示装置に送信すること、を特徴とする。
本発明によれば、表示装置とは別体の操作デバイスで撮像を行い、撮像画像を表示装置で表示できる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスから撮像画像を含むデータを受信し、受信したデータに基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。

また、上記目的を達成するために、本発明は、使用者の頭部に装着される表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記表示部とは別体として構成される操作デバイスが前記使用者の操作を受け付けた場合に、前記操作デバイスの操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスを操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

また、上記目的を達成するために、本発明のサーバー装置は、通信回線に接続され、上記のプログラムを前記通信回線により送信すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスを操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者の頭部に装着される表示部を有する表示装置を、前記表示部とは別体として構成される操作デバイスを用いて制御する制御方法において、前記操作デバイスにより前記使用者の操作を受け付け、受け付けた操作を示すデータを前記表示部に送信し、前記表示装置により、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画面を他の画面に遷移させる処理を含む表示制御を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスを操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および前記情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、コンピュータープログラムを配信するためのサーバー装置、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

実施形態に係る表示システムの概略構成を示す説明図。 操作デバイスの構成を示す説明図。 操作デバイスの機能ブロック図。 頭部装着型表示装置の機能ブロック図。 操作デバイスの動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 設定用のＡＲ表示の例を示す説明図。 操作デバイスの操作に応じて実行される処理の例を示す図。 操作デバイスの操作に応じて実行される処理の別の例を示す図。 頭部装着型表示装置の動作の別の例を示すフローチャート。

［システム構成］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成を示す図である。
表示システム１は、使用者の身体に装着される頭部装着型表示装置（ＨＭＤ）１００、及び、操作デバイス３を備える。
頭部装着型表示装置１００は、図１に示すように、使用者の頭部に装着される画像表示部２０を有する。頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（本体）を有する。また、制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。制御装置１０は、使用者の衣服のポケットに収容され、或いは、使用者の腰のベルトに取り付けられる。
また、操作デバイス３は、使用者の身体に装着可能な、いわゆるウェアラブルデバイスであり、本実施形態では使用者の腕に装着される腕時計状の形状とする。

［操作デバイスの構成］
図２は、操作デバイス３の構成を示す説明図であり、図２（Ａ）は操作デバイス３の要部正面図であり、（Ｂ）及び（Ｃ）はＬＣＤ３０３の表示例を示す図である。また、図３は操作デバイス３の機能ブロック図である。これら図１〜図３を参照して操作デバイス３の構成を説明する。

操作デバイス３は、腕時計のバンドと同様の形状であるバンド部３００を有する。バンド部３００は、図示しないバックル等の固定部を有し、例えば使用者の前腕部に巻き付けて固定できる。操作デバイス３のバンド部３００には、時計の文字盤に相当する位置に、略円盤状の平面部３００Ａが形成される。平面部３００Ａには、ベゼル３０１、ＬＣＤ３０３、ボタン３０５、リュウズ型操作子３０７、複数のボタン３０９、及び光学部３１０が設けられる。

ベゼル３０１は、リング形状の操作子であり、平面部３００Ａの周縁部に配置される。ベゼル３０１は、バンド部３００に対して円周方向に回転可能に設けられる。操作デバイス３は、後述するように、ベゼル３０１の回転方向、及び回転量を検出する機構を備える。また、ベゼル３０１を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ＬＣＤ３０３は、文字や画像を表示するＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）である。ＬＣＤ３０３の表面には図３に示すタッチパネル３０４が重畳して配置される。

ボタン３０５は、ベゼル３０１の外側に配置される押しボタン式スイッチである。ボタン３０５は、例えば図１、図２（Ａ）に示すように、装着状態において、使用者から見てベゼル３０１の下方に位置する。ボタン３０５は、後述するリュウズ型操作子３０７やボタン３０９に比べて大型であり、手探りでも操作が可能である。

リュウズ型操作子３０７は、腕時計の竜頭を模した形状の操作子であり、図中矢印で示すように回転させることが可能である。操作デバイス３は、使用者がリュウズ型操作子３０７を回転させた場合に、リュウズ型操作子３０７の回転方向、及び回転量を検出する機構を備える。また、リュウズ型操作子３０７を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ボタン３０９は、平面部３００Ａの外周部に設けられた押しボタン式のスイッチである。ボタン３０９の数について特に制限はなく、本実施形態では４つのボタン３０９を設けた例を示す。
ボタン３０９には異なる機能を割り当てることが可能であり、各々のボタン３０９に割り当てられた機能を、ＬＣＤ３０３に表示できる。

図２（Ｂ）は、ＬＣＤ３０３に、ボタン３０９の機能を表示する例を示す。この例では、４つのボタン３０９に割り当てられた機能をそれぞれ示す機能表示３３１、３３２、３３３、３３４がＬＣＤ３０３に表示される。機能表示３３１、３３２、３３３、３３４の表示位置は、機能表示の対象のボタン３０９の位置に対応する。例えばＬＣＤ３０３の右上部に表示された機能表示３３１は、平面部３００Ａの右上に位置するボタン３０９に割り当てられた機能を示す。

さらに、ＬＣＤ３０３には、ベゼル３０１を回転させることで選択可能な機能を表示できる。図２（Ｃ）は、ＬＣＤ３０３にベゼル３０１の操作に割り当てられた機能を表示する例を示す。この例では、ベゼル３０１を回転させることで選択可能な４つの機能をそれぞれ示す機能表示３４１、３４２、３４３、３４４がＬＣＤ３０３に表示される。機能表示３４１、３４２、３４３、３４４の表示位置は、ベゼル３０１の回転位置に対応する。すなわち、ベゼル３０１を回転させると、機能表示３４１、３４２、３４３、及び３４４が、順に切り替えて選択される。例えば、ベゼル３０１を時計回り（ＣＷ）に回転させると、機能表示３４１、３４２、３４３、及び３４４が、順に切り替えて選択される。

また、機能表示３４５はボタン３０５に割り当てられた機能を示し、図２（Ｃ）の例では「決定」機能である。ベゼル３０１の回転により、機能表示３４１、３４２、３４３、及び３４４のいずれかが選択された状態で、ボタン３０５が操作されると、機能表示３４１、３４２、３４３、及び３４４の選択が決定される。そして、ベゼル３０１の回転で選択された機能が実行される。

ボタン３０９に割り当てられる機能、及び、ベゼル３０１の回転により選択される機能は、一通りに限定されず、より多数の機能を切り替えて割り当てることが可能である。この場合、操作デバイス３において、機能を切り替えることが可能な構成とすることができる。この場合、機能の切り替えに伴って、ＬＣＤ３０３の機能表示３３１、３３２、３３３、３３４、或いは機能表示３４１、３４２、３４３、３４４が切り替わる構成としてもよい。

光学部３１０は、２つのカメラ３１１（撮像部）、及び、ＬＥＤ３１３を備える。カメラ３１１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。操作デバイス３が有する２つのカメラ３１１の撮像範囲は、それぞれ異なる範囲であってもよいし、同一の範囲であってもよい。本実施形態では、２つのカメラ３１１で、操作デバイス３を装着た利用者の両眼を撮像し、撮像画像に基づき使用者の目線を検出可能である。従って、２つのカメラ３１１の一方は、平面部３００Ａを正面視する使用者の右眼を撮像し、他方は左眼を撮像できる構成である。
ＬＥＤ（Light Emitting Diode）３１３は、赤外光を発する赤外ＬＥＤである。ＬＥＤ３１３は、カメラ３１１で撮像をする場合の照明として利用される。また、操作デバイス３は、ＬＥＤ３１３を点灯あるいは点滅させることで、光信号を送信できる。

図３には操作デバイス３の制御系の構成を示す。
操作デバイス３は、操作デバイス３の各部を制御する制御部３５０を備える。制御部３５０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶したプログラムを実行することにより、操作デバイス３の機能を実現する。
制御部３５０には、通信用の機能部として、無線通信部３６１（通信部）及びＮＦＣ（Near Field Communication）部３６２を備える。無線通信部３６１は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。ＮＦＣ部３６２は、ＮＦＣ規格に準拠した近距離無線通信を実行する。

制御部３５０には、ＬＣＤ３０３、タッチパネル３０４、２つのカメラ３１１、及びＬＥＤ３１３が接続される。制御部３５０は、ＬＣＤ３０３を制御して画像や文字を表示させる。また、タッチパネル３０４は、ＬＣＤ３０３の表面に重畳して配置され、ＬＣＤ３０３の表面における接触操作を検出する。タッチパネル３０４は、例えば、静電容量式または感圧式のセンサーを用いることができる。制御部３５０は、タッチパネル３０４により接触操作を検出し、操作位置を特定する。タッチパネル３０４は、１点の接触操作を検出してもよいし、複数の点における操作を同時に検出可能な、いわゆるマルチタッチ操作に対応してもよい。
制御部３５０は、２つのカメラ３１１をそれぞれ制御して、撮像を実行させて撮像画像データを生成する。また、制御部３５０は、ＬＥＤ３１３に流れる電流をＯＮ／ＯＦＦして、ＬＥＤ３１３を任意のタイミングで点灯、或いは点滅させる。

制御部３５０には、マイク３６５、ボタン操作部３６６、回転検出部３６７、９軸センサー３６８、バイブレーター３６９、及び、スピーカー３７０が接続される。マイク３６５は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。マイク３６５が指向性を有する場合、マイク３６５は、例えば平面部３００Ａ（図２）またはその近傍で、平面部３００Ａの正面方向の音を集音する。また、マイク３６５は、使用者の身体に接触する骨伝導型のマイクであってもよい。制御部３５０は、マイク３６５が集音した音声のアナログ音声信号を取得してディジタル音声データを生成する。

ボタン操作部３６６は、ボタン３０５、及び、ボタン３０９の操作を検出し、操作されたボタンに対応する操作信号を制御部３５０に出力する。回転検出部３６７は、ベゼル３０１の回転、及び、リュウズ型操作子３０７の回転を検出する。回転検出部３６７は、ベゼル３０１の回転方向と回転量を示す信号を制御部３５０に出力し、リュウズ型操作子３０７についても同様に回転方向と回転量を示す信号を制御部３５０に出力する。ここで、回転検出部３６７は、ベゼル３０１が所定量回転する毎に、回転方向を示す信号を出力してもよい。この場合、回転検出部３６７の出力信号を制御部３５０がカウントすることで、制御部３５０が回転量を取得でき、回転検出部３６７が回転量を積算する必要がない。リュウズ型操作子３０７の回転操作についても同様に、リュウズ型操作子３０７が所定量回転する毎に、回転検出部３６７が回転方向を示す信号を出力してもよい。

９軸センサー３６８は、慣性センサーを備えたユニットであり、本実施形態では、３軸の加速度センサー、３軸の角速度センサー、及び、３軸の磁気センサーを具備する。９軸センサー３６８が検出を行う軸は、例えば、平面部３００Ａを含む平面内における上下方向、左右方向、及び平面部３００Ａを含む平面に直交する方向に沿って設定できる。
バイブレーター３６９は、制御部３５０の制御に従って回転するモーター（図示略）を備える。このモーターの回転軸には錘が偏心して取り付けられ、モーターの回転に伴い操作デバイス３を振動させる。スピーカー３７０は、制御部３５０が出力する音声信号に基づき音声を出力する。

制御部３５０を含む操作デバイス３の各部には、一次電池または二次電池を有する電源部３６０から電源が供給される。電源部３６０は、二次電池とともに、二次電池への充電を制御する回路を備えてもよい。

制御部３５０は、プログラムを実行することにより、操作検出部３５１、出力制御部３５２、撮像制御部３５３、通信制御部３５４、及び音声処理部３５５の各部の機能を実現する。
操作検出部３５１は、ボタン操作部３６６及び回転検出部３６７から入力される信号に基づき、操作デバイス３が備える操作子の操作を検出し、操作内容を特定する。具体的には、操作検出部３５１は、ボタン３０５、リュウズ型操作子３０７、及びボタン３０９の操作を検出する。また、操作検出部３５１は、９軸センサー３６８から入力される信号に基づいて、操作デバイス３を振る、動かす等の操作を検出する。さらに、操作検出部３５１は、タッチパネル３０４から入力される信号に基づき、ＬＣＤ３０３に対する接触操作を検出し、操作位置を特定する。ここで、操作検出部３５１は、操作位置においてＬＣＤ３０３が表示する画像を特定することにより、操作位置に割り当てられる機能を特定することも可能である。

出力制御部３５２は、通信制御部３５４が無線通信部３６１やＮＦＣ部３６２により受信するデータ、又は、操作検出部３５１が検出する操作に対応して、出力を実行する。出力制御部３５２は、ＬＣＤ３０３に文字や画像を表示する。また、出力制御部３５２は、バイブレーター３６９のモーターを動作させて操作デバイス３を振動させる。
撮像制御部３５３は、カメラ３１１を制御して撮像を実行させ、撮像画像データを取得する。
通信制御部３５４は、無線通信部３６１またはＮＦＣ部３６２により、外部の機器とデータを送受信する。通信制御部３５４は、無線通信部３６１により頭部装着型表示装置１００とデータ通信を実行できる。また、通信制御部３５４は、ＮＦＣ部３６２により、近接通信が可能な機器を検出した場合に、この機器とデータを送受信する。また、通信制御部３５４は、ＬＥＤ３１３を点滅させて、光信号によりデータを送信できる。この場合、通信制御部３５４は、カメラ３１１により光信号を検出して受信する構成としてもよい。

音声処理部３５５は、マイク３６５が集音した音声のディジタル音声データを生成して、必要に応じて解析を行う。例えば、音声処理部３５５は、マイク３６５が集音した使用者の音声を解析し、操作を指示する音声を検出した場合に、操作検出部３５１に対して操作の指示を出力してもよい。この場合、使用者は操作デバイス３を音声により操作できる。また、音声処理部３５５は、スピーカー３７０に音声信号を出力して音声を出力させる。

制御部３５０は、操作デバイス３の動作モードとして、時計モードと、ＵＩモードとを含む複数の動作モードを実行でこる。時計モードは、制御部３５０により現在時刻を計時し、ＬＣＤ３０３に現在時刻を表示する動作モードである。時計モードは操作デバイス３を時計として動作させるので、消費電力が小さいという利点がある。ＵＩモードは、操作デバイス３を、頭部装着型表示装置１００を操作するユーザーインターフェイス（ＵＩ）として機能させる動作モードである。ＵＩモードでは、操作デバイス３に対する操作に基づき、操作デバイス３が頭部装着型表示装置１００にデータを送信し、このデータに従って頭部装着型表示装置１００が動作する。時計モードからＵＩモードへの切り替え、及び、ＵＩモードから時計モードへの切り替えは、後述するように、制御部３５０の制御により行われる。

［頭部装着型表示装置の構成］
頭部装着型表示装置１００において、画像表示部２０のフレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。

フレーム２には、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とが設けられる。
右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
そして、頭部装着型表示装置１００は、内部で処理する画像の画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光による画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０（図４）の制御に従って撮像を実行し、撮像画像データを制御部１４０に出力する。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源ＯＮ／ＯＦＦを切り替えるスイッチである。

図４は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、制御装置１０の各操作子に接続され、これら各操作子の操作を検出し、検出した操作子に対応する操作信号を入力情報取得部１１０に出力する。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、制御装置１０の操作により入力される入力内容を取得する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
制御装置１０は、一次電池や二次電池を有する電源部１３０を備え、制御装置１０及び画像表示部２０の各部に電源部１３０から電源を供給する。

制御部１４０には、３軸センサー１１３、音声認識部１１４、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１００の各部を制御する。また、制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１４０の各種機能を実現する。すなわち、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、デバイス制御部１８３、ＡＲ表示制御部１８５、及び、音声処理部１８７として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。

振動センサー６５は、加速度センサーを利用して構成され、例えば図１に示すように、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。
９軸センサー６６が内蔵する加速度センサー及び角速度センサーの検出軸は、例えば、図１に示すＸ，Ｙ，Ｚの３軸とすることができる。この例では、画像表示部２０を装着する使用者の頭部に対し左右方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸とする。より詳細には、頭部装着型表示装置１００の装着状態において、画像表示部２０は左右の眼に対し、使用者が知覚する水平な位置にある。頭部装着型表示装置１００の標準的な装着位置において、９軸センサー６６の検出軸（Ｘ軸、Ｙ軸、Ｚ軸）が、使用者が知覚する左右、前後、及び上下に一致する構成である。９軸センサー６６の加速度センサーは、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向の加速度を検出する。また、９軸センサー６６が備える角速度センサーは、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６を接続するインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

撮像処理部１８１は、カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
デバイス制御部１８３は、通信部１１７を制御して操作デバイス３との間でデータ通信を行い、操作デバイス３から受信するデータを解析する。また、デバイス制御部１８３は、カメラ６１の撮像画像データに基づき、操作デバイス３が備えるＬＥＤ３１３の点滅パターンが特定のパターンに該当する場合に、このパターンを復号化して、データを受信する。

ＡＲ表示制御部１８５は、ＡＲコンテンツのデータに基づき、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。ＡＲコンテンツのデータは、例えば、記憶部１２０が記憶する。また、ＡＲ表示制御部１８５は、コンテンツデータ１２３が音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。

ＡＲ表示制御部１８５は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８５は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８５は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８５は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。

ＡＲコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、ＡＲ表示制御部１８５は、撮像処理部１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ６１の撮像範囲における対象物の位置を特定する。ＡＲ表示制御部１８５は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

［表示システムの動作］
図５は、表示システム１の動作を示すフローチャートであり、特に、操作デバイス３の動作を示す。
操作デバイス３は、表示システム１の操作を行わない間は、時計モードで動作する（ステップＳ１１）。時計モードにおいて、ＵＩモードへの移行を指示する操作が行われると（ステップＳ１２）、操作デバイス３の制御部３５０は、カメラ３１１、３１１により撮像を実行して使用者の視線を検出する（ステップＳ１３）。制御部３５０は、視線を検出するまで撮像および撮像画像の解析を行う（ステップＳ１３；ＮＯ）。

制御部３５０は、視線を検出した場合（ステップＳ１３；ＹＥＳ）、頭部装着型表示装置１００がＯＮになっているか否かを判定する（ステップＳ１４）。ステップＳ１４では、例えば、無線通信部３６１により頭部装着型表示装置１００の通信部１１７と通信を行い、頭部装着型表示装置１００の動作状態を検出することで、判定を行う。また、例えば、撮像制御部３５３の制御によりカメラ３１１で撮像を実行し、撮像画像に基づき頭部装着型表示装置１００の動作状態を判定してもよい。例えば、画像表示部２０が表示する画像が調光板２０Ａを透過して撮像画像に写った場合に、頭部装着型表示装置１００がＯＮであると判定してもよい。また、画像表示部２０に、動作状態に応じて発光する発光部を設け、撮像画像から発光部の発光状態を特定して、動作状態を判定してもよい。

頭部装着型表示装置１００がＯＮでないと判定した場合（ステップＳ１４；ＮＯ）、制御部３５０は、無線通信部３６１により通信を実行し、頭部装着型表示装置１００に対して起動を指示するデータを送信する（ステップＳ１５）。制御部３５０は、頭部装着型表示装置１００から起動したことを示す制御データを受信し、ステップＳ１７に移行する。また、頭部装着型表示装置１００がＯＮであると判定した場合（ステップＳ１４；ＹＥＳ）、制御部３５０はステップＳ１７に移行する。

ステップＳ１７で、制御部３５０は、頭部装着型表示装置１００の認証が済んでいるか否かを判定する。制御部３５０は、頭部装着型表示装置１００と組み合わせて使用される場合に、頭部装着型表示装置１００の認証を行い、認証に成功した頭部装着型表示装置１００のユーザーインターフェイスとして動作する。認証が済んでいないと判定した場合（ステップＳ１７；ＮＯ）、制御部３５０は、ステップＳ１４でＯＮになっているか否かを判定した頭部装着型表示装置１００と、認証用のデータを送受信して認証する（ステップＳ１８）。認証に必要なデータを送受信した場合、イヤホンプラグ３０は、頭部装着型表示装置１００とペアリング、即ちユーザーインターフェイスとして動作する１対１の対応付けを行い（ステップＳ１９）、ステップＳ２０に移行する。この対応付けは１対多であってもよい。また、頭部装着型表示装置１００の認証が済んだ場合は（ステップＳ１７；ＹＥＳ）、制御部３５０はステップＳ２０に移行する。

ステップＳ２０で、制御部３５０は、ＬＣＤ３０３に操作用の画面を表示し、操作に対して待機する。操作用の画面は、例えば、図２（Ｂ）や図２（Ｃ）に例示した画面である。
制御部３５０は、操作を待機し、操作検出部３５１により操作を検出すると（ステップＳ２１）、検出した操作を示す操作データを頭部装着型表示装置１００に送信する（ステップＳ２２）。

その後、制御部３５０は、終了条件が成立したか否かを判定する（ステップＳ２３）。終了条件が成立している場合（ステップＳ２３；ＹＥＳ）、制御部３５０は時計モードに移行して（ステップＳ２４）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ２３；ＮＯ）、ステップＳ２１に戻る。
終了条件は、例えば、タッチパネル３０４、ボタン３０５、リュウズ型操作子３０７、或いはボタン３０９によりＵＩモードの終了を指示する操作が行われたこと、頭部装着型表示装置１００から終了を指示する制御データを受信したこと、等である。

表示システム１では、頭部装着型表示装置１００が、操作デバイス３との相対位置を検出することが可能である。この位置検出には種々の方法を用いることが可能であるが、本実施形態では、頭部装着型表示装置１００が操作デバイス３を含む範囲を撮像し、撮像画像データに基づき相対位置を特定する例を説明する。

図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、頭部装着型表示装置１００と操作デバイス３との相対位置を検出する位置検出処理を示す。
制御部１４０は、撮像処理部１８１によりカメラ６１を制御して撮像を実行する（ステップＳ３１）。制御部１４０は、カメラ６１の撮像画像データを取得し、取得した撮像画像データを解析して、操作デバイス３の画像を検出する（ステップＳ３２）。これにより、カメラ６１の撮像画像において、操作デバイス３が写っている位置や操作デバイス３の画像の形状を検出できる。

続いて、制御部１４０は、撮像画像における操作デバイス３の画像の位置及びサイズに基づき、操作デバイス３とカメラ６１との相対位置を算出する（ステップＳ３３）。すなわち、制御部１４０は、操作デバイス３の画像の位置からカメラ６１の画角の中心軸、例えばカメラ６１の撮像レンズの光軸に対する操作デバイス３の位置を算出する。また、制御部１４０は、撮像画像における操作デバイス３の画像のサイズから、操作デバイス３とカメラ６１の撮像面との距離を求める。ここで、制御部１４０は、カメラ６１の撮像条件（ズーム倍率等）を用いて算出を行ってもよい。

ステップＳ３３で、制御部１４０は、カメラ６１と操作デバイス３との相対位置を求めた後、求めた相対位置を、頭部装着型表示装置１００と操作デバイス３との相対位置に変換してもよい。
頭部装着型表示装置１００及び操作デバイス３は、撮像画像における座標に比べて大きいため、基準点を設定することが現実的である。すなわち、頭部装着型表示装置１００と操作デバイス３との相対位置は、頭部装着型表示装置１００において設定される基準点と、操作デバイス３において設定される基準点との相対位置として求められる。頭部装着型表示装置１００における基準点がカメラ６１の撮像面において光軸に重なる点である場合、ステップＳ３３で求めた相対位置は、そのまま、操作デバイス３と頭部装着型表示装置１００との相対位置となる。頭部装着型表示装置１００の基準点がカメラ６１の撮像面とは異なる位置にある場合、制御部１４０は、上述した変換を行えばよい。また、操作デバイス３における基準点は、例えば、ベゼル３０１の中心とすればよい。

制御部１４０は、撮像画像における操作デバイス３の画像の形状に基づき、操作デバイス３のＬＣＤ３０３の向きを特定する（ステップＳ３４）。ステップＳ３４で、制御部１４０は、撮像画像における操作デバイス３のベゼル３０１の形状、バンド部３００を含む操作デバイス３の全体形状、或いは、ＬＣＤ３０３の形状に基づいて向きを算出できる。また、例えば図２（Ａ）に示したように、操作デバイス３がＬＣＤ３０３に矢印等の図形を表示している場合や、ＬＣＤ３０３に時刻を表示している場合に、これらＬＣＤ３０３の表示画像に基づいて向きを求めてもよい。

その後、制御部１４０は、ステップＳ３３で算出した操作デバイス３と頭部装着型表示装置１００との相対位置を示すデータ、及び、ステップＳ３４で特定した頭部装着型表示装置１００に対する操作デバイス３の向きを示すデータを生成する。制御部１４０は、生成したデータを含む相対位置データを、記憶部１２０に記憶する（ステップＳ３５）。

表示システム１では、頭部装着型表示装置１００が、操作デバイス３による操作に対応したＡＲ画像を表示できる。
図７は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、操作デバイス３に対応したＡＲ表示を行う動作を示す。
制御部１４０は、デバイス制御部１８３により、操作デバイス３が送信する操作データを通信部１１７で受信して解析し（ステップＳ４１）、操作の種別を特定する（ステップＳ４２）。ステップＳ３１で受信するデータは、操作デバイス３が操作に対応して送信する操作データ（図５のステップＳ２２）である。デバイス制御部１８３は、操作データが示す操作に対応する指示が、操作デバイス３の操作の設定に関する指示であるか否かを判定する（ステップＳ４３）。操作の設定以外の指示である場合（ステップＳ４３；ＮＯ）、デバイス制御部１８３は、ステップＳ３２で特定した操作に対応する処理を実行し（ステップＳ４４）、本処理を終了する。ステップＳ４４では、例えば、撮像開始を指示する操作データに従ってカメラ６１の撮像を開始する処理や、ＡＲ表示の開始又は終了を指示する操作データに従って、ＡＲ表示制御部１８５でＡＲ表示を開始／終了する。

一方、操作データが示す操作に対応する指示が、操作の設定に関する指示である場合（ステップＳ３３；ＹＥＳ）、ＡＲ表示制御部１８５が、操作設定用のＡＲ表示を行う（ステップＳ３５）。ここで、デバイス制御部１８３は、ＡＲ表示中の操作デバイス３における操作に対応して操作デバイス３が操作データを送信すると、この操作データを受信して、受信した操作データに基づき、設定、及び設定の更新を行う。

ステップＳ３５で、ＡＲ表示制御部１８５は、頭部装着型表示装置１００の使用者が画像表示部２０越しに操作デバイス３を見ている状態で、操作デバイス３に重なって見えるように、ＡＲコンテンツを表示する。ここで、ＡＲ表示制御部１８５は、図６に示した動作で検出した操作デバイス３と頭部装着型表示装置１００との相対位置、及び、頭部装着型表示装置１００に対する操作デバイス３の向きに基づき、ＡＲコンテンツの表示位置を決定する。この処理で、ＡＲ表示制御部１８５は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。この位置関係は、記憶部１２０に記憶した相対位置データから求めることができる。
ＡＲ表示制御部１８５は、操作デバイス３と頭部装着型表示装置１００との間の距離に対応して、ＡＲコンテンツの表示サイズを調整してもよい。また、ＡＲ表示制御部１８５は、頭部装着型表示装置１００に対する操作デバイス３のＬＣＤ３０３の向きに対応して、ＡＲコンテンツの表示位置を調整してもよいし、ＡＲコンテンツに含まれる画像を変形してもよい。

図８は、操作設定用のＡＲ表示の例を示し、（Ａ）はベゼル３０１の操作について設定を行うためのＡＲ表示の例を示し、（Ｂ）はボタン３０９の操作について設定を行うためのＡＲ表示の例を示す。
図８（Ａ）の例では、使用者の視野ＶＲに実物の操作デバイス３が視認され、この操作デバイス３に対応する位置に、ＡＲコンテンツが画像表示部２０により表示される。ＡＲコンテンツは、割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４及び設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４である。割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４は、ベゼル３０１の回転に割り当てる機能の候補を示す画像であり、この例では、ベゼル３０１を回転させる操作で選択可能な機能の組合せを示すテキストを含む。割り当て候補表示Ａ１は、「Ｈｏｍｅ」、「戻る」、「メニュー」、「アプリ終了」の４つの文字列（テキスト）を含む。割り当て候補表示Ａ２は、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列を含む。操作デバイス３において、ベゼル３０１を回転する操作が行われると、割り当て候補Ａ１〜Ａ４のいずれかが順に選択できる。

図８（Ａ）の例では割り当て候補Ａ２が選択されている。このため、視野ＶＲの中央に見える操作デバイス３に重なるように、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列が配置される。これらの文字列は、割り当てる機能の候補、すなわち、設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４である。ベゼル３０１の操作により、割り当て候補表示Ａ２から、他の割り当て候補表示に切り替えられると、設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４の文字列が変更される。従って、使用者は、ベゼル３０１の回転操作に割り当てる機能を、割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４の中から選択して設定できる。操作デバイス３で、ボタン３０５が操作されると、ベゼル３０１の操作で選択された割り当て候補表示が確定され、設定が更新される。

図８（Ｂ）の例では、実物の操作デバイス３に対応する位置に、ＡＲコンテンツとして、割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４及び設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４が表示される。割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４は、４個のボタン３０９に割り当てる機能の候補を示す画像であり、この例では、４つのボタン３０９のそれぞれが操作されたときに実行される機能を示すテキストを含む。割り当て候補表示Ａ２１は、「Ｈｏｍｅ」、「戻る」、「メニュー」、「アプリ終了」の４つの文字列（テキスト）を含む。割り当て候補表示Ａ２２は、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列を含む。操作デバイス３において、ベゼル３０１を回転する操作が行われると、割り当て候補Ａ２１〜Ａ２４のいずれかが順に選択できる。

図８（Ｂ）の例では割り当て候補Ａ２２が選択されている。このため、視野ＶＲの中央に見える操作デバイス３に重なるように、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列が配置される。これらの文字列は、割り当てる機能の候補、すなわち、設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４であり、機能を割り当てるボタン３０９に対応する位置に表示される。ベゼル３０１の操作により、割り当て候補表示Ａ２２から、他の割り当て候補表示に切り替えられると、設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４の文字列が変更される。従って、使用者は、ベゼル３０１の回転操作に割り当てる機能を、割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４の中から選択して設定できる。操作デバイス３で、ボタン３０５が操作されると、ベゼル３０１の操作で選択された割り当て候補表示が確定され、設定が更新される。

図８（Ａ）、（Ｂ）の例は、操作デバイス３が送信する操作データに対応して頭部装着型表示装置１００が実行する機能を設定する動作を示す。機能の割り当てを設定し、更新できるので、操作デバイス３により頭部装着型表示装置１００の様々な機能について操作を行える。また、ＡＲ表示を利用することで、容易に設定を行うことができる。

図９及び図１０は、操作デバイス３の操作に対応して頭部装着型表示装置１００が実行する機能の例を示す図である。
図９（Ａ）は、ファイル及びフォルダーを選択する選択用画面Ａ４１を、使用者の視野ＶＲに表示した例を示す。このように選択候補（この例ではフォルダー）が複数並べて表示された状態で、ベゼル３０１を回転させる操作が行われると、候補が順に選択される。
また、図９（Ｂ）には、操作デバイス３または制御装置１０の操作により表示される仮想キーボードＡ４３を示す。仮想キーボードＡ４３には文字及び記号に対応する仮想キーが複数配置される。仮想キーボードＡ４３の表示中にベゼル３０１を回転させる操作が行われると、仮想キーボードＡ４３において仮想キーが順に選択される。

図９（Ａ）、（Ｂ）に示すように、使用者の視野ＶＲに表示される複数の候補から一つの候補を選択する操作では、ベゼル３０１を回転させる操作が好適である。この場合、ベゼル３０１の回転方向に合わせて、候補が順に切り替えて選択される方向を変更してもよい。また、選択を確定する操作は、例えば、操作デバイス３が備えるボタン３０５で行うことができる。ベゼル３０１は、直感的に操作が可能であり、操作デバイス３の平面部３００Ａの外周部に位置するため、手探りによる操作が可能である。このため、使用者は、画像表示部２０により表示されるＡＲ表示に注目しながらベゼル３０１を操作できる。さらに、平面部３００Ａとは離れた位置に設けられ、他のスイッチ式の操作子よりも大型のボタン３０５により、選択を確定できるので、より容易に操作を行える。ボタン３０５は、位置及びサイズが、ボタン３０９やリュウズ型操作子３０７とは異なるので、ベゼル３０１と同様に、手探りによる操作が容易である。このため、画像表示部２０が表示する画像を見ながら、直感的で確実な操作を行える。

なお、図９（Ａ）、（Ｂ）に示すように、使用者の視野ＶＲに表示される複数の候補から一つの候補を選択する操作で、音声による選択が可能な構成としてもよい。この場合、候補に付された固有の名称、番号、符号等を音声で指定すると、この音声を操作デバイス３がマイク３６５で検出し、検出した音声のデータを頭部装着型表示装置１００に送信し、制御部１４０が設定を行ってもよい。

図１０は、ベゼル３０１の操作に応じて画面を遷移させる例について、遷移される画面の構成を模式的に示す。
頭部装着型表示装置１００のオペレーティングシステム１５０が、ｉＯＳ（登録商標）やＡｎｄｒｏｉｄ（登録商標）のように、複数の画面を切り替え、遷移させる構成である場合、ベゼル３０１の操作をより効果的に使用できる。図１０の例では、ベゼル３０１を回転させる操作により、画面１〜４の４つの画面を順に切り替えて表示できる。また、画面１〜４を順次選択する場合の送り方向は、ベゼル３０１の操作方向に対応して、正方向と逆方向にしてもよい。

頭部装着型表示装置１００では、画面１〜４のうち画面２が表示された状態で、ボタン３０５の操作により表示画面を確定した後、さらに、ベゼル３０１の操作により画面２、２−１、２−２、２−３の４つの画面を遷移させることができる。この場合も、４つの画面を順次選択する場合の送り方向は、ベゼル３０１の操作方向に対応して、正方向と逆方向にしてもよい。
図１０に示す例ではボタン３０５の確定操作を経ずにベゼル３０１を回転させることで、素早く表示画面を遷移させることができる。

表示システム１の動作は上記の例に限定されず、例えば、次のような動作を実行できる。
頭部装着型表示装置１００は、操作デバイス３の操作に対応して、画像表示部２０で表示する画像（文字を含む）の拡大、縮小、回転、コピー、ページ送り等を行ってもよい。この場合、操作デバイス３における操作は、ベゼル３０１の回転、ボタン３０９の押圧操作、ボタン３０５の押圧操作、及びリュウズ型操作子３０７を回転させる操作だけでなく、例えば、タッチパネル３０４に対し指で接触する操作を含んでもよい。例えば、ベゼル３０１を右に回す操作に対応して表示画像を拡大し、ベゼル３０１を左に回す操作に対応して表示画像を縮小してもよい。また、タッチパネル３０４の中央部に対する指の接触を検出した場合に表示画像を拡大し、タッチパネル３０４の周縁部（例えば、左下枠近傍）への指の接触を検出した場合に表示画像を縮小してもよい。また、タッチパネル３０４に接触した指が、接触したまま右回し、左回し等の回転運動をした場合に、この回転に合わせて表示画像を回転させてもよい。

また、タッチパネル３０４がいわゆるマルチタッチ操作に対応する場合、タッチパネル３０４に対する複数の操作点の間隔を拡大、或いは縮小させる操作等に対応して、頭部装着型表示装置１００の表示画像を拡大、縮小、或いは回転させる動作を行ってもよい。

操作デバイス３は、９軸センサー３６８の検出値を頭部装着型表示装置１００に送信することもできる。また、操作デバイス３がＧＰＳ検出部を備えた構成とし、ＧＰＳ検出部で検出する現在位置を、頭部装着型表示装置１００に送信してもよい。この場合、頭部装着型表示装置１００の制御部１４０は、操作デバイス３から受信する検出値と３軸センサー１１３の検出値とに基づき、操作デバイス３と頭部装着型表示装置１００との相対位置を検出できる。そして、検出した相対位置の変化に対応して、表示画像の拡大、縮小、回転など表示の変更を行っても良く、画像のフェードイン表示、フェードアウト表示を行ってもよい。この場合、操作デバイス３を頭部装着型表示装置１００に近づけたり、遠ざけたりする操作により、表示を変更できる。さらに、操作デバイス３が、９軸センサー３６８の検出値のデータを頭部装着型表示装置１００に送信することで、操作デバイス３を動かす操作を、頭部装着型表示装置１００が検出できる。

また、頭部装着型表示装置１００が操作デバイス３に制御データを送信して、操作デバイス３を動作させることも可能である。例えば、制御部１４０のデバイス制御部１８３は、タッチパネル３０４、及び９軸センサー３６８の検出開始や、不検出状態への移行を指示する制御データを送信してもよい。この場合、操作デバイス３におけるセンシングの実行／不実行を頭部装着型表示装置１００が制御でき、誤操作を防止し、電源部３６０の消耗を防止できる。また、デバイス制御部１８３は、カメラ３１１の撮像開始および撮像停止を指示する制御データを送信してもよい。また、デバイス制御部１８３は、ＬＣＤ３０３の点灯、消灯、点滅を制御する制御データを送信してもよい。

また、操作デバイス３は、頭部装着型表示装置１００が送信するデータに基づく出力を行うこともできる。例えば、デバイス制御部１８３が、通信部１１７によりテキストデータや画像データを送信し、操作デバイス３が、頭部装着型表示装置１００から受信するテキストデータや画像データをＬＣＤ３０３に表示してもよい。この場合、頭部装着型表示装置１００の動作状態（ステータス）を、ＬＣＤ３０３に表示させて、使用者が頭部装着型表示装置１００の動作状態を容易に把握できる。例えば、頭部装着型表示装置１００を装着していない状態で、使用者が、頭部装着型表示装置１００の動作状態を知りたい場合に、有用である。また、操作デバイス３が、頭部装着型表示装置１００から受信するデータに従ってスピーカー３７０から音声を出力してもよいし、バイブレーター３６９を動かして振動を発生してもよい。

さらに、デバイス制御部１８３が操作デバイス３に対し、撮像実行と撮像画像データの送信を指示する制御データを送信し、操作デバイス３が撮像を行って、撮像画像データを画像表示部２０に表示することもできる。この場合、頭部装着型表示装置１００が備えるカメラ６１では撮像できない角度から撮像を行い、撮像画像を画像表示部２０に表示できる。また、この撮像画像データを制御部１４０が解析してもよい。

また、表示システム１では、操作デバイス３のＮＦＣ部３６２により、非接触型ＩＣカードや、ＲＦＩＤタグに記録されたデータを読み取り、読み取ったデータを無線通信部３６１から通信部１１７に送信してもよい。この場合、ＩＣカード型電子マネーの残高等を画像表示部２０により表示できる。

このように、表示システム１では、シースルー方式の頭部装着型表示装置１００と、時計型の操作デバイス３とを組み合わせ、操作デバイス３の操作により頭部装着型表示装置１００を動作させる。これにより、操作時以外はハンズフリーを実現し、操作時でも自然な動きで操作できる。

以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、使用者の頭部に装着される表示部を有する頭部装着型表示装置１００と、表示部とは別体として構成される操作デバイス３とを備える。操作デバイス３は、使用者の操作を受け付ける操作部として、ベゼル３０１、タッチパネル３０４、ボタン３０５、リュウズ型操作子３０７、及び、ボタン３０９を備える。操作部に９軸センサー３６８を含んでもよいし、９軸センサー３６８を有するバンド部３００を操作部としてもよい。頭部装着型表示装置１００は、画像表示部２０の表示を制御する制御部１４０を備え、制御部１４０は、操作デバイス３の操作に基づき、画像表示部２０で表示する画面を遷移させる処理を含む表示制御を行う。このため、頭部装着型表示装置１００とは別体の操作デバイス３を操作し、画面を遷移させるので、より直感的な入力操作により頭部装着型表示装置１００を制御できる。

また、操作デバイス３は、操作部が受け付けた操作を示すデータを頭部装着型表示装置１００に送信する無線通信部３６１を備える。頭部装着型表示装置１００の制御部１４０は、操作デバイス３から送信されるデータに基づき、操作デバイス３の操作を検出する。このため、操作デバイス３における操作を、頭部装着型表示装置１００において確実に検出できる。また、操作の検出に係る頭部装着型表示装置１００の負荷を軽減できる。

また、操作デバイス３は、使用者の身体に装着される装着部としてのバンド部３００を有し、使用者の身体に装着される操作デバイス３を用いて、より直感的な入力操作を行い、頭部装着型表示装置１００を制御できる。
また、操作デバイス３が有する操作部は、例えばベゼル３０１及び回転検出部３６７により、回転を伴う操作を検出する。頭部装着型表示装置１００の制御部１４０は、操作デバイス３から回転を伴う操作を示すデータが送信された場合に、操作の回転方向に対応して、画像表示部２０で表示する画面を、例えば図１０に示すように遷移させる。このため、回転を伴う操作により画面を遷移させることができ、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。

また、頭部装着型表示装置１００の制御部１４０は、操作デバイス３から送信されるデータに基づき、画像表示部２０で表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行ってもよい。
また、操作デバイス３が有する制御部３５０は、操作デバイス３の動きを操作として検出してもよい。
また、画像表示部２０は、外景を透過して使用者に視認させる透過型の表示部であってもよい。この場合、使用者が外景を見ながら操作デバイス３を操作して、頭部装着型表示装置１００の表示を制御できる。頭部装着型表示装置１００のみを注視せず、直感的に操作できるため、外景を見ながら頭部装着型表示装置１００を使用する場合に好適である。

また、頭部装着型表示装置１００は、操作デバイス３に出力用のデータを送信し、操作デバイス３は、頭部装着型表示装置１００が送信する出力用のデータを通信部で受信し、受信した出力用のデータを出力することができる。

また、操作デバイス３はカメラ３１１を備え、カメラ３１１の撮像画像を含むデータを無線通信部３６１により頭部装着型表示装置１００に送信してもよい。この場合、頭部装着型表示装置１００とは別体の操作デバイス３で撮像した撮像画像を、頭部装着型表示装置１００で表示できる。また、表示システム１では、操作デバイス３で、頭部装着型表示装置１００の認証を行うことができる。

図６及び図７を参照して説明したように、頭部装着型表示装置１００は、頭部装着型表示装置１００に対する操作デバイス３の位置を検出できる。そして、頭部装着型表示装置１００は、操作デバイス３の位置に対応してＡＲコンテンツの表示を行うことができる。さらに、上記相対位置の検出を繰り返し実行することで、操作デバイス３を基準として、頭部装着型表示装置１００の動きを求めることができる。また、操作デバイス３の位置や向きに対応して、例えば図１０に示したように画像表示部２０に表示する画面を遷移させてもよい。この場合、操作デバイス３と頭部装着型表示装置１００との相対位置を変化させることが、頭部装着型表示装置１００に対する操作に相当する。

また、制御部１４０は、図６の動作で特定した操作デバイス３との相対位置及び向きに基づき、９軸センサー６６の検出軸（図１のＸ，Ｙ，Ｚ軸）と、ＬＣＤ３０３の向き（傾き）との対応付けを行ってもよい。これにより、頭部装着型表示装置１００の傾きとＬＣＤ３０３の傾きとの双方に連動して、画像表示部２０の表示画像や、ＬＣＤ３０３における表示画像を変化させることができる。

頭部装着型表示装置１００が操作デバイス３との相対位置を検出する方法は、図６に示した方法に限定されず、例えば、操作デバイス３と頭部装着型表示装置１００とがデータ通信を行い、相互の検出結果を利用してもよい。この動作例を図１１に示す。

図１１は、表示システム１の動作を示すフローチャートであり、（Ａ）は操作デバイス３の動作を示し、（Ｂ）は頭部装着型表示装置１００の動作を示す。
図１１の動作は、例えば、操作デバイス３がＵＩモードである場合に実行する。
操作デバイス３の制御部３５０は、カメラ３１１、３１１により撮像を実行して使用者の視線を検出する（ステップＳ６１）。制御部３５０は、視線を検出するまで撮像および撮像画像の解析を行う（ステップＳ６１；ＮＯ）。

制御部３５０は、視線を検出した場合（ステップＳ６１；ＹＥＳ）、カメラ３１１、３１１による撮像を実行し（ステップＳ６２）、撮像画像データを取得する（ステップＳ６３）。制御部３５０は、撮像画像データを無線通信部３６１により送信する（ステップＳ６４）。ステップＳ６２では、カメラ３１１、３１１のいずれか一方のみを用いて撮像をしてもよいし、２つのカメラ３１１、３１１の両方で撮像を行い、両方の撮像画像データを取得して送信してもよい。

制御部１４０は、通信部１１７によって撮像画像データを操作デバイス３から受信し（ステップＳ７１）、受信した撮像画像データを解析して、頭部装着型表示装置１００の画像を検出する（ステップＳ７２）。これにより、撮像画像において、頭部装着型表示装置１００が写っている位置や頭部装着型表示装置１００の画像の形状を検出できる。

続いて、制御部１４０は、撮像画像における頭部装着型表示装置１００の画像の位置及びサイズに基づき、操作デバイス３と頭部装着型表示装置１００との相対位置を算出する（ステップＳ７３）。例えば、制御部１４０は、頭部装着型表示装置１００の画像の位置から、カメラ３１１、３１１の画角の中心軸に対する頭部装着型表示装置１００の位置を算出する。また、制御部１４０は、撮像画像における頭部装着型表示装置１００の画像のサイズから、頭部装着型表示装置１００と操作デバイス３との距離を求める。ここで、制御部１４０は、カメラ３１１、３１１の撮像条件（ズーム倍率等）を用いて算出を行ってもよい。

ステップＳ７３で、制御部１４０は、複数のカメラ３１１、３１１の撮像画像を用いて、より高精度な検出を行ってもよい。例えば、これら複数の撮像画像の視差を算出し、この視差から、操作デバイス３と頭部装着型表示装置１００との間の距離を求めてもよい。
その後、制御部１４０は、ステップＳ７３で算出した操作デバイス３と頭部装着型表示装置１００との相対位置を示すデータを生成する（ステップＳ７４）。制御部１４０は、生成したデータを含む相対位置データを、記憶部１２０に記憶する。

このように、操作デバイス３と頭部装着型表示装置１００とが連動して、操作デバイス３と頭部装着型表示装置１００との相対位置を求める処理を行ってもよい。この図１１の動作において、ステップＳ７２〜Ｓ７３の処理を、制御部３５０が実行し、制御部３５０が相対位置を示すデータを生成して、頭部装着型表示装置１００に送信してもよい。

このほか、操作デバイス３と頭部装着型表示装置１００とが連動して動作する例としては、例えば、制御部３５０の制御により、ＬＣＤ３０３にマーカーを表示し、このマーカーを頭部装着型表示装置１００が認識する態様が挙げられる。制御部１４０は、カメラ６１の撮像画像からマーカーを検出する。ＬＣＤ３０３が表示するマーカーが、バーコードや二次元コード等、情報を含めることが可能なマーカーである場合、制御部１４０は読取結果から情報を取得できる。制御部１４０は、取得した情報に基づき、通信部１１７により操作デバイス３との間の通信を確立する動作等を行える。また、複数の操作デバイス３がある場合に、これらの操作デバイス３を識別することも可能となる。この場合、特定の操作デバイス３と頭部装着型表示装置１００との相対位置を検出する動作や、特定の操作デバイス３と通信を確立するといった動作が可能となる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
本実施形態では、頭部装着型表示装置１００のユーザーインターフェイスとして使用される操作デバイス３が、腕時計の形状を有する例を説明した。本発明はこれに限定されず、頭部装着型表示装置１００を使用する使用者の身体に装着するのに適した形状であればよい。例えば、指輪型、ブローチ型、ペンダントまたはネックレス型、或いはペン型のデバイスとすることができる。また、使用者の頭部や耳に装着されるヘッドホン型、イヤホン型、ヘッドセット型のデバイスとしてもよい。この場合、音声を出力するヘッドホンやイヤホンに、本発明の操作デバイスとしての機能を実装してもよい。音声を出力するスピーカーと、使用者が発話する音声を集音するマイクとを備えたヘッドセットに、本発明の操作デバイスとしての機能を実装してもよい。この構成においてヘッドホン、イヤホン、スピーカーは骨伝導スピーカーであってもよく、マイクは骨伝導マイクであってもよい。この場合、デバイスは、少なくとも、接触操作または押圧操作を検出する操作子を備え、無線通信部３６１、ＬＥＤ３１３、カメラ３１１、及び９軸センサー３６８を備えた構成とすることが望ましい。これらの構成では、表示に係る動作を除き、上記実施形態と同様の効果を得ることができる。

また、上記実施形態の頭部装着型表示装置１００は、バンド部３００により使用者の身体に固定され保持される構成としたが、本発明の操作デバイスの構成は、これに限定されない。すなわち、操作デバイスは、バンド部３００等により固定することは必須ではなく、使用者の身体に装着可能であればよい。従って、上述のようにペンダントまたはネックレス型、或いは他のアクセサリーを模した形状等であってもよく、帽子やヘルメットの形状としてもよく、その他の衣服の形態とすることもできる。
さらに、本発明の操作デバイスは、使用者の身体に直接装着され、或いは固定される態様に限定されない。例えば、使用者の身体に装着または固定される腕時計、アクセサリー、衣服、鞄、帽子、ヘルメットに、操作デバイスに相当する機器を固定してもよい。この場合の操作デバイスは、例えば、操作デバイス３からバンド部３００を除いた構成とすることができる。

また、表示システム１は、複数の操作デバイスを備えた構成としてもよい。例えば操作デバイス３のように腕時計型の操作デバイスと、ペン型の操作デバイスなど、異なる形態の操作デバイスを含んでもよい。この場合、複数の操作デバイスにおける操作に基づき、頭部装着型表示装置１００における表示画面を遷移させてもよい。複数の操作デバイスにおける操作を頭部装着型表示装置１００が検出する方法は、複数の操作デバイスから操作を示すデータを送信する方法等が挙げられる。

さらに、操作デバイス３が慣性センサーである９軸センサー３６８の検出値を示すデータを頭部装着型表示装置１００に送信することで、操作デバイス３の動きを操作として表示システム１が動作してもよい。
例えば、９軸センサー３６８の検出値と、頭部装着型表示装置１００が備える９軸センサー６６の検出値とを用いて、制御部１４０が、画像表示部２０を透過して視認される外景と画像表示部２０の表示領域との対応付けを行ってもよい。この場合、複数の装置が備えるセンサーの検出値を用いることで、より高精度で対応付けを行うことができる。この対応付けは、画像表示部２０においてＡＲコンテンツを表示する場合等に利用できる。

また、上記実施形態では、操作デバイス３が電源部３６０により動作する電子機器である構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、操作デバイス３のベゼル３０１、及び／又は、平面部３００Ａでベゼル３０１に隣接する位置に、ベゼル３０１の回転方向における位置を特定するためのマーカーを設けてもよい。この場合、デバイス制御部１８３が、カメラ６１で撮像する撮像画像データに基づき、ベゼル３０１の回転方向と回転量を求めることができる。また、操作デバイス３が電源部３６０を備えている場合であっても、上記の動作により、頭部装着型表示装置１００がベゼル３０１の回転方向と回転量とを求める構成としてもよい。この動作は、例えば、電源部３６０の消費を抑える省電力動作モードの動作として実現できる。電源部３６０の残容量が少ない場合に、操作デバイス３または頭部装着型表示装置１００の制御で、表示システム１が省電力動作モードに移行する構成とすることができる。

また、上記実施形態の画像表示部２０に代えて、例えば、帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、図３及び図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。
また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、制御部１４０に相当する制御部が制御装置１０と画像表示部２０との両方に形成されていてもよい。また、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

また、本発明は、頭部装着型表示装置１００以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置１００の制御方法、頭部装着型表示装置１００を有する情報システム、頭部装着型表示装置１００の制御方法および前記情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、コンピュータープログラムを配信するための、インターネット等の通信回線に接続されたサーバー装置、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

１…表示システム、２…フレーム、３…操作デバイス、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ、６６…９軸センサー、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８３…デバイス制御部、１８５…ＡＲ表示制御部、１８７…音声処理部、３００…バンド部、３００Ａ…平面部、３０１…ベゼル、３０３…ＬＣＤ、３０４…タッチパネル、３０５…ボタン、３０７…リュウズ型操作子、３０９…ボタン、３１０…光学部、３１１…カメラ、３１３…ＬＥＤ、３３１〜３３４、３４１〜３４５…機能表示、３５０…制御部、３５１…操作検出部、３５２…出力制御部、３５３…撮像制御部、３５４…通信制御部、３５５…音声処理部、３６０…電源部、３６１…無線通信部、３６２…ＮＦＣ部、３６５…マイク、３６６…ボタン操作部、３６７…回転検出部、３６８…９軸センサー、３６９…バイブレーター、３７０…スピーカー。

Claims (15)

1. 使用者の頭部に装着される表示部を有する表示装置と、前記表示部とは別体として構成される操作デバイスとを備え、
   前記操作デバイスは、
   前記使用者の操作を受け付ける操作部を備え、
   前記表示装置は、前記表示部の表示を制御する制御部を備え、前記制御部は、前記操作デバイスの操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、
   を特徴とする表示システム。
2. 前記操作デバイスは、前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部を備え、
   前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記操作デバイスの操作を検出すること、
   を特徴とする請求項１記載の表示システム。
3. 前記操作デバイスは、前記使用者の身体に装着される装着部を有すること、
   を特徴とする請求項１または２記載の表示システム。
4. 前記操作デバイスが有する前記操作部は、回転を伴う操作を検出し、
   前記表示装置の前記制御部は、前記操作デバイスから回転を伴う操作を示すデータが送信された場合に、前記操作の回転方向に対応して、前記表示部により表示する画面を遷移させること、
   を特徴とする請求項１から３のいずれかに記載の表示システム。
5. 前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行うこと、
   を特徴とする請求項１から４のいずれかに記載の表示システム。
6. 前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部の表示を制御すること、
   を特徴とする請求項１から５のいずれかに記載の表示システム。
7. 前記表示装置は撮像部を備え、前記制御部は、前記撮像部の撮像画像に基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
   を特徴とする請求項６記載の表示システム。
8. 前記操作デバイスが有する前記操作部は、前記操作デバイスの動きを操作として検出すること、
   を特徴とする請求項１から７のいずれかに記載の表示システム。
9. 前記表示部は、外景を透過して前記使用者に視認させる透過型の表示部であること、
   を特徴とする請求項１から８のいずれかに記載の表示システム。
10. 前記表示装置は、前記操作デバイスに出力用のデータを送信し、
    前記操作デバイスは、前記表示装置が送信する出力用のデータを前記通信部で受信し、受信した出力用のデータを出力すること、
    を特徴とする請求項１から９のいずれかに記載の表示システム。
11. 前記操作デバイスは撮像部を備え、前記撮像部の撮像画像を含むデータを前記通信部により前記表示装置に送信すること、
    を特徴とする請求項１から１０のいずれかに記載の表示システム。
12. 前記表示装置の前記制御部は、前記操作デバイスから撮像画像を含むデータを受信し、受信したデータに基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
    を特徴とする請求項１１記載の表示システム。
13. 使用者の頭部に装着される表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記表示部とは別体として構成される操作デバイスが前記使用者の操作を受け付けた場合に、前記操作デバイスの操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、
    を特徴とするプログラム。
14. 通信回線に接続され、請求項１３記載のプログラムを前記通信回線により送信すること、を特徴とするサーバー装置。
15. 使用者の頭部に装着される表示部を有する表示装置を、前記表示部とは別体として構成される操作デバイスを用いて制御する制御方法において、
    前記操作デバイスにより前記使用者の操作を受け付け、
    前記表示装置により、前記操作デバイスの操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、
    を特徴とする表示装置の制御方法。

Images