JP2019128758A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】表示位置の調整を容易に行うことを目的とする。【解決手段】使用者Ｕの頭部に装着され、外景を透過して視認可能に構成され、外景に重ねて画像を表示可能な画像表示部２０と、カメラ６１と、カメラ６１の撮像画像データに用紙３００の画像が含まれることを条件として、撮像画像データから識別可能な用紙３００の特徴としてマーカー３１０を検出する検出制御部１５６と、検出制御部１５６が検出したマーカー３１０に基づいて画像の表示位置を決定し、決定した表示位置に画像を表示させる表示制御部１５７と、を備える。【選択図】図２

Description

本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。

従来、外界に画像を重畳して表示させる装置が知られている（例えば、特許文献１参照）。特許文献１は、外界視野に文字を重畳して表示する構成を有し、表示する一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更して、文章の一部の文字を識別しやすくするウェアラブル携帯型表示装置を開示する。

特開２０１４−５６２１７号公報

ところで、外景に画像を重畳して表示する場合、使用者の視界が阻害されるときがある。このため、外景に画像を重畳して表示する場合に、使用者の意図する表示位置に表示させ、表示位置の変更を容易に行いたいという要望がある。
本発明は上記事情に鑑みてなされたものであり、画像の表示位置の調整を容易に行うことを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景に重ねて画像を表示可能な表示部と、撮像部と、前記撮像部の撮像画像に対象物の画像が含まれることを条件として、前記撮像画像から識別可能な前記対象物の特徴を検出する検出部と、前記検出部が検出した前記特徴に基づいて画像の表示位置を決定し、決定した表示位置に画像を表示させる表示制御部と、を備える。
この構成によれば、対象物の特徴により決定される表示位置に画像が表示される。このため、撮像部に撮像される対象物の位置を変更することで、画像の表示位置を容易に変更することができ、また、使用者の意図した表示位置に画像を表示させることができる。

また、本発明は、前記検出部は、前記特徴として前記対象物に付されたマーカー画像、枠を示す図形、前記対象物の色の少なくともいずれか１つを検出し、前記表示制御部は、検出された前記特徴に基づいて前記表示部に表示させる画像の表示位置を決定する、請求項１記載の頭部装着型表示装置。
この構成によれば、対象物に付されたマーカー画像、枠を示す図形、対象物の色の少なくともいずれか１つにより画像の表示位置が決定される。このため、撮像部の撮像画像により対象物に付された特徴を容易に検出することができる。

また、本発明は、前記表示制御部は、前記検出部が検出した前記特徴に基づいて、前記対象物に重なる表示位置に画像が表示されるように前記表示部を制御する。
この構成によれば、対象物に重なる表示位置に画像を表示することができる。

また、本発明は、前記表示制御部は、検出された前記特徴に基づいて画像の表示サイズを決定し、決定した表示サイズの画像を前記表示部に表示させる。
この構成によれば、対象物の特徴により決定される表示サイズの画像を表示することができる。

また、本発明は、前記表示制御部は、前記表示部に表示させる画像のサイズを、前記表示部を透過して視認される前記対象物のサイズに合わせる。
この構成によれば、表示部が表示する画像のサイズを、表示部を透過して視認される対象物のサイズに合わせることができる。

また、本発明は、前記検出部は、前記特徴として前記対象物に付された前記マーカー画像を検出し、検出した前記マーカー画像から抽出したコード情報により指定された色を有する前記対象物の領域を検出し、前記表示制御部は、検出された前記領域に基づいて画像の表示位置及び表示サイズを決定し、検出された前記領域に重なる画像を表示させる。
この構成によれば、コード情報により指定される色を有する対象物の領域に重ねて画像を表示させることができる。

また、本発明は、前記検出部は、前記特徴として前記対象物に付された前記マーカー画像を検出し、検出した前記マーカー画像から抽出したコード情報により指定された色及び形状のいずれか一方を有する枠を示す前記図形を検出し、前記表示制御部は、検出された前記図形に基づいて画像の表示位置及び表示サイズを決定し、検出された前記図形に重なる画像を表示させる。
この構成によれば、コード情報により指定される色及び形状のいずれか一方を有する枠を示す図形に重ねて画像を表示させることができる。

また、本発明は、前記検出部は、前記特徴として前記対象物の予め設定された色の領域を検出し、前記表示制御部は、検出された前記領域に基づき画像の表示位置及び表示サイズを決定し、検出された前記領域に重なる画像を表示させる。
この構成によれば、対象物の予め設定された色の領域に重ねて画像を表示させることができる。

また、本発明は、前記検出部は、前記特徴として前記対象物の枠を示す前記図形を検出し、前記表示制御部は、検出された前記図形に基づき画像の表示位置及び表示サイズを決定し、検出された前記図形に重なる画像を表示させる。
この構成によれば、対象物の枠を示す図形に重ねて画像を表示させることができる。

また、本発明は、前記検出部は、前記マーカー画像として、一次元コード又は二次元コードを検出する。
この構成によれば、マーカー画像として一次元コード又は二次元コードを用いることができる。

また、本発明は、前記表示制御部は、前記コード情報により指定された色の領域が、前記対象物としての複数のシートにまたがって検出された場合、画像の表示位置及び表示サイズを、複数の前記シートにまたがる表示位置及び表示サイズに決定する。
この構成によれば、複数のシートにまたがる領域に画像を表示させることができる。

また、本発明は、前記表示制御部は、コード情報により指定された色及び形状のいずれか一方を有する前記図形が前記対象物としての複数の前記シートにまたがって検出された場合、画像の表示位置及び表示サイズを、複数の前記シートにまたがる表示位置及び表示サイズに決定する。
この構成によれば、複数のシートにまたがる領域に画像を表示させることができる。

また、本発明は、表示するコンテンツを記憶する記憶部を備え、前記表示制御部は、前記対象物の前記特徴に基づき、前記記憶部に記憶された前記コンテンツから前記表示部に表示する前記コンテンツを選択し、選択した前記コンテンツを前記表示部に表示させる。
この構成によれば、対象部の特徴に基づいてコンテンツが選択される。このため、コンテンツを選択する操作を行う必要がなくなる。

また、本発明は、前記記憶部に記憶された前記コンテンツを複数のブロックに分割する画像処理部を備え、前記表示制御部は、分割された各ブロックの表示順序を決定し、分割された前記コンテンツを、決定した表示順序に従って、ブロック毎に前記表示部に表示させる。
この構成によれば、表示部により表示されるコンテンツのレイアウトを変更することができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景に重ねて画像を表示可能な表示部と、撮像部とを備える頭部装着型表示装置の制御方法であって、前記撮像部の撮像画像に対象物の画像が含まれることを条件として、前記撮像画像から光学的に識別可能な前記対象物の特徴を検出し、検出した前記特徴に基づいて画像の表示位置を決定し、決定した表示位置に画像を表示させる。
この構成によれば、対象物の特徴により決定される表示位置に画像が表示される。このため、撮像部に撮像される対象物の位置を変更することで、画像の表示位置を容易に変更することができ、また、使用者の意図した表示位置に画像を表示させることができる。

ＨＭＤの外観構成を示す説明図。 ＨＭＤの構成を示すブロック図。 制御装置の機能ブロック図。 虚像表示領域を示す図。 マーカーが付された用紙を示す図。 マーカーが付された用紙を示す図。 視認領域に画像が表示された状態を示す図である。 ＨＭＤの動作を示すフローチャート。 マーカーが付された用紙を示す図。

以下、添付図面を参照しながら本発明の実施形態について説明する。図１は、ＨＭＤ１００の外観構成を示す図である。

ＨＭＤ１００は、使用者Ｕが頭部に装着する画像表示部２０と、画像表示部２０を制御するコントローラー１０とを備える。画像表示部２０は、本発明の「表示部」に対応した動作を行う機能部であり、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作する制御装置としても機能する。

コントローラー１０は、箱形の本体１１に、使用者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７と、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。

画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。カメラ６１は、本発明の「撮像部」として動作する。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角は、使用者Ｕの正面方向を向き、使用者Ｕが画像表示部２０を透過して視認する外景と重複する。カメラ６１の画角は、使用者Ｕが画像表示部２０を透過して視認する視界の全体を含むことがより好ましい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は、使用者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図２）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。操作パッド１４への接触（タッチ操作）は、例えば、タッチセンサー（不図示）により検出される。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。

本体１１にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（不図示）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作は、タッチセンサー１７２（図２）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Universal Serial Bus）コネクター１９を備える。

図２は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９５及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出又は算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスであってもよいし、各種回路が実装された通信モジュール基板であってもよい。

音声処理部１８０は、オーディオコネクター４６（図１）に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。また、音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備える。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（不図示）、偏心した回転子（不図示）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１００の電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。

インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Field Programmable Gate Array）１９５を、画像表示部２０に接続する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。

接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。

温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。

６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（inertial measurement unit）であってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。

ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。

図３は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図３に示す記憶部１４０は、不揮発性記憶部１２１（図２）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３、ドキュメントファイル１４４及びキャリブレーションデータ１４５を記憶する。

制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能には、基本制御部１５１、通信制御部１５２、画像処理部１５３、アプリケーション実行部１５４、撮像制御部１５５、検出制御部１５６及び表示制御部１５７を含む。検出制御部１５６は、本発明の「検出部」として動作する。また、表示制御部１５７は、本発明の「表示制御部」として動作する。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。

設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。

ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１５４がアプリケーションプログラム１４２を起動できる。

ドキュメントファイル１４４は、コンピューターにより作成、編集された文書ファイルであり、例えば、ワードファイルやエクセルファイル、ＰＤＦ（Portable Document Format）ファイル、パワーポイント（登録商標）ファイル等が含まれる。ドキュメントファイル１４４は、属性情報としてファイル名を有する。本実施形態では、本発明のコンテンツの一例としてドキュメントファイル１４４を挙げて説明するが、コンテンツは、ドキュメントファイル１４４に限定されるものではなく、例えば、ＪＰＥＧ、ＰＮＧ，ＧＩＦ等の画像ファイルであってもよい。

キャリブレーションデータ１４５は、撮像画像データ上の座標を、虚像表示領域ＶＡ上の座標に変換するデータである。虚像表示領域ＶＡは、画像表示部２０が画像（虚像）を表示可能な領域である。図４には、虚像表示領域ＶＡを示す。例えば、カメラ６１によりマーカー等の実物体を撮像し、撮像した実物体に重なる位置に、画像表示部２０により画像を表示させる場合、撮像画像データ上の座標を、虚像表示領域ＶＡ上の座標に変換するデータであるキャリブレーションデータ１４５が必要となる。このため、事前にキャリブレーションを行って、撮像画像データ上の座標を、虚像表示領域ＶＡ上の座標に変換するためのキャリブレーションデータ１４５を生成しておく。生成したキャリブレーションデータ１４５は、予め記憶部１４０に記憶させておく。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１５４がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５４を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。

基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。

通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。

画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。

画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Digital Signal Processor）が挙げられる。

アプリケーション実行部１５４は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５４は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。例えば、記憶部１４０に記憶されたドキュメントファイル１４４のいずれかが操作部１７０の操作により選択されると、ドキュメントファイル１４４を編集可能なアプリケーションプログラム１４２が実行される。

撮像制御部１５５は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５５は撮像画像データをカメラ６１から取得して、メモリー１１８に一時的に記憶させる。

図５は、マーカー３１０が付された用紙３００を示す図である。
検出制御部１５６は、メモリー１１８から撮像画像データを取得し、取得した撮像画像データから予め設定されたマーカー３１０を検出する。また、検出制御部１５６は、撮像画像データに、用紙３００の画像が撮像されていることを条件に、マーカー３１０の画像の検出を開始してもよい。マーカー３１０は、本発明の「マーカー画像」に相当する。

使用者Ｕは、対象物としての用紙（シート）３００を手に持って虚像表示領域ＶＡ内に移動させる。図４には、用紙３００を使用者Ｕから見た様子を示す。用紙３００には、マーカー３１０が付されている。マーカー３１０には、例えば、ＱＲコード（登録商標）などの二次元コードや、バーコードなどの一次元コードを用いることができる。また、マーカー３１０として、予め設定された図形や、ＲＦＩＤ（radio frequency identifier）タグ等を用いてもよい。また、マーカー３１０は、用紙３００に印刷されていてもよいし、マーカー３１０が印刷された印刷物（例えば、シール）を用紙３００に貼り付けてもよい。

検出制御部１５６は、撮像画像データからマーカー３１０の画像を検出すると、検出したマーカー３１０の画像からコード情報を抽出する。コード情報には、ＨＭＤ１００に表示させるドキュメントファイル１４４のファイル名や、視認領域３２０を指定する領域指定情報が含まれる。視認領域３２０は、画像表示部２０により画像が重ねて表示される用紙３００上の領域である。使用者Ｕは、用紙３００の視認領域３２０に重ねて表示される画像を視認することできる。

領域指定情報には、用紙３００上の領域、すなわち、視認領域３２０を指定する情報が含まれる。例えば、視認領域３２０を枠により指定する場合、枠を示す図形（以下、枠体３３０という）の形状、色、線種を示す情報、枠体３３０の形状と線種を示す情報、又は枠体３３０の色と線種を示す情報のいずれかが含まれる。また、視認領域３２０を色により指定する場合、視認領域３２０の色を指定する情報が領域指定情報に含まれる。また、視認領域３２０を色により指定する場合に、視認領域３２０とマーカー３１０との距離を示す情報、例えば、図５に記号Ａで示す距離を示す情報が領域指定情報に含まれる。この情報は、例えば、マーカー３１０の色と、領域指定情報により設定された色とが異なる場合に、ＨＭＤ１００がマーカー３１０の色を誤検出しないための情報である。

検出制御部１５６は、抽出したコード情報から領域指定情報を取得する。また、検出制御部１５６は、取得した領域指定情報に基づいて撮像画像データから視認領域３２０を検出する。対象となる撮像画像データは、マーカー３１０の画像を検出した撮像画像データである。例えば、図５に示す枠体３３０を検出する場合、領域指定情報には、枠体の色として黒、形状として矩形、線種として破線が設定される。検出制御部１５６は、領域指定情報により指定された色、形状、線種の枠体３３０の画像を検出し、検出した枠体３３０を含み、枠体３３０よりも内側の用紙３００上の領域を視認領域３２０に設定する。

図６は、マーカー３１０が付された用紙３００を示す図である。
また、視認領域３２０を色により指定する場合、領域指定情報には、色を指定する情報が含まれる。検出制御部１５６は、領域指定情報により指定された色の領域を検出し、検出した領域を視認領域３２０に設定する。
例えば、図６に示す斜線で示す領域３２０が、「緑色」で印刷された領域であると仮定する。また、領域指定情報により指定された色が「緑色」であったと仮定する。この場合、検出制御部１５６は、撮像画像データから緑色の領域を検出し、検出した領域を視認領域３２０に設定する。検出制御部１５６は、設定した視認領域３２０の範囲を示す座標情報を生成して表示制御部１５７に出力する。検出制御部１５６が生成する座標情報は、カメラ６１の撮像画像データ上に設定された座標を示す情報である。すなわち、座標情報は、撮像画像データ上の位置を示す情報である。

図５及び図６の説明では、検出制御部１５６は、まず、マーカー３１０の画像を検出してコード情報を抽出し、コード情報から領域指定情報を取得して視認領域３２０を設定した。
しかし、検出制御部１５６が、撮像画像データから予め設定された形状、色、線種の枠体３３０を検出する場合、用紙３００にマーカー３１０の画像が付されていなくてもよい。同様に、検出制御部１５６が撮像画像データから予め設定された用紙３００の色を検出する場合には、用紙３００にマーカー３１０の画像が付されていなくてもよい。
また、用紙３００にマーカー３１０の画像が付されていない場合、ＨＭＤ１００が表示するファイルは、予め設定されたドキュメントファイル１４４となる。この場合、使用者Ｕは、操作部１７０を操作して、ドキュメントファイル１４４を選択してもよい。

表示制御部１５７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５７は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５７は、画像表示部２０を制御して画像を虚像表示領域ＶＡに表示させる。

また、表示制御部１５７には、検出制御部１５６から座標情報が入力される。表示制御部１５７は、入力された座標情報を、キャリブレーションデータ１４５を用いて虚像表示領域ＶＡの座標に変換する。表示制御部１５７は、変換した座標情報に基づいて、視認領域３２０に対応する虚像表示領域ＶＡの領域を特定する。表示制御部１５７が特定した領域を表示領域ＶＲと表記する。

表示制御部１５７は、表示領域ＶＲを特定すると、表示領域ＶＲに表示させる表示画像の表示サイズを画像処理部１５３に変更させる。表示画像は、コード情報から取得したファイル名に対応したドキュメントファイル１４４に基づく表示画像である。
画像処理部１５３は、ドキュメントファイル１４４に基づく表示画像が、表示領域ＶＲ内に表示されるように、ドキュメントファイル１４４に基づく表示画像の表示サイズを変更する。より詳細には、画像処理部１５３は、ドキュメントファイル１４４に基づく表示画像のサイズが、表示領域ＶＲのサイズに一致、又は対応するサイズとなるように、ドキュメントファイル１４４に基づく表示画像の表示サイズを拡大、又は縮小する。これにより、画像表示部２０に表示させる画像のサイズが、画像表示部２０を透過して視認される用紙３００、具体的には、用紙３００上の視認領域３２０に合わせられる。

画像処理部１５３によりサイズ変換されたドキュメントファイル１４４に基づくデータは画像表示部２０に出力され、画像表示部２０により表示領域ＶＲに表示される。これにより、使用者Ｕには、ドキュメントファイル１４４に基づく表示画像が、用紙３００の視認領域３２０に表示されたように視認される。図７は、用紙３００の視認領域３２０に画像が表示された状態を示す図である。画像表示部２０により表示される画像は、視認領域３２０又は枠体３３０に重なる画像となる。

また、図４〜図６の説明では、１枚の用紙３００に画像を表示させる場合について説明したが、複数枚の用紙３００に画像を表示させることも可能である。例えば、２枚の用紙３００に重ねて画像を表示させる場合、いずれか一方の用紙３００にマーカー３１０の画像を印刷し、１枚目と２枚目の用紙３００に枠体３３０を印刷する。このとき、使用者Ｕは、１枚目の用紙３００と、２枚目の用紙３００の一部が重なるように２枚の用紙３００を手に持つ。このとき、１枚目の用紙３００に印刷された枠体３３０と、２枚目の用紙３００に印刷された枠体３３０とで１つの閉じた矩形の枠体３３０が形成されるようにする。この場合、検出制御部１５６は、１枚目及び２枚目の用紙３００に印刷された枠体３３０により形成される矩形を１つの視認領域３２０として認識する。
また、視認領域３２０を色により指定する場合も同様であり、１枚目及び２枚目の用紙３００に同一の色を印刷し、１枚目及び２枚目の用紙３００に印刷された同一色により１つの視認領域３２０として認識させる。

図８は、ＨＭＤ１００の動作を示すフローチャートである。この動作フローでは、マーカー３１０の画像としてＱＲコードを検出する場合を例にして説明する。
制御部１５０は、まず、カメラ６１の撮像画像データを取得し、取得した撮像画像データからＱＲコードを検出する。カメラ６１は、一定時間ごとに撮像を行う。カメラ６１の撮像画像データは、メモリー１１８に一時的に記憶される。制御部１５０は、メモリー１１８から撮像画像データを取得し、取得した撮像画像データからＱＲコードの画像を検出する。

制御部１５０は、撮像画像データからＱＲコードの画像を検出することができなかった場合（ステップＳ１／ＮＯ）、次の撮像画像データをメモリー１１８から取得してＱＲコードの検出を再度行う。
また、制御部１５０は、撮像画像データからＱＲコードの画像を検出した場合（ステップＳ１／ＹＥＳ）、検出した画像からコード情報を抽出し（ステップＳ２）、抽出したコード情報から領域指定情報を取得する（ステップＳ３）。

次に、制御部１５０は、取得した領域指定情報により視認領域３２０を特定する（ステップＳ４）。制御部１５０は、例えば、領域指定情報により指定された形状、色、線種の枠体３３０の画像を撮像画像データから検出して、視認領域３２０を特定する（ステップＳ４）。

次に、制御部１５０は、キャリブレーションデータ１４５を用いて、視認領域３２０の座標を虚像表示領域ＶＡの座標に変換して表示領域ＶＡを特定する（ステップＳ５）。次に、制御部１５０は、コード情報により指定されたファイル名のドキュメントファイル１４４を記憶部１４０から取得し（ステップＳ６）、取得したドキュメントファイル１４４に基づく表示画像の表示サイズを変更する（ステップＳ７）。

次に、制御部１５０は、表示サイズを変更したドキュメントファイル１４４に基づく表示画像を、画像表示部２０により表示領域ＶＡに表示させる（ステップＳ８）。

次に、制御部１５０は、ページの切り替え操作を検出したか否かを判定する（ステップＳ９）。ページの切り替え操作は、例えば、操作部１７０の操作により行ってもよいし、使用者Ｕが行うジェスチャーにより行ってもよい。例えば、制御部１５０は、カメラ６１の撮像画像データにより使用者Ｕの手が右から左、又は上から下に動く動作が検出した場合に、この動作をページの切り替え操作と判定してもよい。また、制御部１５０は、６軸センサー２３５の検出値により、使用者Ｕの頭部の動作、例えば、頭部を右から左に動かす動作を検出した場合に、この動作をページの切り替え操作と判定してもよい。

制御部１５０は、ページ切り替えの操作を検出した場合（ステップＳ９／ＹＥＳ）、次のページの表示画像を表示領域ＶＡに表示させる（ステップＳ１０）。また、制御部１５０は、ページ切り替えの操作を検出していない場合（ステップＳ９／ＮＯ）、視認領域３２０の検出位置に変更があるか否かを判定する（ステップＳ１１）。制御部１５０は、カメラ６１の撮像画像データから検出される視認領域３２０の位置に変更があるか否かを判定する（ステップＳ１１）。制御部１５０は、視認領域３２０の位置に変更がないと判定した場合（ステップＳ１１／ＮＯ）、ステップＳ１４の判定に移行する。

また、制御部１５０は、視認領域３２０の位置に変更があると判定した場合（ステップＳ１１／ＹＥＳ）、検出した視認領域３２０の位置に基づいて表示領域ＶＡを再設定する（ステップＳ１２）。制御部１５０は、表示領域ＶＡを再設定すると、再設定した表示領域ＶＡにドキュメントファイル１４４に基づく表示画像を表示させる（ステップＳ１３）。

次に、制御部１５０は、ドキュメントファイル１４４の表示を終了させる操作を受け付けたか否かを判定する。この操作は、例えば、カメラ６１の撮像画像データから用紙３００の画像が検出されなくなった場合を、表示を終了させる操作と判定してもよいし、操作部１７０の操作により表示を終了させる操作を受け付けてもよい。
制御部１５０は、表示を終了させる操作を受け付けていない場合（ステップＳ１４／ＮＯ）、ステップＳ９の判定に移行する。また、制御部１５０は、表示を終了させる操作を受け付けた場合（ステップＳ１４／ＹＥＳ）、このフローを終了させる。

図９は、マーカー３１０が付された用紙４００を示す図である。
図５には、マーカー３１０と、枠体３３０とが表示された用紙３００を示した。図９に示す用紙４００には、マーカー３１０に加えて、マーカー４０１、４０２、４０３、４０４、４１１、４１２が表示される。
マーカー４０１は、視認領域３２０に表示された表示画像を上にスクロールさせるする操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４０１の位置に重なったことを撮像画像データにより検出した場合、表示画像を上にスクロールさせる。
また、マーカー４０２は、視認領域３２０に表示された表示画像を下にスクロールする操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４０２の位置に重なったことを撮像画像データにより検出した場合、表示画像を下にスクロールさせる。
また、マーカー４０３は、視認領域３２０に表示された表示画像を左にスクロールする操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４０３の位置に重なったことを撮像画像データにより検出した場合、表示画像を左にスクロールさせる。
また、マーカー４０４は、視認領域３２０に表示された表示画像を右にスクロールする操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４０４の位置に重なったことを撮像画像データにより検出した場合、表示画像を右にスクロールさせる。

また、マーカー４１１は、視認領域３２０に表示された表示画像を拡大させる操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４１１の位置に重なったことを撮像画像データにより検出した場合、表示画像の表示サイズを拡大させる。
また、マーカー４１２は、視認領域３２０に表示された表示画像を縮小させる操作に対応付けられたマーカーである。例えば、制御部１５０は、表示領域ＶＡに表示画像が表示された状態で、使用者Ｕの指がマーカー４１２の位置に重なったことを撮像画像データにより検出した場合、表示画像の表示サイズを縮小させる。

また、制御部１５０は、表示領域ＶＲに表示画像を表示させる場合に、横スクロールをしなくてもドキュメントファイル１４４に基づく表示画像が視認できるように、ドキュメントファイル１４４のレイアウトを変更してもよい。

この場合、検出制御部１５６は、コード情報から取得したファイル名のドキュメントファイル１４４を画像処理部１５３に出力する。画像処理部１５３は、表示制御部１５７から入力されたドキュメントファイル１４４を解析して、ドキュメントファイル１４４を構成する各ページを、文字列からなる文字列部分と、図表部分とに分割する。また、画像処理部１５３は、文字列部分について、一定の距離以内にある複数の隣接した文字列を１つのブロック（以下、文字列ブロックという）に設定する。また、画像処理部１５３は、１つの図や表示を１つのブロック（図表ブロックという）に設定する。

画像処理部１５３は、設定した文字列ブロックや、図表ブロックに表示順を設定する。具体的には、同一ページにおいて左上に位置するブロックほど表示順が高く、右下に位置するブロックほど表示順が低くなるように設定する。

画像処理部１５３は、各ブロックの表示順を設定すると、表示領域ＶＲのサイズと、分割した各ブロックのサイズとに基づいて文字列ブロック及び図表ブロックのレイアウトを変更する。
画像処理部１５３は、レイアウトを変更した文字列ブロック及び図表ブロックを画像表示部２０に出力し、画像表示部２０により表示領域ＶＲ表示させる。

以上説明したように本実施形態のＨＭＤ１００は、以上説明したように本実施形態のＨＭＤ１００は、画像表示部２０と、カメラ６１と、検出制御部１５６と、表示制御部１５７とを備える。
画像表示部２０は、使用者Ｕの頭部に装着され、外景を透過して視認可能に構成され、外景に重ねて画像を表示する。
検出制御部１５６は、カメラ６１の撮像画像データに用紙３００の画像が含まれることを条件として、撮像画像データから識別可能な用紙３００の特徴を検出する。
表示制御部１５７は、検出制御部１５６が検出した特徴に基づいて画像の表示位置を決定し、決定した表示位置に画像を表示させる。
この構成によれば、用紙３００の特徴により決定される表示位置に画像を表示することができる。このため、カメラ６１に撮像される用紙３００の位置を変更することで、画像の表示位置を変更することができる。従って、使用者Ｕの意図した表示位置に画像を表示させることができる。また、対象物として用紙３００を用いた場合、用紙３００に重ねて表示される文字の視認性を高めることができる。

また、検出制御部１５６は、特徴として用紙３００に付されたマーカー３１０、枠体３３０、用紙３００の色の少なくともいずれか１つを検出する。表示制御部１５７は、検出された特徴に基づいて画像表示部２０に表示させる画像の表示位置を決定する。
また、表示制御部１５７は、検出制御部１５６が決定した表示位置に従って画像を表示させる。
従って、マーカー３１０、枠体３３０形、用紙３００の色の少なくともいずれか１つにより画像の表示位置が決定される。このため、カメラ６１の撮像画像データにより用紙３００に付された特徴を容易に検出することができる。

また、表示制御部１５７は、検出制御部１５６が検出した特徴に基づいて、用紙３００に重なる表示位置に画像が表示されるように画像表示部２０を制御する。
この構成によれば、用紙３００に重なる表示位置に画像を表示することができる。

また、表示制御部１５７は、検出された特徴に基づいて画像の表示サイズを決定し、決定した表示サイズの画像を画像表示部２０に表示させる。
この構成によれば、用紙３００の特徴により決定される表示サイズの画像を表示することができる。

また、表示制御部１５７は、画像表示部２０に表示させる画像のサイズを、画像表示部２０を透過して視認される対象物のサイズに合わせる。
この構成によれば、画像表示部２０が表示する画像のサイズを、画像表示部２０を透過して視認される対象物のサイズに合わせることができる。

また、検出制御部１５６は、特徴として用紙３００に付されたマーカー３１０を検出し、検出したマーカー３１０から抽出したコード情報により指定された色を有する用紙３００の領域を視認領域３２０として検出する。表示制御部１５７は、検出された視認領域３２０に基づいて画像の表示位置及び表示サイズを決定し、検出された領域に重なる画像を表示させる。
この構成によれば、コード情報により指定される色を有する用紙３００の視認領域３２０に重ねて画像を表示させることができる。

また、検出制御部１５６は、特徴として用紙３００に付されたマーカー像３１０を検出し、検出したマーカー３１０から抽出したコード情報により指定された色及び形状のいずれか一方を有する枠体３３０を検出する。表示制御部１５７は、検出された枠体３３０に基づいて画像の表示位置及び表示サイズを決定し、検出された枠体３３０に重なる画像を表示させる。
この構成によれば、コード情報により指定される色及び形状のいずれか一方を有する枠体３３０に重ねて画像を表示させることができる。

また、検出制御部１５６は、特徴として用紙３００の予め設定された色の領域を視認領域３２０として検出する。表示制御部１５７は、検出された視認領域３２０に基づき画像の表示位置及び表示サイズを決定し、検出された領域に重なる画像を表示させる。
この構成によれば、用紙３００の予め設定された色の視認領域３２０に重ねて画像を表示させることができる。

また、検出制御部１５６は、特徴として用紙３００の枠体３３０を検出する。表示制御部１５７は、検出された枠体３３０に基づき画像の表示位置及び表示サイズを決定し、検出された枠体３３０に重なる画像を表示させる。
この構成によれば、対象物の枠を示す図形に重ねて画像を表示させることができる。

また、検出制御部１５６は、マーカー３１０として、一次元コード又は二次元コードを検出する。
従って、マーカー３１０として一次元コード又は二次元コードを用いることができる。

また、表示制御部１５７は、コード情報により指定された色の視認領域３２０が、対象物としての複数のシートにまたがって検出された場合、画像の表示位置及び表示サイズを、複数のシートにまたがる表示位置及び表示サイズに決定する。
従って、複数のシートにまたがる視認領域３２０に画像を表示させることができる。

また、表示制御部１５７は、コード情報により指定された色及び形状のいずれか一方を有する枠体３３０が複数の用紙３００にまたがって検出された場合、画像の表示位置及び表示サイズを、複数の用紙３００にまたがる表示位置及び表示サイズに決定する。
従って、複数の用紙３００にまたがる視認領域３２０に画像を表示させることができる。

また、ＨＭＤ１００は、ドキュメントファイル１４４を記憶する記憶部１４０を備える。検出制御部１５６は、用紙３００の特徴に基づき、記憶部１４０に記憶されたドキュメントファイル１４４から画像表示部２０に表示させるコンテンツを選択する。
表示制御部１５７は、検出制御部１５６により選択されたコンテンツを画像表示部２０に表示させる。
この構成によれば、対象部の特徴に基づいてドキュメントファイル１４４を選択することができる。このため、コンテンツを選択する操作を行う必要がなくなる。

また、ＨＭＤ１００は、記憶部１４０に記憶されたドキュメントファイル１４４を複数のブロックに分割する画像処理部１５３を備える。
表示制御部１５７は、分割された各ブロックの表示順序を決定し、分割されたコンテンツを、決定した表示順序に従って、ブロック毎に画像表示部２０に表示させる。
従って、画像表示部２０により表示されるドキュメントファイル１４４のレイアウトを変更することができる。

この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えたコンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。

１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…ドキュメントファイル、１４５…キャリブレーションデータ、１５０…制御部、１５１…基本制御部、１５２…通信制御部、１５３…画像処理部、１５４…アプリケーション実行部、１５５…撮像制御部、１５６…検出制御部、１５７…表示制御部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声処理部、１９１…外部メモリーインターフェイス、１９３…センサーハブ、１９５…ＦＰＧＡ、１９７、２１１…インターフェイス、１９９…ＵＳＢコントローラー、２１３、２３３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３００、４００…用紙、３１０…マーカー、３２０…視認領域、３３０…枠体、４０１、４０２、４０３、４０４、４１１、４１２…マーカー、ＶＡ…虚像表示領域、ＶＲ…表示領域。

Claims (15)

1. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景に重ねて画像を表示可能な表示部と、
   撮像部と、
   前記撮像部の撮像画像に対象物の画像が含まれることを条件として、前記撮像画像から識別可能な前記対象物の特徴を検出する検出部と、
   前記検出部が検出した前記特徴に基づいて画像の表示位置を決定し、決定した表示位置に画像を表示させる表示制御部と、
   を備える頭部装着型表示装置。
2. 前記検出部は、前記特徴として前記対象物に付されたマーカー画像、枠を示す図形、前記対象物の色の少なくともいずれか１つを検出し、
   前記表示制御部は、検出された前記特徴に基づいて前記表示部に表示させる画像の表示位置を決定する、請求項１記載の頭部装着型表示装置。
3. 前記表示制御部は、前記検出部が検出した前記特徴に基づいて、前記対象物に重なる表示位置に画像が表示されるように前記表示部を制御する、請求項２記載の頭部装着型表示装置。
4. 前記表示制御部は、検出された前記特徴に基づいて画像の表示サイズを決定し、決定した表示サイズの画像を前記表示部に表示させる、請求項２又は３記載の頭部装着型表示装置。
5. 前記表示制御部は、前記表示部に表示させる画像のサイズを、前記表示部を透過して視認される前記対象物のサイズに合わせる、請求項４記載の頭部装着型表示装置。
6. 前記検出部は、前記特徴として前記対象物に付された前記マーカー画像を検出し、検出した前記マーカー画像から抽出したコード情報により指定された色を有する前記対象物の領域を検出し、
   前記表示制御部は、検出された前記領域に基づいて画像の表示位置及び表示サイズを決定し、検出された前記領域に重なる画像を表示させる、請求項２から５のいずれか１項に記載の頭部装着型表示装置。
7. 前記検出部は、前記特徴として前記対象物に付された前記マーカー画像を検出し、検出した前記マーカー画像から抽出したコード情報により指定された色及び形状のいずれか一方を有する枠を示す前記図形を検出し、
   前記表示制御部は、検出された前記図形に基づいて画像の表示位置及び表示サイズを決定し、検出された前記図形に重なる画像を表示させる、請求項２から５のいずれか１項に記載の頭部装着型表示装置。
8. 前記検出部は、前記特徴として前記対象物の予め設定された色の領域を検出し、
   前記表示制御部は、検出された前記領域に基づき画像の表示位置及び表示サイズを決定し、検出された前記領域に重なる画像を表示させる、請求項２から５のいずれか１項に記載の頭部装着型表示装置。
9. 前記検出部は、前記特徴として前記対象物の枠を示す前記図形を検出し、
   前記表示制御部は、検出された前記図形に基づき画像の表示位置及び表示サイズを決定し、検出された前記図形に重なる画像を表示させる、請求項２から５のいずれか１項に記載の頭部装着型表示装置。
10. 前記検出部は、前記マーカー画像として、一次元コード又は二次元コードを検出する、請求項１から９のいずれか１項に記載の頭部装着型表示装置。
11. 前記表示制御部は、前記コード情報により指定された色の領域が、前記対象物としての複数のシートにまたがって検出された場合、画像の表示位置及び表示サイズを、複数の前記シートにまたがる表示位置及び表示サイズに決定する、請求項６記載の頭部装着型表示装置。
12. 前記表示制御部は、コード情報により指定された色及び形状のいずれか一方を有する前記図形が前記対象物としての複数の前記シートにまたがって検出された場合、画像の表示位置及び表示サイズを、複数の前記シートにまたがる表示位置及び表示サイズに決定する、請求項７記載の頭部装着型表示装置。
13. 表示するコンテンツを記憶する記憶部を備え、
    前記表示制御部は、前記対象物の前記特徴に基づき、前記記憶部に記憶された前記コンテンツから前記表示部に表示する前記コンテンツを選択し、選択した前記コンテンツを前記表示部に表示させる、請求項１から１２のいずれか１項に記載の頭部装着型表示装置。
14. 前記記憶部に記憶された前記コンテンツを複数のブロックに分割する画像処理部を備え、
    前記表示制御部は、分割された各ブロックの表示順序を決定し、分割された前記コンテンツを、決定した表示順序に従って、ブロック毎に前記表示部に表示させる、請求項１３記載の頭部装着型表示装置。
15. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景に重ねて画像を表示可能な表示部と、撮像部とを備える頭部装着型表示装置の制御方法であって、
    前記撮像部の撮像画像に対象物の画像が含まれることを条件として、前記撮像画像から光学的に識別可能な前記対象物の特徴を検出し、
    検出した前記特徴に基づいて画像の表示位置を決定し、
    決定した表示位置に画像を表示させる、頭部装着型表示装置の制御方法。

Images