JP2015069481A - ヘッドマウントディスプレイ、及び、制御プログラム - Google Patents

Abstract

【課題】対象物の動きを正確に検出し、対応する操作内容を特定して動作することが可能なヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイを制御する為の制御プログラムを提供する。
【解決手段】ヘッドマウントディスプレイのＣＰＵは、カメラから出力された画像データに基づいて、カメラの撮影領域である所定領域内に指先が含まれているか判断する（Ｓ１３）。ＣＰＵは、所定領域内に指先が含まれていると判断した場合（Ｓ１３：ＹＥＳ）、コンテンツ画像と対象物画像とを画像表示部に表示させる（Ｓ１７）。ＣＰＵは、指先が所定領域内にあると判断された場合、画像データに基づいて、所定領域内での指先の位置の変化の傾向が、所定の条件を満たしているか判断する（Ｓ２３）。ＣＰＵは、所定の条件を満たしていると判断された場合（Ｓ２３：ＹＥＳ）、所定の条件に対応する処理を実行する（Ｓ２７）。
【選択図】図５

Description

本発明は、ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイを制御する為の制御プログラムに関する。

ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）はユーザの頭部に装着されて使用される。従ってＨＭＤには、ユーザの視野の確保及び装着時の負担の軽減の為に小型であることが要求される。ＨＭＤを小型化した場合、スイッチ等の機械的なユーザインターフェイス（User Interface ＵＩ）を設ける場所は制約される。特許文献１は、カメラによって撮影されたユーザの手の動きを検出することで、対応する操作情報を特定する技術を開示する。ＨＭＤにこの技術を応用することで、ＨＭＤは、カメラによって撮影された対象物の動きに対応する操作内容を特定し、特定した操作内容に応じた動作を実行できる。この場合、ＨＭＤは、小型化した場合でも十分なＵＩを確保できる。

特開２００７−１７２５７７号公報

ＨＭＤにカメラが設けられる場合、ユーザの頭部に表示部と共に配置する方法が考えられる。この場合、カメラの撮影領域は、ＨＭＤを装着したユーザの頭部が動くことによって変化する。従って、カメラによる撮影中に、撮影領域から対象物が外れる場合がある。この場合、ＨＭＤは対象物の動きを正確に検出できないので、対応する操作内容を特定して動作することができないという問題点がある。

本発明の目的は、対象物の動きを正確に検出し、対応する操作内容を特定して動作することが可能なヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイを制御する為の制御プログラムを提供することである。

本発明の第１態様に係るヘッドマウントディスプレイは、コンテンツ画像を少なくとも表示可能であり、第１方向に画像光を射出可能な表示部と、前記第１方向と反対方向である第２方向の領域を少なくとも含む所定領域を撮影して画像データを出力可能な撮影部と、前記撮影部から出力された画像データを取得する取得手段と、前記取得手段によって取得された前記画像データに基づいて、前記所定領域内に所定の対象物があるか判断する第１判断手段と、前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記コンテンツ画像と対象物画像とを前記表示部に表示する第１表示手段と、前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記画像データに基づいて、前記所定領域内での前記対象物の位置の変化の傾向が、所定の条件を満たしているか判断する第２判断手段と、前記第２判断手段によって、前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記所定の条件に対応する処理を実行する実行手段とを備え、前記対象物画像は、前記第１判断手段によって前記対象物が前記所定領域内にあると判断された前記画像データに対応する画像であることを特徴とする。

第１態様によれば、ヘッドマウントディスプレイは、撮影部の撮影範囲内に対象物がある場合、コンテンツ画像と対象物画像との両方を表示部に表示する。従ってユーザは、対象物が撮影部によって撮影されているかを認識できる。ヘッドマウントディスプレイは、対象物の位置の経時的な変化が所定の条件を満たす場合、対応する処理を実行する。ユーザは、対象物の位置の経時的な変化の傾向が所定の条件を満たすように対象物を移動させることによって、ヘッドマウントディスプレイに処理を実行させることができる。ここでユーザは、撮影部の撮影範囲内で対象物を移動させることが容易に可能となるので、ヘッドマウントディスプレイに対象物を正確に検出させ、処理を適切に実行させることができる。

第１態様において、前記コンテンツ画像と前記対象物画像とに基づいて、前記コンテンツ画像に前記対象物画像が重畳された重畳画像を生成する生成手段をさらに備え、前記第１表示手段は、前記重畳画像を前記表示部に表示してもよい。この場合、ヘッドマウントディスプレイは、表示部の小さい領域に重畳画像とを表示させることができる。

第１態様において、前記生成手段は、前記コンテンツ画像の各画素のα値である第１α値と、前記対象物画像の各画素のα値であって前記第１α値よりも小さい第２α値とを用いて、前記重畳画像を生成してもよい。この場合、コンテンツ画像と対象物画像とは透明な状態で重ねられる。なお、対象物画像の各画素のα値（第２α値）を、コンテンツ画像の各画素のα値（第１α値）よりも小さくすることによって、コンテンツ画像の色を濃く且つ鮮明にすることができる。このため、対象物画像がコンテンツ画像に重ねて表示されても、対象物画像はコンテンツ画像の視認性を妨げない。このためユーザは、コンテンツ画像をより適切に認識できる。

第１態様において、前記対象物の位置の変化の傾向が前記所定の条件の一部を満たしているか判断する第３判断手段を備え、前記生成手段は、前記第３判断手段によって前記対象物の位置の変化の傾向が前記所定の条件の一部を満たしていると判断された場合、前記対象物画像の各画素のα値を、前記第２α値よりも大きい第３α値とし、前記第１α値と前記第３α値とを用いて、前記重畳画像を生成してもよい。この場合、対象物画像の透過率が小さくなり、対象物画像はより色が濃く且つ鮮明に表示される。従ってユーザは、対象物の位置の変化の傾向が、所定の条件の一部を満たすことを、対象物画像の透過率の変化により容易に認識できる。又、ヘッドマウントディスプレイは、ユーザによる対象物画像の視認性を向上させることができる。

第１態様において、前記第３α値は、前記第１α値よりも小さくてもよい。この場合、対象物画像のα値が第２α値から第３α値に変化しても、対象物画像はコンテンツ画像の視認性を妨げない。このためユーザは、コンテンツ画像をより適切に認識できる。

第１態様において、前記第２判断手段によって前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記対象物の位置を示す軌跡画像を前記コンテンツ画像に重ねて前記表示部に表示する第２表示手段を備えてもよい。この場合、ユーザは、ヘッドマウントディスプレイによって対象物の位置の変化の傾向が所定の条件を満たすと判断されたことを、軌跡画像によって容易に認識できる。

第１態様において、前記第２表示手段は、前記実行手段によって前記対応する処理が実行される前に、前記軌跡画像を前記表示部に表示してもよい。この場合、ユーザは、軌跡画像が表示部に表示されている場合に、対応する処理がまだ実行されていないことを認識できる。

第１態様において、前記第２判断手段によって前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記第１表示手段によって表示された前記対象物画像を消去する消去手段を備えてもよい。この場合、コンテンツ画像のみが表示部に表示された状態になるので、ユーザは、コンテンツ画像をより適切に認識できる。

第１態様において、前記消去手段は、前記実行手段によって前記対応する処理が実行された後、前記対象物画像を消去してもよい。この場合、ユーザは、ヘッドマウントディスプレイに対して処理を実行させることに成功したことを、対象部画像が消去されることによって認識できる。

第１態様において、前記取得手段は、前記撮影部によって前記所定領域内が撮影された時の時刻を示す時刻情報を前記撮影部から更に取得し、前記第１表示手段は、前記取得手段によって前記時刻情報が取得された時刻と、取得された前記時刻情報によって示される時刻との差が所定値よりも小さい場合にのみ、前記コンテンツ画像と前記対象物画像とを前記表示部に表示し、前記差が所定値よりも小さくない場合、前記対象物画像を前記表示部に表示しなくてもよい。ヘッドマウントディスプレイは、対象物画像によって示される対象物の動きと、実際の対象物の動きとの間に時間差が発生する場合、表示部に対象物画像を表示しない。これによってヘッドマウントディスプレイは、表示部に表示される対象物画像によって示される対象物の動きが、実際の対象物の動きに比べて遅延することによって、ユーザに違和感を与えることを防止できる。

第１態様において、前記第２判断手段は、記憶部に記憶されたテンプレートデータによって示される特定の形状と、前記対象物の位置の変化の傾向とが一致するかを判断することによって、前記対象物の位置の変化の傾向が所定の条件を満たしているか判断してもよい。この場合、ヘッドマウントディスプレイは、複数の補正位置の変化の傾向が所定の条件を満たしているかを適切に判断できる。

第１態様において、前記実行手段は、前記対象物の位置の変化の傾向と一致すると判断された特定の形状を示すテンプレートデータに関連付けられた特定の処理を実行してもよい。この場合、ヘッドマウントディスプレイは、対象物の動きに対応する処理を容易に判断し、処理を実行できる。

本発明の第２態様に係る制御プログラムは、コンテンツ画像を少なくとも表示可能な表示部を備えたヘッドマウントディスプレイのコンピュータを、前記表示部が画像光を射出可能な第１方向と反対方向である第２方向の領域を少なくとも含む所定領域が、撮影部によって撮影された場合に前記撮影部から出力される画像データを取得する取得手段と、前記取得手段によって取得された前記画像データに基づいて、前記所定領域内に所定の対象物があるか判断する第１判断手段と、前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記コンテンツ画像と対象物画像とを前記表示部に表示する第１表示手段と、前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記画像データに基づいて、前記所定領域内での前記対象物の位置の変化の傾向が、所定の条件を満たしているか判断する第２判断手段と、前記第２判断手段によって、前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記所定の条件に対応する処理を実行する実行手段として機能させるための制御プログラムであって、前記対象物画像は、前記第１判断手段によって前記対象物が前記所定領域内にあると判断された前記画像データに対応する画像であることを特徴とする。第２態様によれば、第１態様と同様の効果を奏することができる。

ＨＭＤ１の斜視図である。 ＨＭＤ１の電気的構成を示すブロック図である。 光景２１（２１Ａ〜２１Ｅ）を示す図である。 第１メイン処理のフローチャートである。 第２メイン処理のフローチャートである。 ＤＢ５３１を示す図である。 指先の位置の変化の傾向の判断方法を説明するための図である。 指先の位置の変化の傾向の判断方法を説明するための図である。

以下、本発明を具体化した実施形態について、図面を参照して説明する。図１を参照し、ヘッドマウントディスプレイ（以下、ＨＭＤという。）１の概要を説明する。ＨＭＤ１は、投影装置（以下、ヘッドディスプレイ又はＨＤという。）１０及び制御装置（以下、コントロールボックス又はＣＢという。）５０を備える。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方及び左斜め下方が夫々、ＨＭＤ１の上方、下方、前方、後方、右方及び左方である。実施形態において、種々の構成における位置関係及び方向関係の理解を助けるため、関連する図面において、ＨＭＤ１の上方、下方、前方、後方、右方及び左方は、３次元デカルト座標系の軸を参照して説明される。

ＨＤ１０の概要を説明する。ＨＤ１０は、専用の装着具である眼鏡５に取り付けられる。ユーザは、ＨＤ１０が取り付けられた眼鏡５をかけることによって、ＨＤ１０を頭部に装着して使用する。ＨＤ１０は、画像光を後方に向けて照射できる。画像光は、ＨＤ１０を装着したユーザの左眼に入射する。ＨＤ１０は、ハーネス７を介してＣＢ５０と着脱可能に接続する。ＨＤ１０は、筐体２、ハーフミラー３、画像表示部１４（図２参照）、接眼光学系（図示略）、カメラ２０等を主な構成要素とする。

筐体２は、眼鏡５の右端部に設けられる。筐体２の左端側に、ハーフミラー３が設けられる。ハーフミラー３は、ユーザがＨＤ１０を頭部に装着した状態で、ユーザの左眼の前方に配置される。画像表示部１４及び接眼光学系は、筐体２の内部に設けられる。画像表示部１４及び接眼光学系の詳細は後述する。カメラ２０は、筐体２の前面に設けられる。カメラ２０は、ＨＤ１０の前面方向の外界の風景のうち、所定の大きさの領域（以下、所定領域という。）を撮像可能である。

画像表示部１４は、液晶素子及び光源を備える。画像表示部１４は、コンテンツ画像を表示することが可能である。コンテンツ画像は、静止画像又は動画像である。又、画像表示部１４は、コンテンツ画像に撮影画像を重ねて表示することが可能である。撮影画像は、カメラ２０によって撮影された画像である。画像表示部１４は、ＣＢ５０からハーネス７を介して送信される映像信号に基づいて、画像を表示する。接眼光学系は、画像表示部１４に表示された画像を示す画像光を集光し、ハーフミラー３に射出する。接眼光学系から射出された画像光は、ハーフミラー３によって反射される。ハーフミラー３によって反射された画像光は、筐体２の後方（カメラ２０の撮影方向と反対方向）に射出される。ＨＭＤ１がユーザに装着されている状態で、画像光は、ユーザの左眼の眼球に入射する。又、ハーフミラー３は、外界の実像からの光を、ユーザの左眼に向けて透過する。ＨＭＤ１は、ユーザの視野範囲内の実像（例えば、外界の風景等）に、画像表示部１４に表示された画像を重ねた状態の光景を、ユーザに視認させることができる。

眼鏡５は、ＨＤ１０をユーザの頭部に保持する。眼鏡５は、フレーム６及び支持部４を備える。フレーム６の形状は、通常の眼鏡と略同一であるので、詳細な説明は省略する。フレーム６のうち、左眼用レンズを支えるリム部の上面右端に、支持部４が設けられる。支持部４は、ＨＤ１０の筐体２を保持する。支持部４は、筐体２の保持位置を上下方向及び左右方向に移動できる。ユーザは、筐体２を上下方向及び左右方向に移動させることによって、左眼の眼球の位置とハーフミラー３の位置とが前後方向に並ぶように位置を調整できる。

なお、ＨＤ１０は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。画像表示部１４は、他の空間変調素子であってもよい。例えば画像表示部１４は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部、及び有機ＥＬ（Organic Electro-luminescence）ディスプレイであってもよい。また、図１では支持部４及びＨＤ１０がフレーム６の右側に設けられるが、支持部４及びＨＤ１０は、フレーム６の右側に設けられてもよい。この場合、ＨＭＤ１がユーザに装着されている状態で、画像光は、ユーザの右眼の眼球に入射する。

又、本実施形態において、ＨＤ１０は、画像表示部１４に表示された画像を外界の実像に重ねた状態の光景をユーザに視認させる機能を有する、所謂光学シースルー型のヘッドディスプレイである。しかしながら本発明は、別の機能を有するヘッドディスプレイであってもよい。例えばＨＤ１０は、外界の実像からの光をユーザの眼に入射させず、画像表示部１４に表示された画像と、カメラによって撮像された外界の画像とをユーザに視認させる機能を有する、所謂ビデオシースルー型のヘッドディスプレイであってもよい。

又、本実施形態において、カメラ２０は筐体２の前面に設けられているが、カメラ２０は筐体２から着脱可能であってもよい。例えばカメラ２０は、ＨＤ１０の正面方向を撮影可能な状態で、眼鏡５のフレーム６に直接取り付けられてもよい。

ＣＢ５０の概要を説明する。ＣＢ５０は、例えばユーザの腰ベルトや腕等に取り付けられる。ＣＢ５０はＨＤ１０を制御する。ＣＢ５０は、ハーネス７を介してＨＤ１０と着脱可能に接続する。ＣＢ５０は、筐体６０、操作スイッチ６１、電源スイッチ６２等を主な構成要素とする。筐体６０の形状は、縁部の丸い略直方体である。操作スイッチ６１は、ＨＤ１０における各種設定や、使用時における各種操作等を行う為のスイッチである。電源スイッチ６２は、ＨＭＤ１の電源をオン又はオフにする為のスイッチである。電源スイッチ６２には、電源ランプ６３が内蔵される。

図２を参照し、ＨＭＤ１の電気的構成を説明する。はじめに、ＨＤ１０の電気的構成を説明する。ＨＤ１０は、ＨＤ１０全体の制御を行うＣＰＵ１１を備える。ＣＰＵ１１は、ＲＡＭ１２、プログラムＲＯＭ１３、画像表示部１４、インターフェイス１５、及び接続コントローラ１９に電気的に接続される。ＣＰＵ１１は、インターフェイス１５を介してカメラ２０に電気的に接続される。ＲＡＭ１２は、各種データを一時的に記憶する。プログラムＲＯＭ１３は、ＣＰＵ１１が実行するプログラムを記憶する。プログラムＲＯＭ１３はＯＳを記憶する。プログラムはＯＳ上で実行される。プログラム及びＯＳは、ＨＭＤ１の出荷時にプログラムＲＯＭ１３に記憶される。画像表示部１４は、コンテンツ画像及び撮影画像の少なくとも一方を表示できる。インターフェイス１５はカメラ２０に接続し、信号の入出力を制御する。接続コントローラ１９は、ハーネス７を介してＣＢ５０の接続コントローラ５８に接続し、有線通信を行う。

なお、ＨＤ１０は、フラッシュＲＯＭを更に備えてもよい。フラッシュＲＯＭには、ＣＰＵ１１が実行するプログラムが記憶されてもよい。ＣＰＵ１１は、フラッシュＲＯＭに記憶されたプログラムを実行してもよい。プログラムＲＯＭ１３及びフラッシュＲＯＭには、ＣＢ５０のＣＰＵ５１が実行するプログラムが記憶されてもよい。ＣＰＵ１１は、ＣＢ５０のＣＰＵ５１が実行する処理と同じ処理を、ＣＰＵ５１の代わりに実行してもよい。

ＣＢ５０の電気的構成を説明する。ＣＢ５０は、ＣＢ５０全体の制御を行うＣＰＵ５１を備える。ＣＰＵ５１は、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、インターフェイス５５、ビデオＲＡＭ５６、画像処理部５７、接続コントローラ５８、及び無線通信部５９に電気的に接続される。ＲＡＭ５２は、各種データを一時的に記憶する。プログラムＲＯＭ５３は、ＣＰＵ５１が実行するプログラムを記憶する。プログラムＲＯＭ５３はＯＳを記憶する。プログラムはＯＳ上で実行される。プログラムＲＯＭ５３は、データベース（以下、ＤＢという。）５３１（図６参照、後述）を記憶する。プログラム、ＯＳ、及びＤＢ５３１は、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶される。

インターフェイス５５は、操作スイッチ６１及び電源スイッチ６２に接続し、信号の入出力を制御する。画像処理部５７は、ＨＤ１０の画像表示部１４に表示する画像を形成し、ビデオＲＡＭ５６に記憶する。ビデオＲＡＭ５６は、画像処理部５７によって形成された画像を一時的に記憶する。接続コントローラ５８は、ハーネス７を介してＨＤ１０の接続コントローラ１９に接続し、有線通信を行う。無線通信部５９は、インターネット、ＬＡＮ等に接続されたアクセスポイント（図示略）を介して、インターネット、ＬＡＮ等に接続された周辺機器と通信を行う。周辺機器の例として、パーソナルコンピュータ、スマートフォン、タブレット型携帯端末、サーバ等が挙げられる。

なお、ＣＢ５０のフラッシュＲＯＭ５４に、ＣＰＵ５１が実行するプログラムが記憶されてもよい。ＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムを実行してもよい。プログラムＲＯＭ５３及びフラッシュＲＯＭ５４には、ＨＤ１０のＣＰＵ１１が実行するプログラムが記憶されてもよい。ＣＰＵ５１は、ＨＤ１０のＣＰＵ１１が実行する処理と同じ処理を、ＣＰＵ１１の代わりに実行してもよい。

なお、ＨＭＤ１は、プログラム及びＯＳを、無線通信部５９を介してプログラムダウンロード用のサーバからダウンロードし、インストールしてもよい。例えば、プログラム及びＯＳは、コンピュータで読み取り可能な一時的な記憶媒体（例えば、伝送信号）として、サーバからＨＭＤ１に送信されてもよい。プログラムは、ＨＭＤ１が備えるコンピュータで読み取り可能な記憶装置、例えば、フラッシュＲＯＭに保存されてもよい。ＣＰＵ１１は、フラッシュＲＯＭに記憶されたプログラムに基づいてプログラムを実行してもよい。ＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムに基づいてプログラムを実行してもよい。但し、記憶装置は、例えばＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、ＲＡＭなどの、一時的な記憶媒体を除く記憶媒体であってもよい。また、記憶装置は、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、データを記憶する時間の長さに関わらず、データを留めておくことが可能なものであってもよい。

ＨＭＤ１の構成は上記実施形態に限定されず、例えば、ＨＤ１０とＣＢ５０とが一体となった構成であってもよい。ＨＤ１０のＣＰＵ１１とＣＢ５０のＣＰＵ５１とは、ハーネス７の代わりに無線によって通信を行ってもよい。

ＨＭＤ１は、ＨＤ１０のカメラ２０によって撮影される所定領域内でユーザの指先が移動した時の指先の位置の変化の傾向が所定の条件を満たす場合、対応する処理を実行する。対応する処理の一例として、画像表示部１４に表示されたコンテンツ画像をスクロールさせる処理が挙げられる。なお、本実施形態では、カメラ２０によって撮影される所定領域内でユーザが指先を移動させることによって、右、左、上、及び下の何れかの方向にコンテンツ画像をスクロールさせる処理をＨＭＤ１に実行させることが可能であるとする。なお本発明において、指先の移動によってＨＭＤ１に実行させることが可能な処理は、上記の処理に限定されない。以下では、はじめに、ＨＤ１０のＣＰＵ１１によって実行される処理の概要について、図３を参照して説明する。次に、ＣＢ５０のＣＰＵ５１によって実行される処理の概要について、図３を参照して説明する。次に、ＣＰＵ５１の処理の詳細について、図４、図５のフローチャートを参照して説明する。

ＨＤ１のＣＰＵ１１によって実行される処理の概要について説明する。ＣＢ５０の電源スイッチ６２を介してＨＭＤ１の電源をオンする操作がされた場合、ＣＰＵ１１は次の処理を開始する。ＣＰＵ１１は、カメラ２０による撮影を開始する。カメラ２０は、撮影を開始した場合、所定領域内を撮影しながら画像データを継続的に出力する。以下、カメラ２０から出力される画像データを、撮影画像データという。撮影画像データの画像形式は、Motion JPEG形式、Audio Video Interleave形式、QuickTime形式等である。ＣＰＵ１１は、カメラ２０から出力される撮影画像データを、インターフェイス１５を介して受信する。ＣＰＵ１１は、撮影画像データをＣＢ５０に送信する。

ＣＰＵ１１は、カメラ２０から撮影画像データを受信した時刻を、ＯＳから取得する。なお、カメラ２０は、撮影しながら撮影画像データを出力するので、ＣＰＵ１１がカメラ２０から撮影画像データを受信した時刻は、カメラ２０が撮影画像データに対応する撮影画像を撮影した時刻と略同一とみなすことができる。ＣＰＵ１１は、取得した時刻を示す時刻情報を、撮影画像データと共にＣＢ５０に対して送信する。以下、撮影画像データと共にＣＢに対して送信される時刻情報によって示される時刻を、撮影時刻という。なお、時刻情報は、撮影画像データのヘッダに含まれてもよい。

又、ＣＰＵ１１は、ＣＢ５０から送信される映像信号（後述）を受信する。ＣＰＵ１１は、受信した映像信号に基づいて画像表示部１４を制御することによって、画像表示部１４に画像を表示させる。ＨＤ１を装着したユーザは、画像表示部１４に表示された画像からの光がハーフミラー３を反射して左眼に入射することによって、画像を視認する。なお、ＨＤ１を装着したユーザの左眼には、視野範囲内の実像からの光がハーフミラー３を透過して入射するので、ユーザは、画像表示部１４に表示された画像が外界の実像に重ねられた光景を視認する。

図３は、ＨＤ１０を装着したユーザによって視認される光景２１（２１Ａ〜２１Ｅ）を示す。光景２１には、実像２１１及び画像２１２（２１２Ａ〜２１２Ｅ）が含まれる。実像２１１は、ユーザの視野範囲内の実像からの光が、ハーフミラー３を透過してユーザの左眼に到達することによって、ユーザが視認する像である。画像２１２は、ＨＤ１０の画像表示部１４に表示されることによってユーザが視認する像である。画像２１２は、実像２１１の領域の右下部分に重ねられる。これによってユーザは、視野範囲内の実像２１１と画像２１２との両方を視認できる。

ＣＢ５０のＣＰＵ５１によって実行される処理の概要について説明する。ＣＰＵ５１は、無線通信部５９を介して、周辺機器からコンテンツ画像データを受信する。コンテンツ画像データは、コンテンツ画像を形成することが可能なデータである。コンテンツ画像データの画像形式は、コンテンツ画像が静止画の場合、BMP形式、GIF形式、JPEG形式等であり、コンテンツ画像が動画の場合、Moving Picture Experts Group形式、Audio Video Interleave形式、QuickTime形式等である。ＣＰＵ５１は、受信したコンテンツ画像データに対応するコンテンツ画像の映像信号を生成する。ＣＰＵ５１は、ＨＤ１０にコンテンツ画像の映像信号を送信する。これによって、ＨＤ１０の画像表示部１４にコンテンツ画像が表示される。

図３の光景２１Ａは、ＣＰＵ５１がＨＤ１０にコンテンツ画像の映像信号を送信した場合に、ＨＤ１０を装着するユーザによって視認される光景を示す。光景２１Ａでは、コンテンツ画像２１２Ａが実像２１１に重ねられている。

ユーザが、コンテンツ画像２１２Ａを右側にスクロールさせる為に、ＨＤ１０のカメラ２０によって撮影される所定領域内で指先を移動させた場合を例に挙げる。ＣＰＵ５１は、ＨＤ１から撮影画像データを受信する。ＣＰＵ５１は、受信した撮影画像データに対応する撮影画像に指先が含まれているか判断する。指先が含まれているかの判断方法の詳細は後述する。ＣＰＵ５１は、撮影画像に指先が含まれていると判断した場合、コンテンツ画像に撮影画像が重ねられた画像の映像信号を生成する。以下、コンテンツ画像に撮影画像が重ねられた画像を、重畳画像という。ＣＰＵ５１は、ＨＤ１０に重畳画像の映像信号を送信する。これによって、ＨＤ１０の画像表示部１４に重畳画像が表示される。

図３の光景２１Ｂは、ＣＰＵ５１がＨＤ１０に重畳画像の映像信号を送信した場合に、ＨＤ１０を装着するユーザが視認する光景を示す。光景２１Ｂでは、重畳画像２１２Ｂが実像２１１に重ねられている。実像２１１にユーザの手２２が含まれている。重畳画像２１２Ｂでは、コンテンツ画像２３に撮影画像２４が重ねられている。ＨＤ１のカメラ２０は、ユーザの視野方向の所定領域を撮影するので、撮影画像２４は実像２１１の一部を示す。撮影画像２４には、ユーザの手２５の指先２５Ａが含まれている。なお、コンテンツ画像２３及び撮影画像２４は透明であり、双方は互いに透けて見える。コンテンツ画像２３の透過率は、撮影画像２４の透過率よりも小さい。このためコンテンツ画像２３は、撮影画像２４よりも色が濃く鮮明である。

ＣＰＵ５１は、撮影画像に含まれている指先の位置を特定する。ＣＰＵ５１は、指先の位置の経時的な変化の傾向が、複数の所定の条件の一部の何れかを満たすか判断する。複数の所定の条件の夫々は、画像表示部１４に表示させたコンテンツ画像を、右、左、上、及び下の何れかの方向にスクロールさせる処理の夫々に対応する。判断方法の詳細は後述する。

ＣＰＵ５１は、指先の位置の経時的な変化の傾向が、複数の所定の条件の一部の何れかを満たすと判断した場合、撮影画像２４の透過率をより小さくした重畳画像の映像信号を生成する。ＣＰＵ５１は、ＨＤ１０に重畳画像の映像信号を送信する。ＨＤ１０の画像表示部１４に表示された重畳画像に含まれる撮影画像２４の透過率は小さくなる。このため、撮影画像２４は色が濃くなり鮮明になる。

次にＣＰＵ５１は、撮影画像に含まれている指先の位置の経時的な変化の傾向が、複数の所定の条件の何れかを満たすか判断する。判断方法の詳細は後述する。ＣＰＵ５１は、指先の位置の経時的な変化の傾向が、複数の所定の条件の何れかを満たすと判断した場合、指先の位置を示す軌跡画像を含む重畳画像の映像信号を生成する。軌跡画像は、異なるタイミングでの指先の位置の夫々の間を結ぶ線分と、移動の方向を示すアローヘッドとを有する。ＣＰＵ５１は、ＨＤ１０に映像信号を送信する。これによって、軌跡画像を含む重畳画像がＨＤ１０の画像表示部１４に表示される。

図３の光景２１Ｃは、ＣＰＵ５１がＨＤ１０に軌跡画像を含む重畳画像の映像信号を送信した場合に、ＨＤ１０を装着するユーザが視認する光景を示す。光景２１Ｃでは、重畳画像２１２Ｃが実像２１１に重ねられている。重畳画像２１２Ｃでは、コンテンツ画像２３に撮影画像２４が重ねられている。光景２１Ｂの場合と比べて撮影画像２４の透過率が小さくなっているので、撮影画像２４は光景２１Ｂの場合よりも色が濃くなり鮮明になっている。又、重畳画像２１２Ｃには、指先２５Ａの位置の変化の傾向を示す軌跡画像２６が含まれている。

ＣＰＵ５１は、指先の位置の経時的な変化の傾向が、複数の所定の条件の何れかを満たすと判断した場合、該当する所定の条件の何れかに対応する処理を特定する。図３の光景２１Ｃの軌跡画像２６で示される指先の位置の経時的な変化の傾向に対応する処理が、コンテンツ画像を右方向にスクロールさせる処理である場合を例に挙げる。この場合、ＣＰＵ５１は、右方向にスクロールされたコンテンツ画像に撮影画像が重ねられ且つ軌跡画像２６を含む重畳画像の映像信号を生成する。ＣＰＵ５１は、ＨＤ１０に映像信号を送信する。

図３の光景２１Ｄは、ＣＰＵ５１がＨＤ１０に軌跡画像を含む重畳画像の映像信号を送信した場合に、ＨＤ１０を装着するユーザが視認する光景を示す。光景２１Ｄでは、重畳画像２１２Ｄが実像２１１に重ねられている。重畳画像２１２Ｄでは、右方向にスクロールされたコンテンツ画像２３に撮影画像２４が重ねられている。又、重畳画像２１２Ｄには、指先２５Ａの位置の経時的な変化の傾向を示す軌跡画像２６が含まれている。

ＣＰＵ５１は、コンテンツ画像を右方向へ所定量スクロールさせた後、撮影画像２４及び軌跡画像２６を消去する為に、スクロール後のコンテンツ画像のみの映像信号を生成する。ＣＰＵ５１は、ＨＤ１０に映像信号を送信する。図３の光景２１Ｅは、ＣＰＵ５１がスクロール後のコンテンツ画像の映像信号を送信した場合に、ＨＤ１０を装着するユーザが視認する光景を示す。光景２１Ｅでは、コンテンツ画像２１２Ｅが実像２１１に重ねられており、撮影画像２４及び軌跡画像２６は消去されている。これによってユーザは、右方向へスクロールされたコンテンツ画像２１２Ｅを良好に視認できる。

図４、図５を参照し、ＣＢ５０のＣＰＵ５１によって実行される処理の詳細について説明する。第１メイン処理（図４参照）及び第２メイン処理（図５参照）は、電源スイッチ６２を介してＨＭＤ１の電源をオンする操作がされた場合に、プログラムＲＯＭ５３に記憶されたプログラムをＣＰＵ５１が実行することによって開始される。第１メイン処理と第２メイン処理とは並列して実行される。

図４を参照し、第１メイン処理を説明する。ＣＰＵ５１は、無線通信部５９を介して周辺機器からコンテンツ画像データを受信したか判断する（Ｓ１）。ＣＰＵ５１は、コンテンツ画像データを受信したと判断した場合（Ｓ１：ＹＥＳ）、受信したコンテンツ画像データをフラッシュＲＯＭ５４に記憶する（Ｓ３）。ＣＰＵ５１は処理をＳ１に戻す。ＣＰＵ５１は、コンテンツ画像データを受信していないと判断した場合（Ｓ１：ＮＯ）、コンテンツ画像を表示させる為の操作を、操作スイッチ６１を介して検出したか判断する（Ｓ５）。ＣＰＵ５１は、コンテンツ画像を表示させる為の操作を検出したと判断した場合（Ｓ５：ＹＥＳ）、画像処理部５７を駆動し、フラッシュＲＯＭ５４に記憶されたコンテンツ画像データに基づいてコンテンツ画像を形成させ、ビデオＲＡＭ５６に記憶させる。ＣＰＵ５１は、ビデオＲＡＭ５６に記憶されたコンテンツ画像に基づいて映像信号を生成する。映像信号の形式は、Transition Minimized Differential Signaling（ＴＭＤＳ）、Low voltage differential signaling（ＬＶＤＳ）等である。ＣＰＵ５１は、接続コントローラ５８を介してＨＤ１０に映像信号を送信する（Ｓ７）。ＣＰＵ５１は処理をＳ１に戻す。ＣＰＵ５１は、コンテンツ画像を表示させる為の操作を検出していないと判断した場合（Ｓ５：ＮＯ）、処理をＳ１に戻す。なお、映像信号は、ＣＰＵ５１によって生成される場合に限らない。例えば映像信号は、ビデオＲＡＭ５６に記憶されたコンテンツ画像に基づいて接続コントローラ１９が生成してもよい。

なお上記のように、ＨＤ１０のＣＰＵ１１は、ＣＢ５０から送信されたコンテンツ画像の映像信号を、接続コントローラ１９を介して受信する。ＣＰＵ１１は、受信した映像信号に基づいて画像表示部１４を制御することによって、画像表示部１４にコンテンツ画像を表示させる。従って、ＣＰＵ５１は、Ｓ７でＨＤ１０に対して映像信号を送信することによって、画像表示部１４に画像を表示させていることになる。以下では、ＣＰＵ５１が画像処理部５７を駆動して画像データ（コンテンツ画像データ又は撮影画像データ）から画像（コンテンツ画像又は撮影画像）を形成させ、形成された画像をビデオＲＡＭ５６に記憶させ、ビデオＲＡＭ５６に記憶された画像に基づいて映像信号を生成することを、単に、ＣＰＵ５１が画像データに基づいて映像信号を生成するという。又、ＣＰＵ５１がＨＤ１０に対して映像信号を送信することによって、ＨＤ１０のＣＰＵ１１が画像表示部１４を制御し、映像信号に対する画像を表示させることを、ＣＰＵ５１が画像表示部１４に画像を表示させるという。

Ｓ７の処理が実行された結果、ＨＤ１を装着したユーザは、例えば図３の光景２１Ａで示されるように、実像２１１に重畳されたコンテンツ画像２１２Ａを視認する。

図５を参照し、第２メイン処理を説明する。ＣＰＵ５１は、ＨＤ１０から送信された撮影画像データ及び時刻情報を、接続コントローラ５８を介して受信する（Ｓ１１）。ＣＰＵ５１は、受信した撮影画像データ及び時刻情報を互いに関連付けてＲＡＭ５２に記憶する。ＣＰＵ５１は、撮影画像データ及び時刻情報を受信した時刻（以下、受信時刻という。）を示す時刻情報を、ＯＳから取得し、ＲＡＭ５２に記憶する。

ＣＰＵ５１は、ＲＡＭ５２に記憶した撮影画像データに基づき、撮像画像に指先が含まれるかを判断する（Ｓ１３）。先ず、ＣＰＵ５１は、次のようにして、撮影画像から指先を特定する。ＣＰＵ５１は、撮影画像データに対応する撮影画像から、肌色の領域を検出する。肌色領域の検出は、例えば、肌色に対応する所定の画素値（例えば、Ｒ＝２４１，Ｇ＝１８７，Ｂ＝１４７）を有する画素が連続している領域と検出することで可能である。なお、所定の画素値は他の値であってもよく、所定の幅を有してもよい。ＣＰＵ５１は、検出した肌色の領域全体を囲う多角形を特定する。ＣＰＵ５１は、特定した多角形の形状と、プログラムＲＯＭ５３に予め記憶された指先特定用の画像テンプレートとに基づいて、周知のパターンマッチング処理を行う。ＣＰＵ５１は、パターンマッチング処理によって算出された相互相関係数が所定の範囲内の値である場合、特定した多角形の形状と画像テンプレートとのパターンマッチングに成功したと判断する。この場合、ＣＰＵ５１は、多角形の形状の頂点を指先と特定する。なお、撮影画像に指先が含まれているかの判断方法は、上記方法に限定されない。

ＣＰＵ５１は、上記の方法で指先を特定できたか判断する。ＣＰＵ５１は、指先を特定できないと判断した場合、撮影画像に指先が含まれていないと判断する（Ｓ１３：ＮＯ）。ＣＰＵ５１は処理をＳ１１に戻す。ＣＰＵ５１は、指先を特定できたと判断した場合、撮影画像に指先が含まれていると判断する（Ｓ１３：ＹＥＳ）。

ＣＰＵ５１は、撮影画像データ及び時刻情報を受信した受信時刻を、ＲＡＭ５２に記憶された時刻情報に基づいて特定する。ＣＰＵ５１は、ＨＤ１０から受信した時刻情報によって示される撮影時刻を特定する。ＣＰＵ５１は、撮影時刻と受信時刻とに基づいて、カメラ２０が撮影画像を撮影してから、ＣＰＵ５１が撮影画像データを受信するまでに要した遅延時間を算出する。なお、ＣＰＵ１１、５１間では、ＯＳどうしの時刻の同期をとる為の通信が一定周期で実行されている。このためＣＰＵ５１は、撮影時刻から受信時刻までの時間を遅延時間として算出できる。ＣＰＵ５１は、算出された遅延時間が所定値（例えば１秒）よりも小さいか判断する（Ｓ１５）。ＣＰＵ５１は、算出された遅延時間が所定値よりも小さくないと判断された場合（Ｓ１５：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、算出された遅延時間が所定の値よりも小さいと判断した場合（Ｓ１５：ＹＥＳ）、処理をＳ１７に進める。

このようにＣＰＵ５１は、遅延時間が所定値よりも小さくない場合、処理をＳ１７に進めないことによって、映像信号をＨＤ１０に送信せず、撮影画像を画像表示部１４に表示させない。その理由は、遅延時間が大きい場合、撮影画像データに対応する撮影画像に指先が含まれていた場合の指先の動きと、実像に指先が含まれていた場合の指先の動きとの間に時間差が発生する為である。これによってＣＰＵ５１は、画像表示部１４に表示された撮影画像に含まれる指先の動きが、実像に含まれる指先の動きに対して遅延することによって、ユーザに違和感を与えることを防止できる

ＣＰＵ５１は、Ｓ７（図４参照）で画像表示部１４に表示させたコンテンツ画像に、Ｓ１１で受信された撮影画像データに対応する撮影画像を重ねる為に、次の処理を行う。ＣＰＵ５１は、Ｓ７で画像表示部１４に表示された状態のコンテンツ画像のコンテンツ画像データと、Ｓ１１で受信された撮影画像データとに基づいて、コンテンツ画像に撮影画像が重ねられた重畳画像の映像信号を生成する（Ｓ１６）。ここでＣＰＵ５１は、重畳画像に含めるコンテンツ画像及び撮影画像を、透明の状態で重ね合わせる。一例としては次の通りである。ＣＰＵ５１は、コンテンツ画像と撮影画像とを重ね合わせる為に、コンテンツ画像と撮影画像とのαブレンドを行う。ＣＰＵ５１は、αブレンドを行う場合における撮影画像の各画素のα値を、コンテンツ画像の各画素のα値よりも小さい値とする。以下、コンテンツ画像の各画素のα値を第１α値といい、撮影画像の各画素のα値を第２α値という。第２α値は、第１α値よりも小さくなる。この場合、撮影画像の透過率は、コンテンツ画像の透過率よりも大きくなり、コンテンツ画像よりも色が薄く不鮮明になる。

ＣＰＵ５１は、生成した映像信号をＨＤ１０に送信し、画像表示部１４に重畳画像を表示させる（Ｓ１７）。ＨＤ１を装着したユーザは、例えば図３の光景２１Ｂで示されるように、実像２１１に重ねられた重畳画像２１２Ｂを視認する。重畳画像２１２Ｂは、コンテンツ画像２３と撮影画像２４とを含む。ＣＰＵ５１は、ユーザに対してコンテンツ画像２３と撮影画像２４との両方を視認させることができる。

又、光景２１Ｂでは、重畳画像２１２Ｂにユーザの手２５及び指先２５Ａが含まれている。光景２１Ｂを視認するユーザは、自身の指先の位置を確認しながら手を移動させることができるので、所定の条件を満たすように指先を移動させ易くなる。特に、実像２１１に重ねられた重畳画像２１２Ｂに手２２が隠れてしまい、ユーザが実像２１１に基づいて手を視認できない場合でも、重畳画像２１２Ｂに含まれる手２５を視認できる。従ってユーザは、実像２１１内の手の位置に依らず、常に、所定の条件を満たすように指先を移動させることができる。なお、ＣＰＵ５１は、コンテンツ画像２３に撮影画像２４を重ねることによって、重畳画像２１２Ｂを形成させる。このためＣＰＵ５１は、重畳画像２１２Ｂによって隠れてしまう実像２１１の領域の大きさを小さくすることができるので、ユーザによる実像２１１の視認性を良好に維持できる。

又、光景２１Ｂでは、重畳画像２１２Ｂに含まれる撮影画像２４の透過率は、コンテンツ画像２３の透過率よりも大きくなり、コンテンツ画像２３よりも色が薄く不鮮明となる。従ってユーザは、撮影画像２４よりもコンテンツ画像２３を鮮明に認識できる。このように、ＣＰＵ５１は、コンテンツ画像２３に撮影画像２４が重ねられた場合に、コンテンツ画像２３の視認性が妨げられることを防止できる。従ってＣＰＵ５１は、コンテンツ画像２３に撮影画像２４が重ねられた場合でも、ユーザにコンテンツ画像２３を継続して良好に視認させることができる。

ＣＰＵ５１は、Ｓ１３で特定した指先の位置を示す座標情報を特定し、ＲＡＭ５２に記憶する。Ｓ１１、Ｓ１３、Ｓ１５の処理が繰り返されることによって、ＲＡＭ５２に複数の座標情報が記憶される。ＣＰＵ５１は、ＲＡＭ５２に記憶された複数の座標情報に基づき、図６のＤＢ５３１を参照することによって、指先の位置の経時的な変化の傾向が、複数の所定の条件の一部の何れかを満たすか判断する（Ｓ１９）。

図６を参照し、ＤＢ５３１を説明する。ＤＢ５３１には、判定データ及び処理内容データが関連付けて複数記憶される。判定データは、指先の位置の変化の傾向を特定可能な所定の条件を示すデータである。判定データの詳細は後述する。処理内容データは、ＨＭＤ１の具体的な処理の内容を示す。ＤＢ５３１では、右、左、上、及び下の夫々の方向にコンテンツ画像をスクロールさせる処理を示す処理内容データが記憶されている。

図７を参照し、判断方法の詳細について具体的を挙げて説明する。Ｓ１１、Ｓ１３、Ｓ１５（図５参照）の処理が繰り返されることによって、ＲＡＭ５２に、複数の位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の夫々を示す座標情報（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）（Ｘ３，Ｙ３）（Ｘ４，Ｙ４）（Ｘ５，Ｙ５）が順番に記憶されたとする。なお、撮影画像の横方向がＸ軸方向に対応し、縦方向がＹ軸方向に対応する。また、右方向及び上方向が正方向であり、左方向及び下方向が負方向である。図７は、右、及び左の夫々の方向にコンテンツ画像をスクロールさせる処理に対応する指先の移動経路と、複数の座標情報３１、３２とを示している。

複数の座標情報３１に基づいて判断される場合について説明する。指先が位置Ｐ１から位置Ｐ４まで移動し、位置Ｐ１〜Ｐ４の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ１〜Ｐ４の座標情報のＸ成分及びＹ成分の夫々が、次の式（１）の条件を満たすと判断する。
Ｘ１≒Ｘ２≒Ｘ３≒Ｘ４，Ｙ１＞Ｙ２＞Ｙ３＞Ｙ４・・・（１）
この場合、ＣＰＵ５１は、指先の位置が上から下に向けて略垂直に移動していると判断する。

次に、指先が位置Ｐ５に移動し、位置Ｐ５の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ４、Ｐ５の座標情報のＸ成分及びＹ成分の夫々が、次の式（２）の条件を満たすと判断する。
Ｘ４＜Ｘ５，Ｙ４＜Ｙ５・・・（２）
この場合、ＣＰＵ５１は、指先の位置の移動方向が、上から下に向かう移動から、左下から右上に向かう移動に変化したと判断する。ＣＰＵ５１は、上記の式（１）（２）の条件を満たす場合、指先の位置の経時的な変化の傾向が、右スクロールの処理内容に対応する所定の条件の一部を満たすと判断する。

次に、複数の座標情報３２に基づいて判断される場合について説明する。指先が位置Ｐ１から位置Ｐ４まで移動し、位置Ｐ１〜Ｐ４の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、上記と同様、式（１）の条件を満たすと判断する。指先が位置Ｐ５に移動し、位置Ｐ５の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ４、Ｐ５の座標情報のＸ成分及びＹ成分の夫々が、次の式（３）の条件を満たすと判断する。
Ｘ４＞Ｘ５，Ｙ４＜Ｙ５・・・（３）
この場合、ＣＰＵ５１は、指先の位置の移動方向が、上から下に向かう移動から、右下から左上に向かう移動に変化したと判断する。ＣＰＵ５１は、上記の式（１）（３）の条件を満たす場合、指先の位置の経時的な変化の傾向が、左スクロールの処理内容に対応する所定の条件の一部を満たすと判断する。

なお、詳細は省略するが、指先の位置の経時的な変化の傾向が、上、又は下の夫々の方向にコンテンツ画像をスクロールさせる処理内容に対応する所定の条件の一部を満たすかの判断も、上記と同様の方法で行われる。又、上記の具体例では、最初にＲＡＭ５２に記憶された座標情報を、特定の位置Ｐ１（座標情報（Ｘ１，Ｙ１））とし、位置Ｐ２，Ｐ３・・・の夫々の座標情報に基づいて判断される場合を例に挙げて説明した。しかしながら、判断方法は上記具体例に限定されない。例えばＣＰＵ５１は、位置Ｐ２〜Ｐ９（図８参照）の何れかから開始される指先の複数の位置を示す座標情報に基づいて、指先の位置の経時的な変化の傾向が、右、左、上、又は下の夫々の方向にコンテンツ画像をスクロールさせる処理内容に対応する所定の条件の一部を満たすかを判断してもよい。

図５に示すように、ＣＰＵ５１は、ＤＢ５３１に記憶された複数の判定データを参照し、上記の方法によって、指先の位置の経時的な変化の傾向が、右、左、上、及び下の夫々の方向へのスクロールに対応する複数の所定の条件一部の何れかを満たすか判断する（Ｓ１９）。ＣＰＵ５１は、複数の所定の条件の一部の何れも満たさないと判断した場合（Ｓ１９：ＮＯ）、処理をＳ３１に進める。

ＣＰＵ５１は、複数の所定の条件の一部の何れかを満たすと判断した場合（Ｓ１９：ＹＥＳ）、Ｓ１７で画像表示部１４に表示させた重畳画像のうち、撮影画像の透過率を小さくする為に、次の処理を行う。ＣＰＵ５１は、Ｓ７（図４参照）で画像表示部１４に表示された状態のコンテンツ画像のコンテンツ画像データと、Ｓ１１で受信された撮影画像データとに基づいて、コンテンツ画像に撮影画像が重ねられた重畳画像の映像信号を生成する（Ｓ２０）。ここでＣＰＵ５１は、重畳画像に含めるコンテンツ画像及び撮影画像を、透明の状態で重ね合わせる。より具体的には次の通りである。ＣＰＵ５１は、コンテンツ画像と撮影画像とのαブレンドを行う場合における撮影画像の各画素のα値を、Ｓ１７で画像表示部１４に表示された重畳画像に含まれる撮影画像のα値である第２α値よりも大きく、且つ、コンテンツ画像のα値である第１α値よりも小さい第３α値とする。この場合、撮影画像の透過率は、Ｓ１７で画像表示部１４に表示された重畳画像に含まれる撮影画像の透過率よりも小さくなり、撮影画像は色が濃くなり鮮明になる。

ＣＰＵ５１は、生成した映像信号をＨＤ１０に送信し、画像表示部１４に重畳画像を表示させる（Ｓ２１）。これによって、画像表示部１４に表示された重畳画像のうち撮影画像の透過率は小さくなり、透過率の変化前と比較して色が濃くなり鮮明となるので、ユーザは、透過率の変化前と比較して、撮影画像２４を良好に視認できるようになる。このように、ＣＰＵ５１は、撮影画像の透過率を変化させることによって、指先の位置の変化の傾向が、右、左、上、及び下の夫々の方向へのスクロールに対応する所定の条件の一部の何れかを満たすと判断したことを、ユーザに通知できる。又、撮影画像２４の色が濃くなり鮮明となるので、ユーザは、指先を継続して移動させる場合の移動方法を把握し易くなる。

又、撮影画像のα値（第３値）は、コンテンツ画像のα値（第１α値）よりも小さいので、コンテンツ画像２３よりも撮影画像２４の方が色が薄く不鮮明な状態は、撮影画像の透過率が小さくなった後も維持される。従ってユーザは、撮影画像の透過率が小さくなった後も、コンテンツ画像２３を鮮明に認識できる。このように、ＣＰＵ５１は、撮影画像２４がコンテンツ画像２３の視認性を妨げることを、撮影画像２４の透過率を変化させた後も防止できる。従ってＣＰＵ５１は、ユーザに対して、コンテンツ画像２３を継続して良好に視認させることができる。

ＣＰＵ５１は、ＲＡＭ５２に記憶された複数の座標情報に基づき、図６のＤＢ５３１に記憶された複数の判定データを参照することによって、指先の位置の経時的な変化の傾向が、右、左、上、及び下の夫々の方向へのスクロールに対応する複数の所定の条件の何れかを満たすかを判断する（Ｓ２３）。

図８を参照し、判断方法の詳細について具体例を挙げて説明する。Ｓ１１、Ｓ１３、Ｓ１５（図５参照）の処理が繰り返されることによって、ＲＡＭ５２に、複数の位置Ｐ１〜Ｐ１１の夫々を示す座標情報（Ｘ１，Ｙ１）〜（Ｘ１１，Ｙ１１）が順番に記憶されたとする。図８は、右方向にコンテンツ画像をスクロールさせる処理に対応する所定の移動経路と複数の座標情報３３とを示している。

指先が位置Ｐ１から位置Ｐ４まで移動し、位置Ｐ１〜Ｐ４の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、上記式（１）の条件を満たすと判断する。この場合、ＣＰＵ５１は、指先の位置が上から下に向けて略垂直に移動していると判断する。次に、指先が位置Ｐ５に移動し、位置Ｐ５の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ４、Ｐ５の夫々に対応する座標情報が上記式（２）の条件を満たすと判断する。この場合、ＣＰＵ５１は、指先の位置の移動方向が、上から下に向かう移動から、左下から右上に向かう移動に変化したと判断する。

次に、指先が位置Ｐ５からＰ７に移動し、位置Ｐ６、Ｐ７の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、ＲＡＭ５２に記憶された位置Ｐ４〜Ｐ７の座標情報のＸ成分及びＹ成分の夫々が、次の式（４）の条件を満たすと判断する。
Ｘ４＜Ｘ５＜Ｘ６＜Ｘ７，Ｙ４＜Ｙ５＜Ｙ６＜Ｙ７・・・（４）
この場合、ＣＰＵ５１は、指先の位置が左下から右上に向けて斜め方向に移動していると判断する。

次に、指先が位置Ｐ８に移動し、位置Ｐ８の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ７、Ｐ８の座標情報のＸ成分及びＹ成分の夫々が、次の式（５）の条件を満たすと判断する。
Ｘ７＞Ｘ８，Ｙ７＜Ｙ８・・・（５）
この場合、ＣＰＵ５１は、指先の位置の移動方向が、左下から右上に向かう移動から、右下から左上に向かう移動に変化したと判断する。

次に、指先が位置Ｐ８からＰ１０に移動し、位置Ｐ９、Ｐ１０の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ７〜Ｐ１０の座標情報のＸ成分及びＹ成分の夫々が、次の式（６）の条件を満たすと判断する。
Ｘ７＞Ｘ８＞Ｘ９＞Ｘ１０，Ｙ７＜Ｙ８＜Ｙ９＜Ｙ１０・・・（６）
この場合、ＣＰＵ５１は、指先の位置が右下から左上に向けて斜め方向に移動していると判断する。

次に、指先が位置Ｐ１０からＰ１１に移動し、位置Ｐ１１の座標情報がＲＡＭ５２に記憶された場合、ＣＰＵ５１は、位置Ｐ１０、Ｐ１１の座標情報のＸ成分及びＹ成分の夫々が、次の式（７）の条件を満たすと判断する。
Ｘ１０≒Ｘ１１，Ｙ１０＞Ｙ１１・・・（７）
この場合、ＣＰＵ５１は、指先の位置の移動方向が、右下から左上に向かう移動から、上から下に向かう移動に変化したと判断する。ＣＰＵ５１は、上記の式（１）（２）（４）〜（７）の条件を満たす場合、指先の位置の経時的な変化の傾向が、右スクロールの処理内容に対応する所定の条件を満たすと判断する。

なお、図６のＤＢ５３１に記憶された判定データのうち、右方向へのスクロールを示す処理内容データに関連付けられた判定データは、上記の式（１）（２）（４）〜（７）を示すデータである。このように、判定データは、指先の位置の変化の傾向が所定の条件を満たすかを判断する場合に適用される関係式を示す。

なお、詳細は省略するが、指先の位置の経時的な変化の傾向が、左、上、及び、下の夫々の方向にコンテンツ画像をスクロールさせる処理内容に対応する所定の条件を満たすかの判断も、上記と同様の方法で行われる。又、上記の具体例では、最初にＲＡＭ５２に記憶された座標情報を、特定の位置Ｐ１（座標情報（Ｘ１，Ｙ１））とし、位置Ｐ２，Ｐ３・・・の夫々の座標情報に基づいて判断される場合を例に挙げて説明した。しかしながら、判断方法は上記具体例に限定されない。例えばＣＰＵ５１は、位置Ｐ２〜Ｐ９の何れかから開始される指先の複数の位置を示す座標情報に基づいて、指先の位置の経時的な変化の傾向が、右、左、上、又は下の夫々の方向にコンテンツ画像をスクロールさせる処理内容に対応する所定の条件を満たすかを判断してもよい。なお、夫々の判断が行われる場合に適用される関係式が、ＤＢ５３１に判定データとして、夫々の処理内容に関連付けて記憶される。

なおＣＰＵ５１は、別の方法で、指先の位置の経時的な変化の傾向が所定の条件を満たすか判断してもよい。例えばＣＰＵ５１は、ＲＡＭ５２に記憶された複数の座標情報の夫々によって示される位置を順に線で結び、指先の移動の軌跡を示す線分として特定してもよい。ＣＰＵ５１は、特定した線分と、プログラムＲＯＭ５３に予め記憶された軌跡特定用の複数の画像テンプレートとに基づいて、周知のパターンマッチング処理を行ってもよい。なお、軌跡特定用の複数の画像テンプレートは、特定の形状を示す画像のテンプレートである。特定の形状は、例えば、図８で移動経路として示されている三角形である。なお、特定の形状は三角形に限定されない。例えば特定の形状は、上下方向に延びる直線、左右方向に延びる直線、円形等であってもよい。複数の画像テンプレートの夫々には、処理内容データが対応付けられてもよい。ＣＰＵ５１は、パターンマッチング処理によって複数の画像テンプレートの夫々に対応する複数の相互相関係数を算出し、最も１に近い相互相関係数が所定の範囲内の値であるか判断してもよい。ＣＰＵ５１は、最も１に近い相互相関係数が所定の範囲内の値である場合、パターンマッチングに成功したと判断してもよい。この場合ＣＰＵ５１は、指先の位置の変化の傾向が、最も１に近い相互相関係数に対応する画像テンプレートによって示される特定の形状と一致すると判断してもよい。これによってＣＰＵ５１は、指先の位置の変化の傾向が所定の条件を満たしているかを更に適切に判断できる。

図５に示すように、ＣＰＵ５１は、ＤＢ５３１に記憶された複数の判定データを参照し、上記の判断方法によって、指先の位置の経時的な変化の傾向が、右方向、左方向、上方向、及び下方向にコンテンツ画像をスクロールさせる処理内容に対応する所定の条件の何れかを満たすか判断する（Ｓ２３）。ＣＰＵ５１は、複数の所定の条件の何れとも一致しないと判断した場合（Ｓ２３：ＮＯ）、処理をＳ１７に戻す。ＣＰＵ５１は、複数の所定の条件の何れかを満たすと判断した場合（Ｓ２３：ＹＥＳ）、Ｓ２１で画像表示部１４に表示させた重畳画像に軌跡画像２６を含める為に、次の処理を行う。ＣＰＵ５１は、ＲＡＭ５２に記憶された複数の座標情報によって示される複数の位置を、ＲＡＭ５２に座標情報が記憶された順番に線で結ぶことによって、指先の位置の移動経路を示す線分を特定する。ＣＰＵ５１は、特定された線分のうち、ＲＡＭ５２に最後に記憶された座標情報側の端部に、アローヘッドを付し、軌跡画像２６を作成する。ＣＰＵ５１は、Ｓ２１で画像表示部１４に表示された状態の重畳画像に軌跡画像を含め、映像信号を生成する。

ＣＰＵ５１は、ＨＤ１０に映像信号を送信し、軌跡画像を含む重畳画像を画像表示部１４に表示させる（Ｓ２５）。ＨＤ１を装着したユーザは、例えば図３の光景２１Ｃで示されるように、軌跡画像２６を含む重畳画像２１２Ｃを視認する。これによってユーザは、指先の位置の経時的な変化の傾向を確認できる。また、ＣＰＵ５１は、指先の位置の経時的な変化の傾向が、右、左、上、及び下の何れかの方向へのコンテンツ画像のスクロールに対応する所定の条件の何れかを満たすと判断した場合に、軌跡画像を含む重畳画像を画像表示部１４に表示させる。このためユーザは、ＨＭＤ１実行させる処理内容に対応する指先の位置の経時的な変化の傾向がＨＭＤ１によって認識されたことを把握できる。またＣＰＵ５１は、コンテンツ画像のスクロールが実際に行われる（Ｓ２７参照、後述）前に、軌跡画像を含む重畳画像を画像表示部１４に表示させる。これによってユーザは、指の移動に対応する処理がまだ実行されていないことを認識できる。

ＣＰＵ５１は、ＤＢ５３１に記憶された複数の判定データのうち、Ｓ２３で所定の条件を満たすと判断された場合に参照された判定データに対応する処理内容、即ち、コンテンツ画像をスクロールさせる場合の方向を特定する。ＣＰＵ５１は、特定した処理内容に基づいて、コンテンツ画像をスクロールさせる処理を実行する（Ｓ２７）。

具体例を挙げて説明する。ＣＰＵ５１が、Ｓ２３で、指先の位置の経時的な変化の傾向が、ＤＢ５３１の判定データ「Ｒｉｇｈｔ．ｆｉｌｅ」に対応する所定条件を満たすと判断した場合を例に挙げる。この場合、ＣＰＵ５１は、判定データ「Ｒｉｇｈｔ．ｆｉｌｅ」に関連付けられた処理内容が、コンテンツ画像を右方向にスクロールさせる処理を示すことを特定する。ＣＰＵ５１は、Ｓ２５で画像表示部１４に表示させた軌跡画像を含む重畳画像に含まれるコンテンツ画像を、右方向にスクロールさせる為に、次の処理を行う。ＣＰＵ５１は、Ｓ２１で画像表示部１４に表示された状態の重畳画像のうちコンテンツ画像を、右方向にスクロールさせる。ＣＰＵ５１は、右方向にスクロールさせたコンテンツ画像に撮影画像が重ねられ、且つ、軌跡画像を含む重畳画像の映像信号を生成する。ＣＰＵ５１は、生成した映像信号をＨＤ１０に送信し、画像表示部１４に重畳画像を表示させる。ＨＤ１を装着したユーザは、例えば図３の光景２１Ｄで示されるように、右方向にスクロールされたコンテンツ画像２３を含む重畳画像２１２Ｄを視認する。以上のように、ＣＰＵ５１は、ＤＢ５３１を参照することによって、指先の位置の変化の傾向に対応する処理を容易に特定できる。

なお、プログラムＲＯＭ５３に記憶された複数の画像テンプレートが用いられることによって、指先の位置の変化の傾向が所定の条件を満たすかが判断された場合、ＣＰＵ５１は、最も１に近い相互相関係数に対応する画像テンプレートに対応付けられた処理内容データを、上記と同様の方法で特定し、対応する処理を実行してもよい。

ＣＰＵ５１は、Ｓ２７で実行する処理が完了した後、ＨＤ１０にコンテンツ画像及び撮影画像の映像信号のみを送信することによって、画像表示部１４に表示された状態の重畳画像から軌跡画像を消去させる（Ｓ２９）。次にＣＰＵ５１は、Ｓ２９で重畳画像から軌跡画像を消去させた後、ＨＤ１０にコンテンツ画像の映像信号のみを送信することによって、画像表示部１４に表示された状態の重畳画像から撮影画像を更に消去する（Ｓ３１）。画像表示部１４には、コンテンツ画像のみが表示された状態になる。ＣＰＵ５１は処理をＳ１１に戻す。これによってユーザは、指先の位置の経時的な変化に対応する処理をＨＭＤ１が実行したことを確認できる。またＣＰＵ５１は、Ｓ２７で処理が実行された後で、画像表示部１４に表示された状態の重畳画像から撮影画像及び軌跡画像を消去させる。これによってＣＰＵ５１は、ユーザにとって不要となった撮影画像及び軌跡画像をユーザに視認させないことになるので、コンテンツ画像をユーザに良好に視認させることができる。

ＣＰＵ５１が、Ｓ２７で、コンテンツ画像を右方向にスクロールさせる処理を実行した場合を例に挙げる。この場合、ＨＤ１０を装着したユーザは、図３の光景２１Ｅで示されるように、右方向にスクロールされたコンテンツ画像２１２Ｅのみが実像２１１に重ねられた光景を視認する。従ってユーザは、指先の移動に応じたスクロール処理が実行された後のコンテンツ画像を良好に視認できる。

以上説明したように、ＣＰＵ５１は、カメラ２０によって撮影される所定領域内に指先があると判断した場合（Ｓ１３：ＹＥＳ）、コンテンツ画像と撮影画像とを含む重畳画像を画像表示部１４に表示させる（Ｓ１７）。従ってユーザは、指先がカメラ２０によって撮影されているかを、重畳画像によって認識できる。ＣＰＵ５１は、指先の位置の変化の傾向が所定の条件を満たす場合（Ｓ２３：ＹＥＳ）、所定の条件に対応する処理を実行する（Ｓ２７）。ユーザは、指先の位置の経時的な変化が所定の条件を満たすように、所定領域内で指先を移動させることによって、所望する処理をＨＭＤ１に実行させることができる。例えばユーザが、実像２１１に含まれる指先の位置のみを確認し、カメラ２０によって撮影される所定領域外で指先を移動させた場合、ＣＰＵ５１は指先の位置の経時的な変化を正確に特定できないので、対応する処理を実行できない。これに対してＣＰＵ５１は、重畳画像を表示させることによって、カメラ２０によって撮影される所定領域内に指先が含まれていることをユーザに確認させることができる。ユーザは、カメラ２０によって撮影される所定領域内で指先を移動させることが容易に可能となるので、ＨＭＤ１に指先を適切に認識させることができる。このためユーザは、所望する処理をＨＭＤ１に適切に実行させることができる。

なお、本発明は上記実施形態に限定されず、種々の変更が可能である。上記実施形態において、ＣＰＵ５１は、Ｓ１５で指先を特定したが、特定される対象物は指先に限定されない。例えばＣＰＵ５１は、所定色（例えば赤色）のペン先を対象物として特定してもよい。この場合、ＣＰＵ５１は、所定色に対応する所定の画素値を有する画素が連続している領域を検出することで、対象物が含まれる領域を検出することができる。そして、検出した領域全体を囲う多角形の形状と、プログラムＲＯＭ５３に予め記憶された、対象物に対応する形状の画像テンプレートとに基づいて、周知のパターンマッチング処理が行われる。ＣＰＵ５１は、パターンマッチング処理によって算出された相互相関係数が所定の範囲内の値である場合、特定した多角形の形状と画像テンプレートとのパターンマッチングに成功したと判断する。この場合、ＣＰＵ５１は、多角形の領域をペン先と特定する。

カメラ２０は、ＣＢ５０に対して撮影画像データを直接送信してもよい。上記実施形態において、ＣＰＵ５１は、コンテンツ画像に撮影画像を重ねた重畳画像を画像表示部１４に表示させていた。ＣＰＵ５１は、コンテンツ画像と撮影画像とを重ねず、画像表示部１４の異なる領域に双方を表示させてもよい。この場合、ＣＰＵ５１は、撮影画像をユーザに視認させつつ、コンテンツ画像の視認性を更に良好に維持できる。

上記実施形態において、ＣＰＵ５１は、Ｓ１７で画像表示部１４に重畳画像を表示させる場合、αブレンドを行う場合における撮影画像の各画素のα値（第２α値）を、コンテンツ画像の各画素のα値（第１α値）よりも小さい値とした。これに対し、ＣＰＵ５１は、第１α値と第２α値とを略同一としてもよい。これによってＣＰＵ５１は、コンテンツ画像と撮影画像とを同様の透過率とした状態で画像表示部１４に表示させることができる。この場合、ユーザは、コンテンツ画像と撮影画像との両方を良好に認識できる。

上記実施形態において、ＣＰＵ５１は、Ｓ２１で撮影画像に対応するα値を、第２α値から、第２α値よりも大きい第３α値に変更し、画像表示部１４に表示させた。これに対し、ＣＰＵ５１は、Ｓ１９で、指先の位置の変化の傾向が所定の条件の一部を満たすと判断された場合にも、撮影画像に対応するα値を変化させず、Ｓ１７で画像表示部１４に表示させた重畳画像を、Ｓ２１でそのまま表示させてもよい。又、ＣＰＵ５１は、Ｓ２１で撮影画像に対応するα値を、第２α値から、第２α値よりも小さい第４α値に変更し、画像表示部１４に表示させてもよい。これによってＣＰＵ５１は、コンテンツ画像よりも色が濃く且つ鮮明な撮影画像をユーザに視認させることができる。

上記実施形態において、ＣＰＵ５１は、指先の位置の経時的な変化の傾向が所定の条件を満たすと判断された場合（Ｓ２３：ＹＥＳ）、軌跡画像を含む重畳画像を画像表示部１４に表示させた（Ｓ２５）。これに対してＣＰＵ５１は、Ｓ１９で、指先の位置の経時的な変化の傾向が所定の条件の一部を満たすと判断した場合（Ｓ１９：ＹＥＳ）に、軌跡画像を画像表示部１４に表示させてもよい。又、ＣＰＵ５１は、Ｓ１１で、撮影画像に指先が含まれていると判断した場合（Ｓ１１：ＹＥＳ）に、軌跡画像を画像表示部１４に表示させてもよい。これらの場合、ユーザは、軌跡画像を視認することによって、指先の位置の変化の傾向が所定の条件を満たすように指先を移動させることが容易に可能となる。

上記実施形態において、ＣＰＵ５１は、Ｓ２７で、所定の条件に対応する処理を実行した後、軌跡画像を画像表示部１４から消去した。これに対し、ＣＰＵ５１は、処理を実行する前に軌跡画像を画像表示部１４から消去してもよい。

上記実施形態において、カメラ２０とインターフェイス１５とは、無線によって通信が行われてもよい。ＨＤ１０とＣＢ５０とは、無線によって通信が行われてもよい。なおこれらの場合、カメラ２０による撮影が行われてから、ＣＰＵ５１が撮影画像データを受信するまでの間の時間が、上記実施形態の場合よりも長くなる可能性がある。しかしながら、上記実施形態において、ＣＰＵ５１は、遅延時間が所定値よりも小さくない場合（Ｓ１５：ＮＯ）、撮影画像を含む重畳画像を画像表示部１４に表示させない。このため、画像表示部１４に表示される撮影画像によって示される指先の動きが、実像に含まれる指先の動きに比べて大きく遅延することがない。従って、遅延による違和感をユーザに与えることを防止できる。

なお、画像表示部１４が本発明の「表示部」の一例である。カメラ２０が本発明の「撮影部」の一例である。指先が本発明の「対象物」の一例である。撮影画像が本発明の「対象物画像」の一例である。Ｓ１３の処理を行うＣＰＵ５１が本発明の「第１判断手段」の一例である。Ｓ１７，Ｓ２１の処理を行うＣＰＵ５１が本発明の「第１表示手段」の一例である。Ｓ２３の処理を行うＣＰＵ５１が本発明の「第２判断手段」の一例である。Ｓ１９の処理を行うＣＰＵ５１が本発明の「第３判断手段」の一例である。Ｓ２７の処理を行うＣＰＵ５１が本発明の「実行手段」の一例である。Ｓ１６，Ｓ２０の処理を行うＣＰＵ５１が本発明の「生成手段」の一例である。Ｓ２５の処理を行うＣＰＵ５１が本発明の「第２表示手段」の一例である。Ｓ３１の処理を行うＣＰＵ５１が本発明の「消去手段」の一例である。画像テンプレートを記憶するプログラムＲＯＭ５３が本発明の「記憶部」の一例である。

１ ＨＭＤ
３ ハーフミラー
１０ ＨＤ
１４ 画像表示部
２０ カメラ
２１ 光景
２３ コンテンツ画像
２４ 撮影画像
２６ 軌跡画像
５０ ＣＢ
５３ プログラムＲＯＭ
５４ フラッシュＲＯＭ

Claims (13)

1. コンテンツ画像を少なくとも表示可能であり、第１方向に画像光を射出可能な表示部と、
   前記第１方向と反対方向である第２方向の領域を少なくとも含む所定領域を撮影して画像データを出力可能な撮影部と、
   前記撮影部から出力された画像データを取得する取得手段と、
   前記取得手段によって取得された前記画像データに基づいて、前記所定領域内に所定の対象物があるか判断する第１判断手段と、
   前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記コンテンツ画像と対象物画像とを前記表示部に表示する第１表示手段と、
   前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記画像データに基づいて、前記所定領域内での前記対象物の位置の変化の傾向が、所定の条件を満たしているか判断する第２判断手段と、
   前記第２判断手段によって、前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記所定の条件に対応する処理を実行する実行手段と
   を備え、
   前記対象物画像は、前記第１判断手段によって前記対象物が前記所定領域内にあると判断された前記画像データに対応する画像であることを特徴とするヘッドマウントディスプレイ。
2. 前記コンテンツ画像と前記対象物画像とに基づいて、前記コンテンツ画像に前記対象物画像が重畳された重畳画像を生成する生成手段をさらに備え、
   前記第１表示手段は、前記重畳画像を前記表示部に表示することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記生成手段は、前記コンテンツ画像の各画素のα値である第１α値と、前記対象物画像の各画素のα値であって前記第１α値よりも小さい第２α値とを用いて、前記重畳画像を生成することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記対象物の位置の変化の傾向が前記所定の条件の一部を満たしているか判断する第３判断手段を備え、
   前記生成手段は、前記第３判断手段によって前記対象物の位置の変化の傾向が前記所定の条件の一部を満たしていると判断された場合、前記対象物画像の各画素のα値を、前記第２α値よりも大きい第３α値とし、前記第１α値と前記第３α値とを用いて、前記重畳画像を生成することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記第３α値は、前記第１α値よりも小さいことを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記第２判断手段によって前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記対象物の位置を示す軌跡画像を前記コンテンツ画像に重ねて前記表示部に表示する第２表示手段を備えたことを特徴とする請求項１から５の何れかに記載のヘッドマウントディスプレイ。
7. 前記第２表示手段は、前記実行手段によって前記対応する処理が実行される前に、前記軌跡画像を前記表示部に表示することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
8. 前記第２判断手段によって前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記第１表示手段によって表示された前記対象物画像を消去する消去手段を備えたことを特徴とする請求項１から７の何れかに記載のヘッドマウントディスプレイ。
9. 前記消去手段は、前記実行手段によって前記対応する処理が実行された後、前記対象物画像を消去することを特徴とする請求項８に記載のヘッドマウントディスプレイ。
10. 前記取得手段は、前記撮影部によって前記所定領域内が撮影された時の時刻を示す時刻情報を前記撮影部から更に取得し、
    前記第１表示手段は、前記取得手段によって前記時刻情報が取得された時刻と、取得された前記時刻情報によって示される時刻との差が所定値よりも小さい場合にのみ、前記コンテンツ画像と前記対象物画像とを前記表示部に表示し、前記差が所定値よりも小さくない場合、前記対象物画像を前記表示部に表示しないことを特徴とする請求項１から９の何れかに記載のヘッドマウントディスプレイ。
11. 前記第２判断手段は、記憶部に記憶されたテンプレートデータによって示される特定の形状と、前記対象物の位置の変化の傾向とが一致するかを判断することによって、前記対象物の位置の変化の傾向が所定の条件を満たしているか判断することを特徴とする請求項１から１０の何れかに記載のヘッドマウントディスプレイ。
12. 前記実行手段は、前記対象物の位置の変化の傾向と一致すると判断された特定の形状を示すテンプレートデータに関連付けられた特定の処理を実行することを特徴とする請求項１１に記載のヘッドマウントディスプレイ。
13. コンテンツ画像を少なくとも表示可能な表示部を備えたヘッドマウントディスプレイのコンピュータを、
    前記表示部が画像光を射出可能な第１方向と反対方向である第２方向の領域を少なくとも含む所定領域が、撮影部によって撮影された場合に前記撮影部から出力される画像データを取得する取得手段と、
    前記取得手段によって取得された前記画像データに基づいて、前記所定領域内に所定の対象物があるか判断する第１判断手段と、
    前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記コンテンツ画像と対象物画像とを前記表示部に表示する第１表示手段と、
    前記第１判断手段によって、前記対象物が前記所定領域内にあると判断された場合、前記画像データに基づいて、前記所定領域内での前記対象物の位置の変化の傾向が、所定の条件を満たしているか判断する第２判断手段と、
    前記第２判断手段によって、前記対象物の位置の変化の傾向が前記所定の条件を満たしていると判断された場合、前記所定の条件に対応する処理を実行する実行手段と
    して機能させるための制御プログラムであって、
    前記対象物画像は、前記第１判断手段によって前記対象物が前記所定領域内にあると判断された前記画像データに対応する画像であることを特徴とする制御プログラム。

Images