JP2014106698A - 表示装置、頭部装着型表示装置および表示装置の制御方法 - Google Patents

Abstract

【課題】簡単、且つ直感的な操作で各種処理が実行可能なユーザーインターフェースを提供することが可能な頭部装着型表示装置を提供する。
【解決手段】使用者が操作する指示体を検出する指示体検出部と、指示体検出部による指示体の検出をトリガーとして、指示体と連動して動作するポインタＰを虚像表示領域２５に表示するポインタ表示部と、指示体の操作に伴って、ポインタＰが、虚像表示領域２５と、虚像表示領域２５以外の領域である外景視認領域２６との境界２７の近傍に移動した場合、所定の命令を実行する命令実行部５５と、を備える。
【選択図】図３

Description

本発明は、使用者が操作する指示体により操作可能な表示装置、頭部装着型表示装置および表示装置の制御方法に関するものである。

従来、頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ））の操作手段として、人間の手指の所定の動作を検出し、その動作に対応する処理を行うものが知られている。例えば、特許文献１では、使用者の手指に装着したＬＥＤ（発光体）をビデオカメラで撮像することにより手指の動きに対応する入力操作を判別し、その判別した入力操作に基づいて所定の処理を実行することが開示されている。

特開２０００−２９６１９号公報

しかしながら、上述の従来技術の場合、使用者の手指の複雑な動きをビデオカメラで認識する必要があるため制御が複雑になる。また、その複雑な仕組みに反して制御の種類が限られていたり、誤認識しやすいという問題がある。さらに、使用者は、手指の動きがどんな処理を行うための動きなのかを覚えておき、確実にその動きを行わなければならず、必ずしも使い勝手が良いものではないという問題がある。

本発明は、上記の問題に鑑み、簡単、且つ直感的な操作で各種処理が実行可能なユーザーインターフェースを提供することが可能な表示装置、頭部装着型表示装置および表示装置の制御方法を提供することを目的とする。

本発明の表示装置は、使用者が操作する指示体を検出する指示体検出部と、指示体検出部による指示体の検出をトリガーとして、指示体と連動して動作するポインタを所定の表示領域に表示するポインタ表示部と、指示体の操作に伴って、ポインタが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行する命令実行部と、を備えたことを特徴とする。

本発明の頭部装着型表示装置は、画像を虚像として使用者に視認させる透過型の頭部装着型表示装置であって、使用者が操作する指示体を検出する指示体検出部と、指示体検出部による指示体の検出をトリガーとして、指示体と連動して動作するポインタを所定の表示領域に表示するポインタ表示部と、指示体の操作に伴って、ポインタが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行する命令実行部と、を備えたことを特徴とする。

本発明の表示装置の制御方法は、表示装置が、使用者が操作する指示体を検出するステップと、指示体の検出をトリガーとして、指示体と連動して動作するポインタを所定の表示領域に表示するステップと、指示体の操作に伴って、ポインタが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行するステップと、を実行することを特徴とする。

これらの構成によれば、使用者がポインタを表示領域の境界近傍に移動するように指示体を操作するだけで、境界近傍に予め割り当てられた所定の命令（処理）を実行できる。すなわち、使用者は煩雑な操作をすることなく、簡単（単純）、且つ直感的な操作で所定の命令を実行できるため、使い勝手が良い。また、簡単な操作で行えるため（煩雑な操作を必要としないため）、誤認識が少なく、安定して動作するユーザーインターフェースを提供できる。

本発明の表示装置において、所定の命令は、境界の近傍位置に対応して割り当てられていることが好ましい。

この構成によれば、ポインタを移動する位置に応じて様々な命令を割り当てることができるため、使用者の様々なニーズに対応可能なユーザーインターフェースを提供することができる。例えば、表示領域が矩形の場合、その上下左右の境界の近傍に同一命令を割り当てても良いし、それぞれ異なる命令を割り当てても良い。あるいは、右側の境界の近傍であっても、その境界の上方部分、下方部分等の位置毎に、異なる命令を割り当てても良い。

本発明の表示装置において、命令実行部は、指示体検出部により、ポインタが所定の表示領域から境界を越えて表示周辺領域へ移動する方向に指示体が操作されたことを検出した場合、所定の命令を実行することが好ましい。

また、本発明の表示装置において、命令実行部は、ポインタが所定の表示領域から境界を越える方向に移動する際の指示体の移動方向に応じて、異なる命令を実行することが好ましい。

これらの構成によれば、使用者により、ポインタが境界を越える方向に移動する操作が行われた場合に、所定の命令を実行する。また、境界に対するポインタの移動方向（例えば、境界に対して斜め上方に移動する操作なのか、あるいは斜め下方に移動する操作なのか等）に応じて、異なる命令を実行することにより、拡張性の高い（自由度の高い）ユーザーインターフェースを提供することができる。

本発明の表示装置において、命令実行部は、指示体検出部により、ポインタが境界に沿って移動する指示体の操作を検出した場合、所定の命令を実行することが好ましい。

また、本発明の表示装置において、命令実行部は、ポインタが境界に沿って移動する際の移動方向に応じて、異なる命令を実行することが好ましい。

これらの構成によれば、使用者により、ポインタが境界に沿って移動する操作が行われた場合に、所定の命令を実行する。また、境界に沿って移動する方向（例えば、境界に沿って上方向に移動するのか、下方向に向かって移動するのか等）に応じて、異なる命令を実行することにより、拡張性の高い（自由度の高い）ユーザーインターフェースを提供することができる。

本発明の表示装置において、命令実行部は、表示されているコンテンツに応じた所定の命令を実行することが好ましい。

この構成によれば、表示するコンテンツ毎に、当該コンテンツに適した命令を実行することができる。なお、コンテンツとは、画像（静止画像、動画像）や音声等からなる情報内容や、アプリケーション等を意味する。

本発明の表示装置において、ポインタが、所定の表示領域と表示周辺領域との境界の近傍に移動した場合、当該ポインタの形状を変化させることが好ましい。

この構成によれば、ポインタの形状によって、ポインタが境界の近傍（すなわち、所定の命令が実行される位置）に移動したことを、使用者に報知することができる。

本発明の表示装置において、所定の命令は、アイコンを表示するための命令であることが好ましい。

この構成によれば、ポインタが境界の近傍に移動したときに、アイコンを表示する。例えば、表示装置が、使用者に対して虚像と外景とを同時に視認させることが可能な透過型の装置の場合、常にアイコンを表示しておくと、アイコンが使用者の視界を妨げる（視界の邪魔になる）ことが考えられる。このため、例えば、通常はアイコンを表示せず、ポインタの動作をトリガーとしてアイコンを表示することで、アイコンによって使用者の視界を妨げることを抑制できる。

上記に記載の表示装置において、表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、指示体検出部は、使用者が、透過型の表示装置の使用者側の反対側である表示装置の外側前方で操作する指示体を検出することを特徴とする。

この構成によれば、透過型の表示装置において、使用者から見て表示装置を越えて外側（前方）で操作される指示体を検出することができる。

上記に記載の表示装置であって、表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、透過型の表示装置の画像表示部は、表示対象となる画像データを用いて画像を表す画像光を生成して射出させる画像光生成部と、射出された画像光を使用者の眼に導く光学部材と、を含み、外景の光を光学部材を透過して画像光と共に使用者の眼に入射させることを特徴とする。

この構成によれば、使用者が虚像と外景とを同時に視認可能な透過型の表示装置にも適用することができる。

本発明の頭部装着型表示装置において、指示体検出部は、頭部装着型表示装置を装着した状態における使用者の前方を撮像することで、指示体を検出することが好ましい。

この構成によれば、頭部装着型表示装置を装着した状態における使用者の前方の撮像結果に基づいて、使用者が操作する指示体を検出する。言い換えれば、使用者が頭部装着型表示装置を装着し、眼の前（装置の前）で操作する指示体を撮像して検出できる。

第１実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 使用者が視認可能な虚像および外景の一例について説明する図である。 第１実施形態に係る頭部装着型表示装置の機能構成について説明するブロック図である。 指示体の操作によりメニュー画面を表示する処理を実行する場合について説明する図である。 指示体の操作によって表示するメニュー画面の一例を説明する図である。 拡大処理を実行する場合について説明する図である。 縮小処理を実行する場合について説明する図である。 ページ送り処理を実行する場合について説明する図である。 ページ戻し処理を実行する場合について説明する図である。 回転処理を実行する場合について説明する図である。 拡大処理および回転処理を同時に実行する場合について説明する図である。 縮小処理および回転処理を同時に実行する場合について説明する図である。 第２実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 第２実施形態に係る頭部装着型表示装置の機能構成について説明するブロック図である。

［第１実施形態］
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、頭部装着型表示装置および表示装置の制御方法について説明する。図１は、本発明の一実施形態における表示装置としての頭部装着型表示装置ＨＭの外観構成を示す説明図である。頭部装着型表示装置ＨＭは、使用者が頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置ＨＭは、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置ＨＭ（透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ）であり、眼鏡形状を有している。

頭部装着型表示装置ＨＭは、右保持部１１と、右表示駆動部１２と、左保持部１３と、左表示駆動部１４と、右光学像表示部１５と、左光学像表示部１６と、センサー１７とを有している。

右光学像表示部１５および左光学像表示部１６は、頭部装着型表示装置ＨＭの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部１５の一端と、左光学像表示部１６の一端は、それぞれ、頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部１５の他端である端部ＥＲからは、右保持部１１が延伸している。同様に、左光学像表示部１６の他端である端部ＥＬからは、左保持部１３が延伸している。

右保持部１１は、右光学像表示部１５の端部ＥＲから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部１５とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部１３は、左光学像表示部１６の端部ＥＬから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部１６とほぼ直角を成すように延伸して設けられた部材である。右保持部１１と、左保持部１３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に頭部装着型表示装置ＨＭを保持する。

右表示駆動部１２は、右保持部１１の内側、換言すれば、頭部装着型表示装置ＨＭの装着時における使用者の頭部に対向する側であって、右光学像表示部１５の端部ＥＲ側に配置されている。また、左表示駆動部１４は、左保持部１３の内側であって、左光学像表示部１６の端部ＥＬ側に配置されている。

センサー１７は、頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置に配置されている撮像装置である。センサー１７は、頭部装着型表示装置ＨＭを装着した状態における使用者の視界方向（使用者の前方）の外景を撮像し、使用者が操作する指示体を含んだ画像を取得し、取得した画像の画像信号を出力する。すなわち、頭部装着型表示装置ＨＭにおける使用者側とは反対側（頭部装着型表示装置ＨＭの外側前方）で操作される指示体を撮像する。本実施例のセンサー１７による撮像範囲は、頭部装着型表示装置ＨＭを装着したときの使用者の視界２１（図２参照）よりも広い範囲となっている。

なお、指示体としては、例えば、使用者の指先、使用者が装着する指輪型入力装置、使用者が持つペンのペン先、リモコンの発光体等を用いることができる。指示体として使用者の指先やペン先等を用いる場合は、例えば、指先やペン先等を特徴点（特定点）として認識し、位置を検出すればよい。また、指輪型入力装置を用いる場合、例えば、指輪型入力装置に赤外線発光体（ＬＥＤ等）を取り付け、その赤外線光により位置を検出しても良いし、あるいは、指輪型入力装置を装着している使用者の指先を特徴点として認識し、位置を検出しても良い。さらには、使用者によって仮想的に保持されている任意の物を指示体とすることも可能である。「仮想的に保持する任意の物」とは、例えば、使用者の手の形がペンを握る形になった場合、その手に沿うように仮想的に想定されるペン等を意味する。このような場合であっても、上記と同様に、仮想的に保持されている物の任意の場所（例えば、仮想的に想定されるペンのペン先）を指示体として認識し、ペン先の軌跡等を特徴点として認識し、位置を検出することができる。

また、本実施例では、１つのセンサー１７を例示しているが、複数のセンサー１７が備えられていても良い。また、本実施例では、センサー１７として撮像装置（撮像センサー）を例示しているが、これに限るものではなく、指示体を検出できるものであればその種類（検出方法）は問わない。例えば、センサー１７として、レーザーセンサー、超音波センサー等を用いることも可能であり、複数種類の検出方法を組み合わせてもよい。

頭部装着型表示装置ＨＭは、さらに、右耳用の右イヤホン１８および左耳用の左イヤホン１９を有している。右イヤホン１８および左イヤホン１９は、使用者が頭部装着型表示装置ＨＭを装着した際に、それぞれ右および左の耳に装着される。

次に、図２を参照して、頭部装着型表示装置ＨＭを装着した使用者が視認可能な虚像および外景の一例について説明する。図２に示すように、頭部装着型表示装置ＨＭを装着した使用者の視界２１には、頭部装着型表示装置ＨＭが生成する虚像２２が表示される。また、使用者の視界２１の内、虚像２２が表示される領域以外の領域には、使用者は右光学像表示部１５および左光学像表示部１６を透過して、外景２３を見ることができる（以下、虚像２２が表示される領域を「虚像表示領域２５」と称し、これ以外の領域を「外景視認領域２６」と称す）。また、本実施例の頭部装着型表示装置ＨＭでは、使用者の視界２１の内の虚像２２が表示される領域（虚像表示領域２５）についても、虚像２２の背後に外景２３が透けて見えるようになっている。なお、詳細は後述するが、虚像表示領域２５と外景視認領域２６との境界２７（虚像表示領域２５の縁部）の近傍には、所定の処理を実行するための各種命令が割り当てられており、使用者による指示体の操作により実行することができる。

次に、図３を参照して、頭部装着型表示装置ＨＭの機能構成について説明する。図３に示すように、頭部装着型表示装置ＨＭは、使用者に虚像を視認させる画像表示部４０と、センサー１７と、右イヤホン１８と、左イヤホン１９と、電源部７１と、インターフェース７２と、これら各部を制御する制御部３０とを有している。

電源部７１は、頭部装着型表示装置ＨＭの各部に電力を供給する。インターフェース７２は、画像（静止画像、動画像）や音声等のコンテンツの供給元となる種々の外部機器ＯＡを接続するためのものである。外部機器ＯＡとしては、例えば、パーソナルコンピュータ（ＰＣ）や携帯端末（携帯電話やスマートフォン等）、ゲーム端末等がある。インターフェース７２としては、例えばＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース、無線ＬＡＮインターフェース等を採用することができる。

制御部３０は、ＣＰＵ（Central Processing Unit）５０と、記憶部６０とを有している。記憶部６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等により構成されており、種々のコンピュータープログラムが格納されている。ＣＰＵ５０は、記憶部６０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）５１や、画像処理部５２、表示制御部５３、画像解析部５４、命令実行部５５、音声処理部５６として機能する。

画像処理部５２は、インターフェース７２を介して入力されたコンテンツ等に基づいて画像表示部４０に供給するための信号を生成し、画像表示部４０へ送信する。画像表示部４０に供給するための信号は、アナログ形式とデジタル形式の場合で異なる。

例えば、アナログ形式の場合、画像処理部５２はクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部５２は、コンテンツに含まれる画像信号（例えば、１秒あたり３０枚のフレーム画像から構成されるアナログ信号）を取得し、取得した画像信号から垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃ等の同期信号を分離する。そして、画像処理部５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等に応じて図示しないＰＬＬ回路等を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部５２は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてデジタル画像信号に変換して画像データＤａｔａを生成する。

一方、デジタル形式の場合、画像処理部５２は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがデジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力される。このため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃおよびアナログ画像信号のＡ／Ｄ変換が不要となる。

なお、画像処理部５２は、必要に応じて画像データＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった色調補正処理や、キーストン補正処理等の画像処理を実行しても良い。

表示制御部５３は、右表示駆動部１２および左表示駆動部１４を制御する制御信号を生成し、画像表示部４０に送信することにより、画像表示部４０における画像表示状態を制御する。具体的には、表示制御部５３は、制御信号により、右ＬＣＤ制御部８３による右ＬＣＤ８４の駆動のＯＮ／ＯＦＦや、右バックライト制御部８１による右バックライト８２の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部９３による左ＬＣＤ９４の駆動ＯＮ／ＯＦＦや、左バックライト制御部９１による左バックライト９２の駆動のＯＮ／ＯＦＦ等を個別に制御することにより、右表示駆動部１２および左表示駆動部１４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部５３は、右表示駆動部１２および左表示駆動部１４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

画像解析部５４は、センサー１７によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部５４は、画像解析により指示体を検出し、その位置情報を出力する。画像処理部５２や表示制御部５３は、出力された指示体の位置情報に基づき、画像表示部４０に指示体に対応するポインタＰ（図４（ａ）参照）を表示させる。なお、請求項における指示体検出部は、センサー１７および画像解析部５４を主要な構成要素とする。また、請求項におけるポインタ表示部は、画像処理部５２および表示制御部５３を主要な構成要素とする。

命令実行部５５は、指示体の操作に伴うポインタＰの移動位置や移動方向に応じて各種命令を実行する。具体的には、ポインタＰが虚像表示領域２５と外景視認領域２６との境界２７の近傍（いずれも図２参照）に移動した場合や、ポインタＰが虚像表示領域２５から境界２７を越えて外景視認領域２６へ移動する方向に指示体が操作された場合や、ポインタＰが境界２７に沿って移動された場合等に、予め割り当てられた各種命令（処理）を実行する（詳細は後述する）。すなわち、本実施例では、請求項における「所定の表示領域」は虚像表示領域２５に相当し、「表示周辺領域」は外景視認領域２６に相当する。また、虚像表示領域２５と外景視認領域２６との境界２７とは、ポインタＰを表示することが可能な（ポインタＰを移動することが可能な）限界を示すものである。

音声処理部５６は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン１８および左イヤホン１９に送信する。

画像表示部４０は、右表示駆動部１２と、左表示駆動部１４と、右光学像表示部１５としての右導光板８６と、左光学像表示部１６としての左導光板９６と、を有している。なお、以下の説明では、右光学像表示部１５および右導光板８６と、左光学像表示部１６および左導光板９６と、を総称して「光学部材」とも呼ぶ。

右表示駆動部１２、光源として機能する右バックライト（ＢＬ）制御部８１および右バックライト（ＢＬ）８２と、表示素子として機能する右ＬＣＤ制御部８３および右ＬＣＤ８４と、右投写光学系８５を含んでいる。なお、以下の説明では、右バックライト制御部８１、右バックライト８２、右ＬＣＤ制御部８３および右ＬＣＤ８４を総称して「画像光生成部」とも呼ぶ。

右バックライト制御部８１は、入力された制御信号に基づいて、右バックライト８２を駆動制御する。右バックライト８２は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部８３は、入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右目用の画像データＤａｔａとに基づいて、右ＬＣＤ８４を駆動制御する。右ＬＣＤ８４は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系８５は、右ＬＣＤ８４から射出された画像光を投写するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部１５としての右導光板８６は、光透過性の樹脂素材等によって形成され、右投写光学系８５から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系８５と右導光板８６とを総称して「導光部」とも呼ぶ。導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方法を用いることができ、例えば、回折格子（一例としてホログラム素子）を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部１４は、右表示駆動部１２と同様に、左バックライト（ＢＬ）制御部９１と、左バックライト（ＢＬ）９２と、左ＬＣＤ制御部９３と、左ＬＣＤ９４と、左投写光学系９５とを含んでいる（上記の右表示駆動部１２と同様に、左バックライト制御部９１、左バックライト９２、左ＬＣＤ制御部９３および左ＬＣＤ９４を総称して「画像光生成部」とも呼ぶ）。左表示駆動部１４に含まれる各要素の構成や機能は、右表示駆動部１２に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部１６としての左導光板９６は、光透過性の樹脂素材等によって形成され、左投写光学系９５から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。

このようにして、頭部装着型表示装置ＨＭの使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図２に示すように虚像表示領域２５内に虚像２２を視認する。

次に、図４ないし図１２を参照して、使用者による指示体の操作に伴って、頭部装着型表示装置ＨＭにより虚像表示領域２５に表示されるポインタＰの移動により各種命令を実行する手順の一例について説明する。図４および図５は、指示体の操作（ポインタＰの移動）によりメニュー画面を表示する処理を実行する場合について説明する図である。図６および図７は、画像等の拡大処理や縮小処理を実行する場合について説明する図である。図８および図９は、文書画像等のページ移動処理（ページ送り処理やページ戻し処理）を説明する図である。図１０は、画像等の回転処理を実行する場合について説明する図である。また、図１１および図１２は、画像等の拡大縮小処理および回転処理を同時に実行する場合について説明する図である。

まず、図４および図５を参照して、メニュー画面の表示処理を実行する場合の手順（メニュー画面を表示するためのユーザーインターフェース）の一例について説明する。図４（ａ）に示すように、使用者が操作する指示体が虚像表示領域２５内で検出されると（正確には、指示体が、虚像表示領域２５と重複するセンサー１７の撮像領域内で検出されると）、頭部装着型表示装置ＨＭは、指示体の検出位置に基づいて虚像表示領域２５にポインタＰ（円形）を表示する。また、頭部装着型表示装置ＨＭは、虚像表示領域２５と外景視認領域２６との境界２７の近傍に割り当てられた命令を実行可能にするためのモード（以下、「入力スタンバイモード」と称す）に遷移する処理を実行する。

なお、虚像表示領域２５外で指示体を検出した場合は、頭部装着型表示装置ＨＭは、例えば、指示体の検出方向を示す矢印形状のポインタを表示したり、あるいはポインタを点線表示する等して、使用者に対して指示体が虚像表示領域２５の外にある旨を報知する。また、この場合、頭部装着型表示装置ＨＭは、「入力スタンバイモード」には遷移しない。

次に、図４（ｂ）に示すように、入力スタンバイモードの状態で、使用者による指示体の操作によりポインタＰが境界２７の近傍（図４（ｂ）では、一例として、虚像表示領域２５の右側の境界２７ａの近傍とする）に移動すると、頭部装着型表示装置ＨＭは、境界２７の近傍（虚像表示領域２５と外景視認領域２６との境界２７における、虚像表示領域２５の内側の近傍）に割り当てられた命令を受け付けるモード（以下、「命令受付モード」と称す）へ遷移する処理を実行し（命令受付モードへの遷移命令を実行し）、ポインタＰの形状を半円状に変形したポインタＰ１を表示すると共に、境界２７に沿って（境界２７の虚像表示領域２５側（虚像表示領域２５の内側）に沿って）枠１０１（図中の網掛け部分）を表示する。ポインタＰの形状の変形および枠１０１を表示することで、使用者は命令受付モードになったことを認識することができる。なお、半円状のポインタＰ１は、虚像表示領域２５の境界２７の近傍から離れた位置に移動されると（虚像表示領域２５の中央に向かって移動されると）、その形状は元の円形のポインタＰに戻る。

ここで、境界２７ａの近傍にはメニュー画面を表示するための「メニュー画面表示命令」が割り当てられているため、頭部装着型表示装置ＨＭは、上述の命令受付モードに遷移する処理と同時に「メニュー画面表示命令」を実行し、図４（ｃ）に示すような、虚像表示領域２５に種々のアイコンＩＣから成るメニュー画面Ｄ０１を表示する。なお、図４（ｃ）では、アイコンＩＣから成るメニュー画面Ｄ０１のみを表示しているが、例えば、メニュー画面Ｄ０１の背後に、他の虚像（例えば、画像や映像等のコンテンツ）が表示されていても良い（他の虚像に重畳するようにメニュー画面Ｄ０１を表示しても良い）。

なお、上述では、ポインタＰが虚像表示領域２５の右側の境界２７ａの近傍に移動することで「命令受付モード」に遷移する処理を実行しているが、あくまでも一例であり、これに限るものではない。例えば、ポインタＰが左側の境界２７ｂの近傍や、上側の境界２７ｃの近傍や、下側の境界２７ｄの近傍に移動した場合にも「命令受付モード」に遷移する処理を実行することが可能である。

また、上述では、虚像表示領域２５の右側の境界２７ａの近傍に「メニュー画面表示命令」が割り当てられているものとしているが、あくまでも一例であり、例えば、左側の境界２７ｂの近傍、上側の境界２７ｃの近傍、下側の境界２７ｄの近傍等に命令を割り当てることも可能である（すなわち、境界２７の近傍であれば、命令を割り当てる位置は問わない）。なお、境界２７ａ（２７）の近傍に命令が割り当てられていない場合は、ポインタＰの形状を禁止マークで表示することで、その旨を使用者に報知する。

また、図４（ｂ）では、便宜上、枠１０１を網掛けで表現しているが、実際には、使用者が識別可能な色（例えば、白色や灰色や赤色等）で枠１０１を表示すれば良い。また、枠１０１を、実線ではなく点線で表示するようにしても良いし、枠線なしでも良い。また、図４（ｂ）では、「命令受付モード」に遷移した場合、円状のポインタＰを半円状のポインタＰ１に変形表示しているが、これに限るものではない。例えば、ポインタＰのサイズを大きくしたポインタを表示しても良いし、２重丸形状のポインタ等を表示しても良い。これらは、以下の説明においても同様である。

また、図４（ｃ）のメニュー画面Ｄ０１におけるアイコンＩＣの配置はあくまでも一例であり、これに限るものではない。すなわち、図４（ｃ）では、アイコンＩＣを虚像表示領域２５の左端側（および角部）に配置したメニュー画面Ｄ０１を例示しているが、例えば、アイコンＩＣを虚像表示領域２５の右端側に配置したメニュー画面を表示しても良いし、あるいは、アイコンＩＣを左右両端に配置したメニュー画面を表示しても良い。または、アイコンＩＣを虚像表示領域２５の中央付近に配置したメニュー画面を表示しても良い。

さらに、メニュー画面として、図５に示すような複数のアイコンＩＣをリング状に配置したメニュー画面Ｄ０２を表示しても良い。メニュー画面Ｄ０２は、所定の回転操作によってアイコンＩＣをリングの周方向に回転させることで所望のアイコンＩＣを選択可能にする。また、左側に配置されたインジケーター１０２のマークを指定することによって、表示するアイコン群ＩＣＧを切り替え可能とする。図５（ａ）は一番上のインジケーター１０２のマークを指定した場合のメニュー画面Ｄ０２の一例であり、図５（ｂ）は２番目のインジケーター１０２のマークを指定した場合のメニュー画面Ｄ０２の一例である。

なお、頭部装着型表示装置ＨＭの設定状況に応じて、表示するメニュー画面を切り替えるようにしても良い。例えば、頭部装着型表示装置ＨＭが、屋外使用を目的としたモードに設定されている場合は、図４（ｃ）のように虚像表示領域２５の端にアイコンＩＣを配置したメニュー画面Ｄ０１を表示し（すなわち、できるだけ視界をさえぎらないようにアイコンＩＣを配置したメニュー画面を表示し）、室内使用を目的としたモード（例えば、映画等を視聴する場合のモード）に設定されている場合は、図５のようなメニュー画面Ｄ０２を表示するようにしても良い。

次に、図６および図７を参照して、画像の拡大縮小処理（拡大縮小命令）を実行する場合の手順（拡大縮小処理を実行するためのユーザーインターフェース）の一例について説明する。なお、指示体の検出から命令受付モードに遷移するまでの手順は上述と同様であるため説明を省略する。以下の説明においても同様である。

図６（ａ）に示すように、命令受付モードに遷移した状態で、使用者により画像Ｇ１において拡大対象となる範囲１１１が指定された後、指示体の操作によりポインタＰ１が右側の境界２７ａに対して斜め右上方向に、虚像表示領域２５から境界２７ａを越えて外景視認領域２６に移動するように操作された場合（矢印Ａの方向に指示体が操作された場合。但し、ポインタＰ１は虚像表示領域２５外に移動することはない）、頭部装着型表示装置ＨＭは、図６（ｂ）に示すように、指定された範囲１１１の画像を所定の倍率で拡大する拡大処理（拡大命令）を実行し、その実行結果である拡大画像１１２を表示する。

この時、頭部装着型表示装置ＨＭは、ポインタＰ１の形状を拡大処理が行われたことを示す図形（ポインタＰ２）に変更すると共に、虚像表示領域２５の所定の位置に拡大処理が行われたことを示すプラス記号１１３を表示する。また、使用者が拡大操作を繰り返すことにより、拡大処理の限界に到達した場合は（これ以上拡大できない状態になった場合は）、頭部装着型表示装置ＨＭはポインタを禁止マークの形状に変更して表示する。

なお、図６（ｃ）に示すように、使用者によりポインタＰ１が右側の境界２７ａに沿って上方向に移動するように指示体が操作された場合（矢印Ｂの方向に指示体（ポインタＰ１）が移動された場合）も、上述と同様に拡大処理（拡大命令）を実行することが可能である。

一方、図７（ａ）に示すように、命令受付モードに遷移した状態で、使用者により画像Ｇ１において縮小対象となる範囲１１１が指定された後、指示体の操作によりポインタＰ１が右側の境界２７ａに対して斜め右下方向に、虚像表示領域２５から境界２７ａを越えて外景視認領域２６に移動するように操作された場合（矢印Ｃの方向に指示体が操作された場合）、頭部装着型表示装置ＨＭは、図７（ｂ）に示すように、指定された範囲１１１の画像を所定の倍率で縮小する縮小処理（縮小命令）を実行し、その実行結果である縮小画像１１４を表示する。

この時、頭部装着型表示装置ＨＭは、ポインタＰ１の形状を縮小処理が行われたことを示す図形（ポインタＰ３）に変更すると共に、虚像表示領域２５の所定の位置に、縮小処理を示すマイナス記号１１５を表示する。また、使用者が縮小操作を繰り返すことにより、縮小処理の限界に到達した場合は（これ以上縮小できない状態になった場合は）、頭部装着型表示装置ＨＭは、ポインタを禁止マークの形状に変更して表示する。

なお、図７（ｃ）に示すように、使用者によりポインタＰ１が右側の境界２７ａに沿って下方向に移動するように指示体が操作された場合（矢印Ｄの方向に指示体（ポインタＰ１）が移動された場合）も、上述と同様に縮小処理（縮小命令）を実行することが可能である。

なお、上述では、使用者が指定した範囲１１１に対して拡大処理や縮小処理を実行しているが、例えば、範囲を指定せずに画像Ｇ１全体を拡大または縮小することも可能である。また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、半円状のポインタＰ１の形状を、実行した処理内容に応じた形状（ポインタＰ２やポインタＰ３の形状）に変更して表示しているが、あくまでも一例であり、ポインタＰ１を上記とは異なる形状（図形）に変更しても良い。

また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、拡大処理を示すプラス記号１１３および縮小処理を示すマイナス記号１１５を表示しているが、これに限るものではない。例えば、拡大処理や縮小処理が認識できるようなインジケーター等を表示するようにしても良い。すなわち、使用者に処理内容を認識させることが可能であれば、その形状や手段は問わない。これらは、以下の説明においても同様である。

また、上述では画像Ｇ１の拡大縮小について説明したが、例えば、ワードプロセッサ等を用いてテキスト入力を行う場合に、上記と同様の操作で、テキスト入力画面を拡大したり、あるいは縮小したりすることも可能である。

次に、図８および図９を参照して、画像のページ送りやページ戻しを行うページ移動処理（ページ移動命令）を実行する場合の手順（ページ移動処理ためのユーザーインターフェース）の一例について説明する。

図８（ａ）に示すように、虚像表示領域２５に電子書籍等の文書画像Ｇ２の１ページ目を表示した状態で命令受付モードに遷移した後、指示体の操作によりポインタＰ１が虚像表示領域２５の下側の境界２７ｄに対して斜め右下方向に、虚像表示領域２５から境界２７ｄを越えて外景視認領域２６に移動するように操作された場合（矢印Ｅの方向に指示体が操作された場合）、頭部装着型表示装置ＨＭは、図８（ｂ）に示すように、表示されている１ページ目の文書画像Ｇ２をページ送りし、２ページ目の文書画像Ｇ２を表示する処理（ページ送り命令）を実行する。

この時、頭部装着型表示装置ＨＭは、ポインタＰ１の形状をページ送り処理が行われたことを示す矢印形状の図形（右矢印形状のポインタＰ４）に変更して表示する。また、使用者がページ送り操作を繰り返すことによりページ送り処理の限界に到達した場合は（例えば、最後のページを表示した状態でページ送り操作が行われた場合は）、頭部装着型表示装置ＨＭは、ポインタを禁止マークの形状に変更して表示する。

なお、図８（ｃ）に示すように、使用者によりポインタＰ１が下側の境界２７ｄに沿って右方向に移動するように指示体が操作された場合（矢印Ｆの方向に指示体（ポインタＰ１）が移動された場合）も、上述と同様にページ送り処理を実行することが可能である。

一方、図９（ａ）に示すように、命令受付モードにおいて、虚像表示領域２５に電子書籍等の文書画像Ｇ２の２ページ目を表示した状態で、指示体の操作によりポインタＰ１が下側の境界２７ｄに対して斜め左下方向に、虚像表示領域２５から境界２７ｄを越えて外景視認領域２６に移動するように操作された場合（矢印Ｇの方向に指示体が操作された場合）、頭部装着型表示装置ＨＭは、図９（ｂ）に示すように、表示されている２ページ目の文書画像Ｇ２をページ戻しし、１ページ目の文書画像Ｇ２を表示する処理（ページ戻し命令）を実行する。

この時、頭部装着型表示装置ＨＭは、ポインタＰ１の形状をページ戻し処理が行われたことを示す矢印形状の図形（左矢印形状のポインタＰ５）に変更して表示する。また、使用者がページ戻し操作を繰り返すことにより、ページ戻し処理の限界に到達した場合は（例えば、最初のページを表示した状態でページ戻し操作が行われた場合は）、頭部装着型表示装置ＨＭは、ポインタを禁止マークの形状に変更して表示する。

なお、図９（ｃ）に示すように、使用者によりポインタＰ１が下側の境界２７ｄに沿って左方向に移動するように指示体が操作された場合（矢印Ｈの方向に指示体（ポインタＰ１）が移動された場合）も、上述と同様にページ戻し処理を実行することが可能である。

次に、図１０を参照して、画像の回転処理（回転命令）を実行する場合の手順（回転処理を実行するためのユーザーインターフェース）の一例について説明する。

図１０（ａ）に示すように、虚像表示領域２５に画像Ｇ３を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタＰ１が右上隅の境界２７ｅに対して斜め右上方向に、虚像表示領域２５から右上隅の境界２７ｅを越えて外景視認領域２６に移動するように操作された場合（矢印Ｉの方向に指示体が操作された場合）、頭部装着型表示装置ＨＭは、図１０（ｂ）に示すように、表示されている画像Ｇ３を時計周りに９０度回転する処理（回転命令）を実行する。この時、頭部装着型表示装置ＨＭは、ポインタＰ１の形状を回転処理が行われたことを示す矢印形状の図形（ポインタＰ６）に変更して表示する。

なお、ポインタＰ１が境界２７の残りの３隅（右下隅の境界２７ｆ、左上隅の境界２７ｇ、左下隅の境界２７ｈ）に対して虚像表示領域２５から境界２７を越えて外景視認領域２６に移動するように指示体が操作された場合においても、上述と同様に回転処理（表示されている画像Ｇ３を時計周りに９０度回転する処理）を実行することができる。

また、上述では、１回の回転操作で画像Ｇ３を時計周りに９０度回転するものとしているが、あくまでも一例であり、回転方向および回転角度は任意である。すなわち、回転方向を反時計回りとしても良いし、１回の回転操作で、例えば４５度ずつ回転させるようにしても良い。また、境界２７のそれぞれの角部（右上隅の境界２７ｅ、右下隅の境界２７ｆ、左上隅の境界２７ｇ、左下隅の境界２７ｈ）に応じて、回転方向や回転角度を個別に設定することも可能である。

次に、図１１および図１２を参照して、画像の拡大縮小処理（拡大縮小命令）および回転処理（回転命令）を同時に実行する場合の手順（拡大縮小処理＋回転処理ためのユーザーインターフェース）の一例について説明する。

図１１（ａ）に示すように、虚像表示領域２５に画像Ｇ４を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタＰが右回転しながら右側の境界２７ａに接触するように操作された場合（矢印Ｊのように、指示体の移動軌跡がらせんを描くように操作された場合）、頭部装着型表示装置ＨＭは、図１１（ｂ）に示すように、表示されている画像Ｇ４を拡大しながら時計周りに回転させる処理（拡大命令＋回転命令）を実行する。この時、頭部装着型表示装置ＨＭは、ポインタＰの形状を拡大回転処理が行われたことを示す渦巻状の図形（ポインタＰ７）に変更して表示する。

画像の拡大比率の制御方法としては、例えば、ポインタＰが右側の境界２７ａに接触するスピードや、接触回数や、境界２７ａとの接触角度等を考慮して制御する。また、画像の回転角度の制御方法としては、例えば、右側の境界２７ａを越えた部分の指示体の回転度合で回転量を制御する。

一方、図１２（ａ）に示すように、虚像表示領域２５に画像Ｇ４を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタＰが左回転しながら右側の境界２７ａに接触するように操作された場合（矢印Ｋのように、指示体の移動軌跡がらせんを描くように操作された場合）、頭部装着型表示装置ＨＭは、図１２（ｂ）に示すように、表示されている画像Ｇ４を縮小しながら反時計周りに回転させる処理（縮小命令＋回転命令）を実行する。この時、頭部装着型表示装置ＨＭは、ポインタＰの形状を縮小回転処理が行われたことを示す渦巻状の図形（ポインタＰ８）に変更して表示する。

画像の縮小比率の制御方法としては、例えば、ポインタＰが右側の境界２７ａに接触するスピードや、接触回数や、境界２７ａとの接触角度等を考慮して制御する。また、画像の回転角度の制御方法としては、例えば、右側の境界２７ａに接触後のポインタＰ（指示体）の回転度合で回転量を制御する。

なお、使用者が拡大回転操作や縮小回転操作を繰り返すことにより、拡大処理または縮小処理の限界に到達した場合は（これ以上拡大または縮小できない状態になった場合は）、頭部装着型表示装置ＨＭは、ポインタを禁止マークの形状に変更して表示する。

以上説明したように、第１実施形態によれば、使用者がポインタＰを虚像表示領域２５の境界２７の近傍に移動するように指示体を操作するだけで、境界２７の近傍に予め割り当てられた所定の命令（処理）を実行できる。すなわち、使用者は煩雑な操作をすることなく、簡単（単純）、且つ直感的な操作で所定の命令を実行できるため、使い勝手が良い。また、簡単な操作で行えるため、誤認識が少なく、安定して動作するユーザーインターフェースを提供できる。

なお、本実施例で説明した拡大縮小処理、ページ移動処理、回転処理等を行うための命令を組み合わせて割り当てても良い。例えば、虚像表示領域２５に１の画像を表示した状態で、虚像表示領域２５の左右の境界２７ｂ、２７ａに対して操作を行った場合は、拡大縮小処理（拡大縮小命令）を実行し、上下の境界２７ｃ、２７ｄに対して操作を行った場合は、ページ移動処理（ページ移動命令）を実行し、四隅の境界２７ｅ〜２７ｈに対して操作を行った場合は回転処理（回転命令）を実行することも可能である。

また、本実施例で述べた各種命令を実行するための指示体の操作方法（各種命令を実行するためのポインタＰの動き）は一例であり、これに限るものではない。

また、本実施例における各種命令の割り当て位置は一例であり、これに限るものではない。例えば、虚像表示領域２５の左右の境界２７ｂ、２７ａに対してページ移動命令を割り当てても良いし、上下の境界２７ｃ、２７ｄに対して拡大縮小命令を割り当てても良い。

また、本実施例で説明した命令以外の命令を割り当てることも可能である。例えば、虚像表示領域２５に映画を表示している場合には、右側の境界２７ａに音量を調節する命令を割り当て、下側の境界２７ｄに映像の早送り／巻き戻し等を実行する命令を割り当てる等、コンテンツに応じた命令を割り当てることが可能である。つまり、コンテンツに応じて、各境界２７の近傍に異なる命令を割り当ても良い。

また、本実施例では、虚像表示領域２５の上下左右の境界２７（２７ａ〜２７ｄ）の近傍にそれぞれ異なる命令を割り当てることについて説明したが、同一の命令を割り当てることも可能である。また、例えば、右側の境界２７ａの近傍であっても、その境界２７ａの上方部分、下方部分等の位置（近傍位置）毎に、異なる命令を割り当てることも可能である。

また、本実施例では、虚像表示領域２５の大きさが、外景視認領域２６の大きさよりも小さい場合を例示しているが、これに限るものではない。虚像表示領域２５と外景視認領域２６の大きさが同じである場合（言い換えれば、虚像表示領域２５が視界２１と同等の大きさの場合）、あるいは虚像表示領域２５が外景視認領域２６よりも大きい場合（言い換えれば、虚像表示領域２５が視界２１よりも大きい場合）においても、本発明は適用可能である。後者の場合、請求項における「所定の表示領域」は外景視認領域２６の縁部（視界２１の縁部）となり、「表示周辺領域」は外景視認領域２６の外側の領域、すなわち視界２１の外側の領域となる。

［第２実施形態］
次に、図１３および図１４を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、使用者に虚像を視認させる画像表示部４０や画像表示部４０を制御する制御部３０等を１つの筐体内（装置内）に実装して頭部装着型表示装置ＨＭを実現しているが、本実施形態では、これらを別々の装置として実現して接続することで頭部装着型表示装置ＨＭを構成する。以下、第１実施形態と異なる点を説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図１３は、第２実施形態に係る頭部装着型表示装置ＨＭの外観構成を示す説明図である。頭部装着型表示装置ＨＭは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示装置３００と、画像表示装置３００を制御するコントローラー２００（制御装置）と、を備えている。請求項における表示装置は、コントローラー２００および画像表示装置３００を主要な構成要素とする。

画像表示装置３００は、右保持部１１、右表示駆動部１２、左保持部１３、左表示駆動部１４、右光学像表示部１５、左光学像表示部１６、およびセンサー１７に加え、画像表示装置３００をコントローラー２００に接続するための接続部３１０を有している。

接続部３１０は、コントローラー２００に接続される本体コード３１１と、本体コード３１１が２本に分岐した右コード３１２と、左コード３１３と、分岐点に設けられた連結部材３１４と、を含んでいる。右コード３１２は、右保持部１１の延伸方向の先端部ＡＰから右保持部１１の筐体内に挿入され、右表示駆動部１２に接続されている。同様に、左コード３１３は、左保持部１３の延伸方向の先端部ＡＰから左保持部１３の筐体内に挿入され、左表示駆動部１４に接続されている。

画像表示装置３００とコントローラー２００とは、接続部３１０を介して各種信号の伝送を行う。本体コード３１１における連結部材３１４とは反対側の端部と、コントローラー２００とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード３１１のコネクターとコントローラー２００のコネクターとの嵌合／嵌合解除により、コントローラー２００と画像表示装置３００とが接続されたり切り離されたりする。本体コード３１１と、右コード３１２と、左コード３１３には、例えば、金属ケーブルや、光ファイバーを採用することができる。

コントローラー２００は、画像表示装置３００と接続部３１０を介して接続し、画像表示装置３００による画像表示を制御する装置である。コントローラー２００は、点灯部２０１と、タッチパッド２０２と、操作キー群２０３と、電源スイッチ２０４とを有している。

点灯部２０１は、頭部装着型表示装置ＨＭの動作状態を、その発光状態によって通知する。頭部装着型表示装置ＨＭの動作状態とは、例えば、電源のＯＮ／ＯＦＦ状態等である。点灯部２０１としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

タッチパッド２０２は、操作面上で使用者の指の操作を検出して、検出内容に応じた信号を出力する。例えば、使用者によるポインティング（位置指定）操作や、クリック操作、ドラッグ操作、フリック操作等を受け付けることができる。

本実施例のタッチパッド２０２は、第１実施形態の指示体としても機能する。すなわち、タッチパッド２０２の操作によりポインタを虚像表示領域２５に表示し、操作面上での操作に基づきポインタを移動させることにより、上述したメニュー画面の表示や、画像等の拡大縮小処理、ページ移動処理、回転処理等の各種命令を実行することができる。

操作キー群２０３は、方向キー、決定キー、バックキー等の各種操作キーを備える。各操作キーは、使用者に押下されることにより、押下された操作キーに予め対応づけられた処理を示す信号を出力する。電源スイッチ２０４は、スイッチのスライド操作を検出することで、頭部装着型表示装置ＨＭの電源ＯＮ／ＯＦＦを切り替える。

図１４は、第２実施形態に係る頭部装着型表示装置ＨＭの構成を機能的に示すブロック図である。図１４に示すように、コントローラー２００は、制御部３０、電源部７１およびインターフェース７２に加え、操作部２１１を有している。操作部２１１は、タッチパッド２０２、操作キー群２０３（方向キー、決定キー、バックキー）や電源スイッチ２０４である。

また、制御部３０のＣＰＵ５０は、記憶部６０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）５１や、画像処理部５２、表示制御部５３、画像解析部５４、命令実行部５５および音声処理部５６に加え、操作制御部２１２としても機能する。

操作制御部２１２は、操作部２１１における使用者の操作に応じて操作部２１１から出力される信号を受信し、画像処理部５２や表示制御部５３等に信号に応じた動作を行わせる。例えば、操作部２１１から使用者がタッチパッド２０２に触れたこと示す信号を受信し（検出し）、画像処理部５２や表示制御部５３等にポインタＰの表示等を行わせる。すなわち、本実施例の操作制御部２１２は、請求項における指示体検出部に相当する。

画像表示装置３００は、右表示駆動部１２、左表示駆動部１４、右光学像表示部１５としての右導光板８６、および左光学像表示部１６としての左導光板９６から成る画像表示部４０と、センサー１７と、右イヤホン１８と、左イヤホン１９と、を有している。これら各部の構成は第１実施形態と同様であるため、説明を省略する。

このように、頭部装着型表示装置ＨＭを、使用者に虚像を視認させる画像表示装置３００と、画像表示装置３００を制御するコントローラー２００とにより構成する場合においても、本発明は適用可能である。

なお、本実施例では、コントローラー２００と画像表示装置３００とが接続部３１０により有線接続される構成を例示しているが、コントローラー２００と画像表示装置３００とが無線ＬＡＮや赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により接続する構成としても良い。

また、本実施例のコントローラー２００の機能をパーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＡＤ、携帯電話、時計型携帯端末）等により実現しても良い。

また、上記実施例（第１実施形態および第２実施形態）では、表示装置として両眼タイプの頭部装着型表示装置ＨＭ（光学透過型頭部装着型表示装置）を例示しているが、本発明は、例えばビデオ透過型や非透過型、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施例では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置ＨＭを例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ（眼の前方の一部を覆うタイプ）の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイや、パーソナルコンピュータ、プロジェクター、テレビ、携帯情報端末といった他の情報処理装置にも適用可能である。

また、上記実施例では、画像光生成部は、バックライト制御部（右バックライト制御部８１および左バックライト制御部９１）と、バックライト（右バックライト８２および左バックライト９２）と、ＬＣＤ制御部（右ＬＣＤ制御部８３および左ＬＣＤ制御部９３）と、ＬＣＤ（右ＬＣＤ８４および左ＬＣＤ９４）とを用いて構成されるものとしたが、この様態はあくまでも一例である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス，Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon，ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。また、頭部装着型表示装置の光学系は、外光を光学部材を透過させて画像光と共に使用者の眼に入射させるもので有り使用者の眼の一部を覆うものであっても良く、光学部材はレーザー等の走査方式の画像光であっても良く、光学部材は画像光を部材内部を導光させる物に限らず、使用者の眼の方向に屈折または反射させる機能のみを有しても良い。

また、本実施例では、光学系として画像光生成部で射出された画像光を投写する投写光学系（右投写光学系８５および左投写光学系９５）を適用しているが、この様態はあくまでも一例である。例えば、光学系としてＭＥＭＳミラーで構成された走査光学系を採用し、走査光学系に信号光を射出する信号光変調部（信号光形成部）を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系（ＭＥＭＳミラー）に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成され、この虚像を使用者が眼で捉えることで画像を認識することができる。すなわち、走査光学系を用いた場合においても、上述の方法によりポインタ等の画像を使用者に認識させ、当該ポインタの移動により虚像表示領域２５の境界２７の近傍に割り当てられた命令の実行を制御することができる。

また、上記の実施形態に示した頭部装着型表示装置ＨＭの各機能（各処理）をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを、頭部装着型表示装置ＨＭの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上述した実施例によらず、頭部装着型表示装置ＨＭの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。

１５…右光学像表示部 １６…左光学像表示部 １７…センサー ２５…虚像表示領域 ２６…外景視認領域 ２７、２７ａ〜２７ｈ…境界 ３０…制御部 ４０…画像表示部 ５２…画像処理部 ５３…表示制御部 ５４…画像解析部 ５５…命令実行部 ８１…右バックライト制御部 ８２…右バックライト ８３…右ＬＣＤ制御部 ８４…右ＬＣＤ ８６…右導光板 ９１…左バックライト制御部 ９２…左バックライト ９３…左ＬＣＤ制御部 ９４…左ＬＣＤ ９６…左導光板 ２００…コントローラー ３００…画像表示装置 Ｐ…ポインタ ＨＭ…頭部装着型表示装置

Claims (14)

1. 使用者が操作する指示体を検出する指示体検出部と、
   前記指示体検出部による前記指示体の検出をトリガーとして、前記指示体と連動して動作するポインタを所定の表示領域に表示するポインタ表示部と、
   前記指示体の操作に伴って、前記ポインタが、前記所定の表示領域と、前記所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行する命令実行部と、を備えたことを特徴とする表示装置。
2. 前記所定の命令は、前記境界の近傍位置に対応して割り当てられていることを特徴とする請求項１に記載の表示装置。
3. 前記命令実行部は、
   前記指示体検出部により、前記ポインタが前記所定の表示領域から前記境界を越えて前記表示周辺領域へ移動する方向に前記指示体が操作されたことを検出した場合、所定の命令を実行することを特徴とする請求項１または２に記載の表示装置。
4. 前記命令実行部は、
   前記ポインタが前記所定の表示領域から前記境界を越える方向に移動する際の前記指示体の移動方向に応じて、異なる命令を実行することを特徴とする請求項３に記載の表示装置。
5. 前記命令実行部は、
   前記指示体検出部により、前記ポインタが前記境界に沿って移動する前記指示体の操作を検出した場合、所定の命令を実行することを特徴とする請求項１ないし４のいずれか１項に記載の表示装置。
6. 前記命令実行部は、
   前記ポインタが前記境界に沿って移動する際の移動方向に応じて、異なる命令を実行することを特徴とする請求項５に記載の表示装置。
7. 前記命令実行部は、
   表示されているコンテンツに応じた所定の命令を実行することを特徴とする請求項１ないし６のいずれか１項に記載の表示装置。
8. 前記ポインタが、前記所定の表示領域と前記表示周辺領域との前記境界の近傍に移動した場合、当該ポインタの形状を変化させることを特徴とする請求項１ないし７のいずれか１項に記載の表示装置。
9. 前記所定の命令は、アイコンを表示するための命令であることを特徴とする請求項１ないし８のいずれか１項に記載の表示装置。
10. 請求項１ないし９のいずれか１項に記載の表示装置であって、
    前記表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、
    前記指示体検出部は、
    使用者が、前記透過型の表示装置の使用者側の反対側である前記表示装置の外側前方で操作する前記指示体を検出することを特徴とする表示装置。
11. 請求項１ないし９のいずれか１項に記載の表示装置であって、
    前記表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、
    前記透過型の表示装置の画像表示部は、
    表示対象となる画像データを用いて画像を表す画像光を生成して射出させる画像光生成部と、
    射出された前記画像光を前記使用者の眼に導く光学部材と、を含み、
    外景の光を前記光学部材を透過して前記画像光と共に前記使用者の眼に入射させることを特徴とする表示装置。
12. 画像を虚像として使用者に視認させる透過型の頭部装着型表示装置であって、
    前記使用者が操作する指示体を検出する指示体検出部と、
    前記指示体検出部による前記指示体の検出をトリガーとして、前記指示体と連動して動作するポインタを所定の表示領域に表示するポインタ表示部と、
    前記指示体の操作に伴って、前記ポインタが、前記所定の表示領域と、前記所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行する命令実行部と、を備えたことを特徴とする頭部装着型表示装置。
13. 前記指示体検出部は、
    前記頭部装着型表示装置を装着した状態における前記使用者の前方を撮像することで、前記指示体を検出することを特徴とする請求項１２に記載の頭部装着型表示装置。
14. 表示装置が、
    使用者が操作する指示体を検出するステップと、
    前記指示体の検出をトリガーとして、前記指示体と連動して動作するポインタを所定の表示領域に表示するステップと、
    前記指示体の操作に伴って、前記ポインタが、前記所定の表示領域と、前記所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、所定の命令を実行するステップと、を実行することを特徴とする表示装置の制御方法。

Images