JP2018084886A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム - Google Patents

Abstract

【課題】仮想オブジェクトを、使用者の意図する位置および傾きで表示させることが可能な頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置は、画像表示部と、実空間の情報を取得する取得部と、実空間に実在しないオブジェクトである仮想オブジェクトを含んだ虚像を、画像表示部に形成させる制御部とを備える。制御部は、取得された実空間の情報を解析することで、実空間にあると共に予め定められた条件を満たす平面である基準面を求め、使用者が視認する仮想オブジェクトを、基準面に基づいて変更する。【選択図】図１０

Description

本発明は、頭部装着型表示装置に関する。

使用者の頭部に装着されて、使用者の視野領域に虚像を形成する頭部装着型表示装置が知られている。また、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。特許文献１には、このような拡張現実感の技術を用いて、使用者の視野領域に仮想的な入力面を表す虚像を形成し、かつ、その仮想的な入力面による入力を可能とした頭部装着型表示装置について記載されている。

特表２０１５−５１９６７３号公報

一方、近年では、装着状態において使用者の視界が遮断されない透過型の頭部装着型表示装置を、仕事や生活といった様々な場面で利用することが提案されている。例えば、製造業等で使用される頭部装着型表示装置では、上述した仮想的な入力面と共に、使用者が行うべき作業手順や作業内容等を表した仮想的な案内面が拡張現実感の技術を利用して提示される。しかし、このような頭部装着型表示装置では、仮想的な入力面や案内面が、使用者の意図しない位置や傾きで表示されることがあり、使い勝手が悪いという課題があった。なお、仮想的な入力面や仮想的な案内面を形成する、仮想的なオブジェクトを「仮想オブジェクト」とも呼ぶ。

このため、仮想オブジェクトを、使用者の意図する位置および傾きで表示させることが可能な頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記頭部装着型表示装置を装着した使用者に対して虚像を視認させる画像表示部と；実空間の情報を取得する取得部と；前記実空間に実在しないオブジェクトである仮想オブジェクトを含んだ前記虚像を、前記画像表示部に形成させる制御部と、を備え；前記制御部は；取得された前記実空間の情報を解析することで、前記実空間にあると共に予め定められた条件を満たす平面である基準面を求め；前記使用者が視認する前記仮想オブジェクトを、求めた前記基準面に基づいて変更する。
この形態の頭部装着型表示装置によれば、制御部は、使用者が視認する仮想オブジェクトを、実空間にある基準面に基づいて変更する。このため使用者は、基準面を調整することによって、虚像として視認する仮想オブジェクトを意図するように調整することができる。

（２）上記形態の頭部装着型表示装置において；前記制御部は、前記基準面の前記使用者の視界内における位置および傾きを求め、前記仮想オブジェクトの位置および傾きを、求めた前記基準面の位置および傾きに基づいて変更してもよい。
この形態の頭部装着型表示装置によれば、使用者は、基準面の位置および傾きを調整することによって、虚像として視認する仮想オブジェクトの位置および傾きを、意図するように調整することができる。

（３）上記形態の頭部装着型表示装置において；前記制御部は；前記使用者が視認する前記仮想オブジェクトの位置および傾きを、前記基準面の位置および傾きと同じにしてもよい。
この形態の頭部装着型表示装置によれば、使用者が虚像として視認する仮想オブジェクトの位置および傾きは、実空間にある基準面の位置および傾きと同じとなる。このため使用者は、仮想オブジェクトの位置および傾きの調整を直感的に行うことができる。

（４）上記形態の頭部装着型表示装置では、さらに；前記使用者の視線の方向を取得する視線検出部を備え；前記取得部は；前記基準面の位置および傾きを求める際に、前記視線検出部により取得された前記視線の方向に相当しない前記実空間の情報の取得を省略してもよい。
この形態の頭部装着型表示装置によれば、取得部は、使用者の視線の方向に相当しない実空間の情報の取得を省略するため、取得部により取得された実空間の情報における情報量を低減することができる。この結果、制御部による解析時の処理負荷を低減することができる。

（５）上記形態の頭部装着型表示装置において；前記制御部は、さらに；前記使用者による予め定められた第１の動作を検出した際に、前記基準面の前記使用者の視界内における位置および傾きを再び求め、変更後の前記仮想オブジェクトの位置および傾きを、新たに求めた前記基準面の位置および傾きに基づいて再変更してもよい。
この形態の頭部装着型表示装置によれば、制御部は、第１の動作を契機として仮想オブジェクトの位置および傾きを再変更するため、使用者における利便性を向上させることができる。

（６）上記形態の頭部装着型表示装置において；前記制御部は、さらに；前記使用者による予め定められた第２の動作を検出した際に、前記仮想オブジェクトの表示態様を変更してもよい。
この形態の頭部装着型表示装置によれば、制御部は、第２の動作を契機として仮想オブジェクトの表示態様を変更するため、使用者における利便性を向上させることができる。

（７）上記形態の頭部装着型表示装置において；前記第２の動作は、前記実空間における前記使用者の手の移動と手の形状の変化との少なくとも一方を含んでもよい。
この形態の頭部装着型表示装置によれば、使用者はより直感的に仮想オブジェクトの表示態様を変更できる。

（８）上記形態の頭部装着型表示装置において；前記制御部は；人間の手と、前記使用者の手と、予め定められた形状の物体と、予め定められたパターンを有する情報を含んだ画像と、の少なくともいずれかを前記基準面を含む物体とみなしてもよい。
この形態の頭部装着型表示装置によれば、制御部は、人間の手と、使用者自身の手と、予め定められた形状の物体と、予め定められたパターンを有する情報を含んだ画像と、の少なくともいずれかを基準面を含む物体とみなして処理を効率化することができる。

（９）上記形態の頭部装着型表示装置において；前記予め定められた条件を満たす平面は；三次元認識の結果、予め定められた第１の範囲内の平面度を有し、かつ、予め定められた第２の値以上の面積を有する面であってもよい。
この形態の頭部装着型表示装置によれば、制御部は、三次元認識の結果、第１の範囲内の平面度を有することを条件とする。第１の範囲を適切に設定することにより、制御部は、例えば人間の手のような多少の凹凸のある面を基準面とみなすことができ、かつ、例えば人間の顔のような凹凸の大きい面については基準面から除外することで、誤認識を抑制することができる。また、制御部は、面積が予め定められた第２の値以上であることを条件とする。第２の値を適切に設定することにより、制御部は、例えば使用者から遠く離れた場所にいる第三者の手等について基準面から除外することで、誤認識を抑制することができる。

（１０）上記形態の頭部装着型表示装置において；外景を透過することで前記使用者に対して前記虚像に加え前記外景を視認させてもよい。
この形態の頭部装着型表示装置によれば、使用者は虚像に加え外景を視認できる。

（１１）上記形態の頭部装着型表示装置において；さらに、前記基準面までの距離を検出する距離検出部を備え；前記画像表示部は、複数の右眼用画素を含み；前記使用者の右眼に対して前記虚像を視認させる右画像表示部と；複数の左眼用画素を含み、前記使用者の左眼に対して前記虚像を視認させる左画像表示部と、を有し；前記制御部は、前記距離に応じて、前記複数の右眼用画素および前記複数の左眼用画素における前記仮想オブジェクトの画素位置をそれぞれ変更してもよい。
この形態の頭部装着型表示装置によれば、基準面までの距離に応じて画素位置を変更できるので、仮想オブジェクトの表示位置を距離に応じて変更できる。

（１２）上記形態の頭部装着型表示装置において；前記制御部は、前記基準面から見たときの前記右眼と前記左眼とのなす角である基準輻輳角が小さくなるほど、前記仮想オブジェクトから見たときの前記右眼と前記左眼とのなす角である表示輻輳角が小さくなるように、前記仮想オブジェクトの画素位置を変更してもよい。
この形態の頭部装着型表示装置によれば、基準輻輳角と表示輻輳角とが大きく異なることを抑制できるので、使用者は基準面と仮想オブジェクトの双方を違和感なく視認できる。

（１３）上記形態の頭部装着型表示装置において；前記制御部は、前記基準輻輳角と、前記表示輻輳角とが同じになるように、前記画素位置を変更してもよい。
この形態の頭部装着型表示装置によれば、基準輻輳角と表示輻輳角とを同じにできるので、使用者は基準面と仮想オブジェクトの双方をより違和感なく視認できる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含む画像表示システム、これらの装置、方法、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態におけるＨＭＤの外観構成を示す図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤの制御機能部の構成を機能的に示すブロック図である。 デフォルト表示面について説明する図である。 表示面設定処理の手順を示すフローチャートである。 表示面設定処理のステップＳ１０４〜Ｓ１０８について説明する図である。 表示面設定処理のステップＳ１１０について説明する図である。 補正後の表示面について説明する図である。 仮想オブジェクトの表示面の再変更について説明する図である。 仮想オブジェクトの表示面の再変更について説明する図である。 仮想オブジェクトの表示態様の変更について説明する図である。 第２の動作の第１具体例を説明するための図である。 第２の動作の第１具体例を説明するための図である。 第２の動作の第２具体例を説明するための図である。 第２の具体例で用いる手を表す図である。 第２の動作の第３具体例を説明するための第１の図である。 第２の動作の第３具体例を説明するための第２の図である。 第２の動作の第４具体例を説明するための図である。 第２の動作の第５具体例を説明するための第１の図である。 第２の動作の第５具体例を説明するための第２の図である。 表示距離と表示輻輳角との関係を模式的に示した図である。 表示輻輳角と表示距離との関係を示した図である。 右眼用のＯＬＥＤパネルが備える複数の画素を模式的に示した図である。 左眼用のＯＬＥＤパネルが備える複数の画素を模式的に示した図である。 変形例の画像表示部が備える光学系の構成を示す要部平面図である。

Ａ．実施形態：
Ａ−１．ＨＭＤの構成：
図１は、本発明の一実施形態におけるＨＭＤ（頭部装着型表示装置、Head Mounted Display）１００の外観構成を示す図である。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０（制御部）と、を備える表示装置である。制御装置１０は、使用者の操作を取得するための各種の入力デバイスを備え、使用者がＨＭＤ１００を操作するためのコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって虚像を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御部１５０（図５）の制御に従って撮像を実行し、得られた撮像データーを制御部１５０へ出力する。なお、カメラ６１は、制御部１５０と協働することにより「取得部」として機能する。

内側カメラ６２は、カメラ６１と同様に、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。内側カメラ６２は、ＨＭＤ１００の内側方向、換言すれば、画像表示部２０の装着状態における使用者と対向する方向を撮像する。本実施形態の内側カメラ６２は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラと、を含んでいる。内側カメラ６２の画角の広さは、カメラ６１と同様に適宜設定できる。ただし、内側カメラ６２の画角の広さは、使用者の右眼または左眼の全体を撮像可能な範囲に設定されることが好ましい。内側カメラ６２は、カメラ６１と同様に、制御部１５０（図５）の制御に従って撮像を実行し、得られた撮像データーを制御部１５０へ出力する。なお、内側カメラ６２は、制御部１５０と協働することにより「視線検出部」として機能する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御部１５０により制御され、検出結果を制御部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに虚像を視認させる構成として、右画像表示部としての右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に虚像を視認させる。

左眼ＬＥに虚像を視認させる構成として、左画像表示部としての左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像が視認される。つまり、ＨＭＤ１００の画像表示部２０は、外景を透過することで使用者に対して虚像に加え外景を視認させる。

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、使用者に対する入出力インターフェイスとして、ボタン１１と、ＬＥＤインジケーター１２と、十字キー１３と、トラックパッド１４と、上下キー１５と、切替スイッチ１６と、電源スイッチ１８とを備える。

ボタン１１は、制御装置１０が実行するＯＳ（オペレーティングシステム）１４３（図６）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含む。本実施形態のボタン１１は、これらのキーやスイッチのうちの押圧操作により変位するタイプのボタンである。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯あるいは消灯する。十字キー１３は、上下左右および中央部分にそれぞれ対応するキーへのタッチまたは押圧操作を検出して、検出内容に応じた信号を出力する。本実施形態の十字キー１３は、中央に円形形状の決定ボタンが配置され、その上下左右方向に、上ボタン、下ボタン、左ボタン、右ボタンがそれぞれ配置されている。各ボタンには種々の態様を採用でき、例えば静電容量式のボタンであってもよく、機械接点式のボタンであってもよい。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面への接触操作を検出して、検出内容に応じた信号を出力する。接触操作の検出方法には、静電式、圧力検出式、光学式等の種々の方法を採用できる。上下キー１５は、ヘッドセット３０のイヤホンから出力する音量を増減させるための指示操作や、画像表示部２０における輝度を増減させるための指示操作を検出する。切替スイッチ１６は、上下キー１５の指示対象（音量、輝度）の切り替え操作を検出する。電源スイッチ１８は、ＨＭＤ１００の電源のオンオフ（ＯＮ、ＯＦＦ）の切り替え操作を検出する。電源スイッチ１８としては、例えばスライドスイッチを採用できる。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をＣで示す。なお、カメラ６１の画角Ｃは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角Ｃ、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角Ｃは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角Ｃは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデーターを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、上述したボタン１１と、ＬＥＤインジケーター１２と、十字キー１３と、トラックパッド１４と、上下キー１５と、切替スイッチ１６と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳ１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェイスには、通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉを含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０は、内蔵されているヘッドセット３０を介して入出力される音声を加工処理する機能を備えていてもよい。さらに、音声コーデック１８０は、内蔵されているヘッドセット３０を介して入出力される音声信号について、アナログ音声信号からデジタル音声データーへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。Ａ／Ｄコンバーターは、マイク６３を介して入力されるアナログ音声信号を、デジタル音声データーに変換してメインプロセッサー１４０へ出力する。Ｄ／Ａコンバーターは、メインプロセッサー１４０から出力されるデジタル音声データーをアナログ音声信号に変換して、右イヤホン３２および左イヤホン３４へと出力する。音声インターフェイス１８２は、ヘッドセット３０との間で、音声信号を入出力するインターフェイスである。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発声する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に予め定められた振動パターンでバイブレーター１９により振動を発生させる。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデーターの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェイス１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して制御装置１０から入力されるデーターを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデーターをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデーター、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデーター等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデーター等を記憶する。これらのデーターは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデーターを読み込んで各種の処理に利用する。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して制御装置１０から入力されるデーターを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。ＦＰＧＡ１９４は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデーター形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。ＦＰＧＡ１９４は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、ＨＭＤ１００の制御機能部の構成を機能的に示すブロック図である。ＨＭＤ１００の制御機能部は、記憶部１２２と、制御部１５０とを備える。記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。図６では記憶部１２２のみを使用する例を示すが、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８が使用されてもよい。また、制御部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶部１２２には、制御部１５０における処理に供する種々のデーターが記憶されている。具体的には、本実施形態の記憶部１２２には、設定データー１２３と、コンテンツデーター１２４と、デフォルト表示面設定１２６と、変化パラメーター１２８とが記憶されている。デフォルト表示面設定１２６の詳細は後述する。変化パラメーター１２８は、後述の表示面設定処理において設定されるパラメーターであり、初期状態では０が格納されている。

設定データー１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データー１２３には、制御部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデーター１２４には、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデーター（画像データー、映像データー、音声データー等）が含まれている。なお、コンテンツデーター１２４には、双方向型のコンテンツのデーターが含まれてもよい。双方向型のコンテンツとは、制御装置１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデーターには、使用者の操作を取得するためのメニュー画面の画像データー、メニュー画面に含まれる項目に対応する処理を定めるデーター等を含みうる。

制御部１５０は、記憶部１２２が記憶しているデーターを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、拡張現実感処理部１５１、表示面設定部１５２としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるアプリケーションプログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データーに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データーの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データーの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データーから二次元画像データーを生成し、あるいは、二次元画像データーから三次元画像データーを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データーを生成し、記憶部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データーをカメラ６１から取得して、記憶部１２２に一時的に記憶させる。

拡張現実感処理部１５１は、拡張現実感処理を実行する。拡張現実感処理は、仮想オブジェクトを表す虚像を画像表示部２０に形成させるための処理であり、以下の手順ａ１〜ａ３を含む。ここで、「仮想オブジェクト」とは、現実に使用者を取り巻く周囲の環境（以降、単に「実空間」とも呼ぶ。）には実在しないオブジェクト（画像、文字、図形記号等）を意味する。この仮想オブジェクトは、使用者からの入力を受け付けるための仮想的な入力面や、使用者に対して使用者が行うべき作業手順や作業内容等を案内するための仮想的な案内面を形成することができる。

（ａ１）拡張現実感処理部１５１は、虚像形成の対象となる仮想オブジェクトを決定する。この仮想オブジェクトは、例えば、制御部１５０において実行中のアプリケーションに依存して決定され得る。例えば、実行中のアプリケーションが製造業等で使用される作業支援アプリである場合、使用者が次に行うべき作業手順を表す図形や記号や文字や画像、作業支援アプリを操作するためのソフトウェアキーボードやボタン、等が仮想オブジェクトになり得る。例えば、実行中のアプリケーションが通話アプリである場合、通話相手の情報を表す文字や、通話相手の画像、通話アプリを操作するためのソフトウェアキーボードやボタン、等が仮想オブジェクトになり得る。なお、ここで言う画像には、静止画と動画の両方を含む。

（ａ２）拡張現実感処理部１５１は、デフォルト表示面設定１２６により定まるデフォルト表示面に、手順ａ１で決定した仮想オブジェクトを表示させるための画像データーを生成する。具体的には、拡張現実感処理部１５１は、ＨＭＤ１００を装着した状態の使用者がデフォルト表示面に仮想オブジェクトを表す虚像を視認するように、位置および傾きを調整した仮想オブジェクトを配置し、かつ、他の部分に黒色を配置した画像データーを生成する。なお、拡張現実感処理部１５１は、仮想オブジェクトの位置および傾きの調整のために、手順ａ１で決定した仮想オブジェクトに対して、拡大、縮小、回転、台形補正等の画像処理を施してもよい。

（ａ３）拡張現実感処理部１５１は、手順ａ２で生成した画像データーを画像処理部１４５へ送信する。画像処理部１４５は、受信した画像データーに対して、上述の処理を実行する。

図７は、デフォルト表示面について説明する図である。手順ａ１〜ａ３で説明した拡張現実感処理が実行された結果、ＨＭＤ１００を装着した状態の使用者は、自身の眼前の領域ＡＲ１（図７、破線で図示した矩形）に、手順ａ１で決定された仮想オブジェクト（図形、記号、文字、画像等）を視認することができる。すなわち、図示した領域ＡＲ１がデフォルト表示面となる。デフォルト表示面ＡＲ１は、使用者の視界内における、重心位置Ｄと、面の傾きＤｘ，Ｄｙ，Ｄｚにより特定される。デフォルト表示面設定１２６（図６）には、このデフォルト表示面ＡＲ１を特定するためのパラメーターとして、重心位置Ｄと、面の傾きＤｘ，Ｄｙ，Ｄｚとが予め記憶されている。

表示面設定部１５２（図６）は、後述の表示面設定処理を実行することにより、図７で説明したデフォルト表示面から、使用者が指定した任意の表示面へと仮想オブジェクトの表示面を変更することができる。

Ａ−２．表示面設定処理：
図８は、表示面設定処理の手順を示すフローチャートである。表示面設定処理は、図７で説明したデフォルト表示面から、使用者が指定した任意の表示面へと仮想オブジェクトの表示面を変更する処理である。表示面設定処理は、制御装置１０の表示面設定部１５２により実行される。

ステップＳ１００において表示面設定部１５２は、使用者から表示面設定処理の開始指示があったか否かを判定する。開始指示は、任意の態様で与えられうる。例えば、ＯＳ１４３の画面上に作成されたアイコンの選択実行や、音声によるコマンドを用いた開始指示、ジェスチャーによるコマンドを用いた開始指示等を利用できる。表示面設定処理の開始指示は、ＯＳ１４３にインストールされている任意のコンピュータープログラムからの呼び出しの形式で与えられてもよい。表示面設定処理の開始指示がない場合（ステップＳ１００：ＮＯ）、表示面設定部１５２は、ステップＳ１００に戻って監視を継続する。

表示面設定処理の開始指示があった場合（ステップＳ１００：ＹＥＳ）、ステップＳ１０２において表示面設定部１５２は、表示面設定モードに移行する。まず、表示面設定部１５２は、使用者の視線の方向を取得する。具体的には、表示面設定部１５２は、内側カメラ６２により撮影された使用者の右眼の画像および左眼の画像をそれぞれ解析し、黒目の向きを取得する。表示面設定部１５２は、取得した黒目の向きから使用者の視線の方向を推定する。

図９は、表示面設定処理のステップＳ１０４〜Ｓ１０８について説明する図である。図９以降の図では、ＨＭＤ１００を装着した使用者と、使用者の手とを鉛直方向上側（使用者の頭頂部側）から図示している。ステップＳ１０４において表示面設定部１５２は、カメラ６１に、取得した視線の方向を三次元スキャン（三次元認識）させる。図１および図５で説明した本実施形態のカメラ６１は、レーザー光射出部を備えており、ＨＭＤ１００の表側方向（画像表示部２０の装着状態において使用者が視認する視界方向）を三次元スキャンすることができる。

具体的には、カメラ６１は、レーザー光射出部から、スリット状のレーザー光をＨＭＤ１００の表側方向へと射出する。カメラ６１は、射出したレーザー光の反射光を、ＣＣＤまたはＣＭＯＳの撮像素子を用いて受光する。カメラ６１は、三角測距の原理を用いて被写体との距離情報を取得し、三次元データー化する。また、カメラ６１は、受光データーを回転フィルターで分光することで、同一のＣＣＤまたはＣＭＯＳによって予め定められた解像度のカラー画像データーも取得する。例えば、図９の例では、表示面設定部１５２は、カメラ６１に視線の方向ＬＳを三次元スキャンさせることで、使用者の手ｈｄの三次元データーと、カラー画像データーとを取得することができる。本ステップで得られた三次元データーとカラー画像データーとは「実空間の情報」として機能する。

ステップＳ１０６において表示面設定部１５２は、三次元スキャンの有効範囲内に何らかの物体があるか否かを判定する。具体的には、表示面設定部１５２は、ステップＳ１０４で得られた三次元データーを参照し、三次元データーに含まれている物体を検出する。なお、三次元データーに複数の物体（例えば、複数の手、手と置物等）が含まれている場合、本ステップでは全ての物体を検出する。物体がない場合（ステップＳ１０６：ＮＯ）、表示面設定部１５２は、ステップＳ１０２に遷移して使用者の視線の方向を再取得する。この際、表示面設定部１５２は、物体が検出されなかった旨や、視線の方向の移動を誘導するためのメッセージを使用者に通知してもよい。通知は、文字等の表示、音声等の任意の態様を採用できる。

物体がある場合（ステップＳ１０６：ＹＥＳ）、ステップＳ１０８において表示面設定部１５２は、検出した物体のうちの１つについて、当該物体が基準面を含むか否かを判定する。本実施形態の表示面設定部１５２は、以下の条件ｂ１、ｂ２の両方を満たす場合に、当該物体が基準面を含むと判定する。なお、表示面設定部１５２は、例示した条件ｂ１、ｂ２の他にも種々の条件を用いて基準面を含むか否かの判定を行うことができる。なお、条件ｂ１、ｂ２は「予め定められた条件」に相当する。

（ｂ１）判定対象の物体が、第１の範囲内の平面度を有する面を含むこと。第１の範囲は、適宜設定できるが、例えば人間の手のような多少の凹凸のある物体を許容し、かつ、人間の顔のような凹凸の大きい物体については許容しない範囲とされることが好ましい。第１の範囲を適切に設定することにより、表示面設定部１５２は、誤認識を抑制することができる。
（ｂ２）判定対象の物体における上記面の面積が、第２の値以上であること。第２の値は、適宜設定できるが、例えば使用者から遠く離れた場所にいる第三者の手や顔、任意の物体等については除外できる値とされることが好ましい。第２の値を適切に設定することにより、表示面設定部１５２は、誤認識を抑制することができる。

例えば、図９の例では、表示面設定部１５２は、検出した物体（使用者の手ｈｄ）の手のひら、および、そろえられた指からなる平面ＣＡ（図９、破線）を、基準面ＣＡと認定する。なお、図９の例では基準面ＣＡは楕円形状であるが、基準面の形状に特に制限はなく、任意の形状を採り得る。

判定対象の物体が基準面を含まない場合（ステップＳ１０８：ＮＯ）、表示面設定部１５２は、検出した他の物体について、ステップＳ１０８の判定を順次行っていく。なお、検出した全ての物体が基準面を含まなかった場合、表示面設定部１５２は、ステップＳ１０２に遷移して使用者の視線の方向を再取得してもよい。この際、表示面設定部１５２は、物体が検出されなかった旨のメッセージや、視線の方向の移動を誘導するためのメッセージを使用者に通知してもよい。

なお、表示面設定部１５２は、ステップＳ１０８の判定を、検出した物体のうち、特定の特徴を含む物体に限って実施してもよい。特定の特徴として、例えば、人間の手、使用者の手、予め定められた形状の物体、予め定められたパターンを有する情報を含んだ画像等を採用できる。人間の手とは、使用者であるか第三者であるかを問わない人間の手である。使用者の手とは、ＨＭＤ１００を現在使用している使用者自身の手を意味し、指紋や掌紋を照合することで判定できる。予め定められた形状の物体とは、例えば、スマートフォン（矩形形状のデバイス）や、手帳（矩形形状の媒体）、時計の文字盤（矩形形状や円形状のデバイス）、うちわ（円形状の媒体）、ペン（細長い円筒形状の媒体）等を採用し得る。予め定められたパターンを有する情報を含んだ画像とは、例えば、ＱＲコード（登録商標）等の二次元コード、マーカー等を採用し得る。使用者の手を認識するための指紋や掌紋、予め定められた形状の物体を認識するための物体のパターン、予め定められたパターンを有する情報を含んだ画像を認識するための画像内のパターンについては、記憶部１２２に予め記憶されていてもよく、ネットワークを介してＨＭＤ１００に接続されている外部装置（例えばクラウドサーバー）に予め記憶されていてもよい。このようにすれば、これら特定の特徴を含む物体に限りステップＳ１０８の処理が実行されるため、表示面設定処理を効率化することができる。

図１０は、表示面設定処理のステップＳ１１０について説明する図である。図８において判定対象の物体が基準面ＣＡを含む場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１１０において表示面設定部１５２は、デフォルト表示面（図７）に対する基準面ＣＡの重心位置と、平面傾きとの変化パラメーターを求める。基準面ＣＡの重心位置は、使用者の視界内における基準面ＣＡの重心位置Ｃである（図１０、黒丸）。基準面ＣＡの平面傾きは、使用者の視界内における傾きＣｘ，Ｃｙ，Ｃｚである（図１０、黒丸から延びる矢印）。このため、ステップＳ１１０において表示面設定部１５２は、使用者の視界内における、
・デフォルト表示面の重心位置Ｄから基準面ＣＡの重心位置Ｃへの変化量と、
・デフォルト表示面の傾きＤｘから基準面ＣＡの傾きＣｘへの変化量と、
・デフォルト表示面の傾きＤｙから基準面ＣＡの傾きＣｙへの変化量と、
・デフォルト表示面の傾きＤｚから基準面ＣＡの傾きＣｚへの変化量と、
をそれぞれ求め、これらをセットにして変化パラメーターとする。

図８のステップＳ１１２において表示面設定部１５２は、求めた変化パラメーターに基づいて仮想オブジェクトの表示面を設定する。具体的には、表示面設定部１５２は、ステップＳ１１０で求めた変化パラメーター（重心位置の変化量、傾きｘ，ｙ，ｚの変化量の各々）を、変化パラメーター１２８（図６）に記憶させる。変化パラメーター１２８に初期値（０）以外の値が格納されている場合、上述した拡張現実感処理の手順ａ２において拡張現実感処理部１５１は、デフォルト表示面設定１２６（重心位置Ｄ、面の傾きＤｘ，Ｄｙ，Ｄｚ）を、変化パラメーター１２８（重心位置の変化量、傾きｘ，ｙ，ｚの変化量の各々）で補正することにより定まる表示面に対して、手順ａ１で決定した仮想オブジェクトを表示させるための画像データーを生成する。

図１１は、補正後の表示面について説明する図である。変化パラメーター１２８を用いた拡張現実感処理（手順ａ１〜ａ３）が実行された結果、ＨＭＤ１００を装着した状態の使用者は、基準面ＣＡの重心位置Ｃと同じ重心位置、かつ、基準面ＣＡの傾きＣｘ，Ｃｙ，Ｃｚと同じ傾きの領域ＡＲ２（図１１、破線で図示した矩形）に、手順ａ１で決定された仮想オブジェクト（図形、記号、文字、画像等）を視認することができる。

なお、上述した例では、１つの仮想オブジェクトの表示面だけを例示して説明したが、表示面設定部１５２は、複数の仮想オブジェクトの表示面についても、上記と同様の方法を用いて設定することができる。複数の仮想オブジェクトの表示面には、例えば、使用者が行うべき作業手順や作業内容等を案内する案内面用の表示面と、使用者がＨＭＤ１００を操作するために用いる操作面用の表示面等、性質の異なる表示面が含まれていてもよい。また、複数の仮想オブジェクトの表示面には、同じ性質の表示面が含まれていてもよい。

以上のように、本実施形態によれば、制御部１５０の表示面設定部１５２は、使用者が視認する仮想オブジェクトの位置および傾きを、実空間にある基準面ＣＡの位置Ｃおよび傾きＣｘ，Ｃｙ，Ｃｚに基づいて変更する（図８、ステップＳ１１２）。このため使用者は、表示面設定モード中に基準面ＣＡの位置Ｃおよび傾きＣｘ，Ｃｙ，Ｃｚを調整する（例えば、手の位置や傾きを変える）ことによって、虚像として視認する仮想オブジェクトの位置および傾き、換言すれば、仮想オブジェクトの表示面ＡＲ２の位置および傾きを、意図するように調整することができる。

また、本実施形態によれば、使用者が虚像として視認する仮想オブジェクトの位置および傾き（仮想オブジェクトの表示面ＡＲ２の位置および傾き）は、実空間にある基準面ＣＡの位置Ｃおよび傾きＣｘ，Ｃｙ，Ｃｚと同じとなる（図８、ステップＳ１１２）。このため使用者は、仮想オブジェクトの位置および傾きの調整を直感的に行うことができる。なお、「基準面ＣＡの位置Ｃおよび傾きＣｘ，Ｃｙ，Ｃｚと同じ」とは、完全に同じ場合に限らず、使用者が仮想オブジェクトの位置および傾きの調整を直感的に行える範囲において、多少ずれている場合も含む。例えば、位置としては、０ｃｍより大きく５ｃｍ以下のずれも含み、傾きとして０°より大きく５°以下のずれも含んでもよい。

さらに、本実施形態によれば、取得部（カメラ６１）は、使用者の視線の方向ＬＳに相当する実空間の情報（三次元データー、カラー画像データー）だけを取得する（ステップＳ１０４）。換言すれば、取得部は、使用者の視線の方向ＬＳに相当しない実空間の情報の取得を省略する。このため、取得部により取得された実空間の情報における情報量を低減することができる。この結果、制御部１５０の表示面設定部１５２による解析（ステップＳ１０８、Ｓ１１０）時の処理負荷を低減することができる。

Ａ−３．付加処理：
表示面設定処理において、表示面設定部１５２は、次に例示する処理ｃ１，ｃ２を付加的に実行してもよい。処理ｃ１，ｃ２は、単独で付加されてもよく、組み合わせて付加されてもよい。

（ｃ１）仮想オブジェクトの表示面の再変更：
図１２は、仮想オブジェクトの表示面の再変更について説明する図である。図８で説明した表示面設定処理を終了後、使用者による第１の動作の検出に応じて、表示面設定部１５２は、表示面設定処理を再び実行することで、仮想オブジェクトの表示面の位置および傾きを、新たに求めた基準面の位置および傾きに基づいて再変更してもよい。第１の動作とは、予め任意に定めておくことができる。例えば、図１２に示すように、手ｈｄを予め定められた形（図の例では、親指を立てる形）にする動作、指を予め定められた形にする動作、手ｈｄの向きや表裏を変える動作、予め定められたのジェスチャー、予め定められた内容の発話（音声コマンド）等を採用できる。なお、表示面設定部１５２は、前回の表示面設定処理により設定された仮想オブジェクトの表示面ＡＲ２の近傍で第１の動作を検出した場合に限って、表示面設定処理を再び実行してもよい。

この再変更の場合、表示面設定部１５２は、新たに求めた変化パラメーターによって変化パラメーター１２８を上書きしてもよいし、変化パラメーター１２８に時刻や版数と共に、新たに求めた変化パラメーターを記憶させてもよい。

このようにすれば、制御部１５０の表示面設定部１５２は、第１の動作を契機として仮想オブジェクトの位置および傾き（仮想オブジェクトの表示面ＡＲ２の位置および傾き）を再変更するため、使用者における利便性を向上させることができる。

（ｃ２）仮想オブジェクトの表示態様の変更：
図１２および図１４は、仮想オブジェクトの表示態様の変更について説明する図である。図８で説明した表示面設定処理を終了後、使用者による第２の動作の検出に応じて、拡張現実感処理部１５１は、仮想オブジェクトの表示態様を変更してもよい。表示態様とは、仮想オブジェクトの表示の有無、仮想オブジェクトの大きさ、仮想オブジェクトの色彩、仮想オブジェクトの透過度、仮想オブジェクトの明るさ、仮想オブジェクトの内容等である。第２の動作とは、予め任意に定めておくことができ、手ｈｄを予め定められた形にする動作、指を予め定められた形にする動作、手ｈｄの向きや表裏を変える動作、予め定められたジェスチャー、予め定められた内容の発話（音声コマンド）等を採用できる。例えば、図１３の例では、手ｈｄのページをめくる動作により、仮想オブジェクトＯＢの内容（具体的には、表示されているページ）が変更される。例えば、図１４の例では、手ｈｄの拳を握る動作により、仮想オブジェクトＯＢが非表示に変更される。また、第２の動作は、第１の動作と異なる動作であることが好ましい。例えば、第２の動作が、手ｈｄの実空間における移動を伴う動作であり、第１の動作が、手ｈｄの実空間における移動を伴わず形状変化を伴う動作であってもよい。こうすることで、拡張現実感処理部１５１によって、第１の動作と第２の動作とのいずれかを容易に検出できる。

更に、第２の動作の具体例について説明する。図１５は、第２の動作の第１具体例を説明するための第１の図である。図１６は、第２の動作の第１具体例を説明するための第２の図である。図１５および図１６では、使用者の左手ｈｄ１と右手ｈｄ２の移動に応じて画像表示部２０に形成された仮想オブジェクトＯＢ（例えば、風景画像）が拡大または縮小される。具体的には、拡張現実感処理部１５１（図６）は、カメラ６１によって取得したデーター（例えば、撮像画像データーや三次元データー）に基づき、仮想オブジェクトＯＢ１に重なるように位置する左手ｈｄ１の内側面ＣＶ１と右手ｈｄ２の内側面ＣＶ２を検出する。拡張現実感処理部１５１は、検出した内側面ＣＶ１と内側面ＣＶ２とのそれぞれが予め定めた閾値以上の曲率を有する曲面である場合に、仮想オブジェクトＯＢ１の縮小または拡大の初期設定を行う。予め定めた閾値は、例えば、使用者が拡張現実感処理部１５１に第２の動作を実行させるために、意図的に左手ｈｄ１および右手ｈｄ２の内側面を曲げることが判別できる程度の値に設定することが好ましい。拡張現実感処理部１５１がどの部分に基づいて内側面ＣＶ１，ＣＶ２を検出したか否かを使用者が容易に認識できるように、検出対象とした部分に検知マーカーＭＫ１，ＭＫ２を表示してもよい。本具体例では、左手ｈｄ１の検出対象とした部分の両端部に検知マーカーＭＫ１を表示し、右手ｈｄ２の検出対象とした部分の両端部に検知マーカーＭＫ２を表示している。

初期設定において、拡張現実感処理部１５１は、検出した２つの内側面ＣＶ１，ＣＶ２の距離Ｄと距離Ｄの中心点ＣＰを算出して、記憶部１２２（図６）に記憶させる。そして、初期設定時に対する２つの内側面ＣＶ１，ＣＶ２の距離Ｄの変化に応じて、中心点ＣＰを中心として仮想オブジェクトＯＢ１を縮小または拡大させる。具体的には、拡張現実感処理部１５１は、距離Ｄが初期設定の値から大きくなるほど仮想オブジェクトＯＢ１の大きさを拡大し（図１６）、距離Ｄが初期設定の値から小さくなるほど仮想オブジェクトＯＢ１の大きさを縮小する。図１５および図１６に示す例では、仮想オブジェクトＯＢ１の一つである木を表す仮想オブジェクトＯＢａを中心として、仮想オブジェクトＯＢが拡大または縮小される。

図１７は、第２の動作の第２具体例を説明するための図である。図１８は、第２の具体例で用いる手ｈｄを表す図である。図１７には、画像表示部２０に形成されたアイコン配置画像としての仮想オブジェクトＯＢ２を示している。仮想オブジェクトＯＢ２は、複数のアイコン選択画像ＡＣを含む。複数のアイコン選択画像ＡＣは、円形状に並んで配置されている。仮想オブジェクトＯＢ２において、手前側に３つのアイコン選択画像ＡＣ１，ＡＣ２，ＡＣ３が使用者に識別できるように配置されている。仮想オブジェクトＯＢ２中における上下に５つ並んだ表示インジケーター３１の一つが選択されることで、円形状に並んで配置された複数のアイコン選択画像ＡＣが回転して、手前側に配置されるアイコン選択画像ＡＣが切り換わる。表示インジケーター３１の選択は、十字キー１３やトラックパッド１４（図１）などによって行ってもよいし、後述する第２の動作によって行ってもよい。

仮想オブジェクトＯＢ２は、表示インジケーター３１やアイコン選択画像ＡＣを選択する際に用いられる選択ポインターＰＩＣを含む。選択ポインターＰＩＣはリング状である。選択ポインターＰＩＣは、十字キー１３やトラックパッド１４などの操作によって移動させてもよいし、拡張現実感処理部１５１が使用者の視線の方向を推定し、推定した視線の方向に応じて移動させてもよい。使用者の視線の方向は、上述した表示面設定部１５２と同様に、内側カメラ６２により撮像された右眼の画像および左眼の画像をそれぞれ解析し、黒目の向きを取得して行う。

拡張現実感処理部１５１は、第２の動作を検出した際に、仮想オブジェクトＯＢ２の表示態様を変更する。第２の動作としては、例えば、使用者のジェスチャーの変化（手ｈｄの形状の変化）や手ｈｄの向きや表裏を変える動作である。使用者のジェスチャーの変化（手ｈｄの形状の変化）に応じて、仮想オブジェクトＯＢ２の表示態様が変更される例を以下に説明する。

記憶部１２２（図６）には、ジェスチャーの変化内容と、仮想オブジェクトＯＢ２の表示態様とが対応付けられた対応表データーが記憶され、この対応表データーに基づいて拡張現実感処理部１５１は、仮想オブジェクトＯＢ２の表示態様を変更する。具体的には、使用者の手ｈｄを開いた状態（パーの状態）から閉じた状態（グーの状態）への変化を検出した際には、仮想オブジェクトＯＢ２の表示を終了させる（非表示にする）。また、使用者の手ｈｄを開いた状態（パーの状態）から２つの指を立てた状態（チョキの状態）への変化を検出した際には、選択ポインター上に位置するアイコン選択画像ＡＣを選択し、選択されたアイコン選択画像ＡＣに対応する仮想オブジェクトを表示する。手ｈｄの状態（ジェスチャー）は、例えば、カメラ６１によって撮像された画像データーの中から手ｈｄの輪郭形状を抽出し、抽出された輪郭形状と、記憶部１２２に予め記憶した輪郭形状とか同じであるかのパターンマッチングを行うことで検出できる。また例えば、手ｈｄの状態（ジェスチャー）は、指先の腹面ｈｄＡをパターンマッチングなどで検出し、検出された腹面ｈｄＡの数に応じて判定してもよい。例えば、検出された腹面ｈｄＡの数が２つであればチョキの状態、検出された腹面ｈｄＡの数が５つであればパーの状態、検出された腹面ｈｄＡの数がゼロであればグーの状態であると判定してもよい。また、手のひらｈｄＦをパターンマッチングなどで検出し、検出した手のひらｈｄＦの面積の大きさによって、手ｈｄの状態（ジェスチャー）を判定してもよい。検出した手のひらｈｄＦの面積が、予め定められた第１の値以上の場合はパーの状態、予め定められた第２の値以上第１の値未満の場合はチョキの状態、第２の値未満の場合はグーの状態であると判定する。

図１８に示すように、手ｈｄの状態を検出する際に、拡張現実感処理部１５１が検出した指先の腹面ｈｄＡや手のひらｈｄＦには、検出対象とした部分であることを使用者に認識させるための検知マーカーＤＭＫを表示してもよい。

図１９は、第２の動作の第３具体例を説明するための第１の図である。図２０は、第２の動作の第３具体例を説明するための第２の図である。仮想オブジェクトＯＢ２は地球を表す画像である。拡張現実感処理部１５１は、使用者の手ｈｄの指先Ｙ１，Ｙ２をパターンマッチングなどによって検出すると共に、検出した指先Ｙ１，Ｙ２の少なくとも１つが仮想オブジェクトＯＢ２の下側で仮想オブジェクトＯＢ２と接しているように位置するか否かを判定する。検出した指先Ｙ１，Ｙ２の少なくとも１つが仮想オブジェクトＯＢ２の下側で仮想オブジェクトＯＢ２と接しているように配置されていた場合、拡張現実感処理部１５１は、実空間における手ｈｄ（詳細には指先Ｙ１）の移動を第２の動作として検出して、手ｈｄの移動に応じて仮想オブジェクトＯＢ２の表示態様を変更する。具体的には、仮想オブジェクトＯＢ２と接するように配置された指先Ｙ１が実空間において上下方向ＤＵＤや左右方向ＤＲＬに移動した場合には、仮想オブジェクトＯＢ２も指先Ｙ１の移動に対応して移動させる。また、指先Ｙ１が奥行き方向に移動した場合には、仮想オブジェクトＯＢ２を指先Ｙ１の移動に応じて縮小または拡大させる。例えば、図１９に示す状態から図２０に示す状態へと手ｈｄが奥側に移動した場合、拡張現実感処理部１５１は仮想オブジェクトＯＢ２の大きさを縮小する。一方で、手ｈｄが手前側に移動した場合は、拡張現実感処理部１５１は仮想オブジェクトＯＢ２の大きさを拡大する。なお、手ｈｄの奥行き方向の移動は、カメラ６１から取得したデーターに基づいて検出してもよい。また、手ｈｄの奥行き方向の移動は、内側カメラ６２により撮影された使用者の右眼の画像および左眼の画像をそれぞれ解析して左右それぞれの視差角を検出し、視差角の変化に基づいて検出してもよい。例えば、それぞれの視差角が小さくなるにつれ手ｈｄが奥側に移動していると拡張現実感処理部１５１は判定してもよい。

図２１は、第２の動作の第４具体例を説明するための図である。図２１は、仮想オブジェクトＯＢ４が球体であり、球体が使用者の手ｈｄ１、ｈｄ２の内側部分ＩＳＤの上部で浮いているように仮想オブジェクトＯＢ４が形成されている。拡張現実感処理部１５１は、カメラ６１によって取得したデーター（例えば、撮像画像データーや三次元データー）に基づき、手ｈｄ１，ｈｄ２の内側部分ＩＳＤの曲面ＣＶを検出する。使用者は、第２の動作として、図２１に示す状態の手ｈｄ１，ｈｄ２を上下方向や左右方向に移動させる。この移動に応じて検出される曲面ＣＶも移動する。曲面ＣＶの上下方向や左右方向への移動に対応させて、拡張現実感処理部１５１は、仮想オブジェクトＯＢ４の位置を移動させる。また、第２の動作の一例として、図２１に示す手ｈｄ１，ｈｄ２の状態から両手ｈｄ１、ｈｄ２を合わせる動作によって、仮想オブジェクトＯＢ４を非表示にしてもよい。

また、仮想オブジェクトＯＢ４と手ｈｄ１，ｈｄ２との距離（仮想オブジェクトＯＢ４が浮かぶ度合い）は、仮想オブジェクトＯＢ４に対する使用者の凝視の程度に応じて変化させてもよい。例えば、内側カメラ６２から取得した右眼の画像および左眼の画像をそれぞれ解析し、虹彩の開き具合によって凝視の程度を判定する。拡張現実感処理部１５１は、虹彩が開くほど仮想オブジェクトＯＢ４を使用者が凝視していると判定する。また、使用者の視線の方向にポインターＰＯを表示してもよい。第２の動作として視線の方向を移動させることで、視線の方向の移動に応じてポインターＰＯと共に仮想オブジェクトＯＢ４を移動させてもよい。

図２２は、第２の動作の第５具体例を説明するための第１の図である。図２３は、第２の動作の第５具体例を説明するための第２の図である。第５具体例は、第２の動作としての、使用者の２つの指（本例では、人指し指と中指）の腹面Ｚ１，Ｚ２の移動に応じて仮想オブジェクトＯＢ５の表示態様を変更する例である。本具体例では仮想オブジェクトＯＢ５が船の画像である。まず、使用者は、仮想オブジェクトＯＢ５と重なるように表示されたリング状のポインターＰＯに２つの指の腹面Ｚ１，Ｚ２を移動させる。拡張現実感処理部１５１は、カメラ６１によって取得したデーター（撮像画像データーや三次元データー）に基づき、２つの指の腹面Ｚ１，Ｚ２をパターンマッチングなどによって検出し、検出した２つの腹面Ｚ１，Ｚ２がポインターＰＯ上に位置するか判定する。２つの腹面Ｚ１，Ｚ２がポインターＰＯ上に位置する場合、２つの腹面Ｚ１，Ｚ２の実空間上での移動に応じて仮想オブジェクトＯＢ５の表示態様を変更する。例えば、図２３に示すように、手ｈｄを回転させて２つの腹面Ｚ１，Ｚ２の位置関係が変更された場合には、仮想オブジェクトＯＢ５の大きさを拡大してもよい。また、２つの腹面Ｚ１，Ｚ２の距離が小さくなるに従い、仮想オブジェクトＯＢ５の大きさを縮小してもよい。また、別の態様では、手ｈｄを回転させて２つの腹面Ｚ１，Ｚ２の位置関係が変更された場合には、回転の程度に応じて仮想オブジェクトＯＢ５を３次元的に回転させてもよい。仮想オブジェクトＯＢ５の表示態様の変更に応じて、ポインターＰＯの表示態様を変更してもよい。例えば、仮想オブジェクトＯＢ５の大きさに応じてポインターＰＯの大きさを変更したり、仮想オブジェクトＯＢ５の回転に応じてポインターＰＯを回転させてもよい。

上記の第２の動作の第１〜第５具体例において、仮想オブジェクトＯＢ１〜ＯＢ５の表示態様が変更になった場合には、仮想オブジェクトＯＢ１〜ＯＢ５を使用者が視認しやすいように、拡張現実感処理部１５１は、仮想オブジェクトＯＢ１〜ＯＢ５の輝度を調整したり、ガンマ補正を行ったり、コントラスト調整やエッジを強調する処理を行ってもよい。また、ポインターＰＯが表示されている場合に、上記の仮想オブジェクトＯＢ１〜ＯＢ５の各種処理（例えば、輝度の調整）と同様の処理をポインターＰＯに行ってもよい。また、仮想オブジェクトＯＢ１〜ＯＢ５やポインターＰＯの輝度やコントラストなどの度合いを表す数値を、インジケーターを表す虚像として表示してもよい。また、制御部１５０は、変更した輝度やコントラストを初期値に戻すリセット機能を有していてもよい。

また、上記の第２の動作の第１〜第５具体例において、使用者ごとに、第２の動作と仮想オブジェクトＯＢ１〜ＯＢ５の表示態様の変更内容を設定し、記憶部１２２に保存してもよい。また、選択ポインターＰＩＣ（図１７）やポインターＰＯ（図２１，図２２）の形状はリング状に限らず各種形状を採用できる。例えば、選択ポインターＰＩＣやポインターＰＯは多角形であってもよいし、円形や楕円形であってもよい。

以上のように、制御部１５０の拡張現実感処理部１５１は、第２の動作を契機として仮想オブジェクトの表示態様を変更するため、使用者における利便性を向上させることができる。また、第２の動作が、実空間における使用者の手ｈｄの移動と手ｈｄの形状の変化であることで、使用者はより直感的に仮想オブジェクトＯＢ１〜ＯＢ５の表示態様を変更できる。

Ａ−４．基準面に基づく仮想オブジェクトの他の制御：
上記において制御部１５０は、基準面ＣＡの位置および傾きを求め、仮想オブジェクトＯＢの位置および傾きを、求めた基準面ＣＡの位置および傾きに基づいて変更していた。しかしながら、制御部１５０は、基準面ＣＡに基づいて仮想オブジェクトＯＢを変更する限りにおいて他の制御を行ってもよい。例えば、制御部１５０は、ＨＭＤ１００から基準面ＣＡまでの距離を検出し、検出した距離（検出距離）に応じて仮想オブジェクトＯＢの表示距離を変更してもよい。ここで「表示距離」とは、仮想オブジェクトＯＢを表示する画像表示部２０と使用者との距離ではなく、使用者が画像表示部２０に表示された仮想オブジェクトＯＢを視認するときに、使用者が認識する仮想オブジェクトＯＢまでの仮想的な距離を指す。つまり、制御部１５０は、画像表示部２０に表示された仮想オブジェクトＯＢから見たときの左眼ＬＥと右眼ＲＥとのなす角度である表示輻輳角が検出距離に応じて変更されるように、仮想オブジェクトＯＢを生成してもよい。以下にこの具体例について説明する。

図２４は、表示距離Ｌａと表示輻輳角θ１との関係を模式的に示した図である。眼間距離ＤＬは、右導光板２６の中心と左導光板２８の中心との距離を、使用者の使用者の右眼ＲＥと左眼ＬＥとの間の眼間距離ＤＬとみなしている。このため、記憶部１２２には、眼間距離ＤＬは、ＨＭＤ１００の設計値に基づいた値（例えば、６５ｍｍ）が予め格納されている。

図２４に示すように、仮想オブジェクトＯＢを視認する使用者の表示輻輳角θ１が角度θ１ａの場合は、表示距離Ｌａは距離Ｌａａとなり、表示輻輳角θ１が角度θ１ａよりも大きい角度θ１ｂの場合は、表示距離Ｌａは距離Ｌａａよりも短い距離Ｌａｂとなる。

図２５は、表示輻輳角θ１と表示距離Ｌａとの関係を示した図である。図２６は、右眼ＲＥ用のＯＬＥＤパネル２２３が備える複数の画素Ｐｘｒを模式的に示した図である。図２７は、左眼ＬＥ用のＯＬＥＤパネル２４３が備える複数の画素Ｐｘｌを模式的に示した図である。画素Ｐｘｒを右眼用画素Ｐｘｒとも呼び、画素Ｐｘｌを左眼用画素Ｐｘｌとも呼ぶ。図２６および図２７には、使用者に視認させるための仮想オブジェクトＯＢを模式的に示している。クロスハッチングを付した画素は、ＨＭＤ１００の初期設定時における表示距離（初期表示距離）で表示させるための仮想オブジェクトＯＢの画素を表し、黒塗りした画素は、表示距離Ｌａ変更後の仮想オブジェクトＯＢの画素を表す。なお、クロスハッチングの画素の一部は、黒塗りの画素によって図示されていない。なお、ＯＬＥＤパネル２２３，２４３の画素数は例えば９６６画素であるが、理解の容易のために図２６および図２７では画素数を少なくして図示している。

図２５に示すように、表示輻輳角θ１が大きくなるほど表示距離Ｌａが短くなる。図２５に示す表示輻輳角θ１と表示距離Ｌａとの関係を表すデータは、記憶部１２２に記憶されている。本実施形態のＨＭＤ１００において、初期設定時の表示輻輳角θ１は表示距離Ｌａが４ｍとなるように設定されている。本実施形態では、初期設定時の表示輻輳角θ１は例えば０．１５°である。

図２６および図２７に示すように、制御部１５０は、初期設定時よりも表示距離Ｌａを短くする場合は、表示輻輳角θ１が大きくなるように、ＯＬＥＤパネル２２３，２４３の仮想オブジェクトＯＢの画素位置を変更する。具体的には、制御部１５０は、ＯＬＥＤパネル２２３における仮想オブジェクトＯＢの画素位置を初期設定時よりも左にずらす。また、制御部１５０は、ＯＬＥＤパネル２４３における仮想オブジェクトＯＢの画素位置を初期設定時よりも右にずらず。画素位置のずらし量Ｃｐｉｘ、および、ずらす方向（左右いずれかの方向）は、目標とする表示距離Ｌａに対応づけて記憶部１２２に記憶されている。本実施形態では、ずらし量Ｃｐｉｘが２４画素、つまりＯＬＥＤパネル２２３とＯＬＥＤパネル２４３のそれぞれにおいて仮想オブジェクトＯＢの画素位置を２４画素ずつ、中央側（ＯＬＥＤパネル２２３では左側、ＯＬＥＤパネル２４３では右側）にずらすことで表示輻輳角θ１が１°だけ増加する。

制御部１５０は、カメラ６１によって生成された基準面ＣＡまでの距離情報を取得する。この距離情報は、例えば複数の距離状態のうちの代表する１つの距離情報であってもよい。例えば、取得する距離情報は、基準面ＣＡの重心位置までの距離情報であってもよい。制御部１５０の一部は、課題を解決するための手段に記載する距離検出部として機能する。

制御部１５０は、取得した距離情報が表す距離が表示距離Ｌａとなるように、記憶部１２２に記憶されたデータを参照して、初期設定時の仮想オブジェクトＯＢにおける画素位置からのずらし量とずらす方向を決定する。そして、決定したずらし量とずらす方向によって、初期設定時の仮想オブジェクトＯＢにおける画素位置を変更する。すなわち、制御部１５０は、基準面ＣＡから見たときの右眼ＲＥと左眼ＬＥとのなす角である基準輻輳角θ２と、表示輻輳角θ１とが同じになるように、ＯＬＥＤパネル２２３，２４３のそれぞれにおける仮想オブジェクトＯＢの画素位置を変更する。これにより、基準輻輳角θ２と表示輻輳角θ１とを同じにできるので、使用者は基準面ＣＡと仮想オブジェクトＯＢの双方をより違和感なく視認できる。

なお、他の例においては、制御部１５０は、検出した基準面ＣＡまでの距離に応じて、複数の右眼用画素Ｐｘｒおよび複数の左眼用画素Ｐｘｌにおける仮想オブジェクトＯＢの画素位置をそれぞれ変更すれば上記の例に限定されるものではない。例えば、制御部１５０は、基準輻輳角θ２が小さくなるほど（すなわち、基準面ＣＡまでの距離が大きくなるほど）、表示輻輳角θ１が小さくなるように仮想オブジェクトＯＢの画素位置を変更してもよい。こうすることで、基準輻輳角θ２と表示輻輳角θ１とが大きく異なることを抑制できるので、使用者は基準面ＣＡと仮想オブジェクトＯＢの双方を違和感なく視認できる。

また上記の例において、制御部１５０は、仮想オブジェクトＯＢをより３次元的に視認できるようにするための種々の処理を実行してもよい。例えば、仮想オブジェクトＯＢを表す画像データーに対して、輝度やガンマー値などを変更する補正や、より３次元的に視認できるように影をつける補正を行ってもよい。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。また本発明は、ＡＲ、ＭＲ、ＶＲ表示のいずれも行わない装置にも適用できる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶部１２２および制御部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶部１２２および制御部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

・変形例２：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を解析することにより実現できる。

上記実施形態では、制御部１５０は、メインプロセッサー１４０が記憶部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶部１２２に代えて、または記憶部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェイスに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

・変形例３：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図２４は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

・変形例４：
上記実施形態では、表示面設定処理の手順について例示した。しかし、表示面設定処理の手順は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、実行されるステップの追加・削除、ステップ内における処理内容の変更等を行うことができる。

上記実施形態では、基準面および仮想オブジェクトの表示面の位置を特定するために、重心位置を用いた。しかし、基準面および仮想オブジェクトの表示面の位置を特定できる限りにおいて、任意の情報を利用できる。例えば、重心位置に代えて基準面および仮想オブジェクトの表示面の端点（例えば、左側上部の点）を利用してもよいし、重心位置に代えて基準面および仮想オブジェクトの表示面の枠を利用してもよい。また、例えば、基準面および仮想オブジェクトの表示面の重心位置と、端点とを両方利用してもよい。

上記実施形態では、拡張現実感処理部１５１は、デフォルト表示面設定１２６（重心位置Ｄ、面の傾きＤｘ，Ｄｙ，Ｄｚ）と、変化パラメーター１２８（重心位置の変化量、傾きｘ，ｙ，ｚの変化量の各々）とを利用することで、補正後の仮想オブジェクトの表示面の位置および傾きを、基準面の位置および傾きと同じになるように制御した。しかし、拡張現実感処理部１５１は、補正後の仮想オブジェクトの表示面の位置および傾きを、基準面ＣＡの位置Ｃおよび傾きＣｘ，Ｃｙ，Ｃｚに基づいて変更する限りにおいて、任意の態様を採用できる。例えば、拡張現実感処理部１５１は、変化パラメーター１２８に何らかの係数を掛けてもよい。

上記実施形態では、カメラ６１は、使用者の視線の方向を三次元スキャン（三次元認識）した。しかし、カメラ６１は、自身が認識可能な全ての範囲を三次元スキャンしてもよい。なお、上記実施形態の三次元スキャンの方法はあくまで一例であり、他の方法を採用することもできる。

上記実施形態では、表示面設定部１５２は、条件ｂ１（第１の範囲内の平面度）および条件ｂ２（面積が第２の値以上）を用いて、基準面の判定を行った。しかし、表示面設定部１５２は、条件ｂ１、ｂ２のいずれか一方、または両方を省略してもよい。

上記実施形態の条件ｂ２（面積が第２の値以上）に関し、表示面設定部１５２は、複数のモード（例えば、通常モード、微小面検出モード）を利用可能であってもよい。採用されるモードの指定は、例えば使用者の指示に応じて行われる。微小面検出モードの場合、表示面設定部１５２は、条件ｂ２における第２の値を、通常モードの場合の第２の値よりも小さく設定する。このようにすれば、表示面設定部１５２は、使用者の指示に応じて、小さな面をも基準面として、表示面設定処理を実行することができる。

上記実施形態の条件ｂ２（面積が第２の値以上）に代えて、表示面設定部１５２は、判定対象の物体における面と、利用者との間の距離が、予め定められた範囲内であることを採用してもよい。予め定められた範囲とは任意に決定することができるが、例えば、２０ｃｍ〜８０ｃｍ程度に設定することができる。このようにしても表示面設定部１５２は、上記実施形態と同様に、誤認識を抑制することができる。

上記実施形態では、指紋や掌紋を照合することで使用者自身の手を認識し、当該使用者の手に限ってステップＳ１０８の判定を実施してもよいとした。使用者自身の手の認識の方法として、指紋や掌紋に代えて、広角カメラの撮像画像を画像認識してもよい。この場合、ＨＭＤ１００は、カメラ６１に代えて、またはカメラ６１と共に広角カメラを備える構成とする。表示面設定部１５２は、広角カメラの撮像画像を画像認識し、判定対象の物体（手）がＨＭＤ１００の使用者から伸びていると判定した場合に、判定対象の物体（手）は、当該使用者の手であると判定できる。

上記実施形態において、表示面設定部１５２は、人間の手であるか否かの判断をカメラ６１により撮像された画像を画像解析することで行った。しかし、表示面設定部１５２は、人間の手であるか否かの判断を、ＨＭＤ１００に搭載された温度検出部（サーモグラフィー）の検出結果に拠って行ってもよい。

上記実施形態では、表示面設定部１５２は、複数の仮想オブジェクトの表示面について、表示面設定処理を介して設定可能であるとした。この複数の仮想オブジェクトの表示面の設定にあたって、表示面設定部１５２は、例えば、使用者の右手を基準面とした第１の表示面と、使用者の左手を基準面とした第２の表示面と、を設定してもよい。これら複数の仮想オブジェクトの表示面は、表示面設定処理をシリアルに実行することで順次設定されてもよく、表示面設定処理をパラレルに実行することで同時に設定されてもよい。

上記実施形態では、拡張現実感処理部１５１は、変化パラメーター１２８に初期値以外の値が格納されている場合、即時に、変化パラメーター１２８で補正した表示面に対して仮想オブジェクトを表示させた。しかし、拡張現実感処理部１５１は、変化パラメーター１２８に初期値以外の値が格納されてから予め定められた時間経過後に上述した処理を実行してもよい。このようにすれば、拡張現実感処理部１５１は、変化パラメーター１２８に初期値以外の値が格納（図８、ステップＳ１１２）されてから、補正された表示面に対して仮想オブジェクトが表示されるまでの時間に遅延を生じさせることができる。なお、この遅延時間は、使用者やＨＭＤ１００にインストールされているアプリケーションからの要求によって、適宜設定可能とされてもよい。

上記実施形態の表示面設定処理では、二次元の仮想オブジェクトの表示面を対象として説明した。しかし、表示面設定部１５２は、三次元の仮想オブジェクトの表示面を設定可能であってもよい。三次元の仮想オブジェクトの表示面とは、例えば、三次元の仮想オブジェクトの重心位置Ａと、三次元の仮想オブジェクトの基準点の向きＡｘ,Ａｙ,Ａｚと、三次元の仮想オブジェクトの大きさＡｓと、により特定できる。上述した表示面設定処理において、表示面設定部１５２は、人間の手のひらを第１基準面とし、手のひらから伸びる各指の腹面を第２基準面（親指の腹）〜第６基準面（小指の腹）として、三次元の仮想オブジェクトの重心位置、向き、大きさを特定できる。このようにすれば、表示面設定部１５２は、二次元の仮想オブジェクトの表示面だけでなく、三次元の仮想オブジェクトの表示面についても、使用者の意図するように調整することができる。

・変形例５：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御装置、１１…ボタン、１２…ＬＥＤインジケーター、１３…十字キー、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３１…表示インジケーター、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６２…内側カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データー、１２４…コンテンツデーター、１２６…デフォルト表示面設定、１２８…変化パラメーター、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御部、１５１…拡張現実感処理部、１５２…表示面設定部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２１０…表示ユニット基板、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、ＡＣ，ＡＣ１〜ＡＣ３…アイコン選択画像、ＣＰ…中心点、ＣＶ…曲面、ＣＶ１，ＣＶ２…内側面、Ｄ…距離、ＤＭＫ…検知マーカー、ＤＲＬ…左右方向、ＤＵＤ…上下方向、ＩＳＤ…内側部分、ＭＫ１，ＭＫ２…検知マーカー、ＯＢ，ＯＢａ，ＯＢ１〜ＯＢ５…仮想オブジェクト、ＰＯ…ポインター、Ｙ１，Ｙ２…指先、Ｚ１，Ｚ２…腹面、ｈｄ…手、ｈｄ１…左手、ｈｄ２…右手、ｈｄＡ…腹面

Claims (15)

1. 頭部装着型表示装置であって、
   前記頭部装着型表示装置を装着した使用者に対して虚像を視認させる画像表示部と、
   実空間の情報を取得する取得部と、
   前記実空間に実在しないオブジェクトである仮想オブジェクトを含んだ前記虚像を、前記画像表示部に形成させる制御部と、
   を備え、
   前記制御部は、
   取得された前記実空間の情報を解析することで、前記実空間にあると共に予め定められた条件を満たす平面である基準面を求め、
   前記使用者が視認する前記仮想オブジェクトを前記基準面に基づいて変更する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記制御部は、前記基準面の前記使用者の視界内における位置および傾きを求め、前記仮想オブジェクトの位置および傾きを、求めた前記基準面の位置および傾きに基づいて変更する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記制御部は、
   前記使用者が視認する前記仮想オブジェクトの位置および傾きを、前記基準面の位置および傾きと同じにする、頭部装着型表示装置。
4. 請求項２または請求項３に記載の頭部装着型表示装置であって、さらに、
   前記使用者の視線の方向を取得する視線検出部を備え、
   前記取得部は、
   前記基準面の位置および傾きを求める際に、前記視線検出部により取得された前記視線の方向に相当しない前記実空間の情報の取得を省略する、頭部装着型表示装置。
5. 請求項２から請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、さらに、
   前記使用者による予め定められた第１の動作を検出した際に、前記基準面の前記使用者の視界内における位置および傾きを再び求め、変更後の前記仮想オブジェクトの位置および傾きを、新たに求めた前記基準面の位置および傾きに基づいて再変更する、頭部装着型表示装置。
6. 請求項１から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、さらに、
   前記使用者による予め定められた第２の動作を検出した際に、前記仮想オブジェクトの表示態様を変更する、頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、
   前記第２の動作は、前記実空間における前記使用者の手の移動と手の形状の変化との少なくとも一方を含む、頭部装着型表示装置。
8. 請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、
   人間の手と、前記使用者の手と、予め定められた形状の物体と、予め定められたパターンを有する情報を含んだ画像と、の少なくともいずれかを前記基準面を含む物体とみなす、頭部装着型表示装置。
9. 請求項１から請求項８のいずれか一項に記載の頭部装着型表示装置であって、
   前記予め定められた条件を満たす平面は、三次元認識の結果、予め定められた第１の範囲内の平面度を有し、かつ、予め定められた第２の値以上の面積を有する面である、頭部装着型表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、外景を透過することで前記使用者に対して前記虚像に加え前記外景を視認させる、頭部装着型表示装置。
11. 請求項１０に記載の頭部装着型表示装置であって、さらに、
    前記基準面までの距離を検出する距離検出部を備え、
    前記画像表示部は、
    複数の右眼用画素を含み、前記使用者の右眼に対して前記虚像を視認させる右画像表示部と、
    複数の左眼用画素を含み、前記使用者の左眼に対して前記虚像を視認させる左画像表示部と、を有し、
    前記制御部は、前記距離に応じて、前記複数の右眼用画素および前記複数の左眼用画素における前記仮想オブジェクトの画素位置をそれぞれ変更する、頭部装着型表示装置。
12. 請求項１１に記載の頭部装着型表示装置であって、
    前記制御部は、前記基準面から見たときの前記右眼と前記左眼とのなす角である基準輻輳角が小さくなるほど、前記仮想オブジェクトから見たときの前記右眼と前記左眼とのなす角である表示輻輳角が小さくなるように、前記仮想オブジェクトの画素位置を変更する、頭部装着型表示装置。
13. 請求項１２に記載の頭部装着型表示装置であって、
    前記制御部は、前記基準輻輳角と、前記表示輻輳角とが同じになるように、前記画素位置を変更する、頭部装着型表示装置。
14. 頭部装着型表示装置の制御方法であって、コンピューターが、
    実空間に実在しないオブジェクトである仮想オブジェクトを含んだ虚像を形成し、使用者に視認させる工程と、
    前記実空間の情報を取得する工程と、
    取得された前記実空間の情報を解析することで、前記実空間にあると共に予め定められた条件を満たす平面である基準面を求める工程と、
    前記視認させる工程における前記仮想オブジェクトを前記基準面に基づいて変更する工程と、
    を備える、制御方法。
15. コンピュータープログラムであって、
    実空間に実在しないオブジェクトである仮想オブジェクトを含んだ虚像を形成し、使用者に視認させる機能と、
    前記実空間の情報を取得する機能と、
    取得された前記実空間の情報を解析することで、前記実空間にあると共に予め定められた条件を満たす平面である基準面を求める機能と、
    前記視認させる工程における前記仮想オブジェクトを前記基準面に基づいて変更する機能と、
    を備える、コンピュータープログラム。

Images