JP2016095779A - 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム - Google Patents

Abstract

【課題】頭部装着型表示装置において、眼の個人差を考慮した拡張現実感処理を実現する。【解決手段】利用者が虚像と外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための虚像を画像表示部に形成させ、利用者が目印を注視した際の注視点を表す三次元空間上の注視点座標を求め、標準座標と、注視点座標との間のずれを検出するずれ検出部と、現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出されたずれを用いて配置された仮想オブジェクトを含んだ虚像を画像表示部に形成させる拡張現実感処理部と、を備える。【選択図】図４

Description

本発明は、頭部装着型表示装置に関する。

現実世界に実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感の機能は、例えば、ヘッドマウントディスプレイ（以降、「ＨＭＤ」または「頭部装着型表示装置」とも呼ぶ。）に搭載される。

ＨＭＤは、カメラで外景を撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。ＨＭＤを装着した状態において利用者の視界が遮断されない透過型のＨＭＤでは、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、現実世界の実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

透過型のＨＭＤにおいて拡張現実感を実現する場合、利用者に与える視覚的な違和感を低減するために、利用者が視認する実オブジェクトの位置と、利用者が視認する仮想オブジェクトの位置と、を合わせることが好ましい。「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。そこで、従来では、利用者の左右の眼に視差を付けた仮想オブジェクトを含む虚像を視認させることで、実オブジェクトの位置と仮想オブジェクトの位置とを合わせていた。

しかし、人間の眼には個人差がある。換言すれば、眼の位置、眼球の形状、眼の中の視覚に関する部位（例えば、水晶体、網膜、中心窩等）の位置等が、人それぞれ異なる。このため、実オブジェクトの位置と仮想オブジェクトの位置とを合わせるために、利用者の左右の眼に視差を付けた仮想オブジェクトを含む虚像を視認させたところで、利用者が異なれば、各利用者が視認する仮想オブジェクトの位置にずれが生じる。特許文献１には、ビデオカメラで取得した患者の顔画像を画像処理することによって、非接触的に患者の視線方向を検出する技術が記載されている。

特開２００５−１００３６６号公報 特開２００５−１２８９０１号公報

拡張現実感処理において利用者に与える視覚的な違和感を低減するためには、眼の個人差を考慮して、仮想オブジェクトの位置を決定することが好ましい。この点、特許文献１、２に記載された技術では、拡張現実感処理において眼の個人差を考慮することについては何ら考慮されていない。

このため、眼の個人差を考慮した拡張現実感処理を実現可能な頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、利用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記利用者に前記虚像を視認させる画像表示部と；前記利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための前記虚像を前記画像表示部に形成させ、前記利用者が前記目印を注視した際の注視点を表す前記三次元空間上の注視点座標を求め、前記標準座標と、前記注視点座標との間のずれを検出するずれ検出部と；現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出された前記ずれを用いて配置された前記仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と、を備える。
この形態の頭部装着型表示装置によれば、ずれ検出部は、三次元空間上に形成された目印の標準座標と、利用者が目印を注視した際の注視点を表す注視点座標との間のずれを検出することができる。この「ずれ」は、標準的な利用者が目印を注視した際の注視点と、頭部装着型表示装置の実際の利用者が目印を注視した際の注視点と、の間のずれであり、実際の利用者の眼の個人差によって生じるずれである。また、拡張現実感処理部は、ずれ検出部によって検出された標準座標と注視点座標との間のずれ（すなわち、実際の利用者の眼の個人差によって生じるずれ）を用いて、実オブジェクトに対して表示させるための仮想オブジェクトを配置する。この結果、眼の個人差を考慮した拡張現実感処理を実現可能な頭部装着型表示装置を提供することができる。

（２）上記形態の頭部装着型表示装置において；前記ずれ検出部は、前記標準座標と前記注視点座標との間のずれとして；前記画像表示部に送信する画像データー内における前記目印の座標と、前記標準座標と、を結ぶ標準ベクトルと、前記画像表示部に送信する画像データー内における前記目印の座標と、前記注視点座標と、を結ぶ注視点ベクトルと、のずれを求めてもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、標準座標と注視点座標との間のずれを、標準的な利用者の眼の中心窩と水晶体の中心とを結ぶベクトルと同視できる「標準ベクトル」と、実際の利用者の眼の中心窩と水晶体の中心とを結ぶベクトルと同視できる「注視点ベクトル」と、のずれとして定義することができる。

（３）上記形態の頭部装着型表示装置において；前記角度差は、ロール角の角度差と、ピッチ角の角度差と、ヨー角の角度差と、を含んでもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、三次元空間上の直交座標系におけるｘ軸と、ｙ軸と、ｚ軸と、のそれぞれについての、標準ベクトルと注視点ベクトルとの角度差を求めることができる。

（４）上記形態の頭部装着型表示装置では、さらに；前記利用者の左右の眼に対応した少なくとも２枚の外景画像を取得する外景画像取得部を備え；前記ずれ検出部は；前記利用者に対して、前記目印を指示するように案内し；前記外景画像取得部によって取得された前記少なくとも２枚の外景画像内の前記指示に基づいて、前記注視点座標を求めてもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、頭部装着型表示装置において広く搭載されている外景画像取得部（例えば、ステレオカメラ）によって取得された少なくとも２枚の外景画像を用いて、注視点座標を求めることができる。

（５）上記形態の頭部装着型表示装置では、さらに；前記利用者の視界方向の外景画像を取得する外景画像取得部と；任意の目標物までの距離を取得する距離取得部と、を備え；前記ずれ検出部は；前記利用者に対して、前記目印を指示するように案内し；前記外景画像取得部によって取得された前記外景画像内の前記指示と、前記距離取得部によって取得された前記指示までの距離と、に基づいて、前記注視点座標を求めてもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、外景画像取得部が１枚の外景画像のみ取得可能な場合において、距離取得部によって取得された指示までの距離を併用することで、注視点座標を求めることができる。

（６）上記形態の頭部装着型表示装置において；前記ずれ検出部は；前記利用者に対して前記標準座標上に前記目印を視認させ、前記注視点座標を求め、前記標準座標と前記注視点座標との間のずれを検出する一連の処理を、異なる複数の標準座標を持つ異なる複数の目印に対して繰り返し実行し；前記拡張現実感処理部は；前記仮想オブジェクトの配置において、異なる複数の標準座標についてそれぞれ検出された複数のずれを用いてもよい。
この形態の頭部装着型表示装置によれば、拡張現実感処理部は、異なる複数の標準座標についてそれぞれ検出された複数のずれを用いを用いて仮想オブジェクトを配置するため、拡張現実感処理において考慮される眼の個人差の精度を向上させることができる。

（７）上記形態の頭部装着型表示装置において；前記ずれ検出部は；前記頭部装着型表示装置内の任意のアプリケーションによって形成される任意の表示を前記目印として利用して、前記一連の処理を実行してもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、頭部装着型表示装置内の任意のアプリケーションによって形成される任意の表示を目印として利用して、任意のアプリケーションのバックグラウンドにおいて、標準座標と注視点座標との間のずれを検出するための一連の処理を実行することができる。この結果、利用者の手間を削減することができる。

（８）上記形態の頭部装着型表示装置において；前記ずれ検出部は；前記利用者が右眼で視認する前記虚像と、前記利用者が左眼で視認する前記虚像と、の間に視差を付けることで、前記標準座標上に前記目印を視認させてもよい。
この形態の頭部装着型表示装置によれば、ずれ検出部は、三角測量の原理を用いて簡単に、標準座標上に目印を視認させるための虚像を画像表示部に形成させることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、ずれ検出部と、拡張現実感処理部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、ずれ検出部を有していてもよく、有していなくてもよい。また、この装置は、拡張現実感処理部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、眼の個人差を考慮した拡張現実感処理を実現することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ＨＭＤ１００の構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 ずれ補正処理の手順を示すフローチャートである。 ずれ補正処理のステップＳ１０２について説明するための図である。 ずれ補正処理のステップＳ１０４以降の処理について説明するための図である。 ずれ補正処理のステップＳ１０６について説明するための図である。 ずれ補正処理のステップＳ１１６以降の処理について説明するための図である。 変形２について説明するための図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。本実施形態の頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。

本実施形態のＨＭＤ１００は、現実世界に実在するオブジェクトである「実オブジェクト」に対して、ＨＭＤ１００のＣＰＵを用いて情報を付加する拡張現実感（ＡＲ、Augmented Reality）処理を行うことができる。ここで、オブジェクトとは、任意の人、任意の動植物、任意の物（人工物、自然物等を含む）等を意味する。また、拡張現実感処理において、実オブジェクトに対して付加的に表示される情報を「仮想オブジェクト」と呼ぶ。

本実施形態において、「付加的」とは、以下の全てを含む意味である。
・仮想オブジェクトを用いて実オブジェクトに情報を付加すること。
・仮想オブジェクトを用いて実オブジェクトを強調すること。
・実オブジェクトが持つ情報（色、形等）を、仮想オブジェクトを用いて削除および減衰させること。
・上述した、付加、強調、削除、減衰の任意の２つ以上の組み合わせ。
なお、実オブジェクトと、実オブジェクトに付加的に表示される仮想オブジェクトとは、関連があってもよいし、なくてもよい。

本実施形態のＨＭＤ１００は、拡張現実感処理において、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、ＨＭＤ１００を透過した実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。このような拡張現実感処理において、本実施形態のＨＭＤ１００は、眼の個人差を考慮して、仮想オブジェクトの位置を決定することができる。

なお、本実施形態の実オブジェクトは、利用者が関心を寄せている（例えば視線を向けている）オブジェクトである「実関心オブジェクト」と、利用者の関心外の（例えば視界に入っているものの視線を向けていない）オブジェクトである「実背景オブジェクト」との両方を含む。本実施形態の拡張現実感処理は、実関心オブジェクトと、実背景オブジェクトと、の両方を含む実オブジェクトが処理対象となり得る。

ＨＭＤ１００は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。なお、以降の説明において、ＨＭＤ１００によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、ＨＭＤ１００が画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

Ａ−１−１．画像表示部の構成：
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。画像表示部２０は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である（図１）。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、９軸センサー６６と、を備えている。以降、利用者が画像表示部２０を装着した状態における、画像表示部２０の各部の位置関係と機能について説明する。

図１に示すように、右光学像表示部２６および左光学像表示部２８は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、利用者の眉間に対応する位置で接続されている。図２に示すように、右光学像表示部２６は、右導光板２６１と、調光板（図示省略）と、を備えている。右導光板２６１は、光透過性の樹脂材料等によって形成され、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼ＲＥに導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（利用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１を保護し、損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

左光学像表示部２８は、左導光板２６２と、調光板（図示省略）とを備えている。これらの詳細は、右光学像表示部２６と同様である。なお、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。

図１に示すように、右保持部２１は、右光学像表示部２６の他端ＥＲから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部２３は、左光学像表示部２８の他端ＥＬから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、利用者の頭部に画像表示部２０を保持する。なお、右保持部２１および左保持部２３を総称して単に「保持部」とも呼ぶ。

図１に示すように、右表示駆動部２２は、右保持部２１の内側（利用者の頭部に対向する側）に配置されている。左表示駆動部２４は、左保持部２３の内側に配置されている。図２に示すように、右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（液晶ディスプレイ、Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備えている。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて右バックライト２２１を駆動する。右バックライト２２１は、例えばＬＥＤ（Light Emitting Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用の画像データーＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズである。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを備えている。これらの詳細は、右表示駆動部２２と同様である。なお、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼ぶ。

図１に示すように、カメラ６１は、利用者の左右の目尻の上方に対応する位置にそれぞれ配置されているステレオカメラである。左右のカメラ６１は、画像表示部２０の表側方向、換言すれば、ＨＭＤ１００を装着した状態における利用者の視界方向の外景（外部の景色）をそれぞれ撮像し、左右に対応した２枚の外景画像を取得する。カメラ６１はいわゆる可視光カメラであり、カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。なお、本実施形態におけるカメラ６１はステレオカメラであるが、単眼カメラとしてもよい。なお、カメラ６１は「外景画像取得部」として機能する。

図１に示すように、９軸センサー６６は、利用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が利用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の利用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

図１に示すように、画像表示部２０は、画像表示部２０と制御部１０とを接続するための接続部４０を備えている。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。接続部４０の各コードには、例えば、金属ケーブルや光ファイバーを採用することができる。

Ａ−１−２．制御部の構成：
制御部１０はＨＭＤ１００を制御するための装置である。図１に示すように、制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を備えている。決定キー１１は、押下操作を検出して、制御部１０において操作された内容を決定するための信号を出力する。点灯部１２は、例えばＬＥＤによって実現され、ＨＭＤ１００の動作状態（例えば電源のＯＮ／ＯＦＦ等）を発光状態によって通知する。表示切替キー１３は、押下操作を検出して、例えばコンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（利用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、視線検出部（図示省略）によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部１１０は、利用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０には、距離情報１２２が記憶されている。

距離情報１２２には、後述するずれ補正処理において使用するための、利用者の眼に関する距離の情報が予め記憶されている。本実施形態では、距離情報１２２には、眼間距離と、表示部距離と、が含まれている。眼間距離は、利用者の右眼ＲＥと左眼ＬＥとの間の距離である。本実施形態では、右光学像表示部２６の中心と左光学像表示部２８の中心との間の距離を、利用者の右眼ＲＥと左眼ＬＥとの間の距離とみなす。このため、眼間距離には、ＨＭＤ１００の設計値に基づいた、右光学像表示部２６の中心と左光学像表示部２８の中心との間の距離（例えば、６５ｍｍ）が予め格納されている。表示部距離は、利用者の右眼ＲＥ（または左眼ＬＥ）の中心窩と、光学像表示部との間の距離である。本実施形態では、デフォルト値として所定の値（例えば、４５ｍｍ）が予め格納されている。中心窩とは、人間の眼の網膜の黄斑部の中心に位置する組織であり、高精細な中心視野での視覚に寄与する組織の名称である。なお、眼間距離と、表示部距離とは、利用者によって適宜変更可能であってもよい。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

無線通信部１３２は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等である。

ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ＨＭＤ１００の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部１４２、ずれ検出部１４４、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

拡張現実感処理部１４２は、拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理であり、以下の手順ａ１〜ａ６を含む。

（ａ１）拡張現実感処理部１４２は、カメラ６１により撮像された外景画像を取得する。
（ａ２）拡張現実感処理部１４２は、手順ａ１で取得した外景画像に含まれる実オブジェクトの中から、仮想オブジェクトを付加する対象となる実オブジェクト（以降、「対象オブジェクト」とも呼ぶ。）を特定する。
（ａ３）拡張現実感処理部１４２は、対象オブジェクトの位置を取得する。ここで、「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、拡張現実感処理部１４２は、ステレオカメラであるカメラ６１によって取得された２枚以上の外景画像を用いて、対象オブジェクトの位置を算出してもよい。また、拡張現実感処理部１４２は、カメラ６１により取得された１枚以上の外景画像と、図示しない各種のセンサー（例えば、深度センサー、測距センサー等）とを併用して、対象オブジェクトの位置を算出してもよい。

（ａ４）拡張現実感処理部１４２は、仮想オブジェクトを表す画像、文字、図形記号等（例えば、ポインター、ショートカット、メニュー、ラジオボタン、選択ボタン、ソフトキーボード等）を取得または生成する。拡張現実感処理部１４２は、仮想オブジェクトを記憶部１２０に予め記憶していてもよいし、仮想オブジェクトをＨＭＤ１００にネットワーク接続されている他の装置から取得してもよい。

（ａ５）拡張現実感処理部１４２は、手順ａ３で取得した対象オブジェクトの位置に合わせて、手順ａ４の仮想オブジェクトを配置し、他の部分に黒色を配置した付加画像データーを生成する。この位置合わせの際、拡張現実感処理部１４２は、対象オブジェクトの特徴部（エッジ等）を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。位置合わせの際、拡張現実感処理部１４２は、予め記憶部１２０に記憶されている対象オブジェクトのモデル（または画像）を用いた画像認識を利用してもよい。位置合わせの際、拡張現実感処理部１４２は、利用者による指示に基づいてもよい。また、拡張現実感処理部１４２は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。

（ａ６）拡張現実感処理部１４２は、ずれ検出部１４４と協働することで、後述する「ずれ補正処理」を実行する。ずれ補正処理により、眼の個人差を考慮して、付加画像データー内における仮想オブジェクトの位置が補正され、最終的な仮想オブジェクトの位置が決定される。ずれ補正処理の詳細は後述する。

ずれ検出部１４４は、後述するずれ補正処理において、眼の個人差を検出する。

画像処理部１６０は、画像表示のための信号処理を行う。具体的には、画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介してコンテンツ（映像）が入力されている場合、コンテンツに基づく画像データーＤａｔａを生成する。画像処理部１６０は、ＨＭＤ１００の他の機能部から画像データーを受信した場合、受信したデーターを画像データーＤａｔａとする。なお、画像処理部１６０は、画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。画像処理部１６０は、上述の画像データーＤａｔａと、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、を、送信部５１、５２を介して、画像表示部２０へ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、これらの制御信号を、送信部５１、５２を介して画像表示部２０へ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。

インターフェイス１８０は、所定の有線通信規格に則って、外部装置ＯＡとの間で通信を行う。所定の有線通信規格としては、例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等である。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等を利用することができる。

図３は、利用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、拡張現実感処理を実行していない場合の利用者の視野ＶＲを例示している。上述のようにして、ＨＭＤ１００の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。利用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の利用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

図３（Ｂ）は、拡張現実感処理を実行している場合の利用者の視野ＶＲを例示している。拡張現実感処理を実行することによって、利用者は、仮想オブジェクトＶＯを含んだ虚像ＶＩを視認する。仮想オブジェクトＶＯは、外景ＳＣの山の麓に重畳するように配置されたリンゴの画像である。このように、利用者は、虚像ＶＩに含まれる仮想オブジェクトＶＯと、虚像ＶＩの背後に透過して見える外景ＳＣ内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

Ａ−２．ずれ補正処理：
ずれ補正処理は、拡張現実感処理中において、眼の個人差を考慮して、付加画像データー内における仮想オブジェクトの位置を補正する処理である。ずれ補正処理は、拡張現実感処理のサブルーチンとして、拡張現実感処理の手順ａ６において実行される。

図４は、ずれ補正処理の手順を示すフローチャートである。図５は、ずれ補正処理のステップＳ１０２について説明するための図である。図５では、図示の便宜上、ＨＭＤ１００の右光学像表示部２６および左光学像表示部２８と、利用者の右眼ＲＥおよび左眼ＬＥと、以外は図示を省略する。右眼ＲＥは、水晶体６０Ｒと、中心窩７０Ｒとを備え、左眼ＬＥは、水晶体６０Ｌと、中心窩７０Ｌとを備える。以降、右眼ＲＥと左眼ＬＥとを総称して「両眼」とも呼ぶ。同様に、水晶体６０Ｒと水晶体６０Ｌとを総称して「水晶体」とも呼び、中心窩７０Ｒと中心窩７０Ｌとを総称して「中心窩」とも呼ぶ。同様に、右光学像表示部２６と左光学像表示部２８とを総称して「光学像表示部」とも呼ぶ。

ずれ補正処理（図４）のステップＳ１０２においてずれ検出部１４４は、標準座標上に目印となる仮想オブジェクトＯＢ（以降、単に「目印ＯＢ」とも呼ぶ。）を表示させる。具体的には、ずれ検出部１４４は、標準的な利用者の両眼で目印ＯＢが結像した場合に、距離Z_１先の（Ｘ_１，Ｙ_１）座標上、換言すれば、三次元空間上の標準座標（Ｘ_１，Ｙ_１，Ｚ_１）上に目印ＯＢが視認されるような視差を付けた目印ＯＢを含む右眼用画像データーＤａｔａ１および左眼用画像データーＤａｔａ２を生成し、画像処理部１６０へ送信する。このとき、右眼用画像データーＤａｔａ１内の目印ＯＢの座標をＰＲ（ｘ_１，ｙ_１，０）とし、左眼用画像データーＤａｔａ２内の目印ＯＢの座標をＰＬ（ｘ_１，ｙ_１，０）とする。なお、ＰＲと、ＰＬとは、異なる座標系である。なお、以降、ＰＲのｘ_１の値を「ＰＲｘ_１」と記載し、ｙ_１の値を「ＰＲｙ_１」と記載し、ｚ_１の値を「ＰＲｚ_１」と記載する。ＲＬについても同様である。

標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、ＰＲ（ｘ_１，ｙ_１，０）と、ＰＬ（ｘ_１，ｙ_１，０）との関係は、以下のように定義できる。
・Ｘ_１＝ＰＲｘ_１またはＰＬｘ_１
・Ｙ_１＝ＰＲｙ_１またはＰＬｙ_１
・Ｚ_１＝右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２との中の目印ＯＢの視差によって狙われた任意の点。この点は、利用者の腕の長さよりも短い点とする。

上記では、説明を簡単にするために、Ｘ_１において、ＰＲｘ_１とＰＬｘ_１との相違を無視している。標準座標Ｘ_１をより厳密に定義する場合は、以下のようにしてもよい。なお、眼間距離および表示部距離は、距離情報１２２に予め記憶されている値を用いる。
・Ｘ_１−（眼間距離／２）×｛表示部距離／（Ｚ_１＋表示部距離）｝＝ＰＲｘ_１
・Ｘ_１＋（眼間距離／２）×｛表示部距離／（Ｚ_１＋表示部距離）｝＝ＰＬｘ_１

図６は、ずれ補正処理のステップＳ１０４以降の処理について説明するための図である。図６でも、光学像表示部と利用者の両眼以外の図示を省略する。図６において、図５で示した標準的な利用者の両眼ＲＥ，ＬＥは破線で図示し、ずれ補正処理が実行されている際の実際の利用者の両眼ＲＥａ，ＬＥａは実線で図示する。実際の利用者の右眼ＲＥａおよび左眼ＬＥａは、標準的な利用者の右眼ＲＥおよび左眼ＬＥと比較して、眼球の形状と、水晶体６０Ｒａおよび水晶体６０Ｌａの位置と、中心窩７０Ｒａおよび中心窩７０Ｌａの位置と、が相違する。

図４のステップＳ１０４においてずれ検出部１４４は、ＨＭＤ１００の実際の利用者に対して、ステップＳ１０２で表示した目印ＯＢを注視しながら指さすように促す。ずれ検出部１４４は、注視と指さしを促すメッセージを虚像として表示させることで案内を実現してもよいし、音声を用いて案内を実現してもよい。

実際の利用者は、この案内に応じて、ステップＳ１０２で表示された目印ＯＢを指さす。実際の利用者の眼球の形状と、水晶体および中心窩の位置とは、標準的な利用者とは相違している。このため、実際の利用者が「目印ＯＢがある」と認識し、手８０を用いて指さしながら注視する点ＦＰ（以降、「注視点ＦＰ」とも呼ぶ。）は、図６に示すように、目印ＯＢの位置とは異なっている。以降、三次元空間上の注視点ＦＰの座標（Ｘ_２，Ｙ_２，Ｚ_２）を、「注視点座標」とも呼ぶ。

図７は、ずれ補正処理のステップＳ１０６について説明するための図である。図４のステップＳ１０６においてずれ検出部１４４は、ステレオカメラであるカメラ６１によって、実際の利用者の右眼ＲＥに対応した外景画像ＩＭＲと、左眼ＬＥに対応した外景画像ＩＭＬと、を取得する。

図４のステップＳ１０８においてずれ検出部１４４は、２枚の外景画像から、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を求める。具体的には、ずれ検出部１４４は、まず、外景画像ＩＭＲ内の指先の座標（換言すれば、注視点の座標）ＦＰＲ（ｘ_３，ｙ_３，０）と、外景画像ＩＭＬ内の指先の座標ＦＰＬ（ｘ_３，ｙ_３，０）と、を求める。ＦＰＲと、ＦＰＬとは、異なる座標系である。なお、以降、ＦＰＲのｘ_３の値を「ＦＰＲｘ_３」と記載し、ｙ_３の値を「ＦＰＲｙ_３」と記載する。ＦＲＬについても同様である。

ずれ検出部１４４は、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を、求めた座標ＦＰＲ（ｘ_３，ｙ_３，０）とＦＰＬ（ｘ_３，ｙ_３，０）とを用いて、以下のように求めることができる。
・Ｘ_２＝以下の式１、２を解くことで求める。なお、眼間距離および表示部距離は、距離情報１２２に予め記憶されている値を用いる。
Ｘ_２−（眼間距離／２）×｛表示部距離／（Ｚ_１＋表示部距離）｝＝ＦＰＲｘ_３ ・・・（式１）
Ｘ_２＋（眼間距離／２）×｛表示部距離／（Ｚ_１＋表示部距離）｝＝ＦＰＬｘ_３ ・・・（式２）
・Ｙ_２＝ＦＰＲｙ_３またはＦＰＬｙ_３
・Ｚ_２＝視差（すなわちＦＰＲｘ_３とＦＰＬｘ_３との差）と、距離情報１２２内の眼間距離と、から三角関数を用いて求めた点

ステップＳ１０８によれば、ずれ検出部１４４は、頭部装着型表示装置（ＨＭＤ１００）において広く搭載されているステレオカメラによって取得された少なくとも２枚の外景画像ＩＭＲ、ＩＭＬを用いて、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を求めることができる。

以降のずれ補正処理（図４）における右眼用の処理（ステップＳ１１０〜Ｓ１２０）と、左眼用の処理（ステップＳ１５０〜Ｓ１６０）とは、並列的に実行される。以下では、まず、右眼用の処理のみを説明する。

図４のステップＳ１１０においてずれ検出部１４４は、右眼の標準ベクトルＢ１Ｒを求める。具体的には、ずれ検出部１４４は、図５の右眼用画像データーＤａｔａ１内の目印ＯＢの座標ＰＲ（ｘ_１，ｙ_１，０）と、標準的な利用者の両眼で目印ＯＢが視認されると想定される標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、を結ぶベクトルを求め、求めたベクトルを右眼の標準ベクトルＢ１Ｒとする。右眼の標準ベクトルＢ１Ｒは、標準的な利用者の右眼ＲＥの中心窩７０Ｒと水晶体６０Ｒの中心とを結ぶベクトルと同視できる。

ステップＳ１１２においてずれ検出部１４４は、右眼の注視点ベクトルＢ２Ｒを求める。具体的には、ずれ検出部１４４は、図６の右眼用画像データーＤａｔａ１内の目印ＯＢの座標ＰＲ（ｘ_１，ｙ_１，０）と、実際の利用者の両眼で目印ＯＢが視認された注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）と、を結ぶベクトルを求め、求めたベクトルを右眼の注視点ベクトルＢ２Ｒとする。右眼の注視点ベクトルＢ２Ｒは、実際の利用者の右眼ＲＥａの中心窩７０Ｒａと水晶体６０Ｒａの中心とを結ぶベクトルと同視できる。

ステップＳ１１４においてずれ検出部１４４は、右眼の標準ベクトルＢ１Ｒと、右眼の注視点ベクトルＢ２Ｒと、の角度差ΔθＲ（ｘ，ｙ，ｚ）を求める。角度差ΔθＲのｘはピッチ角の角度差を、ｙはヨー角の角度差を、ｚはロール角の角度差を、それぞれ表す。

図８は、ずれ補正処理のステップＳ１１６以降の処理について説明するための図である。図８でも、光学像表示部と利用者の両眼以外の図示を省略し、標準的な利用者の両眼ＲＥ，ＬＥは破線で図示し、実際の利用者の両眼ＲＥａ，ＬＥａは実線で図示する。図８で示す距離Ｌ_０は、距離情報１２２に記憶されている表示部距離である。

図４のステップＳ１１６において拡張現実感処理部１４２は、実際の利用者に仮想オブジェクトを視認させたい距離Ｌ_ｉ（図８）に応じた右眼用補正量を求める。具体的には、利用者の右眼ＲＥから無限遠方向に仮想的に引いた仮想直線と、右眼の標準ベクトルＢ１Ｒと、の間のピッチ角の角度差をθＲｘとする。右眼の標準ベクトルＢ１Ｒと、右眼の注視点ベクトルＢ２Ｒと、の角度差ΔθＲ（ｘ，ｙ，ｚ）のうち、ピッチ角の角度差をΔθＲｘとする。また、利用者の右眼ＲＥから無限遠方向に仮想的に引いた仮想直線と、標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、の間のｘ軸方向の長さをｄｘとする。標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）と、の間のｘ軸方向の長さをΔＸ_ｉとする。

このとき、上述した各値は、以下の式３、４の関係を満たす。
ｔａｎθＲｘ＝ｄｘ／Ｌ_ｉ ・・・（式３）
ｔａｎ（θＲｘ＋ΔθＲｘ）＝（ｄｘ＋ΔＸ_ｉ）／Ｌ_ｉ ・・・（式４）

拡張現実感処理部１４２は、式３、４を「ΔθＲｘ」について解くことで、右眼用画像データーＤａｔａ１内の目印ＯＢの座標ＰＲ（ｘ_１，ｙ_１，０）のｘ軸方向における右眼用補正量を求めることができる。

拡張現実感処理部１４２は、同様にして、右眼用画像データーＤａｔａ１内の目印ＯＢの座標ＰＲ（ｘ_１，ｙ_１，０）のｙ軸方向、ｚ軸方向における右眼用補正量を求める。例えば、ｙ軸方向における補正両を求める場合は、上述の記載のうち、「ピッチ角」を「ヨー角」に、「ｘ軸方向」を「ｙ軸方向」に、「θＲｘ」を「θＲｙ」に、「ΔθＲｘ」を「ΔθＲｙ」に、「ｄｘ」を「ｄｙ」に、「ΔＸ_ｉ」を「ΔＹ_ｉ」に、それぞれ読み替えればよい。

図４のステップＳ１１８において拡張現実感処理部１４２は、拡張現実感処理の手順ａ５で生成した付加画像データー内の仮想オブジェクトの位置を、ステップＳ１１６で求めたｘ，ｙ，ｚ軸方向における右眼用補正量に基づいて補正する。

ステップＳ１２０において拡張現実感処理部１４２は、補正後の付加画像データーを、右眼用画像データーＤａｔａ１として画像処理部１６０へ送信する。

図４のステップＳ１５０〜Ｓ１６０において、左眼用の処理が実行される。すなわち、ずれ検出部１４４は、左眼の標準ベクトルＢ１Ｌを求め（ステップＳ１５０）、左眼の注視点ベクトルＢ２Ｌを求め（ステップＳ１５２）、これらの角度差ΔθＬ（ｘ，ｙ，ｚ）を求める（ステップＳ１５４）。拡張現実感処理部１４２は、求めた角度差ΔθＬ（ｘ，ｙ，ｚ）と、実際の利用者に仮想オブジェクトを視認させたい距離Ｌ_ｉとに応じた左眼用補正量を求める（ステップＳ１５６）。拡張現実感処理部１４２は、左眼用補正量を用いて仮想オブジェクトの位置を補正（ステップＳ１５８）した付加画像データーを、左眼用画像データーＤａｔａ２として画像処理部１６０へ送信する（ステップＳ１６０）。

右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを受信した画像処理部１６０では、上述した表示処理が行われる。この結果、右眼ＲＥａに導かれた画像光と左眼ＬＥａに導かれた画像光とが網膜（特に中心窩近傍）に結像することにより、ＨＭＤ１００の実際の利用者は、人間の眼の個人差（眼の位置、眼球の形状、眼の中の視覚に関する部位（例えば、水晶体、網膜、中心窩等）の位置の相違）を考慮して位置合わせされた仮想オブジェクトを含む虚像を視認することができる。

以上のように、本実施形態のずれ補正処理（図４）によれば、ずれ検出部１４４は、三次元空間上に形成された目印ＯＢの標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、利用者が目印ＯＢを注視した際の注視点を表す注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）との間のずれを検出することができる。この「ずれ」は、標準的な利用者が目印ＯＢを注視した際の注視点ＯＢと、頭部装着型表示装置（ＨＭＤ１００）の実際の利用者が目印ＯＢを注視した際の注視点ＦＰと、の間のずれであり、実際の利用者の眼ＲＥａ，ＬＥａの個人差によって生じるずれである。また、拡張現実感処理部１４２は、ずれ検出部１４４によって検出された標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）との間のずれ（すなわち、実際の利用者の眼ＲＥａ，ＬＥａの個人差によって生じるずれ）を用いて、実オブジェクトに対して付加的に表示させるための仮想オブジェクトを配置する（手順ａ６）。この結果、眼の個人差を考慮した拡張現実感処理（手順ａ１〜ａ６）を実現可能な頭部装着型表示装置を提供することができる。

さらに、本実施形態のずれ補正処理（図４）によれば、ずれ検出部１４４は、標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）との間のずれを、標準的な利用者の眼ＲＥ，ＬＥの中心窩７０Ｒ，２０Ｌと水晶体６０Ｒ，１０Ｌの中心とを結ぶベクトルと同視できる「標準ベクトルＢ１Ｒ，Ｂ１Ｌ」と、実際の利用者の眼ＲＥａ，ＬＥａの中心窩７０Ｒａ，２０Ｌａと水晶体６０Ｒａ，１０Ｌａの中心とを結ぶベクトルと同視できる「注視点ベクトルＢ２Ｒ，Ｂ２Ｌ」と、の角度差ΔθＲ，ΔθＬとして定義することができる。また、角度差ΔθＲ，ΔθＬは、ピッチ角の角度差ΔθＲｘ，ΔθＬｘと、ヨー角の角度差ΔθＲｙ，ΔθＬｙと、ロール角の角度差ΔθＲｚ，ΔθＬｚと、を含むため、ずれ検出部１４４は、三次元空間上の直交座標系におけるｘ軸と、ｙ軸と、ｚ軸と、のそれぞれについての、標準ベクトルＢ１Ｒ，Ｂ１Ｌと注視点ベクトルＢ２Ｒ，Ｂ２Ｌとの角度差を求めることができる。

Ａ−３．ずれ補正処理の変形：
なお、ずれ補正処理（図４）には、以下のような変形１〜３を施してもよい。変形１〜３は単独で採用してもよいし、組み合わせて採用してもよい。なお、変形１〜３の説明では、上記実施形態と異なる部分についてのみ説明する。以下で説明しないステップについては、上記実施形態と同様である。

Ａ−３−１．変形１：
変形１では、異なる複数の標準座標について、標準座標と注視点座標との間のずれを検出することで、ずれ補正処理の精度を向上させる。

図４において、ずれ検出部１４４は、ステップＳ１０２〜Ｓ１１４までの一連の処理、すなわち、利用者に対して標準座標（Ｘ_１，Ｙ_１，Ｚ_１）上に目印ＯＢを視認させ、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を求め、標準ベクトルＢ１Ｒと注視点ベクトルＢ２Ｒとの角度差ΔθＲ（ｘ，ｙ，ｚ）を標準座標と注視点座標との間のずれとして検出する一連の処理を、標準座標のＸ_１，Ｙ_１，Ｚ_１の具体的な値を変えつつ、繰り返し実行する。同様に、ずれ検出部１４４は、ステップＳ１０２〜Ｓ１５４までの一連の処理についても、標準座標のＸ_１，Ｙ_１，Ｚ_１の具体的な値を変えつつ、繰り返し実行する。

この際、標準座標は、利用者の視野内において可能な限り分散させることが好ましい。例えば、ずれ検出部１４４は、１回目の処理での標準座標を利用者の視野の右上端部とし、２回目の処理での標準座標を利用者の視野の左上端部とし、３回目の処理での標準座標を利用者の視野の左下端部とし、４回目の処理での標準座標を利用者の視野の右下端部とし、５回目の処理での標準座標を利用者の視野の中央部とすることが好ましい。

図４のステップＳ１１６において、拡張現実感処理部１４２は、求めた複数の標準座標と注視点座標との間のずれ（角度差ΔθＲ）を用いて、右眼用補正量を求める。具体的には、拡張現実感処理部１４２は、以下の方法ｂ１、ｂ２のいずれかを用いて右眼用補正量を求めることができる。

（ｂ１）拡張現実感処理部１４２は、求めた複数の角度差ΔθＲから、実際の利用者に仮想オブジェクトを視認させたいｘ軸方向の位置と、ｙ軸方向の位置と、に最も近い標準座標を用いて求められた１つの角度差ΔθＲを選択する。拡張現実感処理部１４２は、選択した角度差ΔθＲを用いて図４のステップＳ１１６で説明した処理を実行することで、右眼用補正量を求める。

（ｂ２）拡張現実感処理部１４２は、求めた複数の角度差ΔθＲの平均値を求める。平均値は、ピッチ角の角度差ΔθＲｘと、ヨー角の角度差ΔθＲｙと、ロール角の角度差ΔθＲｚと、のそれぞれについて求める。拡張現実感処理部１４２は、求めた角度差ΔθＲの平均値を用いて図４のステップＳ１１６で説明した処理を実行することで、右眼用補正量を求める。

同様に、ステップＳ１５６において拡張現実感処理部１４２は、求めた複数の角度差ΔθＬを用いて、左眼用補正量を求める。

このように、変形１によれば、拡張現実感処理部１４２は、異なる複数の標準座標（Ｘ_１，Ｙ_１，Ｚ_１）についてそれぞれ検出された複数のずれ（ΔθＲ，ΔθＬ）を用いを用いて仮想オブジェクトを配置するため、拡張現実感処理（手順ａ１〜ａ６）において考慮される眼の個人差の精度を向上させることができる。

Ａ−３−２．変形２：
変形２では、変形１と同様に、異なる複数の標準座標について、標準座標と注視点座標との間のずれを検出することで、ずれ補正処理の精度を向上させる。さらに、変形２では、ＨＭＤ１００内の任意のアプリケーションによって形成される任意の表示を目印ＯＢとして利用する。なお、変形２の説明では、変形１と異なる部分についてのみ説明する。以下で説明しないステップについては、変形１と同様である。

図９は、変形２について説明するための図である。図９（Ａ）および図９（Ｂ）は、いずれも、ＨＭＤ１００の内の認証アプリケーションによって形成される認証画面ＩＭを現す虚像ＶＩを模式的に表している。認証画面ＩＭは、９つの入力エリアＡ１〜Ａ９を備えている。認証アプリケーションは、入力エリアＡ１〜Ａ９を利用して利用者が入力したパスワードと、予めＨＭＤ１００内に記憶されているパスワードと、が一致した場合に、利用者がＨＭＤ１００の正当な利用者であると判定し、例えば画面ロック解除等の処理を実行するアプリケーションである。

ずれ検出部１４４は、ステップＳ１０２〜Ｓ１１４（左眼の場合はステップＳ１０２〜Ｓ１５４）までの一連の処理を繰り返す際の「標準座標」を、認証画面ＩＭ内の利用者のタッチが想定される座標とする。例えば、利用者のパスワードが「ＡＣＨ」である場合、ずれ検出部１４４は、１回目の標準座標を、文字列「Ａ」が割り当てられている入力エリアＡ１の例えば中央部の座標とする（図９（Ａ））。この場合、入力エリアＡ１の「Ａ」という表示が１回目の目印ＯＢとして利用される。同様に、ずれ検出部１４４は、２回目の標準座標を、文字列「Ｃ」が割り当てられている入力エリアＡ３の中央部の座標とし（図９（Ｂ））、３回目の標準座標を、文字列「Ｈ」が割り当てられている入力エリアＡ８の中央部の座標とする。この場合、入力エリアＡ３の「Ｃ」という表示が２回目の目印ＯＢとして、入力エリアＡ８の「Ｈ」という表示が３回目の目印ＯＢとして、それぞれ利用される。

なお、上述の説明では、認証アプリケーションを例示したが、ずれ検出部１４４は、ＨＭＤ１００内の任意のアプリケーション（例えば、ゲームアプリケーション、文字入力アプリケーション、ジェスチャーによる入力アプリケーション等）によって形成される任意の表示（例えば、文字、図形、画像等）を目印ＯＢとして利用することができる。

このように、変形２によれば、ずれ検出部１４４は、頭部装着型表示装置内（ＨＭＤ１００）の任意のアプリケーションによって形成される任意の表示を目印ＯＢとして利用して、任意のアプリケーションのバックグラウンドにおいて、標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）との間のずれ（ΔθＲ，ΔθＬ）を検出するための一連の処理を実行することができる。この結果、利用者の手間を削減することができる。

Ａ−３−３．変形３：
変形３では、ステレオカメラを用いずに、上記実施形態と同様の処理を実現する。

変形３では、図２に示したカメラ６１は単眼カメラである。また、ＨＭＤ１００の画像表示部２０には、正面の各点までの深度（距離）を取得することができる深度センサーが搭載されている。なお、深度センサーは「距離取得部」として機能する。

図４のステップＳ１０６においてずれ検出部１４４は、カメラ６１によって、利用者の視界方向の外景画像を取得する。さらにずれ検出部１４４は、深度センサーを用いて、利用者と利用者の視界方向の各点との間の深度を取得する。

ステップＳ１０８においてずれ検出部１４４は、カメラ６１により取得された外景画像と、深度センサーにより取得された深度と、を用いて注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を求める。具体的には、ずれ検出部１４４は、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を、外景画像内の指先の座標（ｘ_４，ｙ_４）を用いて、以下のように求めることができる。
・Ｘ_２＝ｘ_４
・Ｙ_２＝ｙ_４
・Ｚ_２＝深度センサーによって取得された深度（距離）

なお、上述の説明では、距離取得部の一例として深度センサーを挙げたが、距離取得部としての機能は、超音波センサー、赤外線センサー等、他のセンサーで代用してもよい。

このように、変形３によれば、ずれ検出部１４４は、外景画像取得部（カメラ６１）が１枚の外景画像のみ取得可能な場合において、距離取得部（深度センサー）によって取得された指示（利用者の指先）までの距離（深度）を併用することで、注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）を求めることができる。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
（i）制御部にＣＰＵやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様
（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）
（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部（Ｔｘ）および画像表示部の受信部（Ｒｘ）は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図１０は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１０（Ａ）の画像表示部２０ｘは、右光学像表示部２６ｘおよび左光学像表示部２８ｘを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図１０（Ｂ）の画像表示部２０ｙは、右光学像表示部２６ｙおよび左光学像表示部２８ｙを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部、拡張現実感処理部等）は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。例えば、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。

例えば、画像光生成部は、上述した構成部（バックライト、バックライト制御部、ＬＣＤ、ＬＣＤ制御部）と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備えていてもよい。例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例２：
上記実施形態では、拡張現実感処理と、ずれ補正処理との一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、ずれ補正処理（図４）のステップＳ１０４は省略してもよい。特に、変形２のように、任意のアプリケーションによって形成される任意の表示を目印として利用する場合、利用者は「自分が指すべき場所」が分かっていることが多いため、ステップＳ１０４の案内が不要な場合が多い。

例えば、ステップＳ１１０〜Ｓ１１４、および、ステップＳ１５０〜Ｓ１５４は省略してもよい。この場合、ステップＳ１１６およびステップＳ１５６において拡張現実感処理部は、ステップＳ１０２の標準座標（Ｘ_１，Ｙ_１，Ｚ_１）と、ステップＳ１０８で求めた注視点座標（Ｘ_２，Ｙ_２，Ｚ_２）と、の各値の差を用いて、右眼用補正量と、左眼用補正量とを求めることができる。

例えば、拡張現実感処理において利用者の眼前に形成される虚像には、仮想オブジェクトだけが含まれていてもよく、仮想オブジェクト以外の他の情報（例えば、メニューバーや時計等）が含まれていてもよい。

・変形例３：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（外景画像取得部）
６６…９軸センサー
１１０…入力情報取得部
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１２２…距離情報
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…拡張現実感処理部
１４４…ずれ検出部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
６０…水晶体
７０…中心窩
８０…手
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＩＭ…認証画面
ＶＯ…仮想オブジェクト
Ｂ１Ｌ…標準ベクトル
Ｂ２Ｌ…注視点ベクトル
Ｂ１Ｒ…標準ベクトル
Ｂ２Ｒ…注視点ベクトル

Claims (10)

1. 利用者が虚像と外景とを視認可能な頭部装着型表示装置であって、
   前記利用者に前記虚像を視認させる画像表示部と、
   前記利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための前記虚像を前記画像表示部に形成させ、前記利用者が前記目印を注視した際の注視点を表す前記三次元空間上の注視点座標を求め、前記標準座標と、前記注視点座標との間のずれを検出するずれ検出部と、
   現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出された前記ずれを用いて配置された前記仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と、
   を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記ずれ検出部は、前記標準座標と前記注視点座標との間のずれとして、
   前記画像表示部に送信する画像データー内における前記目印の座標と、前記標準座標と、を結ぶ標準ベクトルと、前記画像表示部に送信する画像データー内における前記目印の座標と、前記注視点座標と、を結ぶ注視点ベクトルと、のずれを求める、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記角度差は、ロール角の角度差と、ピッチ角の角度差と、ヨー角の角度差と、を含む、頭部装着型表示装置。
4. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記利用者の左右の眼に対応した少なくとも２枚の外景画像を取得する外景画像取得部を備え、
   前記ずれ検出部は、
   前記利用者に対して、前記目印を指示するように案内し、
   前記外景画像取得部によって取得された前記少なくとも２枚の外景画像内の前記指示に基づいて、前記注視点座標を求める、頭部装着型表示装置。
5. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記利用者の視界方向の外景画像を取得する外景画像取得部と、
   任意の目標物までの距離を取得する距離取得部と、
   を備え、
   前記ずれ検出部は、
   前記利用者に対して、前記目印を指示するように案内し、
   前記外景画像取得部によって取得された前記外景画像内の前記指示と、前記距離取得部によって取得された前記指示までの距離と、に基づいて、前記注視点座標を求める、頭部装着型表示装置。
6. 請求項１から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記ずれ検出部は、
   前記利用者に対して前記標準座標上に前記目印を視認させ、前記注視点座標を求め、前記標準座標と前記注視点座標との間のずれを検出する一連の処理を、異なる複数の標準座標を持つ異なる複数の目印に対して繰り返し実行し、
   前記拡張現実感処理部は、
   前記仮想オブジェクトの配置において、異なる複数の標準座標についてそれぞれ検出された複数のずれを用いる、頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、
   前記ずれ検出部は、
   前記頭部装着型表示装置内の任意のアプリケーションによって形成される任意の表示を前記目印として利用して、前記一連の処理を実行する、頭部装着型表示装置。
8. 請求項１から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記ずれ検出部は、
   前記利用者が右眼で視認する前記虚像と、前記利用者が左眼で視認する前記虚像と、の間に視差を付けることで、前記標準座標上に前記目印を視認させる、頭部装着型表示装置。
9. 頭部装着型表示装置を制御する方法であって、
   利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための虚像を形成させる工程と、
   前記利用者が前記目印を注視した際の注視点を表す前記三次元空間上の注視点座標を求める工程と、
   前記標準座標と、前記注視点座標との間のずれを検出する工程と、
   現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出された前記ずれを用いて配置された前記仮想オブジェクトを含んだ虚像を形成させる工程と、
   を備える、方法。
10. コンピュータープログラムであって、
    利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための虚像を形成させる機能と、
    前記利用者が前記目印を注視した際の注視点を表す前記三次元空間上の注視点座標を求める機能と、
    前記標準座標と、前記注視点座標との間のずれを検出する機能と、
    現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出された前記ずれを用いて配置された前記仮想オブジェクトを含んだ虚像を形成させる機能と、
    をコンピューターに実現させるための、コンピュータープログラム。

Images