JP2023123197A - 電子機器 - Google Patents

Abstract

【課題】光学シースルー方式の表示装置に表示した仮想物体の２重見えを抑制可能にする技術を提供する。【解決手段】本発明の電子機器は、光学シースルー方式の表示装置を頭部に装着したユーザの右眼の視線に関する右視線情報と、前記ユーザの左眼の視線に関する左視線情報とを取得する視線取得手段と、前記右視線情報と前記左視線情報とに基づいて、前記左眼の視線と前記右眼の視線との相関に関する相関情報を、個人差の情報として取得する相関取得手段とを有することを特徴とする。【選択図】図１５

Description

本発明は、光学シースルー方式の表示装置を装着したユーザのＨＭＤ（ヘッドマウントディスプレイ）などの表示装置を制御する制御装置に関する。
に関する。

近年、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を利用した眼鏡型デバイスなど、ユーザの視線を検出する機能を有するヘッドマウントディスプレイ（ＨＭＤ）の自動化・インテリジェント化が進んでいる。

特許文献１では、光学シースルー方式の表示装置が提案されている。光学シースルー方式の表示装置を装着したユーザは、光学部材（レンズ）を通して外界を視認することができる。さらに、ユーザは、表示装置に表示された仮想物体を、外界に存在するように見ることができる。特許文献２では、片眼の視線検出のキャリブレーションが提案されている。特許文献３では、立体視可能な２つの撮像画像それぞれに、被写体距離に応じた視差をつけて仮想物体を描画することが提案されている。

特開２００３－２３０５３９号公報 特開２００５－２４９８３１号公報 特開２００９－２１０８４０号公報

しかしながら、特許文献１の表示装置では、ユーザが外界の物体を見ているときに、仮想物体が左右に分かれて、２重に見えてしまうことがある（２重見え）。特許文献２のキャリブレーション（片眼の視線検出のキャリブレーション）を行っても、２重見えの課題は解決できない。特許文献３の方法を用いても、ユーザに依存しない視差で仮想物体が描画されるため、ユーザに依っては２重見えが発生してしまう。

本発明は、光学シースルー方式の表示装置に表示した仮想物体の２重見えを抑制可能にする技術を提供することを目的とする。

本発明の第１の態様は、光学シースルー方式の表示装置を頭部に装着したユーザの右眼の視線に関する右視線情報と、前記ユーザの左眼の視線に関する左視線情報とを取得する視線取得手段と、前記右視線情報と前記左視線情報とに基づいて、前記左眼の視線と前記右眼の視線との相関に関する相関情報を、個人差の情報として取得する相関取得手段とを有することを特徴とする電子機器である。

本発明の第２の態様は、ユーザの頭部に対して着脱可能な光学シースルー方式の表示装置を制御する電子機器であって、前記ユーザが第１のユーザであり、且つ、前記ユーザから物体までの距離が第１の距離である第１の場合と、前記ユーザが前記第１のユーザであり、且つ、前記ユーザから前記物体までの前記距離が第２の距離である第２の場合と、前記ユーザが第２のユーザであり、且つ、前記ユーザから前記物体までの前記距離が前記第１の距離である第３の場合と、前記ユーザが前記第２のユーザであり、且つ、前記ユーザ
から前記物体までの前記距離が前記第２の距離である第４の場合とで、右眼と左眼に対して表示する、前記物体に対応する仮想物体の表示位置が異なり、前記第１の場合と前記第２の場合との間の前記表示位置の差異は、前記第３の場合と前記第４の場合との間の前記表示位置の差異と異なることを特徴とする電子機器である。

本発明の第３の態様は、光学シースルー方式の表示装置を頭部に装着したユーザの右眼の視線に関する右視線情報と、前記ユーザの左眼の視線に関する左視線情報とを取得するステップと、前記右視線情報と前記左視線情報とに基づいて、前記左眼の視線と前記右眼の視線との相関に関する相関情報を、個人差の情報として取得するステップとを有することを特徴とする電子機器の制御方法である。

本発明の第４の態様は、コンピュータを上記電子機器の各手段として機能させるためのプログラムである。本発明の第５の態様は、コンピュータを上記電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、光学シースルー方式の表示装置に表示した仮想物体の２重見えが抑制可能となる。

実施例１に係る表示装置の外観図である。 実施例１に係る表示装置のブロック図である。 実施例１に係る視線検出方法の原理を説明するための図である。 実施例１に係る眼画像を示す図である。 実施例１に係る視線検出動作のフローチャートである。 実施例１に係る視野を示す図である。 仮想物体の理想的な見えと２重見えとを示す図である。 実施例１に係る仮想物体の表示方法を示す図である。 実施例１に係る仮想物体の表示方法を示す図である。 実施例１に係る仮想物体の表示方法を示す図である。 実施例１に係る眼球の内部構成を示す図である。 実施例１に係る仮想物体の表示方法を示す図である。 実施例１に係る瞳孔変化を示す図である。 実施例１に係る頭部姿勢変化を示す図である。 実施例１に係るキャリブレーション動作のフローチャートである。 実施例１に係るキャリブレーション用の表示を示す図である。 実施例１に係る仮想物体表示動作のフローチャートである。 実施例２に係る個人識別動作のフローチャートである。 実施例２に係る個人識別用の表示を示す図である。 実施例２に係る個人識別動作のための機能構成を示すブロック図である。 実施例２に係る情報の管理方法を示す図である。 実施例２に係るに係るＣＮＮの構成を示す図である。 実施例２に係る特徴検出処理と特徴統合処理を示す図である。

＜＜実施例１＞＞
本発明の実施例１について説明する。なお、以下では、光学シースルー方式の表示装置に本発明を適用した例を説明するが、本発明は、表示装置とは別体の電子機器、例えば表示装置と通信可能なコントローラやパーソナルコンピュータなどにも適用可能である。

＜構成の説明＞
図１（ａ），１（ｂ）は、実施例１に係る表示装置１００の外観を示す。図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。表示装置１００は、光学シースルー方式の表示装置であり、頭部に対して着脱可能なヘッドマウントディスプレイ（ＨＭＤ）の一種であり、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を利用した眼鏡型デバイスである。表示装置１００は、表示装置１００を頭部に装着したユーザの右眼の視線と左眼の視線とを個別に検出することができる。以後、表示装置１００を頭部に装着したユーザのことを、単にユーザと称する。

レンズ１０は、ユーザの眼に対向する光学部材である。ユーザは、レンズ１０を通して外界を視認することができる。表示デバイス１１は、後述するＣＰＵ２からの制御（表示制御）により、ユーザの両眼（右眼と左眼の両方）に対して、仮想物体（仮想物体の虚像）を表示する。ユーザは、表示された仮想物体を、外界に存在するように見ることができる。光源駆動回路１２は、光源１３ａ，１３ｂを駆動する。光源１３ａ，１３ｂそれぞれは、ユーザの眼を照明する光源であり、例えばユーザに対して不感の赤外光を発する赤外発光ダイオードなどである。光源１３ａ，１３ｂから発せられてユーザの眼で反射した光の一部は、受光レンズ１６によって、眼撮像素子１７に集光する。これらの部材は、左眼と右眼のそれぞれについて設けられている。例えば、眼撮像素子１７として、右眼を撮像する右撮像素子と、左眼を撮像する左撮像素子とが設けられている。

外界撮像ユニット２０は、撮像素子を含み、ユーザが顔を向けている方向の外界の光景を撮像する。

図２は、表示装置１００における電気的構成を示すブロック図である。ＣＰＵ２は、表示装置１００に内蔵されたマイクロコンピュータの中央処理部であり、表示装置１００全体を制御する。ＣＰＵ２には、表示デバイス１１、光源駆動回路１２、視線検出回路１５、外界撮像ユニット２０、距離検出回路２０１、頭部姿勢検出回路２１、メモリ部３などが接続されている。

メモリ部３は、眼撮像素子１７や外界撮像ユニット２０からの映像信号の記憶機能と、後述する視線の個人差を補正する視線補正パラメータの記憶機能とを有する。

視線検出回路１５は、眼撮像素子１７上に眼の光学像が結像した状態での眼撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ２に送信する。ＣＰＵ２は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザの視線を検出する。例えば、ＣＰＵ２は、右撮像素子によって得られた右眼画像に基づいて、右眼の視線に関する右視線情報を取得し、左撮像素子によって得られた左眼画像に基づいて、左眼の視線に関する左視線情報を取得する。

表示装置１００は、視線検出の結果（視線情報、注視点情報）に応じて、ユーザが注視している現実物体に関係する情報などをＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として表示するように、表示デバイス１１を制御することができる。現実物体は、外界（現実空間）に実在する物体であり、外界撮像ユニット２０の被写体でもある。

距離検出回路２０１は、外界撮像ユニット２０における撮像素子（ＣＣＤ）の中に含まれる、位相差検出のための複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ２に送る。ＣＰＵ２は、複数の検出素子の信号から、各距離検出ポイントに対応する現実物体（被写体）までの距離を演算する。これはカメラにおける撮像面位相差ＡＦとして知られる公知の技術である。実施例１では、一例として、図６（ａ）の視野（レンズ１０を通してユーザが見ることのできる範囲、外界撮像ユニット２０の撮像範囲）に示
す１８０か所に対応する撮像面上の１８０か所のそれぞれに、距離検出ポイントがあるとする。このように、ＣＰＵ２は、距離検出回路２０１を制御して、ユーザ（表示装置１００）から現実物体までの距離を測定（推定）する（距離測定）。

図６（ａ）は、ユーザの視野を示す図であり、表示デバイス１１が動作した状態を示す。図６（ａ）に示すように、ユーザの視野には、１８０個の部分領域６０１からなる距離検出領域６００や、視野マスク６０２などがある。１８０個の部分領域６０１のそれぞれは、外界撮像ユニット２０の撮像面上における距離検出ポイントに対応する部分である。また、表示デバイス１１は、１８０個の部分領域６０１のうち、現在の注視点Ａ（推定位置）に対応する部分領域に、枠などを表示する。注視点は、視線が注がれた位置、ユーザが見ている位置、視線位置、注視位置などと捉えることもできる。

頭部姿勢検出回路２１は、加速度センサなどで構成され、検出信号をＣＰＵ２に送る。ＣＰＵ２は、検出信号を解析し、ユーザの頭部の姿勢（例えば傾き量）を検出する。このように、ＣＰＵ２は、頭部姿勢検出回路２１を制御して、ユーザの頭部の姿勢（表示装置１００の姿勢）を測定（推定）する（頭部測定）。

＜視線検出動作の説明＞
図３，４（ａ），４（ｂ），５を用いて、視線検出方法について説明する。右眼の視線も左眼の視線も、以下の視線検出方法で検出される。図３は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図４（ａ）は、眼撮像素子１７で撮像された眼画像（眼撮像素子１７に投影された光学像）の概略図であり、図４（ｂ）は眼撮像素子１７におけるＣＣＤの出力強度を示す図である。図５は、視線検出動作の概略フローチャートを表す。

視線検出動作が開始すると、図５のステップＳ１０１で、ＣＰＵ２は、光源１３ａ，１３ｂを制御して、ユーザの眼球１４に向けて赤外光を発する。赤外光によって照明されたユーザの眼の光学像は、受光レンズ１６を通して眼撮像素子１７上に結像され、眼撮像素子１７により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ１０２では、ＣＰＵ２は、眼撮像素子１７から視線検出回路１５を介して眼画像（眼画像信号；眼画像の電気信号）を取得する。

ステップＳ１０３では、ＣＰＵ２は、ステップＳ１０２で得られた眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を検出する。

光源１３ａ，１３ｂより発せられた赤外光は、ユーザの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１６により集光され、眼撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図４（ｂ）は、図４（ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図４（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施例１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図４（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側
の光彩１４３の領域（光彩１４３からの光束が結像して得られる、瞳孔像の外側の光彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより大きい領域と、Ｘ座標が座標Ｘｂより小さい領域とで、上記２種の輝度の中間の輝度が得られる。

図４（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ１０４では、ＣＰＵ２は、眼画像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて算出することができる。

ステップＳ１０５では、ＣＰＵ２は、受光レンズ１６の光軸に対する眼球１４の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ１０６では、ＣＰＵ２は、ステップＳ１０５で算出した回転角θｘ，θｙを用いて、レンズ１０上でユーザの注視点を推定する。注視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、注視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）

式２，３のパラメータｍは、回転角θｘ，θｙをレンズ１０上での瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、予め決定されてメモリ部３に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、後述するキャリブレーション作業を行うことで取得される。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出動作が開始する前にメモリ部３に格納されるとする。

ステップＳ１０７では、ＣＰＵ２は、注視点の座標（Ｈｘ，Ｈｙ）をメモリ部３に格納し、視線検出動作を終える。

なお、視線検出方法は上記方法に限られず、例えば眼画像から視線情報を取得する方法であれば、どのような方法であってもよい。最終的な視線情報として、注視点を示す情報
ではなく、視線の方向を示す情報が得られてもよい。例えば、注視点の座標（Ｈｘ，Ｈｙ）を得ずに、回転角（Ａｘ×θｘ＋ＢｘやＡｙ×θｙ＋Ｂｙ）を得るまでの処理が行われてもよい。

＜キャリブレーション作業の必要性の説明＞
前述のように、視線検出動作において眼画像から眼球１４の回転角θｘ，θｙを取得し、瞳孔中心ｃの位置をレンズ１０上での位置に座標変換することで、注視点を推定できる。

しかし、人間の眼球の形状の個人差などの要因により、注視点を高精度に推定できないことがある。具体的には、視線補正パラメータＡｘ，Ａｙ，Ｂｘ，Ｂｙをユーザに適した値に調整しなければ、図６（ｂ）に示すように、実際の注視点Ｂと推定された注視点Ｃとのずれが生じてしまう。図６（ｂ）では、ユーザは人物を注視しているが、表示装置１００は背景が注視されていると誤って推定してしまっている。

そこで、表示装置１００の通常使用の前に、キャリブレーション作業を行い、ユーザに適した視線補正パラメータＡｘ，Ａｙ，Ｂｘ，Ｂｙを取得し、表示装置１００に格納する必要がある。

従来より、キャリブレーション作業は、表示装置１００の通常使用の前に図６（ｃ）に示すような位置の異なる複数の指標を表示し、ユーザにその指標を見てもらうことで行われている。そして、各指標の注視時に視線検出動作を行い、算出された複数の注視点（推定位置）と、各指標の座標とから、ユーザに適した視線補正パラメータＡｘ，Ａｙ，Ｂｘ，Ｂｙを決定する技術が、公知の技術として知られている。

＜仮想物体の見え方の説明＞
上述したように、ユーザは、レンズ１０を通して外界を視認することができると共に、表示デバイス１１によって表示された仮想物体を、外界に存在するように見ることができる。その際の仮想物体の見え方について、図７（ａ）～７（ｃ）を用いて説明する。

図７（ａ）は、理想的な見えを示す。図７（ａ）では、ユーザは、外界の人物Ｐを視界中央に収めつつ、表示された箱状の仮想物体Ｓ１を人物Ｐが持っているように見ることができている。ユーザは、両眼で外界と仮想物体を視認しており、ユーザの脳内において、右眼と左眼で見える２つの光景が合成され、図７（ａ）に示すような１つの光景として認識される。

しかしながら、ユーザが注視している現実物体と、当該現実物体に重畳したい仮想物体との間で、奥行方向（図７（ａ）のＺ’軸方向）の位置が異なると、ユーザは、仮想物体を高品位に見られないことがある。図７（ｂ），７（ｃ）を用いて、詳細に説明する。

仮想物体は、表示デバイス１１に含まれる光学素子の位置や性能によって決まる所定の距離に虚像が結像することで、ユーザに視認される。図７（ｂ）は、ユーザが人物Ｐを視認している様子を上から眺めた様子を示す模式図（鳥瞰図）である。図７（ｂ）では、人物Ｐは、ユーザから距離Ｚｒ１の位置におり、仮想物体Ｓ１（虚像）は、ユーザから距離Ｚｓの位置に結像されている。距離Ｚｒ１，Ｚｓは、奥行方向（Ｚ’軸方向）の距離である。ユーザが視認している現実物体は、必ずしも仮想物体が結像する距離Ｚｓと同じ距離にいるわけではなく、図７（ｂ）では、人物Ｐは距離Ｚｓと異なる距離Ｚｒ１にいる。

ここで、人物Ｐと同様に、仮想物体Ｓ１をユーザの視界中央に配置する設定をしたとする。図７（ｂ）はその状態を示す。そして、ユーザが、両眼で、距離Ｚｒ１にいる人物Ｐ
を注視したとする。その場合には、ユーザの両眼の視線が人物Ｐを向くように、両眼が視界中央へ向けて回転する。ユーザから仮想物体Ｓ１までの距離Ｚｓは、ユーザから人物Ｐまでの距離Ｚｒ１よりも短い。そのため、仮想物体Ｓ１は、ユーザの左眼中心ＯＬ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（左眼の視線）にも、ユーザの右眼中心ＯＲ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（右眼の視線）にも乗らず、それらの直線の間に位置する。この状態では、図７（ｃ）に示すように、両眼で人物Ｐを注視しているユーザには、人物Ｐに重畳されて見えるべき仮想物体Ｓ１が、左右の２つの物体Ｓ１’に分かれて、２重に見えてしまう（２重見え）。

上述した２重見えは、人物Ｐと仮想物体Ｓ１の結像位置とが異なり、両眼の視線が人物Ｐを向いた際に、仮想物体Ｓ１が視線からずれることで生じる。このような状態では、ユーザの脳内において、右眼と左眼で見える２つの光景が合成された結果、両眼の視線が向けられた人物Ｐは１つの物体として認識され、両眼の視線からずれた仮想物体は左右２つの物体Ｓ１’に分かれて認識される。

なお、人物に持たせる箱状の仮想物体の例を説明したが、仮想物体はこれに限られない。例えば、仮想物体は、ユーザが見ている位置（注視点）に表示するポインタ（マーカー）であってもよい。ユーザは、現実物体を注視しているときに、注視点を示すポインタが２重に見えると、ポインタによる位置の指定操作などが行いにくい。

そこで、実施例１では、両眼の視線に乗るように、仮想物体を左右に分けて表示する。つまり、両眼に対して視差をつけて仮想物体を表示する。例えば、図８（ａ）に示すように、左眼中心ＯＬ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（左眼の視線）上の位置Ｘ１Ｌに、左眼に見せる仮想物体Ｓ１Ｌを表示する。同様に、右眼中心ＯＲ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（右眼の視線）上の位置Ｘ１Ｒに、右眼に見せる仮想物体Ｓ１Ｒを表示する。

このように仮想物体の表示位置を調整することにより、仮想物体の２重見えを抑制することができる。例えば、図８（ｂ）に示すように、仮想物体Ｓ１が左右に分かれずに人物Ｐに重畳された光景をユーザに見せることができる。

＜距離に応じた表示位置制御の必要性の説明＞
仮想物体の表示位置は、ユーザから現実物体までの距離（奥行方向の距離）が変化した場合に、その変化に合わせて調整し直す必要がある。図９を用いて詳細に説明する。

図９に示すように、ユーザが距離Ｚｒ１にいる人物Ｐを注視する場合は、左眼中心ＯＬ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（左眼の視線）上の位置に、左眼に見せる仮想物体Ｓ１Ｌを表示すればよい。同様に、右眼中心ＯＲ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（右眼の視線）上の位置に、右眼に見せる仮想物体Ｓ１Ｒを表示すればよい。

しかし、人物Ｐが距離Ｚｒ１よりも遠い距離Ｚｒ２に移動すると、上述した仮想物体Ｓ１Ｌ，Ｓ１Ｒの表示では、仮想物体の２重見えが発生してしまう。その場合には、左眼中心ＯＬ１と人物Ｐの位置Ｐｏ２とを結ぶ直線（左眼の視線）上の位置に、左眼に見せる仮想物体Ｓ２Ｌを表示すればよい。同様に、右眼中心ＯＲ１と人物Ｐの位置Ｐｏ２とを結ぶ直線（右眼の視線）上の位置に、右眼に見せる仮想物体Ｓ２Ｒを表示すればよい。

このように、ユーザが注視する現実物体までの距離が長いほど、視界中央から離れた位置に仮想物体を結像する必要がある。そうすることで、現実物体までの距離が変わっても、仮想物体の２重見えが抑制された高品位な映像をユーザに見せることができる。

＜両眼の視線の相関に応じた表示位置制御の必要性の説明＞
仮想物体の表示位置は、両眼の視線の相関（右眼の視線と左眼の視線との相関）に応じても調整する必要がある。そのような相関には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。

例えば、右眼の視線と左眼の視線のなす角度（輻輳角）は、右眼と左眼の間隔に依存する。そのため、右眼と左眼の間隔に応じて、仮想物体の表示位置を調整する必要がある。図１０を用いて詳細に説明する。

図１０に示すように、左眼中心ＯＬ１かつ右眼中心ＯＲ１の場合は、左眼中心ＯＬ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（左眼の視線）上の位置に、左眼に見せる仮想物体Ｓ１Ｌを表示すればよい。同様に、右眼中心ＯＲ１と人物Ｐの位置Ｐｏ１とを結ぶ直線（右眼の視線）上の位置に、右眼に見せる仮想物体Ｓ１Ｒを表示すればよい。

しかし、左眼中心ＯＬ２かつ右眼中心ＯＲ２の場合は、上述した仮想物体Ｓ１Ｌ，Ｓ１Ｒの表示では、仮想物体の２重見えが発生してしまう。その場合には、左眼中心ＯＬ２と人物Ｐの位置Ｐｏ２とを結ぶ直線（左眼の視線）上の位置に、左眼に見せる仮想物体Ｓ２Ｌを表示すればよい。同様に、右眼中心ＯＲ２と人物Ｐの位置Ｐｏ２とを結ぶ直線（右眼の視線）上の位置に、右眼に見せる仮想物体Ｓ２Ｒを表示すればよい。

このように、右眼と左眼の間隔に応じて、仮想物体の表示位置を調整する必要がある。そして、右眼と左眼の間隔には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。

また、輻輳角は、眼球の構造にも依存する。そのため、眼球の構造に応じて、仮想物体の表示位置を調整する必要がある。眼球の構造には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。図１１，１２を用いて詳細に説明する。

図１１に示すように、眼球内における、光を検知する器官である視細胞は、眼球光軸からずれている。その結果、人間が正面（Ｚ軸方向に平行な方向）を見ていても、眼球光軸とＺ軸のなす角度は、眼球光軸からの視細胞のずれ量に対応するオフセット角で０度からずれる。

したがって、視細胞のずれ量に応じて、仮想物体の表示位置を調整する必要がある。右眼と左眼で視細胞のずれ量が異なることもある。その場合には、図１２に示すように、仮想物体ＳＬ１，ＳＬ２の表示位置を左または右に偏らせる必要がある。そして、視細胞のずれ量には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。

また、輻輳角は、瞳孔直径（瞳孔の大きさ）にも依存する。そのため、瞳孔直径に応じて、仮想物体の表示位置を調整する必要がある。図１３（ａ）～１３（ｃ）を用いて詳細に説明する。

例えば、ユーザが屋内から屋外に出て、周囲の明るさが変化すると、図１３（ａ），１３（ｂ）に示すように、ユーザの瞳孔直径が変化する。そして、図１３（ｃ）に示すように、瞳孔直径が変化すると、上述したオフセット角などのパラメータも変化する。なお、図１３（ｃ）には、瞳孔直径の増加に対して、オフセット角が線形に増加する例を示しているが、瞳孔直径とオフセット角の対応関係（特性）はこれに限られない。例えば、瞳孔直径とオフセット角の対応関係は、瞳孔直径の増加に対してオフセット角が非線形に増加する部分を含んでもよい。瞳孔直径とオフセット角の対応関係は、瞳孔直径の増加に対応してオフセット角が減少する部分を含んでもよいし、瞳孔直径の増加に対応してオフセッ
ト角が変化しない部分を含んでもよい。

したがって、瞳孔直径に応じて、仮想物体の表示位置を調整する必要がある。そして、瞳孔直径や、瞳孔直径に対応するオフセット角には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。

また、輻輳角は、人間の頭部の姿勢（傾き）にも依存する。そのため、頭部の姿勢に応じて、仮想物体の表示位置を調整する必要がある。図１４（ａ），１４（ｂ）を用いて詳細に説明する。

図１４（ａ）は、人物が直立した状態を示し、図１４（ｂ）は、当該人物が図１４（ａ）の状態から角度θだけ頭部を傾けた状態を示す。図１４（ａ）の状態から図１４（ｂ）の状態への変化があると、頭部が角度θだけ傾くことによって、表示装置１００（および表示装置１００のＸＹＺ軸）も角度θだけ傾く。これに対し、人間の眼は、眼球光軸を中心として、頭部が傾く方向とは逆方向に回転（回旋運動）する。これにより、眼の水平方向は維持される。表示装置１００（表示装置１００のＸＹＺ軸）から見ると、眼がＺ軸を中心として回転する。その結果、表示装置１００に対する視細胞の相対位置が変化し、上述したオフセット角が変化する。

したがって、頭部の姿勢に応じて、仮想物体の表示位置を調整する必要がある。そして、頭部の姿勢に対応するオフセット角には個人差があるため、個人ごとに仮想物体の表示位置を調整する必要がある。

＜キャリブレーション動作の説明＞
図１５を用いて、キャリブレーション動作について説明する。図１５は、キャリブレーション動作のフローチャートである。例えば、ユーザが表示装置１００を装着し、表示装置１００により表示されたメニュー画面などからキャリブレーションの開始を指示すると、図１５のキャリブレーション動作が開始する。

ステップＳ２０１では、ＣＰＵ２は、表示デバイス１１を制御して、キャリブレーション用の指標を含むキャリブレーション画面を、ユーザの両眼に対して表示する。例えば、図１６（ａ）に示すように、指標Ｃ１，Ｒ１，Ｌ１（仮想物体）を表示する。ユーザから指標Ｃ１，Ｒ１，Ｌ１までの距離（奥行方向の距離、奥行距離）は、同じ（奥行距離Ｚｒ１）である。

ステップＳ２０２では、ＣＰＵ２は、ユーザに対し、注視すべき箇所（指標）を通知する。例えば、ＣＰＵ２は、図１６（ａ）の指標Ｃ１，Ｒ１，Ｌ１のうち、注視すべき指標の形状、色、輝度などを変えて、当該指標を強調する。なお、注視すべき箇所の通知方法はこれに限られない。例えば、注視すべき箇所が示されればよく、注視すべき指標のみを表示してもよい。図１６（ｃ）に示すように、現実物体Ａ１を示す枠Ｃ１’（仮想物体）の表示によって、現実物体Ａ１の注視をユーザに促してもよい。

ステップＳ２０３では、ＣＰＵ２は、ユーザが決定操作を行ったか否かを判定する。決定操作は、ユーザが指標の注視を表示装置１００に知らせるために行われる。そのため、決定操作は、ユーザが注視すべき指標を見た状態で行われる。決定操作は、例えば、表示装置１００に有線または無線で接続されたコントローラのボタン操作などである。なお、決定操作は特に限定されず、指標を所定時間よりも長く注視し続ける操作であってもよいし、音声操作などであってもよい。ＣＰＵ２は、決定操作を待ち、決定操作が行われるとステップＳ２０４に処理を進める。

ステップＳ２０４では、ＣＰＵ２は、図５の視線検出動作を行う。視線検出動作は、右眼と左眼のそれぞれに対して行われる。これにより、右視線情報（右眼についての視線検出動作の結果）と左視線情報（左眼についての視線検出動作の結果）が取得される（視線取得）。

ステップＳ２０５では、ＣＰＵ２は、奥行距離が同じ全ての指標について視線検出動作を行ったか否かを判定する。例えば、ＣＰＵ２は、図１６（ａ）の指標Ｃ１，Ｒ１，Ｌ１の全てについて、視線検出動作を行ったか否かを判定する。ＣＰＵ２は、視線検出動作を行っていない指標が残っている場合は、ステップＳ２０６に処理を進め、全ての指標について視線検出動作を行った場合は、ステップＳ２０７に処理を進める。

ステップＳ２０６では、ＣＰＵ２は、注視すべき箇所（指標）の変更を通知する。図１６（ａ）の指標Ｃ１，Ｒ１，Ｌ１のうち、指標Ｃ１，Ｒ１については視線検出動作が行われており、指標Ｌ１については視線検出動作が行われていない場合には、例えば、ＣＰＵ２は指標Ｌ１を強調し、ステップＳ２０３に処理を進めて、決定操作を待つ。

ステップＳ２０７では、ＣＰＵ２は、奥行距離が同じ全ての指標についての視線検出動作の結果から、上述した視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙを取得（決定）する。また、ＣＰＵ２は、右視線情報（右眼についての視線検出動作の結果）と左視線情報（左眼についての視線検出動作の結果）とに基づいて、左眼の視線と右眼の視線との相関に関する相関情報（相関データ）を、個人差の情報として取得する（相関取得）。相関情報は、視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙを考慮して取得される。例えば、ＣＰＵ２は、視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙを考慮した右眼と左眼の回転角（Ａｘ×θｘ＋ＢｘやＡｙ×θｙ＋Ｂｙ）に基づいて、図８の角度θ１のような輻輳角を、相関情報として取得（算出）する。相関情報は、指標ごとに取得される。これにより、面内位置（奥行方向に垂直な面内での位置）と相関情報との対応関係が取得（決定）できる。

ステップＳ２０８では、ＣＰＵ２は、ユーザが注視した箇所（指標）までの奥行距離を取得する。ＣＰＵ２は、指標を表示した場合には、当該指標の想定距離を取得し、図１６（ｃ）に示すような表示でユーザに現実物体を注視させた場合には、距離検出回路２０１を用いて現実物体までの距離を検出する。

ステップＳ２０９では、ＣＰＵ２は、想定している全ての奥行距離について相関情報を取得したか否かを判定する。ＣＰＵ２は、相関情報を取得していない奥行距離が残っている場合は、ステップＳ２１０に処理を進め、全ての奥行距離について相関情報を取得した場合は、ステップＳ２１１に処理を進める。

ステップＳ２１０では、ＣＰＵ２は、指標の奥行距離が変わるように、キャリブレーション画面を更新する。例えば、ＣＰＵ２は、図１６（ａ）の表示から図１６（ｂ）の表示に更新する。図１６（ａ）の指標Ｃ１，Ｒ１，Ｌ１は奥行距離Ｚｒ１にあるが、図１６（ｂ）の指標Ｃ２，Ｒ２，Ｌ２は、奥行距離Ｚｒ１とは異なる奥行距離Ｚｒ２にある。その後、ＣＰＵ２は、ステップＳ２０２に処理を進める。

なお、ＣＰＵ２は、図１６（ｃ）のような表示を行っている場合は、ステップＳ２１０を省略して、ステップＳ２０２に処理を進める。ステップＳ２０２では、例えば、ＣＰＵ２は、図１６（ｃ）の表示から図１６（ｄ）の表示に更新する。図１６（ｃ）では、奥行距離Ｚｒ１にある現実物体Ａ１が枠Ｃ１’によって強調されるが、図１６（ｄ）では、奥行距離Ｚｒ２にある現実物体Ａ２が枠Ｃ２’によって強調される。

このように、ＣＰＵ２は、複数の奥行距離にある複数の指標（物体）それぞれをユーザ
が見るときに、複数の奥行距離にそれぞれ対応する複数の相関情報を取得する。例えば、ＣＰＵ２は、図９の角度θ１，θ２（奥行距離Ｚｒ１にある物体を注視した場合の輻輳角、および奥行距離Ｚｒ２にある物体を注視した場合の輻輳角）を、相関情報として取得する。

ステップＳ２１１では、ＣＰＵ２は、ユーザの右眼と左眼の間隔を測定（推定）する（間隔測定）。例えば、ＣＰＵ２は、ステップＳ２０４の視線検出動作で検出した右眼の瞳孔中心と左眼の瞳孔中心との間隔を、右眼と左眼の間隔（眼球間距離）として算出する。右眼画像上での右眼の瞳孔中心の位置（画素位置）、左眼画像上での左眼の瞳孔中心の位置（画素位置）、眼撮像素子１７の撮像倍率、および左右の眼撮像素子１７の間隔から、眼球間距離を算出することができる。

ステップＳ２１２では、ＣＰＵ２は、ユーザの瞳孔直径（瞳孔の大きさ）を測定（推定）する（瞳孔測定）。例えば、ＣＰＵ２は、ステップＳ２０４の視線検出動作で検出した瞳孔の端部の位置から、瞳孔直径を算出する。

ステップＳ２１３では、ＣＰＵ２は、ユーザの頭部姿勢（頭部の姿勢（傾き））を測定（推定）する（頭部測定）。例えば、ＣＰＵ２は、頭部姿勢検出回路２１を用いて、頭部姿勢を検出する。

ステップＳ２１４では、ＣＰＵ２は、取得した奥行距離、眼球間距離、瞳孔直径、頭部姿勢、および相関情報に基づいて、それらの対応関係を示す相関テーブルを作成（生成）し、メモリ部３に格納する。キャリブレーション動作は複数回行うことが可能である。２回目以降のキャリブレーション動作では、メモリ部３に相関テーブルが格納済みであるため、ＣＰＵ２は、取得した奥行距離、眼球間距離、瞳孔直径、頭部姿勢、および相関情報に基づいて、メモリ部３の相関テーブルを更新する。キャリブレーション動作を繰り返すことで、複数の眼球間距離にそれぞれ対応する複数の相関情報が取得される。複数の瞳孔直径にそれぞれ対応する複数の相関情報が取得される。複数の頭部姿勢にそれぞれ対応する複数の相関情報が取得される。相関テーブルは、例えば、奥行距離、眼球間距離、瞳孔直径、および頭部姿勢の組み合わせごとに、面内位置（奥行方向に垂直な面内での位置）と相関情報（輻輳角）との対応関係を示す。ＣＰＵ２は、相関情報が取得済みの組み合わせについて、新たに相関情報を取得した場合には、相関テーブルが示す相関情報を、新たな相関情報で置き換えたり、平均化したりする。相関テーブルは個人ごとに格納されてもよい。

また、ＣＰＵ２は、取得した視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙをメモリ部３に格納する。メモリ部３に格納された視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、メモリ部３に格納された相関テーブルと同様に、適宜更新（置換や平均化）される。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、奥行距離、眼球間距離、瞳孔直径、および頭部姿勢の組み合わせごとのパラメータとして格納されてもよいし、奥行距離、眼球間距離、瞳孔直径、および頭部姿勢に依存しないパラメータとして格納されてもよい。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、個人ごとに格納されてもよい。

＜仮想物体表示動作の説明＞
図１７を用いて、図１５のキャリブレーション動作が行われた後の仮想物体表示動作について説明する。図１７は、仮想物体表示動作のフローチャートである。例えば、ユーザが表示装置１００を装着し、表示装置１００の電源をＯＮすると、図１７の仮想物体表示装置動作が開始する。

ステップＳ３０１では、ＣＰＵ２は、外界撮像ユニット２０を制御して、外界を撮像す
る。

ステップＳ３０２では、ＣＰＵ２は、図５の視線検出動作を行う。視線検出動作は、右眼と左眼のそれぞれに対して行われる。

ステップＳ３０３では、ＣＰＵ２は、ユーザが注目している現実物体（注目物体）を推定する。例えば、ＣＰＵ２は、外界撮像ユニット２０によって撮像された外界画像から、ステップＳ３０２の視線検出動作で推定された注視点（注視位置）に対応する被写体（現実物体）を、注目物体として検出する。注目物体の推定方法はこれに限られず、例えば、距離検出回路２０１によって外界画像全体の距離マップが作成（生成）され、ユーザに最も近い被写体が注目物体として検出されてもよい。また、単純に外界画像の中央付近の被写体が注目物体として検出されてもよい。

ステップＳ３０４では、ＣＰＵ２は、距離検出回路２０１を用いて、ステップＳ３０２で検出した注目物体までの奥行距離を測定する。

ステップＳ３０５では、ＣＰＵ２は、図１５のステップＳ２１１と同様の方法で、ユーザの眼球間距離を測定する。

ステップＳ３０６では、ＣＰＵ２は、図１５のステップＳ２１２と同様の方法で、ユーザの瞳孔直径を測定する。

ステップＳ３０７では、ＣＰＵ２は、図１５のステップＳ２１３と同様の方法で、ユーザの頭部姿勢を測定する。

ステップＳ３０８では、ＣＰＵ２は、ステップＳ３０４～Ｓ３０７で取得した情報（奥行距離、眼球間距離、瞳孔直径、および頭部姿勢の組み合わせ）に対応する情報を、図１５のキャリブレーション動作で作成された相関テーブルから抽出する。抽出される情報は、例えば、面内位置（奥行方向に垂直な面内での位置）と相関情報（輻輳角）との対応関係の情報である。なお、実施例１では、ユーザが特定されており、当該ユーザに対応する相関テーブルや、視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙが使用されるとする。

ステップＳ３０９では、ＣＰＵ２は、ステップＳ３０８で抽出した情報に基づいて、仮想物体の表示位置を決定する。例えば、ＣＰＵ２は、面内位置と輻輳角の対応関係から、ステップＳ３０２の視線検出動作で推定された注視点（面内位置）に対応する輻輳角を取得する。そして、ＣＰＵ２は、取得した輻輳角に基づいて、右眼の視線上と左眼の視線上のそれぞれに仮想物体が乗るように、仮想物体の表示位置を決定する。

ステップＳ３１０では、ＣＰＵ２は、表示デバイス１１を制御して、ステップＳ３０９で決定した表示位置に従って、仮想物体を、ユーザの両眼に対して表示する。

ステップＳ３０１～Ｓ３１０の処理に依れば、仮想物体が注目物体に重畳されて視認されるように、ステップＳ３０４～Ｓ３０７で取得した情報に対応する相関情報（輻輳角）に基づく視差をつけて、右眼と左眼に対して仮想物体が表示される。なお、キャリブレーション動作でも仮想物体表示動作でも、奥行距離、眼球間距離、瞳孔直径、および頭部姿勢を取得するとしたが、それらの情報の少なくともいずれかが取得されなくてもよい。

ステップＳ３１１では、ＣＰＵ２は、ユーザが表示装置１００の電源ＯＦＦを指示したか否かを判定する。ユーザが表示装置１００の電源ＯＦＦを指示した場合は、ＣＰＵ２は、仮想物体表示動作を終了し、表示装置１００の電源をＯＦＦにする。ユーザが表示装置
１００の電源ＯＦＦを指示していない場合は、ＣＰＵ２は、所定時間の待機後、ステップＳ３０１に処理を進める。

＜動作例の説明＞
図１７に示す方法で仮想物体が表示されている場合の動作例について説明する。図１７に示す方法で仮想物体が表示されている場合は、注目物体までの奥行距離、ユーザの眼球間距離、ユーザの瞳孔直径、およびユーザの頭部姿勢に応じて、仮想物体の表示位置が変わる。そのため、図１７に示す方法で仮想物体が表示されている場合には、具体的には以下に説明する動作がもたらされる。

光学シースルー方式の表示装置を頭部に装着した２人の人物Ｈ１，Ｈ２に、第１の奥行距離にある物体Ｏ１を両眼で見るよう指示した後、第１の奥行距離とは異なる第２の奥行距離にある物体Ｏ２を両眼で見るよう指示する。この表示装置は、仮想物体がユーザの注目した物体に対応する（重畳される）ように、当該ユーザの両眼に対して仮想物体を表示する。

そして、以下の事項が満たされる場合には、奥行距離に応じて仮想物体の表示位置を変更する処理が個人ごとに異なると判断することができ、図１７に示す方法が使用されていると判断することができる。

・人物Ｈ１が物体Ｏ１を見た第１の場合と、人物Ｈ１が物体Ｏ２を見た第２の場合と、人物Ｈ２が物体Ｏ１を見た第１の場合と、人物Ｈ２が物体Ｏ２を見た第２の場合との間で、仮想物体の表示位置が異なる。
・第１の場合と第２の場合との間の仮想物体の表示位置の差異（視差の差異、表示位置の偏りの差異）が、第３の場合と第４の場合との間の仮想物体の表示位置の差異と異なる。

人物Ｈ１，Ｈ２は実際の人物であってもよいし、疑似的な人物であってもよい。例えば、ガラスなどで作成された疑似眼球を有する頭部模型に表示装置を装着することで上述と同様の動作を再現することが可能である。。疑似眼球の角度を調整することにより、疑似眼球の視線の方向を調整することができる。

また、以下の事項の少なくともいずれかが満たされる場合も、図１７に示す方法が使用されていると判断することができる。
・第１のユーザの場合と、眼球光軸に対する視細胞のずれ量が第１のユーザと異なる第２のユーザの場合とで、仮想物体の表示位置が異なる。
・第３のユーザの場合と、右眼と左眼の間隔が前記第３のユーザと異なる第４のユーザの場合とで、仮想物体の表示位置が異なる。
・ユーザの瞳孔の大きさが第１の大きさの場合と、第１の大きさとは異なる第２の大きさの場合とで、仮想物体の表示位置が異なる。
・ユーザの頭部の姿勢が第１の姿勢の場合と、第１の姿勢とは異なる第２の姿勢の場合とで、仮想物体の表示位置が異なる。

＜まとめ＞
以上述べたように、実施例１によれば、左眼の視線と右眼の視線との相関に関する相関情報を、個人差の情報として取得することで、光学シースルー方式の表示装置に表示した仮想物体の２重見えが抑制可能となる。なお、相関情報として輻輳角（度）を用いる例を説明したが、これに限られず、例えば仮想物体の視差を用いてもよい。視差は、右眼に対する仮想物体の表示位置と、左眼に対する仮想物体の表示位置との水平（左右）方向のずれ量（画素数や長さ（ｍｍ））と捉えることもできる。相関情報として、右眼の視線と左
眼の視線との交点の水平方向における偏りを識別可能な情報を用いてもよい。例えば、相関情報は、輻輳角の内訳として、右眼の視線と奥行方向となす角度、および左眼の視線と奥行方向となす角度を示してもよい。

＜＜実施例２＞＞
本発明の実施例２について説明する。なお、以下では、実施例１と同じ点（構成や処理など）についての説明は省略し、実施例１と異なる点について説明する。実施例１では、左眼の視線と右眼の視線との相関に関する相関情報を取得し、仮想物体の表示に使用する例を説明した。相関情報には個人差があるため、当該相関情報を用いて個人識別を行うことができる。実施例２では、相関情報を個人識別に用いる例を説明する。

＜個人識別動作の説明＞
図１８を用いて、個人識別動作について説明する。図１８は、個人識別動作のフローチャートである。例えば、ユーザが表示装置１００を装着し、表示装置１００の電源をＯＮすると、図１８の個人識別動作が開始する。実施例２では、スマートフォンやパーソナルコンピュータのログイン画面のようなロック画面（個人確認画面）を表示し、個人識別動作によってロックの解除／非解除を行うことを想定している。

ステップＳ４０１では、ＣＰＵ２は、表示デバイス１１を制御して、個人識別用の指標を含む個人確認画面を、ユーザの両眼に対して表示する。例えば、図１９（ａ）に示すように、奥行距離の異なる指標１，２を表示する。なお、指標の数は特に限定されない。

ステップＳ４０２では、ＣＰＵ２は、ユーザに対し、注視すべき指標を通知する。例えば、ＣＰＵ２は、図１９（ａ）の指標１を示す枠Ｃ１’の表示によって、指標１の注視を促す。

ステップＳ４０３では、ＣＰＵ２は、ユーザが決定操作を行ったか否かを判定する。ＣＰＵ２は、決定操作を待ち、決定操作が行われるとステップＳ４０４に処理を進める。

ステップＳ４０４では、ＣＰＵ２は、図５の視線検出動作を行う。視線検出動作は、右眼と左眼のそれぞれに対して行われる。

ステップＳ４０５～ステップＳ４１１では、図２０の相関情報取得部３００の処理が行われる。図２０は、個人識別動作を実現するための機能構成を示すブロック図である。相関情報取得部３００は、ステップＳ４０４で得られた右視線情報（右眼についての視線検出動作の結果）と左視線情報（左眼についての視線検出動作の結果）から、左眼の視線と右眼の視線との相関に関する相関情報を取得する。さらに、相関情報取得部３００は、取得した相関情報に関連した様々な情報を取得する。

ステップＳ４０５では、ＣＰＵ２は、ユーザが注視した指標までの奥行距離を取得する。

ステップＳ４０６では、ＣＰＵ２は、右視線情報と左視線情報に基づいて、左眼の視線と右眼の視線との相関に関する相関情報（例えば輻輳角）を、個人差の情報として取得する。

ステップＳ４０７では、ＣＰＵ２は、全ての指標について視線検出動作を行ったか否かを判定する。例えば、ＣＰＵ２は、図１９（ａ）の指標１，２の両方について、視線検出動作を行ったか否かを判定する。ＣＰＵ２は、視線検出動作を行っていない指標が残っている場合は、ステップＳ４０８に処理を進め、全ての指標について視線検出動作を行った
場合は、ステップＳ４０９に処理を進める。

ステップＳ４０８では、ＣＰＵ２は、注視すべき指標の変更を通知する。例えば、ＣＰＵ２は、図１９（ａ）の表示から図１９（ｂ）の表示に更新し、ステップＳ４０３に処理を進めて、決定操作を待つ。図１９（ａ）では、奥行距離Ｚｒ１にある指標１が枠Ｃ１’によって強調されるが、図１９（ｂ）では、奥行距離Ｚｒ２にある指標２が枠Ｃ２’によって強調される。

ステップＳ４０９では、ＣＰＵ２は、ユーザの眼球間距離を測定する。

ステップＳ４１０では、ＣＰＵ２は、ユーザの瞳孔直径を測定する。

ステップＳ４１１では、ＣＰＵ２は、ユーザの頭部姿勢を測定する。

このように、ステップＳ４０５～Ｓ４１１の処理により、指標（特定の面内位置）ごとに、奥行距離、眼球間距離、瞳孔直径、頭部姿勢、および相関情報の組み合わせ（相関情報群）が取得される。なお、奥行距離、眼球間距離、瞳孔直径、および頭部姿勢の少なくともいずれかは取得されなくてもよい。

ステップＳ４１２では、ＣＰＵ２は、複数の人物の相関テーブルをメモリ部３から読み出し、人物ごとに、その人物の相関テーブルと、ステップＳ４０５～Ｓ４１１で取得した相関情報群との一致度（一致率）を評価（算出）する。一致度の評価方法は特に限定されないが、例えば、相関テーブルが、ステップＳ４０５～Ｓ４１１で取得した相関情報群と同等の相関情報群を含む場合には、一致度は高くなり、そうでない場合には、一致度は低くなる。ステップＳ４１２の処理は、図２０の相関情報照合部３０５の処理に相当する。相関情報照合部３０５は、相関情報取得部３００により取得された相関情報群と、相関情報記憶部３０１に予め格納された相関テーブルとを照合して、人物ごとの一致度を評価する。複数の人物の相関テーブルは、図１５のキャリブレーション動作により取得される。

ステップＳ４１３では、ＣＰＵ２は、ステップＳ４０４の視線検出動作で得られた右眼画像と左眼画像のそれぞれから特徴量を抽出する。右眼画像の特徴量は図２０のＣＮＮ３０２Ｒにより抽出され、左眼画像の特徴量は図２０のＣＮＮ３０２Ｌにより抽出される。これらＣＮＮ（畳み込みニューラルネットワーク）についての詳細は後述する。

ステップＳ４１４では、ＣＰＵ２は、複数の人物の眼の特徴量をメモリ部３から読み出し、人物ごとに、その人物の眼の特徴量と、ステップＳ４１３で抽出した特徴量との一致度（一致率）を評価する。ステップＳ４１４の処理は、右眼と左眼のそれぞれについて行われる。右眼についての処理は、図２０の特徴量照合部３０４Ｒの処理に相当し、左眼についての処理は、図２０の特徴量照合部３０４Ｌの処理に相当する。特徴量照合部３０４Ｒは、ＣＮＮ３０２Ｒにより抽出された右眼の特徴量と、特徴量記憶部３０３Ｒに予め格納された右眼の特徴量とを照合して、人物ごとの一致度を評価する。特徴量照合部３０４Ｌは、ＣＮＮ３０２Ｌにより抽出された左眼の特徴量と、特徴量記憶部３０３Ｌに予め格納された左眼の特徴量とを照合して、人物ごとの一致度を評価する。

なお、人物ごとの相関テーブルと、人物ごとの眼の特徴量とは、個別に管理されてもよいし、図２１に示すように、統合して管理されてもよい。

ステップＳ４１５では、ＣＰＵ２は、人物ごとに、ステップＳ４１２，Ｓ４１４で得た３種の一致度（左眼の特徴量の一致度、右眼の特徴量の一致度、および相関情報の一致度）に基づいて、最終的な一致度を評価する。例えば、３種の一致度に所定の重み係数を乗
算して得られた値を合計することにより、最終的な一致度が算出される。そして、ＣＰＵ２は、ユーザが最終的な一致度が最も高い人物であると判断する。ユーザが識別された後は、例えば、図１７の仮想物体表示装置動作が開始する。なお、最終的な一致度が所定の閾値を超えなかった場合には、識別失敗としてもよい。ステップＳ４１５の処理は、一致度総合評価部３１０の処理に相当する。一致度総合評価部３１０は、特徴量照合部３０４Ｌ、特徴量照合部３０４Ｒ、および相関情報照合部３０５から得られた３種の一致度を総合評価して、人物を特定（識別）する。

上記の方法によれば、左眼の特徴量と右眼の特徴量だけでなく、両眼の相関（左眼の視線と右眼の視線との相関）に関する相関情報を用いることで、識別精度が向上する。また、相関情報は、低解像度の撮像素子を用いても精度よく得ることができるため、個人識別装置のコスト増加を抑制しつつ、相関情報の追加による認証の高精度化（偽証の困難化）を達成することができる。

＜ＣＮＮの説明＞
ＣＮＮ３０２Ｌ，３０２Ｒについて説明する。ＣＮＮ３０２ＬとＣＮＮ３０２Ｒの構成は同様であるため、以下ではＣＮＮ３０２Ｌについて説明する。

図２２は、ＣＮＮ３０２Ｌの構成を示す。ＣＮＮ３０２Ｌは、眼画像（左眼画像）と、眼球１４（左眼）の３次元情報とを入力として、特徴量を出力する。ＣＮＮ３０２Ｌは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、階層的な複数のセットを有する。Ｓ層では、１つ前の階層で検出された特徴をもとに次の特徴が検出される。最初のＳ層では、眼画像と３次元情報をもとに特徴量が検出される。Ｓ層において検出した特徴は同じ階層のＣ層で統合され、その階層における検出結果として次の階層に送られる。Ｓ層は１つ以上の特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、１つ以上の特徴統合細胞面からなり、同じ階層の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合は、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。ここでは、最終階層である出力層はＣ層を有さず、Ｓ層のみを有するとする。

特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細について、図２３を用いて説明する。特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは１つ前の階層のＣ層に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同じ階層のＳ層に所定の構造で結合している。Ｌ階層目Ｓ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴検出ニューロンの出力値をｙ_Ｍ ^ＬＳ（ξ，ζ）、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴統合ニューロンの出力値をｙ_Ｍ ^ＬＣ（ξ，ζ）と記載する。そして、各ニューロンの結合係数をｗ_Ｍ ^ＬＳ（ｎ，ｕ，ｖ）、ｗ_Ｍ ^ＬＣ（ｕ，ｖ）とすると、各出力値は以下の式４，５のように表すことができる。

式４のｆは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であればよく、例えばｔａｎｈ関数であってもよい。ｕ_Ｍ ^ＬＳ（ξ，ζ）は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置（ξ，ζ）の特徴検出ニューロンの内部状態である。式５では活性化関数を用いず単純な線形和が算出される。式５のように活性化関数を用いない場合は、ニューロンの内部状態ｕ_Ｍ ^ＬＣ（ξ，ζ）と出力値ｙ_Ｍ ^ＬＣ（ξ，ζ）は等しい。また、式４のｙ_ｎ ^Ｌ－１Ｃ（ξ＋ｕ，ζ＋ｖ）、式５のｙ_Ｍ ^ＬＳ（ξ＋ｕ，ζ＋ｖ）をそれぞれ特徴検出ニューロンの結合先出力値、特徴統合ニューロンの結合先出力値と呼ぶ。

式４，５中のξ、ζ、ｕ、ｖ、ｎについて説明する。位置（ξ，ζ）は入力画像における位置座標に対応しており、例えばｙ_Ｍ ^ＬＳ（ξ，ζ）が高い出力値である場合は、入力画像の画素位置（ξ，ζ）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。式４において、ｎは、Ｌ－１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ－１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。（ｕ，ｖ）は結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲（ｕ，ｖ）において積和演算を行う。このような有限な（ｕ，ｖ）の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。

また、式４において、Ｌ＝１つまり最初のＳ層の場合には、ｙ_ｎ ^Ｌ－１Ｃ（ξ＋ｕ，ζ＋ｖ）は、入力画像ｙ^{ｉｎ＿ｉｍａｇｅ}（ξ＋ｕ，ζ＋ｖ）または、入力位置マップｙ^{ｉｎ＿ｐｏｓｉ＿ｍａｐ}（ξ＋ｕ，ζ＋ｖ）となる。なお、ニューロンや画素の分布は離散的であり、結合先特徴番号も離散的であるため、ξ、ζ、ｕ、ｖ、ｎは連続な変数ではなく、離散的な値をとる。ここでは、ξとζは非負整数、ｎは自然数、ｕとｖは整数とし、いずれも有限な範囲の値となる。

式４中のｗ_Ｍ ^ＬＳ（ｎ，ｕ，ｖ）は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が学習であり、ＣＮＮ３０２Ｌの構築においては、さまざまなテストパターンを提示して、ｙ_Ｍ ^ＬＳ（ξ，ζ）が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことで結合係数の調整を行う。

式５中のｗ_Ｍ ^ＬＣ（ｕ，ｖ）は、２次元のガウシアン関数を用いて、以下の式６のように表すことができる。

ここでも、（ｕ，ｖ）は有限の範囲としてあるので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野と呼び、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層Ｍ番目の特徴のサイズに応じて適当な値に設定すればよい。式６中のσは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけばよい。具体的には、受容野の最も外側の値がほぼ０とみなせるような値になるようにσを設定するのがよい。

上述のような演算を各階層で行うことで、最終階層のＳ層において、ユーザの識別に使用する特徴量を得ることができる。

＜まとめ＞
以上述べたように、実施例２によれば、左眼の視線と右眼の視線との相関に関する相関情報を用いることで、簡易な構成で高精度にユーザ（人物）を識別（認証）することができる。

なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜＜その他の実施例＞＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：表示装置 ２：ＣＰＵ

Claims (19)

1. 光学シースルー方式の表示装置を頭部に装着したユーザの右眼の視線に関する右視線情報と、前記ユーザの左眼の視線に関する左視線情報とを取得する視線取得手段と、
   前記右視線情報と前記左視線情報とに基づいて、前記左眼の視線と前記右眼の視線との相関に関する相関情報を、個人差の情報として取得する相関取得手段と
   を有することを特徴とする電子機器。
2. 前記表示装置は、前記右眼を撮像する右撮像素子と、前記左眼を撮像する左撮像素子とを有し、
   前記視線取得手段は、前記右撮像素子によって得られた右眼画像に基づいて前記右視線情報を取得し、前記左撮像素子によって得られた左眼画像に基づいて前記左視線情報を取得する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記右眼と前記左眼に対して仮想物体を表示するように前記表示装置を制御する表示制御手段をさらに有する
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記相関取得手段は、前記ユーザからの複数の距離にある複数の物体それぞれを前記ユーザが見るときに、前記複数の距離にそれぞれ対応する複数の相関情報を取得する
   ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。
5. 前記ユーザから物体までの距離を測定する距離測定手段をさらに有し、
   前記複数の相関情報が取得された後に、前記表示装置は、仮想物体が前記物体に重なって視認されるように、前記距離測定手段によって測定された前記距離に対応する相関情報に基づく視差をつけて、前記右眼と前記左眼に対して前記仮想物体を表示する
   ことを特徴とする請求項４に記載の電子機器。
6. 前記相関取得手段は、前記右眼と前記左眼の複数の間隔にそれぞれ対応する複数の相関情報を取得する
   ことを特徴とする請求項１～５のいずれか１項に記載の電子機器。
7. 前記右眼と前記左眼の間隔を測定する間隔測定手段をさらに有し、
   前記相関情報が取得された後に、前記表示装置は、前記間隔測定手段によって測定された間隔に対応する相関情報に基づく視差をつけて、前記右眼と前記左眼に対して仮想物体を表示する
   ことを特徴とする請求項６に記載の電子機器。
8. 前記相関取得手段は、前記ユーザの瞳孔の複数の大きさにそれぞれ対応する複数の相関情報を取得する
   ことを特徴とする請求項１～７のいずれか１項に記載の電子機器。
9. 前記瞳孔の大きさを測定する瞳孔測定手段をさらに有し、
   前記相関情報が取得された後に、前記表示装置は、前記瞳孔測定手段によって測定された前記大きさに対応する相関情報に基づく視差をつけて、前記右眼と前記左眼に対して仮想物体を表示する
   ことを特徴とする請求項８に記載の電子機器。
10. 前記相関取得手段は、前記頭部の複数の姿勢にそれぞれ対応する複数の相関情報を取得
    する
    ことを特徴とする請求項１～９のいずれか１項に記載の電子機器。
11. 前記頭部の姿勢を測定する頭部測定手段をさらに有し、
    前記相関情報が取得された後に、前記表示装置は、前記頭部測定手段によって測定された前記姿勢に対応する相関情報に基づく視差をつけて、前記右眼と前記左眼に対して仮想物体を表示する
    ことを特徴とする請求項１０に記載の電子機器。
12. 前記仮想物体は、前記ユーザが見ている位置に表示するポインタである
    ことを特徴とする請求項３，５，７，９，１１のいずれか１項に記載の電子機器。
13. 前記相関情報は輻輳角である
    ことを特徴とする請求項１～１２のいずれか１項に記載の電子機器。
14. 前記相関情報を用いて個人識別を行う識別手段をさらに有する
    ことを特徴とする請求項１～１３のいずれか１項に記載の電子機器。
15. ユーザの頭部に対して着脱可能な光学シースルー方式の表示装置を制御する電子機器であって、
    前記ユーザが第１のユーザであり、且つ、前記ユーザから物体までの距離が第１の距離である第１の場合と、
    前記ユーザが前記第１のユーザであり、且つ、前記ユーザから前記物体までの前記距離が第２の距離である第２の場合と、
    前記ユーザが第２のユーザであり、且つ、前記ユーザから前記物体までの前記距離が前記第１の距離である第３の場合と、
    前記ユーザが前記第２のユーザであり、且つ、前記ユーザから前記物体までの前記距離が前記第２の距離である第４の場合とで、
    右眼と左眼に対して表示する、前記物体に対応する仮想物体の表示位置が異なり、
    前記第１の場合と前記第２の場合との間の前記表示位置の差異は、前記第３の場合と前記第４の場合との間の前記表示位置の差異と異なる
    ことを特徴とする電子機器。
16. 前記電子機器は前記表示装置である
    ことを特徴とする請求項１～１５のいずれか１項に記載の電子機器。
17. 光学シースルー方式の表示装置を頭部に装着したユーザの右眼の視線に関する右視線情報と、前記ユーザの左眼の視線に関する左視線情報とを取得するステップと、
    前記右視線情報と前記左視線情報とに基づいて、前記左眼の視線と前記右眼の視線との相関に関する相関情報を、個人差の情報として取得するステップと
    を有することを特徴とする電子機器の制御方法。
18. コンピュータを、請求項１～１６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１～１６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images