JP2023087377A - 視線検出装置 - Google Patents

Abstract

【課題】視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することのできる技術を提供する。
【解決手段】本発明の視線検出装置は、ユーザーの眼を撮像した眼画像に基づいて、前記ユーザーが見ている位置である視線位置を検出する視線検出手段と、前記眼画像に基づいて、前記ユーザーの頭部の姿勢である頭部姿勢を検出する姿勢検出手段と、所定のキャリブレーション動作により、前記視線位置の検出誤差を低減するための第１の補正値を取得するキャリブレーション手段と、現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、前記第１の補正値を補正する補正手段とを有することを特徴とする。
【選択図】図８

Description

本発明は視線検出装置に関する。

近年、カメラの自動化・インテリジェント化が進んでいる。特許文献１では、手動で被写体位置を入力せずとも、ファインダを覗く撮影者の視線位置の情報に基づいて、撮影者が意図する被写体を認識し、焦点制御を行う技術が提案されている。ユーザーの視線位置を検出する視線検出装置は、ユーザーの頭部に装着するＶＲ機器やＡＲ機器などのウェアラブルデバイスにも搭載され、ユーザーインターフェースとして普及しつつある。特許文献２では、人物の顔全体を撮像した画像に基づいて顔の向きと両眼の視線方向とを判断し、顔の向きに基づいて両眼の視線方向を統合することで人物の視線方向を判断する技術が提案されている。特許文献３では、視線検出の精度を向上させるためにキャリブレーションを行う技術が提案されている。

特開２００４－００８３２３号公報 特開２００９－１０４５２４号公報 特開平４－２４２６３０号公報

しかしながら、ファインダの覗き方やウェアラブルデバイスの装着状態などの使用状態を一定にして視線検出装置を使用することはユーザーにとって難しく、キャリブレーションを行っていても、使用状態の変化によって視線検出の精度が低下してしまう。

本発明は、視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することのできる技術を提供することを目的とする。

本発明の視線検出装置は、ユーザーの眼を撮像した眼画像に基づいて、前記ユーザーが見ている位置である視線位置を検出する視線検出手段と、前記眼画像に基づいて、前記ユーザーの頭部の姿勢である頭部姿勢を検出する姿勢検出手段と、所定のキャリブレーション動作により、前記視線位置の検出誤差を低減するための第１の補正値を取得するキャリブレーション手段と、現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、前記第１の補正値を補正する補正手段とを有することを特徴とする。

本発明によれば、視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することができる。

実施例１に係るカメラの外観図である。 実施例１に係るカメラの断面図である。 実施例１に係るカメラのブロック図である。 実施例１に係るカメラのファインダ内視野を示す図である。 実施例１に係るキャリブレーション動作のフローチャートである。 実施例１に係る視線検出方法の原理を説明するための図である。 実施例１に係る眼画像を示す図である。 実施例１に係る視線検出動作のフローチャートである。 実施例１に係る頭部の回転方向を示す図である。 実施例１に係る頭部姿勢情報の取得方法を説明するための図である。 実施例１に係るニューラルネットワークを示す図である。 実施例１に係るカメラ動作のフローチャートである。 実施例２に係るヘッドマウントディスプレイの外観図である。 実施例２に係るヘッドマウントディスプレイのブロック図である。

以下、添付の図面を参照して本発明の実施例について説明する。視線検出の精度は、キャリブレーションを行うことで向上させることができる。しかしながら、ファインダの覗き方やウェアラブルデバイスの装着状態などの使用状態を一定にして視線検出装置を使用することはユーザーにとって難しく、使用状態がキャリブレーション時と異なると、視線検出の精度が低下してしまう。特に眼鏡型のウェアラブルデバイスは通常の眼鏡と同様にずれやすく、視線検出の精度が低下しやすい。顔の向きを考慮して視線検出を行う技術が提案されているが、そのような技術でも、キャリブレーション時との顔の向きの違いは考慮されず、視線検出の精度が低下してしまう。そこで、以下の実施例では、キャリブレーション時からの視線検出装置の使用状態のずれを検出し、キャリブレーションにより得られた補正値を、検出結果に応じて補正する。これにより、視線検出装置の使用状態がキャリブレーション時と異なることに起因した視線検出の精度の低下を抑制することができる。

＜＜実施例１＞＞
本発明の実施例１について説明する。実施例１では、撮像装置に本発明を適用する場合の例について説明する。

＜構成の説明＞
図１（ａ），１（ｂ）は、実施例１に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観を示す。図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａとカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮像操作を受け付ける操作部材であるレリーズボタン５が配置されている。図１（ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示デバイス１０（表示パネル）をユーザーが覗き込むための接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネルを備えており、表示パネルで画像を表示する機能を有する。また、ユーザーの眼球を照明する４つの光源１３ａ～１３ｄが接眼レンズ１２の周囲に備わっている。光源の数は４つより多くても少なくてもよい。

図２は、図１（ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の大まかな内部構成を示す。

撮影レンズユニット１Ａ内には、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動
部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８などが含まれている。レンズ駆動部材１１４は駆動ギヤなどからなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェースである。なお、簡単のために２枚のレンズ１０１，１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。

カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１などが含まれている。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像などを記憶する。表示デバイス１０は、液晶などで構成されており、撮像された画像（被写体像）などを表示デバイス１０の画面に表示する。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示デバイス１０の画面を見ることができる。

カメラ筐体１Ｂ内には、光源１３ａ～１３ｄ、光分割器１５、受光レンズ１６、眼用撮像素子１７なども含まれている。光源１３ａ～１３ｄは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔の関係から視線を検出するために従来から一眼レフカメラなどで用いられている光源であり、ユーザーの眼球１４を照明するための光源である。具体的には、光源１３ａ～１３ｄは、ユーザーに対して不感の赤外光を発する赤外発光ダイオードなどであり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ～１３ｄから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＣＤやＣＭＯＳなどの光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１７上に結像された眼球像における眼球（瞳孔）と角膜反射像の位置関係から、眼球１４の視線が検出される。具体的には、視線に関する情報として、視線方向（視線の方向；ユーザーが見ている方向）や、表示デバイス１０の画面における視点（視線が注がれた位置；ユーザーが見ている位置；視線位置）などが得られる。

図３は、カメラ１内の電気的構成を示すブロック図である。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示デバイス駆動回路１１、光源駆動回路２０５などが接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２や眼用撮像素子１７からの撮像信号の記憶機能と、後述する視線の個人差を補正する視線補正値の記憶機能とを有する。視線補正値は、視点の検出誤差を低減するための補正値と捉えることもできる。

視線検出回路２０１は、デジタルシリアルインターフェース回路であり、眼用撮像素子１７上に眼球像が結像した状態での眼用撮像素子１７の出力（眼（眼球１４）を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線を検出する。

測光回路２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換などを行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。実施例１では、一例として、図４（ａ）のファインダ内視野像（表示デバイス１０の画面）に示した１８０か所に対応する撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。

信号入力回路２０４には、スイッチＳＷ１とスイッチＳＷ２が接続されている。スイッチＳＷ１は、レリーズボタン５の第１ストロークでＯＮするスイッチであり、カメラ１の測光、測距、視線検出動作などを開始するためのスイッチである。スイッチＳＷ２は、レリーズボタン５の第２ストロークでＯＮするスイッチであり、撮影動作を開始するためのスイッチである。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

光源駆動回路２０５は、光源１３ａ～１３ｄを駆動する。

図４（ａ）は、実施例１に係るファインダ内視野を示す図であり、表示デバイス１０が動作した状態（画像を表示した状態）を示す。図４（ａ）に示すように、ファインダ内視野には、焦点検出領域４００、１８０個の測距点指標４０１、視野マスク４０２などがある。１８０個の測距点指標４０１のそれぞれは、撮像面上における焦点検出ポイントに対応する位置に表示されるように、表示デバイス１０に表示されたスルー画像（ライブビュー画像）に重ねて表示される。また、１８０個の測距点指標４０１のうち、現在の視点Ａ（推定位置）に対応する測距点指標４０１は、枠などで強調されて表示される。

＜キャリブレーション動作の説明＞
視点は、人間の眼球の形状の個人差などの要因により、高精度に推定できないことがある。具体的には、視線補正値をユーザーに適した値に調整しなければ、図４（ｂ）に示すように、実際の視点Ｂと推定された視点Ｃとのずれが生じてしまう。図４（ｂ）では、ユーザーは人物を注視しているが、カメラ１は背景が注視されていると誤って推定しており、適切な焦点検出・調整ができない状態に陥ってしまっている。

そこで、カメラ１が撮像を行う前に、キャリブレーション作業を行い、ユーザーに適した視線補正値を取得し、カメラ１に格納する必要がある。

キャリブレーション作業は、例えば、撮像前に図４（ｃ）のような位置の異なる複数の指標を表示デバイス１０の画面に強調表示し、ユーザーにその指標を見てもらうことで行われる。各指標の注視時に視線検出動作が行われ、算出された複数の視点（推定位置）と、各指標の座標とから、ユーザーに適した視線補正パラメーが求められる。なお、ユーザーの見るべき位置が示唆されれば、指標の表示方法は特に限定されず、指標であるグラフィックが表示されてもよいし、画像（撮像された画像など）の輝度や色の変更で指標が表示されてもよい。

図５は、実施例１に係るキャリブレーション動作（所定のキャリブレーション動作）のフローチャートである。実施例１に係るキャリブレーション動作では、視線補正値だけでなく、ユーザーの頭部の姿勢に関する頭部姿勢情報も取得する。キャリブレーション動作は、例えば、キャリブレーション作業の開始を指示するユーザー操作に応じて開始する。

ステップＳ５０１では、ＣＰＵ３は、ユーザーに注視させる指標を表示デバイス１０に表示する。

ステップＳ５０２では、ＣＰＵ３は、所定時間の待機を行う。

ステップＳ５０３では、ＣＰＵ３は、ユーザーによってレリーズボタン５が押されて（半押しされて）スイッチＳＷ１がＯＮとなったか否かを判定する。例えば、ユーザーは、指標を注視したことを示すために、レリーズボタン５の半押しを行い、スイッチＳＷ１をＯＮにする。ＣＰＵ３は、スイッチＳＷ１がＯＮとなった場合はステップＳ５０４に処理を進め、スイッチＳＷ１がＯＮとならなかった場合はステップＳ５０２に処理を戻す。

ステップＳ５０４では、ＣＰＵ３は、視線検出動作を行う。視線検出動作は図８を用いて後述するが、ステップＳ５０４では、図８のステップＳ８０１～Ｓ８０６の処理が行われる。ステップＳ５０４では、視線方向が検出される。例えば、受光レンズ１６の光軸に対する眼球１４の光軸の角度（回転角θｘ，θｙ）が算出される。眼球１４の光軸は、ユーザーの視線方向回転角θｘは、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角であり、回転角θｙは、Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角である。さらに、ステップＳ５０４では、頭部姿勢情報が取得される。

ステップＳ５０５では、ＣＰＵ３は、所定のエラー判定処理を行う。エラー判定処理は、ステップＳ５０４の視線検出動作に失敗したか否かを判定する処理である。例えば、ＣＰＵ３は、角膜反射像が検出できなかった場合に、視線検出動作に失敗した（視線検出動作にエラーが発生した）と判定する。これに限られず、エラー判定処理では、角膜反射像の間隔や、瞳孔中心（瞳孔の中心）と角膜反射像との間隔などの様々な基準で、エラーの有無を判定することができる。

ステップＳ５０６では、ＣＰＵ３は、ステップＳ５０５のエラー判定処理の結果に応じて、ステップＳ５０４の視線検出動作（現在の視線検出動作）に失敗したか否かを判定する。そして、ＣＰＵ３は、視線検出動作に失敗した（視線検出動作にエラーが発生した）場合はステップＳ５０７に処理を進め、視線検出動作に成功した（視線検出動作にエラーが発生しなかった）場合はステップＳ５０９に処理を進める。

ステップＳ５０７では、ＣＰＵ３は、視線検出動作の実行回数が所定回数に達したか否かを判定する。そして、ＣＰＵ３は、視線検出動作の実行回数が所定回数未満である場合はステップＳ５０４に処理を戻し、視線検出動作の実行回数が所定回数である場合はステップＳ５０８に処理を進める。視線検出動作の実行回数はＣＰＵ３によりカウントされる。視線検出動作の実行回数（成功回数＋失敗回数）の代わりに、視線検出動作の失敗回数をカウントしてもよい。

ステップＳ５０８では、ＣＰＵ３は、キャリブレーション（視線補正値の決定）が適切に行えないと判断し、キャリブレーションに失敗した旨をユーザーへ通知する。そして、ＣＰＵ３は、キャリブレーション動作を終了する。

ステップＳ５０９では、ＣＰＵ３は、視線方向の検出回数（視線方向を検出できた回数；回転角θｘ，θｙを算出できた回数；視線検出動作の成功回数）が所定回数に達したか否かを判定する。そして、ＣＰＵ３は、視線方向の検出回数が所定回数未満である場合はステップＳ５０４に処理を戻し、視線方向の検出回数が所定回数に達した場合はステップＳ５１０に処理を進める。視線方向の検出回数はＣＰＵ３によりカウントされる。

ステップＳ５１０では、ＣＰＵ３は、全ての指標について視線検出（ステップＳ５０１～Ｓ５０９の処理）が完了したか否かを判定する。そして、ＣＰＵ３は、視線検出が行われていない指標が残っている場合はステップＳ５１１に処理を進め、全ての指標について視線検出が完了した場合はステップＳ５１３に処理を進める。

ステップＳ５１１では、ＣＰＵ３は、ステップＳ５０１で表示する指標を次の指標に変更する（切り替える）。

ステップＳ５１２では、ＣＰＵ３は、変更前の指標が表示されている状態で得られた情報をリセットする。例えば、ＣＰＵ３は、回転角θｘ，θｙをリセットする。ＣＰＵ３は、ステップＳ５０７，Ｓ５０９の処理ためにカウントした回数（視線検出動作の実行回数と視線方向の検出回数）もリセットする。そして、ＣＰＵ３は、ステップＳ５０１に処理を戻す。

ステップＳ５１３では、ＣＰＵ３は、キャリブレーションに成功した旨をユーザーへ通知する。

ステップＳ５１４では、ＣＰＵ３は、指標ごとに検出した視線方向（回転角θｘ，θｙ）に基づいて視線補正値を算出し、視線補正値を、ステップＳ５０４で取得した頭部姿勢情報とともにメモリ部４に格納する。そして、ＣＰＵ３は、キャリブレーション動作を終了する。メモリ部４に格納する頭部姿勢情報は、キャリブレーション動作中の代表的な頭部の姿勢に関する情報である。例えば、頭部姿勢情報は、頭部の姿勢を示す値であり、メモリ部４に格納する頭部姿勢情報は、キャリブレーション動作中に得られた値（頭部姿勢情報）の平均値、中間値、または最頻値である。

ステップＳ５１４では、視線補正値として、補正値Ａｘ，Ｂｘ，Ａｙ，Ｂｙが算出される。補正値ＡｘはＸ軸方向のオフセットであり、補正値ＢｘはＸ軸方向の敏感度であり、補正値ＡｙはＹ軸方向のオフセットであり、補正値ＢｙはＹ軸方向の敏感度である。

一例として、表示デバイス１０の画面の中央、上端、下端、左端、及び、右端の５か所に順に指標を表示する場合を説明する。図４（ｃ）の中央の指標４１１は、回転角θｘ＝φｘ１と回転角θｙ＝φｙ１に対応するとする。ユーザーが指標４１１を注視しているときに、回転角θｘ＝θｘ１と回転角θｙ＝θｙ１が得られたとすると、オフセットＡｘ，Ａｙは以下の式１－１，１－２で算出できる。

Ａｘ＝θｘ１－φｘ１ ・・・（式１－１）
Ａｙ＝θｙ１－φｙ１ ・・・（式１－２）

図４（ｃ）の指標４１２が回転角θｘ＝φｘ２と回転角θｙ＝φｙ２に対応し、指標４１３が回転角θｘ＝φｘ３と回転角θｙ＝φｙ３に対応するとする。指標４１４が回転角θｘ＝φｘ４と回転角θｙ＝φｙ４に対応し、指標４１５が回転角θｘ＝φｘ５と回転角θｙ＝φｙ５に対応するとする。ユーザーが指標４１２を注視しているときに、回転角θｘ＝θｘ２と回転角θｙ＝θｙ２が得られ、ユーザーが指標４１３を注視しているときに、回転角θｘ＝θｘ３と回転角θｙ＝θｙ３が得られたとする。そして、ユーザーが指標４１４を注視しているときに、回転角θｘ＝θｘ４と回転角θｙ＝θｙ４が得られ、ユーザーが指標４１５を注視しているときに、回転角θｘ＝θｘ５と回転角θｙ＝θｙ５が得られたとする。そうすると、敏感度Ｂｘ，Ｂｙは以下の式２－１，２－２で算出できる。

Ｂｘ＝（θｘ２－θｘ３）／（φｘ２－φｘ３） ・・・（式２－１）
Ｂｙ＝（θｙ４－θｙ５）／（φｙ４－φｙ５） ・・・（式２－２）

＜視線検出動作の説明＞
図６，７（ａ），７（ｂ），８を用いて、視線検出方法について説明する。図６は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図６に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。同様に、光源１３ｃ，１３ｄは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ｃ，１３ｄから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図７（ａ）は、眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼球像）の概略図であり、図７（ｂ）は眼用撮像素子１７の出力強度を示す図である。図８は、実施例１に係る視線検出動作のフローチャートである。

視線検出動作が開始すると、図８のステップＳ８０１で、光源１３ａ～１３ｄは、ユーザーの眼球１４に向けて赤外光を発する。赤外光によって照明されたユーザーの眼球像は、受光レンズ１６を通して眼用撮像素子１７上に結像され、眼用撮像素子１７により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ８０２では、視線検出回路２０１は、眼用撮像素子１７から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。

ステップＳ８０３では、ＣＰＵ３は、ステップＳ８０２で得られた眼画像から、光源１３ａ～１３ｄの角膜反射像Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇと瞳孔中心ｃに対応する点の座標を求める。

光源１３ａ～１３ｄより発せられた赤外光は、ユーザーの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇは、受光レンズ１６により集光され、眼用撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’，Ｐｆ’，Ｐｇ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼用撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図７（ｂ）は、図７（ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図７（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施例１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図７（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼用撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の光彩１４３の領域（光彩１４３からの光束が結像して得られる、瞳孔像の外側の光彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより小さい領域と、Ｘ座標が座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

図７（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極
端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼用撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）のＸ座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’のＸ座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。角膜反射像Ｐｆ’，Ｐｇ’の座標も同様に見積もることができる。

図８の説明に戻る。ステップＳ８０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率で、例えば角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて求めることができる。

ステップＳ８０５では、ＣＰＵ３は、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘ，θｙを算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θｘは、以下の式３で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式３）

ステップＳ８０６では、ＣＰＵ３は、ステップＳ８０２で得られた眼画像に基づいて、頭部姿勢情報を取得する。この処理は、ユーザーの頭部の姿勢である頭部姿勢を検出する姿勢検出処理と捉えることもできる。実施例１では、図９に示すように、Ｙａｗ方向における頭部の回転、Ｒｏｌｌ方向における頭部の回転、及び、Ｐｉｔｃｈ方向における頭部の回転に着目した情報が、頭部姿勢情報として取得される。Ｙａｗ方向はＹａｗ軸周りの回転方向であり、Ｒｏｌｌ方向はＲｏｌｌ軸周りの回転方向であり、Ｐｉｔｃｈ方向はＰｉｔｃｈ軸周りの回転方向である。

例えば、図１０（ａ）に示すように、ＣＰＵ３は、眼画像から、目頭の位置（座標（Ｘ１１，Ｙ１１））と目尻の位置（座標（Ｘ１２，Ｙ１２））を検出する。これらの位置（特徴点）の検出方法は特に限定されず、例えば、所定のテンプレートを用いたマッチングを行う方法や、エッジを検出して走査する方法などにより、特徴点を検出することができる。そして、ＣＰＵ３は、目頭と目尻を結んだ線分の傾きから、Ｒｏｌｌ軸周りの頭部の回転角θＲｏｌｌを算出する。ＣＰＵ３は、以下の式４を用いて、Ｒｏｌｌ軸周りの頭部の回転角θＲｏｌｌを算出する。

θＲｏｌｌ＝ｔａｎ^－１（（Ｙ１２－Ｙ１１）／（Ｘ１２－Ｘ１１））
・・・（式４）

次に、ＣＰＵ３は、角膜反射像の間隔から接眼距離を算出し、接眼距離から、Ｙａｗ軸周りの頭部の回転角θＹａｗと、Ｐｉｔｃｈ軸周りの頭部の回転角θＰｉｔｃｈとを算出する。角膜反射像の間隔と接眼距離には強い相関があり、角膜反射像の間隔が長いほど短い接眼距離が算出される。

図１０（ｂ）に示すように、ＣＰＵ３は、左側の角膜反射像Ｐｄ’，Ｐｆ’の間隔から左側の接眼距離（座標Ｚ１１）を算出し、右側の角膜反射像Ｐｅ’，Ｐｇ’の間隔から右
側の接眼距離（座標Ｚ１２）を算出する。そして、ＣＰＵ３は、以下の式５を用いて、回転角θＹａｗを算出する。式５において、座標Ｘ２１は、角膜反射像Ｐｄ’，Ｐｆ’のＸ座標であり、座標Ｘ２２は、角膜反射像Ｐｅ’，Ｐｇ’のＸ座標である。

θＹａｗ＝ｔａｎ^－１（（Ｚ１２－Ｚ１１）／（Ｘ２２－Ｘ２１））
・・・（式５）

図１０（ｃ）に示すように、ＣＰＵ３は、上側の角膜反射像Ｐｆ’，Ｐｇ’の間隔から上側の接眼距離（座標Ｚ２１）を算出し、下側の角膜反射像Ｐｄ’，Ｐｅ’の間隔から下側の接眼距離（座標Ｚ２２）を算出する。そして、ＣＰＵ３は、以下の式６を用いて、回転角θＰｉｔｃｈを算出する。式６において、座標Ｙ２１は、角膜反射像Ｐｆ’，Ｐｇ’のＹ座標であり、座標Ｙ２２は、角膜反射像Ｐｄ’，Ｐｅ’のＹ座標である。

θＰｉｔｃｈ＝ｔａｎ^－１（（Ｚ２２－Ｚ２１）／（Ｙ２２－Ｙ２１））
・・・（式６）

なお、頭部姿勢情報は上述した情報に限られず、ユーザーの頭部の姿勢に関する別の情報であってもよい。また、接眼距離の取得方法は上記方法に限られず、例えば測距センサなどを用いて接眼距離を取得してもよい。

図８の説明に戻る。ステップＳ８０７，Ｓ８０８では、ＣＰＵ３は、現在の視点に関する視線情報、キャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、視線補正値Ａｘ，Ａｙ，Ｂｘ，Ｂｙを補正する。視線補正値Ａｘ，Ａｙ，Ｂｘ，Ｂｙは、図５のキャリブレーション動作により取得され、図８の視線検出動作が開始する前にメモリ部４に格納されるとする。

ステップＳ８０７では、ＣＰＵ３は、現在の視線情報、キャリブレーション動作中に取得した頭部姿勢情報、及び、ステップＳ８０６で取得した頭部姿勢情報に基づいて、姿勢補正値ｋａｘ，ｋｂｘ，ｋａｙ，ｋｂｙを取得する。視線情報として、例えば、瞳孔像の中心位置（座標Ｘｃ）、角膜反射像Ｐｄ’，Ｐｅ’，Ｐｆ’，Ｐｇ’の重心位置、及び、角膜反射像Ｐｄ’，Ｐｅ’，Ｐｆ’，Ｐｇ’の間隔が使用される。姿勢補正値ｋａｘ，ｋｂｘ，ｋａｙ，ｋｂｙは、視線補正値Ａｘ，Ａｙ，Ｂｘ，Ｂｙを補正するための補正値である。

実施例１では、以下の１２の関数が予め定められており、ＣＰＵ３は、当該１２の関数を用いて、姿勢補正値ｋａｘ＿Ｙａｗ，ｋｂｘ＿Ｙａｗ，ｋａｙ＿Ｙａｗ，ｋｂｙ＿Ｙａｗ，ｋａｘ＿Ｒｏｌｌ，ｋｂｘ＿Ｒｏｌｌ，ｋａｙ＿Ｒｏｌｌ，ｋｂｙ＿Ｒｏｌｌ，ｋａｘ＿Ｐｉｔｃｈ，ｋｂｘ＿Ｐｉｔｃｈ，ｋａｙ＿Ｐｉｔｃｈ，ｋｂｙ＿Ｐｉｔｃｈを算出する。以下の１２の関数は、例えば、複数の実験値を用いたフィッティングにより得られる。

・現在の視線情報、キャリブレーション動作中に取得された回転角θＹａｗ、及び、ステップＳ８０６で取得された回転角θＹａｗの３つの情報を入力とし、姿勢補正値ｋａｘ＿Ｙａｗを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＹａｗ、及び、ステップＳ８０６で取得された回転角θＹａｗの３つの情報を入力とし、姿勢補正値ｋｂｘ＿Ｙａｗを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＹａｗ、及び、ス
テップＳ８０６で取得された回転角θＹａｗの３つの情報を入力とし、姿勢補正値ｋａｙ＿Ｙａｗを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＹａｗ、及び、ステップＳ８０６で取得された回転角θＹａｗの３つの情報を入力とし、姿勢補正値ｋｂｙ＿Ｙａｗを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＲｏｌｌ、及び、ステップＳ８０６で取得された回転角θＲｏｌｌの３つの情報を入力とし、姿勢補正値ｋａｘ＿Ｒｏｌｌを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＲｏｌｌ、及び、ステップＳ８０６で取得された回転角θＲｏｌｌの３つの情報を入力とし、姿勢補正値ｋｂｘ＿Ｒｏｌｌを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＲｏｌｌ、及び、ステップＳ８０６で取得された回転角θＲｏｌｌの３つの情報を入力とし、姿勢補正値ｋａｙ＿Ｒｏｌｌを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＲｏｌｌ、及び、ステップＳ８０６で取得された回転角θＲｏｌｌの３つの情報を入力とし、姿勢補正値ｋｂｙ＿Ｒｏｌｌを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＰｉｔｃｈ、及び、ステップＳ８０６で取得された回転角θＰｉｔｃｈの３つの情報を入力とし、姿勢補正値ｋａｘ＿Ｐｉｔｃｈを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＰｉｔｃｈ、及び、ステップＳ８０６で取得された回転角θＰｉｔｃｈの３つの情報を入力とし、姿勢補正値ｋｂｘ＿Ｐｉｔｃｈを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＰｉｔｃｈ、及び、ステップＳ８０６で取得された回転角θＰｉｔｃｈの３つの情報を入力とし、姿勢補正値ｋａｙ＿Ｐｉｔｃｈを出力とする関数
・現在の視線情報、キャリブレーション動作中に取得された回転角θＰｉｔｃｈ、及び、ステップＳ８０６で取得された回転角θＰｉｔｃｈの３つの情報を入力とし、姿勢補正値ｋｂｙ＿Ｐｉｔｃｈを出力とする関数

姿勢補正値ｋａｘ＿Ｙａｗは、姿勢補正値ｋａｘのＹａｗ軸成分であり、キャリブレーション動作中の回転角θＹａｗと現在の回転角θＹａｗとの差分に対応する回転角θｘのオフセットである。姿勢補正値ｋｂｘ＿Ｙａｗは、姿勢補正値ｋｂｘのＹａｗ軸成分であり、キャリブレーション動作中の回転角θＹａｗと現在の回転角θＹａｗとの差分に対応する回転角θｘの変化率である。姿勢補正値ｋａｙ＿Ｙａｗは、姿勢補正値ｋａｙのＹａｗ軸成分であり、キャリブレーション動作中の回転角θＹａｗと現在の回転角θＹａｗとの差分に対応する回転角θｙのオフセットである。姿勢補正値ｋｂｙ＿Ｙａｗは、姿勢補正値ｋｂｙのＹａｗ軸成分であり、キャリブレーション動作中の回転角θＹａｗと現在の回転角θＹａｗとの差分に対応する回転角θｙの変化率である。

姿勢補正値ｋａｘ＿Ｒｏｌｌは、姿勢補正値ｋａｘのＲｏｌｌ軸成分であり、キャリブレーション動作中の回転角θＲｏｌｌと現在の回転角θＲｏｌｌとの差分に対応する回転角θｘのオフセットである。姿勢補正値ｋｂｘ＿Ｒｏｌｌは、姿勢補正値ｋｂｘのＲｏｌｌ軸成分であり、キャリブレーション動作中の回転角θＲｏｌｌと現在の回転角θＲｏｌｌとの差分に対応する回転角θｘの変化率である。姿勢補正値ｋａｙ＿Ｒｏｌｌは、姿勢補正値ｋａｙのＲｏｌｌ軸成分であり、キャリブレーション動作中の回転角θＲｏｌｌと現在の回転角θＲｏｌｌとの差分に対応する回転角θｙのオフセットである。姿勢補正値ｋｂｙ＿Ｒｏｌｌは、姿勢補正値ｋｂｙのＲｏｌｌ軸成分であり、キャリブレーション動作中の回転角θＲｏｌｌと現在の回転角θＲｏｌｌとの差分に対応する回転角θｙの変化
率である。

姿勢補正値ｋａｘ＿Ｐｉｔｃｈは、姿勢補正値ｋａｘのＰｉｔｃｈ軸成分であり、キャリブレーション動作中の回転角θＰｉｔｃｈと現在の回転角θＰｉｔｃｈとの差分に対応する回転角θｘのオフセットである。姿勢補正値ｋｂｘ＿Ｐｉｔｃｈは、姿勢補正値ｋｂｘのＰｉｔｃｈ軸成分であり、キャリブレーション動作中の回転角θＰｉｔｃｈと現在の回転角θＰｉｔｃｈとの差分に対応する回転角θｘの変化率である。姿勢補正値ｋａｙ＿Ｐｉｔｃｈは、姿勢補正値ｋａｙのＰｉｔｃｈ軸成分であり、キャリブレーション動作中の回転角θＰｉｔｃｈと現在の回転角θＰｉｔｃｈとの差分に対応する回転角θｙのオフセットである。姿勢補正値ｋｂｙ＿Ｐｉｔｃｈは、姿勢補正値ｋｂｙのＰｉｔｃｈ軸成分であり、キャリブレーション動作中の回転角θＰｉｔｃｈと現在の回転角θＰｉｔｃｈとの差分に対応する回転角θｙの変化率である。

そして、ＣＰＵ３は、以下の式７－１～７－４を用いて、上記３つの関数を用いて算出した１２個の姿勢補正値から、姿勢補正値ｋａｘ，ｋｂｘ，ｋａｙ，ｋｂｙを算出する。

ｋａｘ＝ｋａｘ＿Ｙａｗ＋ｋａｘ＿Ｒｏｌｌ＋ｋａｘ＿Ｐｉｔｃｈ
・・・（式７－１）
ｋｂｘ＝ｋｂｘ＿ＹＡＷ×ｋｂｘ＿Ｒｏｌｌ×ｋｂｘ＿Ｐｉｔｃｈ
・・・（式７－２）
ｋａｙ＝ｋａｙ＿Ｙａｗ＋ｋａｙ＿Ｒｏｌｌ＋ｋａｙ＿Ｐｉｔｃｈ
・・・（式７－３）
ｋｂｙ＝ｋｂｙ＿ＹＡＷ×ｋｂｙ＿Ｒｏｌｌ×ｋｂｙ＿Ｐｉｔｃｈ
・・・（式７－４）

なお、姿勢補正値ｋａｘ，ｋｂｘ，ｋｙｘ，ｋｂｙの取得方法は、上記方法に限られない。例えば、現在の視線情報、キャリブレーション動作中に取得された頭部姿勢情報、及び、ステップＳ８０６で取得された頭部姿勢情報の３つの情報を入力とし、姿勢補正値ｋａｘ，ｋｂｘ，ｋｙｘ，ｋｂｙを出力とするニューラルネットワークを用いてもよい。図１１は、そのようなニューラルネットワーク（全結合型フィードフォワードニューラルネットワーク）の一例を示す図である。ニューラルネットワークの学習には、例えば誤差逆伝搬法が使用され、撮像面上での視点と目標物（視点に最も近い物体である対象物）の中心位置との差を誤差としてニューラルネットワークのパラメータが更新される。対象物が所定のサイズよりも大きい場合には、視点を高精度に推定できない（ユーザーが対象物のどこを見ているのかを高精度に推定できない）ことがあるため、ニューラルネットワークのパラメータを更新しなくてもよい。カメラ１の演算負荷を減らすため、学習は別の装置で事前に行われるなどして、カメラ１には、学習済みのパラメータを用いた推論のみを行う演算器を搭載してもよい。

また、視線情報として、ステップＳ８０５で算出した回転角θｘ，θｙを用いてもよい。また、キャリブレーション動作中の頭部姿勢と、現在の頭部姿勢との差分が所定の閾値よりも小さい場合には、視線補正値Ａｘ，Ａｙ，Ｂｘ，Ｂｙが補正（変更）されないよう、ｋａｘ＝０，ｋｂｘ＝１，ｋａｙ＝０，ｋｂｙ＝１を設定してもよい。

図８の説明に戻る。ステップＳ８０８では、ＣＰＵ３は、ステップＳ８０７で取得した姿勢補正値ｋａｘ，ｋｂｘ，ｋａｙ，ｋｂｙを用いて、視線補正値Ａｘ，Ａｙ，Ｂｘ，Ｂｙを補正する。以下の式８－１～８－４を用いて、補正後の視線補正値Ａｘ’，Ａｙ’，Ｂｘ’，Ｂｙ’が算出される。

Ａｘ’＝ｋａｘ＋Ａｘ ・・・（式８－１）
Ｂｘ’＝ｋｂｘ×Ｂｘ ・・・（式８－２）
Ａｙ’＝ｋａｙ＋Ａｙ ・・・（式８－３）
Ｂｙ’＝ｋｂｙ×Ｂｙ ・・・（式８－４）

ステップＳ８０９では、ＣＰＵ３は、ステップＳ８０５で算出した回転角θｘ，θｙとステップＳ８０８で得た視線補正値Ａｘ’，Ａｙ’，Ｂｘ’，Ｂｙ’とを用いて、表示デバイス１０の画面におけるユーザーの視点を求める（推定する）。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式９－１，９－２で算出できる。

Ｈｘ＝ｍ×（Ａｘ’×θｘ＋Ｂｘ’） ・・・（式９－１）
Ｈｙ＝ｍ×（Ａｙ’×θｙ＋Ｂｙ’） ・・・（式９－２）

式９－１，９－２の係数ｍは、カメラ１のファインダ光学系（受光レンズ１６など）の構成で定まる定数であり、回転角θｘ，θｙを表示デバイス１０の画面における瞳孔中心ｃに対応する座標に変換する変換係数である。係数ｍは、予め決定されてメモリ部４に格納されるとする。

ステップＳ８１０では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

＜カメラ動作の説明＞
カメラ１の動作（撮影動作を含んだカメラ動作）について、図１２のフローチャートを用いて説明する。

カメラ１の電源がＯＮされると、ステップＳ１２０１で、撮像素子２は、スルー画像の取得を開始し、スルー画像の画像信号をＣＰＵ３に送信し、ＣＰＵ３は、取得したスルー画像を表示デバイス１０に表示する。ユーザーは、表示デバイス１０に表示されたスルー画像を見ることで、被写体の確認を行う。カメラ１の電源は、カメラ１に対するユーザー操作に応じてＯＮ／ＯＦＦされる。

ステップＳ１２０２では、ＣＰＵ３は、カメラ１の電源をＯＦＦするか否かを判定し、ＯＦＦする場合は図１２のカメラ動作を終了し、ＯＦＦしない場合はステップＳ１２０３に処理を進める。

ステップＳ１２０３では、ＣＰＵ３は、ステップＳ１２０１でスルー画像を視認し始めたユーザーの眼画像の取得を開始し、図８の視線検出動作を行う。視線検出動作により、表示デバイス１０の画面における視点の座標が算出される。

ステップＳ１２０４では、図５のステップＳ５０５と同様に、ＣＰＵ３は、所定のエラー判定処理を行う。

ステップＳ１２０５では、ＣＰＵ３は、ステップＳ１２０４のエラー判定処理の結果に応じて、ステップＳ１２０３の視線検出動作（現在の視線検出動作）に失敗したか否かを判定する。そして、ＣＰＵ３は、視線検出動作に失敗した（視線検出動作にエラーが発生した）場合はステップＳ１２０６に処理を進め、視線検出動作に成功した（視線検出動作にエラーが発生しなかった）場合はステップＳ１２０７に処理を進める。

ステップＳ１２０６では、ＣＰＵ３は、過去の所定期間に算出された複数の視点から現在の視点を予測する。ステップＳ１２０６の処理が行われた場合には、現在の視点として、ステップＳ１２０３で算出された視点ではなく、ステップＳ１２０６で予測された視点が使用されることになる。なお、視点の予測方法は特に限定されない。例えば、過去の視点の移動量や移動方向などに基づいて現在の視点を予測できる。視点が移動している場合には、視点の軌跡が滑らかに延長されるように、現在の視点を予測できる。視点が１点で略止まっている場合には（１点を中心に揺れている場合などでは）、複数の視点の中心位置や平均位置などを、現在の視点として予測できる。

ステップＳ１２０７では、ＣＰＵ３は、表示デバイス１０の画面における現在の視点（推定位置）に視線枠（視点を示す枠）が表示されるように、スルー画像における、現在の視点（推定位置）に対応する位置に、視点枠を重ねる。これにより、図４（ａ）のような表示（スルー画像に視線枠を重ねた表示）が行われ、現在の視点Ａ（推定位置）をユーザーに伝えることができる。視点枠の代わりに、視点を示す点などが表示されてもよい。

ステップＳ１２０８では、ＣＰＵ３は所定時間の待機を行う。

ステップＳ１２０９では、ＣＰＵ３は、ユーザーによってレリーズボタン５が押されて（半押しされて）スイッチＳＷ１がＯＮとなったか否かを判定する。例えば、ユーザーは、スルー画像に重ねて表示された視点枠（推定された視点を示す枠）の位置での合焦に同意した場合に、レリーズボタン５の半押しを行い、スイッチＳＷ１をＯＮにする。ＣＰＵ３は、スイッチＳＷ１がＯＮとなった場合はステップＳ１２１０に処理を進め、スイッチＳＷ１がＯＮとならなかった場合はステップＳ１２０３に処理を戻して視点の再推定を行う。

ステップＳ１２１０では、ＣＰＵ３は、現在の視線枠の位置での測距動作を行い、測距動作が行われたことを、視線枠の色を変えるなどの強調表示でユーザーに知らせる。

ステップＳ１２１１では、ＣＰＵ３は、ステップＳ１２１０で得られた測距結果に応じて、撮影レンズユニット１Ａ内のレンズ１０１を駆動する。これにより、スルー画像に重ねて表示された視点枠の位置での合焦が実現される。

ステップＳ１２１２では、ＣＰＵ３は、ユーザーによってレリーズボタン５がさらに押し込まれて（全押しされて）スイッチＳＷ２がＯＮとなったか否かを判定する。例えば、ユーザーは、現在の合焦位置での撮影に同意した場合に、レリーズボタン５の全押しを行い、スイッチＳＷ２をＯＮにする。ＣＰＵ３は、スイッチＳＷ２がＯＮとなった場合はステップＳ１２１３に処理を進め、スイッチＳＷ２がＯＮとならなかった場合はステップＳ１２０９に処理を戻す。

ステップＳ１２１３では、ＣＰＵ３は、撮影動作を行うことで、撮像素子２によって取得された画像信号を、メモリ部４に格納する。

ステップＳ１２１４では、ＣＰＵ３は、ステップＳ１２１３でメモリ部４に格納された画像（撮影された画像）を表示デバイス１０に所定時間表示し、ステップＳ１２０２に処理を戻す。

＜動作の具体例＞
カメラ１の動作の具体例について説明する。ここでは、疑似的な眼球（疑似眼球）を設けた疑似的な頭部模型を用いる。まず、頭部模型を第１の姿勢にした状態でキャリブレー
ションを実施する。キャリブレーション中は疑似眼球の向きのみを変化させる。このキャリブレーションにより得られた視線補正値を使用すれば、頭部模型が第１の姿勢のときに視点を正確に推定することができる。次に、頭部模型の姿勢を第１の姿勢から変えず、所定の位置を見るように疑似眼球の視線方向を定めて、視点を推定する。この視点を第１の視点と記載する。そして、頭部模型の姿勢を第１の姿勢から第２の姿勢に変化させ、上記所定の位置を見るように疑似眼球の視線方向を定めて、視点を取得する。この視点を第２の視点と記載する。本発明が適用されていない場合には、第１の視点と第２の視点とに明確なずれが発生するが、本発明を適用した実施例１によれば、第１の視点と第２の視点とが略一致する。

＜まとめ＞
以上述べたように、実施例１によれば、現在の視線情報、キャリブレーション中の頭部姿勢、及び、現在の頭部姿勢に基づいて、視線補正値が補正される。これにより、視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することができる。例えば、ファインダの覗き直しや、装置のずれなどに起因した、視線検出の精度の低下を抑制することができ、高精度な視線検出結果を得ることができる。ひいては、視線検出結果に応じた処理（焦点調整など）を、ユーザーの意図通りに行うことができる。

＜＜実施例２＞＞
本発明の実施例２について説明する。実施例１では、撮像装置に本発明を適用する場合の例を説明したが、実施例２で、ユーザーの頭部に装着するＶＲ機器やＡＲ機器などのウェアラブルデバイスに本発明を適用する場合の例を説明する。ウェアラブルデバイスは、例えば、ヘッドマウントディスプレイや眼鏡型の電子機器である。

＜構成の説明＞
図１３（ａ），１３（ｂ）は、実施例２に係るヘッドマウントディスプレイ（ＨＭＤ）５００の外観を示す。図１３（ａ）は正面斜視図であり、図１３（ｂ）は背面斜視図である。図１３（ａ）に示すように、ＨＭＤ５００は、頭部装着部５０１とコントローラ５０２を有し、頭部装着部５０１は、外界を撮像するための撮影レンズ５０５を有する。また、図１３（ｂ）に示すように、頭部装着部５０１は、右眼用と左眼用のそれぞれの構成要素として、表示部５０８、光源５１３ａ，５１３ｂ、及び、眼用撮像素子５１７を有する。コントローラ５０２は、ユーザーからの各種操作を受け付ける操作部材５４１～５４３を有する。ＨＭＤ５００は、ビデオ透過型のＨＭＤ（外界を撮像し、外界の映像を略リアルタイムに表示するＨＭＤ）であってもよいし、そうでなくてもよい。ＨＭＤ５００は、ＶＲ（仮想現実）表示（撮影した（記録された）画像の表示や、ゲーム映像の表示などの仮想空間の表示）を行うＨＭＤであってもよいし、ＡＲ（拡張現実）表示（現実空間に対する情報や仮想物体の重畳表示）を行うＨＭＤであってもよい。

表示部５０８は、実施例１の表示デバイス１０に対応し、外界を撮像した画像や、不図示の記憶部やネットワークなどから取得した様々な画像（映画やゲーム映像など）を表示する。表示部５０８は、ユーザーが注視している物体に関係する情報をＵＩとして表示してもよい。光源５１３ａ，５１３ｂは、実施例１の光源１３ａ～１３ｄに対応し、ユーザーの眼球を照明する。光源５１３ａ，５１３ｂから発せられて眼球で反射した光の一部は、眼用撮像素子５１７に集光する。眼用撮像素子５１７は、実施例１の眼用撮像素子１７に対応し、ユーザーの眼を撮像する。操作部材５４１～５４３は、実施例１の操作部材４１～４３にそれぞれ対応する。ユーザーは、操作部材５４１～５４３を用いて様々な操作を行うことができ、例えば表示部５０８に表示されたＵＩ（指標など）の位置をコントローラ５０２から微調整することができる。

図１４は、ＨＭＤ５００の電気的構成を示すブロック図である。コントローラ５０２は
、ＣＰＵ５０３、メモリ部５０４、視線検出回路６０１、ＬＰＦ６０７、表示部駆動回路５１１、操作部材５４１（表示部）、及び、操作部材５４２，５４３を有する。上述したように、頭部装着部５０１は、撮影レンズ５０５、表示部５０８、光源５１３ａ，５１３ｂ、及び、眼用撮像素子５１７を有する。さらに、頭部装着部５０１は、Ａ／Ｄ変換部６０４、撮像素子６０２、測光回路６０３、光源駆動回路６０５、及び、表示部駆動回路６１１を有する。

ＣＰＵ５０３は、実施例１のＣＰＵ３に対応する。ＣＰＵ５０３は、マイクロコンピュータの中央処理部であり、ＨＭＤ５００全体を制御する。メモリ部５０４、実施例１のメモリ部４に対応し、眼用撮像素子５１７からの撮像信号の記憶機能と、視線の個人差を補正する視線補正値の記憶機能とを有する。メモリ部５０４は、左眼に関する情報の信頼度や、右眼に関する情報の信頼度などを補正する補正値の記憶機能を有してもよい。表示部駆動回路５１１は、操作部材５４１（表示部）を駆動する。

撮像素子６０２は、実施例１の撮像素子２に対応し、撮影レンズ５０５の予定結像面に配置されている。測光回路６０３は、実施例１の測光回路２０２に対応する。測光回路６０３は、測光センサの役割を兼ねた撮像素子６０２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換などを行い、その結果を被写界輝度情報としてＣＰＵ５０３に送る。光源駆動回路６０５は、実施例１の光源駆動回路２０５に対応し、光源５１３ａ，５１３ｂを駆動する。表示部駆動回路６１１は、実施例１の表示デバイス駆動回路１１に対応し、表示部６０８を駆動する。

視線検出回路６０１は、実施例１の視線検出回路２０１に対応する。視線検出回路６０１は、眼用撮像素子５１７上に眼球像が結像した状態での眼用撮像素子５１７の出力（眼画像）をＡ／Ｄ変換部６０４にてＡ／Ｄ変換し、その結果をＬＰＦ６０７を介してＣＰＵ５０３に送信する。ＣＰＵ５０３は、実施例１と同様のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線を検出する。

実施例２に係るキャリブレーション動作と視線検出動作は、実施例１と同様である。但し、実施例２では、ユーザーの右眼を撮像した右眼画像と、ユーザーの左眼を撮像した左眼画像とに基づいて、視点が検出される。右眼画像に基づいて右眼の回転角が算出され、左眼画像に基づいて左眼の回転角が算出される。そして、右眼の回転角に基づいて右眼の視点が推定され、左眼の回転角に基づいて左眼の視点が推定される。

頭部姿勢も、右眼画像と左眼画像に基づいて検出される。例えば、右眼画像に基づいて頭部姿勢情報（θＹａｗ＿Ｒ、θＲａｌｌ＿Ｒ、θＰｉｔｃｈ＿Ｒ）が取得され、左眼画像に基づいて頭部姿勢情報（θＹａｗ＿Ｌ、θＲａｌｌ＿Ｌ、θＰｉｔｃｈ＿Ｌ）が取得される。そして、以下の式１０－１～１０－３を用いて、上記２つの頭部姿勢情報を統合した最終的な頭部姿勢情報（θＹａｗ、θＲａｌｌ、θＰｉｔｃｈ）を算出する。係数ｋＬ，ｋＲは、利き眼の画像に基づく頭部姿勢情報の影響を大きくするための重みである。なお、右眼画像に基づく頭部姿勢情報の取得と、左眼画像に基づく頭部姿勢情報の取得との一方に失敗した場合には、取得に成功した頭部姿勢情報を、最終的な頭部姿勢情報としてもよい。

θＹａｗ＝（ｋＬ×θＹａｗ＿Ｌ＋ｋＲ×θＹａｗ＿Ｒ）／２
・・・（式１０－１）
θＲａｌｌ＝（ｋＬ×θＲａｌｌ＿Ｌ＋ｋＲ×θＲａｌｌ＿Ｒ）／２
・・・（式１０－２）
θＰｉｔｃｈ＝（ｋＬ×θＰｉｔｃｈ＿Ｌ＋ｋＲ×θＰｉｔｃｈ＿Ｒ）／２
・・・（式１０－３）

統合した頭部姿勢情報を用いて実施例１と同様に視線補正値を補正することで、視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することができる。

＜まとめ＞
以上述べたように、実施例２によれば、ヘッドマウントディスプレイなどのウェアラブルデバイスにおいて、実施例１と同様に、視線検出装置の使用状態の変化に起因した視線検出の精度の低下を抑制することができる。

なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ ３：ＣＰＵ
５００：ヘッドマウントディスプレイ ５０３：ＣＰＵ

Claims (13)

1. ユーザーの眼を撮像した眼画像に基づいて、前記ユーザーが見ている位置である視線位置を検出する視線検出手段と、
   前記眼画像に基づいて、前記ユーザーの頭部の姿勢である頭部姿勢を検出する姿勢検出手段と、
   所定のキャリブレーション動作により、前記視線位置の検出誤差を低減するための第１の補正値を取得するキャリブレーション手段と、
   現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、前記第１の補正値を補正する補正手段と
   を有する
   ことを特徴とする視線検出装置。
2. 現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、第２の補正値を取得する取得手段
   をさらに有し、
   前記補正手段は、前記第２の補正値を用いて前記第１の補正値を補正する
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記取得手段は、現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢に関する第１の姿勢情報、及び、現在の頭部姿勢に関する第２の姿勢情報を入力とし、前記第２の補正値を出力とするニューラルネットワークを用いた演算手段である
   ことを特徴とする請求項２に記載の視線検出装置。
4. 前記視線位置と、当該視線位置に最も近い物体である対象物の中心位置との差を誤差として、前記ニューラルネットワークのパラメータを更新する更新手段
   をさらに有する
   ことを特徴とする請求項３に記載の視線検出装置。
5. 前記更新手段は、前記対象物が所定のサイズよりも大きい場合には、前記ニューラルネットワークのパラメータを更新しない
   ことを特徴とする請求項４に記載の視線検出装置。
6. 前記補正手段は、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢との差が所定の値よりも小さい場合には、前記第１の補正値を補正しない
   ことを特徴とする請求項１～５のいずれか１項に記載の視線検出装置。
7. 前記視線検出手段は、前記ユーザーの右眼を撮像した右眼画像と、前記ユーザーの左眼を撮像した左眼画像とに基づいて、前記視線位置を検出し、
   前記姿勢検出手段は、前記右眼画像と前記左眼画像に基づいて、前記頭部姿勢を検出する
   ことを特徴とする請求項１～６のいずれか１項に記載の視線検出装置。
8. 前記視線情報は、前記眼画像における瞳孔の中心位置、複数の角膜反射像の重心位置、及び、前記複数の角膜反射像の間隔の情報である
   ことを特徴とする請求項１～７のいずれか１項に記載の視線検出装置。
9. 前記視線情報は、前記ユーザーが見ている方向である視線方向の、前記ユーザーの眼を撮像する撮像手段の光軸に対する角度の情報である
   ことを特徴とする請求項１～７のいずれか１項に記載の視線検出装置。
10. ユーザーの眼を撮像した眼画像に基づいて、前記ユーザーが見ている位置である視線位置を検出する視線検出手段と、
    所定のキャリブレーション動作により、前記視線位置の検出誤差を低減するための補正値を取得するキャリブレーション手段と
    を有し、
    前記ユーザーが頭部を第１の姿勢にした状態で前記所定のキャリブレーション動作が行われた後、前記ユーザーが頭部を第１の姿勢にして所定の位置を見た状態で検出された視線位置と、前記ユーザーが頭部を前記第１の姿勢とは異なる第２の姿勢にして前記所定の位置を見た状態で検出された視線位置とが略一致する
    ことを特徴とする視線検出装置。
11. ユーザーの眼を撮像した眼画像に基づいて、前記ユーザーが見ている位置である視線位置を検出する視線検出ステップと、
    前記眼画像に基づいて、前記ユーザーの頭部の姿勢である頭部姿勢を検出する姿勢検出ステップと、
    所定のキャリブレーション動作により、前記視線位置の検出誤差を低減するための第１の補正値を取得するキャリブレーションステップと、
    現在の視線位置に関する視線情報、前記所定のキャリブレーション動作中の頭部姿勢、及び、現在の頭部姿勢に基づいて、前記第１の補正値を補正する補正ステップと
    を有する
    ことを特徴とする視線検出方法。
12. コンピュータを、請求項１～１０のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１～１０のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images