JP2023003735A - 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】視線検出位置と、実際にユーザーが注視している位置との差分を精度よく補正する。【解決手段】本件開示の技術に係る視線検出装置は、表示手段に対するユーザーの視線の位置を検出する視線検出手段と、前記表示手段に表示される画像から被写体を検出する被写体検出手段と、前記視線検出手段によって検出された視線の位置が前記被写体検出手段によって検出された被写体の位置に合うように、前記視線検出手段で使用する補正値を決定する補正値決定手段とを有する。【選択図】図８

Description

本件開示の技術は、視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体に関し、特に検出された視線位置（検出位置）とユーザーが注視している位置（実際の位置）との差分を補正する技術に関する。

近年、撮像装置の自動化・インテリジェント化が進み、手動で位置が入力されずとも、ファインダーを覗くユーザーの視線の情報（視線情報）に基づいて、ユーザーが見ている方向の空間内の位置や、画面上の位置などを選択する装置が提案されている。また、検出された視線位置と実際にユーザーが注視している位置との差分を補正する技術が特許文献１に示されている。

特開２０２０－１０６５５２号公報 特開２０１８－２０５６４８号公報

しかしながら、特許文献１では、ユーザーが実際に注視している位置をユーザー自らが指定し、指定された位置情報を基に、検出された視線位置の補正を行う構成であるため、ユーザーが手動で補正を行わなければならない。

また、特許文献２では、検出された視線位置とユーザーの注視位置とに誤差がある場合に、周囲に存在する被写体の候補から適切な被写体を選択する補正方法が示されているが、誤差のある視線位置自体の補正は行われていない。以後、検出された視線位置を視線検出位置と記載する。

本件開示の技術の目的は、上記に鑑みてなされたものであり、ユーザーが注視している位置と視線検出位置の誤差を精度よく補正する視線検出装置を提供することである。

本件開示の技術に係る視線検出装置は、
表示手段に対するユーザーの視線の位置を検出する視線検出手段と、
前記表示手段に表示される画像から被写体を検出する被写体検出手段と、
前記視線検出手段によって検出された視線の位置が前記被写体検出手段によって検出された被写体の位置に合うように、前記視線検出手段で使用する補正値を決定する補正値決定手段と
を有することを特徴とする視線検出装置を含む。

本件開示の技術によれば、ユーザーがマニュアルで補正処理を行うことなく、視線検出位置と、実際にユーザーが注視している位置との差分を精度よく補正することができる。

カメラの外観図である。 カメラの断面図である。 カメラのブロック図である。 カメラの表示画像を示す図である。 視線検出位置の補正方法を説明するための図である。 視線検出位置の補正処理のフローチャートである。 視線検出位置の補正値の算出方法を説明するための図である。 補正後の視線検出位置の一致度の判定方法を説明するための図である。 視線検出位置の補正処理の別のフローチャートである。 視線候補位置テーブルと視線候補位置を説明するための図である。 視線検出位置の補正方法を説明するための別の図である。

以下に、図面を参照しつつ、本件開示の技術の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材料、形状およびそれらの相対配置等は、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。特に図示あるいは記述をしない構成や工程には、当該技術分野の周知技術または公知技術を適用することが可能である。また、重複する説明は省略する場合がある。

（第１の実施形態）
以下に、本件開示の技術の第１の実施形態について説明する。

＜構成の説明＞
図１Ａおよび図１Ｂは、第１の実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観を示す。図１Ａは、カメラ１の正面斜視図であり、図１Ｂはカメラ１の背面斜視図である。図１Ａに示すように、カメラ１は、撮影レンズユニット１Ａおよびカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮影操作を受け付ける操作部材であるレリーズボタン５が配置されている。図１Ｂに示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示デバイス１０（電子表示ファインダー）をユーザーが覗き込むための接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネルを備えており、表示パネルで画像を表示する機能を有する。

図２は、図１Ａに示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の大まかな内部構成を示す。

図２に示すように、撮影レンズユニット１Ａ内には、２枚のレンズ１０１、１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４が含まれている。さらに、撮影レンズユニット１Ａ内には、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８などが含まれている。レンズ駆動部材１１４は駆動ギヤなどからなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェイスである。なお、簡単のために２枚のレンズ１０１、１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。

カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１などが含まれている。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像などを記憶する。表示デバイス１０は、液晶などで構成されており、撮像された被写体の画像などを表示デバイス１０の表示面に表示する表示手段である。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示デバイス１０の表示面に表示された画像（撮像素子２により撮像された画像など）を見ることができる。

カメラ筐体１Ｂ内には、光源１３ａ～１３ｆ、光分割器１５、受光レンズ１６、眼用撮像素子１７なども含まれている。光源１３ａ～１３ｆは、ユーザーの眼球１４を照明するための光源である。光源１３ａ～１３ｆは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔の関係から視線方向（視線の方向；ユーザーが見ている方向）を検出するために従来から一眼レフカメラなどで用いられている。具体的には、光源１３ａ～１３ｆは、ユーザーに対して不感の赤外光を発する赤外発光ダイオードなどであり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ～１３ｆから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＣＤやＣＭＯＳなどの光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１７上に結像された眼球像における角膜反射像の位置から、眼球１４の視線方向が検出される。

図３は、カメラ１内の電気的構成を示すブロック図である。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示デバイス駆動回路１１、光源駆動回路２０５などが接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼用撮像素子１７からの撮像信号の記憶機能と、後述する視線の個人差を補正する視線補正パラメータの記憶機能とを有する。

視線検出回路２０１は、眼用撮像素子１７上に眼球像が結像した状態での眼用撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置から、表示デバイス１０の表示面におけるユーザーの視点（視線位置；視線が注がれている位置；ユーザーが見ている位置）を算出する。これにより、ＣＰＵ３は、表示デバイス１０に対するユーザーの視線位置を検出する。なお、以降の説明において、検出された視線位置を視線検出位置と記載する。

測光回路２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換などを行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。第１の実施形態では、一例として、ファインダー内視野（ファインダーを覗いたときの視野）、具体的には
表示デバイス１０の表示面に示した１８０か所に対応する撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。

信号入力回路２０４には、スイッチＳＷ１とスイッチＳＷ２とが接続されている。スイッチＳＷ１は、レリーズボタン５の第１ストロークでＯＮし、カメラ１の測光、測距、視線検出動作などを開始するためのスイッチである。スイッチＳＷ２は、レリーズボタン５の第２ストロークでＯＮし、撮影動作を開始するためのスイッチである。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。被写体検出回路２０７はメモリ部４に保存された撮像素子２および眼球用撮像素子１７からの撮像信号に対して、人、動物、その他の特定の被写体の検出を行うことができる。

図４は、ユーザーがファインダーを覗いて画角内に存在する被写体を実際に注視している位置と、ＣＰＵ３によって検出される視線検出位置との差分であるオフセットを説明する図である。ユーザーは画角内の被写体４０１を注視しているが、視線検出回路２０１は検出誤差によって実線枠で示す視線検出位置４０２をユーザーの視線位置として検出している。このとき、位置オフセット４０３が実際に注視している位置と検出位置とのオフセットとなる。本実施形態では、このオフセットを自動で検出して補正することを目的としている。また、オフセット補正においては、被写体検出回路２０７によって画像から検出される被写体の位置を使用する。

図５Ａは、本実施形態においてオフセット補正を行う場合に使用する検出被写体が決定された後の視線検出位置の補正方法を説明する図である。また、図５Ｂは、オフセット補正を行う際に使用する検出被写体の候補が複数ある場合に、どの検出被写体を補正に使用するかを決定する方法を説明する図である。

ここで、図５Ａ、図５Ｂと、図６のフローチャートとを参照しながら、本実施形態においてカメラ１のＣＰＵ３が実行する処理について説明する。なお、ＣＰＵ３は、カメラ１内の各回路などの構成要素の動作を制御することで、以下の処理において、視線検出手段、被写体検出手段、補正値決定手段の機能を実現する。表示デバイス１０には、図５Ａに例示する視線検出位置５０１および被写体検出位置５０２を示す点線、オフセット５０３を示す矢印、補正後の視線検出位置５０４を示す実線による指標は表示されないものとする。同様に、表示デバイス１０には、図５Ｂに例示する、被写体５０８～５１０を囲む領域の点線、最大オフセット半径５０６を示す矢印、最大オフセット領域５０７を示す点線の円による指標は表示されないものとする。ただし、これらの少なくとも１つ以上の指標を表示するように表示デバイス１０が構成されていてもよい。

ステップＳ６０１において、ＣＰＵ３は、表示デバイス１０に対するユーザーの視線検出位置と、被写体検出回路２０７によって検出される撮像画像内に存在する検出被写体の位置との一致度を判定する。なお、以下の処理により視線検出位置が補正されている場合は、補正後の視線検出位置に対して本ステップの処理が実行される。この一致度の判定では、所定の一定期間内において視線検出位置と検出被写体との位置がどれだけ一致していたかを示す一致度を算出し、算出した一致度を閾値と比較する。ここで、視線検出位置と検出被写体の位置との一致度の一例としては、視線検出位置を示す領域の中心と検出被写体の位置を示す領域の中心との距離が挙げられる。この場合、距離が短くなるほど一致度が高くなる。なお、一致度としては、周知の技術を用いて視線検出位置と検出被写体の位置の近似の程度が算出できるものであれば、任意の算出方法および算出結果が採用されてよい。また、ここでは、画像内に検出被写体の候補が複数ある場合は、いずれか１つの検出被写体の位置と視線検出位置との一致度が算出されればよいものとする。一例として、ＣＰＵ３は、画像において視線検出位置からの距離が最短となる検出被写体の位置を選択して一致度を算出する。ＣＰＵ３は、算出した一致度が閾値より大きい場合（Ｓ６０１：
ＮＯ）、処理をステップＳ６０９に進める。また、ＣＰＵ３は、一致度が閾値以下である場合（Ｓ６０１：ＹＥＳ）、処理をステップＳ６０２に進める。

ステップＳ６０２では、ＣＰＵ３は、被写体検出回路２０７によって検出された検出被写体のうち、視線検出回路２０１によって検出された視線検出位置を基準に決まる領域内に存在する検出被写体を特定する。図５Ｂに示すように、後述する視線検出位置の補正値が更新される前の、視線検出回路２０１によって検出されたユーザーの視線検出位置が、補正前の視線検出位置５０５である。補正前の視線検出位置５０５の中心からあらかじめ決められている最大オフセット半径５０６を半径とする円内の領域が、最大オフセット領域５０７である。ＣＰＵ３は、最大オフセット領域５０７内に被写体検出回路２０７によって検出された検出被写体が存在するか否かを判定する。なお、最大オフセット領域が、画像内の所定領域の一例である。

最大オフセット半径５０６は、視線検出回路２０１によって生じる最大のオフセットに関する情報を基にあらかじめ決定される。最大オフセット半径は、例えば、視線検出回路２０１が過去に検出した視線検出位置とユーザーが注視している検出被写体の位置との距離に関する統計を基に適正な最大オフセット半径を算出する関数によって算出できる。本実施形態においては、最大オフセット領域５０７内に、３つの被写体５０８～５１０が検出被写体として存在するものとする。被写体５０８は鳥、被写体５０９は犬、被写体５１０は人物である。なお、画角内に存在する犬の被写体５１０と鳥の被写体５１１は、最大オフセット領域５０７外にある被写体であるため、検出被写体から除外される。また、ＣＰＵ３は、最大オフセット領域５０７内の検出被写体から、オフセットの算出に用いられたことを示す属性情報が関連付けられた検出被写体を除外する。なお、この属性情報は、後述するステップＳ６０５で被写体ごとに関連付けられる情報である。これにより、後述するステップＳ６０７で補正値が更新されてもステップＳ６０１で一致度が閾値以下となってしまう、すなわち間違った検出被写体が特定されている場合に、ステップＳ６０２で同じ間違った検出被写体が再度特定されることが防止される。

次に、ステップＳ６０３では、ＣＰＵ３は、被写体検出回路２０７によって検出された検出被写体（ステップＳ６０２で特定された検出被写体）が最大オフセット領域５０７内に１つ以上存在するかどうかを判定する。ＣＰＵ３は、最大オフセット領域５０７内に検出被写体が存在しない場合は（Ｓ６０３：Ｎ）、処理を終了する。また、ＣＰＵ３は、最大オフセット領域５０７内に検出被写体が存在する場合は（Ｓ６０３：Ｙ）、処理をステップＳ６０４に進める。

ステップＳ６０４においては、ＣＰＵ３は、最大オフセット領域５０７内に存在する複数の検出被写体から、撮影に使用されている撮影モードや、視線検出位置と検出被写体との距離などに基づいて検出被写体から視線位置の候補となる被写体を決定する。ここで、撮影モードは撮影を行うモードであり、ユーザーがカメラ１を操作して選択することで被写体に応じた撮影モード（被写体に応じた各種パラメータ）が設定される。撮影モードには、例えば人物を撮影するための撮影モードや、鳥を撮影するための撮影モードなどがある。なお、撮影モードを示す情報は、検出被写体の種別（人物や鳥など）のうちいずれの種別の被写体を優先するかを示す情報とも言える。例えば、人物を撮影するための撮影モードであれば、複数の検出被写体のうち人物に対応する被写体が優先的に検出被写体として決定される。図５Ａ、図５Ｂに示す例では、ユーザーが鳥を撮影するための撮影モードを選択していることを想定する。ＣＰＵ３は、選択されている撮影モードや視線検出位置から最も近い検出被写体などを総合的に判断することで、ここでは、視線位置の候補の被写体として被写体５０８を選択する。

次に、ステップＳ６０５では、ＣＰＵ３は、視線位置の候補の被写体として選択された
被写体５０８に対して、被写体５０８がオフセットを算出するための処理に使用されたことを示す属性情報を関連付ける。ＣＰＵ３は、属性情報をメモリ部４に格納する。

次に、ステップＳ６０６では、ＣＰＵ３は、視線検出回路２０１によって検出される視線検出位置と、ステップＳ６０４において選択された視線位置の候補の被写体の位置との差分から、視線検出の誤差であるオフセットを算出する。この処理の詳細について、図５Ａを参照しながら説明する。

図５Ａに示すように、点線枠で示す補正前の視線検出位置５０１と、点線枠で示す被写体検出位置５０２とがあり、補正前視線検出位置５０１と被写体検出位置５０２との位置差分がオフセット５０３である。また、被写体検出位置５０２は、図５Ｂの被写体５０８の位置に対応する。一例として、ＣＰＵ３は、視線検出位置５０１の点線枠の領域の中心と、被写体検出位置５０２の点線枠の領域の中心との距離をオフセットとして算出する。

次に、ステップＳ６０７においては、ＣＰＵ３は、ステップＳ６０６で算出したオフセット５０３を用いて、視線検出回路２０１がカメラ１のユーザーの視線検出位置を検出する際に使用する補正値を決定し、既存の補正値を更新する。

ステップＳ６０７で補正値が更新されることで、ＣＰＵ３は、オフセットを用いた補正前に視線検出回路２０１が検出していた視線検出位置５０１を、更新された補正値によって新しい位置５０４（補正後の視線検出位置）に補正する。図５Ａの例では、点線枠で示されている補正前の視線検出位置５０１が、実線枠で示されている補正後の視線検出位置５０４に変更される。この結果、補正後の視線検出位置５０４が被写体検出位置５０２に合うようになり、表示デバイス１０では、補正後の視線検出位置５０４が視線検出位置として表示される。

次に、ステップＳ６０７の処理が完了すると、ＣＰＵ３は、処理をステップＳ６０８に進める。ステップＳ６０８において、ＣＰＵ３は、所定時間が経過したか否かを判定する。ＣＰＵ３は、所定時間が経過した時点で（Ｓ６０８：Ｙ）処理をステップＳ６０１に戻し、ステップＳ６０１の処理を再度実行する。所定時間の経過後に処理がステップＳ６０７からステップＳ６０１に戻されることで、図５Ｂの例で、ユーザーが注視していたのが被写体５０８でない場合は、Ｓ６０１において一致度が閾値以下になることがある。一致度が閾値以下になる理由としては、被写体５０８を視線検出位置が追従しないなどの理由が挙げられる。そして、ステップＳ６０２において、ＣＰＵ３はステップＳ６０５で関連付けられた属性情報を参照して被写体５０８を検出被写体から除外した上で、他の検出被写体を対象に上記の処理を繰り返して新たな補正値を更新する。ここで、ステップＳ６０８の判定に用いられる所定時間としては、例えば、一般的なユーザーが被写体を注視し続ける時間が採用できる。

本実施形態によれば、ユーザーが手動で視線検出位置を補正することなく、視線検出位置と画像内の最大オフセット半径の円内の被写体位置との差分を基に、ユーザーごとに視線検出位置と注視位置とのずれである誤差が算出される。そして、算出された誤差を用いることで、視線検出位置と実際にユーザーが注視している位置との誤差を自動で補正することができる。なお、誤差には個人差があってよく、その場合にはＣＰＵ３はユーザーごとに上記の処理によって算出される補正値をメモリ部４に記憶してもよい。

（第２の実施形態）
次に、本件開示の第２の実施形態について、図を参照しながら説明する。なお、以下の説明において、第１の実施形態と同様の構成などについては同一の符号を付し、詳細な説明については省略する。

図７は、本実施形態における視線検出回路２０１がカメラ１のユーザーの視線検出位置を検出する際に使用する補正値の算出について模式的に示す図である。図７に示す例では、表示デバイス１０によって表示される画像内に存在する被写体として、鳥７１１、７１２、犬７１３、７１４があり、ユーザーは犬７１４を注視しているとする。図７において、被写体検出回路２０７によって検出された検出被写体（犬７１４）が被写体検出枠７０２によって示される範囲が所定の大きさよりも大きい。ここで、画角に占める被写体の所定の大きさは適宜決定されてよい。この場合、補正前の視線検出位置７０１と検出被写体の位置との差分を基にオフセットを特定しようとしても、カメラ１は、ユーザーが被写体検出枠７０２内の被写体７１４のどの部分を注視しているかを特定できないため、オフセットを特定できない。例えば、ユーザーの特性や撮影時の状況などによって、ユーザーによる注視位置は、被写体７１４である犬の眼部である視線候補位置７０３、犬の体の中心に相当する視線候補位置７０４、犬の前足部分である視線候補位置７０５など異なる可能性がある。そこで、本実施形態では、ＣＰＵ３が以下の処理を実行することで、ユーザーが被写体７１４のどの部分を注視しているかを精度よく特定して、視線検出位置の補正値を適切に更新することができる。

ここで、図８Ａ～図８Ｄと、図９のフローチャートとを参照しながら、本実施形態においてカメラ１のＣＰＵ３が実行する処理について説明する。なお、図８Ａ～図８Ｄでは、説明の都合上、被写体８１１～８１３は省略して示す。

ステップＳ９０１において、視線検出回路２０１によって検出される視線検出位置と、被写体検出回路２０７によって検出される撮像画像内に存在する検出被写体の位置、もしくは視線候補位置との一致度を判定する。視線候補位置の詳細については、図１０を参照しながら後述する。

ステップＳ９０２～Ｓ９０５の処理は、図６のフローチャートのステップＳ６０２～６０５と同様の処理であるため詳細は省略する。次に、ステップＳ９１０では、ＣＰＵ３は、視線位置の候補となる被写体の大きさが、あらかじめ決定されている閾値以上であるか否かを判定する。ここでは、一例として、被写体の大きさは、周知技術を用いて決定される画角内における被写体の被写体検出枠のサイズとする。図７に示す例では、被写体検出枠７０２のサイズが一定の閾値以上の大きさである場合に、ユーザーの当該被写体の注視位置を１箇所に絞るには不適当であるとする。ＣＰＵ３は、被写体の大きさが閾値以上であると判定した場合（Ｓ９１０：ＹＥＳ）、処理をステップＳ９１１に進める。また、ＣＰＵ３は、被写体の大きさが所定閾値未満であると判定した場合（Ｓ９１０：ＮＯ）、処理をステップＳ９０６に進める。ＣＰＵ３は、処理をステップＳ９０６に進める場合は、第１の実施形態と同様の処理を行う。ステップＳ９０７、Ｓ９０８、Ｓ９０９の処理は、図６のステップＳ６０７、Ｓ６０８、Ｓ６０９と同様の処理であるため、ここでは処理の詳細については説明を省略する。

ステップＳ９１１においては、視線候補位置テーブルに従って、視線位置の候補となる被写体中の視線候補の位置を選択する。ここで図１０Ａおよび図１０Ｂを参照しながら、視線候補の位置および視線候補位置テーブルについて説明する。図１０Ａが視線候補位置テーブルの一例であり、図１０Ｂが被写体における具体的な視線候補の位置を示している。なお、一例として、視線候補位置テーブルのデータは、カメラ１のメモリ部４に記憶されているとする。ＣＰＵ３は、メモリ部４に記憶されている視線候補位置テーブルを参照して、ステップＳ９１１の処理を実行する。

図１０Ｂにおいて、被写体検出枠１００１は被写体検出回路２０７によって検出された被写体７１４の全体を囲む矩形の枠である。眼部検出位置１００２、重心位置１００３、
前足元位置１００４、後足元位置１００５は、それぞれ被写体検出枠１００１内に存在する、ユーザーが注視する可能性のある視線位置の候補となる位置である。なお、眼部検出位置１００２、重心位置１００３、前足元位置１００４、後足元位置１００５が、検出した被写体の特徴位置の一例である。また、視線位置の候補となる位置は、検出被写体の種別に応じて適宜設定されてよい。被写体の種別としては、動物、人物、車両、植物、構造物など、被写体を分類するカテゴリーが採用できる。

眼部検出位置１００２は、被写体が動物や人物などの生物である場合に、被写体検出回路２０７による器官検出の処理によって検出される。また、重心位置９０３は、被写体検出回路２０７による被写体検出枠９０１の幾何的な重心位置として検出される。なお、被写体検出枠９０１が、被写体領域の一例であり、ここでは被写体検出枠９０１は被写体を囲む矩形の領域であるが、被写体の全体に限らず一部を囲む領域であってもよいし、矩形に限らず任意の形状の領域であってもよい。そして、被写体検出枠９０１の重心位置に限らず、被写体検出枠９０１の形状に応じて特定できる位置が検出位置の候補とされてよい。前足元位置１００４、後足元位置１００５は、被写体検出回路２０７による器官検出の処理と、被写体検出枠１００１内での前足元位置１００４と後足元位置１００５の位置関係などの特定処理によって検出される。なお、被写体検出回路２０７による器官の検出処理、被写体検出枠の幾何学的な重心位置の検出処理、前足元位置１００４と後足元位置１００５の位置関係などの特定処理は、周知の技術を用いて実現されるため、ここでは処理の詳細についての説明は省略する。

図１０Ａに示すように、視線候補位置テーブルでは、被写体検出回路２０７が被写体７１４について検出する眼部検出位置１００２、重心位置１００３、前足元位置１００４、後足元位置１００５の４つの視線位置ごとに検出位置の候補の優先度が設定される。図１０Ａに示す例では、優先度の値が小さいほど検出位置の候補としての優先順位が高いことを示す。したがって、図１０Ａの視線候補位置テーブルによれば、被写体７１４の眼部位置、重心位置、前足元位置、後足元位置の順に優先順位（優先度）が低い。このため、ＣＰＵ３は、視線候補位置テーブルを参照して、ユーザーの視線位置の候補として最初に被写体７１４の眼部位置を用いて、視線検出用の補正値を更新する。

以下のステップの処理については、図８Ａ～図８Ｄを参照しながら説明する。図８Ａは、ユーザーが被写体７１４の眼部を注視している場合で、図８Ｂは、ユーザーが被写体７１４の重心位置を注視している場合を想定する。最初に、図８Ａの場合にＣＰＵ３が実行する処理について説明する。

図８Ａの場合、検出された被写体７１４が被写体検出枠８０１で囲まれる。また、ユーザーは、被写体７１４の眼部に相当する点線枠で示される注視位置８０２を注視しているとする。補正前の視線検出回路２０１によって検出される視線検出位置は、実線枠で示される補正前の視線検出位置８０３である。また、被写体７１４の眼部は、補正前の視線検出位置８０３を中心とする円内である最大オフセット領域８０４内にあり、かつ、図１０Ａの視線位置候補テーブルにおいて眼部は優先度が最も高い（優先度＝１）。

したがって、ステップＳ９１１において、ＣＰＵ３は、視線候補位置テーブルを参照し、被写体検出回路２０７が検出した被写体７１４の眼部検出位置８０５を、視線検出位置８０３の補正処理に使用する視線候補位置として選択する。そして、ステップＳ９１２において、ＣＰＵ３は、補正前の視線検出位置８０３と眼部検出位置８０５の位置の差分からオフセット８０６を算出する。

次に、ステップＳ９１３において、ＣＰＵ３は、ステップＳ９１１において算出したオフセット８０６を用いて、視線検出回路２０１の視線検出用の補正値を更新する。この結
果、カメラ１では、視線検出回路２０１により検出される視線検出位置がオフセット８０６によって補正された位置が、補正後の視線検出位置となる。

次に、ステップＳ９１４において、ＣＰＵ３は、所定時間が経過したか否かを判定する。ＣＰＵ３は、所定時間が経過した時点で（Ｓ９１４：ＹＥＳ）処理をステップＳ９１５に進める。

次に、ステップＳ９１５において、ＣＰＵ３は、ステップＳ９１３において更新した補正値を用いて補正した視線検出位置と視線候補位置８０５との一致度を判定する。この判定は、あらかじめ決められた一定時間内に、補正後の視線検出位置と、視線候補位置とがどの程度一致するかを判定する処理である。なお、互いの位置が一致するとは、完全に一致する場合に限らず、厳密には離れていても近似しており一致するとみなせる場合も含む。

この処理の詳細について、図８Ｃを参照しながら説明する。図８Ｃは、図８Ａに示す被写体７１４である犬が移動して向きが左右反転して姿勢が変化した状態の一例を示す。本実施形態では、被写体の状態が変化した場合において、それぞれの状態で補正後の視線検出位置と視線候補位置とが一致する度合を基に、ステップＳ９１３で更新された補正値の妥当性を判定する。

図８Ｃに示す例では、ユーザーが被写体７１４の眼部を注視している場合で、検出された被写体７１４が矩形の被写体検出枠８０７で囲まれる。また、ユーザーは、図８Ａの状態から引き続き被写体７１４の眼部に相当する点線枠で示される注視位置８０８を注視している。視線検出回路２０１によって検出される視線検出位置は、点線枠で示される視線検出位置８０９である。また、ステップＳ９１３で更新された補正値を用いてオフセット８１０（図８Ａのオフセット８０６と同じ）が適用された位置が、実線枠で示される補正後の視線検出位置８１１である。

また、図８Ｃの例において、視線候補位置は、被写体検出回路２０７によって検出される眼部検出位置８１２である。したがって、図８Ａの被写体７１４の状態から図８Ｃの被写体７１４の状態に変化しても、ユーザーが注視している注視位置８０８、補正後の視線検出位置８１１、眼部検出位置８１２の３者が一致している。ステップＳ９１５では、ＣＰＵ３は、補正後の視線検出位置８１１と眼部検出位置８１２の一致度を算出する。一例として、ＣＰＵ３は、点線枠で示される視線検出位置８１１の領域の中心と、点線枠で示される眼部検出位置８１２の領域の中心との距離に基づく一致度を算出する。この場合、ＣＰＵ３は、視線検出位置８１１の領域の中心と眼部検出位置８１２の領域の中心との距離が短いほど一致度が大きくなるように一致度を算出する。なお、この一致度は、２つの位置がどの程度一致しているかを示す度合いであり周知の技術を用いて算出できるため、一致度の算出の詳細な説明については省略する。

次に、ステップＳ９１６において、ＣＰＵ３は、ステップＳ９１４において算出した一致度があらかじめ決められた閾値以上であるか否かを判定する。ＣＰＵ３は、一致度が所定閾値以上である場合は（Ｓ９１６：ＹＥＳ）、図９のフローチャートの処理を終了し、一致度が所定閾値未満である場合は（Ｓ９１６：ＮＯ）、処理をステップＳ９１７に進める。図８Ｃに示す例では、一致度が閾値以上となり、ＣＰＵ３は図９のフローチャートの処理を終了する。

次に、図８Ｂの場合にＣＰＵ３が実行する処理について説明する。図８Ｂの場合、検出された被写体７１４が被写体検出枠８１３で囲まれる。また、ユーザーは、被写体７１４の重心位置に相当する点線枠で示される注視位置８１４を注視しているとする。補正前の
視線検出回路２０１によって検出される視線検出位置は、実線枠で示される補正前の視線検出位置８１５である。

また、被写体７１４の重心位置は、補正前の視線検出位置８１５を中心とする円内である最大オフセット領域８１６内にある。さらに、図１０Ａの視線位置候補テーブルにおいて重心位置（優先度＝２）よりも優先度が高い眼部（優先度＝１）も領域８１６内にある。したがって、ステップＳ９１１において、ＣＰＵ３は、視線候補位置テーブルを参照し、被写体検出回路２０７が検出した被写体７１４の眼部検出位置８１７を、視線検出位置８１５の補正処理に使用する視線候補位置として選択する。

次にステップ９１２において、ＣＰＵ３は、補正前の視線検出位置８１５と眼部検出位置８１７の位置の差分からオフセット８１９を算出する。次に、ステップＳ９１３において、ＣＰＵ３は、ステップＳ９１１において算出したオフセット８１９を用いて、視線検出回路２０１の視線検出用の補正値を更新する。この結果、カメラ１では、視線検出回路２０１により検出される視線検出位置がオフセット８１９によって補正された位置が、補正後の視線検出位置となる。

次に、ステップＳ９１４において、ＣＰＵ３は、所定時間が経過したか否かを判定する。ＣＰＵ３は、所定時間が経過した時点で（Ｓ９１４：ＹＥＳ）処理をステップＳ９１５に進める。

そして、ステップＳ９１５において、ＣＰＵ３は、ステップＳ９１３において更新した補正値を用いて補正した視線検出位置と視線候補位置８１７との一致度を算出し、ステップＳ９１６において、算出した一致度を閾値によって判定する。

図８Ｂの場合では、ユーザーが注視している位置は、被写体７１４の重心位置に相当する注視位置８１４である。したがって、補正処理において採用されるべきオフセットは、補正前の視線検出位置８１５と重心位置の視線候補位置８１４との位置の差分に相当するオフセット８１８である。しかしながら、ＣＰＵ３は、視線候補位置テーブルの優先度に従って被写体７１４の眼部を視線候補位置８１７として選択するため、オフセット８１８ではなくオフセット８１９に基づいて補正値を更新する。

図８Ｄは、図８Ｂに示す被写体７１４である犬が移動して向きが左右反転して姿勢が変化した状態の一例を示す。図８Ｄ示す例では、ユーザーが被写体７１４の重心位置を注視している場合であり、検出された被写体７１４が矩形の被写体検出枠８２０で囲まれる。また、ユーザーは、図８Ｂの状態から引き続き被写体７１４の重心位置に相当する点線枠で示される注視位置８２１を注視している。また、視線検出回路２０１によって検出される視線検出位置は、点線枠で示される視線検出位置８２３である。ところが、ステップＳ９１３で更新された補正値を用いてオフセット８２４（図８Ｂのオフセット８１９と同じ）が適用された位置は、実線枠で示される補正後の視線検出位置８２５である。

このとき、視線位置候補となっているのは、被写体検出回路２０７によって検出されている眼部検出位置８２６である。したがって、図８Ｂの被写体７１４の状態から図８Ｄの被写体７１４の状態に変化したときに、ユーザーが注視している注視位置８２１、補正後の視線検出位置８２５、眼部検出位置８２６の３者が、互いに一致しない関係になっている。このため、ステップＳ９１５において、ＣＰＵ３は、補正後の視線検出位置８２５と眼部検出位置８２６の一致度を算出し、ステップＳ９１６において、ＣＰＵ３は、一致度が所定閾値未満である（Ｓ９１６：ＮＯ）と判定する。

この結果、ＣＰＵ３は、処理をステップＳ９１６からステップＳ９１７に進める。ステ
ップＳ９１７では、ＣＰＵ３は、視線候補位置テーブルを参照し、ステップＳ９１１において選択していない未使用の視線候補となる位置があるか否かを判定する。ＣＰＵ３は、未使用の視線候補となる位置がある場合は（Ｓ９１７：ＹＥＳ）、処理をステップＳ９１１に進める。また、ＣＰＵ３は、未使用の視線候補となる位置がない場合は（Ｓ９１７：ＮＯ）、処理をステップＳ９０１に戻す。

上記の処理により、眼部（優先度＝１）が視線候補位置として選択されて、ステップＳ９１１～ステップＳ９１６の処理が実行されている。ただし、図１０Ａの視線候補位置テーブルにおいて、重心位置、前足元、後足元（優先度＝２～４）は視線候補位置として未使用である。したがって、ＣＰＵ３は、処理をステップＳ９１７からステップＳ９１１に戻し、ステップＳ９１１において、未使用の視線候補位置のうち優先度が最も高い位置（この場合は重心位置）を視線候補の位置として選択する。

図１１Ａおよび図１１Ｂを参照しながら、ユーザーが被写体７１４の重心位置を注視しており、ＣＰＵ３が被写体７１４の重心位置を視線候補位置として選択した場合の処理について説明する。なお、図１１Ａ、図１１Ｂの例は、それぞれ図８Ａ、図８Ｂの例に対応している。

ステップＳ９１２において、ＣＰＵ３は、補正前の視線検出位置１１０３と重心検出位置１１０５との差分からオフセット１１０６を算出する。次に、ステップＳ９１３において、ＣＰＵ３は、ステップＳ９１２において算出したオフセット１１０６を用いて、視線検出回路２０１の視線検出用の補正値を更新する。この結果、カメラ１では、視線検出回路２０１により検出される視線検出位置がオフセット１１０６によって補正された位置が、補正後の視線検出位置となる。

次に、ステップＳ９１４において、ＣＰＵ３は、所定時間が経過したか否かを判定する。ＣＰＵ３は、所定時間が経過した時点で（Ｓ９１４：ＹＥＳ）処理をステップＳ９１５に進める。

次に、ステップＳ９１５において、ＣＰＵ３は、ステップＳ９１３において更新した補正値を用いて補正した視線検出位置と視線候補位置１１０５との一致度を算出し、算出した一致度を閾値によって判定する。図１１Ｂは、図１１Ａに示す被写体７１４である犬が移動して向きが左右反転して姿勢が変化した状態の一例を示す。

図１１Ｂに示す例では、ユーザーが被写体７１４の重心位置を注視している場合で、検出された被写体７１４が矩形の被写体検出枠１１０７で囲まれる。また、ユーザーは、図１１Ａの状態から引き続き被写体７１４の重心位置に相当する点線枠で示される注視位置１１０８を注視している。視線検出回路２０１によって検出される視線検出位置は、点線枠で示される視線検出位置１１０９である。また、ステップＳ９１３で更新された補正値を用いてオフセット１１１０（図１１Ａのオフセット１１０６と同じ）が適用された位置が、実線枠で示される補正後の視線検出位置１１１１である。

また、図１１Ｂの例において、視線候補位置は、被写体検出回路２０７によって検出される眼部検出位置１１１２である。したがって、図１１Ａの被写体７１４の状態から図１１Ｂの被写体７１４の状態に変化しても、ユーザーが注視している注視位置１１０８、補正後の視線検出位置１１１１、眼部検出位置１１１２の３者が一致している。

ステップＳ９１４において、ＣＰＵ３は、所定時間が経過したか否かを判定する。ＣＰＵ３は、所定時間が経過した時点で（Ｓ９１４：ＹＥＳ）処理をステップＳ９１５に進める。そして、ステップＳ９１５では、ＣＰＵ３は、補正後の視線検出位置１１１１と眼部
検出位置１１１２の一致度を算出する。

次に、ステップＳ９１６において、ＣＰＵ３は、ステップＳ９１３において算出した一致度があらかじめ決められた閾値以上であるか否かを判定する。図１１Ｂに示す例では、一致度が閾値以上となり（Ｓ９１６：ＹＥＳ）、ＣＰＵ３は図９のフローチャートの処理を終了する。

本実施形態では、カメラ１の画角内でユーザーが注視している被写体が所定の大きさよりも大きい場合においても、カメラ１による視線検出位置と、実際にユーザーが注視している被写体中の位置とのオフセットを精度よく補正することができる。これにより、カメラ１において、補正後の視線検出位置を精度よくユーザーの注視位置に合わせることが可能となる。

以上が、本件開示の技術に係る実施形態に関する説明であるが、上記実施形態は、本件開示の技術の構成例を例示的に説明するものにすぎない。本件開示の技術は、上記の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、ステップＳ６０４、Ｓ９０４において、視線位置の候補となる被写体を決定する際に、撮影モードや視線検出位置と検出被写体との距離などに基づく代わりに、ユーザーがあらかじめ指定した被写体を優先的に選択するようにカメラ１を構成してもよい。カメラ１に対してあらかじめ視線位置の候補とする被写体を指定する方法としては、当該被写体を指定する情報が含まれたユーザーの識別情報（個別情報）をメモリ部４に記憶しておく方法が挙げられる。これにより、ＣＰＵ３は、メモリ部４に記憶された識別情報を基にユーザーごとにより適切な視線位置の候補とする被写体を選択することができる。

また、上記の実施形態においては、ＣＰＵ３が、メモリ部４に記憶されている視線位置候補テーブルの優先度を基に視線候補の位置を選択する。この代わりにあるいは加えて、ＣＰＵ３が、検出した被写体の大きさなどを含む被写体に関する情報や、検出した被写体の画像のコントラストなどの画像情報に基づいて視線候補の位置を選択してもよい。

また、上記の実施形態において、メモリ部４に記憶されている視線位置候補テーブルの優先度は、表示デバイス１０が表示する画像における画角に対する被写体領域の相対的な大きさに応じて変更されてもよい。また、視線位置候補テーブルの優先度は、注視される特徴位置の傾向を示す情報に基づいて変更されてもよい。例えば、上記の実施形態で、当該情報が、犬の前足元が注視される傾向にあることを示す場合、ＣＰＵ３は、最初に被写体７１４の前足元位置を視線候補の位置として選択する。また、注視される特徴位置の傾向を示す情報は、複数のユーザーの間で共通の情報であってもよいし、ユーザーごとの情報であってもよい。例えば、ユーザーが注視する特徴位置の傾向を示す情報が含まれた当該ユーザーの識別情報（個別情報）が、あらかじめメモリ部４に記憶されてよい。これにより、ＣＰＵ３は、識別情報を用いて視線位置候補テーブルの優先度を変更する。そして、ＣＰＵ３は、変更後の優先度に基づいて視線候補の位置を選択することで、ユーザーが注視する傾向にある被写体の特徴位置を、視線候補の位置として選択することができる。なお、ユーザーの識別情報（個別情報）の一例として、カメラ１にユーザーを認証する個人認証手段が設けられ、個人認証手段によるユーザー認証が成功した場合に使用される個人認証データが挙げられる。また、個人認証手段は周知の技術を用いて実現できるため、ここでは詳細な説明は省略する。

また、上記の実施形態において、Ｓ６０１で検出被写体の位置を再度選択する際に、視線検出回路２０１が、視線検出位置からの距離に加えて、あるいはその代わりに、ユーザーの視線（視線検出位置）の移動方向を基に検出被写体の位置を選択してもよい。例えば、ステップＳ６０１において、ＣＰＵ３は、表示デバイス１０に表示される画像において
、ユーザーの視線の移動方向と概ね同じ方向に移動する被写体の位置を優先的に検出被写体の位置として選択する。これにより、ユーザーが注視している被写体とステップＳ６０１で選択される検出被写体とをより精度よく一致させることができる。

また、上記の実施形態において、視線検出位置、被写体検出位置、視線候補の位置などの少なくとも１つの位置を表示デバイス１０に表示してもよい。例えば、表示デバイス１０は、上記の説明で図示したようにそれぞれの位置を実線や点線の矩形によって表示することができる。また、上記の実施形態において、検出される被写体は、例示した動物に限らず、人物、自動車、オートバイ、電車などの他の被写体であってもよいし、これらの被写体が混在していてもよい。

また、上記の実施形態において、ＣＰＵ３の代わりに視線検出回路２０１が表示デバイス１０に対するユーザーの視線位置を検出するように構成されていてもよい。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ カメラ、３ ＣＰＵ、１０ 表示デバイス、２０１ 視線検出回路、２０７ 被写体検出回路

Claims (23)

1. 表示手段に対するユーザーの視線の位置を検出する視線検出手段と、
   前記表示手段に表示される画像から被写体を検出する被写体検出手段と、
   前記視線検出手段によって検出された視線の位置が前記被写体検出手段によって検出された被写体の位置に合うように、前記視線検出手段で使用する補正値を決定する補正値決定手段と
   を有することを特徴とする視線検出装置。
2. 前記補正値決定手段は、前記画像から複数の被写体が検出された場合、前記視線検出手段によって検出された視線の位置を前記複数の被写体のうち前記画像の所定領域に存在するいずれかの被写体に合わせるように前記補正値を決定することを特徴とする、請求項１記載の視線検出装置。
3. 前記補正値決定手段は、前記画像から複数の種別の被写体が検出された場合、いずれの種別の被写体を優先するかを示す情報に応じて、前記複数の被写体から前記情報が示す種別に対応する被写体を選択することを特徴とする、請求項２に記載の視線検出装置。
4. 前記補正値決定手段は、前記補正値の決定に用いる被写体を指定する情報を基に、前記複数の被写体から前記いずれかの被写体を選択することを特徴とする、請求項２または３に記載の視線検出装置。
5. 前記補正値決定手段は、前記視線検出手段によって検出された視線の位置を基準に決まる被写体を選択することを特徴とする請求項４に記載の視線検出装置。
6. 前記補正値決定手段は、
   複数の被写体が検出された場合、前記視線検出手段によって検出された視線の位置が、前記複数の被写体のいずれかの被写体に合うように、前記補正値を決定し、
   所定時間の経過後、前記視線検出手段によって検出された視線の位置と前記いずれかの被写体との一致度が前記所定閾値未満である場合に、前記視線検出手段によって検出された視線の位置が、前記複数の被写体のうちの前記いずれかの被写体と異なる被写体に合うように、前記補正値を決定することを特徴とする、請求項１から５のいずれか１項に記載の視線検出装置。
7. 前記被写体検出手段は、検出した被写体の特徴位置を検出し、
   前記補正値決定手段は、前記視線検出手段によって検出された視線の位置が前記特徴位置に合うように前記補正値を決定する
   ことを特徴とする請求項１から６のいずれか１項に記載の視線検出装置。
8. 前記被写体検出手段は、検出した被写体が生物である場合に該被写体の器官を検出し、検出した前記器官の位置を前記特徴位置として検出することを特徴とする請求項７に記載の視線検出装置。
9. 前記被写体検出手段は、検出した被写体の被写体領域の形状に応じて、前記特徴位置を検出することを特徴とする請求項７または８に記載の視線検出装置。
10. 前記被写体検出手段は、前記被写体領域の幾何学的な重心位置を前記特徴位置とすることを特徴とする、請求項９記載の視線検出装置。
11. 前記補正値決定手段は、複数の特徴位置が検出された場合、前記複数の特徴位置それぞ
    れの優先度に応じて前記複数の特徴位置のいずれかを、前記視線検出手段によって検出された視線の位置を合わせる特徴位置として選択することを特徴とする請求項７から１０のいずれか１項に記載の視線検出装置。
12. 前記複数の特徴位置それぞれの優先度は、前記画像における画角に対する被写体領域の相対的な大きさに応じて変更されることを特徴とする請求項１１に記載の視線検出装置。
13. 前記複数の特徴位置それぞれの優先度は、前記画像のコントラストに応じて変更されることを特徴とする請求項１１または１２に記載の視線検出装置。
14. 前記補正値決定手段は、
    検出した被写体の複数の特徴位置を検出した場合、前記視線検出手段によって検出された視線の位置が、前記複数の特徴位置のいずれかの特徴位置に合うように、前記補正値を決定し、
    所定時間の経過後、前記視線検出手段によって検出された視線の位置と前記いずれかの特徴位置との一致度が前記所定閾値未満である場合に、前記視線検出手段によって検出された視線の位置が、前記複数の特徴位置のうちの前記いずれかの特徴位置と異なる特徴位置に合うように、前記補正値を決定することを特徴とする、請求項７から１３のいずれか１項に記載の視線検出装置。
15. 前記補正値決定手段は、前記視線検出手段によって検出された視線の位置が、前記ユーザーが注視する傾向にある被写体の特徴位置に合うように前記補正値を決定することを特徴とする請求項７から１４のいずれか１項に記載の視線検出装置。
16. 前記補正値決定手段は、前記視線検出手段により検出された前記ユーザーの視線の位置と前記被写体検出手段により検出された被写体とが重なり続ける時間が、所定時間より短い場合に、前記視線検出手段によって検出された視線の位置が前記被写体検出手段によって検出された別の被写体の位置に合うように、検出した視線の位置の個人差を補正する補正値を決定することを特徴とする請求項１から１５のいずれか１項に記載の視線検出装置。
17. 前記表示手段は、前記視線検出手段により検出された前記ユーザーの視線の位置を示す指標を前記画像内に表示することを特徴とする請求項１から１６のいずれか１項に記載の視線検出装置。
18. 前記表示手段は、前記被写体検出手段により検出された被写体の位置を示す指標を前記画像内に表示することを特徴とする請求項１から１７のいずれか１項に記載の視線検出装置。
19. 前記表示手段は、前記ユーザーが眼部を接眼でき、前記指標を表示する電子表示ファインダーであることを特徴とする請求項１７または１８に記載の視線検出装置。
20. 撮像手段と、
    請求項１から１９のいずれか１項に記載の視線検出装置と
    を有し、
    前記視線検出装置は、前記撮像手段により撮像された前記画像を前記表示手段に表示するように制御し、前記画像を見る眼の視線を検出する
    ことを特徴とする撮像装置。
21. 表示手段に対するユーザーの視線の位置を検出する視線検出ステップと、
    前記表示手段に表示される画像から被写体を検出する被写体検出ステップと、
    前記視線検出ステップによって検出された視線の位置が前記被写体検出ステップによって検出された被写体の位置に合うように、前記視線検出ステップで使用する補正値を決定する補正値決定ステップと
    を有することを特徴とする視線検出方法。
22. コンピュータを、請求項１から１９のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラム。
23. コンピュータを、請求項１から１９のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images