JP2023084503A - 撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラム - Google Patents

Abstract

【課題】接眼毎に生じる注視点の位置ズレを迅速かつ容易に低減することができ、撮像時の利便性が向上する撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラムを提供することを目的とする。【解決手段】カメラ１は、ユーザの注視点に対応する位置を推定する推定手段（ＣＰＵ３）と、表示素子１０に表示された指標の位置と当該位置に対するユーザの注視点に対応する位置とに基づいて、ユーザの注視点に対応する位置を補正する補正手段（ＣＰＵ３）とを備える。補正手段は、第１の数の指標（第１指標）の位置に基づいて補正を行う第１のモードと、第１の数よりも少ない第２の数の指標（第２指標）に基づいて補正を行う第２のモードとを有する。【選択図】図９

Description

本発明は、撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラムに関する。

近年では、カメラの自動化やインテリジェント化が進んでいる。特許文献１には、手動で被写体位置を入力せずとも、ファインダを覗く撮影者の視線位置の情報に基づいて、撮影者が意図する被写体を認識し、焦点制御が可能なカメラ制御装置が開示されている。また、カメラが上記のように撮影者の視線位置を検出する際に、撮影者の意図した視線位置と、カメラが認識する撮影者の視線位置との間にズレが生じ、撮影者の意図する被写体に焦点を合わせることができない場合がある。これに対し、特許文献１に記載の装置では、撮影前にファインダ内に指標を表示して、撮影者にその指標を注視するよう指示を出す。撮影者が指標を注視した状態で、撮影者の視線位置（注視点）を検出して、指標位置とのズレ量が検出される。そして、このズレ量だけ、撮影時にカメラが認識する撮影者の視線検出位置を補正すること（キャリブレーション）によって、撮影者の意図どおりの視線位置として検出することが可能となる。また、特許文献２に記載の装置では、注視点位置を、表示素子上で撮影者が変更して調整可能となっている。

特開２００４－８３２３号公報 特開２０２０－１０６５５２号公報

特許文献１に記載の装置では、撮影者の意図する注視点位置とカメラが検出する注視点位置との間にズレがある場合に、前述したキャリブレーションによる補正を行っている。しかしながら、撮影者がカメラのファインダに接眼するごとにその接眼位置は微妙に異なるため、接眼位置に応じて、カメラが検出する注視点位置も変化する。この場合、接眼のたびに、頻繁にキャリブレーションを行わねばならず、結果、キャリブレーションが煩雑となるという問題が生じる。また、特許文献２に記載の装置では、キャリブレーションによる補正精度を考慮すると、キャリブレーション時の注視点の位置は、変更可能となっているよりも、固定されている方が好ましい。

本発明は、接眼毎に生じる注視点の位置ズレを迅速かつ容易に低減することができ、撮像時の利便性が向上する撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、ユーザの注視点に対応する位置を推定する推定手段と、表示部に表示された指標の位置と当該位置に対する前記ユーザの注視点に対応する位置とに基づいて、前記ユーザの注視点に対応する位置の補正を行う補正手段と、を備え、補正手段は、第１の数の指標の位置に基づいて補正を行う第１のモードと、第１の数よりも少ない第２の数の指標に基づいて補正を行う第２のモードと、を有することを特徴とする。

本発明によれば、接眼毎に生じる注視点の位置ズレを迅速かつ容易に低減することができ、撮像時の利便性が向上する。

デジタルスチルカメラの外観構成を示す概略図である。 デジタルスチルカメラの内部構成を示す概略図である。 デジタルスチルカメラのブロック図である。 ファインダ内視野（表示素子の画像表示状態）を示す図である。 光源から眼球に赤外線が照射されている状態を示す模式図である。 図５に示す状態の下で視線の位置（視線）を検出する原理を説明するための図である。 視線検出プログラムのフローチャートである。 ファインダ内視野（表示素子の画像表示状態）を示す図である。 第１実施形態における第１補正と第２補正との切替プログラムのフローチャートである。 第２実施形態における第１補正と第２補正との切替プログラムのフローチャートである。 第３実施形態における第１補正と第２補正との切替プログラムのフローチャートである。 第４実施形態における第１補正と第２補正との切替プログラムのフローチャートである。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。

＜＜第１実施形態＞＞
以下、図１～図９を参照して、第１実施形態について説明する。

＜構成の説明＞
図１は、デジタルスチルカメラの外観構成を示す概略図であり、図１（ａ）は正面斜視図、図１（ｂ）は背面斜視図であり、図１（ｂ）はデジタルスチルカメラが有する操作レバーの操作状態を示す斜視図である。図１（ａ）に示すように、撮像装置であるデジタルスチルカメラ１（以下「カメラ１」と言う）は、撮影レンズ１Ａ、カメラ本体の筐体部１Ｂを有する。筐体部１Ｂの上側には、ユーザ（撮影者）からの撮像操作を受けるレリーズボタン５が配置されている。また、図１（ｂ）に示すように、筐体部１Ｂの背面側には、カメラ１の内部の表示素子をユーザが覗きこむための接眼レンズ１２と、カメラ操作に使用される操作部材４１～４３と、が配置されている。操作部材４１は、操作部材α（タッチパネル対応液晶）であり、操作部材４２は、操作部材β（レバー式操作部材）であり、操作部材４３は、操作部材γ（ボタン式十字キー）である。

図２は、デジタルスチルカメラの内部構成を示す概略図である。図２に示すように、撮影レンズ１Ａは、レンズ１０１、レンズ１０２を有する。なお、レンズの枚数は、本実施形態では２枚であるが、これに限定されず、例えば、３枚以上であってもよい。また、撮影レンズ１Ａは、絞り１１１、絞り駆動装置１１２、レンズ駆動用モータ１１３、レンズ駆動部材１１４、フォトカプラ１１５、パルス板１１６、マウント接点１１７、レンズ焦点調節回路１１８を有する。レンズ駆動部材１１４は、駆動ギヤ等で構成される。フォトカプラ１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、レンズ焦点調節回路１１８に伝える。レンズ焦点調節回路１１８は、この回転情報とカメラ本体側からのレンズ駆動量の情報とに基づいて、レンズ駆動用モータ１１３を所定量駆動させる。これにより、レンズ１０１を合焦点位置に移動させることができる。マウント接点１１７は、カメラ本体とのインタフェースとなる。

筐体部１Ｂには、撮像素子（撮像部）２、ＣＰＵ３、メモリ部４、表示素子（表示部）１０、表示素子駆動回路１１、接眼レンズ１２が配置されている。また、筐体部１Ｂには、光源（照明光源）１３ａ、光源（照明光源）１３ｂ、光分割器１５、受光レンズ１６、眼球用撮像素子（眼球用撮像部）１７が配置されている。撮像素子２は、カメラ１の撮影レンズ１Ａの予定結像面に配置されており、被写体を撮像することができる。ＣＰＵ３は、カメラ本体に内蔵されたマイクロコンピュータの中央処理装置（制御装置）であり、カメラ全体の制御（制御工程；制御方法）を行う制御手段として機能する。また、メモリ部４と異なる、不図示のメモリ部には、カメラ１の各部や各手段の作動（撮像装置の制御方法）をＣＰＵ３に実行させるためのプログラムが予め記憶されている。メモリ部４は、撮像素子２で撮像された画像を記録する。表示素子１０は、矩形をなす表示画面を構成する液晶等で構成され、表示素子駆動回路１１からの駆動制御により、撮像素子２で撮像された被写体の画像等を表示することができる。接眼レンズ１２は、表示素子１０に表示された被写体像をユーザが観察する（視認する）際に接眼する接眼部である。光源１３ａおよび光源１３ｂは、眼球像と、角膜反射による反射像との関係に基づいて視線方向を検出するために、ユーザの眼球１４を照明するための光源であり、例えば、赤外発光ダイオードで構成される。光源１３ａおよび光源１３ｂは、接眼レンズ１２の周りに配置されている。眼球像と反射像とは、接眼レンズ１２を透過し、光分割器１５で反射されて、受光レンズ１６によって眼球用撮像素子１７上に結像される。受光レンズ１６は、ユーザの眼球１４の瞳孔と眼球用撮像素子１７とを共役な結像関係に位置付けている。眼球用撮像素子１７は、ＣＣＤ等の光電素子を２次元的（行列状）に配した素子であり、ユーザの眼球１４を撮像する。カメラ１では、眼球用撮像素子１７上に結像された眼球１４と反射像との位置関係に基づいて、後述する所定のアルゴリズム（プログラム）で視線方向を検出することができる。なお、メモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能、後述する視線の個人差を補正する視線補正データの記憶機能を有する。

図３は、デジタルスチルカメラのブロック図である。図３に示すように、ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、照明光源駆動回路２０５、表示素子駆動回路１１が電気的に接続されている。視線検出回路２０１は、眼球用撮像素子１７からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は、視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、さらに各特徴点の位置からユーザの視線を算出する。測光回路２０２は、測光センサの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。自動焦点検出回路２０３は、撮像素子２（ＣＣＤ）の中に含まれる、位相差検出のために使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは、撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、図４に示すように、１８０か所の焦点検出ポイントがあるとする。信号入力回路２０４には、レリーズボタン５の第１ストロークでＯＮするスイッチＳＷ１と、レリーズボタンの第２ストロークでＯＮするスイッチＳＷ２と、が接続される。スイッチＳＷ１のＯＮ状態で、カメラの測光、測距、視線検出動作等が開始される。スイッチＳＷ２のＯＮ状態で、レリーズ動作が開始される。そして、レリーズボタン５を操作することによる信号は、信号入力回路２０４を介して、ＣＰＵ３に送信される。照明光源駆動回路２０５は、光源１３ａおよび光源１３ｂの駆動、すなわち、ＯＮ／ＯＦＦを制御する。また、撮影レンズ内に配置されたレンズ焦点調節回路１１８と、絞り駆動装置１１２に含まれる絞り制御回路２０６とは、マウント接点１１７を介して、カメラ本体との間での信号の伝達がなされる。

図４は、ファインダ内視野（表示素子の画像表示状態）を示す図である。図４（ａ）に示すように、ファインダ内視野では、視野マスク３００と、焦点検出領域４００と、表示素子１０に表示されたスルー画像に重ねて表示された１８０個の測距点指標４００１～４１８０とが観察可能である。測距点指標４００１～４１８０は、それぞれ、撮像素子２の撮像面上の複数の焦点検出ポイントに対応する位置に配置される。また、測距点指標４００１～４１８０のうち、現在の推定注視点位置に対応する指標を推定注視点Ａで表示させる。推定注視点Ａの形状としては、本実施形態では枠形状であるが、これに限定されず、例えば、ドット形状等であってもよい。

＜視線検出動作の説明＞
図５は、光源から眼球に赤外線が照射されている状態を示す模式図である。図６は、図５に示す状態の下で視線の位置（視線）を検出する原理を説明するための図であり、図６（ａ）は、眼球用撮像素子に投影される眼球像の概略図であり、図６（ｂ）は、眼球像の輝度分布を示した図である。また、図５および図６では、それぞれ、Ｘ軸方向が水平方向、Ｙ軸方向が鉛直方向となっており、Ｚ軸方向がＸ軸方向およびＹ軸方向と直交する方向（受光レンズ１６の光軸方向）となっている。

図５に示すように、光源１３ａと光源１３ｂとは、受光レンズ１６の光軸を対称の軸として、線対称に配置されている。なお、この配置構成は、視線検出原理の理解を容易にするために、図１に示す配置構成とは異なっている。光源１３ａおよび光源１３ｂからは、それぞれ、ユーザの眼球１４に向かって赤外線ＩＦが照射されている。そして、眼球１４の角膜１４２で反射した赤外線ＩＦの一部は、受光レンズ１６で集光されて、眼球用撮像素子１７で結像する。具体的には、角膜１４２の表面で反射した赤外線ＩＦの一部によって形成される角膜反射像Ｐｄ、角膜反射像Ｐｅは、それぞれ、受光レンズ１６で集光されて、眼球用撮像素子１７上に像Ｐｄ’、像Ｐｅ’として結像する。また、これと同様に、瞳孔１４１の端部（瞳孔端）ａ、端部（瞳孔端）ｂからの光束も眼球用撮像素子１７上に像ａ’、像ｂ’として結像する。

図６（ａ）、図６（ｂ）に示すように、領域αには、像Ｐｄ’、像Ｐｅ’、像ａ’像ｂ’が含まれており、像Ｐｄ’のＸ軸方向の座標をＸｄとし、像Ｐｅ’のＸ軸方向の座標をＸｅとする。また、像ａ’のＸ軸方向の座標をＸａとし、像ｂ’のＸ軸方向の座標をＸｂとする。図６（ｂ）に示すように、座標Ｘｄおよび座標Ｘｅでは、極端に強いレベルの輝度が得られている。また、瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域では、座標Ｘｄおよび座標Ｘｅでの輝度を除き、極端に低いレベルの輝度が得られる。また、瞳孔１４１の外側の光彩１４３の領域に相当する、座標Ｘａおよりも小さいＸ軸方向の領域と、座標Ｘｂよりも大きいＸ軸方向の領域とでは、中間のレベルの輝度が得られる。そして、これらの輝度レベルに基づいて、座標Ｘｄ、座標Ｘｅ、座標Ｘａ、座標Ｘｂを求めることができる。また、眼球用撮像素子１７上に結像する瞳孔中心ｃの像ｃ’のＸ軸方向の座標をＸｃとする。受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。以上のように、座標Ｘｃ、座標Ｘｄ、座標Ｘｅを求めることができる。

図７は、視線検出プログラムのフローチャートである。

ステップＳ００１では、ＣＰＵ３は、照明光源駆動回路２０５を作動させて、光源１３ａ、１３ｂからユーザの眼球１４に向けて赤外光を照射させる。これにより、ユーザの眼球像が、受光レンズ１６を通して眼球用撮像素子１７上に結像する。そして、眼球用撮像素子１７では、光電変換がなされて、眼球像が電気信号として処理が可能となる。ステップＳ００２では、視線検出回路２０１が、眼球用撮像素子１７で得られた眼球画像信号をＣＰＵ３に送る。ステップＳ００３では、ＣＰＵ３は、ステップＳ００２で得られた眼球画像信号に基づいて、前述したように、座標Ｘｃ、座標Ｘｄ、座標Ｘｅを求める。ステップＳ００４では、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率であり、実質的には、像Ｐｄ’、像Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求められる。

ステップＳ００５では、ＣＰＵ３は、眼球１４のＹ軸回りの回転角θｘと、Ｘ軸回りの回転角θｙとを求める。ここで、角膜反射像Ｐｄおよび角膜反射像Ｐｅの中点のＸ座標と、角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。そのため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃとの間の標準的な距離をＯｃとすると、回転角θ_Ｘは、下記式（１）で求めることができる。なお、回転角θｙについても、同様に求めることができる。
β×Ｏｃ×ＳＩＮθ_Ｘ≒（（Ｘｄ＋Ｘｅ）／２）－Ｘｃ・・・（１）

ステップＳ００６では、ＣＰＵ３は、メモリ部４に記憶されている視線補正係数Ａｘ、視線補正係数Ｂｘ、視線補正係数Ａｙ、視線補正係数Ｂｙを読み込む。視線補正係数Ａｘ～視線補正係数Ｂｙは、それぞれ、ユーザの視線の個人差を補正する係数であり、後述するキャリブレーション（補正）により取得される。

ステップＳ００７では、ＣＰＵ３は、回転角θｘ、回転角θｙを用いて、表示素子１０上でユーザの視線の位置、すなわち、ユーザが注視している点の位置（以下「注視点」と言う）を推定する（求める）。注視点を表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、座標Ｈｘは、下記式（２）で表され、座標Ｈｙは、下記式（３）で表される。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（３）

なお、係数ｍは、カメラ１のファインダ光学系の構成で定まる定数であり、回転角θｘ、回転角θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数である。係数ｍは、メモリ部４に予め記憶されている。また、前述したように、視線補正係数Ａｘ、視線補正係数Ｂｘ、視線補正係数Ａｙ、視線補正係数Ｂｙは、ユーザの視線の個人差を補正する視線補正係数であり、キャリブレーションにより取得される。視線補正係数Ａｘ～視線補正係数Ｂｙは、視線検出が開始されるよりも以前にメモリ部４に記憶されているものとする。ステップＳ００８では、ＣＰＵ３は、座標（Ｈｘ，Ｈｙ）をメモリ部４に記憶させる。

以上のように、本実施形態では、ＣＰＵ３は、眼球用撮像素子１７で撮像された眼球１４の画像に基づいて、表示素子１０上でのユーザの注視点に対応する位置の推定（推定工程）を行う注視点位置推定手段（推定手段）として機能する。なお、カメラ１では、ＣＰＵ３とは別に、注視点位置推定手段として機能するＣＰＵを設けることもできる。

＜キャリブレーションの説明＞
前述したように、視線検出プログラム（視線検出ルーチン）では、眼球画像から眼球１４の回転角θｘ、回転角θｙを取得し、瞳孔中心ｃの位置を表示素子１０上において対応する位置に座標変換する演算を行って、注視点の位置を推定している。また、眼球１４の形状には個人差があり、例えばこのような要因等がある場合、視線補正係数Ａｘ、視線補正係数Ａｙ、視線補正係数Ｂｘ、視線補正係数Ｂｙの値をユーザによって適切な値に調整しなければ、図４（ｂ）に示す状態となるおそれがある。図４（ｂ）に示す状態では、ユーザが実際に注視している注視点（実注視点）Ｂと、推定注視点Ｃとの間に、ズレが生じている。この場合、注視点Ｂの人物に注視したいのに、背景が注視されているとカメラ１側が誤って推定しており、適切な焦点検出および調整が不十分となる。そこで、カメラ１によって撮像を行う前に、適切な補正係数の値を取得するキャリブレーションを行うのが好ましい。

キャリブレーションでは、まず、ユーザに視認させるための複数（第１の数）の第１指標を表示素子１０に表示させる。そして、第１指標を１つずつ視認する（注視する）ごとに注視点推定が行われる。ＣＰＵ３は、表示素子１０上での各第１指標と、各第１指標に対する視認時に推定された推定注視点との位置関係に基づいて、視線補正係数Ａｘ～視線補正係数Ｂｙを得る。例えば、図４（ｃ）に示すように、表示素子１０には、第１指標（ｃ）－Ｌ、第１指標（ｃ）－Ｒ、第１指標（ｃ）－Ｔ、第１指標（ｃ）－Ｂが表示される。第１指標（ｃ）－Ｌは、表示素子１０（表示画面）の左縁部側に偏在し、縦方向（上下方向）の中央部に配置される。第１指標（ｃ）－Ｒは、表示素子１０の右縁部側に偏在し、縦方向の中央部に配置される。第１指標（ｃ）－Ｔは、表示素子１０の上縁部側に偏在し、横方向（左右方向）の中央部に配置される。第１指標（ｃ）－Ｂは、表示素子１０の下縁部側に偏在し、横方向の中央部に配置される。ユーザが第１指標（ｃ）－Ｌを視認した際に、第１指標（ｃ）－Ｌに対する推定注視点が検出され、第１指標（ｃ）－Ｒを視認した際に、第１指標（ｃ）－Ｒに対する推定注視点が検出される。そして、この検出結果から、視線補正係数Ａｘ、視線補正係数Ｂｘを求める。

具体的には、表示素子１０上における第１指標（ｃ）－ＬのＸ座標をＨｘ１、第１指標（ｃ）－ＲのＸ座標をＨｘ２、第１指標（ｃ）－Ｌ注視時の眼球１４の回転角をθｘ１、第１指標（ｃ）－Ｒ注視時の眼球１４の回転角をθｘ２とする。なお、回転角θｘ１、回転角θｘ２は、複数回の回転角取得結果の平均値や中央値等、ばらつきやノイズの影響を考慮した値であることが好ましい。Ｈｘ１は、下記式（４）で表され、Ｈｘ２は、下記式（５）で表される。
Ｈｘ１＝ｍ×（Ａｘ×θｘ１＋Ｂｘ）・・・（４）
Ｈｘ２＝ｍ×（Ａｘ×θｘ２＋Ｂｘ）・・・（５）

式（４）および式（５）により、視線補正係数Ａｘ、視線補正係数Ｂｘを求めることができる。また、これと同様に、第１指標（ｃ）－Ｔ、第１指標（ｃ）－Ｂを用いて、視線補正係数Ａｙ、視線補正係数Ｂｙも求めることができる。視線補正係数Ａｘ～視線補正係数Ｂｙは、第１補正情報として、メモリ部４に記憶される。カメラ１では、第１補正情報を用いた第１のキャリブレーション、すなわち、第１補正（第１のモード）を行うことにより、ユーザが実際に注視している注視点Ｂと、推定注視点Ｃとが一致することとなる、すなわち、表示素子１０上でのユーザの注視点位置を正確に推定することができる。なお、第１指標の表示数は、本実施形態では４つであるが、これに限定されず、例えば、２～８が好ましく、４～５がより好ましい。これにより、第１補正情報としての各視線補正係数を正確に求めることができる。第１指標の形状としては、本実施形態では枠形状であるが、これに限定されず、例えば、ドット形状等であってもよい。また、本実施形態では、ＣＰＵ３は、表示素子１０上での注視点に対応する位置の補正（補正工程）を行う補正手段としても機能する。この補正は、表示素子１０に表示された指標の位置と、当該位置に対する前記ユーザの注視点に対応する位置とに基づいて行われる。なお、カメラ１では、ＣＰＵ３とは別に、補正手段として機能するＣＰＵを設けることもできる。

＜接眼毎キャリブレーションの説明＞
前述したように、第１補正情報を用いた第１補正を行うことにより、表示素子１０上でのユーザの注視点位置を正確に推定することができる。しかしながら、例えばユーザの体勢が変わる等して、接眼レンズ１２に対するユーザの接眼位置が変化した場合、その変化後の視線検出に、第１補正情報をそのまま用いることができないことがある。例えば、接眼位置として、第１補正情報を得る（第１補正情報を用いた第１補正が行われる）際に接眼した第１接眼位置と、第１接眼位置と異なる第２接眼位置とがある場合を考えてみる。第１補正情報は、第１接眼位置で得られた情報であるため、第２接眼位置での視線検出に第１補正情報をそのまま用いても、正確な視線検出が困難となるおそれがある。そのため、接眼位置が変化するたびに撮影を中止して、接眼位置毎にキャリブレーションを行って補正情報を得なければ、注視点位置の推定精度が不十分となると考えられる。この場合、キャリブレーション（以下「通常キャリブレーション」と言う）を頻繁に行うこととなり、ＣＰＵ３での制御が煩雑となる。カメラ１では、この制御の煩雑さを低減するキャリブレーション（以下「接眼毎キャリブレーション」と言う））が可能に構成されている。以下、この構成および作用について説明する。

カメラ１では、眼球用撮像素子１７での眼球画像の有無に応じて、接眼レンズ１２に対する接眼が検出される。従って、眼球用撮像素子１７は、接眼レンズ１２に対する接眼を検出する接眼検出手段としても機能する。そして、ＣＰＵ３は、接眼レンズ１２に対する接眼が検出された場合、接眼毎キャリブレーションによる補正（後述する第２補正情報を用いた第２補正）を行う。また、カメラ１では、眼球用撮像素子１７での眼球画像の位置に応じて、接眼レンズ１２に対するユーザの接眼位置を検出することもできる。従って、眼球用撮像素子１７は、第１接眼位置と第２接眼位置とを検出可能な接眼位置検出手段としても機能する。そして、ＣＰＵ３は、第１接眼位置と異なる第２接眼位置が検出された場合には、接眼毎キャリブレーションによる補正を行うことができる。

接眼位置の変化に由来する注視点位置の変化と、前述の注視点位置の算出方式との関係性を考えるために、式（２）を下記式（６）のように変形し、式（３）を下記式（７）のように変形する。
Ｈｘ／ｍ＝Ａｘ×θｘ＋Ｂｘ・・・（６）
Ｈｙ／ｍ＝Ａｙ×θｙ＋Ｂｙ・・・（７）

ここで、Ｈｘ／ｍは、補正後の回転角θｘであり、検出された回転角θｘを変数、視線補正係数Ａｘを傾き、視線補正係数Ｂｘを切片とした１次関数として算出していることが分かる。また、視線補正係数Ａｘは、傾きであるから、下記式（８）で表される。
Ａｘ＝δ（Ｈｘ／ｍ）／δθｘ・・・（８）

式（６）、式（８）からは、視線補正係数Ａｘは、検出された回転角θｘの変位量（単位変化量）に対する補正係数であり、視線補正係数Ｂｘは、検出された回転角θｘの相対位置に対する補正係数であることが分かる。また、視線補正係数Ａｙ、視線補正係数Ｂｙについても、同様に考えることができる。

ところで、接眼位置の変化に由来する注視点位置の変化とは、検出された回転角θｘ、回転角θｙの相対位置の変化である。上述した各視線補正係数の意味と合わせると、接眼毎キャリブレーションでは、視線補正係数Ｂｘ、視線補正係数Ｂｙのみを求めれば（算出すれば）よいことが分かる。すなわち、接眼位置が変化しても、回転角θｘ、θｙは、ほぼ変わらない（無視することができる）ため、視線補正係数Ａｘ、Ａｙをあらためて求めるのが不要となるが、接眼位置の変化分については、視線補正係数Ｂｘ、視線補正係数Ｂｙで調整すればよい。従って、接眼毎キャリブレーションで求める視線補正係数は、視線補正係数Ｂｘ、視線補正係数Ｂｙのみでよい。これにより、接眼毎キャリブレーションでは、視線補正係数Ａｘ、Ａｙについては、通常キャリブレーションで求められた視線補正係数をそのまま用いることができ、視線補正係数Ｂｘ、Ｂｙについては、新たに求めた視線補正係数を用いることとなる。

前述したように、接眼毎キャリブレーションでは、視線補正係数Ｂｘ、視線補正係数Ｂｙのみを算出するため、予め通常キャリブレーションが実施済みであることが好ましい。ここでは、通常キャリブレーションを実施した後に、接眼毎キャリブレーションを実施する一例について、説明する。図８は、ファインダ内視野（表示素子の画像表示状態）を示す図である。

接眼毎キャリブレーションでは、まず、ユーザに視認させるための第２指標を表示素子１０に表示させる。第２指標の表示数（第２の数）は、第１指標の表示数（第１の数）よりも少なくてよい。例えば、図８（ａ）に示すように、表示素子１０には、第２指標（ａ）－Ｃが表示される。第２指標（ａ）－Ｃは、表示素子１０（表示画面）の中央部に配置される。そして、ユーザが第２指標（ａ）－Ｃを視認した際に、第２指標（ａ）－Ｃに対する推定注視点が検出される。この検出では、視線補正係数Ｂｘ、視線補正係数Ｂｙについては、メモリ部４に記憶された値を使用せず、値「０」を代入することが好ましいが、これに限定されない。例えば、後述する接眼毎キャリブレーションで算出された視線補正係数と、メモリ部４に記憶された値とを合成した値を使用してもよい。そして、第２指標（ａ）－Ｃに対する推定注視点の位置（座標）から、視線補正係数Ｂｘ、視線補正係数Ｂｙを求める。

具体的には、表示素子１０上における第２指標（ａ）－Ｃの座標を（Ｈｘ３、Ｈｙ３）、第２指標（ａ）－Ｃ注視時の眼球１４の回転角を（θｘ３、θｙ３）とする。なお、回転角（θｘ３、θｙ３）は、複数回の回転角取得結果の平均値や中央値等、ばらつきやノイズの影響を考慮した値であることが好ましい。Ｈｘ３は、下記式（９）で表され、Ｈｙ３は、記式（１０）で表される。
Ｈｘ３＝ｍ×（Ａｘ×θｘ３＋Ｂｘ）・・・（９）
Ｈｙ３＝ｍ×（Ａｙ×θｙ３＋Ｂｙ）・・・（１０）

視線補正係数Ａｘ、視線補正係数Ａｙは、通常キャリブレーションによって算出済みであるから、式（９）および式（１０）により、視線補正係数Ｂｘ、視線補正係数Ｂｙを求めることができる。視線補正係数Ｂｘ、視線補正係数Ｂｙは、第２補正情報として、メモリ部４に記憶される。カメラ１では、接眼位置が変化したとしても、接眼ごとに第２補正情報を用いた第２のキャリブレーション、すなわち、第２補正（第２のモード）を行うことにより、表示素子１０（表示手段）上でのユーザの注視点位置を正確に推定することができる。なお、撮像装置２では、前記第１補正、第２補正の順に行われる。また、接眼毎キャリブレーションでは、求める視線補正係数の数が、通常キャリブレーションで求める視線補正係数の数よりも少なくて済み、ＣＰＵ３での制御の煩雑さを低減することができる。

以上のように、第２補正情報は、表示素子１０上での第２指標と、第２指標に対する視認時にＣＰＵ３で推定された注視点との位置関係に基づいて得られた情報（視線補正係数Ｂｘ、視線補正係数Ｂｙ）を、第１補正情報に反映させたものとなっている。そして、カメラ１では、注視点の位置の補正を行う際、ＣＰＵ３が、第１補正情報を用いて第１補正を行うか、または、第２補正情報を用いて第２補正を行うかを選択可能である。これにより、接眼毎に生じる注視点の位置ズレを迅速かつ容易に低減することができる。また、第１補正を行うか、または、第２補正情報を用いて第２補正を行うかの選択は、ユーザによる手動操作ではなく、ＣＰＵ３で行われる。これにより、撮像時の利便性が向上する。

なお、第２指標の表示数は、本実施形態では１つであるが、第１指標の表示数よりも少なければよく、例えば、１～４が好ましく、１～２がより好ましい。これにより、第２補正情報としての各視線補正係数を正確に求めることができる。また、第２指標の表示数が複数の場合も、第２指標の表示数が１つの場合と同様に、表示素子１０の中央部側に寄って配置されるのが好ましい。

＜撮影中の接眼毎キャリブレーションの説明＞
図８（ｂ）に示すように、表示素子１０には、撮像素子２からのスルー画像に重畳して、接眼毎キャリブレーション用の第２指標（ｂ）－Ｃが表示されている。これにより、撮影中にあっても、撮影の停止や中断を行わずに、接眼毎キャリブレーションの実施が可能となり、撮像時の利便性が向上する。また、カメラ１では、さらに、接眼毎キャリブレーションの開始・中断を指示可能なショートカット機能を、例えば操作部材４２（図１（ｃ）参照）等に割り当ててもよい。この場合、例えば、操作部材４２を左側に倒せば（図１（ｃ）の真ん中の図参照）、接眼毎キャリブレーションの開始となり、操作部材４２を右側に倒せば（図１（ｃ）の左側の図参照）、接眼毎キャリブレーションの中断となる。これにより、必要に応じて、接眼毎キャリブレーションを迅速に開始したり、中断したりすることができる。また、レリーズボタン５の操作によっても、接眼毎キャリブレーションの中断が可能となっていてもよい。これにより、撮影中の接眼毎キャリブレーション中にシャッタチャンスが訪れた場合、レリーズボタン５を押下することで接眼毎キャリブレーションを迅速に中断するとともに、レリーズ動作を開始することが可能となる。

＜撮影中に接眼毎キャリブレーション可能なカメラの動作の説明＞
図９は、第１実施形態における第１補正と第２補正との切替プログラムのフローチャートである。カメラ１の電源がＯＮ状態となって、処理が開始されると、ステップＳ１０１では、ＣＰＵ３が、撮像素子２にスルー画像の取得を開始させて、そのスルー画像の画像信号をＣＰＵ３に送信させる。また、ＣＰＵ３は、撮像素子２からのスルー画像を表示素子１０に表示させる。ユーザは、表示素子１０に表示されたスルー画像中の被写体の視認することができる。ステップＳ１０２では、ＣＰＵ３は、電源がＯＦＦ状態となったか否かを判断する。ステップＳ１０２での判断の結果、ＣＰＵ３が、電源がＯＦＦ状態となったと判断した場合には、処理は終了する。一方、ステップＳ１０２での判断の結果、ＣＰＵ３が、電源がＯＦＦ状態となっていないと判断した場合には、処理はステップＳ１０３に進む。ステップＳ１０３では、ＣＰＵ３が、眼球用撮像素子１７を作動させて、ステップＳ１０１で被写体を視認し始めたユーザの眼球画像を取得させる。この取得後、ＣＰＵ３は、前述した視線検出を行う。本実施形態では、図７に示すフローチャートに基づいて、表示素子１０上での推定注視点の座標（Ｈｘ，Ｈｙ）を取得する。ステップＳ１０４では、ＣＰＵ３が、表示素子１０を作動させて、ステップＳ１０３で取得された座標（Ｈｘ，Ｈｙ）に推定注視点を前記スルー画像に重畳させた画像を表示させる。このときユーザは、例えば図４（ｂ）に示す状態の画像をファインダ内で視認しているとする。そして、カメラ１からは、スルー画像に重ねて表示された現在の推定注視点Ｃがユーザに報知される。ステップＳ１０５では、ＣＰＵ３が所定時間待機する。

ステップＳ１０６では、ＣＰＵ３が、ユーザからの接眼毎キャリブレーション開始の指示があったか否かを判断する。ステップＳ１０６での判断の結果、ＣＰＵ３が、接眼毎キャリブレーション開始の指示があったと判断した場合には、処理はステップＳ１０７に進む。一方、ステップＳ１０６での判断の結果、ＣＰＵ３が、接眼毎キャリブレーション開始の指示がないと判断した場合には、処理はステップＳ２００に進む。前述したように、接眼毎キャリブレーション開始の指示は、操作部材４２を操作することにより可能である。ステップＳ１０７では、ＣＰＵ３が、通常キャリブレーションが実施済みか否かを判断する。ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みと判断した場合には、処理はステップＳ１１０に進む。一方、ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みではないと判断した場合には、接眼毎キャリブレーションを開始せず、処理はステップＳ１０８に進む。ステップＳ１０８では、ＣＰＵ３が、例えば表示素子１０に、通常キャリブレーションの実施を促すメッセージを表示させる。ステップＳ１０８実施後、処理はステップＳ２００に進む。

ステップＳ１１０では、ＣＰＵ３が、表示素子１０上に表示されている推定注視点Ｃを非表示にさせるとともに、図８（ｂ）に示すような接眼毎キャリブレーション用の第２指標（ｂ）－Ｃを表示素子１０のスルー画像に重畳表示する。ステップＳ１１１では、ＣＰＵ３が、メモリ部４に記憶されているユーザごとの視線補正係数Ａｘ～視線補正係数Ｂｙを読み出し、視線補正係数Ｂｘ、視線補正係数Ｂｙに「０」を代入して更新したものをメモリ部４に記憶させる。ステップＳ１１２では、ＣＰＵ３が、ユーザからの接眼毎キャリブレーション中止の指示があったか否かを判断する。ステップＳ１１２での判断の結果、ＣＰＵ３が、接眼毎キャリブレーション中止の指示があったと判断した場合には、処理はステップＳ１１３に進む。一方、ステップＳ１１２での判断の結果、ＣＰＵ３が、接眼毎キャリブレーション中止の指がないと判断した場合には、処理はステップＳ１２０に進む。前述したように、接眼毎キャリブレーション中止の指示は、操作部材４２の操作やレリーズボタン５の押下により可能である。ステップＳ１１３では、ＣＰＵ３が、ステップＳ１１１で更新される前の視線補正係数Ａｘ、視線補正係数Ｂｘ、視線補正係数Ａｙ、視線補正係数Ｂｙをメモリ部４に記憶させて、処理はステップＳ２００に進む。

ステップＳ１２０では、ＣＰＵ３が、ステップＳ１３０での視線検出が所定回数完了したか否かを判断する。ステップＳ１２０での判断の結果、ＣＰＵ３が、視線検出が所定回数完了したと判断した場合には、処理はステップＳ１２１に進む。一方、ステップＳ１２０での判断の結果、ＣＰＵ３が、視線検出が所定回数完了していないと判断した場合には、処理はステップＳ１３０に進む。ステップＳ１３０では、ＣＰＵ３が、ステップＳ１０１で表示させた第２指標（ｂ）－Ｃを注視するユーザの眼球画像を、眼球用撮像素子１７に取得させる。この取得後、ＣＰＵ３は、前述した視線検出を行う。本実施形態では、図７に示すフローチャートに基づいて、表示素子１０上での推定注視点の座標（Ｈｘ，Ｈｙ）を取得する。ステップＳ１３０実行後、処理はステップＳ１１２に戻る。ステップＳ１２１では、ＣＰＵ３が、所定回数分の視線検出で取得した推定注視点の座標（Ｈｘ，Ｈｙ）の平均を取得する。ステップＳ１２２では、ＣＰＵ３が、ステップＳ１２１で取得した平均の推定注視点の座標（Ｈｘ，Ｈｙ）と、ステップＳ１１１で取得した視線補正係数Ａｘおよび視線補正係数Ａｙを用いて、接眼毎キャリブレーションを行う。これにより、接眼毎キャリブレーションでの視線補正係数Ｂｘ、視線補正係数Ｂｙが算出される。ステップＳ１２３では、ＣＰＵ３が、ステップＳ１１１でメモリ部４から読み出した視線補正係数Ａｘおよび視線補正係数Ａｙと、ステップＳ１２２で算出した視線補正係数Ｂｘおよび視線補正係数Ｂｙをメモリ部４に記憶させる。ステップＳ１２３実行後、処理はステップＳ２００に進む。

ステップＳ２００では、ＣＰＵ３が、ユーザによってレリーズボタン５が押されてＳＷ１がＯＮ状態となったか否かを判断する。ユーザは、表示素子１０上に表示された推定注視点の位置で合焦を行うことに同意した場合にレリーズボタン５を押下して、ＳＷ１をＯＮ状態にすることができる。ステップＳ２００での判断の結果、ＣＰＵ３が、ＳＷ１がＯＮ状態となったと判断した場合には、処理はステップＳ２０１に進む。一方、ステップＳ２００での判断の結果、ＣＰＵ３が、ＳＷ１がＯＮ状態ではないと判断した場合には、処理はステップＳ１０３に戻って、視線検出を再度行う。ステップＳ２０１では、ＣＰＵ３が、現在の推定注視点の位置で測距動作を実行させて、当該測距動作実行の旨の情報を表示素子１０のスルー画像上に表示する。これにより、ユーザは、測距動作が実行されていることを把握することができる。なお、測距動作実行情報の表示は、例えば、推定注視点の色を変更すること等により可能である。ステップＳ２０２では、ＣＰＵ３が、レンズ焦点調節回路１１８を介してレンズ駆動部材１１４を作動させて、ステップＳ２０１で取得した測距結果に対応する合焦点位置にレンズ１０１を移動する。ステップＳ２０３では、ＣＰＵ３が、ユーザによってレリーズボタン５がさらに押し込まれて、ＳＷ２がＯＮ状態となったか否かを判断する。ユーザは、表示素子１０上に表示された推定注視点の位置で合焦を行うことに同意した場合に、レリーズボタン５をさらに押し込む。これにより、ステップＳ２０３では、ＣＰＵ３がＳＷ１をＯＮ状態にすることができる。ステップＳ２０３での判断の結果、ＣＰＵ３が、ＳＷ２がＯＮ状態となったと判断した場合には、処理はステップＳ２０４に進む。一方、ステップＳ２０３での判断の結果、ＣＰＵ３が、ＳＷ２がＯＮ状態ではないと判断した場合には、処理はステップＳ２００に戻り、以降のステップを順次実行する。ステップＳ２０４では、ＣＰＵ３が、撮像素子２を作動させて、撮像を行う。これにより、撮像素子２では、画像信号が取得される。また、この画像信号は、ＣＰＵ３に送信されて、メモリ部４に記憶される。ステップＳ２０４実行後、処理はステップＳ２０５に進む。ステップＳ２０５では、ＣＰＵ３が、取得画像を、例えば表示素子１０に所定時間表示させて、処理はステップＳ１０２に戻り、以降のステップを順次実行する。

以上のように、カメラ１では、接眼毎に生じ得る注視点位置のズレに対し、ユーザが煩雑な操作を行うことなく、当該ズレの補正が可能となっている。これにより、ユーザが実際に注視している注視点と、推定注視点とが一致した状態となり、当該注視点の位置で合焦して、撮像が行われる。これにより、撮像時のユーザの利便性が向上する。

＜＜第２実施形態＞＞
以下、図１０を参照して、第２実施形態について説明する。前記第１実施形態では、通常キャリブレーションを実施したときとは異なる接眼位置で接眼して撮像を行っても、接眼毎キャリブレーションを実施することにより、当該撮影時の接眼位置における適切な視線補正係数を求めて、注視点を推定することができる。ところで、通常キャリブレーション実施時の（第１接眼位置での）第１接眼距離と、接眼毎キャリブレーション実施時の（第２接眼位置での）第２接眼距離とが大きく異なる場合においては、通常キャリブレーションを再度実施した方がよい場合がある。

＜接眼距離の検出についての説明＞
本実施形態の「接眼距離」とは、受光レンズ１６と眼球１４との距離（実距離）のことである。この接眼距離と第１実施形態で説明した結像倍率βとは、一般的に反比例の関係にあるため、接眼距離は、結像倍率βの関数として求めることができる。また、第１実施形態で説明したように、結像倍率βは、角膜反射像Ｐｄ‘、結像倍率Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができるため、接眼距離も同様に間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

＜接眼毎キャリブレーションの実施可否判断についての説明＞
本実施形態では、カメラ１にユーザが接眼レンズ１２に接眼した状態での接眼距離を検出する接眼距離検出手段が設けられている。接眼距離検出手段としては、特に限定されず、例えば、赤外線距離センサ等を用いることができる。接眼距離検出手段が赤外線距離センサで構成されている場合、赤外線距離センサは、例えば、光源１３ａと光源１３ｂとの間に配置されるのが好ましい。そして、接眼距離検出手段は、第１接眼距離と第２接眼距離とを検出することができる。

カメラ１では、ＣＰＵ３が第１接眼距離と第２接眼距離との差分（差）を算出し、その差分が所定値よりも大きい場合、通常キャリブレーションを再度実施すべき判断する。そして、通常キャリブレーションにより第１補正情報が再度取得されて、第２補正をせずに、当該第１補正情報を用いた第１補正が行われる。なお、所定値は、次のように決定される。カメラ１の設計時において、接眼距離の差分と推定注視点位置の意思一致率との関係性を測定して、意思一致率が一定以上となるように所定値を決定する。そして、この所定値をメモリ部４に予め記憶しておく。なお、所定値は、一意に決定されるものに限定されず、諸条件に応じて適切に決定されることが好ましい。また、メモリ部４には、大きさが異なる複数の所定値が記憶されていてもよい。これにより、接眼距離の差分の大きさに応じて、キャリブレーションを異ならせることができる。例えば、第１所定値と、第１所定値よりも小さい第２所定値とがある場合、接眼距離の差分が第１所定値以上であれば、通常キャリブレーションを再度実施するべきと判断する。また、接眼距離の差分が第１所定値未満（所定値以下）であり、かつ、第２所定値以上である場合には、接眼毎キャリブレーションを実施して、当該接眼毎キャリブレーションによる第２補正を行うべきと判断する。また、接眼距離の差分が第２所定値未満である場合には、キャリブレーションの実施は不要と判断し、メモリ部４に記憶された視線補正係数をそのまま使用する。

＜カメラ動作の説明＞
図１０は、第２実施形態における第１補正と第２補正との切替プログラムのフローチャートである。図１０は、図９に示すフローチャートに対し、ステップＳ３００～ステップＳ３０２を追加したフローチャートであり、それ以外のステップについては、図９に示すフローチャートと同様である。以下、ステップＳ３００～ステップＳ３０３と、それに関連するステップＳ１０７について説明し、同様の事項はその説明を省略する。

ステップＳ１０７では、ＣＰＵ３が、通常キャリブレーションが実施済みか否かを判断する。ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みと判断した場合には、処理はステップＳ３００に進む。一方、ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みではないと判断した場合には、接眼毎キャリブレーションを開始せず、処理はステップＳ１０８に進む。

ステップＳ３００では、ＣＰＵ３が、メモリ部４に記憶されている接眼距離情報としての第１接眼距離を読み出す。ステップＳ３０１では、ＣＰＵ３が、ステップ１０３で取得した現在の接眼距離としての第２接眼距離と、ステップＳ３００で取得した第１接眼距離との差分を算出する。ステップＳ３０２では、ＣＰＵ３が、差分が第１所定値以上であるか否かを判断する。ステップＳ３０２での判断の結果、ＣＰＵ３が、差分が第１所定値以上であると判断した場合には、処理はステップＳ１０８に進む。一方、ステップＳ３０２での判断の結果、ＣＰＵ３が、差分が第１所定値以上ではないと判断した場合には、処理はステップＳ３０３に進む。ステップＳ３０３では、ＣＰＵ３が、差分が第２所定値未満であるか否かを判断する。ステップＳ３０３での判断の結果、ＣＰＵ３が、差分が第２所定値未満であると判断した場合には、処理はステップＳ２００に進む。一方、ステップＳ３０３での判断の結果、ＣＰＵ３が、差分が第２所定値未満ではないと判断した場合には、処理はステップＳ１１０に進む。

以上のような構成により、接眼距離の大小に応じて、通常キャリブレーションと接眼毎キャリブレーションとを適切に選択することができ、よって、撮像時の利便性が向上する。

＜＜第３実施形態＞＞
以下、図１１を参照して、第３実施形態について説明する。前記第２実施形態では、接眼毎によって接眼距離が異なる場合、その接眼距離の大小に応じて、通常キャリブレーションを実施したり、接眼毎キャリブレーションを実施したりして、適切な視線補正係数を求めて、注視点を推定することができる。ところで、適切なキャリブレーションを選択して、視線補正係数を算出し直す処理を開始するには、ユーザ操作必要があり煩雑となるおそれがある。カメラ１は、ユーザの接眼を検出可能（検知可能）構成に構成されている。本実施形態では、接眼を検出した場合には、第２実施形態で述べたように適切なキャリブレーションを選択して、視線補正係数を算出し直す処理を自動的に開始することができる。

＜接眼の検出についての説明＞
本実施形態では、非接眼時においても定期的に視線検出を実行して、注視点を検出することができた場合に接眼状態であると判断し、注視点が検出されない場合に非接眼状態が継続されていると判断する。また、接眼検出構成は、一意に決定されるものに限定されず、諸条件に応じて適切に決定されることが好ましい。例えば、近接センサ等を用いて接眼検出を行ってもよい。

＜カメラ動作の説明＞
図１１は、第３実施形態における第１補正と第２補正との切替プログラムのフローチャートである。図１１に示すフローチャートは、図１０に示すフローチャートに対し、ステップＳ４００、ステップＳ４０１を追加し、ステップＳ１０６をステップＳ４１０に置き換えたフローチャートである。なお、それ以外のステップについては、図１０に示すフローチャートと同様である。以下、ステップＳ４００、ステップＳ４０１およびステップＳ４１０と、それに関連するステップＳ１０３～ステップＳ１０５について説明し、同様の事項はその説明を省略する。

ステップＳ１０３では、ＣＰＵ３が、眼球用撮像素子１７を作動させて、ステップＳ１０１で被写体を視認し始めたユーザの眼球画像を取得させる。この取得後、ＣＰＵ３は、前述した視線検出を行う。本実施形態では、図７に示すフローチャートに基づいて、表示素子１０上での推定注視点の座標（Ｈｘ，Ｈｙ）を取得する。ステップＳ１０３実施後、処理はステップＳ４００に進む。

ステップＳ４００では、ＣＰＵ３が、ステップＳ１０３で推定注視点の座標（Ｈｘ，Ｈｙ）を取得することができたか否かを判断する。ステップＳ４００での判断の結果、ＣＰＵ３が座標（Ｈｘ，Ｈｙ）を取得することができたと判断した場合には、処理はステップＳ１０４に進む。一方、ステップＳ４００での判断の結果、ＣＰＵ３が座標（Ｈｘ，Ｈｙ）を取得することができなかったと判断した場合には、非接眼状態であるとして、処理はステップＳ４０１に進む。ステップＳ４０１では、ＣＰＵ３が所定時間待機する。ステップＳ４０１実施後、処理はステップＳ１０３に戻り、以降のステップを順次実行する。ステップＳ１０４およびステップＳ１０５では、図１０に示すフローチャートのステップＳ１０４およびステップＳ１０５と同様の処理を行う。ステップＳ１０５実行後、処理はステップＳ４１０に進む。ステップＳ４１０では、ＣＰＵ３が接眼毎キャリブレーションを自動的に開始するために、処理はステップＳ１０７に進む。

以上のような構成により、接眼を検出した場合には、適切なキャリブレーションを選択して、視線補正係数を算出し直す処理を自動的に開始することができる。

＜＜第４実施形態＞＞
以下、図１２を参照して、第４実施形態について説明する。前記第３実施形態では、接眼を検知した場合に自動的にキャリブレーションを行って、視線補正係数を算出することができる。ところで、第１実施形態で説明したように、キャリブレーションの目的は、ユーザの個人差を補正することである。ここで、キャリブレーションを実施したユーザ（以下「第１ユーザ」と言う）と、第１ユーザは異なるユーザ（以下「第２ユーザ」と言う）とが共通のカメラ１を用いる場合を考えてみる。この場合、第３実施形態の構成では、第２ユーザに対しても、自動的にキャリブレーションを行ってしまう。

そこで、本実施形態のカメラ１には、ユーザの虹彩に関する虹彩情報を取得する虹彩情報取得手段と、虹彩情報取得手段での取得結果に基づいて、複数の虹彩情報同士の一致度の程度を検出する一致度検出手段とが設けられている。なお、本実施形態では、眼球用撮像素子１７が虹彩情報取得手段として機能し、ＣＰＵ３が一致度検出手段として機能する。

＜虹彩情報によるユーザの個人性を判別する構成＞
本実施形態では、キャリブレーションを実施した際に、視線補正係数や接眼距離情報とともに、虹彩情報もメモリ部４に記憶する。虹彩情報としては、本実施形態では、第１虹彩情報と、第１虹彩情報と異なる第２虹彩情報とがあり、いずれも、前述の視線検出によって得られた眼球画像から、虹彩部を抽出した虹彩画像である。なお、虹彩情報は、一意に決定されるものではなく、諸条件に応じて適切に決定されることが好ましい。虹彩情報としては、例えば、畳み込み積分によって伸縮された画像や、デジタルフィルタを掛けた画像、領域分割された特徴量等であってもよい。

また、一致度検出手段により、上述した方法によって得られた２つの虹彩情報、すなわち、第１虹彩情報と第２虹彩情報との一致度を算出する。一致度の算出方法としては、特に限定されず、例えば、ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）方式等を用いることができる。ＳＡＤ方式は、差分の絶対値の和であるため、２つの虹彩情報の一致度が高いほど評価値は小さくなり、最小値は０、最大値はいずれかの虹彩情報の総和と等しくなる。なお、一致度の算出方法については、一意に決定されるものではなく、例えば、虹彩情報の形態や、眼球画像の撮影方法等の各種の諸条件によって決定されることが好ましい。そして、第１虹彩情報と第２虹彩情報との評価値が、メモリ部４に予め記憶された所定値よりも小さい場合には、２つの虹彩は同一人物の虹彩であると判断することができる。なお、所定値については、十分な虹彩のサンプル数、具体的には人数や眼球角度、虹彩の色、眼球画像撮影時の明るさ等の各種の諸条件下で得らえた虹彩情報に基づいて決定されることが好ましい。

＜カメラ動作の説明＞
図１２は、第４実施形態における第１補正と第２補正との切替プログラムのフローチャートである。図１２に示すフローチャートは、図１１に示すフローチャートに対し、ステップＳ５００～ステップＳ５０２を追加したフローチャートであり、それ以外のステップについては、図１１に示すフローチャートと同様である。以下、ステップＳ５００～ステップＳ５０２と、それに関連するステップＳ１０７について説明し、同様の事項はその説明を省略する。

ステップＳ１０７では、ＣＰＵ３が、通常キャリブレーションが実施済みか否かを判断する。ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みと判断した場合には、処理はステップＳ５００に進む。一方、ステップＳ１０７での判断の結果、ＣＰＵ３が、通常キャリブレーションが実施済みではないと判断した場合には、接眼毎キャリブレーションを開始せず、処理はステップＳ１０８に進む。

ステップＳ５００では、ＣＰＵ３が、メモリ部４に記憶されている虹彩情報を読み出す。虹彩情報は、上述したように通常キャリブレーション実施時の虹彩情報である。ステップＳ５０１では、ＣＰＵ３が、ステップ１０３で取得した現在の虹彩情報と、ステップ５００で取得した虹彩情報との一致度を算出する。一致度の算出に上述したＳＡＤ方式をもしいた場合、評価値が小さいほど２つの虹彩情報の一致度が高くなる。ステップＳ５０２では、ＣＰＵ３が、評価値が所定値以下、すなわち、第１虹彩情報と第２虹彩情報との一致度の程度が所定以上であるか否かを判断する。ステップＳ５０２での判断の結果、ＣＰＵ３が、評価値が所定値以下であると判断した場合には、処理はステップＳ３００に進む。一方、ステップＳ５０２での判断の結果、ＣＰＵ３が、評価値が所定値以下ではないと判断した場合には、処理はステップＳ１０８に戻り、以降のステップを順次実行する。

以上のような構成により、キャリブレーションが実施されたユーザと、その後接眼したユーザとが同一人物である場合は、第３実施形態に記載された処理を自動的に開始することができる。また、本実施形態では、第１虹彩情報と第２虹彩情報との一致度の程度が所定以上であると検出された場合、第２補正を行い、所定未満であると検出された場合、第２補正をせずに、第１補正を行うことができる。これにより、ユーザに応じたキャリブレーションの切替を適切に行うことができ、正確な注視点の推定に寄与する。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した各実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、視線検出のキャリブレーションは、前述したカメラの他に、例えば、ヘッドマウントディスプレイやシースルーグラス、車載カメラにも適用可能である。

１ デジタルスチルカメラ（カメラ）
２ 撮像素子（撮像部）
３ ＣＰＵ
４ メモリ部
１０ 表示素子（表示部）
１７ 眼球用撮像素子（眼球用撮像部）
２０１ 視線検出回路
Ａ 推定注視点
Ｂ 注視点（実注視点）
Ｃ 推定注視点

Claims (16)

1. ユーザの注視点に対応する位置を推定する推定手段と、
   表示部に表示された指標の位置と当該位置に対する前記ユーザの注視点に対応する位置とに基づいて、前記ユーザの注視点に対応する位置の補正を行う補正手段と、を備え、
   前記補正手段は、第１の数の指標の位置に基づいて前記補正を行う第１のモードと、前記第１の数よりも少ない第２の数の指標に基づいて前記補正を行う第２のモードと、を有することを特徴とする撮像装置。
2. 前記補正手段では、前記第１のモード、前記第２のモードの順に行われることを特徴とする請求項１に記載の撮像装置。
3. 前記ユーザが前記表示部を視認する際に接眼する接眼部と、
   前記接眼部に対する接眼を検出する接眼検出手段と、を備え、
   前記補正手段は、前記接眼検出手段で前記接眼が検出された場合、前記補正を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１のモードでは、前記第１の数の指標を前記表示部に表示させて、前記表示部上での前記各第１の数の指標と、該各第１の数の指標に対する視認時に前記推定手段で推定された前記注視点に対応する位置との位置関係に基づいて得られた第１補正情報を用い、
   前記第２のモードでは、前記第２の数の指標を前記表示部に表示させて、前記表示部上での前記各第２の数の指標と、該各第２の数の指標に対する視認時に前記推定手段で推定された前記注視点に対応する位置との位置関係に基づいて得られた情報を、前記第１補正情報に反映させた第２補正情報を用いることを特徴とする請求項1乃至３のうちの何れか１項に記載の撮像装置。
5. 前記ユーザが前記表示部を視認する際に接眼する接眼部と、
   前記接眼部に対する前記ユーザの接眼位置を検出する接眼位置検出手段と、を備え、
   前記接眼位置検出手段は、前記接眼位置として、前記第１補正情報を用いた第１補正が行われる際に接眼した第１接眼位置と、該第１接眼位置と異なる第２接眼位置と、を検出可能であり、
   前記補正手段は、前記接眼位置検出手段で前記第２接眼位置が検出された場合には、前記第２補正情報を用いた第２補正を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記ユーザが前記接眼部に接眼した状態での接眼距離を検出する接眼距離検出手段を備え、
   前記接眼距離検出手段は、前記第１接眼位置での第１接眼距離と、前記第２接眼位置での第２接眼距離と、を検出可能であり、
   前記補正手段は、前記第１接眼距離と前記第２接眼距離との差が所定値よりも大きいの場合、前記第２補正をせずに、前記第１補正を行う請求項５に記載の撮像装置。
7. 前記補正手段は、前記第１接眼距離と前記第２接眼距離との差が所定値よりも大きいの場合に前記第１補正を行う際、前記第１補正情報を再度取得して、該第１補正情報を用いる請求項５に記載の撮像装置。
8. 前記補正手段は、前記第１接眼距離と前記第２接眼距離との差が所定値以下の場合、前記第２補正を行う請求項６また７に記載の撮像装置。
9. 前記ユーザの虹彩に関する虹彩情報を取得する虹彩情報取得手段と、
   複数の前記虹彩情報同士の一致度の程度を検出する一致度検出手段と、を備え、
   前記虹彩情報取得手段は、前記虹彩情報として、第１虹彩情報と、該第１虹彩情報と異なる第２虹彩情報と、を検出可能であり、
   前記補正手段は、前記一致度検出手段で前記第１虹彩情報と前記第２虹彩情報との一致度の程度が所定以上であると検出された場合、前記第２補正を行い、所定未満であると検出された場合、前記第２補正をせずに、前記第１補正を行うことを特徴とする請求５乃至８のうちの何れか１項に記載の撮像装置。
10. 前記表示部は、矩形をなす表示画面を有し、
    前記各第１の数の指標は、前記表示画面の縁部側に偏在して配置され、
    前記第２の数の指標は、前記表示画面の中央部に配置されることを特徴とする請求項１乃至９のうちの何れか１項に記載の撮像装置。
11. 前記第１の数は、２～８であり、
    前記第２の数は、１～４であることを特徴とする請求項１乃至１０のうちの何れか１項に記載の撮像装置。
12. 前記表示部と、
    被写体を撮像する撮像部と、
    ユーザの眼球を撮像する眼球用撮像部と、を備えることを特徴とする請求項１乃至１１のうちの何れか１項に記載の撮像装置。
13. ユーザの注視点の検出のためのキャリブレーションに用いられる指標を表示する表示手段における表示を制御する制御手段を有し、
    前記制御手段は、第１のキャリブレーションにおいては第１の数の指標が前記表示手段に表示され、前記第１のキャリブレーションより後に実行される第２のキャリブレーションにおいては前記第１の数よりも少ない第２の数の指標が表示される制御を実行することを特徴とする制御装置。
14. ユーザの注視点に対応する位置を推定する推定工程と、
    表示部に表示された指標の位置と当該位置に対する前記ユーザの注視点に対応する位置とに基づいて、前記ユーザの注視点に対応する位置の補正を行う補正工程と、を備え、
    前記補正工程では、第１の数の指標の位置に基づいて前記補正を行う第１のモードと、前記第１の数よりも少ない第２の数の位置に基づいて前記補正を行う第２のモードと、を行うことを特徴とする撮像装置の制御方法。
15. ユーザの注視点の検出のためのキャリブレーションに用いられる指標を表示する表示手段における表示を制御する制御工程を有し、
    前記制御工程では、第１のキャリブレーションにおいては、第１の数の指標が前記表示手段に表示され、前記第１のキャリブレーションより後に実行される第２のキャリブレーションにおいては、前記第１の数よりも少ない第２の数の指標が表示される制御を実行することを特徴とする制御方法。
16. 請求項１乃至１３の何れか１項に記載の装置の各手段をコンピュータに実行させるためのプログラム。
    

Images