JP2004188017A - Gaze tracking system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To improve the precision of the gaze tracking system and to accomplish the energy saving. <P>SOLUTION: The gaze tracking system is provided with a position status judging means to judge the number of cornea reflection images (Purkinje images) of the eye ball and their position by projecting more than one illuminating light sources on the eye ball, and is initially provided with some calibration data corresponding to the position status. The system selects and uses the calibration data depending on the information acquired from the position status judging means. The illumination condition of the illuminating light sources is switched according to the existing status of the calibration data in the gaze tracking system. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

と表される。
【００１０】
また、角膜反射像d及びeの中点のx座標と角膜17bの曲率中心oのx座標xoとはほぼ一致する。このため角膜反射像の発生位置d、eのx座標をxd、xe、角膜17bの曲率中心oと瞳孔17dの中心cまでの標準的な距離をLocとすると、眼球17の光軸17aの回転角θxは、
【００１１】
【数２】

の関係式を満足する。
【００１２】
このため、図２１（ａ）に示した様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を検出することにより、眼球17の光軸17aの回転角θを求めることができる。
【００１３】
眼球17の光軸17aの回転角は(2)式より、
【００１４】
【数３】

【００１５】
と求められる。ここで、βは受光レンズ12に対する眼球17の位置により決まる結像倍率で、実質的には2個の角膜反射像（プルキンエ像）の間隔|xd'-xe'|の関数として求められる。
【００１６】
また、θxはz‐x平面内での眼球光軸の回転角、θyはy‐z平面内での眼球光軸の回転角である。(xpo,ypo)はCCD14上の2個の角膜反射像の中点の座標、(xic,yic)はCCD14上の瞳孔中心の座標である。Ptx,PtyはCCD14のx方向およびy方向の画素ピッチである。δx,δyは角膜反射像の中点の座標を補正する補正項であり、ユーザの眼球を平行光ではなく発散光にて照明していることにより生じる誤差を補正する補正項、及び、δyに関しては、ユーザの眼球を下まぶたの方から発散光にて照明していることにより生じるオフセット成分を補正する補正項も含まれている。
【００１７】
ユーザの眼球光軸17aの回転角(θx,θy)が算出されると、ユーザの観察面上の注視点(x,y)は、
【００１８】
【数４】

【００１９】
と求められる。ここで、x方向は観察者に対して水平方向、y方向はユーザに対して垂直方向を示している。mは眼球17の回転角から観察面上の座標に変換する変換係数であり、ax,bx、ay,byは注視点キャリブレーション係数で、ユーザの眼球17の回転角と観察面上の注視点を一致させるための補正係数である。
【００２０】
角膜反射像（プルキンエ像）の中点の位置の補正項δx、δyの算出方法を図２２（ａ）、（ｂ），（ｃ）を用いて説明する。
接眼レンズ射出面と視線検出光学系の光軸（z軸）との交点を原点に設定する。IRED1の座標を(-Sxi1,Syi,Szi)、IRED2の座標を(Sxi1,Syi,Szi)、撮影者の眼球の角膜の曲率中心Oの座標を(Sxc,Syc,Szc)とする。
【００２１】
プルキンエ像dとeの中点P0は、IRED1,2の中点に配置された1個のIREDによって発生するプルキンエ像の位置と等価である。視線算出式は２つのプルキンエ像の中点P0の座標に基づいているため、以降IRED1とIRED2の中点(0,Si,Zi)と角膜の曲率中心Oとの距離をＬとすると、
【００２２】
【数５】

【００２３】
アッベの不変量より、角膜表面からプルキンエ像の発生する位置までの距離Kは、
【００２４】
【数６】

と表される。
【００２５】
また、プルキンエ像P1,P2の中点P0のx方向のシフト量δx（CCD座標系でのシフト量；眼球座標系でのΔx）は、
【００２６】
【数７】

の関係を満足する。上式を展開するとシフト量δxは、
【００２７】
【数８】

となる。
同様にプルキンエ像P1,P2の中点P0のy方向のシフト量δyは、
【数９】

【００２８】
ここで、視線検出光学系の結像倍率βを、接眼レンズ射出面（原点）からの距離Szの２次関数として定義すると、
【００２９】
【数１０】

となる。
【００３０】
係数b1〜b3は、所定距離における結像倍率を光学シミュレーションにて求め、それらの値を２次近似することにより算出される。
プルキンエ像の結像倍率βpは、角膜の頂点からのz方向の距離をSzpとすると、
【００３１】
【数１１】

となる。
【００３２】
以下、Szp、Szcを求めるため、算出ルーチンを複数回実行し、Szp、Szcを収束させる。ここで、式（９）と式（１１）を比較した場合、式（１１）では、Ｓｙｉ（（βｐ）／（Ｐｔｙ））の１項が加えられている。これは、図２２（ｂ）に対して、図２２（ｃ）のごとく、y軸方向にｚ軸を挟んで、IREDが存在しないため、プルキンエ像が無いことで生じている項である。即ち、y方向のシフト量δyは、プルキンエ像P1,P2の中点P0から、直接的に求めることが出来ない。
【００３３】
このため、y方向のシフト量δyは、x方向のシフト量δxに対して、前述の係数b1〜b3の２次近似近似をはじめとして、収束計算での他の近似計算誤差、マイコン上の量子化誤差などが加わるため、精度が劣るという欠点を有する。
【００３４】
したがって、δxを含む式（３）、δyを含む式（４）で求められるユーザの眼球光軸17aの回転角(θx,θy)において、θxに対して、θyは精度が劣るという欠点を有する。δxを含む式（３）、δyを含む式（４）から、撮影者の眼球回転角θx、θyが算出されると、式（５）、式（６）からの個人差に関するax,bx、ay,byの補正係数を与え、ピント板上の座標が算出される。
【００３５】
ここで、θyの精度が劣るという欠点を回避するために、図２（ｂ）のごとく、発光ダイオード13a、13bに対して、y軸方向にｚ軸を挟んで、13eまたは、13fを更に照明することで、新たな角膜反射像(虚像；プルキンエ像もしくはP像)を得ることで、δyをδxと同様に、求めることで、θyを、θxと同様の精度にする必要がある。
【００３６】
これを、発光ダイオード13cの照射を追加した図２３で説明する。図２３（ａ）は、図２１（ａ）と同様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したもので、発光ダイオード13cに対応する新たな角膜反射像Ｐ３が、座標 (Xe",Ye")に、発光ダイオード13a、13bに対応する従来の角膜反射像Ｐ１、Ｐ２の座標 (Xe',Ye')、(Xd',Yd')のｙ座標から構成されるy方向Ｐ像中心が座標（xp1,yp1）にある。図２３（ｂ）は、図２２（ｃ）と同じy-z平面眼球座標図で表したものである。
【００３７】
式（４）は、
【数１２】

で表され、
補正項δyに関しては、
【数１３】

で表され、y方向のシフト量δyが、式（３）のx方向のシフト量δxと同様の式であることが判る。
【００３８】
ここで、従来の発光ダイオード13a、13bでの角膜反射像で得られる式（１１）のδyと、新たな角膜反射像を得ることで算出される式（１０）''のδyの値は、当然異なるため、得られるθyの値も異なる。即ち、眼球回転角θx、θyから、算出される式（５）、式（６）で与える個人差に関するax,bx、ay,byの補正係数も、同一個人であっても、発光ダイオード13a、13b で得られる角膜反射像から得られるax,bx、ay,by に対して、13eまたは、13fを更に照明し、新たな角膜反射像を加えて得られるay,byが異なる。
【００３９】
ここで、観察者の視線検出を行う際、必ずしも、照明光源に対応したプルキンエ像が得られるわけでは無い。特に、上側の発光ダイオード13eに対応する上側の角膜反射像は、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られるためである。前述の新たな照明光源を追加したとしてもそれに対応したプルキンエ像が得られるとは限らない。前述のごとく、個人差に関するax,bx、ay,byの補正係数も、前述の角膜反射像の状態を考慮せず、一様に与えれば、y軸方向に関しての精度に問題が依然残る。
【００４０】
そこで、従来の発光ダイオード13a、13bに対し、発光ダイオード13e、13fを追加して、照明に用いる提案がある。この様に行えば、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られたとしても、少なくとも発光ダイオード13e、13fに対応する角膜反射像のいずれかを得られる確率を増したものである。
【００４１】
発光ダイオード１３Ａ、13b、13e、13fに対応して、発光ダイオード13a、13b、３つの角膜反射像が得られた場合、前述のごとく、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、同等となる。
【００４２】
図２４は、図２１（ａ）、図２３（ａ）と同様に、この時の４つの角膜反射像が得られた場合のCCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したものである。
【００４３】
発光ダイオード13a、13b、13e、13fに対応する４つの角膜反射像が得られた場合、図２１、図２３に対して、x方向、y方向のＰ像中心位置は、各々２つの角膜反射像の座標でなく、４つの角膜反射像の座標から算出される為、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、θyばかりで無く、θxも更に向上する。
【００４４】
この様な従来提案として、３つ以上の照明光源から少なくとも２つの角膜反射像を得て、視線を算出する視線検出装置がある(例えば、特許文献３参照)。しかしながら、前述の視線検出原理に留まり、観察者の視線検出を行う際、必ずしも、照明光源に対応したプルキンエ像が得られるわけでは無い点を考慮して、個人差に関するax,bx、ay,byの補正係数を正確に与え、視線検出精度を向上させる点については、述べられていない。
【００４５】
そこで、観察者の眼球の前眼部へ投射し、眼球像から特徴点(角膜反射像及び瞳孔の中心)を得るために、y軸方向にも、新たな角膜反射像(虚像；プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、あらゆる観察条件において、観察者の視線検出精度、特にy方向の精度を向上させる提案がなされている。
【００４６】
この提案では、第一に、角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態判断手段とを設けるとともに角膜反射像状態に応じた個人差補正係数を選択使用する手段を設ける。第二に、前記視線検出手段で得られる眼球の個人差による前記視線検出手段で得られる視線の検出誤差を補正する視線補正手段に、角膜反射像状態に応じて、前記視線補正手段で得られた補正データを演算、記憶する記憶手段を設けている。
【００４７】
そして、角膜反射像状態に応じて、前記視線補正手段で得られた補正データを演算、記憶する記憶手段に、いくつかの角膜反射像状態に応じた補正データが無い場合でも、視線検出時において常に全ての角膜反射像状態が得られるように、照明光源を照明することが、おこなわれている。
【００４８】
【特許文献１】
特開平１−２７４７３６号公報
【特許文献２】
特願平３−１１４９２号公報
【特許文献３】
特開平６−０９４９７８号公報
【００４９】
【発明が解決しようとする課題】
そこで、観察者の眼球の前眼部へ投射し、眼球像から特徴点(角膜反射像及び瞳孔の中心)を得るために、y軸方向にも、新たな角膜反射像(虚像；プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、あらゆる観察条件において、観察者の視線検出精度、特にy方向の精度を向上させるとともに、視線補正手段で得られた補正データを演算、記憶する記憶手段されている、角膜反射像状態に応じた補正データに応じて、視線検出時、設けられた複数の照明光源において、照明する照明光源を選択することを可能とする必要がある。
【００５０】
【課題を解決するための手段】
y軸方向にも、新たな角膜反射像(虚像；プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、
第一に、角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態判断手段を設け、角膜反射像状態に応じた個人差補正係数を選択使用する手段を設ける。
第二に、前記視線検出手段で得られる眼球の個人差による前記視線検出手段で得られる視線の検出誤差を補正する視線補正手段に、角膜反射像状態に応じて、前記視線補正手段で得られた補正データを演算、記憶する記憶手段を設ける。
第三に、前記視線補正手段で、角膜反射像状態に応じて、前記視線補正手段で得られた補正データを演算、記憶する前記記憶手段に、どの角膜反射像状態の補正データを演算、記憶されているかを確認する視線補正データの存在状態確認手段を設ける。
第四に、前記視線補正データの存在状態確認手段で、その存在が確認された視線補正データに対応して、角膜反射像状態に為るように、照明状態の切替え手段を設ける。
上記第一の構成によれば、得られた角膜反射像に応じて、最適な個人差補正係数を用いることで、視線検出精度の向上を図ることができる。
上記第二の構成によれば、角膜反射像数に応じた個人差補正係数を、1回の視線補正手段の作動、即ち、1回の眼球の個人差による情報の取得動作で得ることが可能となる。
上記第三、第四の構成によれば、前記視線補正手段で、角膜反射像状態に応じて、前記視線補正手段で得られた補正データを演算、記憶する前記記憶手段に、記憶されている角膜反射像状態の補正データに対応した角膜反射像状態を得る照明光源の照明状態を行うことが可能となる。
【００５１】
【発明の実施の形態】
本実施形態のカメラは、撮影者の眼球の光軸の回転角を検出し、この回転角から撮影者の視線を算出する視線検出装置を有するオートフォーカスカメラである。図１には、本実施形態の一眼レフカメラの要部が概略図示されている。
【００５２】
図１において、１は撮影レンズであり、図１では便宜上２枚のレンズ１ａ、１ｂで示したが、実際は多数のレンズから構成されている。２は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。３はサブミラーで、主ミラー２を透過した光束をカメラボデイの下方へ向けて反射する。４はシャッタ、５は感光部材で、銀塩フィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子よりなっている。
【００５３】
６は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ６ａ、反射ミラー６ｂ及び６ｃ、２次結像レンズ６ｄ、絞り６ｅ、複数のＣＣＤからなるラインセンサ６ｆ等から構成されている周知の位相差方式を採用している。同図の焦点検出装置６は、図３に示すようにファインダー観察画面内３００の複数の領域（７個の焦点検出点マーク３０１から３０７）は、焦点検出領域（以下、焦点検出点）と対応し、焦点検出可能なように構成されている。
【００５４】
７は撮影レンズ１の予定結像面に配置されたピント板、８はファインダ光路変更用のペンタプリズムである。９、１０は観察画面内の被写体輝度を測定するための結像レンズと測光センサで、結像レンズ９はペンタプリズム８内の反射光路を介してピント板７と測光センサ１０とを共役に関係付けている。
【００５５】
次に、ペンタプリズム８の射出面後方には光分割器１１ａを備えた接眼レンズ１１が配され、撮影者の眼１５によるピント板７の観察に使用される。光分割器１１ａは、例えば可視光を透過し赤外光及び赤外寄りの可視光（赤色光）を反射するダイクロイックミラーより成っている。１２は受光レンズ、１４はＣＣＤ等の光電素子列を２次元的に配したイメージセンサで受光レンズ１２に関して所定の位置にある撮影者眼１５の瞳孔近傍と共役になるように配置されている。
【００５６】
イメージセンサ１４と受光レンズ１２は受光手段の一要素を構成している。１３ａ〜１３ｄ、１３ｅ〜１３ｈは各々撮影者の眼１５の照明光源（投光手段）であるところの８個の赤外発光ダイオード（図では、２個のみ図示）で、接眼レンズ１１の回りに配置されている。
【００５７】
２１は、明るい被写体の中でも視認出来る高輝度のスーパーインポーズ用ＬＥＤで、発光された光は、投光用プリズム２２を介し、主ミラー２で反射してピント板７の表示部に設けた微小プリズムアレー７aで垂直方向に曲げられ、ペンタプリズム８、接眼レンズ１１を通って撮影者の眼１５に達する。
【００５８】
そこで、ピント板７の焦点検出点に対応する複数の位置（焦点検出点マーク部）にこの微小プリズムアレイ７ａを枠上に形成し、これを各々に対応した７つのＬＥＤ２１（各々をＬＥＤ−Ｌ１、ＬＥＤ−Ｌ２、ＬＥＤ−Ｃ、ＬＥＤ−Ｒ１、ＬＥＤ−Ｒ２、ＬＥＤ−Ｔ、ＬＥＤ−Ｂとする）によって照明する。これにより、図３に示すように、各々の焦点検出点マークである３０１，３０２，３０３，３０４，３０５，３０６，３０７が、ファインダー視野内で光り、焦点検出点が表示される（以下、これをスーパーインポーズ表示という）。
【００５９】
ここで左右上下端の測距点マーク３０１、３０５、３０６，３０７は、眼球の個人差補正データ（視線補正係数）を採取する（以下この動作をキャリブレーションと称す）際に点灯するものである。本カメラのキャリブレーションは、撮影者がキャリブレーションを行う毎に、このデータが所定回数まで蓄積され、所定の平均化作業によって算出される。
【００６０】
２３は、ファインダ視野領域を形成する視野マスク、２４はファインダ視野外に撮影情報を表示するためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥＤ）２５によって照明され、ＬＣＤ２４を透過した光が三角プリズム２６によってファインダ内に導かれ、図３のファインダ視野外３０８に表示され、これを撮影者は撮影情報として観察している。２７は姿勢検知手段でありカメラの姿勢を検知するスイッチである。
【００６１】
３１は撮影レンズ１内に設けられた絞りで、３２は後述する絞り駆動回路１１１を含む絞り駆動装置である。３３はレンズ駆動用モータ、３４は駆動ギヤ等からなるレンズ駆動部材、３５はフォトカプラでレンズ駆動部材３４に連動するパルス板３６の回転を検出し、この検出結果をレンズ焦点調節回路３７に伝えている。レンズ焦点調節回路３７は、この情報とカメラ側からのレンズ駆動量の情報とに基づいてレンズ駆動用モータを所定量駆動させ、撮影レンズ１を合焦位置に移動させる。３８は公知のカメラとレンズとのインターフェースとなるマウント接点である。
【００６２】
図２（ａ）、図２（ｂ）は、本発明のカメラ本体外観図で、図１で示した交換可能な撮影レンズ１は図示されていない。図２（ａ）は、カメラの上面図、図２（ｂ）は、カメラの背面図である。
２００はカメラ本体で、２０１はレリーズボタンである。２０２は外部モニタ表示装置としてのモニタ用ＬＣＤで図８の如く、予め決められたパターンを表示する固定セグメント表示部２０２ａと、可変数値表示用の７セグメント表示部２０２ｂとからなっている。
【００６３】
２０３は測光値を保持するＡＥロック釦で、２０４ａ、２０４ｂ、２０４ｃは撮影モード等の選択を行うモード釦である。
モード釦４５ｂ、４５ｃの同時押しでは、後述する眼球の個人差補正データ（視線補正係数）を採取する「視線キャリブレーション」モードとなる。
【００６４】
２０５は電子ダイヤルで、回転してクリックパルスを発生させることによってモード釦２０４ａ、２０４ｂ、２０４ｃで選択されたモードの中でさらに選択し得るモード、及び設定値を選択するためのものである。
【００６５】
例えばモード釦２０４ａを押して電子ダイヤル２０５にてシャッタ優先の撮影モードを選択すると、ファインダ内ＬＣＤ２４及びモニタ用ＬＣＤ２０２には、現在設定されているモードとシャッタスピードが表示される。更に撮影者がモード釦２０４ａを離した後、電子ダイヤル２０５を回転させるとその回転方向に従って現在設定されているシャッタスピードから順次シャッタスピードが変化していくように構成されている。
【００６６】
このようにして撮影者がプログラムＡＥシャッタ優先ＡＥ、絞り優先ＡＥ、被写体深度優先ＡＥ、マニュアル露出の各撮影モードをモード釦２０４ａを押すことで選択し、電子ダイヤル２０５を回転させることで撮影内容を設定できる。
【００６７】
図８（ａ）、（ｂ）はモニタ用ＬＣＤ２０２とファインダ内ＬＣＤ２４である図３の３０８の全表示セグメントの内容を示した説明図である。図８（ａ）において固定表示セグメント部２０２ａには公知の撮影モード表示以外に、カメラのＡＦ動作や撮影モードの選択などの撮影動作を表示する部分を設けている。
【００６８】
８０１は、視線検出モードであることを表示する部分で、視線検出モード時に表示される。視線検出モードにするためには、モード釦２０４ｂを押して、電子ダイヤル２０５を回転操作させ、８０１を表示させることで設定する。
【００６９】
可変数値表示用の７セグメント部２０２ｂは、シャッタ秒時を表示する４桁の７セグメント８０２、絞り値を表示する２桁の７セグメント８０３と小数点８０４、フィルム枚数を表示する限定数値表示セグメント８０５と１桁の７セグメント８０６で構成されている。
【００７０】
図８（ｂ）において８１１は手ブレ警告マーク、８１２はＡＥロックマーク、８１３、８１４は、前記のシャッタ秒時表示８０２と絞り値表示８０３，８０４と同一の表示セグメント、８１５は露出補正設定マーク、８１６はストロボ充完マーク、８１７は視線入力状態であることを示す視線入力マークで、視線検出モードであることを表示する部分８０１と同様。８１８は撮影レンズ１の合焦状態を示す合焦マークである。
【００７１】
２０６は、測距点選択モード釦で、撮影者がこれを押すことで、所定の焦点検出点を電子ダイヤル２０５の操作により、点灯表示している焦点検出点から任意の焦点検出点に移動操作可能とする。
ここで、図６（ａ）でファインダー内の所定の焦点検出点マーク３０３が、点灯表示されているとすると、電子ダイヤル２０５を回すと回転方向に同期した形で図６（ｂ）、（ｃ）の如く、焦点検出点マーク３０４、３０５に移動することが可能である。そして、移動後の焦点検出点マークが点灯表示され、撮影者が選択した焦点検出点を認識可能としている。
【００７２】
更に、同方向に電子ダイヤル２０５を回すと、図６（ｄ）の如く、測距マーク３０１、３０２，３０３，３０４，３０５，３０６，３０７が同時に所定時間点灯し、測距点選択モードが、カメラが自動的に、測距点を選択する測距点自動選択モードとなったことを撮影者が認識可能としている。また、測距点選択モード釦２０６を再度押すと、電子ダイヤル２０５を回すことでの焦点検出点マークの移動方向が、測距マーク３０６，３０７を選択可能な方向に切り替わる。
【００７３】
本カメラ２００は、前述の撮影者が任意の焦点検出点を選択する事の可能な係る焦点検出点任意選択モード以外に、図３の７個の焦点検出点マークに対応する７個の焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を抽出、選択する焦点検出点自動選択モードの二つを備えている。
【００７４】
また、前述のモード釦２０４ｂ、電子ダイヤル２０５の操作で、視線検出モードであることを表示する部分８０１、８１７を表示させ、図３の７個の焦点検出点マークから選択するにあたり、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を利用して焦点検出点を選択する視線入力モードを備えている。
【００７５】
なお、本実施形態のカメラ２００は、視線入力モードに設定されている。
【００７６】
２０７は、カメラの電源スイッチでこれをＯＮ状態にすることでカメラが起動する。また、ＯＦＦ状態にすることでカメラを不作動とするロックポジションになる。点線２０８は、撮影者がカメラをホールドした状態の右手である。
【００７７】
図４は本実施形態のカメラに内蔵された電気回路の要部ブロック図である。同図において図１及び図２と同一のものは同一符号を付けている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置（以下ＣＰＵ）１００には視線検出回路１０１、測光回路１０２、自動焦点検出回路１０３、信号入力回路１０４、ＬＣＤ駆動回路１０５、バックライトＬＥＤ駆動回路１０６、図１、図２の１３ａ〜１３ｇに相当するＩＲＥＤ１〜ＩＲＥＤ８の８個のＩＲＥＤ駆動回路１０７、シャッタ制御回路１０８、モータ制御回路１０９が接続されている。 また、撮影レンズ内に配置された焦点調節回路３７、絞り駆動回路１１１とは図１で示したマウント接点３８を介して信号の伝達がなされる。
【００７８】
ＣＰＵ１００は不図示のＲＡＭを内蔵しており、視線のキャリブレーションデータを該内蔵ＲＡＭに記憶する機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、公知の視線の個人差の補正を行うための視線補正データ（以下キャリブレーションデータと称す）を取得するキャリブレーションモードが選択可能となり、各キャリブレーションデータ、及びキャリブレーション動作「ＯＦＦ」が電子ダイヤル２０５にて可能となっている。
【００７９】
ＣＰＵ１００に付随したＥＥＰＲＯＭ１００ａは記憶手段としての視線の個人差を補正する視線補正データの記憶機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、視線の個人差の補正を行なうための視線補正データ（以下「キャリブレーションデータ」と称する。）を採取するモードが選択可能となり、各キャリブレーションデータに対応したキャリブレーションナンバーの選択及びキャリブレーション動作のＯＦＦが電子ダイヤル２０５にて可能となっている。
【００８０】
キャリブレーションデータは複数設定可能で、カメラを使用する人物で区別したり、同一の使用者であっても観察の状態が異なる場合(例えば眼鏡を使用する場合とそうでない場合)、あるいは視度補正レンズを使用する場合とそうでない場合とで区別して設定するのに有効である。
【００８１】
また、この時選択されたキャリブレーションナンバーは、後述するようにキャリブレーションデータナンバー（１，２，３・・・あるいは０）としてＥＥＰＲＯＭ１００ａに記憶される。
本実施形態では、１つのキャリブレーションナンバーに記憶されているキャリブレーションデータには、後述するように、正位置と縦位置でのキャリブレーションデータと、更にその中に角膜の反射像の数とその配置によって、各々キャリブレーションデータが記憶されている。
【００８２】
視線検出回路１０１は、イメージセンサ１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ変換しこの像情報をＣＰＵに送信する。ＣＰＵ１００は後述するように、公知の視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、さらに各特徴点の位置から撮影者の視線を算出する。ＣＰＵ１００と視線検出回路１０１、そしてイメージセンサ１４は視線検出装置の一要素を構成している。
【００８３】
測光回路１０２は測光センサ１０からの出力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサの輝度情報としてＣＰＵ１００に送られる。測光センサ１０は図３に示したファインダ画面内の７個の焦点検出点マーク３０１〜３０７の各々に対応した領域を測光するＳＰＣ−ＡからＳＰＣ−Ｇの７個のフォトダイオードから構成されている。
【００８４】
焦点検出装置６ｆのラインセンサ１１６は前述のように画面内の７個の焦点検出点マーク３０１〜３０７に対応した７組のラインセンサＣＣＤ−Ｃ、ＣＣＤ−Ｒ１、ＣＣＤ−Ｒ２、ＣＣＤ−Ｌ１、ＣＣＤ−Ｌ２、ＣＣＤ−Ｔ、ＣＣＤ−Ｂから構成される公知のＣＣＤラインセンサで、焦点検出を可能としている。自動焦点検出回路１０３はこれらラインセンサ１１６から得た電圧をＡ／Ｄ変換し、ＣＰＵ１００に送る。
【００８５】
ＳＷ１はレリーズ釦２０１の第１ストロークでＯＮし、測光、ＡＦ、視線検出動作を開始する測光スイッチ、ＳＷ２はレリーズ釦２０１の第２ストロークでＯＮするレリーズスイッチ、ＡＮＧ−ＳＷ１、ＡＮＧ−ＳＷ２は姿勢検出装置２７によって検知されるところの姿勢検知スイッチである。
【００８６】
ＳＷ−ＡＥＬはＡＥロック釦２０３を押すことによってＯＮするＡＥロックスイッチ、ＳＷ−ＡＦＳは測距点選択釦２０６を押すことによってＯＮする測距点選択モードスイッチ、ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は既に説明した電子ダイヤル２０５内に設けたダイヤルスイッチで信号入力回路１０４のアップダウンカウンタ１１８に入力され、電子ダイヤル２０５の回転クイック量をカウントする。
【００８７】
これらスイッチの信号が信号入力回路１０４に入力されデータバスによってＣＰＵ１００に送信される。１０５はファインダー内ＬＣＤ２３、モニタ用ＬＣＤ２０２を表示駆動させるための公知のＬＣＤ駆動回路で、ＣＰＵ１００からの信号に従い、絞り値、シャッタ秒時、設定した撮影モード等の表示を両方に同時に表示させている。
【００８８】
ＬＥＤ駆動回路１０６は、ＬＥＤ２１（各々をＬＥＤ−Ｌ１、ＬＥＤ−Ｌ２、ＬＥＤ−Ｃ、ＬＥＤ−Ｒ１、ＬＥＤ−Ｒ２、ＬＥＤ−Ｔ、ＬＥＤ−Ｂとする）を点灯、点滅制御する。更に、点灯時、測光回路１０２からの信号をＣＰＵ１００が演算した信号に従い、点灯輝度を変化させ、ファインダー内の明るさに応じて測距点の表示を認識し易くしている。
【００８９】
ＩＲＥＤ駆動回路１０７は、撮影者が眼鏡をしない裸眼である場合に行う内周側のＩＲＥＤ１３ａ、ＩＲＥＤ１３ｂ、ＩＲＥＤ１３ｅ、ＩＲＥＤ１３ｆの４つのＩＲＥＤを同時点灯制御と、撮影者が眼鏡をしている場合に行う外周側のＩＲＥＤ１３ｃ、ＩＲＥＤ１３ｄ、ＩＲＥＤ１３ｇ、ＩＲＥＤ１３ｈの４つのＩＲＥＤを同時点灯制御を、ＣＰＵ１００の信号に従い行う。
【００９０】
シャッタ制御回路１０８は通電すると先幕を走行させるマグネットＭＧ−１と、後幕を走行させるマグネットＭＧ−２を制御し、感光部材に所定光量を露光させる。モータ制御回路１０９はフィルムの巻き上げを行うモーターＭ１と主ミラー２及びシャッタ４のチャージ、巻き戻しを行うモーターＭ２を制御している。これらシャッタ制御回路１０８、モータ制御回路１０９によって一連のカメラのレリーズシーケンズが動作する。
【００９１】
図２の点線２０８の撮影者がカメラをホールドした右手部分のグリップ兼電池室１１２は、電池１１３を内蔵しており、コネクター１１４のＰ−ＧＮＤ、ＶＢＡＴの端子とメカ的電気的に接合し、本体電源系１１５にカメラ電源を供給している。
【００９２】
コネクター１１４のＰ−ＧＮＤ、ＶＢＡＴ以外の端子とコネクター１１７の端子は、グリップ兼電池室１１２装着状態では、グリップ兼電池室１１２に端子が存在せず、接続状態になく、付属品の装着時に利用される端子である。スイッチ１１９は、グリップ兼内蔵電池室１１２，付属品の装着を認識するＳＷで装着状態でＤ−ＧＮＤと切り離されたことを検知する。
【００９３】
次に、本実施形態のカメラの動作を図５のフローチャートにしたがって説明する。図２（ｂ）の電源ＳＷ２０７を回転させてＯＮ位置にするとカメラが不作動状態からＯＮ状態になる（ステップ１００）。なお、以下ステップを「Ｓ」と略す。そして、ＣＰＵ１００の状態を確認し、焦点検出点選択モードを確認し（Ｓ１０１）、本実施形態の視線入力モードかどうかを確認する（Ｓ１０２）。
【００９４】
視線入力モードでなければ、視線入力禁止として、焦点検出点任意選択モードへ（Ｓ１０１ａ）進む。焦点検出点任意選択モードで無ければ、焦点検出点自動選択モード（Ｓ１０１ｂ）に入る。ここでは、視線情報を用いずに、図３の７個の焦点検出点マークに対応する全ての焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を選択するサブルーチンを実行する。
【００９５】
Ｓ１０１ｂ、Ｓ１０１ｃで、ＬＣＤ駆動回路１０５はファインダ内ＬＣＤ２４の視線入力マーク８１８を消灯するので、撮影者はファインダ画面外表示３０８でカメラが視線検出を行わないことを確認できる（図３，図８（ｂ））。
【００９６】
ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶された視線のキャリブレーションデータ以外の視線検出に使われる変数と、所定のカメラ状態になるように、変数がリセットされる（Ｓ１０３）。そして、カメラはレリーズ釦２０１が押し込まれてスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０４）。
【００９７】
次に、視線検出を行なう際に、どのキャリブレーション（ＣＡＬ）データを使用するかを視線検出回路１０１に確認する（Ｓ１０５）。
この時、確認されたキャリブレーションデータナンバーのキャリブレーションデータが初期値のままで変更されていない場合、視線検出はこの初期値で行われる。
【００９８】
また、同一キャリブレーションデータナンバーでも、一部キャリブレーションがなされず、初期値である場合、初期値で無いキャリブレーションデータを用いて視線検出が行われる。例えば、カメラ縦位置で、正位置しかキャリブレーションデータが存在しない場合、正位置のキャリブレーションデータが用いられる。
【００９９】
次に、前記キャリブレーションデータナンバーに対応した視線のキャリブレーションデータが所定の値に設定されていてそのデータが撮影者により入力されたものであることが認識されると、視線検出回路１０１は、視線検出を実行し、角膜の反射像の数から選択されたキャリブレーションデータから、視線検出回路１０１において検出された視線は、撮影者の注視点として、ピント板７上の注視点座標に変換される視線検出が行われる(Ｓ１０６)。
【０１００】
この時、ＬＣＤ駆動回路１０５はファインダー内ＬＣＤ２４の視線入力マーク８１７を点灯させ、ファインダー画面外３０８で撮影者はカメラが視線検出を行なっている状態であることを確認することができるようになっている（図８（ｂ））。
【０１０１】
また、７セグメント８１３には設定されたシャッタ秒時が、７セグメント８１４には設定された絞り値が、表示されている。この注視点座標がどの注視点エリアに存在するかで、図３の７個の焦点検出点マークから対応するものを選択した（Ｓ１０７）後、選択された焦点検出点マークであるフォーカスエリアが焦点検出点となり、点灯表示される（Ｓ１０８）。
【０１０２】
この対応関係を、図７で説明する。図７（ａ）で、視線検出装置の一部であるイメージセンサ１４は、ピント板７上の位置とピント板７上を観察する図３の観察画面３００の位置に対応しており、ピント板７上及び、観察画面３００上では、図７の如く、縦にＬ３，Ｌ２，Ｌ，Ｃ，Ｒ１，Ｒ２、Ｒ３の７列に、横にＴ，Ｕ，Ｃ，Ｄ，Ｂの５行で区切られた複数の注視点エリアで構成している。各注視点エリアは、縦列名・横行名で現される。例えば、左上端エリアは、Ｌ３・Ｔ、右下端エリアは、Ｒ３・Ｂである。
【０１０３】
図７（ｂ）で、太枠で囲まれた７つの注視点エリア群があって、注視点座標の存在する前記太枠で囲まれた注視点エリア群内に内包される焦点検出点が選択される。注視点座標が前記太枠で囲まれた７つの注視点エリア群に無い場合、視線検出を禁止し、焦点検出点自動選択モード（１０１ｂ）に移る。
【０１０４】
撮影者が該撮影者の視線によって選択された焦点検出点が表示されたのを見て、その焦点検出点が正しくないと認識してレリーズ釦２０１から手を離しスイッチＳＷ1 をＯＦＦすると(Ｓ１０９)、カメラはスイッチＳＷ1 がＯＮされるまで待機する(Ｓ１０４)。
【０１０５】
撮影者が選択された焦点検出点が点灯表示されたのを見て、レリーズ釦２０１を押しつづけ、スイッチＳＷ１をＯＮ続けたならば（Ｓ１０９）、選択された焦点検出点において自動焦点検出回路１０３は焦点検出動作を行う（Ｓ１１０）。
【０１０６】
焦点検出が可能（Ｓ１１１）であり、所定のアルゴリズムで選択された焦点検出点の焦点調節状態が合焦（Ｓ１１２）でなければ、ＣＰＵ１００はレンズ焦点調節回路１１０に信号を送って所定量撮影レンズ１を駆動させる（Ｓ１１３）。レンズ駆動後自動焦点検出回路１０３は再度焦点検出を行い（Ｓ１１０）、撮影レンズ１が合焦しているか否かの判定を行う（Ｓ１１２）。
【０１０７】
焦点検出が不能（Ｓ１１１）であれば、焦点検出ＮＧ表示として、図８の合焦マーク８１８を点滅させる（Ｓ１１１ａ）。更にＳＷ１がＯＮであれば、点滅を続け、ＯＦＦであれば（Ｓ１１１ｂ）、再度、ＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１０８】
所定の焦点検出点において撮影レンズ１が合焦していたならば、ＣＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってファインダ内ＬＣＤ２４の合焦マーク８１８を点灯させると共に、ＩＲＥＤ駆動回路１０７にも信号を送っての合焦している焦点検出点に合焦表示させる（Ｓ１１４）。
【０１０９】
合焦した焦点検出点がファインダ内に表示されたのを撮影者が見て、その焦点検出点が正しくないと認識してレリーズ釦４１から手を離しスイッチＳＷ１をＯＦＦすると（Ｓ１１５）、引き続きカメラはスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１１０】
また、撮影者が合焦表示された焦点検出点を見て、引き続きスイッチＳＷ１をＯＮし続けたならば（Ｓ１１５）、ＣＰＵ１００は測光回路１０２に信号を送信して測光を行わせる（Ｓ１１６）。この時合焦した焦点検出点を含む測光領域ＳＰＣ−Ａ〜ＳＰＣ−Ｇまでの７領域から選択し、重み付けを行った露出値が演算される。
【０１１１】
本実施形態の場合、測光領域ＳＰＣ−Ａ〜ＳＰＣ−Ｇ迄の７つの領域で、図３の選択された焦点検出点マークを含む測光領域を中心として、重み付けされた公知の測光演算を行い、この演算結果として外部表示部２０２の７セグメント８０３と小数点８０４、ファインダー外表示３０８の８１４を用いて絞り値（Ｆ５．６）を表示する。
【０１１２】
さらに、レリーズ釦２０１が押し込まれてスイッチＳＷ２がＯＮされているかどうかの判定を行い（Ｓ１１７）、スイッチＳＷ２がＯＦＦ状態であれば再びスイッチＳＷ１の状態の確認を行う（Ｓ１１５）。また、スイッチＳＷ２がＯＮされたならばＣＰＵ１００はシャッタ制御回路１０８、モータ制御回路１０９、絞り駆動回路１１１にそれぞれ信号を送信する。
【０１１３】
まず、ＭＧ２に通電し、主ミラー２をアップさせ、絞り３１を絞り込んだ後、ＭＧ１に通電しシャッタ４の先幕を開放する。絞り３１の絞り値及びシャッタ４のシャッタスピードは、前記測光回路１０２にて検知された露出値と感光部材であるフィルム５の感度から決定される。
【０１１４】
所定のシャッタ秒時（例えば，１／２５０秒）経過後ＭＧ２に通電し、シャッタ４の後幕を閉じる。フィルム５への露光が終了すると、ＭＧ２に再度通電し、ミラーダウン、シャッタチャージを行うと共にＭＧ１にも通電し、フィルムのコマ送りを行い、一連のシャッタレリーズシーケンスの動作が終了する（Ｓ１１８）。その後カメラは再びスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１１５】
また、図５に示したカメラのシャッターレリーズ動作(Ｓ１１８)以外の一連の動作中にモード釦４５ｂ、４５ｃの同時押しすると、眼球の個人差補正データ（視線補正係数）を採取する「視線キャリブレーション」モードに設定されたことを信号入力回路１０４が検知すると、ＣＰＵ１００はカメラの動作を一時停止し、視線検出回路１０１に送信して視線のキャリブレーション(Ｓ１１９)が可能な状態に設定する。視線のキャリブレーション方法については後述する。
【０１１６】
図９は視線検出（Ｓ１０６）のフローチャートである。前述のように視線検出回路１０１はＣＰＵ１００より信号を受け取ると視線検出を実行する(Ｓ１０６)。視線検出回路１０１は、撮影モードの中での視線検出かあるいは視線のキャリブレーションモードの中での視線検出かの判定を行なう(Ｓ２０１)。同時に視線検出回路１０１はカメラが後述するどのキャリブレーションデータナンバーに設定されているかを認識する。
【０１１７】
視線検出回路１０１は、撮影モードでの視線検出の場合はまず最初にカメラがどのような姿勢になっているかを信号入力回路１０４を介して検知する(Ｓ２０２)。信号入力回路１０４は、ＣＰＵ１００はカメラ姿勢を姿勢検出回路２７に確認する（Ｓ１０４）。図４のＡＮＧ−ＳＷ１、ＡＮＧ−ＳＷ２の出力により、正位置、図２の点線２０８の撮影者の右手が上にあるグリップ上縦位置、撮影者の右手２０８が下にあるグリップ下縦位置の３つの姿勢状態のいずれであるかを確認する。続いてＣＰＵ１００を介して測光回路１０２から撮影領域の明るさの情報を入手する(Ｓ２０３)。
【０１１８】
次に、先に検知されたカメラの姿勢情報とキャリブレーションデータに含まれる撮影者の眼鏡情報、後述するＰ像状態に応じたキャリブレーションデータの有無より赤外発光ダイオード（以下ＩＲＥＤと称す）１３ａ〜１３ｈの選択を行ない、照射される(Ｓ２０４)。Ｓ２０４を図２５のフローで説明する。
【０１１９】
即ちカメラが正位置に構えられ、撮影者が眼鏡をかけていなかったならば、図２（ｂ）に示すようにファインダー光軸よりのＩＲＥＤ１３ａ，１３ｂ，１３ｅ，１３ｆが選択される。又、カメラが正位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたＩＲＥＤ１３ｃ，１３ｄ，１３ｇ，１３ｈが選択される（Ｓ２０４１）。
【０１２０】
次に、後述するＥＥＰＲＯＭ１００ａのそれぞれのアドレス（図１１）に記憶された、３Ｐ像以上のキャリブレーションデータ（図１５、Ｓ５０３）と２Ｐ像キャリブレーションデータ（図１５、Ｓ５０４）が、初期値か、否かを確認する。そこで、初期値であるものは、キャリブレーションデータが無いと判断する（図２５のＳ２０４２）。
【０１２１】
３Ｐ像以上のキャリブレーションデータ（図１５、Ｓ５０３）があれば、ＩＲＥＤの選択に変更は無い（Ｓ２０４３）が、３Ｐ像以上のキャリブレーションデータが無ければ、前記ＩＲＥＤの選択に変更をかけ、ファインダー光軸より上側の２つのＩＲＥＤを非選択とし、下側の２つのＩＲＥＤを選択とする（Ｓ２０４４）。
【０１２２】
即ち、前記ＩＲＥＤの選択に変更をかけられた場合（Ｓ２０４４）、カメラが正位置に構えられ、撮影者が眼鏡をかけていなかったならば、図２（ｂ）に示すようにファインダー光軸よりのＩＲＥＤ１３ａ，１３ｂが選択される。
【０１２３】
また、カメラが正位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたＩＲＥＤ１３ｃ，１３ｄが選択され、照射される。
このとき撮影者の眼鏡で反射した照明光の一部は、眼球像が投影されるイメージセンサー１４上の所定の領域以外に達するため眼球像の解析に支障は生じない。また、カメラが縦位置で構えられていた場合も同様である。
【０１２４】
次に、イメージセンサー１４（以下ＣＣＤ−ＥＹＥと称す。）の蓄積時間及びＩＲＥＤの照明パワーが前記測光情報及び撮影者の眼鏡情報等に基づいて設定される(Ｓ２０５)。該ＣＣＤ−ＥＹＥの蓄積時間及びＩＲＥＤの照明パワーは前回の視線検出時に得られた眼球像のコントラスト等から判断された値を基にして設定を行なっても構わない。
【０１２５】
ＣＣＤ−ＥＹＥ蓄積時間及びＩＲＥＤの照明パワーが設定されると、ＣＰＵ１００はＩＲＥＤ駆動回路１０７を介してＩＲＥＤを所定のパワーで点灯させるとともに、視線検出回路１０１はＣＣＤ−ＥＹＥの蓄積を開始する(Ｓ２０６)。
【０１２６】
また、先に設定されたＣＣＤ−ＥＹＥの蓄積時間にしたがってＣＣＤ−ＥＹＥは蓄積を終了し、それとともにＩＲＥＤも消灯される。視線のキャリブレーションモードでなければ(Ｓ２０７)、ＣＣＤ−ＥＹＥの読みだし領域が設定される(Ｓ２０８)。
【０１２７】
カメラ本体の電源がＯＮされた後の１番最初の視線検出以外はＣＣＤ−ＥＹＥの読みだし領域は前回の視線検出時のＣＣＤ−ＥＹＥの読みだし領域を基準にして設定されるが、カメラの姿勢が変化したとき、あるいは眼鏡の有無が変化した場合等はＣＣＤ−ＥＹＥの読みだし領域は全領域に設定される。
【０１２８】
ＣＣＤ−ＥＹＥの読みだし領域が設定されると、ＣＣＤ−ＥＹＥの読みだしが実行される(Ｓ２０９)。この時読みだし領域以外の領域は空読みが行なわれ実際上読み飛ばされていく。これは、視線検出を迅速に行う為である。ＣＣＤ−ＥＹＥより読みだされた像出力は視線検出回路１０１でＡ／Ｄ変換された後にＣＰＵ１００にメモリーされ、該ＣＰＵ１００において眼球像の各特徴点の抽出のための演算が行なわれる(Ｓ２１０、Ｓ２１２)。
【０１２９】
即ち、ＣＰＵ１００において、眼球の照明に使用された４つ一組のＩＲＥＤで、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置として、図２４のＰ１(Xe',Ye')、Ｐ２(Xd',Yd')、Ｐ３(Xe",Ye")、Ｐ４(Xd",Yd")が検出される。プルキンエ像は光強度の強い輝点として現われるため、光強度に対する所定のしきい値を設け、該しきい値を超える光強度のものをプルキンエ像とすることにより検出可能である（Ｓ２１０）。
次に、瞳孔の中心位置(Ｘｉｃ′,Ｙｉｃ′) は瞳孔１９と虹彩１７の境界点を複数検出し、各境界点を基に円の最小二乗近似を行なうことにより算出される。この時瞳孔径ｒpも算出される。
【０１３０】
ＣＰＵ１００は眼球像の解析を行なうとともに、眼球像のコントラストを検出してそのコントラストの程度からＣＣＤ−ＥＹＥの蓄積時間の再設定を行なう。また、プルキンエ像の位置及び瞳孔の位置よりＣＣＤ−ＥＹＥの読みだし領域を設定する。この時ＣＣＤ−ＥＹＥの読みだし領域は、検出された瞳孔を含み該瞳孔の位置が所定量変化しても瞳孔全体が検出可能な範囲に設定される。そしてその大きさは虹彩の大きさより小さいのはいうまでもない。
【０１３１】
ＣＣＤ−ＥＹＥの読みだし領域は長方形に設定され該長方形の対角の２点の座標がＣＣＤ−ＥＹＥの読みだし領域として視線検出回路１０１に記憶される。さらに眼球像のコントラストあるいは瞳孔の大きさ等から、算出されたプルキンエ像及び瞳孔中心の位置の信頼性が判定される。（Ｓ２１０）
ここで、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像が得られることになっているが、撮影者の視線検出を行う際、観察条件、個人差によって、撮影者の上瞼、睫毛で、照明光源が遮られ、必ずしも、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無いので、プルキンエ像の数とその配置をプルキンエ像状態判別として行う（Ｓ２１１）。
【０１３２】
本実施形態では、プルキンエ像が得られない場合と１つしか得られない場合は、視線検出不可、または視線検出精度が著しく低下するので視線信頼性が無いと判断し、Ｓ２０１へ戻る。
【０１３３】
図１０で、プルキンエ像の数と配置状態について説明する。Ｐ像状態判別、Ｐ像数は、プルキンエ像（図中Ｐ像）の数に応じて、プルキンエ像が４つ存在するものを４Ｐ像状態として、Ｐ像無し状態までを示し、Ｐ像状態図は、図２４の４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の存在状態を図示し、Xpo、Ypo算出に使用されるＰ像座標は、Ｐ１(Xe',Ye')、Ｐ２(Xd',Yd')、Ｐ３(Xe",Ye")、Ｐ４(Xd",Yd")で、Xpo、Ypo算出に使用されるを示したものである。
【０１３４】
図１０の如く、４つのＩＲＥＤの撮影者眼球照明に対し、得られるプルキンエ像の配置状態は、得られるプルキンエ像の数と配置状態は、１６通りある。本実施形態では、視線検出演算、特にプルキンエ像を他の特徴点と区別して抽出選択の迅速化のため、撮影者が眼鏡をしていない裸眼を例にするとして、下側のＩＲＥＤ１３ａ、１３ｂに対応するプルキンエ像Ｐ１(Xe',Ye')、Ｐ２(Xd',Yd')を抽出した後、二つのプルキンエ像の位置よりその間隔が算出される（Ｓ２１０）。次に、ＩＲＥＤ１３ａのプルキンエ像Ｐ１(Xe',Ye')から、Ｙ軸上にプルキンエ像間隔を元に所定の係数を乗じた値の所定範囲内に存在するプルキンエ像と推定される特徴点を、ＩＲＥＤ１３ｅに対応するプルキンエ像Ｐ３(Xe",Ye")として検出する。
【０１３５】
次に、ＩＲＥＤ１３ｂに対応するプルキンエ像Ｐ２(Xd',Yd')から、Ｙ軸上に同様に、ＩＲＥＤ１３ｆに対応するプルキンエ像の位置Ｐ４(Xd",Yd")を検出する。即ち、下側のＩＲＥＤ１３ａ、１３ｂに対応するプルキンエ像Ｐ１、Ｐ２を基準にプルキンエ像Ｐ３、Ｐ４の検出を行う。
【０１３６】
これは、４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の検出を迅速に行う為と、撮影者の観察条件、個人差によって、上瞼、上睫毛で、照明光源のが遮られる可能性がある為、下側のＩＲＥＤ１３ａ、１３ｂ（１３ｃ、１３ｄ）に対応するプルキンエ像Ｐ１、Ｐ２は、極めて高い確率で得られるのに対して、上側のＩＲＥＤ１３ｅ、１３ｆ（１３ｇ、１３ｈ）に対応するプルキンエ像Ｐ３、Ｐ４は、撮影者や撮影条件により、得られない確率が高いことによる。
【０１３７】
このように本実施形態では、Ｙ軸上、下側に存在する２つのプルキンエ像の位置を基準として、視線検出に有効な図１０の太枠で囲まれた４通りのプルキンエ像の数と配置状態を判断している。図１０の太枠で囲まれた４通りのプルキンエ像の数と配置状態で無いと判断すると、視線信頼性が無いと判断し、Ｓ２０１へ戻る。Ｓ２０１へ戻り、再び、Ｓ１１１にて、視線信頼性が無いと判断とした場合は、図５の焦点検出点自動選択モードに入る。
【０１３８】
尚、図１０で、使用キャリブレーションデータは、後述するキャリブレーションで求められたキャリブレーションデータで、本実施形態では、４つのプルキンエ像の数と配置状態に対して、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つが用いられている。
【０１３９】
眼球像の解析が終了すると、キャリブレーションデータの確認手段を兼ねた視線検出回路１０１は算出されたプルキンエ像の間隔と点灯されたＩＲＥＤの組合せよりキャリブレーションデータの中の眼鏡情報が正しいか否かの判定を行なう(Ｓ２１２)。これはその時々において眼鏡を使用したり使用しなかったりする撮影者に対処するためのものである。
【０１４０】
即ち、キャリブレーションデータの中の撮影者の眼鏡情報が、例えば眼鏡を使用するように設定されていて、図２（ｂ）に示したＩＲＥＤの内ＩＲＥＤ１３ｃ，１３ｄ，１３ｇ，１３ｈが点灯された場合、プルキンエ像の間隔が所定の大きさより大きければ撮影者は眼鏡装着者と認識され眼鏡情報が正しいと判定される。
【０１４１】
逆に、プルキンエ像の間隔が所定の大きさより小さければ撮影者は裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情報が誤っていると判定される。眼鏡情報が誤っていると判定されると(Ｓ２１２)、視線検出回路１０１は眼鏡情報の変更を行なって(Ｓ２１７)再度ＩＲＥＤの選択を行ない(Ｓ２０４)視線検出を実行する。但し眼鏡情報の変更を行なう際、ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶された眼鏡情報は変更されない。
【０１４２】
また、眼鏡情報が正しいと判定されると(Ｓ２１２)、プルキンエ像の間隔よりカメラの接眼レンズ１１と撮影者の眼球１５との距離が算出され、さらには該接眼レンズ１１と撮影者の眼球１５との距離からＣＣＤ−ＥＹＥに投影された眼球像の結像倍率βが算出される(Ｓ２１３)。
【０１４３】
次に、キャリブレーションモードか否かを確認する（Ｓ２１４）。キャリブレーションモードであれば、図１４で後述するデータ処理が行われ、キャリブレーションモードで無ければ、眼球の光軸の回転角θx、θyを算出する（Ｓ２１５）。
【０１４４】
眼球１５の光軸の回転角θx、θyは従来の技術で説明した（３）（４）式を修正して
【０１４５】
【数１４】

と表わされる。
【０１４６】
但し、ｘp0，ｙp0は、前述の図１０のプルキニエ像の配置状態により、算出方法が異なる。例えば、図１０の２Ｐ像状態であれば、図２２（ａ）のプルキンエ像Ｐ１(Xe',Ye')、Ｐ２(Xd',Yd')の中点P0の座標を(xpo,ypo)として用いる。３Ｐ像状態であれば、ｘp0をプルキンエ像Ｐ１(Xe',Ye')、Ｐ２(Xd',Yd')のＸ座標の中点とし、yp0をプルキンエ像Ｐ２(Xd',Yd')、Ｐ４(Xd",Yd")、または、プルキンエ像Ｐ１(Xe',Ye'),Ｐ３(Xe",Ye")のＹ座標の中点をとする。４Ｐ像状態であれば、プルキンエ像Ｐ１(Xe',Ye')、Ｐ２(Xd',Yd')、Ｐ３(Xe",Ye")、Ｐ４(Xd",Yd")の中点P0の座標を(xpo,ypo)として用いる。
【０１４７】
δx、δyは、（１０）、（１０）″、（１１）式での二つのプルキンエ像の中心位置を補正する補正項である。δxは、（１０）式で求めるが、δyは２Ｐ像状態であれば（１１）式で求め、３Ｐ像状態と４Ｐ像状態であれば、（１０）″式で求める。δyの求め方の差は、δxと同様に扱える、Ｙ方向に直接演算可能なypoが存在するか否かである。
【０１４８】
例えば、図１０の２Ｐ像状態であれば、図２２（ａ）のプルキンエ像Ｐ１(Xd',Yd')、Ｐ２(Xe',Ye')の中点P0の座標を(xpo,ypo)として用いる。３Ｐ像状態であれば、プルキンエ像Ｐ１(Xd',Yd')、Ｐ２(Xe',Ye')のＸ座標の中点をｘp0とし、Ｙ方向はプルキンエ像Ｐ１(Xd',Yd')、Ｐ３(Xd",Yd")、または、プルキンエ像Ｐ２(Xe',Ye')、Ｐ４(Xe",Ye")のＹ座標の中点をｘp0とする。４Ｐ像状態であれば、プルキンエ像P1(Xd',Yd') )，P2(Xe',Ye'), P3(Xd",Yd")，P4(Xe",Ye")の中点P0の座標を(xpo,ypo) として用いる。このように、眼球の光軸の回転角θx、θyを算出する上でも、プルキンエ像状態判別（Ｓ２１１）が必要であることが判る。
【０１４９】
撮影者の眼球の回転角θx、θyが求まると、ピント板７上での視線の位置（ｘ，ｙ）は、従来技術で示した（５）（６）式より
【０１５０】
【数１５】

と求まる(Ｓ２１６)。但し、ａx，ａｙ，ｂx，ｂyは視線の個人差を補正するためのパラメータで、ａx，ａｙはキャリブレーションデータである。
【０１５１】
本実施形態では、図１0の如く、前記の眼球の光軸の回転角θx、θyの算出方法に合わせて、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つが用いられている。ここでも、プルキンエ像状態判別（Ｓ２１１）が必要であることが判る。
ここで、水平方向（ｘ方向）と垂直方向（y方向）の眼球の光軸と視軸との補正量に相当するｂx，ｂｙは、
【０１５２】
【数１６】

と表わされ、瞳孔径ｒpの関数である。ここでｒxは定数で、ｋx，ｋy，ｂ0x，ｂ0yはキャリブレーションデータである。この視線のキャリブレーションデータを求める方法は後述する。
【０１５３】
また、視線のキャリブレーションデータの信頼性に応じて、（５），（６），（１５），（１６）式を用いて算出された視線の座標の信頼性が変更される。ピント板７上の視線の座標が求まると視線検出を１度行なったことを示すフラグをたてて(Ｓ２１７)、メインのルーチンに復帰する(Ｓ２１８)。
【０１５４】
また、図９に示した視線検出のフローチャートは視線のキャリブレーションモードにおいても有効である。Ｓ２０１において、キャリブレーションモードの中での視線検出であると判定すると次に今回の視線検出がキャリブレーションモードの中での最初の視線検出であるか否かの判定を行なう(Ｓ２２０)。
【０１５５】
今回の視線検出がキャリブレーションモードの中での最初の視線検出であると判定されると、ＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーを設定するために周囲の明るさの測定が行なわれる(Ｓ２０３)。これ以降の動作は前述の通りである。
【０１５６】
また、今回の視線検出がキャリブレーションモードの中で２回目以上の視線検出であると判定されると(Ｓ２０１)、ＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーは前回の値が採用され直ちにＩＲＥＤの点灯とＣＣＤ−ＥＹＥの蓄積が開始される(Ｓ２０６)。
【０１５７】
また、視線のキャリブレーションモードでかつ視線検出回数が２回目以上の場合は(Ｓ２０７)、ＣＣＤ−ＥＹＥの読みだし領域は前回と同じ領域が用いられるためＣＣＤ−ＥＹＥの蓄積終了とともに直ちにＣＣＤ−ＥＹＥの読みだしが実行される(Ｓ２０９)。これ以降の動作は前述の通りである。
【０１５８】
尚、図９に示した視線検出のフローチャートにおいてメインのルーチンに復帰する際の変数は、通常の視線検出の場合視線のピント板上の座標（ｘ，ｙ）であるが、視線のキャリブレーションモードの中での視線検出の場合は撮影者の眼球光軸の回転角（θx ，θy ）である。又、他の変数である検出結果の信頼性、ＣＣＤ−ＥＹＥ蓄積時間、ＣＣＤ−ＥＹＥ読みだし領域等は共通である。
【０１５９】
また、本実施形態においてＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーを設定するために、カメラの測光センサー１０にて検出された測光情報を利用している。
【０１６０】
図１２〜図１５は視線のキャリブレーションのフローチャート、図１７〜図１９は視線のキャリブレーション時のファインダー内ＬＣＤ３０８とモニター用ＬＣＤ２０２の表示状態を示したものである。本実施形態においては、ファインダー視野内の図３の７個の焦点検出点マークの内、４つのの焦点検出点マーク３０５，３０１，３０６，３０７を視標１、視標２、視標３、視標４として、順次、１回注視してもらい、そのときの視線を検出することにより、視線のキャリブレーションを実行している。以下同図を用いて説明する。
【０１６１】
図１２において、撮影者がモード釦４５ｂ、４５ｃの同時押しすると、視線のキャリブレーションモードに設定され、信号入力回路１０４はＣＰＵ１００を介してＬＣＤ駆動回路１０５に信号を送信し、ファインダー内ＬＣＤ３０８では、図３（ｂ）のシャッター秒時表示部８１３と絞り表示部８１４で、モニター用ＬＣＤ２０２では、同様にシャッター秒時表示部８０２と絞り表示部８０３で、図１７の後述する視線のキャリブレーションモードのいずれかに入ったことを示す表示を行なう（Ｓ２１８）。ＣＰＵ１００はＥＥＰＲＯＭ１００ａに記憶されたキャリブレーションデータ以外の変数をリセットする(Ｓ３０１)。
【０１６２】
図１１はＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶されるキャリブレーションデータの種類とその初期値を示したものである。一度もキャリブレーションが行われていないので、全て初期値である。キャリブレーションデータナンバー１〜５に対応したＥＥＰＲＯＭ１００ａのアドレス上にはそれぞれに、カメラ姿勢情報、眼鏡情報（眼鏡は「１」、裸眼は「０」）、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つのax，ay，ｋx，ｋy，ｂ0x，ｂ0yが記憶されている。（実施形態においては説明のためにデータを５つ記憶できるようにしているが、もちろんＥＥＰＲＯＭの容量によっていかようにも設定できる）。
【０１６３】
キャリブレーションデータの初期値は標準の眼球パラメータで視線が算出されるような値に設定されている。さらに撮影者が眼鏡を使用するか否か、そしてキャリブレーションデータの信頼性の程度を表わすフラグも有している。眼鏡の有無を表わすフラグの初期値は眼鏡を使用しているように「１」に設定され、またキャリブレーションデータの信頼性のフラグの初期値は信頼性が無いように「０」に設定されている。
【０１６４】
また、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２には図１７（ａ）に示すように現在設定されているキャリブレーションモードを表示する。そのほかの表示部はすべて消灯している（実施形態としてキャリブレーションナンバー１の状態を示し、７セグメント表示部のみを拡大して示している）。
【０１６５】
この時、設定されたキャリブレーションナンバーのキャリブレーションデータが初期値の場合はモニター用ＬＣＤ４２に表示されたキャリブレーションナンバーが点滅し（図１７（ｂ）、一方設定されたキャリブレーションナンバーにおいて既にキャリブレーションが行われ、キョリブレーションナンバーに対応したＥＥＰＲＯＭのアドレス上に初期値と異なるキャリブレーションナンバーが入っていればファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されたキャリブレーションナンバーがフル点灯するようになっている（図１７（ａ））。
【０１６６】
その結果、撮影者は現在設定されている各々のキャリブレーションナンバーに既にキャリブレーションデータが入っているかどうかを認識できるようになっている。又、図１７（ａ）の様にキャリブレーションデータナンバーの初期値は「１」に設定されている。
【０１６７】
図１２に戻り続いてＣＰＵ１００に設定されたタイマーがスタートし視線のキャリブレーションを開始する(Ｓ３０２)。タイマースタート後所定の時間中にカメラに対して何の操作もなされなかったならば視線検出回路１０１は、ファインダー内に視線のキャリブレーション用の視標が点灯していれば消灯（Ｓ３０４）してメインにリターンされる（Ｓ３３８）。
【０１６８】
撮影者が電子ダイヤル２０５を回転させると、前述のようにパルス信号によってその回転を検知した信号入力回路１０４はＣＰＵ１００を介してＬＣＤ駆動回路１０５に信号を送信する。その結果電子ダイヤル２０５の回転に同期して、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されたキャリブレーションナンバーが変化する。この様子を図１８に示す。
【０１６９】
まず電子ダイヤル２０５を時計方向に回転させると「ＣＡＬ−１」→「ＣＡＬ−２」→「ＣＡＬ−３」→「ＣＡＬ−４」→「ＣＡＬ−５」と変化し、後述のキャリブレーション操作で撮影者は希望する５つのキャリブレーションナンバーのいずれかにキャリブレーションデータを記憶させることができる。
【０１７０】
そして図１８に示した状態は「ＣＡＬ−１，２，３」にはすでにキャリブレーションデータが入っており、「ＣＡＬ−４，５」には入っておらず初期値のままであることを表わしている。反時計方向に回転させた場合は図１８の方向と正反対に表示する。
【０１７１】
このようにしてファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されるキャリブレーションナンバーを見ながら撮影者が所望のキャリブレーションナンバーを選択したら、視線検出回路１０１はこれに対応するキャリブレーションデータナンバーの確認を信号入力回路１０４を介して行なう(Ｓ３０３)。確認されたキャリブレーションデータナンバーはＣＰＵ１００のＥＥＰＲＯＭ１００ａの所定のアドレス上に記憶される。但し、確認されたキャリブレーションデータナンバーが変更されていなければＥＥＰＲＯＭ１００ａへのキャリブレーションデータナンバーの記憶は実行されない。
【０１７２】
続いて視線検出回路１０１は信号入力回路１０４を介して撮影モードの確認を行なう(Ｓ３０４)。撮影者が操作部材の操作で、視線のキャリブレーションモード以外の撮影モードに切り換えていることが確認されたら、ファインダー内に視線のキャリブレーション用の視標が点滅していれば、それを消灯させて(Ｓ３０５)メインのルーチンであるカメラの撮影動作に復帰する(Ｓ３４８)。
【０１７３】
そしてキャリブレーションナンバー「ＣＡＬ１〜５」が表示されている状態で他の撮影モード（シャッター優先ＡＥ）に切り換えれば、そのキャリブレーションナンバーのデータを用いて視線検出を行ない、前述の視線情報を用いた撮影動作が行なえるようになっている。この時、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２は、撮影モード表示以外に、図３（ａ）（ｂ）の視線入力モード表示８１７、８０１を点灯させて、視線情報をもとに撮影動作を制御している視線入力モード（視線撮影モード）であることを撮影者に知らせている。
【０１７４】
ここで再度、撮影者がモード釦４５ｂ、４５ｃの同時押しすると、視線のキャリブレーションモードに設定され、前述の視線検出に用いているキャリブレーションナンバーが表示され、キャリブレーション動作がスタートする。
【０１７５】
視線のキャリブレーションモードに設定されたままであることが確認されると、電子ダイヤル２０５にて設定されたキャリブレーションデータナンバーの確認を再度行ない(Ｓ３０４)、引続きＣＰＵ１００は信号入力回路１０４を介してカメラの姿勢を検知する(Ｓ３０５)。信号入力回路１０４は姿勢検知装置２７の出力信号を処理してカメラが正位置であるか縦位置であるか、又縦位置である場合は例えばグリップが天方向（上）にあるか地面方向（下）にあるかを判断する。
【０１７６】
カメラの姿勢が正位置であることが検知されると(Ｓ３０６)、視線検出回路１０１は視線検出回数ｎを０に設定する(Ｓ３０７)。但し視線検出回数ｎが４０回の時はその回数を保持する。この時ファインダー内ＬＣＤ３０８において、「ＣＡＬ」表示が点滅していたらその点滅を中止する。視線のキャリブレーションはスイッチＳＷ1 をＯＮにすることにより開始されるように設定されている。
【０１７７】
撮影者が視線のキャリブレーションを行なう準備が整う以前にカメラ側でキャリブレーションを開始するのを防ぐために、視線検出回路１０１はスイッチＳＷ1の状態の確認を行いスイッチＳＷ1がレリーズ釦２０１によって押されていてＯＮ状態であればスイッチＳＷ1がＯＦＦ状態になるまで待機する(Ｓ３０８)。
【０１７８】
視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ1がＯＦＦ状態であることを確認すると(Ｓ３０８)、視線検出回路１０１はＬＥＤ駆動回路１０６に信号を送信して視線のキャリブレーション用の視標１である焦点検出点マーク３０５を点滅させる(Ｓ３０９、図１６（Ａ））。
【０１７９】
視線のキャリブレーションの開始のトリガー信号であるスイッチＳＷ1のＯＮ信号が入ってなければカメラは待機する(Ｓ３１０)。又、点滅を開始した視標１を撮影者が注視しレリーズ釦２０１を押してスイッチＳＷ1をＯＮしたら(Ｓ３１０)視線検出が実行される(図１３、Ｓ３１１)。
【０１８０】
次に、視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θx，θy，瞳孔径ｒp及び各データの信頼性を記憶する(Ｓ３１２)。視線検出の動作は図１１のフローチャートで説明した通りであるが、図９のキャリブレーションモードか否か（Ｓ２１４）の部分で異なり、キャリブレーションモードであれば、図１４に示すフローチャートに進み、瞳孔径ｒp 及び各データの信頼性を記憶する部分は、同様であるが、この眼球の回転角θx ，θyを演算、記憶するフローチャートで通常の視線検出と異なる。
【０１８１】
ここで、図１４のフローチャートを用いて、キャリブレーションモードでの眼球の回転角θx ，θyを演算、記憶（Ｓ３１２）を説明する。図９のキャリブレーションモードが確認される（Ｓ２１４）と、プルキンエ像の数とその配置をプルキンエ像状態判別（Ｓ２１１）の結果であるプルキンエ像（Ｐ像）数の確認が行われる（Ｓ４０２）。
【０１８２】
Ｐ像数が４つ、即ち４Ｐ像状態であれば、前述の如く、回転角θx，θyは、プルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４から、θ4px、θ4pyとして算出され（Ｓ４０６）、θ4px、θ4pyが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの４Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４０７）。
【０１８３】
θ4px、θ4pyが所定範囲外であれば、視標を注視していないとして、眼球の回転角として、不適切であるとして、ＥＥＰＲＯＭ１００ａに記憶されない。更に、プルキンエ像Ｐ１、Ｐ２から、θ2px、θ2pyとして算出され（Ｓ４１０）、θ2px、θ2pyが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。所定範囲外であれば、ＥＥＰＲＯＭ１００ａに記憶されない。
【０１８４】
Ｐ像数が３つ、即ち３Ｐ像状態であれば、前述の如く、回転角θx，θyは、プルキンエ像Ｐ１、Ｐ２、Ｐ３、またはＰ４から、θ3px、θ3pyとして算出され（Ｓ４０８）、θ3px、θ3pyが所定範囲にあるかの確認が行われ（Ｓ４０８ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの３Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４０９）。更に、プルキンエ像Ｐ１、Ｐ２から、θ2px、θ2pyとして算出され（Ｓ４１０）、θ2px、θ2pyが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。所定範囲外であれば、眼球の回転角として、不適切であるとして、ＥＥＰＲＯＭ１００ａに記憶されない。
【０１８５】
このように、キャリブレーションモードでは、Ｐ像数が３つ以上、即ち４Ｐ像状態、３Ｐ像状態であれば、１回の視線検出結果から、２Ｐ像状態のキャリブレーションデータをも算出し、記憶している。
Ｐ像数が２つ、即ち２Ｐ像状態であれば、プルキンエ像Ｐ１、Ｐ２から、θ2px、θ2pyとして算出され（Ｓ４１０）、θ2px、θ2pyが所定範囲にあるかの確認が行われ（Ｓ４１０ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。
【０１８６】
ここでは、視標１点滅（Ｓ３０９）の状態であるので、視標１のアドレスに記憶したが、点滅する視標に応じて、記憶されるアドレスが設けてある。
【０１８７】
再び、図１３に戻り、眼球の回転角θx ，θy，瞳孔径ｒp 及び各データの信頼性を記憶する(Ｓ３１２)と、更に視線検出回数ｎをカウントアップする(Ｓ３１３)。撮影者の視線は多少ばらつきがあるため正確な視線のキャリブレーションデータを得るためには１点の視標に対して複数回の視線検出を実行してその平均値を利用するのが有効である。
【０１８８】
本実施形態においては１点の視標に対する視線検出回数は１０回と設定されている。視線検出回数ｎが１０回でなければ(Ｓ３１４)視線検出が続行される(Ｓ３１１)。視線検出回数ｎが１０回であれば視標１（焦点検出点マーク３０５）に対する視線検出を終了し、視標１に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる(Ｓ３１５)。
【０１８９】
同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標１を所定の時間フル点灯させ、撮影者に視標１でのキャリブレーションデータ採取終了を知らせる(Ｓ３１５)。引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ1 がＯＦＦ状態になっているかどうかの確認を行なう(Ｓ３１８)。
【０１９０】
スイッチＳＷ1 がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ1 がＯＦＦ状態であれば視標１が消灯しそれと同時に左端の視標２（焦点検出点マーク３０１）が点滅を開始する(Ｓ３１７)（図１６（ｂ））。
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ1がＯＮ状態になっているかどうかの確認を行なう(Ｓ３１８)。スイッチＳＷ1がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ1がＯＮされたら視線検出を実行する(Ｓ３１９)。
【０１９１】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θx，θy、瞳孔径ｒp及び各データの信頼性を記憶する(Ｓ３２０)。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標２のアドレスに記憶される。
【０１９２】
更に、視線検出回数ｎをカウントアップする(Ｓ３２１)。更に、視線検出回数ｎが２０回でなければ(Ｓ３２２)視線検出が続行される(Ｓ３１９)。視線検出回数ｎが２０回であれば視標２に対する視線検出を終了するし、視標２に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。
【０１９３】
同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標２をフル点灯させ、撮影者に視標２でのキャリブレーションデータ採取終了を知らせる(Ｓ３２３)。
【０１９４】
引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ1がＯＦＦ状態になっているかどうかの確認を行なう(Ｓ３２４)。スイッチＳＷ1がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ1がＯＦＦ状態であれば視標２が消灯し、それと同時に上端の視標３（焦点検出点マーク３０６）が点滅を開始する(Ｓ３２５)（図１６（Ｃ））。
【０１９５】
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ1がＯＮ状態になっているかどうかの確認を行なう(Ｓ３２６)。スイッチＳＷ1がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ1がＯＮされたら視線検出を実行する(Ｓ３２７)。
【０１９６】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θx，θy、瞳孔径ｒp 及び各データの信頼性を記憶する(Ｓ３２８)。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標３のアドレスに記憶される。
【０１９７】
更に、視線検出回数ｎをカウントアップする(Ｓ３２９)。更に、視線検出回数ｎが３０回でなければ(Ｓ３３０)視線検出が続行される(Ｓ３２７)。視線検出回数ｎが３０回であれば視標３に対する視線検出を終了するし、視標３に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標３をフル点灯させ、撮影者に視標３でのキャリブレーションデータ採取終了を知らせる(Ｓ３３１)。
【０１９８】
引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ1がＯＦＦ状態になっているかどうかの確認を行なう(Ｓ３３２)。スイッチＳＷ1がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ1がＯＦＦ状態であれば視標３が消灯し、それと同時に下端の視標４（焦点検出点マーク３０６）が点滅を開始する(Ｓ３３３)（図１６（ｄ））。
【０１９９】
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ1がＯＮ状態になっているかどうかの確認を行なう(Ｓ３３４)。スイッチＳＷ1がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ1がＯＮされたら視線検出を実行する(Ｓ３３５)。
【０２００】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θx，θy、瞳孔径ｒp 及び各データの信頼性を記憶する(Ｓ３３６)。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標４のアドレスに記憶される。
【０２０１】
更に、視線検出回数ｎをカウントアップする(Ｓ３３７)。更に視線検出回数ｎが４０回でなければ(Ｓ３３８)視線検出が続行される(Ｓ３３５)。視線検出回数ｎが４０回であれば視標４に対する視線検出を終了するし、視標４に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。
【０２０２】
同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標４をフル点灯させ、撮影者に視標４でのキャリブレーションデータ採取終了を知らせる(Ｓ３３９)。これで視標１、視標２、視標３、視標４に対して視線検出が行なわれたなので、視線のキャリブレーションデータを求めるための視線検出は終了する。
【０２０３】
更に、視線検出回路１０１に記憶された眼球の回転角θx，θy、瞳孔径ｒp より視線のキャリブレーションデータが算出される(Ｓ３４５)。視線のキャリブレーションデータの算出方法の概略は、以下の通りである。
【０２０４】
ピント板７上の視標１、視標２、視標３、視標４の座標をそれぞれ（ｘ1，０），（ｘ2，０），（０，y3），（０，y4）、ＥＥＰＲＯＭ１００ａに記憶された視標１、視標２、視標３、視標４を注視したときの眼球の回転角（θx,θy）の平均値を（θx1，θy1），（θx2，θy2），（θx3，θy3），（θx4,θy4）とする。また、瞳孔径の平均値をｒ1，ｒ2，ｒ3，ｒ4とする。
【０２０５】
Ｘ方向のキャリブレーションデータを求めるにあたっては、視標１、視標２のデータを用い、式（６）、（１６）より、Ｙ方向のキャリブレーションデータを求めるにあたっては、視標３、視標４のデータを用いる。そこで、瞳孔径の平均値のｒ1，ｒ2の加重平均をrpx、瞳孔径の平均値のｒ３，ｒ４の加重平均をrpyとすることで、ａx，ａｙ,ｋx，ｋy，ｂ0x，ｂ0Yのキャリブレーションデータが求まる。
例えば、rpx, rpy ≧ rpの時、kx, ky = 0 と設定してされており、
【０２０６】
【数１７】

【０２０７】
前述の如く、（θx1，θy1），（θx2，θy2），（θx3，θy3），（θx4,θy4）、それぞれには、４Ｐ像状態での（θ4px,θ4py）の平均値、３Ｐ像状態での（θ3px,θ3py）の平均値、２Ｐ像状態での（θ2px,θ2py）の平均値が存在し、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つのキャリブレーション値算出（Ｓ３４０）について、図１５のフローチャートで説明する。
【０２０８】
まず、ＥＥＰＲＯＭ１００ａに記憶、蓄積された視標１〜４の２Ｐ像状態での（θ2px,θ2py）のデータ数を確認する（Ｓ５０１）。１０回の視線検出を行って、所定範囲内（４１０ａ）にある２Ｐ像状態での（θ2px,θ2py）のデータが６以下であれば、キャリブレーションデータを算出しても信頼性が無いとして、再度、キャリブレーションを行う。
（θ2px,θ2py）のデータが７以上であれば、ＥＥＰＲＯＭ１００ａに記憶、蓄積された視標１〜４の４Ｐ像状態での（θ4px,θ4py）のデータ数を確認する（Ｓ５０１）。（θ4px,θ4py）のデータ数が５以上であれば、キャリブレーションデータの信頼性があるとして、３Ｐ像以上のキャリブレーションデータの算出が行われる（Ｓ５０３）。 上記のキャリブレーションデータを求める（θx1，θy1），（θx2，θy2），（θx3，θy3），（θx4, θy4）には、それぞれには、４Ｐ像状態での（θ4px, θ4py）の平均値、３Ｐ像状態での（θ3px,θ3py）の平均値の加重平均値で、前記計算に基づき、ａx，ａｙ,ｋx，ｋy，ｂ0x，ｂ0Yのキャリブレーションデータが求められる（Ｓ５０３）。
【０２０９】
４Ｐ像状態と３Ｐ像状態のキャリブレーションデータをまとめて、３Ｐ像以上のキャリブレーションデータとしているのは、眼球回転角のθyであるθ4pyとθ3pyが同一の(4)''式で算出されており、両者の値に差が極めて少ないため、同一キャリブレーションデータとし、データアドレス部の縮小を計った。
【０２１０】
次に、２Ｐ像状態のキャリブレーションデータの算出が行われる（Ｓ５０４）。前記のキャリブレーションデータを求める（θx1，θy1），（θx2，θy2），（θx3，θy3），（θx4, θy4）には、２Ｐ像状態での（θ2px, θ2py）の平均値が用いられる。
【０２１１】
このように、１回のキャリブレーションデータ算出で、３Ｐ像以上のキャリブレーションデータと２Ｐ像状態のキャリブレーションデータの２つが算出される。（θ4px, θ4py）のデータ数が４以下であれば、３Ｐ像以上のキャリブレーションデータの算出の信頼性が無く、２Ｐ像状態のキャリブレーションデータの算出のみが行われる（Ｓ５０４）。
【０２１２】
再び、図１３に戻り、視線のキャリブレーションデータ算出（Ｓ３４０）後、あるいは視線検出の終了後にタイマーがリセットされる(Ｓ３４１)。また、キャリブレーションデータの信頼性の判定手段を兼ねた視線検出回路１０１は算出された視線のキャリブレーションデータが適正かどうかの判定を行なう(Ｓ３４２)。
【０２１３】
算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。
【０２１４】
算出された視線のキャリブレーションデータが不適性と判定されると(Ｓ３４９)、ＬＥＤ駆動回路１０６はスーパーインポーズ用ＬＥＤへの通電を止めて視標４を消灯する(Ｓ３４９)。更に視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を所定時間鳴らし視線のキャリブレーションが失敗したことを警告する。同時にＬＣＤ駆動回路１０５に信号を送信しファインダー内ＬＣＤ３０８及びモニター用ＬＣＤ２０２に「ＣＡＬ」表示を点滅させて警告する(Ｓ３５０)（図１７（ｃ））。
【０２１５】
発音体による警告音とＬＣＤ３０８，２０２による警告表示を所定時間行なった後キャリブレーションルーチンの初期ステップ(Ｓ３０１)に移行し再度視線のキャリブレーションを実行できる状態に設定される。
【０２１６】
また、算出された視線のキャリブレーションデータが適正であれば(Ｓ３４２)、視線検出回路１０１はＬＣＤ駆動回路１０５、ＬＥＤ駆動回路１０６を介して視線のキャリブレーションの終了表示を行なう(Ｓ３４３)。ＬＣＤ駆動回路１０５はファインダー内ＬＣＤ３０８及びモニター用ＬＣＤ２０２に信号を送信して、「Ｅｎｄ−キャリブレーションＮｏ」の表示を所定時間実行するようになっている（図１９（ｂ））。
【０２１７】
視線検出回路１０１は視線検出回数ｎを１に設定し(Ｓ３４４)、更に算出された視線のキャリブレーションデータを現在設定されているキャリブレーションデータナンバーに相当するＥＥＰＲＯＭのアドレス上に記憶する(Ｓ３４５)。この時記憶を行なおうとするＥＥＰＲＯＭのアドレス上に既に視線のキャリブレーションデータが記憶されている場合はキャリブレーションデータの更新を行なう。
【０２１８】
一連の視線のキャリブレーション終了後、カメラは撮影者によって電子ダイヤル２０５か、あるいはモード釦２０４ａ２０４ｂ、２０４ｃが操作されるまで待機する。撮影者が電子ダイヤル２０５を回転させて他のキャリブレーションナンバーを選択したならば、視線検出回路１０１は信号入力回路１０４を介してキャリブレーションナンバーの変更を検知し(Ｓ３４６)、視線のキャリブレーションルーチンの初期ステップ(Ｓ３０１)に移行する。
【０２１９】
また、撮影者がモード釦２０４ａ２０４ｂ、２０４ｃを操作させて、他の撮影モードを選択したならば、視線検出回路１０１は信号入力回路１０４を介して撮影モードの変更を検知し(Ｓ３４７)メインのルーチンに復帰する(Ｓ３４８)。
【０２２０】
尚、本実施形態においては１点の視標を注視しているときの視線検出回数を１０回にして視線のキャリブレーションを行なった例を示したが１０回以上の回数で行なっても構わない。
【０２２１】
本実施形態では、視線検出精度を高める為、撮影者の視線検出を行う際、撮影者の眼球を４つのＩＲＥＤで照明する場合、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像が得られることになっているが、撮影条件、個人差によって、撮影者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無い場合でも、図１０のプルキンエ像の数と配置の状態を判別（図９、Ｓ２１１）して、予め前記状態に応じたキャリブレーションデータである３Ｐ像以上のキャリブレーションデータと２Ｐ像キャリブレーションデータの２つを用意し、選択使用することで、視線検出精度の向上を可能としている。
【０２２２】
また、図１０の１６通りのプルキンエ像の数と配置の状態から、プルキンエ像の存在確率と視線検出演算精度の２つから、下側２つのＰ像を基準とした４通りの前記状態の判別に簡略化することにより、視線検出演算、即ち視線検出速度のの迅速化をはかっている。
【０２２３】
これらを撮影者の視線検出での焦点検出点マークの選択で本実施形態の効果を説明する。図３（ｂ）のカメラ正位置で、撮影者が中央の焦点検出点マーク３０３を注視して視線検出で選択する場合、視線検出結果が注視点エリアＣ・Ｃであれば、焦点検出点マーク３０３を選択するが、注視点エリアＣ・Ｃは、他の焦点検出点マークを選択する注視点エリアに対して、ｙ方向の長さが短い。撮影者の意識が焦点検出点マーク３０３にあったとしてもその注視点はある程度バラツクと考えると、ここで、従来例の説明の如く、視線検出が下側２つのＰ像Ｐ１、Ｐ２に演算された場合、ｙ方向の精度がｘ方向に対して劣る為、上下の焦点検出点マーク３０６、３０３を選択する可能性が高い。
【０２２４】
本実施形態の如く、撮影者の眼球を４つのＩＲＥＤで照明すると、４つのプルキンエ像が得られることで、ｙ方向の精度は、ｘ方向の精度と同等になることで、撮影者が中央の焦点検出点マーク３０３が可能となる。
【０２２５】
ここで、撮影者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無い場合でも、前記３つのプルキンエ像が得られれば、ｙ方向の精度は、ほぼｘ方向の精度と同等になることで、撮影者が中央の焦点検出点マーク３０３が可能としている。
【０２２６】
更に縦位置では、図３（ｂ）を９０度回転させた状態となり、撮影者のｙ方向には、焦点検出点マーク３０１、３０２、３０３、３０４、３０５の５つが並び、正位置以上にｙ方向の前記精度向上が効果を示す。また、前記下側２つのプルキンエ像しか得られ無い場合でも、２つのプルキンエ像に応じたキャリブレーションデータにて、視線検出を行うので、異なったプルキンエ像状態（４つ、３つのプルキンエ像）のキャリブレーションデータを用いることでの検出精度低下を防いでいる。
【０２２７】
そして、プルキンエ像の数と配置の状態の簡略化で、焦点検出点マークの選択をより迅速に行うことを可能としている。通常、キャリブレーションデータの取得である４つの視標１〜４を各１０回の視線検出で行われるキャリブレーションにおいて、図１０のプルキンエ像の数と配置の状態を判別（図９Ｓ２１１）して、図１４の如く、眼球光軸の回転角、θｘ、θｙの算出に於いて、プルキンエ像数が４つである場合には、４つのプルキンエ像から（θ4px,θ4py）と下側２つから（θ2px,θ2py）を、３つである場合には、３つのプルキンエ像から（θ3px,θ3py）と下側２つから（θ2px,θ2py）を、２つである場合には、プルキンエ像数が下側２つから（θ2px,θ2py）を、一回の視線検出で得られた情報から、図１０のプルキンエ像の数と配置の状態に応じた眼球光軸の回転角θｘ、θｙの算出を同時に行い、それぞれをＥＥＰＲＯＭ１００ａのアドレスに記憶する。
【０２２８】
具体的には、図１５の如く、キャリブレーションデータの採取が終わった時点で、それぞれのアドレスに記憶された（θ4px,θ4py）、（θ3px,θ3py）と、（θ2px,θ2py）の平均値から、３Ｐ像以上のキャリブレーションデータと２Ｐ像キャリブレーションデータの２つを算出している。
【０２２９】
このことにより、撮影者は、２つのキャリブレーションデータを得るために、新たなキャリブレーションデータ取得動作、操作を行う事無く、従来のキャリブレーション動作と全く同じ１回のキャリブレーションデータ取得動作で、視線検出精度向上のための２つの３Ｐ像以上のキャリブレーションデータと２Ｐ像キャリブレーションデータを取得可能としている。
【０２３０】
そして、眼球光軸の回転角、θｘ、θｙの算出が、４Ｐ像状態と３Ｐ像状態の同一式であることから、４Ｐ像状態と３Ｐ像状態のキャリブレーションデータを３Ｐ像以上のキャリブレーションデータとして一つにまとめることで、演算の簡略化とデータアドレス部の縮小をはかった。
【０２３１】
図１５で、それぞれのアドレスに記憶された（θ4px,θ4py）、（θ3px,θ3py）と、（θ2px,θ2py）のデータ数を確認することで、信頼性の無いキャリブレーションデータを算出しない効果を得ている。しかし、キャリブレーション時、撮影者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られず、下側２つのプルキンエ像しか得られない場合、前記（θ2px,θ2py）の平均値、即ち、２Ｐ像キャリブレーションデータ（図１５、Ｓ５０４）しか、ＥＥＰＲＯＭ１００ａのアドレス（図１１）に記憶されていない。
【０２３２】
ここで、視線検出の際、４つのＩＲＥＤを照明することで、撮影者の３つ、または、４つのＰ像を得ることは、それに対応する３Ｐ像以上のキャリブレーションデータ（図１５、Ｓ５０３）が存在しないので、意味を為さない。即ち、４つのＰ像を得るために、上側２つ、下側２つのあわせて、４つのＩＲＥＤを照明することが、意味を為さない。
【０２３３】
そこで、視線検出時、図９のＳ２０３、図２５のＳ２４０１のキャリブレーションデータ存在確認手段として、ＥＥＰＲＯＭ１００ａのそれぞれのアドレス（図１１）に記憶された、３Ｐ像以上のキャリブレーションデータ（図１５、Ｓ５０３）と２Ｐ像キャリブレーションデータ（図１５、Ｓ５０４）が、初期値か、否かを確認する（図２５のＳ２０４２）が、２Ｐ像キャリブレーションデータしか初期値で無いこと、即ち２Ｐ像キャリブレーションデータしか存在しないことが確認される。
【０２３４】
そこで、２Ｐ像キャリブレーションデータしかないことが確認されると、照明状態の切替え手段として、カメラ正位置で、撮影者が裸眼であれば、下側かつ内側のＩＲＥＤ１３ａ、１３ｂ、眼鏡であれば、下側かつ外側のＩＲＥＤ１３ｃ、１３ｄ、いずれにしても下側の２つのＩＲＥＤを照明する。
【０２３５】
このように存在するキャリブレーションデータの確認を行えば、不必要なＩＲＥＤを照明する事無く、視線検出を行うことが可能である。
【０２３６】
【発明の効果】
以上説明したように、観察者の視線検出を行う際、複数の照明光源より、撮影者の眼球の前眼部へ投射し、撮影者の眼球画像の状態である角膜反射像（プルキンエ像、Ｐ像）の角膜反射像数とその配置状態に応じたキャリブレーションデータ、即ち視線補正手段で得られた補正データを予め取得し、角膜反射像数とその配置状態を判断手段で判断し、選択使用することで、観察者の視線検出時の角膜反射像数とその配置状態に応じた視線検出精度の向上を可能とした上で、前記異なる複数の、前記角膜反射像の数とその配置状態それぞれに対応する視線補正データの存在を確認することで、視線検出時、存在する視線補正データに対応した前記角膜反射像の数とその配置状態が得られるように、必要最低限の前記複数の照明光源の照明を行うことで、常に無駄の無い、最適な複数の照明光源が行える。
【０２３７】
また、観察者に新たな視線補正手段の取得動作、操作を行わせる事無く、一回の視線補正手段の取得動作で、角膜反射像数とその配置状態に応じた複数のキャリブレーションデータ、即ち視線補正手段で得られた補正データを取得すること可能とした。
【０２３８】
さらに、角膜からの反射像の数と配置状態が、１次元か２次元かで、観察者の眼球回転角算出方法が異なることを判断することで、視線検出精度の向上を可能としている。
【０２３９】
さらにまた、角膜からの反射像の数と配置状態が異なっていても、観察者の眼球回転角算出方法が同一であれば、同一のキャリブレーションデータ、即ち視線補正手段で得られた補正データを用いることで、演算の簡略化とデータ記憶部の縮小を計れる。
【０２４０】
また、上記視線検出精度の向上が、少なくとも１つの測距点を選択する機能に用いられることが好適である。
【０２４１】
以上、複数の照明光源より観察画面内を覗く撮影者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記撮影者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段において、観察者のあらゆる条件において、視線検出精度の向上がはかれると共に、視線検出を最適な、最小限の照明エネルギーで行える。
【図面の簡単な説明】
【図１】本実施形態のカメラ本体の要部概略図である。
【図２】(a)本実施形態のカメラ本体の外観の上面図である。
(b)本実施形態のカメラ本体の外観の背面図である。
【図３】図１のファインダ視野内の表示状態の説明図である。
【図４】本実施形態の電気回路の要部ブロック図である。
【図５】本実施形態のカメラの作動シーケンスを示した図である。
【図６】本実施形態の焦点検出点選択モード説明図である。
【図７】（ａ）ファインダ視野内の注視点エリアの説明図である。
（ｂ）焦点検出点選択とファインダ視野内の注視点エリアの関係説明図である。
【図８】（ａ）本実施形態のカメラ本体の外部表示２０２の説明図である。
（ｂ）ファインダ視野内の表示部３０８の説明図である。
【図９】視線検出のフローチャートである。
【図１０】プルキンエ像の状態説明図である。
【図１１】キャリブレーションデータナンバーとキャリブレーションデータ説明図である。
【図１２】キャリブレーションの第１のフローチャートである。
【図１３】キャリブレーションの第２のフローチャートである。
【図１４】キャリブレーションでのθx、θy算出、データ記憶フローチャートである。
【図１５】キャリブレーションデータ算出のフローチャートである。
【図１６】（ａ）（ｂ）（ｃ）（ｄ）キャリブレーションでの視標説明図である。
【図１７】キャリブレーションのファインダー内、外部表示の第１の説明図である。
【図１８】キャリブレーションのファインダー内、外部表示の第２の説明図である。
【図１９】キャリブレーションのファインダー内、外部表示の第３の説明図である。
【図２０】従来の（ＩＲＥＤ下側２つの）視線検出原理説明図である。
【図２１】（ａ）（ｂ）眼球画像説明図である。
【図２２】（ａ）従来の眼球画像、プルキンエ像配置状態の説明図である。
（ｂ）従来の視線検出原理説明図（x-z平面）である。
（ｃ）従来のＩＲＥＤ下側２つの視線検出原理説明図（ｙ-z平面）である。
【図２３】（ａ）３つのＩＲＥＤでの眼球画像、プルキンエ像配置状態説明図である。
（ｂ）３つのＩＲＥＤでの視線検出原理説明図（ｙ-z平面）である。
【図２４】４つのＩＲＥＤでの眼球画像、プルキンエ像配置状態説明図である。
【図２５】ＩＲＥＤ選択フローチャートである。
【符号の説明】
７：ピント板
７ａ：この微小プリズムアレイ
１２：受光レンズ
１３ａ〜１３ｈ：撮影者の眼１５の照明光源（投光手段）
１４：ＣＣＤ等の光電素子列を２次元的に配したイメージセンサ
１５：撮影者の眼
１６：角膜
１７：虹彩
１０１：視線検出回路
３０１，３０２，３０３，３０４，３０５，３０６，３０７：測距点マーク
２００：本カメラ
３００：ファインダー観察画面内
Ｌ３・Ｔ〜Ｒ３・Ｂ：注視点エリア
Ｓ２１１：プルキンエ像状態判別[0001]
TECHNICAL FIELD OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an optical device having a line-of-sight detection unit, and more particularly to a gazing point observed by an observer (photographer) via a finder system on an observation surface (focusing surface) on which a subject image is formed by a photographing system. There is a line-of-sight detecting means for detecting the axis of the direction, that is, the line of sight (axis of sight) using a reflected image of the eyeball obtained when the observer illuminates the eyeball, and performing various photographing operations. The present invention relates to an optical device as described above.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various devices (for example, eye cameras) for detecting what position on an observation surface the observer is observing, that is, detecting a so-called line of sight (axial axis) have been proposed.
Specifically, a gaze detection device that projects a parallel light beam from a light source to the anterior segment of the observer's eyeball and obtains a visual axis using a corneal reflection image formed by reflected light from the cornea and an imaging position of a pupil is disclosed. It has been proposed (for example, see Patent Document 1).
[0003]
Further, there has been proposed an optical device (camera) having an eye-gaze detecting device configured to perform various types of imaging using an eye-gaze calibration method for correcting individual differences in the gaze of a photographer (for example, Patent Document 2). reference).
[0004]
FIG. 20 is a diagram illustrating the principle of the eye gaze detection method. The names and symbols of each part are the same as those in FIGS. Reference numerals 13a and 13b denote light-emitting diodes that emit infrared light insensitive to the user, and the light sources 13a and 13b are disposed substantially symmetrically in the x-direction with respect to the optical axis of the light-receiving lens 12, and further include a user's eyeball. It is arranged to illuminate 17 from below (a position offset in the y direction). Part of the illumination light reflected by the eyeball 17 is condensed on the CCD 14 via the light receiving lens 12. 17b is the cornea and 17c is the iris.
[0005]
FIG. 21A is a schematic diagram of an eyeball image projected on the CCD 14, and FIG. 21B is a diagram showing an intensity distribution of a signal from an output line of the CCD 14.
Hereinafter, a method of detecting a line of sight will be described with reference to the above-described drawings.
[0006]
The infrared light emitted from the IRED 13b illuminates the cornea 17b of the user's eyeball 17. At this time, a corneal reflection image d (virtual image; Purkinje image or P image) formed by a part of the infrared light reflected on the surface of the cornea 17b is condensed by the light receiving lens 12, and is located at a position d ′ on the CCD 14. Form an image.
[0007]
Similarly, the infrared light emitted by the IRED 13a irradiates the cornea 17b of the eyeball 17. At this time, a corneal reflection image e (virtual image; Purkinje image or P image) formed by a part of the infrared light reflected on the surface of the cornea 17b is condensed by the light receiving lens 12, and is located at a position e ′ on the CCD 14. Form an image.
[0008]
Light beams from the ends a and b of the iris 17c form images of the ends a and b at positions a 'and b' on the CCD 14 via the light receiving lens 12. When the rotation angle θ of the optical axis of the eyeball 17 with respect to the optical axis of the light receiving lens 12 is small, and the x coordinates of the ends a and b of the iris 17c are xa and xb, the coordinate x of the center position c of the pupil 17d is
[0009]
(Equation 1)

It is expressed as
[0010]
Further, the x coordinate of the midpoint of the corneal reflection images d and e substantially matches the x coordinate xo of the center of curvature o of the cornea 17b. Therefore, if the x-coordinates of the corneal reflection images d and e are xd and xe, and the standard distance between the center of curvature o of the cornea 17b and the center c of the pupil 17d is Loc, the rotation of the optical axis 17a of the eyeball 17 is determined. The angle θx is
[0011]
(Equation 2)

Satisfies the relational expression.
[0012]
Therefore, as shown in FIG. 21A, by detecting the position of each characteristic point (corneal reflection image and the center of the pupil) of the eyeball 17 projected on the CCD 14, the optical axis 17a of the eyeball 17 is detected. The rotation angle θ can be obtained.
[0013]
From the equation (2), the rotation angle of the optical axis 17a of the eyeball 17 is
[0014]
[Equation 3]

[0015]
Is required. Here, β is an imaging magnification determined by the position of the eyeball 17 with respect to the light receiving lens 12, and is substantially obtained as a function of the interval | xd'-xe '| between two corneal reflection images (Purkinje images).
[0016]
Θx is the rotation angle of the eyeball optical axis in the zx plane, and θy is the rotation angle of the eyeball optical axis in the yz plane. (xpo, ypo) is the coordinates of the midpoint of the two corneal reflection images on the CCD 14, and (xic, yic) is the coordinates of the pupil center on the CCD 14. Ptx and Pty are pixel pitches of the CCD 14 in the x and y directions. δx, δy are correction terms for correcting the coordinates of the midpoint of the corneal reflection image, correction terms for correcting an error caused by illuminating the user's eyeball with divergent light instead of parallel light, and δy. Also includes a correction term for correcting an offset component caused by illuminating the user's eyeball with divergent light from the lower eyelid.
[0017]
When the rotation angle (θx, θy) of the user's eyeball optical axis 17a is calculated, the user's gazing point (x, y) on the observation surface is
[0018]
(Equation 4)

[0019]
Is required. Here, the x direction indicates the horizontal direction with respect to the observer, and the y direction indicates the vertical direction with respect to the user. m is a conversion coefficient for converting the rotation angle of the eyeball 17 into coordinates on the observation surface, and ax, bx, ay, by are gaze point calibration coefficients, and the rotation angle of the user's eyeball 17 and the gaze point on the observation surface. Is a correction coefficient for matching.
[0020]
A method of calculating the correction terms δx and δy at the position of the midpoint of the corneal reflection image (Purkinje image) will be described with reference to FIGS. 22 (a), (b) and (c).
The intersection point between the eyepiece lens exit surface and the optical axis (z-axis) of the visual line detection optical system is set as the origin. The coordinates of IRED1 are (-Sxi1, Syi, Szi), the coordinates of IRED2 are (Sxi1, Syi, Szi), and the coordinates of the curvature center O of the cornea of the eyeball of the photographer are (Sxc, Syc, Szc).
[0021]
The midpoint P0 between the Purkinje images d and e is equivalent to the position of the Purkinje image generated by one IRED located at the midpoint between IRED1 and IRED2. Since the line-of-sight calculation formula is based on the coordinates of the midpoint P0 of the two Purkinje images, if the distance between the midpoint (0, Si, Zi) of IRED1 and IRED2 and the center of curvature O of the cornea is L,
[0022]
(Equation 5)

[0023]
From Abbe's invariant, the distance K from the corneal surface to the position where the Purkinje image occurs is
[0024]
(Equation 6)

It is expressed as
[0025]
The shift amount δx (the shift amount in the CCD coordinate system; Δx in the eyeball coordinate system) of the midpoint P0 of the Purkinje images P1 and P2 in the x direction is
[0026]
(Equation 7)

Satisfy the relationship. Expanding the above equation, the shift amount δx becomes
[0027]
(Equation 8)

It becomes.
Similarly, the shift amount Δy in the y direction of the midpoint P0 of the Purkinje images P1 and P2 is
(Equation 9)

[0028]
Here, if the imaging magnification β of the eye-gaze detecting optical system is defined as a quadratic function of the distance Sz from the eyepiece exit surface (origin),
[0029]
(Equation 10)

It becomes.
[0030]
The coefficients b1 to b3 are calculated by obtaining the imaging magnification at a predetermined distance by an optical simulation, and quadratic approximating the values.
The imaging magnification βp of the Purkinje image is, assuming that the distance in the z direction from the vertex of the cornea is Szp,
[0031]
[Equation 11]

It becomes.
[0032]
Hereinafter, in order to obtain Szp and Szc, the calculation routine is executed a plurality of times to converge Szp and Szc. Here, when Expression (9) is compared with Expression (11), in Expression (11), one term of Syi ((βp) / (Pty)) is added. This is a term that is caused by the absence of the Purkinje image because the IRED does not exist with the z-axis sandwiched in the y-axis direction as shown in FIG. That is, the shift amount Δy in the y direction cannot be directly obtained from the midpoint P0 of the Purkinje images P1 and P2.
[0033]
For this reason, the shift amount δy in the y-direction is different from the shift amount δx in the x-direction by the second approximation of the coefficients b1 to b3, other approximate calculation errors in the convergence calculation, and the quantum This method has a drawback that accuracy is inferior due to the addition of a conversion error.
[0034]
Accordingly, in the rotation angle (θx, θy) of the optical axis 17a of the user's eyeball determined by the expression (3) including δx and the expression (4) including δy, θy has a disadvantage that accuracy is inferior to θx. . When the eyeball rotation angles θx and θy of the photographer are calculated from Expression (3) including δx and Expression (4) including δy, ax, bx, and the individual differences from Expressions (5) and (6) are calculated. The correction coefficient of ay, by is given, and the coordinates on the focus plate are calculated.
[0035]
Here, in order to avoid the disadvantage that the accuracy of θy is inferior, as shown in FIG. 2B, the light emitting diodes 13a and 13b are further illuminated with 13e or 13f with the z-axis interposed therebetween in the y-axis direction. By obtaining a new corneal reflection image (virtual image; Purkinje image or P image), it is necessary to obtain δy in the same manner as δx, so that θy has the same accuracy as θx.
[0036]
This will be described with reference to FIG. 23 to which irradiation of the light emitting diode 13c is added. FIG. 23 (a) shows the position of each characteristic point (corneal reflection image and center of the pupil) of the eye 17 projected on the CCD 14, as in FIG. 21 (a), and corresponds to the light emitting diode 13c. The new corneal reflection image P3 is added to the coordinates (Xe ", Ye") and the coordinates (Xe ', Ye'), (Xd ', Yd) of the conventional corneal reflection images P1, P2 corresponding to the light emitting diodes 13a, 13b. The center of the y-direction P image composed of the y-coordinates in ') is at the coordinates (xp1, yp1). FIG. 23B shows the same yz plane eyeball coordinate diagram as FIG. 22C.
[0037]
Equation (4) is
(Equation 12)

Represented by
Regarding the correction term δy,
(Equation 13)

It can be seen that the shift amount δy in the y direction is the same as the shift amount δx in the x direction in Expression (3).
[0038]
Here, the value of δy in Expression (11) obtained from the corneal reflection images of the conventional light emitting diodes 13a and 13b and the value of δy in Expression (10) ″ calculated by obtaining a new corneal reflection image are as follows: Naturally, the obtained values of θy also differ. That is, even if the correction coefficients of ax, bx, ay, and by regarding the individual difference given by the equations (5) and (6) calculated from the eyeball rotation angles θx and θy are the same individual, the light emitting diode 13a, Ax, bx, ay, by obtained from the corneal reflection image obtained in 13b are further illuminated with 13e or 13f, and ay, by obtained by adding a new corneal reflection image are different.
[0039]
Here, when the line of sight of the observer is detected, a Purkinje image corresponding to the illumination light source is not always obtained. In particular, the upper corneal reflection image corresponding to the upper light emitting diode 13e is because the illumination light source is blocked by the upper eyelids and eyelashes of the observer depending on observation conditions and individual differences. Even if the above-mentioned new illumination light source is added, a Purkinje image corresponding thereto is not always obtained. As described above, if the correction coefficients for ax, bx, ay, and by regarding the individual difference are uniformly given without considering the state of the corneal reflection image described above, the problem still remains in the accuracy in the y-axis direction.
[0040]
Therefore, there is a proposal to add light emitting diodes 13e and 13f to the conventional light emitting diodes 13a and 13b and use them for illumination. By doing so, the probability that at least one of the corneal reflection images corresponding to the light emitting diodes 13e and 13f can be obtained even if the illumination light source is blocked by the upper eyelids and eyelashes of the observer due to observation conditions and individual differences. Is increased.
[0041]
When three light emitting diodes 13a, 13b and three corneal reflection images are obtained corresponding to the light emitting diodes 13A, 13b, 13e, and 13f, as described above, the correction coefficients of ax, bx, ay, and by for the individual difference are correctly set. If given, the eyeball rotation angles θx and θy have the same accuracy.
[0042]
FIG. 24 shows each characteristic point (corneal reflection image and corneal reflection image of the eyeball 17 projected on the CCD 14 when four corneal reflection images are obtained at this time, as in FIGS. 21 (a) and 23 (a). (Center of the pupil).
[0043]
When four corneal reflection images corresponding to the light emitting diodes 13a, 13b, 13e, and 13f are obtained, the P image center positions in the x and y directions are two corneal reflection images with respect to FIGS. Is calculated from the coordinates of the four corneal reflection images, not the coordinates of the eyeball rotation angles θx and θy, as long as the correction coefficients for ax, bx, ay and by are correctly given. , Θx are further improved.
[0044]
As such a conventional proposal, there is a gaze detection apparatus that obtains at least two corneal reflection images from three or more illumination light sources and calculates a gaze (for example, see Patent Document 3). However, when the line of sight of the observer is detected, the Purkinje image corresponding to the illumination light source is not always obtained, and the ax, bx, ay, by There is no description on the point that the correction coefficient is accurately given to improve the gaze detection accuracy.
[0045]
Therefore, a new corneal reflection image (virtual image; Purkinje image or image) is projected in the y-axis direction in order to project a feature point (corneal reflection image and the center of the pupil) from the eyeball image by projecting it to the anterior segment of the observer's eyeball. In a line-of-sight detecting means provided with an illumination light source for obtaining a (P image), a proposal has been made to improve the line-of-sight detection accuracy of the observer, especially in the y-direction, under all observation conditions.
[0046]
In this proposal, first, a means for counting the number of corneal reflection images and a corneal reflection image state determination means for judging the arrangement state of the corneal reflection images are provided, and an individual difference correction coefficient according to the corneal reflection image state is selectively used. A means for performing is provided. Second, the eye-gaze correction means for correcting an error in the detection of the eye gaze obtained by the eye-gaze detection means due to the individual difference of the eyeball obtained by the eye-gaze detection means, according to the corneal reflection image state, obtained by the eye-gaze correction means Storage means for calculating and storing the corrected data.
[0047]
Then, according to the state of the corneal reflection image, the correction data obtained by the line-of-sight correction means is calculated and stored. The illumination light source is illuminated so that all corneal reflection image states can be obtained at all times.
[0048]
[Patent Document 1]
JP-A-1-274736
[Patent Document 2]
Japanese Patent Application No. 3-11492
[Patent Document 3]
JP-A-6-094978
[0049]
[Problems to be solved by the invention]
Therefore, a new corneal reflection image (virtual image; Purkinje image or In the line-of-sight detection means provided with the illumination light source that has obtained the (P image), while improving the line-of-sight detection accuracy of the observer, especially in the y direction, under all observation conditions, the correction data obtained by the line-of-sight correction means It is necessary to be able to select an illumination light source to be illuminated among a plurality of illumination light sources provided at the time of gaze detection, in accordance with correction data corresponding to a corneal reflection image state, which is a storage means for calculating and storing. is there.
[0050]
[Means for Solving the Problems]
Also in the y-axis direction, in a line-of-sight detection unit provided with an illumination light source that obtains a new corneal reflection image (virtual image;
First, a means for counting the number of corneal reflection images and a means for determining a corneal reflection image state for judging an arrangement state of the corneal reflection images are provided, and a means for selecting and using an individual difference correction coefficient according to the state of the corneal reflection images is provided.
Second, the eye-gaze correction means for correcting an error in the detection of the eye gaze obtained by the eye-gaze detection means due to the individual difference of the eyeball obtained by the eye-gaze detection means, according to the corneal reflection image state, obtained by the eye-gaze correction means Storage means for calculating and storing the corrected data.
Third, the eye-gaze correcting means calculates and stores correction data obtained by the eye-gaze correcting means in accordance with the corneal reflection image state, and calculates and stores correction data of any corneal reflection image state in the storage means. There is provided means for confirming the presence state of the eye-gaze correction data for confirming whether the correction has been performed.
Fourthly, an illumination state switching means is provided so that the presence state confirmation means of the visual axis correction data corresponds to the visual axis correction data whose existence has been confirmed so as to achieve a corneal reflection image state.
According to the first configuration, it is possible to improve the gaze detection accuracy by using the optimum individual difference correction coefficient in accordance with the obtained corneal reflection image.
According to the second configuration, the individual difference correction coefficient corresponding to the number of corneal reflection images can be obtained by one operation of the line-of-sight correction means, that is, one operation of acquiring information based on individual differences of the eyeball. It becomes.
According to the third and fourth configurations, the line-of-sight correction unit calculates and stores the correction data obtained by the line-of-sight correction unit in accordance with the corneal reflection image state, and is stored in the storage unit. The illumination state of the illumination light source for obtaining the corneal reflection image state corresponding to the correction data of the corneal reflection image state can be performed.
[0051]
BEST MODE FOR CARRYING OUT THE INVENTION
The camera according to the present embodiment is an autofocus camera having a line-of-sight detection device that detects a rotation angle of an optical axis of a photographer's eyeball and calculates a line of sight of the photographer from the rotation angle. FIG. 1 schematically illustrates a main part of the single-lens reflex camera of the present embodiment.
[0052]
In FIG. 1, reference numeral 1 denotes a photographing lens, which is shown by two lenses 1a and 1b for convenience in FIG. 1, but is actually composed of a large number of lenses. Reference numeral 2 denotes a main mirror which is inclined or retreated to a photographing optical path according to an observation state and a photographing state. A sub-mirror 3 reflects a light beam transmitted through the main mirror 2 downward from the camera body. Reference numeral 4 denotes a shutter, and reference numeral 5 denotes a photosensitive member, which is made of a silver halide film or a solid-state imaging device such as a CCD or a MOS type.
[0053]
Reference numeral 6 denotes a focus detection device, which includes a field lens 6a, reflection mirrors 6b and 6c, a secondary imaging lens 6d, an aperture 6e, a line sensor 6f including a plurality of CCDs, and the like, which are arranged in the vicinity of the image plane. A well-known phase difference method is adopted. As shown in FIG. 3, the focus detection device 6 shown in FIG. 3 has a plurality of areas (seven focus detection point marks 301 to 307) in the finder observation screen corresponding to focus detection areas (hereinafter, focus detection points). It is configured to be able to detect the focus.
[0054]
Reference numeral 7 denotes a focusing plate arranged on a predetermined image forming plane of the photographing lens 1, and reference numeral 8 denotes a pentaprism for changing a finder optical path. Reference numerals 9 and 10 denote an imaging lens and a photometric sensor for measuring the luminance of the subject in the observation screen. The imaging lens 9 conjugates the focusing plate 7 and the photometric sensor 10 via a reflection optical path in the pentaprism 8. I have.
[0055]
Next, behind the exit surface of the pentaprism 8, an eyepiece 11 having a light splitter 11a is arranged, and is used for observing the focus plate 7 with the eye 15 of the photographer. The light splitter 11a is composed of, for example, a dichroic mirror that transmits visible light and reflects infrared light and visible light (red light) closer to infrared light. Reference numeral 12 denotes a light receiving lens, and reference numeral 14 denotes an image sensor having a two-dimensional array of photoelectric elements such as CCDs, which are arranged so as to be conjugate with the vicinity of the pupil of the photographer's eye 15 at a predetermined position with respect to the light receiving lens 12.
[0056]
The image sensor 14 and the light receiving lens 12 constitute one element of the light receiving means. Reference numerals 13a to 13d and 13e to 13h denote eight infrared light-emitting diodes (only two light-emitting diodes are shown) serving as illumination light sources (light projecting means) of the photographer's eye 15 around the eyepiece 11. Are located.
[0057]
Reference numeral 21 denotes a high-brightness superimposing LED that can be visually recognized even in a bright subject. The emitted light is reflected by the main mirror 2 via a light projecting prism 22 and provided on a display portion of the focus plate 7. The light is bent in the vertical direction by the prism array 7 a and reaches the photographer's eye 15 through the pentaprism 8 and the eyepiece 11.
[0058]
Therefore, the micro prism array 7a is formed on a frame at a plurality of positions (focus detection point mark portions) corresponding to the focus detection points of the focus plate 7, and the micro prism array 7a is formed on each of the seven LEDs 21 (each LED-L1). , LED-L2, LED-C, LED-R1, LED-R2, LED-T, LED-B). As a result, as shown in FIG. 3, the focus detection point marks 301, 302, 303, 304, 305, 306, and 307 shine in the finder visual field, and the focus detection points are displayed. Is called a superimposed display).
[0059]
Here, the distance measurement point marks 301, 305, 306, and 307 at the upper, lower, right, and left sides are lit when individual difference correction data (gaze correction coefficient) of the eyeball is collected (hereinafter, this operation is referred to as calibration). . In the calibration of the camera, this data is accumulated up to a predetermined number of times each time the photographer performs calibration, and is calculated by a predetermined averaging operation.
[0060]
Reference numeral 23 denotes a field mask for forming a finder field area, 24 denotes an LCD in the finder for displaying photographing information outside the finder field, and is illuminated by an illumination LED (F-LED) 25. Light transmitted through the LCD 24 is triangular. The light is guided into the viewfinder by the prism 26 and is displayed outside the viewfinder field of view 308 in FIG. 3, and the photographer observes this as shooting information. Reference numeral 27 denotes a posture detecting means, which is a switch for detecting the posture of the camera.
[0061]
Reference numeral 31 denotes an aperture provided in the taking lens 1, and 32 denotes an aperture driving device including an aperture driving circuit 111 described later. Reference numeral 33 denotes a lens driving motor, 34 denotes a lens driving member including a driving gear and the like, 35 denotes a photocoupler which detects rotation of a pulse plate 36 interlocked with the lens driving member 34, and transmits the detection result to a lens focus adjustment circuit 37. ing. The lens focus adjustment circuit 37 drives the lens driving motor by a predetermined amount based on this information and the information on the lens driving amount from the camera side, and moves the photographing lens 1 to the focusing position. Reference numeral 38 denotes a mounting contact serving as an interface between a known camera and a lens.
[0062]
FIGS. 2A and 2B are external views of the camera body of the present invention, in which the interchangeable photographing lens 1 shown in FIG. 1 is not shown. FIG. 2A is a top view of the camera, and FIG. 2B is a rear view of the camera.
Reference numeral 200 denotes a camera body, and reference numeral 201 denotes a release button. As shown in FIG. 8, reference numeral 202 denotes a monitor LCD as an external monitor display device, which comprises a fixed segment display section 202a for displaying a predetermined pattern and a 7-segment display section 202b for variable numerical value display.
[0063]
Reference numeral 203 denotes an AE lock button for holding a photometric value, and reference numerals 204a, 204b, and 204c denote mode buttons for selecting a shooting mode and the like.
When the mode buttons 45b and 45c are pressed at the same time, the mode becomes a “line-of-sight calibration” mode for collecting personal difference correction data (line-of-sight correction coefficient) of the eyeball described later.
[0064]
Reference numeral 205 denotes an electronic dial for selecting a mode that can be further selected from among the modes selected by the mode buttons 204a, 204b, and 204c by rotating and generating a click pulse, and a set value.
[0065]
For example, when the mode button 204a is pressed and a shutter-priority shooting mode is selected with the electronic dial 205, the currently set mode and shutter speed are displayed on the LCD 24 in the viewfinder and the LCD for monitoring 202. Furthermore, when the user dials the electronic dial 205 after releasing the mode button 204a, the shutter speed is sequentially changed from the currently set shutter speed in accordance with the rotation direction.
[0066]
In this manner, the photographer selects each of the shooting modes of the program AE shutter priority AE, the aperture priority AE, the depth of field priority AE, and the manual exposure by pressing the mode button 204a, and rotates the electronic dial 205 to change the shooting content. Can be set.
[0067]
FIGS. 8A and 8B are explanatory views showing the contents of all display segments of the monitor LCD 202 and the LCD 24 in the viewfinder 308 of FIG. In FIG. 8A, the fixed display segment unit 202a is provided with a portion for displaying a photographing operation such as a camera AF operation and a photographing mode selection in addition to a known photographing mode display.
[0068]
Reference numeral 801 denotes a portion that indicates that the mode is the line-of-sight detection mode, and is displayed in the line-of-sight detection mode. To set the line-of-sight detection mode, the user presses the mode button 204b, rotates the electronic dial 205, and displays 801 to set.
[0069]
The 7-segment unit 202b for displaying a variable numerical value includes a 4-digit 7-segment 802 for displaying the shutter speed, a 2-digit 7-segment 803 for displaying the aperture value, a decimal point 804, and a limited numerical display segment 805 for displaying the number of films. It is composed of 7 segments 806 of one digit.
[0070]
8B, 811 denotes a camera shake warning mark, 812 denotes an AE lock mark, 813 and 814 denote the same display segments as the shutter time display 802 and the aperture value displays 803 and 804, and 815 denotes an exposure correction setting mark. , 816 is a strobe full mark, and 817 is a line-of-sight input mark indicating that the line of sight is being input. Reference numeral 818 denotes a focusing mark indicating the focusing state of the taking lens 1.
[0071]
Reference numeral 206 denotes a focus detection point selection mode button. When the photographer presses the button, a predetermined focus detection point is moved from the lighted focus detection point to an arbitrary focus detection point by operating the electronic dial 205. Make it possible.
Here, assuming that a predetermined focus detection point mark 303 in the viewfinder is lit and displayed in FIG. 6A, turning the electronic dial 205 synchronizes with the rotating direction in FIGS. 6B and 6C. ), It is possible to move to the focus detection point marks 304 and 305. Then, the focus detection point mark after the movement is lit and displayed, so that the focus detection point selected by the photographer can be recognized.
[0072]
Further, when the electronic dial 205 is turned in the same direction, the distance measurement marks 301, 302, 303, 304, 305, 306, and 307 are simultaneously turned on for a predetermined time as shown in FIG. The photographer can recognize that the camera is automatically set to the focus detection point automatic selection mode in which the focus detection point is selected. When the focus detection point selection mode button 206 is pressed again, the moving direction of the focus detection point mark by turning the electronic dial 205 is switched to a direction in which the focus detection marks 306 and 307 can be selected.
[0073]
In addition to the above-described focus detection point selection mode in which the photographer can select an arbitrary focus detection point, the camera 200 can detect seven focus detection points corresponding to the seven focus detection point marks in FIG. The camera is provided with two focus detection point automatic selection modes in which the camera itself extracts and selects a focus detection point from a result of point focus detection by a predetermined algorithm.
[0074]
Also, by operating the mode button 204b and the electronic dial 205 described above, the portions 801 and 817 indicating that the eye-gaze detection mode is displayed are displayed, and when selecting from the seven focus detection point marks in FIG. A gaze input mode is provided for detecting a rotation angle of the optical axis of the eyeball and selecting a focus detection point using a gaze detection device that calculates a gaze of the photographer from the rotation angle.
[0075]
Note that the camera 200 of the present embodiment is set in the line-of-sight input mode.
[0076]
Reference numeral 207 denotes a power switch of the camera, which is turned on to start the camera. When the camera is turned off, the camera enters a lock position where the camera is not operated. Dotted line 208 is the right hand when the photographer holds the camera.
[0077]
FIG. 4 is a main block diagram of an electric circuit built in the camera of the present embodiment. In the figure, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals. A central processing unit (hereinafter referred to as a CPU) 100 of a microcomputer built in the camera body includes a line-of-sight detection circuit 101, a photometry circuit 102, an automatic focus detection circuit 103, a signal input circuit 104, an LCD drive circuit 105, and a backlight LED drive circuit 106. , 8 IRED1 to IRED8 corresponding to 13a to 13g in FIG. 1 and FIG. 2, a shutter control circuit 108, and a motor control circuit 109 are connected. Also, signals are transmitted to the focus adjustment circuit 37 and the aperture driving circuit 111 disposed in the taking lens via the mount contact 38 shown in FIG.
[0078]
The CPU 100 has a built-in RAM (not shown), and has a function of storing line-of-sight calibration data in the built-in RAM. When the mode of the camera is set to the above-described “eye gaze calibration”, a calibration mode for acquiring eye gaze correction data (hereinafter, referred to as calibration data) for correcting a known eye gaze individual difference can be selected. Application data and a calibration operation “OFF” can be performed by the electronic dial 205.
[0079]
The EEPROM 100a attached to the CPU 100 has a storage function of a line of sight correction data for correcting an individual difference of the line of sight as a storage unit. When the mode of the camera is set to the above-mentioned “line-of-sight calibration”, a mode for collecting line-of-sight correction data (hereinafter referred to as “calibration data”) for correcting individual differences in line of sight becomes selectable. The selection of the calibration number corresponding to the data and the OFF of the calibration operation can be performed by the electronic dial 205.
[0080]
Calibration data can be set multiple times, distinguished by the person who uses the camera, when the same user has different observation conditions (for example, when using glasses and when not using glasses), or diopter correction This is effective for setting a case where a lens is used and a case where a lens is not used.
[0081]
The calibration number selected at this time is stored in the EEPROM 100a as a calibration data number (1, 2, 3,... Or 0) as described later.
In the present embodiment, the calibration data stored in one calibration number includes, as will be described later, the calibration data at the normal position and the vertical position, and further includes the number of reflected images of the cornea and the number thereof. Calibration data is stored for each arrangement.
[0082]
The line-of-sight detection circuit 101 A / D converts the output of the eyeball image from the image sensor 14 (CCD-EYE), and transmits this image information to the CPU. As will be described later, the CPU 100 extracts each feature point of the eyeball image necessary for known gaze detection according to a predetermined algorithm, and further calculates the gaze of the photographer from the position of each feature point. The CPU 100, the line-of-sight detection circuit 101, and the image sensor 14 constitute one element of the line-of-sight detection device.
[0083]
The photometric circuit 102 amplifies the output from the photometric sensor 10, performs logarithmic compression and A / D conversion, and sends the result to the CPU 100 as luminance information of each sensor. The photometry sensor 10 is composed of seven photodiodes SPC-A to SPC-G that measure the area corresponding to each of the seven focus detection point marks 301 to 307 in the finder screen shown in FIG. .
[0084]
As described above, the line sensor 116 of the focus detection device 6f includes seven sets of line sensors CCD-C, CCD-R1, CCD-R2, CCD-L1, corresponding to the seven focus detection point marks 301 to 307 in the screen. A well-known CCD line sensor composed of CCD-L2, CCD-T, and CCD-B enables focus detection. The automatic focus detection circuit 103 A / D converts the voltage obtained from the line sensor 116 and sends the voltage to the CPU 100.
[0085]
SW1 is turned on with the first stroke of the release button 201 to start photometry, AF, and a line-of-sight detection operation. SW2 is a release switch that is turned on with the second stroke of the release button 201. This is a posture detection switch that is detected by the detection device 27.
[0086]
SW-AEL is an AE lock switch that is turned on by pressing the AE lock button 203, SW-AFS is a distance measuring point selection mode switch that is turned on by pressing the distance measuring point selection button 206, and SW-DIAL1 and SW-DIAL2 are already set. The dial switch provided in the electronic dial 205 described above is input to the up / down counter 118 of the signal input circuit 104 to count the amount of quick rotation of the electronic dial 205.
[0087]
The signals of these switches are input to the signal input circuit 104 and transmitted to the CPU 100 via the data bus. Reference numeral 105 denotes a known LCD drive circuit for driving the LCD 23 in the viewfinder and the LCD LCD for monitoring 202. According to a signal from the CPU 100, a display such as an aperture value, a shutter time, a set photographing mode, and the like are simultaneously displayed on both. .
[0088]
The LED drive circuit 106 turns on and off the LEDs 21 (each of which is LED-L1, LED-L2, LED-C, LED-R1, LED-R2, LED-T, LED-B). Further, at the time of lighting, the lighting luminance is changed in accordance with the signal calculated by the CPU 100 from the signal from the photometry circuit 102, so that the display of the distance measuring point can be easily recognized according to the brightness in the viewfinder.
[0089]
The IRED drive circuit 107 controls the simultaneous turning on of the four IREDs of the inner peripheral side IRED 13a, IRED 13b, IRED 13e, and IRED 13f, which is performed when the photographer is naked with no glasses, and when the photographer wears glasses. Simultaneous lighting control of four IREDs of the outer peripheral side IRED 13c, IRED 13d, IRED 13g, and IRED 13h is performed according to a signal of the CPU 100.
[0090]
When energized, the shutter control circuit 108 controls the magnet MG-1 for running the front curtain and the magnet MG-2 for running the rear curtain to expose the photosensitive member to a predetermined amount of light. The motor control circuit 109 controls a motor M1 for winding the film and a motor M2 for charging and rewinding the main mirror 2 and the shutter 4. The shutter control circuit 108 and the motor control circuit 109 operate a series of camera release sequences.
[0091]
The right and left grip / battery chamber 112 of the photographer holding the camera by the dotted line 208 in FIG. 2 incorporates a battery 113 and is mechanically and electrically connected to the P-GND and VBAT terminals of the connector 114, Camera power is supplied to the main body power supply system 115.
[0092]
The terminals other than the P-GND and VBAT of the connector 114 and the terminals of the connector 117 have no terminals in the grip / battery chamber 112 when the grip / battery chamber 112 is mounted, are not connected, and are used when mounting accessories. Terminal. The switch 119 detects disconnection from the D-GND in the mounted state by a switch for recognizing the mounting of the grip / built-in battery chamber 112 and accessories.
[0093]
Next, the operation of the camera of this embodiment will be described with reference to the flowchart of FIG. When the power switch 207 in FIG. 2B is rotated to the ON position, the camera is turned on from the inoperative state (step 100). Hereinafter, the steps are abbreviated as “S”. Then, the state of the CPU 100 is checked, the focus detection point selection mode is checked (S101), and it is checked whether the mode is the eye-gaze input mode of the present embodiment (S102).
[0094]
If the mode is not the line-of-sight input mode, the line-of-sight input is prohibited, and the process proceeds to the focus detection point arbitrary selection mode (S101a). If the mode is not the focus detection point selection mode, the process enters the focus detection point automatic selection mode (S101b). Here, without using the line-of-sight information, the camera itself executes a subroutine of selecting a focus detection point by a predetermined algorithm from the focus detection results of all the focus detection points corresponding to the seven focus detection point marks in FIG. .
[0095]
In steps S101b and S101c, the LCD drive circuit 105 turns off the line-of-sight input mark 818 of the LCD 24 in the finder, so that the photographer can confirm that the camera does not detect the line of sight on the display 308 outside the finder screen (see FIGS. 3 and 8 ( b)).
[0096]
The variables used for line-of-sight detection other than the line-of-sight calibration data stored in the EEPROM 100a of the CPU 100 and the variables are reset so that a predetermined camera state is established (S103). Then, the camera waits until the release button 201 is pressed and the switch SW1 is turned on (S104).
[0097]
Next, when performing gaze detection, the gaze detection circuit 101 confirms which calibration (CAL) data to use (S105).
At this time, if the calibration data of the confirmed calibration data number is unchanged from the initial value, the line of sight detection is performed with this initial value.
[0098]
In addition, even if the calibration data number is the same, if partial calibration is not performed and the calibration data number is the initial value, the gaze detection is performed using the calibration data that is not the initial value. For example, when the calibration data exists only at the correct position in the camera vertical position, the correct position calibration data is used.
[0099]
Next, when it is recognized that the line-of-sight calibration data corresponding to the calibration data number is set to a predetermined value and that the data is input by the photographer, the line-of-sight detection circuit 101 The gaze detection is performed, and the gaze detected by the gaze detection circuit 101 is converted from the calibration data selected from the number of the reflected images of the cornea to the gazing point coordinates on the focusing screen 7 as the gazing point of the photographer. A line-of-sight detection is performed (S106).
[0100]
At this time, the LCD drive circuit 105 turns on the line-of-sight input mark 817 of the LCD 24 in the finder, and the photographer can confirm that the camera is performing line-of-sight detection 308 outside the finder screen. (FIG. 8B).
[0101]
Further, the set shutter time is displayed in 7 segments 813, and the set aperture value is displayed in 7 segments 814. Depending on which gazing point area the gazing point coordinates exist in, the corresponding one of the seven focus detection point marks in FIG. 3 is selected (S107), and then the focus area that is the selected focus detection point mark is focused. It becomes a detection point and is lit and displayed (S108).
[0102]
This correspondence will be described with reference to FIG. In FIG. 7A, the image sensor 14, which is a part of the visual line detection device, corresponds to the position on the focus plate 7 and the position of the observation screen 300 in FIG. 7 and the observation screen 300, as shown in FIG. 7, five columns of L3, L2, L, C, R1, R2, and R3 and five rows of T, U, C, D, and B horizontally. It is composed of a plurality of gazing point areas separated. Each point of interest area is represented by a column name and a row name. For example, the upper left area is L3 · T, and the lower right area is R3 · B.
[0103]
In FIG. 7B, there are seven gazing point groups surrounded by a bold frame, and focus detection points included in the gazing area groups surrounded by the bold frame where the gazing point coordinates exist are selected. Is done. If the coordinates of the gazing point are not in the seven gazing point area groups surrounded by the thick frame, the line-of-sight detection is prohibited, and the mode shifts to the focus detection point automatic selection mode (101b).
[0104]
The photographer observes that the focus detection point selected by the photographer's line of sight is displayed, recognizes that the focus detection point is incorrect, releases the release button 201, and turns off the switch SW1 (S109). The camera waits until the switch SW1 is turned on (S104).
[0105]
When the photographer observes that the selected focus detection point is lit and displayed, and keeps pressing the release button 201 and keeps the switch SW1 ON (S109), the automatic focus detection circuit 103 is selected at the selected focus detection point. Performs a focus detection operation (S110).
[0106]
If the focus detection is possible (S111) and the focus adjustment state of the focus detection point selected by the predetermined algorithm is not in focus (S112), the CPU 100 sends a signal to the lens focus adjustment circuit 110 to send a predetermined amount of the photographing lens. 1 is driven (S113). After driving the lens, the automatic focus detection circuit 103 performs focus detection again (S110), and determines whether or not the photographing lens 1 is in focus (S112).
[0107]
If the focus cannot be detected (S111), the focus mark 818 in FIG. 8 is blinked as a focus detection NG display (S111a). Further, if SW1 is ON, it keeps blinking, and if it is OFF (S111b), it waits again until SW1 is turned ON (S102).
[0108]
If the photographing lens 1 is in focus at a predetermined focus detection point, the CPU 100 sends a signal to the LCD drive circuit 105 to turn on the focus mark 818 of the LCD 24 in the finder, and also sends a signal to the IRED drive circuit 107. The focused focus detection point that has been sent is displayed in focus (S114).
[0109]
The photographer observes that the focused focus detection point is displayed in the viewfinder, recognizes that the focus detection point is incorrect, releases the release button 41, and turns off the switch SW1 (S115). Waits until the switch SW1 is turned on (S102).
[0110]
When the photographer sees the focus detection point displayed in focus and continues to turn on the switch SW1 (S115), the CPU 100 transmits a signal to the photometric circuit 102 to perform photometry (S116). At this time, an exposure value is calculated by selecting from seven photometric areas SPC-A to SPC-G including the focused focus detection point.
[0111]
In the case of the present embodiment, in the seven photometric areas SPC-A to SPC-G, a known weighted photometric calculation is performed around the photometric area including the selected focus detection point mark in FIG. An aperture value (F5.6) is displayed as a result of this calculation using the seven segments 803 and the decimal point 804 of the external display unit 202 and the display 814 of the display 308 outside the finder.
[0112]
Further, it is determined whether or not the release button 201 has been pressed to turn on the switch SW2 (S117). If the switch SW2 is in the OFF state, the state of the switch SW1 is checked again (S115). When the switch SW2 is turned on, the CPU 100 transmits a signal to each of the shutter control circuit 108, the motor control circuit 109, and the aperture drive circuit 111.
[0113]
First, MG2 is energized, the main mirror 2 is raised, the aperture 31 is stopped down, and then MG1 is energized to open the front curtain of the shutter 4. The aperture value of the aperture 31 and the shutter speed of the shutter 4 are determined from the exposure value detected by the photometric circuit 102 and the sensitivity of the film 5 as a photosensitive member.
[0114]
After a lapse of a predetermined shutter time (for example, 1/250 second), the MG2 is energized and the rear curtain of the shutter 4 is closed. When the exposure of the film 5 is completed, MG2 is energized again, mirror down and shutter charging are performed, and MG1 is also energized to perform frame advance of the film, thereby ending a series of shutter release sequence operations (S118). Thereafter, the camera waits until the switch SW1 is turned on again (S102).
[0115]
Further, when the mode buttons 45b and 45c are simultaneously pressed during a series of operations other than the shutter release operation (S118) of the camera shown in FIG. 5, individual difference correction data (eye correction coefficient) of the eyeball is collected. When the signal input circuit 104 detects that the mode has been set, the CPU 100 temporarily suspends the operation of the camera, transmits the result to the line-of-sight detection circuit 101, and sets the line of sight to a state in which the line-of-sight calibration (S119) is possible. The gaze calibration method will be described later.
[0116]
FIG. 9 is a flowchart of gaze detection (S106). As described above, upon receiving a signal from the CPU 100, the gaze detection circuit 101 executes gaze detection (S106). The gaze detection circuit 101 determines whether the gaze is detected in the photographing mode or the gaze is detected in the gaze calibration mode (S201). At the same time, the line-of-sight detection circuit 101 recognizes which calibration data number the camera is set to be described later.
[0117]
In the case of gaze detection in the photographing mode, the gaze detection circuit 101 first detects the posture of the camera via the signal input circuit 104 (S202). In the signal input circuit 104, the CPU 100 checks the posture of the camera with the posture detection circuit 27 (S104). The output of ANG-SW1 and ANG-SW2 in FIG. 4 indicates the normal position, the vertical position above the grip with the right hand of the photographer on the dotted line 208 in FIG. 2, and the vertical position under the grip with the right hand 208 of the photographer below. Check which of the three posture states is in. Subsequently, information on the brightness of the shooting area is obtained from the photometry circuit 102 via the CPU 100 (S203).
[0118]
Next, the infrared light emitting diode (hereinafter, referred to as IRED) 13a is determined based on the previously detected posture information of the camera, the eyeglass information of the photographer included in the calibration data, and the presence or absence of calibration data according to a P image state described later. １３13h are selected, and irradiation is performed (S204). S204 will be described with reference to the flow of FIG.
[0119]
That is, if the camera is held in the correct position and the photographer does not wear glasses, the IREDs 13a, 13b, 13e, and 13f from the finder optical axis are selected as shown in FIG. If the camera is in the correct position and the photographer wears glasses, the IREDs 13c, 13d, 13g, and 13h that are away from the finder optical axis are selected (S2041).
[0120]
Next, the calibration data (S503 in FIG. 15, FIG. 15) and the 2P image calibration data (S504 in FIG. 15, stored in the respective addresses (FIG. 11) of the EEPROM 100a described later) Check whether or not. Therefore, it is determined that there is no calibration data for the initial value (S2042 in FIG. 25).
[0121]
If there is calibration data of 3P image or more (FIG. 15, S503), there is no change in the selection of the IRED (S2043). If there is no calibration data of 3P image or more, the selection of the IRED is changed and the finder is changed. The two IREDs above the optical axis are not selected, and the two IREDs below the optical axis are selected (S2044).
[0122]
In other words, when the selection of the IRED is changed (S2044), if the camera is held at the correct position and the photographer does not wear glasses, as shown in FIG. IREDs 13a and 13b are selected.
[0123]
If the camera is in the correct position and the photographer wears glasses, the IREDs 13c and 13d far from the viewfinder optical axis are selected and irradiated.
At this time, a part of the illumination light reflected by the eyeglasses of the photographer reaches an area other than a predetermined area on the image sensor 14 on which the eyeball image is projected, so that there is no problem in analyzing the eyeball image. The same applies to a case where the camera is held in a vertical position.
[0124]
Next, the storage time of the image sensor 14 (hereinafter referred to as CCD-EYE) and the illumination power of the IRED are set based on the photometric information, the photographer's eyeglass information, and the like (S205). The accumulation time of the CCD-EYE and the illumination power of the IRED may be set based on values determined from the contrast of the eyeball image obtained at the time of the previous line-of-sight detection.
[0125]
When the CCD-EYE accumulation time and the illumination power of the IRED are set, the CPU 100 turns on the IRED with a predetermined power via the IRED drive circuit 107, and the line-of-sight detection circuit 101 starts accumulation of the CCD-EYE (S206). ).
[0126]
Further, the CCD-EYE ends the accumulation according to the previously set accumulation time of the CCD-EYE, and at the same time, the IRED is turned off. If the mode is not the line-of-sight calibration mode (S207), a CCD-EYE reading area is set (S208).
[0127]
Except for the first gaze detection after the power of the camera body is turned on, the CCD-EYE reading area is set based on the CCD-EYE reading area at the time of the previous gaze detection. When the posture changes, or when the presence or absence of glasses changes, the reading area of the CCD-EYE is set to the entire area.
[0128]
When the reading area of the CCD-EYE is set, the reading of the CCD-EYE is executed (S209). At this time, an area other than the read area is blank-read, and is actually skipped. This is for the purpose of quick gaze detection. The image output read from the CCD-EYE is A / D-converted by the line-of-sight detection circuit 101 and then stored in the CPU 100. The CPU 100 performs an operation for extracting each characteristic point of the eyeball image (S210, S212). ).
[0129]
That is, in the CPU 100, in principle, the four IREDs used for illumination of the eyeball are the positions of the four Purkinje images P1, P2, P3, and P4, which are virtual images of the IREDs in FIG. P1 (Xe ', Ye'), P2 (Xd ', Yd'), P3 (Xe ", Ye"), and P4 (Xd ", Yd") are detected. Since the Purkinje image appears as a bright spot with a high light intensity, a predetermined threshold value for the light intensity is provided, and a light intensity exceeding the threshold value can be detected as a Purkinje image (S210).
Next, the center position (Xic ', Yic') of the pupil is calculated by detecting a plurality of boundary points between the pupil 19 and the iris 17 and performing a least square approximation of a circle based on each boundary point. At this time, the pupil diameter rp is also calculated.
[0130]
The CPU 100 analyzes the eyeball image, detects the contrast of the eyeball image, and resets the accumulation time of the CCD-EYE from the degree of the contrast. Further, a reading area of the CCD-EYE is set from the position of the Purkinje image and the position of the pupil. At this time, the reading area of the CCD-EYE is set to a range including the detected pupil and detecting the entire pupil even if the position of the pupil changes by a predetermined amount. And it goes without saying that the size is smaller than the size of the iris.
[0131]
The CCD-EYE reading area is set to a rectangle, and the coordinates of two diagonal points of the rectangle are stored in the eye-gaze detecting circuit 101 as the CCD-EYE reading area. Further, the reliability of the calculated Purkinje image and the position of the center of the pupil is determined from the contrast of the eyeball image or the size of the pupil. (S210)
Here, in principle, four Purkinje images, which are virtual images of the IRED in FIG. 24, are to be obtained. However, when the gaze of the photographer is detected, depending on the observation conditions and individual differences, the upper part of the photographer may differ. Since the illumination light source is blocked by the eyelids and eyelashes, and a Purkinje image corresponding to the IRED is not necessarily obtained, the number and arrangement of the Purkinje images are determined as the Purkinje image state determination (S211).
[0132]
In the present embodiment, when the Purkinje image is not obtained or when only one Purkinje image is obtained, it is determined that the line of sight cannot be detected or the line of sight detection accuracy is significantly reduced, so that it is determined that the line of sight is not reliable, and the process returns to S201.
[0133]
FIG. 10 illustrates the number and arrangement of Purkinje images. The P image state discrimination and the number of P images indicate a state in which four Purkinje images exist according to the number of Purkinje images (P images in the figure) as a 4P image state, up to a state without a P image, and a P image state diagram. Shows the existence state of the four Purkinje images P1, P2, P3, and P4 in FIG. 24, and the P image coordinates used for calculating Xpo and Ypo are P1 (Xe ′, Ye ′), P2 (Xd ′, Yd '), P3 (Xe ", Ye"), and P4 (Xd ", Yd") are used to calculate Xpo and Ypo.
[0134]
As shown in FIG. 10, there are 16 possible arrangements of the obtained Purkinje images and 16 arrangements of the obtained Purkinje images with respect to four IRED photographer's eyeball illuminations. In the present embodiment, in order to speed up the selection by distinguishing the line-of-sight detection calculation, in particular, the Purkinje image from other characteristic points, the lower IREDs 13a, 13b are assumed to have the naked eye without the photographer as an example. After extracting the corresponding Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd'), the interval between the two Purkinje images is calculated (S210). Next, from the Purkinje image P1 (Xe ', Ye') of the IRED 13a, a feature point estimated as a Purkinje image existing within a predetermined range of a value obtained by multiplying a predetermined coefficient on the Y axis based on the Purkinje image interval is determined. , IRED 13e, as a Purkinje image P3 (Xe ", Ye").
[0135]
Next, the position P4 (Xd ", Yd") of the Purkinje image corresponding to the IRED 13f is similarly detected on the Y axis from the Purkinje image P2 (Xd ', Yd') corresponding to the IRED 13b. That is, the Purkinje images P3 and P4 are detected based on the Purkinje images P1 and P2 corresponding to the lower IREDs 13a and 13b.
[0136]
This is because the detection of the four Purkinje images P1, P2, P3, and P4 can be performed quickly, and the illumination light source may be blocked by the upper eyelids and upper eyelashes depending on the photographer's observation conditions and individual differences. Therefore, the Purkinje images P1 and P2 corresponding to the lower IREDs 13a and 13b (13c and 13d) are obtained with extremely high probability, whereas the Purkinje images P3 corresponding to the upper IREDs 13e and 13f (13g and 13h) are obtained. , P4 are due to the high probability of not being obtained depending on the photographer and the photographing conditions.
[0137]
As described above, in the present embodiment, based on the positions of the two Purkinje images existing on the lower side on the Y axis, the number and the arrangement of the four types of Purkinje images surrounded by the thick frame in FIG. Judge the state. If it is determined that the number and arrangement of the four types of Purkinje images surrounded by the thick frame in FIG. 10 are not the same, it is determined that there is no line-of-sight reliability, and the process returns to S201. Returning to S201, if it is determined again that there is no line-of-sight reliability in S111, the process enters the focus detection point automatic selection mode of FIG.
[0138]
In FIG. 10, the used calibration data is calibration data obtained by a calibration described later. In the present embodiment, the number of three Purkinje images and the arrangement state of the four Purkinje images are equal to or more than 3P images. Two pieces of 2P image calibration data are used.
[0139]
When the analysis of the eyeball image is completed, the eye-gaze detection circuit 101 also serving as a means for checking the calibration data determines whether or not the eyeglasses information in the calibration data is correct based on a combination of the calculated interval between the Purkinje images and the lit IRED. Is determined (S212). This is to cope with a photographer who uses or does not use glasses at each time.
[0140]
That is, when the photographer's glasses information in the calibration data is set to use, for example, glasses, and the IREDs 13c, 13d, 13g, and 13h of the IRED shown in FIG. 2B are turned on. If the distance between the Purkinje images is larger than a predetermined size, the photographer is recognized as a spectacle wearer, and the spectacle information is determined to be correct.
[0141]
Conversely, if the distance between the Purkinje images is smaller than a predetermined size, the photographer is recognized as the naked eye or the contact lens wearer, and it is determined that the eyeglasses information is incorrect. If it is determined that the spectacle information is incorrect (S212), the gaze detection circuit 101 changes the spectacle information (S217), selects the IRED again (S204), and executes the gaze detection. However, when the glasses information is changed, the glasses information stored in the EEPROM 100a of the CPU 100 is not changed.
[0142]
If it is determined that the eyeglass information is correct (S212), the distance between the eyepiece 11 of the camera and the eyeball 15 of the photographer is calculated from the distance between the Purkinje images, and further, the eyepiece 11 and the eyeball 15 of the photographer are calculated. The imaging magnification β of the eyeball image projected on the CCD-EYE is calculated from the distance (S213).
[0143]
Next, it is confirmed whether or not the mode is the calibration mode (S214). If it is in the calibration mode, data processing described later with reference to FIG. 14 is performed. If it is not in the calibration mode, the rotation angles θx and θy of the optical axis of the eyeball are calculated (S215).
[0144]
The rotation angles θx and θy of the optical axis of the eyeball 15 are obtained by modifying the equations (3) and (4) described in the prior art.
[0145]
[Equation 14]

Is represented by
[0146]
However, the calculation method of xp0 and yp0 differs depending on the arrangement state of the Purkinje image in FIG. For example, in the 2P image state shown in FIG. 10, the coordinates of the midpoint P0 of the Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd') in FIG. 22A are (xpo, ypo). Used. In the 3P image state, xp0 is the midpoint of the X coordinate of the Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd'), and yp0 is the Purkinje images P2 (Xd ', Yd') and P4. (Xd ", Yd") or the midpoint of the Y coordinate of the Purkinje images P1 (Xe ', Ye'), P3 (Xe ", Ye"). In the 4P image state, the coordinates of the midpoint P0 of the Purkinje images P1 (Xe ', Ye'), P2 (Xd ', Yd'), P3 (Xe ", Ye"), and P4 (Xd ", Yd") Is used as (xpo, ypo).
[0147]
δx and δy are correction terms for correcting the center positions of the two Purkinje images in equations (10), (10) ″, and (11). δx is obtained by equation (10), while δy is a 2P image. In the case of the state, it is obtained by the equation (11), and in the case of the 3P image state and the 4P image state, it is obtained by the equation (10) ″. The difference in how to determine δy is whether or not there is a ypo that can be handled in the same way as δx and can be calculated directly in the Y direction.
[0148]
For example, in the 2P image state of FIG. 10, the coordinates of the midpoint P0 of the Purkinje images P1 (Xd ′, Yd ′) and P2 (Xe ′, Ye ′) in FIG. 22A are (xpo, ypo). Used. In the 3P image state, the midpoint of the X coordinate of the Purkinje images P1 (Xd ', Yd') and P2 (Xe ', Ye') is xp0, and the Y direction is the Purkinje image P1 (Xd ', Yd'). Let xp0 be the midpoint of the Y coordinate of P3 (Xd ", Yd") or the Purkinje images P2 (Xe ', Ye') and P4 (Xe ", Ye"). In the 4P image state, the midpoint P0 of the Purkinje images P1 (Xd ', Yd')), P2 (Xe ', Ye'), P3 (Xd ", Yd"), and P4 (Xe ", Ye") Use coordinates as (xpo, ypo). As described above, it can be seen that the Purkinje image state determination (S211) is necessary for calculating the rotation angles θx and θy of the optical axis of the eyeball.
[0149]
When the rotation angles θx and θy of the photographer's eyeball are determined, the position (x, y) of the line of sight on the focus plate 7 is obtained from the equations (5) and (6) shown in the related art.
[0150]
(Equation 15)

(S216). Here, ax, ay, bx, and by are parameters for correcting individual differences in the line of sight, and ax and ay are calibration data.
[0151]
In the present embodiment, as shown in FIG. 10, two calibration data, ie, 3P image or more calibration data and 2P image calibration data, are used in accordance with the calculation method of the rotation angles θx and θy of the optical axis of the eyeball. Here also, it is found that the Purkinje image state determination (S211) is necessary.
Here, bx and by corresponding to the correction amounts of the optical axis and the visual axis of the eyeball in the horizontal direction (x direction) and the vertical direction (y direction) are:
[0152]
(Equation 16)

And is a function of the pupil diameter rp. Here, rx is a constant, and kx, ky, b0x, and b0y are calibration data. The method of obtaining the line-of-sight calibration data will be described later.
[0153]
In addition, the reliability of the coordinates of the line of sight calculated using the equations (5), (6), (15), and (16) is changed according to the reliability of the line of sight calibration data. When the coordinates of the line of sight on the focus plate 7 are obtained, a flag indicating that the line of sight has been detected is set (S217), and the process returns to the main routine (S218).
[0154]
The line-of-sight detection flowchart shown in FIG. 9 is also effective in the line-of-sight calibration mode. If it is determined in S201 that the gaze detection is in the calibration mode, then it is determined whether or not the current gaze detection is the first gaze detection in the calibration mode (S220).
[0155]
If it is determined that the current line-of-sight detection is the first line-of-sight detection in the calibration mode, ambient brightness is measured to set the CCD-EYE accumulation time and the IRED illumination power ( S203). The subsequent operation is as described above.
[0156]
If it is determined that the current line-of-sight detection is the second or more line-of-sight detection in the calibration mode (S201), the CCD-EYE accumulation time and the IRED illumination power use the previous values, and immediately the IRED. And the accumulation of CCD-EYE is started (S206).
[0157]
In the gaze calibration mode and when the number of gaze detection times is the second or more (S207), the same area as the CCD-EYE reading area is used as the previous area, so that the CCD-EYE is immediately stored as soon as the accumulation of the CCD-EYE is completed. Is executed (S209). The subsequent operation is as described above.
[0158]
In the flow chart of the eye gaze detection shown in FIG. 9, the variable at the time of returning to the main routine is the coordinates (x, y) of the eye gaze on the focus plate in the case of the normal eye gaze detection. In the case of line-of-sight detection in the above, the rotation angle (θx, θy) of the optical axis of the eyeball of the photographer. The other variables such as the reliability of the detection result, the CCD-EYE accumulation time, and the CCD-EYE reading area are common.
[0159]
In the present embodiment, photometric information detected by the photometric sensor 10 of the camera is used to set the accumulation time of the CCD-EYE and the illumination power of the IRED.
[0160]
12 to 15 are flowcharts of the line-of-sight calibration, and FIGS. 17 to 19 show the display states of the LCD 308 in the finder and the monitor LCD 202 during the line-of-sight calibration. In the present embodiment, four focus detection point marks 305, 301, 306, and 307 of the seven focus detection point marks in FIG. The gaze is calibrated once by sequentially gazing once as the target 4 and detecting the gaze at that time. This will be described below with reference to FIG.
[0161]
In FIG. 12, when the photographer simultaneously presses the mode buttons 45b and 45c, the mode is set to the line-of-sight calibration mode, the signal input circuit 104 transmits a signal to the LCD drive circuit 105 via the CPU 100, and The shutter time display unit 813 and the aperture display unit 814 in FIG. 3B and the monitor LCD 202 similarly use the shutter time display unit 802 and the aperture display unit 803 to set the line-of-sight calibration mode in FIG. A display indicating that any of them has been entered is performed (S218). The CPU 100 resets variables other than the calibration data stored in the EEPROM 100a (S301).
[0162]
FIG. 11 shows the types of calibration data stored in the EEPROM 100a of the CPU 100 and their initial values. Since no calibration has been performed, all values are initial values. On the addresses of the EEPROM 100a corresponding to the calibration data numbers 1 to 5, the camera attitude information and the eyeglass information (“1” for the eyeglasses and “0” for the naked eye) are respectively provided for the 3P image or more calibration data and the 2P image calibration. Two ax, ay, kx, ky, b0x, and b0y of data are stored. (In the embodiment, five data can be stored for the purpose of explanation, but of course, any data can be set depending on the capacity of the EEPROM.)
[0163]
The initial value of the calibration data is set to a value such that the line of sight is calculated using standard eyeball parameters. In addition, it also has a flag indicating whether the photographer uses spectacles and the degree of reliability of the calibration data. The initial value of the flag indicating the presence or absence of spectacles is set to “1” as if the spectacles are used, and the initial value of the reliability flag of the calibration data is set to “0” so as not to be reliable. ing.
[0164]
The currently set calibration mode is displayed on the LCD 308 in the finder and the LCD 202 for the monitor as shown in FIG. All other display units are turned off (the state of the calibration number 1 is shown as an embodiment, and only the 7-segment display unit is shown in an enlarged manner).
[0165]
At this time, if the calibration data of the set calibration number is the initial value, the calibration number displayed on the monitor LCD 42 flashes (FIG. 17B), while the calibration is already performed at the set calibration number. When the calibration number different from the initial value is included in the EEPROM address corresponding to the calibration number, the calibration number displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor lights up fully. (FIG. 17A).
[0166]
As a result, the photographer can recognize whether or not each of the currently set calibration numbers already contains calibration data. Also, as shown in FIG. 17A, the initial value of the calibration data number is set to “1”.
[0167]
Returning to FIG. 12, the timer set in the CPU 100 starts, and the calibration of the line of sight starts (S302). If no operation is performed on the camera within a predetermined time after the timer starts, the gaze detection circuit 101 turns off the gaze calibration target in the finder (S304). The process returns to the main (S338).
[0168]
When the photographer rotates the electronic dial 205, the signal input circuit 104 that has detected the rotation by the pulse signal as described above transmits a signal to the LCD drive circuit 105 via the CPU 100. As a result, in synchronization with the rotation of the electronic dial 205, the calibration number displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor changes. This is shown in FIG.
[0169]
First, when the electronic dial 205 is rotated clockwise, it changes in the order of “CAL-1” → “CAL-2” → “CAL-3” → “CAL-4” → “CAL-5”. The photographer can store the calibration data in any of the five desired calibration numbers.
[0170]
The state shown in FIG. 18 indicates that "CAL-1, 2, 3" already contains calibration data, and "CAL-4, 5" does not contain calibration data, and remains at the initial value. ing. When rotated in the counterclockwise direction, it is displayed in the opposite direction to the direction in FIG.
[0171]
When the photographer selects a desired calibration number while looking at the calibration numbers displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor in this manner, the eye gaze detection circuit 101 sends a confirmation signal of the corresponding calibration data number. This is performed via the input circuit 104 (S303). The confirmed calibration data number is stored at a predetermined address of the EEPROM 100a of the CPU 100. However, the storage of the calibration data number in the EEPROM 100a is not executed unless the confirmed calibration data number has been changed.
[0172]
Subsequently, the gaze detection circuit 101 checks the shooting mode via the signal input circuit 104 (S304). When it is confirmed that the photographer has switched to a shooting mode other than the gaze calibration mode by operating the operation member, if the gaze calibration target is blinking in the viewfinder, it is turned off. (S305), the process returns to the main routine of the camera photographing operation (S348).
[0173]
If the mode is switched to another photographing mode (shutter priority AE) while the calibration numbers “CAL1 to 5” are displayed, the gaze detection is performed using the data of the calibration number, and the aforementioned gaze information is used. You can perform the shooting operation that you have done. At this time, the LCD 308 in the viewfinder and the LCD for monitoring 202 turn on the gaze input mode displays 817 and 801 shown in FIGS. 3A and 3B in addition to the shooting mode display, and control the shooting operation based on the gaze information. The photographer is informed that the current eye gaze input mode (eye gaze shooting mode) is set.
[0174]
Here, when the photographer again presses the mode buttons 45b and 45c at the same time, the gaze calibration mode is set, the calibration number used for gaze detection is displayed, and the calibration operation starts.
[0175]
If it is confirmed that the eye-gaze calibration mode is still set, the calibration data number set by the electronic dial 205 is checked again (S304), and the CPU 100 continues the camera operation via the signal input circuit 104. Is detected (S305). The signal input circuit 104 processes the output signal of the attitude detection device 27 to determine whether the camera is in the normal position or the vertical position. If the camera is in the vertical position, for example, the grip is in the top direction (up) or the ground direction ( Below).
[0176]
When it is detected that the posture of the camera is at the normal position (S306), the gaze detection circuit 101 sets the number of gaze detections n to 0 (S307). However, when the number of gaze detection times n is 40, the number is kept. At this time, if the “CAL” display is blinking on the LCD 308 in the viewfinder, the blinking is stopped. The line-of-sight calibration is set to be started by turning on the switch SW1.
[0177]
In order to prevent the photographer from starting calibration on the camera side before the photographer is ready to calibrate the gaze, the gaze detection circuit 101 checks the state of the switch SW1 and the switch SW1 is pressed by the release button 201. If the switch SW1 is ON, the process waits until the switch SW1 is turned OFF (S308).
[0178]
When the gaze detection circuit 101 confirms that the switch SW1 is in the OFF state via the signal input circuit 104 (S308), the gaze detection circuit 101 transmits a signal to the LED drive circuit 106 to perform a gaze calibration target. The focus detection point mark 305, which is 1, is blinked (S309, FIG. 16A).
[0179]
If the ON signal of the switch SW1, which is a trigger signal for starting the line-of-sight calibration, is not input, the camera stands by (S310). When the photographer gazes at the target 1 that has started blinking and presses the release button 201 to turn on the switch SW1 (S310), the line of sight is detected (FIG. 13, S311).
[0180]
Next, the line-of-sight detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the line-of-sight detection subroutine (S312). The gaze detection operation is the same as that described with reference to the flowchart of FIG. 11, but differs in whether or not the mode is the calibration mode in FIG. 9 (S214). If the mode is the calibration mode, the process proceeds to the flowchart shown in FIG. Although the portion for storing the diameter rp and the reliability of each data is the same, the flowchart for calculating and storing the rotation angles θx and θy of the eyeball is different from the normal line-of-sight detection.
[0181]
Here, the calculation and storage of the rotation angles θx and θy of the eyeball in the calibration mode will be described with reference to the flowchart of FIG. 14 (S312). When the calibration mode of FIG. 9 is confirmed (S214), the number of Purkinje images (P images), which is the result of the Purkinje image state determination (S211) of the number and arrangement of Purkinje images, is confirmed (S402).
[0182]
When the number of P images is four, that is, in the 4P image state, as described above, the rotation angles θx and θy are calculated from the Purkinje images P1, P2, P3, and P4 as θ4px and θ4py (S406), and θ4px and θ4py. Is determined to be within a predetermined range (S406a), and if the value is within the predetermined range, the calibration data in the EEPROM 100a is stored in the address of the portion corresponding to the target 1 in the 4P image state (S407). .
[0183]
If θ4px and θ4py are out of the predetermined range, it is determined that the target is not gazing and the rotation angle of the eyeball is inappropriate and is not stored in the EEPROM 100a. Further, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is checked whether θ2px and θ2py are within a predetermined range (S406a). If the values are within the predetermined range, calibration of the EEPROM 100a is performed. The data is stored at the address of the portion corresponding to the target 1 in the 2P image state (S411). If it is outside the predetermined range, it is not stored in the EEPROM 100a.
[0184]
When the number of P images is three, that is, in the 3P image state, as described above, the rotation angles θx and θy are calculated as θ3px and θ3py from the Purkinje images P1, P2, P3, or P4 (S408), and θ3px, It is checked whether θ3py is within the predetermined range (S408a). If the value is within the predetermined range, the data is stored in the address of the portion corresponding to the target 1 in the 3P image state of the calibration data of the EEPROM 100a (S409). ). Further, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is checked whether θ2px and θ2py are within a predetermined range (S406a). If the values are within the predetermined range, calibration of the EEPROM 100a is performed. The data is stored at the address of the portion corresponding to the target 1 in the 2P image state (S411). If it is out of the predetermined range, the rotation angle of the eyeball is not stored in the EEPROM 100a as inappropriate.
[0185]
As described above, in the calibration mode, when the number of P images is three or more, that is, in the 4P image state and the 3P image state, the calibration data of the 2P image state is also calculated from the result of one line-of-sight detection and stored. are doing.
If the number of P images is two, that is, 2P image state, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is checked whether θ2px and θ2py are within a predetermined range (S410a). If the value is within the predetermined range, it is stored at the address of the portion corresponding to the target 1 in the 2P image state of the calibration data in the EEPROM 100a (S411).
[0186]
Here, since the target 1 is blinking (S309), it is stored at the address of the target 1. However, an address to be stored is provided according to the target that blinks.
[0187]
Returning to FIG. 13 again, when the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data are stored (S312), the number n of gaze detection is further counted up (S313). Since the photographer's line of sight has some variation, it is effective to execute the line of sight detection a plurality of times for a single target and use the average value to obtain accurate line-of-sight calibration data. .
[0188]
In the present embodiment, the number of gaze detections for one target is set to 10 times. If the number n of gaze detections is not 10 (S314), gaze detection is continued (S311). If the number of sight line detections n is 10, the sight line detection circuit 101 terminates the sight line detection for the target 1 (the focus detection point mark 305), and the sight line detection circuit 101 to make the photographer recognize that the sight line detection for the target 1 has been completed An electronic sound is emitted several times using a sounding body (not shown) via the CPU 100 (S315).
[0189]
At the same time, the visual line detection circuit 101 fully lights the visual target 1 for a predetermined time via the LED drive circuit 106, and notifies the photographer of the end of calibration data collection for the visual target 1 (S315). Subsequently, the line-of-sight detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S318).
[0190]
If the switch SW1 is ON, the process waits until the switch SW1 is OFF. If the switch SW1 is OFF, the target 1 is turned off, and at the same time, the target 2 (the focus detection point mark 301) on the left end starts blinking ( S317) (FIG. 16B).
The line-of-sight detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S318). If the switch SW1 is in the OFF state, the process waits until the switch SW1 is turned on. If the switch SW1 is turned on, the line of sight is detected (S319).
[0191]
The gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S320). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 2 in the EEPROM 100a.
[0192]
Further, the visual line detection frequency n is counted up (S321). Further, if the number of gaze detection times n is not 20 (S322), the gaze detection is continued (S319). If the number of sight line detections n is 20, the sight line detection for the target 2 is terminated, and the sight line detection circuit 101 is illustrated via the CPU 100 in order to make the photographer recognize that the sight line detection for the target 2 is completed. Make an electronic sound sound several times using a sounding body that has not been turned on.
[0193]
At the same time, the visual line detection circuit 101 fully lights the visual target 2 via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the visual target 2 (S323).
[0194]
Subsequently, the gaze detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S324). If the switch SW1 is ON, the process waits until the switch SW1 is turned OFF. If the switch SW1 is OFF, the optotype 2 is turned off, and at the same time, the optotype 3 (focus detection point mark 306) at the upper end starts blinking. (S325) (FIG. 16C).
[0195]
The gaze detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S326). If the switch SW1 is in the OFF state, the process waits until the switch is turned on. If the switch SW1 is turned on, the line of sight is detected (S327).
[0196]
The gaze detection circuit 101 stores the rotation angles θx, θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S328). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 3 in the EEPROM 100a.
[0197]
Further, the visual line detection number n is counted up (S329). Further, if the number of times of gaze detection n is not 30 (S330), the gaze detection is continued (S327). If the number of gaze detection times n is 30, the gaze detection for the target 3 is terminated, and the gaze detection circuit 101 is illustrated via the CPU 100 to make the photographer recognize that the gaze detection for the target 3 has been completed. Make an electronic sound sound several times using a sounding body that has not been turned on. At the same time, the visual line detection circuit 101 fully lights the visual target 3 via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the visual target 3 (S331).
[0198]
Subsequently, the gaze detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S332). If the switch SW1 is ON, the process waits until the switch SW1 is OFF. If the switch SW1 is OFF, the optotype 3 is turned off, and at the same time, the optotype 4 (focus detection point mark 306) at the lower end starts blinking. (S333) (FIG. 16D).
[0199]
The line-of-sight detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S334). If the switch SW1 is in the OFF state, the process waits until the switch SW1 is turned on.
[0200]
The gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S336). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 4 in the EEPROM 100a.
[0201]
Further, the visual line detection number n is counted up (S337). Further, if the number n of gaze detection times is not 40 (S338), gaze detection is continued (S335). If the number of gaze detections n is 40, the gaze detection circuit 101 ends the gaze detection for the optotype 4, and the gaze detection circuit 101 is illustrated via the CPU 100 in order to allow the photographer to recognize that the gaze detection for the optotype 4 has been completed. Make an electronic sound sound several times using a sounding body that has not been turned on.
[0202]
At the same time, the visual axis detection circuit 101 fully lights the visual target 4 via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the visual target 4 (S339). Since the visual axis detection has been performed on the visual target 1, the visual target 2, the visual target 3, and the visual target 4, the visual line detection for obtaining the visual line calibration data ends.
[0203]
Further, gaze calibration data is calculated from the eyeball rotation angles θx and θy and the pupil diameter rp stored in the gaze detection circuit 101 (S345). The outline of the method of calculating the line-of-sight calibration data is as follows.
[0204]
The coordinates of the optotype 1, the optotype 2, the optotype 3, and the optotype 4 on the focus board 7 are respectively stored in (x1, 0), (x2, 0), (0, y3), (0, y4), and the EEPROM 100a. The stored average values of the rotation angles (θx, θy) of the eyeballs when gazing at the target 1, the target 2, the target 3, and the target 4 are (θx1, θy1), (θx2, θy2), (θx3 , Θy3) and (θx4, θy4). Further, the average values of the pupil diameters are r1, r2, r3, and r4.
[0205]
The X-direction calibration data is obtained by using the data of the optotype 1 and the optotype 2. From the equations (6) and (16), the Y-direction calibration data is obtained by using the optotype 3 and the optotype 4 is used. Therefore, by setting the weighted average of the average pupil diameters r1 and r2 as rpx and the weighted average of the average pupil diameters r3 and r4 as rpy, calibration of ax, ay, kx, ky, b0x, and b0Y is performed. Data is determined.
For example, when rpx, rpy ≥ rp, kx, ky = 0 is set,
[0206]
[Equation 17]

[0207]
As described above, (θx1, θy1), (θx2, θy2), (θx3, θy3), and (θx4, θy4) respectively represent the average value of (θ4px, θ4py) in the 4P image state and the 3P image state. There is an average value of (θ3px, θ3py) in the 2P image state, and there is an average value of (θ2px, θ2py) in the 2P image state. Calculation of two calibration values of 3P image or more calibration data and 2P image calibration data (S340) This will be described with reference to the flowchart of FIG.
[0208]
First, the number of (θ2px, θ2py) data in the 2P image state of the targets 1 to 4 stored and stored in the EEPROM 100a is confirmed (S501). If the line-of-sight detection is performed ten times and the data of (θ2px, θ2py) in the 2P image state within the predetermined range (410a) is 6 or less, it is determined that there is no reliability even if the calibration data is calculated. The calibration is performed again.
If the data of (θ2px, θ2py) is 7 or more, the number of data of (θ4px, θ4py) in the 4P image state of the targets 1 to 4 stored and stored in the EEPROM 100a is confirmed (S501). If the number of data of (θ4px, θ4py) is 5 or more, it is determined that the calibration data is reliable, and the calibration data of the 3P image or more is calculated (S503). (Θx1, θy1), (θx2, θy2), (θx3, θy3), and (θx4, θy4) are the average values of (θ4px, θ4py) in the 4P image state. The calibration data of ax, ay, kx, ky, b0x, and b0Y is obtained based on the above calculation using the weighted average value of the average values of (θ3px, θ3py) in the 3P image state (S503).
[0209]
The reason why the calibration data for the 4P image state and the 3P image state are collectively used as the calibration data for the 3P image or more is that θ4py and θ3py, which are the eyeball rotation angles θy, are calculated by the same equation (4) ″. Since the difference between the two values was extremely small, the same calibration data was used and the data address portion was reduced.
[0210]
Next, the calibration data of the 2P image state is calculated (S504). The average value of (θ2px, θ2py) in the 2P image state is used for (θx1, θy1), (θx2, θy2), (θx3, θy3), and (θx4, θy4) for obtaining the calibration data.
[0211]
As described above, one calibration data calculation calculates two pieces of calibration data of a 3P image or more and calibration data of a 2P image state. If the number of data of (θ4px, θ4py) is 4 or less, there is no reliability in calculating the calibration data of the 3P image or more, and only the calibration data of the 2P image state is calculated (S504).
[0212]
Returning to FIG. 13 again, the timer is reset after the calculation of the gaze calibration data (S340) or after the end of the gaze detection (S341). The gaze detection circuit 101 also serving as a determination unit for the reliability of the calibration data determines whether the calculated calibration data of the gaze is appropriate (S342).
[0213]
If the calculated gaze calibration data falls within the range of general individual differences, it is determined to be appropriate.On the other hand, if the calculated gaze calibration data greatly deviates from the general range of individual differences, The calculated line-of-sight calibration data is determined to be inappropriate.
[0214]
If the calculated line-of-sight calibration data is determined to be inappropriate (S349), the LED drive circuit 106 stops energizing the superimposing LED and turns off the optotype 4 (S349). Further, the line-of-sight detection circuit 101 emits an electronic sound for a predetermined period of time using a sounding body (not shown) via the CPU 100 to warn that the line-of-sight calibration has failed. At the same time, a signal is transmitted to the LCD drive circuit 105, and the “CAL” display is blinked on the LCD 308 in the finder and the LCD 202 for the monitor to warn (S350) (FIG. 17 (c)).
[0215]
After a warning sound from the sounding body and a warning display on the LCDs 308 and 202 have been performed for a predetermined time, the process proceeds to the initial step (S301) of the calibration routine, and is set to a state in which the gaze calibration can be executed again.
[0216]
If the calculated line-of-sight calibration data is appropriate (S342), the line-of-sight detection circuit 101 displays the end of line-of-sight calibration via the LCD drive circuit 105 and the LED drive circuit 106 (S343). The LCD drive circuit 105 transmits a signal to the LCD 308 in the finder and the LCD for monitoring 202 to execute the display of “End-Calibration No” for a predetermined time (FIG. 19B).
[0219]
The line-of-sight detection circuit 101 sets the line-of-sight detection frequency n to 1 (S344), and stores the calculated line-of-sight line calibration data in an EEPROM address corresponding to the currently set calibration data number (S345). . At this time, if the line-of-sight calibration data is already stored at the address of the EEPROM to be stored, the calibration data is updated.
[0218]
After a series of line-of-sight calibration is completed, the camera waits until the photographer operates the electronic dial 205 or the mode buttons 204a 204b, 204c. If the photographer rotates the electronic dial 205 to select another calibration number, the line-of-sight detection circuit 101 detects a change in the calibration number via the signal input circuit 104 (S346), and performs a line-of-sight calibration routine. To the initial step (S301).
[0219]
If the photographer operates the mode buttons 204a 204b and 204c to select another photographing mode, the visual line detection circuit 101 detects a change in the photographing mode via the signal input circuit 104 (S347). (S348).
[0220]
In the present embodiment, an example has been described in which the number of times of gaze detection is set to 10 times when gazing at a single target, and the gaze is calibrated. .
[0221]
In the present embodiment, in order to increase the line-of-sight detection accuracy, when the line of sight of the photographer is detected by illuminating the eyeball of the photographer with four IREDs, in principle, four Purkinje, which are virtual images of the IRED in FIG. Although an image is supposed to be obtained, even if the illumination light source is blocked by the upper eyelid and eyelashes of the photographer and the Purkinje image corresponding to the IRED is not obtained due to the photographing conditions and individual differences, FIG. The number and the arrangement state of the Purkinje images are determined (S211 in FIG. 9), and two pieces of calibration data of 3P image or more and 2P image calibration data which are calibration data corresponding to the state are prepared in advance. , The selection and use can improve the line-of-sight detection accuracy.
[0222]
In addition, from the 16 states of the number and the arrangement of the Purkinje images in FIG. 10, four kinds of states are determined based on the lower two P images from two of the existence probability of the Purkinje image and the eye-gaze detection calculation accuracy. In this way, the gaze detection calculation, that is, the gaze detection speed is increased.
[0223]
The effects of the present embodiment will be described with reference to selection of a focus detection point mark in detecting a photographer's line of sight. When the photographer gazes at the center focus detection point mark 303 at the camera normal position in FIG. 3B and selects by gaze detection, if the gaze detection result is the gaze point area CC, the focus detection point mark is used. 303 is selected, the length of the gazing point area CC in the y direction is shorter than that of the gazing point area for selecting another focus detection point mark. Even if the photographer's consciousness is at the focus detection point mark 303, the gazing point is considered to vary to some extent. Here, the line-of-sight detection is calculated for the lower two P images P1 and P2 as described in the conventional example. In this case, since the accuracy in the y direction is inferior to the x direction, there is a high possibility that the upper and lower focus detection point marks 306 and 303 are selected.
[0224]
When the eyeball of the photographer is illuminated by four IREDs as in the present embodiment, four Purkinje images are obtained, and the accuracy in the y direction becomes equal to the accuracy in the x direction. The focus detection point mark 303 becomes possible.
[0225]
Here, even if the illumination light source is blocked by the upper eyelids and eyelashes of the photographer and a Purkinje image corresponding to the IRED is not obtained, if the three Purkinje images are obtained, the accuracy in the y direction is almost equal. By making the accuracy equal to the accuracy in the x direction, the photographer can make the focus detection point mark 303 at the center.
[0226]
In the vertical position, FIG. 3B is rotated 90 degrees, and five focus detection point marks 301, 302, 303, 304, and 305 are arranged in the y direction of the photographer, and y The improvement in the accuracy of the direction shows an effect. Further, even when only the lower two Purkinje images are obtained, the line of sight is detected based on the calibration data corresponding to the two Purkinje images, so that different Purkinje image states (four, three Purkinje images) are obtained. Use of the calibration data prevents a decrease in detection accuracy.
[0227]
Further, by simplifying the number and arrangement of the Purkinje images, it is possible to more quickly select a focus detection point mark. Normally, in calibration in which the four targets 1 to 4 that are the acquisition of calibration data are performed by ten gaze detections, the number and arrangement of the Purkinje images in FIG. 10 are determined (S211 in FIG. 9). As shown in FIG. 14, in the calculation of the rotation angle of the optical axis of the eyeball, θx, and θy, when the number of Purkinje images is four, from the four Purkinje images, (θ4px, θ4py) and from the lower two ( When θ2px, θ2py) is three, (θ3px, θ3py) from three Purkinje images and (θ2px, θ2py) from two lower ones, the Purkinje image number is lower when two. (Θ2px, θ2py) from the two sides, and the rotation angles θx, θy of the optical axis of the eyeball in accordance with the number and arrangement of Purkinje images in FIG. Then, each is stored in the address of the EEPROM 100a.
[0228]
Specifically, as shown in FIG. 15, at the time when the collection of the calibration data is completed, the average value of (θ4px, θ4py), (θ3px, θ3py) and (θ2px, θ2py) stored in each address is obtained. And 2P image calibration data and 2P image calibration data.
[0229]
Thus, the photographer can obtain two pieces of calibration data without performing any new calibration data acquisition operation or operation, and in the same calibration data acquisition operation as the conventional calibration operation once. Calibration data of two or more 3P images and 2P image calibration data for improving the visual line detection accuracy can be acquired.
[0230]
Then, since the calculation of the rotation angles of the optical axis of the eyeball, θx, and θy is the same equation for the 4P image state and the 3P image state, the calibration data for the 4P image state and the 3P image state is replaced with the calibration data for the 3P image or more. By simplifying the operation, the data address part was reduced.
[0231]
In FIG. 15, by confirming the number of data of (θ4px, θ4py), (θ3px, θ3py) and (θ2px, θ2py) stored at each address, the effect of not calculating the unreliable calibration data is shown. It has gained. However, at the time of calibration, when the illumination light source is blocked by the upper eyelids and eyelashes of the photographer, a Purkinje image corresponding to the IRED is not obtained, and only the lower two Purkinje images are obtained, the above (θ2px, θ2py) , Ie, only the 2P image calibration data (FIG. 15, S504) is stored in the address (FIG. 11) of the EEPROM 100a.
[0232]
Here, at the time of gaze detection, obtaining three or four P images of the photographer by illuminating the four IREDs means that the corresponding 3P image or more calibration data (FIG. 15, S503) Does not make sense because there is no. That is, it does not make sense to illuminate four IREDs in total, two upper and two lower, in order to obtain four P images.
[0233]
Therefore, when the line of sight is detected, as calibration data existence confirmation means in S203 of FIG. 9 and S2401 of FIG. 25, calibration data of 3P image or more stored in each address (FIG. 11) of the EEPROM 100a (FIG. 15, S503). ) And the 2P image calibration data (FIG. 15, S504) are the initial values or not (S2042 in FIG. 25). However, only the 2P image calibration data is the initial value, that is, the 2P image calibration data. Is confirmed to exist.
[0234]
Therefore, when it is confirmed that there is only the 2P image calibration data, as the illumination state switching means, if the photographer is naked at the camera normal position and the lower and inner IREDs 13a and 13b, and the glasses, The lower and outer IREDs 13c and 13d, in any case, illuminate the lower two IREDs.
[0235]
By checking the existing calibration data, it is possible to detect the line of sight without unnecessary illumination of the IRED.
[0236]
【The invention's effect】
As described above, when the line of sight of the observer is detected, a plurality of illumination light sources project light to the anterior segment of the photographer's eyeball, and a corneal reflection image (Purkinje image, P Image), calibration data according to the number of corneal reflection images and the arrangement state thereof, that is, correction data obtained by the line-of-sight correction means, are obtained in advance, and the number of corneal reflection images and the arrangement state are determined by the judgment means, and are selectively used. By doing so, the number of corneal reflection images at the time of gaze detection of the observer and the improvement of gaze detection accuracy according to the arrangement state thereof are enabled, and the plurality of different, the number of the corneal reflection images and the arrangement state respectively By confirming the presence of the eye-gaze correction data corresponding to the number of the corneal reflection images corresponding to the existing gaze-correction data and the arrangement state thereof at the time of gaze detection, the minimum number of the plurality of illuminations is required. Illuminates the light source And at all times without waste, enabling the optimum plurality of illumination light sources.
[0237]
In addition, a plurality of calibration data according to the number of corneal reflection images and the arrangement state, ie, the acquisition operation of the line-of-sight correction unit, without causing the observer to perform the operation of acquiring a new line-of-sight correction unit, without performing an operation. It is possible to acquire the correction data obtained by the line-of-sight correction means.
[0238]
Furthermore, it is possible to improve the eye-gaze detection accuracy by determining that the method of calculating the eyeball rotation angle of the observer differs depending on whether the number and arrangement of the reflected images from the cornea are one-dimensional or two-dimensional.
[0239]
Furthermore, even if the number and arrangement of the reflected images from the cornea are different, if the method of calculating the eyeball rotation angle of the observer is the same, the same calibration data, i.e., the correction data obtained by the line-of-sight correction means, is used. By using this, it is possible to simplify the calculation and reduce the size of the data storage unit.
[0240]
In addition, it is preferable that the improvement in the line-of-sight detection accuracy is used for a function of selecting at least one ranging point.
[0241]
As described above, by projecting to the anterior segment of the eyeball of the photographer who looks into the observation screen from the plurality of illumination light sources, the rotational angle of the optical axis of the photographer's eyeball is detected from the reflection image from the cornea and the pupil imaging position, In the line-of-sight detection means for detecting the line of sight of the observer from the rotation angle, the line-of-sight detection accuracy can be improved under all conditions of the observer, and the line-of-sight detection can be performed with the optimum and minimum illumination energy.
[Brief description of the drawings]
FIG. 1 is a schematic view of a main part of a camera body according to an embodiment.
FIG. 2A is a top view of the appearance of the camera body of the embodiment.
FIG. 2B is a rear view of the appearance of the camera body of the embodiment.
FIG. 3 is an explanatory diagram of a display state in a finder visual field of FIG. 1;
FIG. 4 is a block diagram of a main part of the electric circuit of the present embodiment.
FIG. 5 is a diagram showing an operation sequence of the camera according to the embodiment.
FIG. 6 is an explanatory diagram of a focus detection point selection mode of the embodiment.
FIG. 7A is an explanatory diagram of a gazing point area in a finder visual field;
FIG. 6B is an explanatory diagram showing a relationship between a focus detection point selection and a gazing point area in a finder visual field.
FIG. 8A is an explanatory diagram of an external display 202 of the camera body according to the present embodiment.
(B) It is explanatory drawing of the display part 308 in a finder visual field.
FIG. 9 is a flowchart of gaze detection.
FIG. 10 is a diagram illustrating the state of a Purkinje image.
FIG. 11 is an explanatory diagram of calibration data numbers and calibration data.
FIG. 12 is a first flowchart of calibration.
FIG. 13 is a second flowchart of the calibration.
FIG. 14 is a flowchart for calculating θx and θy in calibration and storing data.
FIG. 15 is a flowchart of calibration data calculation.
FIG. 16 is an explanatory diagram of a target in (a), (b), (c), and (d) calibration.
FIG. 17 is a first explanatory diagram of the display inside and outside of the viewfinder for calibration.
FIG. 18 is a second explanatory diagram of the display inside and outside of the viewfinder for calibration.
FIG. 19 is a third explanatory view of the display inside and outside the viewfinder for calibration.
FIG. 20 is an explanatory view of a conventional (two lower IRED) gaze detection principles.
FIGS. 21A and 21B are diagrams illustrating an eyeball image.
FIG. 22A is an explanatory diagram of a conventional eyeball image and Purkinje image arrangement state.
(B) It is an explanatory view (xz plane) of the conventional gaze detection principle.
(C) It is explanatory drawing (yz plane) of the principle of two lower visual axis detections of the conventional IRED.
FIG. 23 (a) is an explanatory diagram of an arrangement state of an eyeball image and a Purkinje image in three IREDs.
FIG. 3B is an explanatory diagram (yz plane) of the line of sight detection principle in three IREDs.
FIG. 24 is an explanatory diagram of an eyeball image and a Purkinje image arrangement state in four IREDs.
FIG. 25 is an IRED selection flowchart.
[Explanation of symbols]
7: Focus plate
7a: This micro prism array
12: Light receiving lens
13a to 13h: Illumination light source (light emitting means) for photographer's eye 15
14: Image sensor having a two-dimensional array of photoelectric elements such as CCDs
15: Photographer's eye
16: Cornea
17: Iris
101: Eye-gaze detection circuit
301, 302, 303, 304, 305, 306, 307: distance measuring point mark
200: This camera
300: In viewfinder observation screen
L3 · T to R3 · B: Gaze point area
S211: Purkinje image state determination

Claims (14)

By projecting from a plurality of illumination light sources to the anterior segment of the eye of the observer looking into the observation screen, the rotational angle of the optical axis of the observer's eye is detected from the reflected image from the cornea and the pupil imaging position. Gaze detection means for detecting the gaze of the observer from the corner,
Eye-gaze correction means for acquiring eye-gaze correction data for correcting a gaze detection error obtained by the gaze detection means due to individual differences in the eyeballs,
The visual axis correction means has a function of calculating the number of different corneal reflection images and visual axis correction data corresponding to each of the arrangement states, and storing the visual axis correction data in the storage means.
A determining means for determining the number and arrangement of the reflected images from the cornea when the gaze is detected by the gaze detecting means; and correcting the gaze correction data stored in the pre-storage means in accordance with a result of the determination by the determining means. Selecting means for selecting as correction data at the time of
Furthermore, the apparatus further comprises means for checking the presence of the eye-gaze correction data,
A gaze detection device comprising: a gaze correction unit that switches an illumination state according to a result of the gaze correction data existence state check unit when the gaze is detected. The gaze correction unit calculates the number of the different plurality of corneal reflection images and the gaze correction data corresponding to each of the arrangement states by a single acquisition operation of the gaze correction data. A gaze detection device according to claim 1. 2. The visual axis correction data existence state confirming means is a means for confirming the number of the plurality of different corneal reflection images and the presence of visual axis correction data corresponding to each of the arrangement states. Gaze detection device. The illumination state switching unit, the line-of-sight correction data existence state confirmation unit, the number of the corneal reflection image and the line-of-sight correction data corresponding to each of the arrangement state, the number of the corneal reflection image and the The eye gaze detecting device according to claim 1, comprising a plurality of combinations of illumination and non-illumination of the plurality of illumination light sources so as to obtain an arrangement state. The illumination state switching means, the presence state confirmation means of the line-of-sight correction data, the maximum number of the confirmed corneal reflection image, the corneal reflection image and the line-of-sight correction data corresponding to the arrangement state of the corneal reflection image, The eye gaze detecting device according to claim 4, comprising a plurality of combinations of illumination and non-illumination of the plurality of illumination light sources so that the number of corneal reflection images and the arrangement state can be obtained. The visual axis detection device according to claim 1, wherein at least three of the plurality of illumination light sources are provided in a two-dimensional direction around an observation surface. The gaze detection device according to claim 3, wherein the plurality of illumination light sources are provided below the observation surface and two above the observation surface. 4. The apparatus according to claim 1, wherein the determination unit includes a counting unit that counts the number of images reflected from the cornea, and an arrangement state detection unit that detects an arrangement state of the image reflected from the cornea. The visual line detection device according to item 1. The said arrangement | positioning state detection means discriminate | determines whether the reflection image from the said cornea is the state arrange | positioned in a one-dimensional direction or the state arrange | positioned in the two-dimensional direction, The Claim 6 characterized by the above-mentioned. Eye gaze detection device. The state in which the reflected images from the cornea are arranged in the one-dimensional direction means that the reflected images from the cornea corresponding to the two illumination light sources provided below the observation surface are appropriately obtained. Refers to the arrangement state when there is, the state where the reflected image from the cornea is arranged in a two-dimensional direction, the state from the cornea corresponding to each of the two illumination light sources provided below the observation surface The arrangement state when a reflection image and a reflection image from the cornea corresponding to at least one of two illumination light sources provided above the observation surface are appropriately obtained. Item 7. A gaze detection device according to item 6. The selecting means may determine whether the number of reflected images from the cornea and the arrangement state thereof are different from each other by the determining means, but if they are in a predetermined relationship, the data to be used for gaze detection. 7. The gaze detection apparatus according to claim 1, wherein the same gaze correction data is selected from the storage unit. Even in the predetermined relationship, when the gaze correction data existence state checking unit determines that the same gaze correction data as data to be used at the time of gaze detection to be selected is not present in the storage unit, The visual axis detection device according to any one of claims 1 to 6, wherein the plurality of illumination light sources are characterized by illuminating two illumination light sources below an observation surface. The predetermined relationship is characterized in that the number of reflected images from the cornea is three or more, and it is determined that the arrangement state is determined to be a state arranged in a two-dimensional direction. The line-of-sight detection device according to claim 8. The observation screen has a plurality of focus detection points that are areas for performing focus detection, and the line-of-sight detection unit is used when selecting at least one focus detection point than the plurality of focus detection points. The gaze detection device according to claim 1, wherein the gaze detection is performed.

Images