JP2004129927A - Glance detector - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a glance detector which can rapidly and accurately select out an AF (auto focus) point intended by a user in an optical apparatus furnished with a glance detecting means and an AF means. <P>SOLUTION: This glance detector comprises a means for determining the arrangement of Purkinje's figures (P figures); a means for previously determining an ocular rotational angle correction factor and a rotational angle variation (deviation) according to the arrangement of the P figures by calibration; and a means for changing a glance point and the area around the glance point according to the the arrangement of the user's P figures, wherein the detected focus points within the area are defocused as prescribed to select out at least one glance. <P>COPYRIGHT: (C)2004,JPO

Description

【００１９】
アッベの不変量より、角膜表面からプルキンエ像の発生する位置までの距離Ｋは、
【外２】

【００２０】
と表される。また、プルキンエ像Ｐ１，Ｐ２の中点Ｐ０のｘ方向のシフト量δｘ（ＣＣＤ座標系でのシフト量；眼球座標系でのΔｘ）は、
【外３】

【００２１】
の関係を満足する。上式を展開するとシフト量δｘは、
【外４】

【００２２】
となる。同様にプルキンエ像Ｐ１，Ｐ２の中点Ｐ０のｙ方向のシフト量δｙは、
【外５】

【００２３】
ここで、視線検出光学系の結像倍率βを、接眼レンズ射出面（原点）からの距離Ｓｚの２次関数として定義すると、
β＝ｂ１・Ｓｚ^２＋ｂ２・Ｓｚ＋ｂ３…（１２）
となる。係数ｂ１〜ｂ３は、所定距離における結像倍率を光学シミュレーションにて求め、それらの値を２次近似することにより算出される。
【００２４】
プルキンエ像の結像倍率βｐは、角膜の頂点からのｚ方向の距離をＳｚｐとすると、
βｐ＝ｂ１（−Ｓｚｐ−Ｓｚｃ）^２＋ｂ２（−Ｓｚｐ−Ｓｚｃ）＋ｂ３…（１３）
となる。
【００２５】
以下、Ｓｚｐ、Ｓｚｃを求めるため、算出ルーチンを複数回実行し、Ｓｚｐ、Ｓｚｃを収束させる。
【００２６】
ここで、式（９）と式（１１）を比較した場合、式（１１）では、
【外６】

【００２７】
の１項が加えられている。
【００２８】
これは、図２２（ｂ）に対して、図２２（ｃ）のごとく、ｙ軸方向にｚ軸を挟んで、ＩＲＥＤが存在しないため、２次元に、プルキンエ像が無いことで生じている項である。即ち、ｙ方向のシフト量δｙは、プルキンエ像Ｐ１，Ｐ２の中点Ｐ０から、直接的に求めることが出来ない。
【００２９】
このため、ｙ方向のシフト量δｙは、ｘ方向のシフト量δｘに対して、前述の係数ｂ１〜ｂ３の２次近似近似をはじめとして、収束計算での他の近似計算誤差、マイコン上の量子化誤差などが加わるため、精度が劣るという欠点を有する。
【００３０】
したがって、δｘを含む式（３）、δｙを含む式（４）で求められるユーザの眼球光軸１７ａの回転角（θｘ，θｙ）において、θｘに対して、θｙは精度が劣るという欠点を有する。
【００３１】
δｘを含む式（３）、δｙを含む式（４）から、撮影者の眼球回転角θｘ、θｙが算出されると、式（５）、式（６）からの個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数を与え、ピント板上の座標が算出される。
【００３２】
ここで、θｙの精度が劣るという欠点を回避するために、図２（ｂ）のごとく、発光ダイオード１３ａ、１３ｂに対して、ｙ軸方向にｚ軸を挟んで、１３ｅまたは、１３ｆを更に照明することで、新たな角膜反射像（虚像；プルキンエ像もしくはＰ像）を得ることで、即ち、２次元にプルキンエ像が配置された状態を得ることで、δｙをδｘと同様に、求めることで、θｙを、θｘと同様の精度にする必要がある。
【００３３】
これを、発光ダイオード１３ｃの照射を追加した図２３で説明する。図２３（ａ）は、図２１（ａ）と同様に、ＣＣＤ１４上に投影された眼球１７の各特徴点（角膜反射像及び瞳孔の中心）の位置を示したもので、発光ダイオード１３ｃに対応する新たな角膜反射像Ｐ３が、座標（Ｘｅ″，Ｙｅ″）に、発光ダイオード１３ａ、１３ｂに対応する従来の角膜反射像Ｐ１、Ｐ２の座標（Ｘｅ′，Ｙｅ′）、（Ｘｄ′，Ｙｄ′）のｙ座標から構成されるｙ方向Ｐ像中心が座標（ｘｐ１，ｙｐ１）にある。図２３（ｂ）は、図２２（ｃ）と同じｙ−ｚ平面眼球座標図で表したものである。
【００３４】
式（４）は、
β×Ｌｏｃ×ｓｉｎθｙ≒｛（ｙｐ１−δｙ）−ｙｉｃ｝×Ｐｔｙ…（４）″
で表され、補正項δｙに関しては、
【外７】

で表され、ｙ方向のシフト量δｙが、式（３）のｘ方向のシフト量δｘと同様の式であることが判る。
【００３５】
ここで、従来の発光ダイオード１３ａ、１３ｂでの角膜反射像で得られる式（１１）のδｙと、新たな角膜反射像を得ることで算出される式（１０）″のδｙの値は、当然異なるため、得られるθｙの値も異なる。
【００３６】
これは、観察者が同一注視点を観察した場合、角膜反射像の配置状態が、１次元である場合と、２次元である場合では、得られるθｙの値も異なり、前述の如く、発光ダイオード１３ｃの照射を追加して２次元にプルキンエ像が配置された状態で得られるθｙの方が精度が良いことを示す。
【００３７】
次に、眼球回転角θｘ、θｙから、算出される式（５）、式（６）で与える個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数も、同一個人であっても、発光ダイオード１３ａ、１３ｂで得られる角膜反射像から得られるａｘ，ｂｘ、ａｙ，ｂｙに対して、１３ｅまたは、１３ｆを更に照明し、新たな角膜反射像を加えて得られるａｙ，ｂｙが異なる。
【００３８】
以上が、視線検出原理である。
【００３９】
この原理に対して、実際の視線検出において、観察者の観察条件、個人差からの２つの要因が加わり、次の３つの問題がある。
【００４０】
一つは、観察者が同一点の注視を複数回行うと、本来視線検出結果は、同一となるが、実際には、結果にバラツキを生じる。これは、生理的な固視微動（意識としては、一点を注視していても、実際の注視点は、微動している）、光学装置の保持方法等に起因する個人差である。
【００４１】
ここで、眼球回転角θｘ、θｙから、算出される式（５）、式（６）で与える個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数の取得は、同一個人の同一点の注視の複数回の視線検出から所定の演算で行われるが、補正係数同様に、同一点の注視を行っても、その視線検出結果のバラツキの大小もまた、観察者の個人差を有する。
【００４２】
即ち、第１の問題として、現状、複数回の視線検出から所定の演算で、式（５）、式（６）で与える個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数の取得は可能であっても、個人差によるその値のバラツキを考慮されていない。
【００４３】
二つ目は、観察者の視線検出を行う際、必ずしも、照明光源に対応したプルキンエ像が得られるわけでは無い。特に、上側の発光ダイオード１３ｅに対応する上側の角膜反射像は、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られることに起因する。前述の新たな照明光源を追加したとしてもそれに対応したプルキンエ像が得られるとは限らない。
【００４４】
そこで、第２の問題として、観察者が同一注視点を観察し、視線検出を行った場合、前述の新たな照明光源を追加に対応したプルキンエ像が得られないと、得られるθｙの値が異なり、注視点位置の演算結果のｙ方向精度が低下する。
【００４５】
また、第３の問題として、前述のごとく、個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数も、前述の角膜反射像の状態を考慮せず、一様に与えれば、ｙ軸方向に関しての精度に問題が残る。
【００４６】
そこで、従来の発光ダイオード１３ａ、１３ｂに対し、発光ダイオード１３ｅ、１３ｆを追加して、照明に用いる提案がある。この様に行えば、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られたとしても、少なくとも発光ダイオード１３ｅ、１３ｆに対応する角膜反射像のいずれかを得られる確率を増したものである。
【００４７】
発光ダイオード１３ａ、１３ｂ、１３ｅ、１３ｆに対応して、３つの角膜反射像が得られた場合、前述のごとく、個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数を正しく与えれば、眼球回転角θｘ、θｙの精度は、同等となる。
【００４８】
図２４は、図２１（ａ）、図２３（ａ）と同様に、この時の４つの角膜反射像が得られた場合のＣＣＤ１４上に投影された眼球１７の各特徴点（角膜反射像及び瞳孔の中心）の位置を示したものである。
【００４９】
発光ダイオード１３ａ、１３ｂ、１３ｅ、１３ｆに対応する４つの角膜反射像が得られた場合、図２１、図２３に対して、ｘ方向、ｙ方向のＰ像中心位置は、各々２つの角膜反射像の座標でなく、４つの角膜反射像の座標から算出される為、個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数を正しく与えれば、眼球回転角θｘ、θｙの精度は、θｙばかりで無く、θｘも更に向上する。
【００５０】
前述の第２、３の問題に対しては、従来提案として、特開平ｘｘ−ｘｘｘｘｘ（キヤノン、大谷本人提案、整理番号４３１００３０）にて、１回の個人差補正係数の取得動作で、角膜反射像の数、配置状態に応じたａｘ，ｂｘ、ａｙ，ｂｙの補正係数を取得し、観察者の視線検出時、角膜反射像の数、配置状態を判別し、対応した前記補正係数を与え、精度向上を図っている。
【００５１】
しかし、第１の問題である観察者がある点を注視した場合、その視線検出結果に対して、バラツキの個人差を考慮した従来提案は無い。
また、特開平８−１５２５５２号公報（オリンパス）では、各々のフォーカスエリアに対し、視線検出情報からの注視点情報とその視線情報の信頼性から、更に、測距情報から、重み付けを行い、各々の総和から最も得点の高いフォーカスエリアを測距点として選択し、焦点調節を行っている。
【００５２】
しかしながら、前段の視線検出において、「視線検出情報からの注視点情報と視線情報の信頼性」では、角膜反射像の数、配置状態が考慮されていない点と、個人差のバラツキが考慮されていない点から、第１、第２、第３の問題に対しての提案では無い。
【００５３】
【発明が解決しようとする課題】
そこで、観察者の眼球の前眼部へ投射し、眼球像から特徴点（角膜反射像及び瞳孔の中心）を得るために、ｙ軸方向にも、新たな角膜反射像（虚像；プルキンエ像もしくはＰ像）を得ることとした照明光源を設けた視線検出手段において、観察者の視線検出精度に、観察者の視線検出結果に個人差を考慮し、観察者の意図した注視点領域を決定可能とすることが課題である。
【００５４】
次に、前記観察者の視線である注視点領域から、観察画面上、２次元に配置された複数のフォーカスエリアから、少なくとも１つのフォーカスエリアを選択可能とすることが課題である。
【００５５】
【課題を解決するための手段】
複数の焦点検出点を選択するにあたって、ｙ軸方向にも、新たな角膜反射像（虚像；プルキンエ像もしくはＰ像）を得ることとした照明光源を設けた視線検出手段において、視線検出時、第１に、角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態判断手段を設けた。
【００５６】
第２に、視線補正手段（キャリブレーション）で、公知の特開平ｘｘ−ｘｘｘｘｘ（キヤノン、大谷本人提案、整理番号４３１００３０）の角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態に応じた個人差に関するａｘ，ｂｘ、ａｙ，ｂｙの補正係数の取得にあたって、その補正係数のバラツキを同時に、取得する手段を設けた。
【００５７】
第３に、前記角膜反射像状態判断手段の結果、即ち、角膜反射像の配置状態から、視線検出演算の結果である注視点位置を算出した上で、前記視線補正手段（キャリブレーション）で、取得した補正係数のバラツキを観察者の視線の注視点位置が、どの程度バラツクかの個人差を加味した注視点領域を決定する手段を設ける。
【００５８】
第４に、前記注視点領域に含まれる複数の焦点検出点から少なくとも１つのフォーカスエリアを選択する手段を設けた。
【００５９】
その作用として、第１、第２の手段とで、観察者の視線検出で、得られた角膜反射像状態に応じ、かつ、観察者の個人差を考慮して、観察者の視線の注視点位置を精度良く、求めることが可能である。
【００６０】
第２、第３の手段から、精度良く求められた前記観察者の視線の注視点位置に対して、個人差に起因する視線検出のバラツキを考慮した注視点領域を求めることが可能となる。
【００６１】
第４の手段から、観察者の意図したフォーカスエリアを選択可能となる。
【００６２】
【発明の実施の形態】
本実施例のカメラは、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を有するオートフォーカスカメラである。
【００６３】
図１は本発明にかかる一眼レフカメラの要部概略図である。
【００６４】
図１において、図中１は撮影レンズであり、図１では便宜上２枚のレンズ１ａ、１ｂで示したが、実際は多数のレンズから構成されている。２は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。３はサブミラーで、主ミラー２を透過した光束をカメラボデイの下方へ向けて反射する。４はシャッタ、５は感光部材で、銀塩フィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子よりなっている。
【００６５】
６は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ６ａ、反射ミラー６ｂ及び６ｃ、２次結像レンズ６ｄ、絞り６ｅ、複数のＣＣＤからなるラインセンサ６ｆ等から構成されている周知の位相差方式を採用している。同図の焦点検出装置６は、図３に示すようにファインダー観察画面内３００の複数の領域（７個の焦点検出点マーク３０１から３０７）は、焦点検出領域（以下、焦点検出点）と対応し、焦点検出可能なように構成されている。
【００６６】
７は撮影レンズ１の予定結像面に配置されたピント板、８はファインダ光路変更用のペンタプリズム、９、１０は観察画面内の被写体輝度を測定するための結像レンズと測光センサで、結像レンズはペンタプリズム８内の反射光路を介してピント板７と測光センサを共役に関係付けている。
【００６７】
次に、ペンタプリズム８の射出面後方には光分割器１１ａを備えた接眼レンズ１１が配され、撮影者の眼１５によるピント板７の観察に使用される。光分割器１１ａは、例えば可視光を透過し赤外光及び赤外寄りの可視光（赤色光）を反射するダイクロイックミラーより成っている。１２は受光レンズ、１４はＣＣＤ等の光電素子列を２次元的に配したイメージセンサで受光レンズ１２に関して所定の位置にある撮影者眼１５の瞳孔近傍と共役になるように配置されている。
【００６８】
イメージセンサ１４と受光レンズ１２は受光手段の一要素を構成している。１３ａ〜１３ｄ、１３ｅ〜１３ｈは各々撮影者の眼１５の照明光源（投光手段）であるところの８個の赤外発光ダイオード（図では、２個のみ図示）で、接眼レンズ１１の回りに配置されている。
【００６９】
２１は、明るい被写体の中でも視認出来る高輝度のスーパーインポーズ用ＬＥＤで、発光された光は、投光用プリズム２２を介し、主ミラー２で反射してピント板７の表示部に設けた微小プリズムアレー７ａで垂直方向に曲げられ、ペンタプリズム８、接眼レンズ１１を通って撮影者の眼１５に達する。
【００７０】
そこで、ピント板７の焦点検出点に対応する複数の位置（焦点検出点マーク部）にこの微小プリズムアレイ７ａを枠上に形成し、これを各々に対応した７つのＬＥＤ２１（各々をＬＥＤ−Ｌ１、ＬＥＤ−Ｌ２、ＬＥＤ−Ｃ、ＬＥＤ−Ｒ１、ＬＥＤ−Ｒ２、ＬＥＤ−Ｔ、ＬＥＤ−Ｂとする）によって照明する。
【００７１】
これによって、図３に示すように、各々の焦点検出点マークである３０１，３０２，３０３，３０４，３０５，３０６，３０７が、ファインダー視野内で光り、焦点検出点であることを表示させることが出来るものである（以下、これをスーパーインポーズ表示という）。
【００７２】
ここで左右上下端の測距点マーク３０１、３０５、３０６，３０７は、眼球の個人差補正データ（視線補正係数）を採取する（以下この動作をキャリブレーションと称す）際に点灯するものである。本カメラのキャリブレーションは、撮影者がキャリブレーションを行う毎に、そのデータが所定回数まで蓄積され、所定の平均化作業によって算出される。
【００７３】
２３はファインダ視野領域を形成する視野マスク、２４はファインダ視野外に撮影情報を表示するためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥＤ）２５によって照明され、ＬＣＤ２４を透過した光が三角プリズム２６によってファインダ内に導かれ、図３のファインダ視野外３０８に表示され、撮影者は該撮影情報を観察している。２７は姿勢検知手段でありカメラの姿勢を検知するスイッチである。
【００７４】
３１は撮影レンズ１内に設けた絞り、３２は後述する絞り駆動回路１１１を含む絞り駆動装置、３３はレンズ駆動用モータ、３４は駆動ギヤ等からなるレンズ駆動部材、３５はフォトカプラでレンズ駆動部材３４に連動するパルス板３６の回転を検知してレンズ焦点調節回路３７に伝えている。レンズ焦点調節回路３７は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モータを所定量駆動させ、撮影レンズ１を合焦位置に移動させるようになっている。３８は公知のカメラとレンズとのインターフェースとなるマウント接点である。
【００７５】
図２（ａ）、図２（ｂ）は、本発明のカメラ本体外観図で、図１での交換可能な撮影レンズ１は、不図示。図２（ａ）は、上面図、図２（ｂ）は、背面図。
【００７６】
２００は、カメラ本体、２０１はレリーズボタン、２０２は外部モニタ表示装置としてのモニタ用ＬＣＤで図８の如く、予め決められたパターンを表示する固定セグメント表示部２０２ａと、可変数値表示用の７セグメント表示部２０２ｂ図２（ａ）、図２（ｂ）において、カメラ本体２００は、図１の交換可能なレンズ部は不図示であるが、とからなっている。
【００７７】
２０３は測光値を保持するＡＥロック釦、２０４ａ、２０４ｂ、２０４ｃはモード釦で撮影モード等の選択を行っている。
【００７８】
モード釦４５ｂ、４５ｃの同時押しでは、後述する眼球の個人差補正データ（視線補正係数）を採取する「視線キャリブレーション」モードとなる。
【００７９】
２０５は電子ダイヤルで、回転してクリックパルスを発生させることによってモード釦２０４ａ、２０４ｂ、２０４ｃで選択されたモードの中でさらに選択し得るモード、及び設定値を選択するためのものである。例えばモード釦２０４ａを押して電子ダイヤル２０５にてシャッタ優先の撮影モードを選択すると、ファインダ内ＬＣＤ２４及びモニタ用ＬＣＤ２０２には、現在設定されているモードとシャッタスピードが表示される。更に撮影者がモード釦２０４ａを離した後、電子ダイヤル２０５を回転させるとその回転方向に従って現在設定されているシャッタスピードから順次シャッタスピードが変化していくように構成されている。この様にして撮影者がプログラムＡＥシャッタ優先ＡＥ、絞り優先ＡＥ、被写体深度優先ＡＥ、マニュアル露出の各撮影モードをモード釦２０４ａを押すことで選択し、電子ダイヤル２０５を回転させることで撮影内容を設定できる。
【００８０】
図８（ａ）、図８（ｂ）はモニタ用ＬＣＤ２０２とファインダ内ＬＣＤ２４である図３の３０８の全表示セグメントの内容を示した説明図である。図８（ａ）において固定表示セグメント部２０２ａには公知の撮影モード表示以外に、カメラのＡＦ動作や撮影モードの選択などの撮影動作を表示する部分を設けている。
【００８１】
８０１は、視線検出モードであることを表示する部分で、視線検出モード時、表示される。視線検出モードにするためには、モード釦２０４ｂを押して、電子ダイヤル２０５を回転操作させ、８０１を表示させることで設定する。
【００８２】
可変数値表示用の７セグメント部２０２ｂは、シャッタ秒時を表示する４桁の７セグメント８０２、絞り値を表示する２桁の７セグメント８０３と小数点８０４、フィルム枚数を表示する限定数値表示セグメント８０５と１桁の７セグメント８０６で構成されている。
【００８３】
図８（ｂ）において８１１は手ブレ警告マーク、８１２はＡＥロックマーク、８１３、８１４は、前記のシャッタ秒時表示８０２と絞り値表示８０３，８０４と同一の表示セグメント、８１５は露出補正設定マーク、８１６はストロボ充完マーク、８１７は視線入力状態であることを示す視線入力マークで、視線検出モードであることを表示する部分８０１と同様。８１８は撮影レンズ１の合焦状態を示す合焦マークである。
【００８４】
２０６は、測距点選択モード釦で、撮影者がこれを押すことで、所定の焦点検出点を電子ダイヤル２０５の操作により、点灯表示している焦点検出点から任意の焦点検出点に移動操作可能とする。
【００８５】
ここで、図６（ａ）でファインダー内の所定の焦点検出点マーク３０３が、点灯表示されているとすると、電子ダイヤル２０５を回すと回転方向に同期した形で図６（ｂ）、図６（ｃ）の如く、焦点検出点マーク３０４、３０５に移動することが可能である。そして、移動後の焦点検出点マークが点灯表示され、撮影者が選択した焦点検出点を認識可能としている。
【００８６】
更に、同方向に電子ダイヤル２０５を回すと、図６（ｄ）の如く、測距マーク３０１、３０２，３０３，３０４，３０５，３０６，３０７が同時に所定時間点灯し、測距点選択モードが、カメラが自動的に、測距点を選択する測距点自動選択モードとなったことを撮影者が認識可能としている。
【００８７】
また、測距点選択モード釦２０６を再度押すと、電子ダイヤル２０５を回すことでの焦点検出点マークの移動方向が、測距マーク３０６，３０７を選択可能な方向に切り替わる。
【００８８】
本カメラ２００は、前述の撮影者が任意の焦点検出点を選択する事の可能な係る焦点検出点任意選択モード以外に、図３の７個の焦点検出点マークに対応する７個の焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を抽出、選択する焦点検出点自動選択モードの二つを備えている。また、前述のモード釦２０４ｂ、電子ダイヤル２０５の操作で、視線検出モードであることを表示する部分８０１、８１７を表示させ、図３の７個の焦点検出点マークから選択するにあたり、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を利用して焦点検出点を選択する視線入力モードを備えている。
【００８９】
本実施例では、カメラ２００は、前記視線入力モードに設定されている。
【００９０】
２０７は、カメラの電源スイッチでこれをＯＮ状態にすることでカメラが起動する。又ＯＦＦでカメラを不作動とするロックポジションとなる。
【００９１】
点線２０８は、撮影者がカメラをホールドした状態の右手である。
【００９２】
図４は本発明のカメラに内蔵された電気回路の要部ブロック図である。図４において図１及び図２と同一のものは同一符号を付けている。
【００９３】
カメラ本体に内蔵されたマイクロコンピュータの中央処理装置（以下ＣＰＵ）１００には視線検出回路１０１、測光回路１０２、自動焦点検出回路１０３、信号入力回路１０４、ＬＣＤ駆動回路１０５、バックライトＬＥＤ駆動回路１０６、図１、図２の１３ａ〜１３ｇに相当するＩＲＥＤ１〜ＩＲＥＤ８の８個のＩＲＥＤ駆動回路１０７、シャッタ制御回路１０８、モータ制御回路１０９が接続されている。また撮影レンズ内に配置された焦点調節回路３７、絞り駆動回路１１１とは図１で示したマウント接点３８を介して信号の伝達がなされる。
【００９４】
ＣＰＵ１００は不図示のＲＡＭを内蔵しており、視線のキャリブレーションデータを該内蔵ＲＡＭに記憶する機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、公知の視線の個人差の補正を行うための視線補正データ（以下キャリブレーションデータと称す）を取得するキャリブレーションモードが選択可能となり、各キャリブレーションデータ、及びキャリブレーション動作「ＯＦＦ」が電子ダイヤル２０５にて可能となっている。
【００９５】
ＣＰＵ１００に付随したＥＥＰＲＯＭ１００ａは記憶手段としての視線の個人差を補正する視線補正データの記憶機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、視線の個人差の補正を行なうための視線補正データ（以下「キャリブレーションデータ」と称する。）を採取するモードが選択可能となり、各キャリブレーションデータに対応したキャリブレーションナンバーの選択及びキャリブレーション動作のＯＦＦが電子ダイヤル２０５にて可能となっている。
【００９６】
キャリブレーションデータは複数設定可能で、カメラを使用する人物で区別したり、同一の使用者であっても観察の状態が異なる場合例えば眼鏡を使用する場合とそうでない場合、あるいは視度補正レンズを使用する場合とそうでない場合とで区別して設定するのに有効である。
【００９７】
又、この時選択されたキャリブレーションナンバーは、後述するようにキャリブレーションデータナンバー（１，２，３・・・あるいは０）としてＥＥＰＲＯＭ１００ａに記憶される。
【００９８】
本実施例では、１つのキャリブレーションナンバーに記憶されているキャリブレーションデータには、図１０で、後述するように、正位置と縦位置でのキャリブレーションデータには、眼球回転角のバラツキも含まれている。、更にその中に角膜の反射像の数とその配置によって、各々キャリブレーションデータが記憶されている。
【００９９】
視線検出回路１０１は、イメージセンサ１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ変換しこの像情報をＣＰＵに送信する。ＣＰＵ１００は後述するように、公知の視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、さらに各特徴点の位置から撮影者の視線を算出する。ＣＰＵ１００と視線検出回路１０１、そしてイメージセンサ１４は視線検出装置の一要素を構成している。
【０１００】
測光回路１０２は測光センサ１０からの出力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサの輝度情報としてＣＰＵ１００に送られる。測光センサ１０は図３に示したファインダ画面内の７個の焦点検出点マーク３０１〜３０７の各々に対応した領域を測光するＳＰＣ−ＡからＳＰＣ−Ｇの７個のフォトダイオードから構成されている。
【０１０１】
焦点検出装置６ｆのラインセンサ１１６は前述のように画面内の７個の焦点検出点マーク３０１〜３０７に対応した７組のラインセンサＣＣＤ−Ｃ、ＣＣＤ−Ｒ１、ＣＣＤ−Ｒ２、ＣＣＤ−Ｌ１、ＣＣＤ−Ｌ２、ＣＣＤ−Ｔ、ＣＣＤ−Ｂから構成される公知のＣＣＤラインセンサで、焦点検出を可能としている。自動焦点検出回路１０３はこれらラインセンサ１１６から得た電圧をＡ／Ｄ変換し、ＣＰＵ１００に送る。
【０１０２】
ＳＷ１はレリーズ釦２０１の第１ストロークでＯＮし、測光、ＡＦ、視線検出動作を開始する測光スイッチ、ＳＷ２はレリーズ釦２０１の第２ストロークでＯＮするレリーズスイッチ、ＡＮＧ−ＳＷ１、ＡＮＧ−ＳＷ２は姿勢検出装置２７によって検知されるところの姿勢検知スイッチ、ＳＷ−ＡＥＬはＡＥロック釦２０３を押すことによってＯＮするＡＥロックスイッチ、ＳＷ−ＡＦＳは測距点選択釦２０６を押すことによってＯＮする測距点選択モードスイッチ、ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は既に説明した電子ダイヤル２０５内に設けたダイヤルスイッチで信号入力回路１０４のアップダウンカウンタ１１８に入力され、電子ダイヤル２０５の回転クイック量をカウントする。
【０１０３】
モード釦４４ａ、４４ｂ、４４ｃは、不図示。
【０１０４】
これらスイッチの信号が信号入力回路１０４に入力されデータバスによってＣＰＵ１００に送信される。
【０１０５】
１０５はファインダー内ＬＣＤ２３、モニタ用ＬＣＤ２０２を表示駆動させるための公知のＬＣＤ駆動回路で、ＣＰＵ１００からの信号に従い、絞り値、シャッタ秒時、設定した撮影モード等の表示を両方に同時に表示させている。
【０１０６】
ＬＥＤ駆動回路１０６は、ＬＥＤ２１（各々をＬＥＤ−Ｌ１、ＬＥＤ−Ｌ２、ＬＥＤ−Ｃ、ＬＥＤ−Ｒ１、ＬＥＤ−Ｒ２、ＬＥＤ−Ｔ、ＬＥＤ−Ｂとする）を点灯、点滅制御する。更に点灯時、測光回路１０２からの信号をＣＰＵ１００が演算した信号に従い、点灯輝度を変化させ、ファインダー内の明るさに応じて測距点の表示を認識し易くしている。
【０１０７】
ＩＲＥＤ駆動回路１０７は、撮影者が眼鏡をしない裸眼である場合に行う内周側のＩＲＥＤ１３ａ、ＩＲＥＤ１３ｂ、ＩＲＥＤ１３ｅ、ＩＲＥＤ１３ｆの４つのＩＲＥＤを同時点灯制御と、撮影者が眼鏡をしている場合に行う外周側のＩＲＥＤ１３ｃ、ＩＲＥＤ１３ｄ、ＩＲＥＤ１３ｇ、ＩＲＥＤ１３ｈの４つのＩＲＥＤを同時点灯制御を、ＣＰＵ１００の信号に従い行う。
【０１０８】
シャッタ制御回路１０８は通電すると先幕を走行させるマグネットＭＧ−１と、後幕を走行させるマグネットＭＧ−２を制御し、感光部材に所定光量を露光させる。
【０１０９】
モータ制御回路１０９はフィルムの巻き上げを行うモーターＭ１と主ミラー２及びシャッタ４のチャージ、巻き戻しを行うモーターＭ２を制御している。これらシャッタ制御回路１０８、モータ制御回路１０９によって一連のカメラのレリーズシーケンズが動作する。
【０１１０】
図２の点線２０８の撮影者がカメラをホールドした右手部分のグリップ兼電池室１１２は、電池１１３を内蔵しており、コネクター１１４のＰ−ＧＮＤ、ＶＢＡＴの端子とメカ的電気的に接合し、本体電源系１１５にカメラ電源を供給している。
【０１１１】
コネクター１１４のＰ−ＧＮＤ、ＶＢＡＴ以外の端子とコネクター１１７の端子は、グリップ兼電池室１１２装着状態では、グリップ兼電池室１１２に端子が存在せず、接続状態になく、付属品の装着時に利用される端子である。
【０１１２】
スイッチ１１９は、グリップ兼内蔵電池室１１２，付属品の装着を認識するＳＷで装着状態でＤ−ＧＮＤと切り離されたことを検知する。
【０１１３】
次に図５で、本実施例のカメラの作動フローチャートを説明する。
【０１１４】
図２（ｂ）の電源ＳＷ２０７を回転させてＯＮ位置にするとカメラを不作動状態からカメラの電源がＯＮされる（Ｓ１００）。
【０１１５】
次にＣＰＵ１００の状態を確認し、焦点検出点選択モードを確認し（Ｓ１０１）、本実施例の視線入力モードかどうかを確認する（Ｓ１０２）。
【０１１６】
視線入力モードでなければ、視線入力禁止として、焦点検出点任意選択モードへ（Ｓ１０１ａ）。
【０１１７】
焦点検出点任意選択モードで無ければ、焦点検出点自動選択モード（Ｓ１０１ｂ）に入る。ここでは、視線情報を用いずに、図３の７個の焦点検出点マークに対応する全ての焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を選択するサブルーチンを実行する。
【０１１８】
Ｓ１０１ａ、Ｓ１０１ｂで、ＬＣＤ駆動回路１０５はファインダ内ＬＣＤ２４の視線入力マーク８１８を消灯するので、撮影者はファインダ画面外表示３０８でカメラが視線検出を行わないことを確認できる（図３，図８（ｂ））。
【０１１９】
ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶された視線のキャリブレーションデータ以外の視線検出に使われる変数と、所定のカメラ状態になるように、変数がリセットされる（Ｓ１０３）。
【０１２０】
そして、カメラはレリーズ釦２０１が押し込まれてスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０４）。
【０１２１】
次に、視線検出を行なう際に、どのキャリブレーション（ＣＡＬ）データを使用するかを視線検出回路１０１に確認する（Ｓ１０５）。
【０１２２】
この時、確認されたキャリブレーションデータナンバーのキャリブレーションデータが初期値のままで変更されていない場合、視線検出はこの初期値で行われる。また、同一キャリブレーションデータナンバーでも、一部キャリブレーションがなされず、初期値である場合、初期値で無いキャリブレーションデータを用いて視線検出が行われる。例えば、カメラ縦位置で、正位置しかキャリブレーションデータが存在しない場合、正位置のキャリブレーションデータが用いられる。
【０１２３】
次に、前記キャリブレーションデータナンバーに対応した視線のキャリブレーションデータが所定の値に設定されていてそのデータが撮影者により入力されたものであることが認識されると、視線検出回路１０１は、視線検出を実行し、角膜の反射像の数から選択されたキャリブレーションデータから、視線検出回路１０１において検出された視線は、撮影者の注視点として、ピント板７上の注視点座標に変換される視線検出が行われ、眼球回転角のバラツキを考慮した注視点領域が決定される（Ｓ１０６）。
【０１２４】
この時、ＬＣＤ駆動回路１０５はファインダー内ＬＣＤ２４の視線入力マーク８１７を点灯させ、ファインダー画面外３０８で撮影者はカメラが視線検出を行なっている状態であることを確認することができるようになっている（図８（ｂ））。
【０１２５】
また、７セグメント８１３には設定されたシャッタ秒時が、７セグメント８１４には設定された絞り値が、表示されている。
【０１２６】
この前記注視点領域が、どの注視点エリア群に内包され、前記注視点エリア群に、図３の７個の焦点検出点マークから対応するものを選択した（Ｓ１０７）後、選択された焦点検出点マークであるフォーカスエリアが焦点検出点となり、点灯表示される（Ｓ１０８）。
【０１２７】
図７（ａ）で、視線検出装置の一部であるイメージセンサ１４は、ピント板７上の位置とピント板７上を観察する図３の観察画面３００の位置に対応しており、ピント板７上及び、観察画面３００上では、図７の如く、縦にＬ３，Ｌ２，Ｌ，Ｃ，Ｒ１，Ｒ２、Ｒ３の７列に、横にＴ，Ｕ，Ｃ，Ｄ，Ｂの５行で区切られた複数の注視点エリアで構成している。各注視点エリアは、縦列名・横行名で現される。　例えば、左上端エリアは、Ｌ３・Ｔ、右下端エリアは、Ｒ３・Ｂである。
【０１２８】
図７（ａ）で、注視点を座標（ｘ、ｙ）とすると、眼球回転角のバラツキを考慮した前記注視点領域３０９は、注視点エリア群である注視点エリアＲ１・Ｄ、Ｒ１・Ｂ、Ｒ２・Ｄ、Ｒ２・Ｂに内包される。ここで、前記注視点エリア群に、７つの焦点検出点が無い場合、視線検出を禁止し、焦点検出点自動選択モード（１０１ｂ）に移る。
【０１２９】
撮影者が該撮影者の視線によって選択された焦点検出点が表示されたのを見て、その焦点検出点が正しくないと認識してレリーズ釦２０１から手を離しスイッチＳＷ１をＯＦＦすると（Ｓ１０９）、カメラはスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０４）。
【０１３０】
撮影者が選択された焦点検出点が点灯表示されたのを見て、レリーズ釦２０１を押しつづけ、スイッチＳＷ１をＯＮ続けたならば（Ｓ１０９）、選択された焦点検出点において自動焦点検出回路１０３は焦点検出動作を行う（Ｓ１１０）。
【０１３１】
焦点検出が可能（Ｓ１１１）であり、所定のアルゴリズムで選択された焦点検出点の焦点調節状態が合焦（Ｓ１１２）でなければ、ＣＰＵ１００はレンズ焦点調節回路１１０に信号を送って所定量撮影レンズ１を駆動させる（Ｓ１１３）。レンズ駆動後自動焦点検出回路１０３は再度焦点検出を行い（Ｓ１１０）、撮影レンズ１が合焦しているか否かの判定を行う（Ｓ１１２）。
【０１３２】
焦点検出が不能（Ｓ１１１）であれば、焦点検出ＮＧ表示として、図８の合焦マーク８１８を点滅させる（Ｓ１１１ａ）。更にＳＷ１がＯＮであれば、点滅を続け、ＯＦＦであれば（Ｓ１１１ｂ）、再度、ＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１３３】
所定の焦点検出点において撮影レンズ１が合焦していたならば、ＣＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってファインダ内ＬＣＤ２４の合焦マーク８１８を点灯させると共に、ＩＲＥＤ駆動回路１０７にも信号を送っての合焦している焦点検出点に合焦表示させる（Ｓ１１４）。
【０１３４】
合焦した焦点検出点がファインダ内に表示されたのを撮影者が見て、その焦点検出点が正しくないと認識してレリーズ釦４１から手を離しスイッチＳＷ１をＯＦＦすると（Ｓ１１５）、引き続きカメラはスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１３５】
また、撮影者が合焦表示された焦点検出点を見て、引き続きスイッチＳＷ１をＯＮし続けたならば（Ｓ１１５）、ＣＰＵ１００は測光回路１０２に信号を送信して測光を行わせる（Ｓ１１６）。この時合焦した焦点検出点を含む測光領域ＳＰＣ−Ａ〜ＳＰＣ−Ｇまでの７領域から選択し、重み付けを行った露出値が演算される。
【０１３６】
本実施例の場合、測光領域ＳＰＣ−Ａ〜ＳＰＣ−Ｇ迄の７つの領域で、図３の選択された焦点検出点マークを含む測光領域を中心として、重み付けされた公知の測光演算を行い、この演算結果として外部表示部２０２の７セグメント８０３と小数点８０４、ファインダー外表示３０８の８１４を用いて絞り値（Ｆ５．６）を表示する。
【０１３７】
さらに、レリーズ釦２０１が押し込まれてスイッチＳＷ２がＯＮされているかどうかの判定を行い（Ｓ１１７）、スイッチＳＷ２がＯＦＦ状態であれば再びスイッチＳＷ１の状態の確認を行う（Ｓ１１５）。また、スイッチＳＷ２がＯＮされたならばＣＰＵ１００はシャッタ制御回路１０８、モータ制御回路１０９、絞り駆動回路１１１にそれぞれ信号を送信する。
【０１３８】
まずＭＧ２に通電し、主ミラー２をアップさせ、絞り３１を絞り込んだ後、ＭＧ１に通電しシャッタ４の先幕を開放する。絞り３１の絞り値及びシャッタ４のシャッタスピードは、前記測光回路１０２にて検知された露出値と感光部材であるフィルム５の感度から決定される。所定のシャッタ秒時（例えば，１／２５０秒）経過後ＭＧ２に通電し、シャッタ４の後幕を閉じる。フィルム５への露光が終了すると、ＭＧ２に再度通電し、ミラーダウン、シャッタチャージを行うと共にＭＧ１にも通電し、フィルムのコマ送りを行い、一連のシャッタレリーズシーケンスの動作が終了する（Ｓ１１８）。その後カメラは再びスイッチＳＷ１がＯＮされるまで待機する（Ｓ１０２）。
【０１３９】
又、図５に示したカメラのシャッターレリーズ動作（Ｓ１１８）以外の一連の動作中にモード釦４５ｂ、４５ｃの同時押しすると、眼球の個人差補正データ（視線補正係数）を採取する「視線キャリブレーション」モードに設定されたことを信号入力回路１０４が検知すると、ＣＰＵ１００はカメラの動作を一時停止し、視線検出回路１０１に送信して視線のキャリブレーション（Ｓ１１９）が可能な状態に設定する。視線のキャリブレーション方法については後述する。
【０１４０】
図９は視線検出（Ｓ１０６）のフローチャートである。前述のように視線検出回路１０１はＣＰＵ１００より信号を受け取ると視線検出を実行する（Ｓ１０６）。視線検出回路１０１は、撮影モードの中での視線検出かあるいは視線のキャリブレーションモードの中での視線検出かの判定を行なう（Ｓ２０１）。同時に視線検出回路１０１はカメラが後述するどのキャリブレーションデータナンバーに設定されているかを認識する。
【０１４１】
視線検出回路１０１は、撮影モードでの視線検出の場合はまず最初にカメラがどのような姿勢になっているかを信号入力回路１０４を介して検知する（Ｓ２０２）。信号入力回路１０４は、ＣＰＵ１００はカメラ姿勢を姿勢検出回路２７に確認する（Ｓ１０４）。図４のＡＮＧ−ＳＷ１、ＡＮＧ−ＳＷ２の出力により、正位置、図２の点線２０８の撮影者の右手が上にあるグリップ上縦位置、撮影者の右手２０８が下にあるグリップ下縦位置の３つの姿勢状態のいずれであるかを確認する。続いてＣＰＵ１００を介して測光回路１０２から撮影領域の明るさの情報を入手する（Ｓ２０３）。
【０１４２】
次に先に検知されたカメラの姿勢情報とキャリブレーションデータに含まれる撮影者の眼鏡情報、後述するＰ像状態に応じたキャリブレーションデータの有無より赤外発光ダイオード（以下ＩＲＥＤと称す）１３ａ〜１３ｈの選択を行ない、照射される（Ｓ２０４）。
【０１４３】
Ｓ２０４を図２５のフローで説明する。
【０１４４】
即ちカメラが正位置に構えられ、撮影者が眼鏡をかけていなかったならば、図２（ｂ）に示すようにファインダー光軸よりのＩＲＥＤ１３ａ，１３ｂ，１３ｅ，１３ｆが選択される。又、カメラが正位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたＩＲＥＤ１３ｃ，１３ｄ，１３ｇ，１３ｈが選択される（Ｓ２０４１）。
【０１４５】
このとき撮影者の眼鏡で反射した照明光の一部は、眼球像が投影されるイメージセンサー１４上の所定の領域以外に達するため眼球像の解析に支障は生じない。また、カメラが縦位置で構えられていた場合も同様である。
【０１４６】
次に、後述するＥＥＰＲＯＭ１００ａのそれぞれのアドレス（図１１）に記憶された、３Ｐ像以上のキャリブレーションデータ（図１５、Ｓ５０３ａ、Ｓ５０３ｂ）と２Ｐ像キャリブレーションデータ（図１５、Ｓ５０３ｃ）が、初期値か、否かを確認する。そこで、初期値であるものは、キャリブレーションデータが無いと判断する。
【０１４７】
次にイメージセンサー１４（以下ＣＣＤ−ＥＹＥと称す。）の蓄積時間及びＩＲＥＤの照明パワーが前記測光情報及び撮影者の眼鏡情報等に基づいて設定される（Ｓ２０５）。該ＣＣＤ−ＥＹＥの蓄積時間及びＩＲＥＤの照明パワーは前回の視線検出時に得られた眼球像のコントラスト等から判断された値を基にして設定を行なっても構わない。
【０１４８】
ＣＣＤ−ＥＹＥ蓄積時間及びＩＲＥＤの照明パワーが設定されると、ＣＰＵ１００はＩＲＥＤ駆動回路１０７を介してＩＲＥＤを所定のパワーで点灯させるとともに、視線検出回路１０１はＣＣＤ−ＥＹＥの蓄積を開始する（Ｓ２０６）。
【０１４９】
又、先に設定されたＣＣＤ−ＥＹＥの蓄積時間にしたがってＣＣＤ−ＥＹＥは蓄積を終了し、それとともにＩＲＥＤも消灯される。視線のキャリブレーションモードでなければ（Ｓ２０７）、ＣＣＤ−ＥＹＥの読みだし領域が設定される（Ｓ２０８）。
【０１５０】
カメラ本体の電源がＯＮされた後の１番最初の視線検出以外はＣＣＤ−ＥＹＥの読みだし領域は前回の視線検出時のＣＣＤ−ＥＹＥの読みだし領域を基準にして設定されるが、カメラの姿勢が変化したとき、あるいは眼鏡の有無が変化した場合等はＣＣＤ−ＥＹＥの読みだし領域は全領域に設定される。
【０１５１】
ＣＣＤ−ＥＹＥの読みだし領域が設定されると、ＣＣＤ−ＥＹＥの読みだしが実行される（Ｓ２０９）。この時読みだし領域以外の領域は空読みが行なわれ実際上読み飛ばされていく。これは、視線検出を迅速に行う為である。ＣＣＤ−ＥＹＥより読みだされた像出力は視線検出回路１０１でＡ／Ｄ変換された後にＣＰＵ１００にメモリーされ、該ＣＰＵ１００において眼球像の各特徴点の抽出のための演算が行なわれる（Ｓ２１０、Ｓ２１２）。
【０１５２】
即ち、ＣＰＵ１００において、眼球の照明に使用された４つ一組のＩＲＥＤで、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置として、図２４のＰ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）、Ｐ３（Ｘｅ″，Ｙｅ″）、Ｐ４（Ｘｄ″，Ｙｄ″）が検出される。プルキンエ像は光強度の強い輝点として現われるため、光強度に対する所定のしきい値を設け、該しきい値を超える光強度のものをプルキンエ像とすることにより検出可能である（Ｓ２１０）。
【０１５３】
次に、瞳孔の中心位置（Ｘｉｃ′，Ｙｉｃ′）は瞳孔１９と虹彩１７の境界点を複数検出し、各境界点を基に円の最小二乗近似を行なうことにより算出される。この時瞳孔径ｒｐも算出される。
【０１５４】
ＣＰＵ１００は眼球像の解析を行なうとともに、眼球像のコントラストを検出してそのコントラストの程度からＣＣＤ−ＥＹＥの蓄積時間の再設定を行なう。
【０１５５】
又、プルキンエ像の位置及び瞳孔の位置よりＣＣＤ−ＥＹＥの読みだし領域を設定する。この時ＣＣＤ−ＥＹＥの読みだし領域は、検出された瞳孔を含み該瞳孔の位置が所定量変化しても瞳孔全体が検出可能な範囲に設定される。そしてその大きさは虹彩の大きさより小さいのはいうまでもない。
【０１５６】
ＣＣＤ−ＥＹＥの読みだし領域は長方形に設定され該長方形の対角の２点の座標がＣＣＤ−ＥＹＥの読みだし領域として視線検出回路１０１に記憶される。さらに眼球像のコントラストあるいは瞳孔の大きさ等から、算出されたプルキンエ像及び瞳孔中心の位置の信頼性が判定される（Ｓ２１０）。
【０１５７】
ここで、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像が得られることになっているが、撮影者の視線検出を行う際、観察条件、個人差によって、撮影者の上瞼、睫毛で、照明光源が遮られ、必ずしも、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無いので、プルキンエ像の数とその配置をプルキンエ像状態判別として行う（Ｓ２１１）。
【０１５８】
本実施例では、プルキンエ像が得られない場合と１つしか得られない場合は、視線検出不可、または視線検出精度が著しく低下するので視線信頼性が無いと判断し、Ｓ２０１へ戻る。
【０１５９】
図１０で、プルキンエ像の数と配置状態について説明する。Ｐ像状態判別、Ｐ像数は、プルキンエ像（図中Ｐ像）の数に応じて、プルキンエ像が４つ存在するものを４Ｐ像状態として、Ｐ像無し状態までを示し、Ｐ像状態図は、図２４の４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の存在状態を図示し、Ｘｐｏ、Ｙｐｏ算出に使用されるＰ像座標は、Ｐ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）、Ｐ３（Ｘｅ″，Ｙｅ″）、Ｐ４（Ｘｄ″，Ｙｄ″）で、Ｘｐｏ、Ｙｐｏ算出に使用されるを示したものである。
【０１６０】
図１０の如く、４つのＩＲＥＤの撮影者眼球照明に対し、得られるプルキンエ像の配置状態は、得られるプルキンエ像の数と配置状態は、１６通りある。
【０１６１】
本実施例では、視線検出演算、特にプルキンエ像を他の特徴点と区別して抽出選択の迅速化のため、撮影者が眼鏡をしていない裸眼を例にするとして、下側のＩＲＥＤ１３ａ、１３ｂに対応するプルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）を抽出した後、二つのプルキンエ像の位置よりその間隔が算出される（Ｓ２１０）。次にＩＲＥＤ１３ａのプルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′）から、Ｙ軸上に前記のプルキンエ像間隔を元に所定の係数を乗じた値の所定範囲内に存在するプルキンエ像と推定される特徴点を、ＩＲＥＤ１３ｅに対応するプルキンエ像Ｐ３（Ｘｅ″，Ｙｅ″）として検出する。
【０１６２】
次にＩＲＥＤ１３ｂに対応するプルキンエ像Ｐ２（Ｘｄ′，Ｙｄ′）から、Ｙ軸上に同様に、ＩＲＥＤ１３ｆに対応するプルキンエ像の位置Ｐ４（Ｘｄ″，Ｙｄ″）を検出する。
【０１６３】
即ち、下側のＩＲＥＤ１３ａ、１３ｂに対応するプルキンエ像Ｐ１、Ｐ２を基準にプルキンエ像Ｐ３、Ｐ４の検出を行う。
【０１６４】
これは、４つのプルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４の検出を迅速に行う為と、撮影者の観察条件、個人差によって、上瞼、上睫毛で、照明光源のが遮られる可能性がある為、下側のＩＲＥＤ１３ａ、１３ｂ（１３ｃ、１３ｄ）に対応するプルキンエ像Ｐ１、Ｐ２は、極めて高い確率で得られるのに対して、上側のＩＲＥＤ１３ｅ、１３ｆ（１３ｇ、１３ｈ）に対応するプルキンエ像Ｐ３、Ｐ４は、撮影者や撮影条件により、得られない確率が高いことによる。
【０１６５】
この様に本実施例では、Ｙ軸上、下側に存在する２つのプルキンエ像の位置を基準として、視線検出に有効な図１０の太枠で囲まれた４通りのプルキンエ像の数と配置状態を判断している。
【０１６６】
図１０の太枠で囲まれた４通りのプルキンエ像の数と配置状態で無いと判断すると、視線信頼性が無いと判断し、Ｓ２０１へ戻る。Ｓ２０１へ戻り、再び、Ｓ２１１にて、視線信頼性が無いと判断とした場合は、図５の焦点検出点自動選択モード（Ｓ１０１ｂ）に入る。
【０１６７】
尚、図１０で、使用キャリブレーションデータは、後述するキャリブレーションで求められたキャリブレーションデータで、本実施例では、４つのプルキンエ像の数と配置状態に対して、４Ｐ像キャリブレーションデータと３Ｐ像キャリブレーションデータと２Ｐ像キャリブレーションデータの３つが用いられている。また、使用キャリブレーションデータには、後述する２方向（Ｘ方向、Ｙ方向の）眼球回転角のバラツキであるσθｘ、σθｙと、それをピント板７の座標に換算したσｘ、σｙも含まれている。
【０１６８】
眼球像の解析が終了すると、キャリブレーションデータの確認手段を兼ねた視線検出回路１０１は算出されたプルキンエ像の間隔と点灯されたＩＲＥＤの組合せよりキャリブレーションデータの中の眼鏡情報が正しいか否かの判定を行なう（Ｓ２１２）。これはその時々において眼鏡を使用したり使用しなかったりする撮影者に対処するためのものである。
【０１６９】
即ち、キャリブレーションデータの中の撮影者の眼鏡情報が、例えば眼鏡を使用するように設定されていて、図２（ｂ）に示したＩＲＥＤの内ＩＲＥＤ１３ｃ，１３ｄ，１３ｇ，１３ｈが点灯された場合、プルキンエ像の間隔が所定の大きさより大きければ撮影者は眼鏡装着者と認識され眼鏡情報が正しいと判定される。
【０１７０】
逆にプルキンエ像の間隔が所定の大きさより小さければ撮影者は裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情報が誤っていると判定される。眼鏡情報が誤っていると判定されると（Ｓ２１２）、視線検出回路１０１は眼鏡情報の変更を行なって（Ｓ２１７）再度ＩＲＥＤの選択を行ない（Ｓ２０４）視線検出を実行する。但し眼鏡情報の変更を行なう際、ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶された眼鏡情報は変更されない。
【０１７１】
又、眼鏡情報が正しいと判定されると（Ｓ２１２）、プルキンエ像の間隔よりカメラの接眼レンズ１１と撮影者の眼球１５との距離が算出され、さらには該接眼レンズ１１と撮影者の眼球１５との距離からＣＣＤ−ＥＹＥに投影された眼球像の結像倍率βが算出される（Ｓ２１３）。
【０１７２】
次にキャリブレーションモードか否かを確認する（Ｓ２１４）。キャリブレーションモードであれば、図１４で後述するデータ処理が行われ、キャリブレーションモードで無ければ、眼球の光軸の回転角θｘ、θｙを算出する（Ｓ２１５）。
【０１７３】
眼球１５の光軸の回転角θｘ、θｙは（３）（４）式を修正して
θｘ≒ＡＲＣＳＩＮ｛（（ｘｐ０−δｘ）−ｘｉｃ）／β／Ｌｏｃ｝・・（６）
θｙ≒ＡＲＣＳＩＮ｛（（ｙｐ０−δｙ）−ｙｉｃ）／β／Ｌｏｃ｝・・（７）
と表わされる。
【０１７４】
但し、ｘｐ０，ｙｐ０は、前述の図１０のプルキニエ像の配置状態により、算出方法が異なる。
【０１７５】
例えば、図１０の２Ｐ像状態であれば、図２２（ａ）のプルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）の中点Ｐ０の座標を（ｘｐｏ，ｙｐｏ）として用いる。３Ｐ像状態であれば、ｘｐ０をプルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）のＸ座標の中点とし、ｙｐ０をプルキンエ像Ｐ２（Ｘｄ′，Ｙｄ′）、Ｐ４（Ｘｄ″，Ｙｄ″）、または、プルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′），Ｐ３（Ｘｅ″，Ｙｅ″）のＹ座標の中点をとする。４Ｐ像状態であれば、プルキンエ像Ｐ１（Ｘｅ′，Ｙｅ′）、Ｐ２（Ｘｄ′，Ｙｄ′）、Ｐ３（Ｘｅ″，Ｙｅ″）、Ｐ４（Ｘｄ″，Ｙｄ″）の中点Ｐ０の座標を（ｘｐｏ，ｙｐｏ）として用いる。
【０１７６】
δｘ、δｙは、（１０）、（１０）″、（１１）式での二つのプルキンエ像の中心位置を補正する補正項である。
【０１７７】
δｘは、（１０）式で求めるが、δｙは２Ｐ像状態であれば（１１）式で求め、３Ｐ像状態と４Ｐ像状態であれば、（１０）″式で求める。δｙの求め方の差は、δｘと同様に扱える、Ｙ方向に直接演算可能なｙｐｏが存在するか否かである。
【０１７８】
例えば、図１０の２Ｐ像状態であれば、図２２（ａ）のプルキンエ像Ｐ１（Ｘｄ′，Ｙｄ′）、Ｐ２（Ｘｅ′，Ｙｅ′）の中点Ｐ０の座標を（ｘｐｏ，ｙｐｏ）として用いる。
【０１７９】
３Ｐ像状態であれば、プルキンエ像Ｐ１（Ｘｄ′，Ｙｄ′）、Ｐ２（Ｘｅ′，Ｙｅ′）のＸ座標の中点をｘｐ０とし、Ｙ方向はプルキンエ像Ｐ１（Ｘｄ′，Ｙｄ′）、Ｐ３（Ｘｄ″，Ｙｄ″）、または、プルキンエ像Ｐ２（Ｘｅ′，Ｙｅ′）、Ｐ４（Ｘｅ″，Ｙｅ″）のＹ座標の中点をｘｐ０とする。４Ｐ像状態であれば、プルキンエ像Ｐ１（Ｘｄ′，Ｙｄ′）），Ｐ２（Ｘｅ′，Ｙｅ′），Ｐ３（Ｘｄ″，Ｙｄ″），Ｐ４（Ｘｅ″，Ｙｅ″）の中点Ｐ０の座標を（ｘｐｏ，ｙｐｏ）として用いる。
【０１８０】
この様に、眼球の光軸の回転角θｘ、θｙを算出する上でも、プルキンエ像状態判別（Ｓ２１１）が必要であることが判る。
【０１８１】
撮影者の眼球の回転角θｘ、θｙが求まると、ピント板７上での視線の位置（ｘ，ｙ）は、（５）（６）式より
ｘ［ｍｍ］＝ｍ×ａｘ×（θｘ＋ｂｘ）・・・・（５）
ｙ［ｍｍ］＝ｍ×ａｙ×（θｙ＋ｂｙ）・・・・（６）
と求まる（Ｓ２１６）。但し、ａｘ，ａｙ，ｂｘ，ｂｙは視線の個人差を補正するためのパラメータで、ａｘ，ａｙはキャリブレーションデータである。
【０１８２】
本実施例では、図１０の如く、前記の眼球の光軸の回転角θｘ、θｙの算出方法に合わせて、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つが用いられている。ここでも、プルキンエ像状態判別（Ｓ２１１）が必要であることが判る。
【０１８３】
ここで水平方向（ｘ方向）と垂直方向（ｙ方向）の眼球の光軸と視軸との補正量に相当するｂｘ，ｂｙは、
ｂｘ＝ｋｘ×（ｒｐ−ｒｘ）＋ｂ０ｘ・・・・（１５）
ｂｙ＝ｋｙ×（ｒｐ−ｒｘ）＋ｂ０ｙ・・・・（１６）
と表わされ、瞳孔径ｒｐの関数である。ここでｒｘは定数で、ｋｘ，ｋｙ，ｂ０ｘ，ｂ０ｙはキャリブレーションデータである。
【０１８４】
ピント板７上での視線の位置（ｘ，ｙ）が求められる（Ｓ２１６ａ）と、次に、図１５で後述するキャリブレーションデータにある眼球回転角のバラツキである（σθｘ、σθｙ）より、ピント板７上座標に変換した（σｘ、σｙ）から、ピント板７上での視線の位置（ｘ，ｙ）を中心とした注視点領域が求められる（Ｓ２１６ｂ）。
【０１８５】
まず、（５）（６）式を用いたバラツキ範囲σｘ、σｙを下式より求める。
σｘ［ｍｍ］＝ｍ×ａｘ×（σθｘ＋ｂｘ）・・・・（５）′
σｙ［ｍｍ］＝ｍ×ａｙ×（σθｙ＋ｂｙ）・・・・（６）′
次に、ピント板７上での視線の位置（ｘ，ｙ）を中心として、短軸、長軸半径をσｘ、σｙとした楕円領域を決定する。この領域を注視点領域とする（Ｓ２１６ｂ）。
【０１８６】
ここでも例えば、短軸、長軸半径をσｘ、σｙは、視線検出時、図１０の２Ｐ像状態であれば、σｘ２ｐ、σｙ２ｐを、３Ｐ像状態であれば、σｘ３ｐ、σｙ３ｐを、４Ｐ像状態であれば、σｘ４ｐ、σｙ４ｐを用いる。
【０１８７】
この様に、注視点領域を算出する上でも、プルキンエ像状態判別（Ｓ２１１）が必要であることが判る。
【０１８８】
この視線のキャリブレーションデータを求める方法は後述する。
【０１８９】
ピント板７上の視線の座標と注視点領域が求まると、視線検出を１度行なったことを示すフラグをたてて（Ｓ２１７）、メインのルーチンに復帰する（Ｓ２１８）。
【０１９０】
又、図９に示した視線検出のフローチャートは視線のキャリブレーションモードにおいても有効である。Ｓ２０１において、キャリブレーションモードの中での視線検出であると判定すると次に今回の視線検出がキャリブレーションモードの中での最初の視線検出であるか否かの判定を行なう（Ｓ２２０）。
【０１９１】
今回の視線検出がキャリブレーションモードの中での最初の視線検出であると判定されると、ＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーを設定するために周囲の明るさの測定が行なわれる（Ｓ２０３）。これ以降の動作は前述の通りである。
【０１９２】
又、今回の視線検出がキャリブレーションモードの中で２回目以上の視線検出であると判定されると（Ｓ２０１）、ＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーは前回の値が採用され直ちにＩＲＥＤの点灯とＣＣＤ−ＥＹＥの蓄積が開始される（Ｓ２０６）。
【０１９３】
又、視線のキャリブレーションモードでかつ視線検出回数が２回目以上の場合は（Ｓ２０７）、ＣＣＤ−ＥＹＥの読みだし領域は前回と同じ領域が用いられるためＣＣＤ−ＥＹＥの蓄積終了とともに直ちにＣＣＤ−ＥＹＥの読みだしが実行される（Ｓ２０９）。これ以降の動作は前述の通りである。
【０１９４】
尚、図９に示した視線検出のフローチャートにおいてメインのルーチンに復帰する際の変数は、通常の視線検出の場合視線のピント板上の座標（ｘ，ｙ）と、これを中心とする前記注視点領域であるが、視線のキャリブレーションモードの中での視線検出の場合は撮影者の眼球光軸の回転角（θｘ，θｙ）である。又、他の変数である検出結果の信頼性、ＣＣＤ−ＥＹＥ蓄積時間、ＣＣＤ−ＥＹＥ読みだし領域等は共通である。
【０１９５】
又、本実施例においてＣＣＤ−ＥＹＥの蓄積時間およびＩＲＥＤの照明パワーを設定するために、カメラの測光センサー１０にて検出された測光情報を利用している。
【０１９６】
図１２〜図１５は視線のキャリブレーションのフローチャート、図１７〜図１９は視線のキャリブレーション時のファインダー内ＬＣＤ３０８とモニター用ＬＣＤ２０２の表示状態を示したものである。
【０１９７】
本実施例においては、ファインダー視野内の図３の７個の焦点検出点マークの内、４つのの焦点検出点マーク３０５，３０１，３０６，３０７を視標１、視標２、視標３、視標４として、順次、１回注視してもらい、そのときの視線を検出することにより、視線のキャリブレーションを実行している。以下同図を用いて説明する。
【０１９８】
図１２において、撮影者がモード釦４５ｂ、４５ｃの同時押しすると、視線のキャリブレーションモードに設定され、信号入力回路１０４はＣＰＵ１００を介してＬＣＤ駆動回路１０５に信号を送信し、ファインダー内ＬＣＤ３０８では、図３（ｂ）のシャッター秒時表示部８１３と絞り表示部８１４で、モニター用ＬＣＤ２０２では、同様にシャッター秒時表示部８０２と絞り表示部８０３で、図１７の後述する視線のキャリブレーションモードのいずれかに入ったことを示す表示を行なう（Ｓ２１８）。
【０１９９】
ＣＰＵ１００はＥＥＰＲＯＭ１００ａに記憶されたキャリブレーションデータ以外の変数をリセットする（Ｓ３０１）。
【０２００】
図１１はＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶されるキャリブレーションデータの種類とその初期値を示したものである。一度もキャリブレーションが行われていないので、全て初期値である。キャリブレーションデータナンバー１〜５に対応したＥＥＰＲＯＭ１００ａのアドレス上にはそれぞれに、カメラ姿勢情報、眼鏡情報（眼鏡は「１」、裸眼は「０」）、３Ｐ像以上キャリブレーションデータと２Ｐ像キャリブレーションデータの２つのａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０ｙが記憶されている。（実施例においては説明のためにデータを５つ記憶できるようにしているが、もちろんＥＥＰＲＯＭの容量によっていかようにも設定できる）。
【０２０１】
キャリブレーションデータの初期値は標準の眼球パラメータで視線が算出されるような値に設定されている。さらに撮影者が眼鏡を使用するか否か、そしてキャリブレーションデータの信頼性の程度を表わすフラグも有している。眼鏡の有無を表わすフラグの初期値は眼鏡を使用しているように「１」に設定され、又キャリブレーションデータの信頼性のフラグの初期値は信頼性が無いように「０」に設定されている。
【０２０２】
又、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２には図１７（ａ）に示すように現在設定されているキャリブレーションモードを表示する。そのほかの表示部はすべて消灯している（実施例としてキャリブレーションナンバー１の状態を示し、７セグメント表示部のみを拡大して示している）。
【０２０３】
この時、設定されたキャリブレーションナンバーのキャリブレーションデータが初期値の場合はモニター用ＬＣＤ４２に表示されたキャリブレーションナンバーが点滅し（図１７（ｂ）、一方設定されたキャリブレーションナンバーにおいて既にキャリブレーションが行われ、キョリブレーションナンバーに対応したＥＥＰＲＯＭのアドレス上に初期値と異なるキャリブレーションナンバーが入っていればファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されたキャリブレーションナンバーがフル点灯するようになっている（図１７（ａ））。
【０２０４】
その結果、撮影者は現在設定されている各々のキャリブレーションナンバーに既にキャリブレーションデータが入っているかどうかを認識できるようになっている。又、図１７（ａ）の様にキャリブレーションデータナンバーの初期値は「１」に設定されている。
【０２０５】
図１２に戻り続いてＣＰＵ１００に設定されたタイマーがスタートし視線のキャリブレーションを開始する（Ｓ３０２）。タイマースタート後所定の時間中にカメラに対して何の操作もなされなかったならば視線検出回路１０１は、ファインダー内に視線のキャリブレーション用の視標が点灯していれば消灯（Ｓ３０４）してメインにリターンされる（Ｓ３３８）。
【０２０６】
撮影者が電子ダイヤル２０５を回転させると、前述のようにパルス信号によってその回転を検知した信号入力回路１０４はＣＰＵ１００を介してＬＣＤ駆動回路１０５に信号を送信する。その結果電子ダイヤル２０５の回転に同期して、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されたキャリブレーションナンバーが変化する。この様子を図１８に示す。
【０２０７】
まず電子ダイヤル２０５を時計方向に回転させると「ＣＡＬ−１」→「ＣＡＬ−２」→「ＣＡＬ−３」→「ＣＡＬ−４」→「ＣＡＬ−５」と変化し、後述のキャリブレーション操作で撮影者は希望する５つのキャリブレーションナンバーのいずれかにキャリブレーションデータを記憶させることができる。
【０２０８】
そして図１８に示した状態は「ＣＡＬ−１，２，３」にはすでにキャリブレーションデータが入っており、「ＣＡＬ−４，５」には入っておらず初期値のままであることを表わしている。反時計方向に回転させた場合は図１８の方向と正反対に表示する。
【０２０９】
このようにしてファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２に表示されるキャリブレーションナンバーを見ながら撮影者が所望のキャリブレーションナンバーを選択したら、視線検出回路１０１はこれに対応するキャリブレーションデータナンバーの確認を信号入力回路１０４を介して行なう（Ｓ３０３）。確認されたキャリブレーションデータナンバーはＣＰＵ１００のＥＥＰＲＯＭ１００ａの所定のアドレス上に記憶される。
【０２１０】
但し、確認されたキャリブレーションデータナンバーが変更されていなければＥＥＰＲＯＭ１００ａへのキャリブレーションデータナンバーの記憶は実行されない。
【０２１１】
続いて視線検出回路１０１は信号入力回路１０４を介して撮影モードの確認を行なう（Ｓ３０４）。撮影者が操作部材の操作で、視線のキャリブレーションモード以外の撮影モードに切り換えていることが確認されたら、ファインダー内に視線のキャリブレーション用の視標が点滅していれば、それを消灯させて（Ｓ３０５）メインのルーチンであるカメラの撮影動作に復帰する（Ｓ３４８）。そしてキャリブレーションナンバー「ＣＡＬ１〜５」が表示されている状態で他の撮影モード（シャッター優先ＡＥ）に切り換えれば、そのキャリブレーションナンバーのデータを用いて視線検出を行ない、前述の視線情報を用いた撮影動作が行なえるようになっている。この時、ファインダー内ＬＣＤ３０８、モニター用ＬＣＤ２０２は、撮影モード表示以外に、図３（ａ）（ｂ）の視線入力モード表示８１７、８０１を点灯させて、視線情報をもとに撮影動作を制御している視線入力モード（視線撮影モード）であることを撮影者に知らせている。
【０２１２】
ここで再度、撮影者がモード釦４５ｂ、４５ｃの同時押しすると、視線のキャリブレーションモードに設定され、前述の視線検出に用いているキャリブレーションナンバーが表示され、キャリブレーション動作がスタートする。
【０２１３】
視線のキャリブレーションモードに設定されたままであることが確認されると、電子ダイヤル２０５にて設定されたキャリブレーションデータナンバーの確認を再度行ない（Ｓ３０４）、引続きＣＰＵ１００は信号入力回路１０４を介してカメラの姿勢を検知する（Ｓ３０５）。信号入力回路１０４は姿勢検知装置２７の出力信号を処理してカメラが正位置であるか縦位置であるか、又縦位置である場合は例えばグリップが天方向（上）にあるか地面方向（下）にあるかを判断する。
【０２１４】
カメラの姿勢が正位置であることが検知されると（Ｓ３０６）、視線検出回路１０１は視線検出回数ｎを０に設定する（Ｓ３０７）。但し視線検出回数ｎが４０回の時はその回数を保持する。この時ファインダー内ＬＣＤ３０８において、「ＣＡＬ」表示が点滅していたらその点滅を中止する。視線のキャリブレーションはスイッチＳＷ１をＯＮにすることにより開始されるように設定されている。
【０２１５】
撮影者が視線のキャリブレーションを行なう準備が整う以前にカメラ側でキャリブレーションを開始するのを防ぐために、視線検出回路１０１はスイッチＳＷ１の状態の確認を行いスイッチＳＷ１がレリーズ釦２０１によって押されていてＯＮ状態であればスイッチＳＷ１がＯＦＦ状態になるまで待機する（Ｓ３０８）。
【０２１６】
視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ１がＯＦＦ状態であることを確認すると（Ｓ３０８）、視線検出回路１０１はＬＥＤ駆動回路１０６に信号を送信して視線のキャリブレーション用の視標１である焦点検出点マーク３０５を点滅させる（Ｓ３０９）。（図１６（Ａ））。
【０２１７】
視線のキャリブレーションの開始のトリガー信号であるスイッチＳＷ１のＯＮ信号が入ってなければカメラは待機する（Ｓ３１０）。又、点滅を開始した視標１を撮影者が注視しレリーズ釦２０１を押してスイッチＳＷ１をＯＮしたら（Ｓ３１０）視線検出が実行される（図１３、Ｓ３１１）。
【０２１８】
次に視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θｘ，θｙ，瞳孔径ｒｐ及び各データの信頼性を記憶する（Ｓ３１２）。
【０２１９】
視線検出の動作は図１１のフローチャートで説明した通りであるが、図９のキャリブレーションモードか否か（Ｓ２１４）の部分で異なり、キャリブレーションモードであれば、図１４に示すフローチャートに進み、瞳孔径ｒｐ及び各データの信頼性を記憶する部分は、同様であるが、この眼球の回転角θｘ，θｙを演算、記憶するフローチャートで通常の視線検出と異なる。
【０２２０】
ここで、図１４のフローチャートを用いて、キャリブレーションモードでの眼球の回転角θｘ，θｙを演算、記憶（Ｓ３１２）を説明する。
【０２２１】
図９のキャリブレーションモードが確認される（Ｓ２１４）と、プルキンエ像の数とその配置をプルキンエ像状態判別（Ｓ２１１）の結果であるプルキンエ像（Ｐ像）数の確認が行われる（Ｓ４０２）。
【０２２２】
Ｐ像数が４つ、即ち４Ｐ像状態であれば、前述の如く、回転角θｘ，θｙは、プルキンエ像Ｐ１、Ｐ２、Ｐ３、Ｐ４から、θ４ｐｘ、θ４ｐｙとして算出され（Ｓ４０６）、θ４ｐｘ、θ４ｐｙが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの４Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４０７）。θ４ｐｘ、θ４ｐｙが所定範囲外であれば、視標を注視していないとして、眼球の回転角として、不適切であるとして、ＥＥＰＲＯＭ１００ａに記憶されない。更に、プルキンエ像Ｐ１、Ｐ２から、θ２ｐｘ、θ２ｐｙとして算出され（Ｓ４１０）、θ２ｐｘ、θ２ｐｙが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。所定範囲外であれば、ＥＥＰＲＯＭ１００ａに記憶されない。
【０２２３】
Ｐ像数が３つ、即ち３Ｐ像状態であれば、前述の如く、回転角θｘ，θｙは、プルキンエ像Ｐ１、Ｐ２、Ｐ３、またはＰ４から、θ３ｐｘ、θ３ｐｙとして算出され（Ｓ４０８）、θ３ｐｘ、θ３ｐｙが所定範囲にあるかの確認が行われ（Ｓ４０８ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの３Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４０９）。更に、プルキンエ像Ｐ１、Ｐ２から、θ２ｐｘ、θ２ｐｙとして算出され（Ｓ４１０）、θ２ｐｘ、θ２ｐｙが所定範囲にあるかの確認が行われ（Ｓ４０６ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。所定範囲外であれば、眼球の回転角として、不適切であるとして、ＥＥＰＲＯＭ１００ａに記憶されない。
【０２２４】
このように、キャリブレーションモードでは、Ｐ像数が３つ以上、即ち４Ｐ像状態、３Ｐ像状態であれば、１回の視線検出結果から、２Ｐ像状態のキャリブレーションデータをも算出し、記憶している。
【０２２５】
Ｐ像数が２つ、即ち２Ｐ像状態であれば、プルキンエ像Ｐ１、Ｐ２から、θ２ｐｘ、θ２ｐｙとして算出され（Ｓ４１０）、θ２ｐｘ、θ２ｐｙが所定範囲にあるかの確認が行われ（Ｓ４１０ａ）、所定範囲内の値であれば、ＥＥＰＲＯＭ１００ａのキャリブレーションデータの２Ｐ像状態の視標１に対応する部分のアドレスに記憶される（Ｓ４１１）。
【０２２６】
ここでは、視標１点滅（Ｓ３０９）の状態であるので、視標１のアドレスに記憶したが、点滅する視標に応じて、記憶されるアドレスが設けてある。
【０２２７】
再び、図１３に戻り、眼球の回転角θｘ，θｙ，瞳孔径ｒｐ及び各データの信頼性を記憶する（Ｓ３１２）と、更に視線検出回数ｎをカウントアップする（Ｓ３１３）。撮影者の視線は多少ばらつきがあるため正確な視線のキャリブレーションデータを得るためには１点の視標に対して複数回の視線検出を実行してその平均値を利用するのが有効である。
【０２２８】
本実施例においては１点の視標に対する視線検出回数は１０回と設定されている。視線検出回数ｎが１０回でなければ（Ｓ３１４）視線検出が続行される（Ｓ３１１）。
【０２２９】
視線検出回数ｎが１０回であれば視標１（焦点検出点マーク３０５）に対する視線検出を終了し、視標１に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる（Ｓ３１５）。同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標１を所定の時間フル点灯させ、撮影者に視標１でのキャリブレーションデータ採取終了を知らせる（Ｓ３１５）。
【０２３０】
引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ１がＯＦＦ状態になっているかどうかの確認を行なう（Ｓ３１８）。スイッチＳＷ１がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ１がＯＦＦ状態であれば視標１が消灯しそれと同時に左端の視標２（焦点検出点マーク３０１）が点滅を開始する（Ｓ３１７）（図１６（ｂ））。
【０２３１】
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ１がＯＮ状態になっているかどうかの確認を行なう（Ｓ３１８）。スイッチＳＷ１がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ１がＯＮされたら視線検出を実行する（Ｓ３１９）。
【０２３２】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θｘ，θｙ、瞳孔径ｒｐ及び各データの信頼性を記憶する（Ｓ３２０）。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標２のアドレスに記憶される。
【０２３３】
更に視線検出回数ｎをカウントアップする（Ｓ３２１）。更に視線検出回数ｎが２０回でなければ（Ｓ３２２）視線検出が続行される（Ｓ３１９）。視線検出回数ｎが２０回であれば視標２に対する視線検出を終了するし、視標２に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標２をフル点灯させ、撮影者に視標２でのキャリブレーションデータ採取終了を知らせる（Ｓ３２３）。
【０２３４】
引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ１がＯＦＦ状態になっているかどうかの確認を行なう（Ｓ３２４）。スイッチＳＷ１がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ１がＯＦＦ状態であれば視標２が消灯し、それと同時に上端の視標３（焦点検出点マーク３０６）が点滅を開始する（Ｓ３２５）（図１６（Ｃ））。
【０２３５】
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ１がＯＮ状態になっているかどうかの確認を行なう（Ｓ３２６）。スイッチＳＷ１がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ１がＯＮされたら視線検出を実行する（Ｓ３２７）。
【０２３６】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θｘ，θｙ、瞳孔径ｒｐ及び各データの信頼性を記憶する（Ｓ３２８）。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標３のアドレスに記憶される。
【０２３７】
更に視線検出回数ｎをカウントアップする（Ｓ３２９）。更に視線検出回数ｎが３０回でなければ（Ｓ３３０）視線検出が続行される（Ｓ３２７）。視線検出回数ｎが３０回であれば視標３に対する視線検出を終了するし、視標３に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標３をフル点灯させ、撮影者に視標３でのキャリブレーションデータ採取終了を知らせる（Ｓ３３１）。
【０２３８】
引続き視線検出回路１０１は信号入力回路１０４を介してスイッチＳＷ１がＯＦＦ状態になっているかどうかの確認を行なう（Ｓ３３２）。スイッチＳＷ１がＯＮ状態であればＯＦＦ状態になるまで待機し、スイッチＳＷ１がＯＦＦ状態であれば視標３が消灯し、それと同時に下端の視標４（焦点検出点マーク３０６）が点滅を開始する（Ｓ３３３）（図１６（ｄ））。
【０２３９】
視線検出回路１０１は再度信号入力回路１０４を介してスイッチＳＷ１がＯＮ状態になっているかどうかの確認を行なう（Ｓ３３４）。スイッチＳＷ１がＯＦＦ状態であればＯＮされるまで待機し、スイッチＳＷ１がＯＮされたら視線検出を実行する（Ｓ３３５）。
【０２４０】
視線検出回路１０１は視線検出のサブルーチンからの変数である眼球の回転角θｘ，θｙ、瞳孔径ｒｐ及び各データの信頼性を記憶する（Ｓ３３６）。ここでも図１４のフローチャートを用いて行われ、ＥＥＰＲＯＭ１００ａの視標４のアドレスに記憶される。
【０２４１】
更に視線検出回数ｎをカウントアップする（Ｓ３３７）。更に視線検出回数ｎが４０回でなければ（Ｓ３３８）視線検出が続行される（Ｓ３３５）。視線検出回数ｎが４０回であれば視標４に対する視線検出を終了するし、視標４に対する視線検出が終了したことを撮影者に認識させるために視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路１０１はＬＥＤ駆動回路１０６を介して視標４をフル点灯させ、撮影者に視標４でのキャリブレーションデータ採取終了を知らせる（Ｓ３３９）。これで視標１、視標２、視標３、視標４に対して視線検出が行なわれたなので、視線のキャリブレーションデータを求めるための視線検出は終了する。
【０２４２】
更に視線検出回路１０１に記憶された眼球の回転角θｘ，θｙ、瞳孔径ｒｐより視線のキャリブレーションデータが算出される（Ｓ３４５）。視線のキャリブレーションデータの算出方法の概略は、以下の通りである。
【０２４３】
ピント板７上の視標１、視標２、視標３、視標４の座標をそれぞれ（ｘ１，０），（ｘ２，０），（０，ｙ３），（０，ｙ４）、ＥＥＰＲＯＭ１００ａに記憶された視標１、視標２、視標３、視標４を注視したときの眼球の回転角（θｘ，θｙ）の平均値を（θｘ１，θｙ１），（θｘ２，θｙ２），（θｘ３，θｙ３），（θｘ４，θｙ４）とする。また、瞳孔径の平均値をｒ１，ｒ２，ｒ３，ｒ４とする。
【０２４４】
Ｘ方向のキャリブレーションデータを求めるにあたっては、視標１、視標２のデータを用い、式（６）、（１６）より、Ｙ方向のキャリブレーションデータを求めるにあたっては、視標３、視標４のデータを用いる。
【０２４５】
そこで、瞳孔径の平均値のｒ１，ｒ２の加重平均をｒｐｘ、瞳孔径の平均値のｒ３，ｒ４の加重平均をｒｐｙとすることで、ａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙのキャリブレーションデータが求まる。
【０２４６】
例えば、ｒｐｘ，ｒｐｙ≧ｒｐの時、ｋｘ，ｋｙ＝０と設定してされており、
・ａｘ＝（ｘ１−ｘ２）／ｍ／（θｘ１−θｘ２）
・ｂ０ｘ＝−（θｘ１＋θｘ２）／２
・ａｙ＝（ｙ３−ｙ４）／ｍ／（θｙ３−θｙ４）
・ｂ０ｙ＝−（θｙ３＋θｙ４）／２
前述の如く、（θｘ１，θｙ１），（θｘ２，θｙ２），（θｘ３，θｙ３），（θｘ４，θｙ４）それぞれには、４Ｐ像状態での（θ４ｐｘ，θ４ｐｙ）の平均値、３Ｐ像状態での（θ３ｐｘ，θ３ｐｙ）の平均値、２Ｐ像状態での（θ２ｐｘ，θ２ｐｙ）の平均値が存在し、４Ｐ像キャリブレーションデータと３Ｐ像キャリブレーションデータと２Ｐ像キャリブレーションデータの３つのキャリブレーション値算出（Ｓ３４０）について、図１５のフローチャートで説明する。
【０２４７】
まず、ＥＥＰＲＯＭ１００ａに記憶、蓄積された視標１〜４の２Ｐ像状態での（θ２ｐｘ，θ２ｐｙ）のデータ数を確認する（Ｓ５０１）。１０回の視線検出を行って、所定範囲内（４１０ａ）にある２Ｐ像状態での（θ２ｐｘ，θ２ｐｙ）のデータが６以下であれば、キャリブレーションデータを算出しても信頼性が無いとして、再度、キャリブレーションを行う。（θ２ｐｘ，θ２ｐｙ）のデータが７以上であれば、キャリブレーションデータの信頼性があるとして、２Ｐ像のキャリブレーションデータの算出が行われる（Ｓ５０４ｃ）。
【０２４８】
次に、（θ２ｐｘ，θ２ｐｙ）のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差（σθ２ｐｘ，σθ２ｐｙ）を求め、前記のａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙより、ピント板７の座標に換算した（σｘ２ｐｘ，σｙ２ｐｙ）を求め、ＥＥＰＲＯＭ１００ａの所定のアドレスに記憶する（Ｓ５０５ｃ）。
【０２４９】
次に、ＥＥＰＲＯＭ１００ａに記憶、蓄積された視標１〜４の３Ｐ像状態での（θ３ｐｘ，θ３ｐｙ）のデータ数を確認する（Ｓ５０２）。（θ３ｐｘ，θ３ｐｙ）のデータ数が５以上であれば、キャリブレーションデータの信頼性があるとして、３Ｐ像のキャリブレーションデータの算出が行われる（Ｓ５０４ｂ）。
【０２５０】
次に、（θ３ｐｘ，θ３ｐｙ）のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差（σθ３ｐｘ，σθ３ｐｙ）を求め、前記計算からのａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙより、ピント板７の座標に換算した（σｘ３ｐｘ，σｙ３ｐｙ）を求め、ＥＥＰＲＯＭ１００ａの所定のアドレスに記憶する（Ｓ５０５ｂ）。
【０２５１】
（θ３ｐｘ，θ３ｐｙ）のデータ数が４以下であれば、３Ｐ像のキャリブレーションデータの算出の信頼性が無く、２Ｐ像状態のキャリブレーションデータの算出のみが行われる（Ｓ５０４ｃ）。
【０２５２】
次にＥＥＰＲＯＭ１００ａに記憶、蓄積された視標１〜４の４Ｐ像状態での（θ４ｐｘ，θ４ｐｙ）のデータ数を確認する（Ｓ５０３）。（θ４ｐｘ，θ４ｐｙ）のデータ数が３以上であれば、キャリブレーションデータの信頼性があるとして、４Ｐ像のキャリブレーションデータの算出が行われる（Ｓ５０４ａ）。
【０２５３】
次に、（θ４ｐｘ，θ４ｐｙ）のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差（σθ４ｐｘ，σθ４ｐｙ）を求め、前記計算からのａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙより、ピント板７の座標に換算した（σｘ４ｐｘ，σｙ４ｐｙ）を求め、ＥＥＰＲＯＭ１００ａの所定のアドレスに記憶する（Ｓ５０５ａ）。
【０２５４】
（θ４ｐｘ，θ４ｐｙ）のデータ数が２以下であれば、４Ｐ像のキャリブレーションデータの算出の信頼性が無く、３Ｐ像状態、２Ｐ像状態のキャリブレーションデータの算出のみが行われる（Ｓ５０４ｂ、Ｓ５０４ｃ）。
【０２５５】
ここで、（θｘ１，θｙ１），（θｘ２，θｙ２），（θｘ３，θｙ３），（θｘ４，θｙ４）から、前記のキャリブレーションデータを求める際、４Ｐ像状態での（θ４ｐｘ，θ４ｐｙ）の平均値、３Ｐ像状態での（θ３ｐｘ，θ３ｐｙ）の平均値から、前記計算に基づき、ａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙのキャリブレーションデータが求められる（Ｓ５０３ａ、Ｓ５０３ｂ、Ｓ５０３ｃ）。
【０２５６】
また、眼球回転角のバラツキとして、各Ｐ像数状態の標準偏差（σθｘ，σθｙ）は、絶対値及び、σθｘとσθｙとの量的関係は、観察者の個人差があるが、同一観察者では、次の一般的傾向がある。
【０２５７】
ｘ方向のσθｘについては、σθ４ｐｘ：θ３ｐｘ：σθ２ｐｘ≒１．０：１．１：１．１
ｙ方向のσθｙについては、σθ４ｐｙ：θ３ｐｙ：σθ２ｐｙ≒１．０：１．２：１．６
ここで、ｙ方向のσθ２ｐｙが大きいのは、ｙ方向のＰ像が得られない為である。
【０２５８】
この様に、１回のキャリブレーションデータ算出で、観察者の個人の眼球回転角のバラツキを含んだ、４Ｐ像のキャリブレーションデータ、３Ｐ像のキャリブレーションデータと２Ｐ像状態のキャリブレーションデータの３つが算出される。
【０２５９】
再び、図１３に戻り、視線のキャリブレーションデータ算出（Ｓ３４０）後、あるいは視線検出の終了後にタイマーがリセットされる（Ｓ３４１）。
【０２６０】
又、キャリブレーションデータの信頼性の判定手段を兼ねた視線検出回路１０１は算出された視線のキャリブレーションデータが適正かどうかの判定を行なう（Ｓ３４２）。
【０２６１】
算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。
【０２６２】
算出された視線のキャリブレーションデータが不適性と判定されると（Ｓ３４９）、ＬＥＤ駆動回路１０６はスーパーインポーズ用ＬＥＤへの通電を止めて視標４を消灯する（Ｓ３４９）。更に視線検出回路１０１はＣＰＵ１００を介して図示されていない発音体を用いて電子音を所定時間鳴らし視線のキャリブレーションが失敗したことを警告する。同時にＬＣＤ駆動回路１０５に信号を送信しファインダー内ＬＣＤ３０８及びモニター用ＬＣＤ２０２に「ＣＡＬ」表示を点滅させて警告する（Ｓ３５０）（図１７（ｃ））。
【０２６３】
発音体による警告音とＬＣＤ３０８，２０２による警告表示を所定時間行なった後キャリブレーションルーチンの初期ステップ（Ｓ３０１）に移行し再度視線のキャリブレーションを実行できる状態に設定される。
【０２６４】
又、算出された視線のキャリブレーションデータが適正であれば（Ｓ３４２）、視線検出回路１０１はＬＣＤ駆動回路１０５、ＬＥＤ駆動回路１０６を介して視線のキャリブレーションの終了表示を行なう（Ｓ３４３）。ＬＣＤ駆動回路１０５はファインダー内ＬＣＤ３０８及びモニター用ＬＣＤ２０２に信号を送信して、「Ｅｎｄ−キャリブレーションＮｏ」の表示を所定時間実行するようになっている（図１９（ｂ））。
【０２６５】
視線検出回路１０１は視線検出回数ｎを１に設定し（Ｓ３４４）、更に算出された視線のキャリブレーションデータを現在設定されているキャリブレーションデータナンバーに相当するＥＥＰＲＯＭのアドレス上に記憶する（Ｓ３４５）。この時記憶を行なおうとするＥＥＰＲＯＭのアドレス上に既に視線のキャリブレーションデータが記憶されている場合はキャリブレーションデータの更新を行なう。
【０２６６】
一連の視線のキャリブレーション終了後、カメラは撮影者によって電子ダイヤル２０５か、あるいはモード釦２０４ａ２０４ｂ、２０４ｃが操作されるまで待機する。撮影者が電子ダイヤル２０５を回転させて他のキャリブレーションナンバーを選択したならば、視線検出回路１０１は信号入力回路１０４を介してキャリブレーションナンバーの変更を検知し（Ｓ３４６）、視線のキャリブレーションルーチンの初期ステップ（Ｓ３０１）に移行する。
【０２６７】
又、撮影者がモード釦２０４ａ２０４ｂ、２０４ｃを操作させて、他の撮影モードを選択したならば、視線検出回路１０１は信号入力回路１０４を介して撮影モードの変更を検知し（Ｓ３４７）メインのルーチンに復帰する（Ｓ３４８）。尚、本実施例においては１点の視標を注視しているときの視線検出回数を１０回にして視線のキャリブレーションを行なった例を示したが１０回以上の回数で行なっても構わない。
【０２６８】
図７（ｂ）、図７（ｃ）、図７（ｄ）で、図５の焦点検出点選択（Ｓ１０７）について、視線検出（Ｓ１０６）で求められた注視点座標（ｘ、ｙ）と注視点領域３０９を用いて説明する。
【０２６９】
いずれも、注視点座標（ｘ、ｙ）を（０，０）の中央点とする。
【０２７０】
図７（ｂ）は、視線検出時、４Ｐ像状態の説明図である。
【０２７１】
撮影者の眼球を４つのＩＲＥＤで照明すると、４つのプルキンエ像が得られることで、ｙ方向の精度は、ｘ方向の精度と同等になることで、注視点を（０，０）が決定される。
【０２７２】
前記の同一観察者の一般的傾向から、注視点を（０，０）を中心として、最も量的に小さいσｘ４ｐ、σｙ４ｐを、短軸、長軸半径として、注視点領域３０９ａが決定される。注視点領域３０９ａを内包する注視点エリアＣ・Ｃに含まれる焦点検出点３０３のみにて、焦点検出点３０３が選択され（Ｓ１０７）、表示される（Ｓ１０８）。
【０２７３】
図７（ｃ）は、視線検出時、３Ｐ像状態の説明図である。
【０２７４】
撮影者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無い場合でも、前記３つのプルキンエ像が得られれば、ｙ方向の精度は、ほぼｘ方向の精度と同等になることで、注視点を（０，０）が決定される。
【０２７５】
注視点を（０，０）を中心として、短軸、長軸半径をσｘ３ｐ、σｙ３ｐとして、注視点領域３０９ｂが決定される。前記の同一観察者の一般的傾向から、量的には共にσｘ３ｐ、σｙ３ｐは、σｘ４ｐ、σｙ４ｐより大きく、注視点領域３０９ｂを内包する注視点エリアは、注視点エリアＣ・Ｕ、注視点エリアＣ・Ｃ、注視点エリアＣ・Ｄと成る。前記注視点エリア群に含まれる焦点検出点は、焦点検出点３０３、３０６、３０７の３つとなり、焦点検出点３０３、３０６、３０７の焦点検出情報から、被写体が近距離優先で少なくとも１つが選択され（Ｓ１０７）、表示される（Ｓ１０８）。
【０２７６】
図７（ｄ）は、視線検出時、２Ｐ像状態の説明図である。
【０２７７】
下側２つのプルキンエ像しか得られ無い場合でも、２つのプルキンエ像に応じたキャリブレーションデータにて、注視点を（０，０）が決定される。
【０２７８】
注視点を（０，０）を中心として、短軸、長軸半径をσｘ２ｐ、σｙ２ｐとして、注視点領域３０９ｄが決定される。σｘ２ｐ、σｙ２ｐは、σｘ４ｐ、σｙ４ｐより大きく、特にσｙ２ｐは、個人差に依らず、ｙ方向のＰ像が得られない為、精度が得られないので、大きい。注視点領域３０９ｂを内包する注視点エリアは、注視点エリアＣ・Ｕ、注視点エリアＣ・Ｃ、注視点エリアＣ・Ｄと変わらず、前記注視点エリア群に含まれる焦点検出点は、焦点検出点３０３、３０６、３０７の３つとなり、焦点検出点３０３、３０６、３０７の焦点検出情報から、被写体が近距離優先で少なくとも１つが選択され（Ｓ１０７）、表示される（Ｓ１０８）。
【０２７９】
図７（ｅ）は、本実施例の変形で、視線検出時、３Ｐ像状態の説明図である。
【０２８０】
注視点を（０，０）を中心として、短軸、長軸半径をσｘ３ｐ、σｙ３ｐとして、注視点領域３０９ｂが決定される部分は、前記実施例と変わらないが、前記実施例の注視点エリアは存在せず、選択される焦点検出点は、注視点領域３０９ｂに焦点検出点の座標が含まれるか否かで決定される。注視点領域３０９ａに内包される焦点検出点は、焦点検出点３０３のみにて、焦点検出点３０３が選択され（Ｓ１０７）、表示される（Ｓ１０８）。注視点エリアを用いない為、焦点検出点の選択がより迅速となる。
【０２８１】
本実施例と本実施例の変形において、各Ｐ像数状態の標準偏差（σθｘ，σθｙ）に所定の係数をかけ、注視点領域の範囲を調整することも可能である。
【０２８２】
（実施例の特有の効果）
本実施例では、特開平ｘｘ−ｘｘｘｘｘで公知の視線検出精度を高める為、撮影者の視線検出を行う際、撮影者の眼球を４つのＩＲＥＤで照明する場合、原理的には、図２４のＩＲＥＤの虚像である４つのプルキンエ像が得られることになっているが、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無い場合でも、図１０のプルキンエ像の数と配置の状態を判別（図９　Ｓ２１１）して、予め前記状態に応じたキャリブレーションデータである４Ｐ像キャリブレーションデータと３Ｐ像キャリブレーションデータと２Ｐ像キャリブレーションデータの３つを用意し、選択使用することで、視線検出精度の向上を可能としている（図９　Ｓ２１５、Ｓ２１６ａ）。
【０２８３】
更に、前記視線検出結果である注視点位置を中心として、同様に図１０のプルキンエ像の数と配置の状態を判別（図９　Ｓ２１１）を利用して、各Ｐ像数状態に対応した眼球回転角のバラツキとしての標準偏差（σθｘ，σθｙ）を、ピント板７の座標に変換した（σｘ，σｙ）を短軸、長軸とした楕円領域を注視点領域として求めること（図９　Ｓ２１６ｂ）で、４つのプルキンエ像が得られる場合はもとより、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、ＩＲＥＤに対応したプルキンエ像が得られるわけでは無い場合でも、観察者が注視しているであろう注視点領域に反映させることを可能とした。
【０２８４】
前記観察者が注視しているであろう注視点領域に関連する焦点検出点（図７ｂ３０３、図７ｃ、図ｄ　３０３、３０６、３０７）、実施例の変形では、注視点領域に含まれる焦点検出点（図７ｅ　３０３）が選択され、所定のデフォーカス処理がされて、少なくとも１つの焦点検出点が選択され、焦点検出（図５　Ｓ１１０）され、レンズ駆動（Ｓ１１３）をふくめた合焦動作が行われることで、観察者が注視している焦点検出点を選択可能としている。
【０２８５】
また、図１０の１６通りのプルキンエ像の数と配置の状態から、プルキンエ像の存在確率と視線検出演算精度の２つから、下側２つのＰ像を基準とした４通りの前記状態の判別に簡略化することにより、視線検出演算、即ち視線検出速度のの迅速化を計っている。
【０２８６】
次に、キャリブレーションデータの取得である４つの視標１〜４を各１０回の視線検出で行われるキャリブレーションにおいても、図１０のプルキンエ像の数と配置の状態を判別（図９　Ｓ２１１）して、図１４の如く、眼球光軸の回転角、θｘ、θｙの算出に於いて、プルキンエ像数が４つである場合には、４つのプルキンエ像から（θ４ｐｘ，θ４ｐｙ）と下側２つから（θ２ｐｘ，θ２ｐｙ）を、３つである場合には、３つのプルキンエ像から（θ３ｐｘ，θ３ｐｙ）と下側２つから（θ２ｐｘ，θ２ｐｙ）を、２つである場合には、プルキンエ像数が下側２つから（θ２ｐｘ，θ２ｐｙ）を、一回の視線検出で得られた情報から、図１０のプルキンエ像の数と配置の状態に応じた眼球光軸の回転角θｘ、θｙの算出を同時に行い、それぞれをＥＥＰＲＯＭ１００ａのアドレスに記憶し、
図１５の如く、キャリブレーションデータの採取が終わった時点で、それぞれのアドレスに記憶された（θ４ｐｘ，θ４ｐｙ）、（θ３ｐｘ，θ３ｐｙ）と、（θ２ｐｘ，θ２ｐｙ）の平均値から、個人の眼球回転角の補正係数ａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙを、４Ｐ像のキャリブレーションデータ、３Ｐ像のキャリブレーションデータと２Ｐ像キャリブレーションデータの３つを算出している（Ｓ５０４ａ、Ｓ５０４ｂ、Ｓ５０４ｃ）。その後、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差（σθｘ，σθｙ）から（σｘ，σｙ）を求めている。具体的には、同様に、（σｘ４ｐ，σｙ４ｐ）、（σｘ３ｐ，σｙ３ｐ）、（σｘ２ｐ，σｙ２ｐ）の４Ｐ像のキャリブレーションデータ、３Ｐ像のキャリブレーションデータと２Ｐ像キャリブレーションデータの３つを算出している（Ｓ５０５ａ、Ｓ５０５ｂ、Ｓ５０５ｃ）。
【０２８７】
このことにより、観察者は、個人の眼球回転角の補正係数ａｘ，ａｙ，ｋｘ，ｋｙ，ｂ０ｘ，ｂ０Ｙと、眼球回転角のバラツキとしての（σｘ，σｙ）の２つのキャリブレーションデータを得るために、新たなキャリブレーションデータ取得動作、操作を行う事無く、従来のキャリブレーション動作と全く同じ１回のキャリブレーションデータ取得動作で、視線検出精度向上のためのキャリブレーションデータと眼球回転角のバラツキのキャリブレーションデータの２つを、４Ｐ像、３Ｐ像、２Ｐ像の３つのＰ像状態毎で、取得可能としている。
【０２８８】
図１５で、それぞれのアドレスに記憶された（θ４ｐｘ，θ４ｐｙ）、（θ３ｐｘ，θ３ｐｙ）と、（θ２ｐｘ，θ２ｐｙ）のデータ数を確認することで、信頼性の無いキャリブレーションデータを算出しない効果を得ている。
【０２８９】
以上の効果を、観察者が、キャリブレーションさえを行えば、どの観察者にも与えること可能とした。
【０２９０】
【発明の効果】
請求項１においては、観察者の視線検出を行う際、視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、観察者の視線検出をした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【０２９１】
これは、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【０２９２】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【０２９３】
請求項２においては、観察者の視線検出を行う際、複数の照明光源より、撮影者の眼球の前眼部へ投射し、撮影者の眼球画像の状態である角膜反射像（プルキンエ像、Ｐ像）の角膜反射像数とその配置状態に応じたキャリブレーションデータ、即ち視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、角膜反射像数とその配置状態を判断手段で判断し、前記補正データと観察者の眼球回転角のバラツキデータを選択使用することで、観察者の視線検出時の角膜反射像数とその配置状態に応じた視線検出精度の向上を可能とした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【０２９４】
これは、観察条件、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【０２９５】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【０２９６】
請求項１、２においては、焦点検出点の選択動作で、注視点領域に関連した焦点検出点のみに、デフォーカス量を計算するので、迅速に行うことが可能。
【０２９７】
請求項３においては、観察者の眼球回転角のバラツキを、通常のキャリブレーション取得動作１回で、補正データと同時に行え、あらためて、取得動作を行う必要が無い。
【０２９８】
請求項４においては、観察者に新たな視線補正手段の取得動作、操作を行わせる事無く、一回の視線補正手段の取得動作で、角膜反射像数とその配置状態に応じた複数のキャリブレーションデータ、即ち視線補正手段で得られた補正データを取得すること可能とした。
【０２９９】
以上、特に、請求項２においては、複数の照明光源より観察画面内を覗く撮影者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記撮影者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段において、視線検出精度の向上が計れる上に、観察者のあらゆる条件において、観察者の意図する焦点検出点の選択を迅速に行い、かつ、あらゆる観察者に、この効果を提供することを可能とした。
【図面の簡単な説明】
【図１】実施例のカメラ本体の要部概略図。
【図２】実施例のカメラ本体の外観図。
（ａ）実施例のカメラ本体の外観の上面図
（ｂ）実施例のカメラ本体の外観の背面図
【図３】図１のファインダ視野内の表示状態の説明図である。
【図４】実施例の電気回路の要部ブロック図である。
【図５】実施例のカメラの作動シーケンス。
【図６】実施例の焦点検出点選択モード説明図。
【図７】（ａ）ファインダ視野内の注視点エリアの説明図である。
（ｂ）焦点検出点選択とファインダ視野内の注視点エリアの関係説明図である。
（ｃ）焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
（ｄ）焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
（ｅ）実施例の変形で、焦点検出点選択とファインダ視野内の注視点領域の関係説明図。
【図８】（ａ）実施例のカメラ本体の外部表示２０２の説明図である。
（ｂ）ファインダ視野内の表示部３０８の説明図。
【図９】視線検出のフローチャート。
【図１０】プルキンエ像の状態説明図。
【図１１】キャリブレーションデータナンバーとキャリブレーションデータ説明図。
【図１２】キャリブレーションのフローチャートその１。
【図１３】キャリブレーションのフローチャートその２。
【図１４】キャリブレーションでのθｘ、θｙ算出、データ記憶フローチャート。
【図１５】キャリブレーションデータ算出のフローチャート。
【図１６】（ａ）（ｂ）（ｃ）（ｄ）キャリブレーションでの視標説明図。
【図１７】キャリブレーションのファインダー内、外部表示説明その１。
【図１８】キャリブレーションのファインダー内、外部表示説明その２。
【図１９】キャリブレーションのファインダー内、外部表示説明その３。
【図２０】従来の（ＩＲＥＤ下側２つの）視線検出原理説明図。
【図２１】（ａ）（ｂ）眼球画像説明図。
【図２２】（ａ）従来の眼球画像、プルキンエ像配置状態説明図。
（ｂ）従来の視線検出原理説明図（ｘ−ｚ平面）。
（ｃ）従来のＩＲＥＤ下側２つの視線検出原理説明図（ｙ−ｚ平面）。
【図２３】（ａ）３つのＩＲＥＤでの眼球画像、プルキンエ像配置状態説明図。
（ｂ）３つのＩＲＥＤでの視線検出原理説明図（ｙ−ｚ平面）。
【図２４】４つのＩＲＥＤでの眼球画像、プルキンエ像配置状態説明図。
【符号の説明】
７　ピント板
７ａ　この微小プリズムアレイ
１２　受光レンズ
１３ａ〜１３ｈ　撮影者の眼１５の照明光源（投光手段）
１４　ＣＣＤ等の光電素子列を２次元的に配したイメージセンサ
１５　撮影者の眼
１６　角膜
１７　虹彩
１０１　視線検出回路
３０１，３０２，３０３，３０４，３０５，３０６，３０７　測距点マーク
２００　本カメラ
３００　ファインダー観察画面内
Ｓ２１１　プルキンエ像状態判別
Ｓ２１６ｂ　注視点領域算出
Ｓ５０５ａ、Ｓ５０５ｂ、Ｓ５０５ｃ　バラツキデータ算出
Ｌ３・Ｔ〜Ｒ３・Ｂ　注視点エリア[0001]
TECHNICAL FIELD OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an optical device having a line-of-sight detection unit, and more particularly to a gazing point observed by an observer (photographer) via a finder system on an observation surface (focusing surface) on which a subject image is formed by a photographing system. There is a line-of-sight detecting means for detecting the axis of the direction, that is, the line of sight (axis of sight) using a reflected image of the eyeball obtained when the observer illuminates the eyeball, and performing various photographing operations. The present invention relates to an optical device as described above.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various devices (for example, eye cameras) for detecting what position on an observation surface the observer is observing, that is, detecting a so-called line of sight (axial axis) have been proposed.
[0003]
For example, in Japanese Patent Application Laid-Open No. 1-274736, a parallel light beam from a light source is projected to the anterior segment of an eyeball of an observer, and a visual axis is formed by utilizing a corneal reflection image formed by reflected light from the cornea and an imaging position of a pupil. Seeking.
[0004]
Here, based on the principle of the line-of-sight detection method, when the arrangement state of the corneal reflection image (virtual image; Purkinje image or P image) is one-dimensionally and two-dimensionally, firstly the line-of-sight Secondly, it will be described how the detection calculation results are different, and secondly, the correction coefficients regarding the individual differences are different.
[0005]
FIG. 20 is a diagram illustrating the principle of the eye gaze detection method.
[0006]
First, the case where the arrangement state of the corneal reflection image (virtual image; Purkinje image or P image) is one-dimensionally described.
[0007]
The names and symbols of each part are the same as those in FIGS. Reference numerals 13a and 13b denote light-emitting diodes that emit infrared light insensitive to the user. The light sources 13a and 13b are arranged substantially symmetrically in the x direction with respect to the optical axis of the light-receiving lens 12, and furthermore, the user's eyeball. 17 is arranged to be illuminated from below (a position offset in the y direction). A part of the illumination light reflected by the eyeball 17 is focused on the CCD 14 via the light receiving lens 12. 17b is a cornea, and 17c is an iris.
[0008]
FIG. 21A is a schematic diagram of an eyeball image projected on the CCD 14, and FIG. 21B is a diagram showing an intensity distribution of a signal from an output line of the CCD 14.
[0009]
Hereinafter, a method of detecting a line of sight will be described with reference to the above-described drawings.
[0010]
The infrared light emitted from the IRED 13b irradiates the cornea 17b of the user's eyeball 17. At this time, a corneal reflection image d (virtual image; Purkinje image or P image) formed by a part of the infrared light reflected on the surface of the cornea 17b is condensed by the light receiving lens 12, and is formed at a position d 'on the CCD 14. I do. Similarly, the infrared light emitted from the IRED 13a irradiates the cornea 17b of the eyeball 17. At this time, a corneal reflection image e (virtual image; Purkinje image or P image) formed by a part of the infrared light reflected on the surface of the cornea 17b is condensed by the light receiving lens 12 and formed at a position e 'on the CCD 14. Image.
[0011]
Light beams from the ends a and b of the iris 17c form images of the ends a and b at positions a 'and b' on the CCD 14 via the light receiving lens 12. When the rotation angle θ of the optical axis of the eyeball 17 with respect to the optical axis of the light receiving lens 12 is small, and the x coordinates of the ends a and b of the iris 17c are xa and xb, the coordinate x of the center position c of the pupil 17d is
xc ≒ (xa + xb) / 2 (1)
It is expressed as
[0012]
Further, the x coordinate of the midpoint between the corneal reflection images d and e substantially matches the x coordinate xo of the center of curvature o of the cornea 17b. Therefore, if the x-coordinates of the corneal reflection image generation positions d and e are xd and xe, and the standard distance between the center of curvature o of the cornea 17b and the center c of the pupil 17d is Loc, the rotation of the optical axis 17a of the eyeball 17 is determined. The angle θx is
Loc × sin θx ≒ (xd + xe) / 2-xc (2)
Satisfies the relational expression. Therefore, as shown in FIG. 21A, by detecting the position of each characteristic point (corneal reflection image and the center of the pupil) of the eyeball 17 projected on the CCD 14, the optical axis 17a of the eyeball 17 is detected. The rotation angle θ can be obtained.
[0013]
From the equation (2), the rotation angle of the optical axis 17a of the eyeball 17 is
β × Loc × sin θx ≒ ｛(xp0−δx) -xic｝ × Ptx (3)
β × Loc × sin θy {(yp0−δy) −yic} × Pty (4)
Is required. Here, β is an imaging magnification determined by the position of the eyeball 17 with respect to the light receiving lens 12, and is substantially obtained as a function of the interval | xd'-xe '| between the two corneal reflection images (Purkinje images).
[0014]
Θx is the rotation angle of the eyeball optical axis in the zx plane, and θy is the rotation angle of the eyeball optical axis in the yz plane. (Xpo, ypo) is the coordinates of the midpoint of the two corneal reflection images on the CCD 14, and (xic, yic) is the coordinates of the center of the pupil on the CCD 14. Ptx and Pty are pixel pitches of the CCD 14 in the x and y directions. δx and δy are correction terms for correcting the coordinates of the midpoint of the corneal reflection image. Regarding the correction terms for correcting errors caused by illuminating the user's eyeball with divergent light instead of parallel light, and δy Also includes a correction term for correcting an offset component caused by illuminating the user's eyeball with divergent light from the lower eyelid.
[0015]
When the rotation angle (θx, θy) of the user's eyeball optical axis 17a is calculated, the gazing point (x, y) on the observation surface of the user is:
x [mm] = m × ax × (θx + bx) (5)
y [mm] = m × ay × (θy + by) (6)
Is required. Here, the x direction indicates the horizontal direction with respect to the observer, and the y direction indicates the vertical direction with respect to the user. m is a conversion coefficient for converting the rotation angle of the eyeball 17 into coordinates on the observation plane, and ax, bx, ay, and by are gazing point calibration coefficients, which are the rotation angle of the user's eyeball 17 and the gazing point on the observation plane. Is a correction coefficient for matching.
[0016]
A method of calculating the correction terms δx and δy of the position of the midpoint of the corneal reflection image (Purkinje image) will be described with reference to FIGS.
[0017]
An intersection point between the eyepiece lens exit surface and the optical axis (z-axis) of the visual line detection optical system is set as the origin. The coordinates of IRED1 are (-Sxi1, Syi, Szi), the coordinates of IRED2 are (Sxi1, Syi, Szi), and the coordinates of the center of curvature O of the cornea of the eyeball of the photographer are (Sxc, Syc, Szc).
[0018]
The midpoint P0 between the Purkinje images d and e is equivalent to the position of the Purkinje image generated by one IRED located at the midpoint between the IREDs 1 and 2. Since the line-of-sight calculation formula is based on the coordinates of the midpoint P0 of the two Purkinje images, the distance between the midpoint (0, Si, Zi) of the IRED1 and IRED2 and the center of curvature O of the cornea is L,
[Outside 1]

[0019]
From Abbe's invariant, the distance K from the corneal surface to the position where the Purkinje image occurs is:
[Outside 2]

[0020]
It is expressed as The shift amount δx (the shift amount in the CCD coordinate system; Δx in the eyeball coordinate system) of the midpoint P0 of the Purkinje images P1 and P2 in the x direction is:
[Outside 3]

[0021]
Satisfy the relationship. Expanding the above equation, the shift amount δx becomes
[Outside 4]

[0022]
It becomes. Similarly, the shift amount δy in the y direction of the midpoint P0 of the Purkinje images P1 and P2 is
[Outside 5]

[0023]
Here, if the imaging magnification β of the visual line detection optical system is defined as a quadratic function of the distance Sz from the eyepiece exit surface (origin),
β = b1 · Sz ² + B2 · Sz + b3 (12)
It becomes. The coefficients b1 to b3 are calculated by obtaining the imaging magnification at a predetermined distance by an optical simulation, and quadratic approximating the values.
[0024]
The imaging magnification βp of the Purkinje image is represented by Szp where the distance in the z direction from the vertex of the cornea is Szp.
βp = b1 (−Szp−Szc) ² + B2 (-Szp-Szc) + b3 (13)
It becomes.
[0025]
Hereinafter, in order to obtain Szp and Szc, the calculation routine is executed a plurality of times to converge Szp and Szc.
[0026]
Here, when Expression (9) and Expression (11) are compared, in Expression (11),
[Outside 6]

[0027]
Is added.
[0028]
This is due to the absence of the Purkinje image in two dimensions because the IRED does not exist in the y-axis direction with respect to the z-axis as shown in FIG. It is. That is, the shift amount δy in the y direction cannot be directly obtained from the midpoint P0 of the Purkinje images P1 and P2.
[0029]
For this reason, the shift amount δy in the y direction is different from the shift amount δx in the x direction by other approximation calculation errors in the convergence calculation, such as the above-described second-order approximation of the coefficients b1 to b3, This method has a drawback that accuracy is inferior due to the addition of a conversion error.
[0030]
Therefore, in the rotation angle (θx, θy) of the optical axis 17a of the user's eyeball obtained by Expression (3) including δx and Expression (4) including δy, θy has a disadvantage that accuracy is inferior to θx. .
[0031]
When the eyeball rotation angles θx and θy of the photographer are calculated from Expressions (3) including δx and Expression (4) including δy, ax, bx, and the individual differences from Expressions (5) and (6) are calculated. The correction coefficients of ay and by are given, and the coordinates on the focus plate are calculated.
[0032]
Here, in order to avoid the disadvantage that the accuracy of θy is inferior, as shown in FIG. 2B, the light emitting diodes 13a and 13b are further illuminated with 13e or 13f with the z-axis interposed therebetween in the y-axis direction. By obtaining a new corneal reflection image (virtual image; Purkinje image or P image), that is, by obtaining a state where the Purkinje image is arranged two-dimensionally, δy is obtained in the same manner as δx. , Θy need to have the same accuracy as θx.
[0033]
This will be described with reference to FIG. 23 to which irradiation of the light emitting diode 13c is added. FIG. 23A shows the position of each characteristic point (corneal reflection image and the center of the pupil) of the eyeball 17 projected on the CCD 14 similarly to FIG. 21A, and corresponds to the light emitting diode 13c. The new corneal reflection image P3 is added to the coordinates (Xe ″, Ye ″) and the coordinates (Xe ′, Ye ′), (Xd ′, Yd) of the conventional corneal reflection images P1 and P2 corresponding to the light emitting diodes 13a and 13b. ') The y-direction P image center composed of the y-coordinates is located at the coordinates (xp1, yp1). FIG. 23B shows the same yz plane eyeball coordinate diagram as FIG. 22C.
[0034]
Equation (4) is
β × Loc × sin θy {(yp1-δy) −yic} × Pty (4) ″
And for the correction term δy,
[Outside 7]

It can be seen that the shift amount δy in the y direction is the same as the shift amount δx in the x direction in Expression (3).
[0035]
Here, the value of δy in the formula (11) obtained from the corneal reflection images of the conventional light emitting diodes 13a and 13b and the value of δy in the formula (10) ″ calculated by obtaining a new corneal reflection image are, of course, Because of the difference, the obtained value of θy is also different.
[0036]
This is because when the observer observes the same gazing point, the obtained value of θy is different between the case where the arrangement state of the corneal reflection image is one-dimensional and the case where the arrangement state of the corneal reflection image is two-dimensional. This shows that θy obtained in a state where the Purkinje image is arranged two-dimensionally by adding the irradiation of 13c is more accurate.
[0037]
Next, even if the correction coefficients of ax, bx, ay, and by regarding the individual differences given by Expressions (5) and (6) calculated from the eyeball rotation angles θx and θy are the same, the light emitting diode 13a , 13b are further illuminated with 13e or 13f with respect to ax, bx, ay, and by obtained from the corneal reflection image obtained by the corneal reflection image, and ay and by obtained by adding a new corneal reflection image are different.
[0038]
The above is the gaze detection principle.
[0039]
In contrast to this principle, two factors from the observer's observation conditions and individual differences are added to actual gaze detection, and there are the following three problems.
[0040]
One is that when the observer gazes at the same point a plurality of times, the gaze detection result is originally the same, but actually, the result varies. This is an individual difference due to physiological fixation tremor (the conscious point is gazing at one point, but the actual gazing point is slightly moving), an optical device holding method, and the like.
[0041]
Here, acquisition of the correction coefficients of ax, bx, ay, and by regarding the individual difference given by the equations (5) and (6) calculated from the eyeball rotation angles θx and θy is performed by gazing at the same point of the same individual. This is performed by a predetermined calculation from a plurality of gaze detections. Like the correction coefficient, even if the gaze of the same point is performed, the variation in the gaze detection result also has individual differences among observers.
[0042]
That is, as the first problem, at present, it is possible to obtain correction coefficients of ax, bx, ay, and by regarding the individual difference given by Expressions (5) and (6) by a predetermined calculation from a plurality of gaze detections. Even so, the variation in the value due to individual differences is not taken into account.
[0043]
Second, when a viewer's line of sight is detected, a Purkinje image corresponding to the illumination light source is not necessarily obtained. In particular, the upper corneal reflection image corresponding to the upper light emitting diode 13e is caused by that the illumination light source is blocked by the upper eyelids and eyelashes of the observer depending on the observation conditions and individual differences. Even if the above-mentioned new illumination light source is added, a Purkinje image corresponding thereto is not always obtained.
[0044]
Therefore, as a second problem, when the observer observes the same gazing point and detects the line of sight, if the Purkinje image corresponding to the addition of the above-mentioned new illumination light source cannot be obtained, the obtained value of θy becomes In contrast, the accuracy in the y direction of the calculation result of the gazing point position decreases.
[0045]
As a third problem, as described above, if the correction coefficients of ax, bx, ay, and by regarding the individual difference are uniformly given without considering the state of the corneal reflection image described above, the correction coefficients in the y-axis direction can be obtained. Problems remain in accuracy.
[0046]
Therefore, there is a proposal that light emitting diodes 13e and 13f are added to the conventional light emitting diodes 13a and 13b and used for illumination. By doing so, the probability that at least one of the corneal reflection images corresponding to the light emitting diodes 13e and 13f can be obtained even if the illumination light source is blocked by the upper eyelids and eyelashes of the observer due to observation conditions and individual differences. Is increased.
[0047]
When three corneal reflection images are obtained corresponding to the light emitting diodes 13a, 13b, 13e, and 13f, as described above, if the correction coefficients of ax, bx, ay, and by regarding the individual difference are correctly given, the eyeball rotation angle can be obtained. The accuracy of θx and θy is equivalent.
[0048]
FIG. 24 shows each characteristic point (corneal reflection image and corneal reflection image) of the eyeball 17 projected on the CCD 14 when four corneal reflection images are obtained at this time, similarly to FIGS. 21 (a) and 23 (a). (Center of the pupil).
[0049]
When four corneal reflection images corresponding to the light emitting diodes 13a, 13b, 13e, and 13f are obtained, the center position of the P image in the x direction and the y direction is two corneal reflection images with respect to FIGS. Is calculated from the coordinates of the four corneal reflection images, not the coordinates of the eyeball rotation angles. Therefore, if correction coefficients for ax, bx, ay, and by regarding the individual difference are correctly given, the accuracy of the eyeball rotation angles θx and θy is not only θy but also θy. , Θx are further improved.
[0050]
For the second and third problems described above, as a conventional proposal, Japanese Patent Application Laid-Open No. xx-xxxxxx (Canon, Otani Honto, reference number 431030) uses one operation of acquiring the individual difference correction coefficient to perform corneal reflection. Acquisition of ax, bx, ay, and by the correction coefficient corresponding to the number of images and the arrangement state, determining the number of corneal reflection images and the arrangement state at the time of gaze detection of an observer, and providing the corresponding correction coefficient, Improving accuracy.
[0051]
However, when the observer gazing at a certain point, which is the first problem, there is no conventional proposal that takes into account the individual differences in the sight line detection results.
In Japanese Patent Application Laid-Open No. 8-152552 (Olympus), each focus area is weighted based on the fixation point information from the line-of-sight detection information and the reliability of the line-of-sight information, and further from the distance measurement information. The focus area with the highest score is selected as the distance measurement point from the sum of the above, and the focus is adjusted.
[0052]
However, in the gaze detection in the previous stage, “the reliability of gaze point information and gaze information from gaze detection information” does not take into account the number and arrangement of corneal reflection images, and also takes into account variations in individual differences. This is not a proposal for the first, second, and third problems.
[0053]
[Problems to be solved by the invention]
Therefore, in order to project the image to the anterior segment of the eyeball of the observer and obtain feature points (corneal reflection image and center of the pupil) from the eyeball image, a new corneal reflection image (virtual image; Purkinje image or The gaze detection means provided with the illumination light source to obtain the P image) can determine the gaze point area intended by the observer in consideration of the individual difference in the gaze detection accuracy of the observer and the gaze detection result of the observer. Is a problem.
[0054]
Next, an object is to make it possible to select at least one focus area from a plurality of focus areas arranged two-dimensionally on an observation screen from a fixation area which is the line of sight of the observer.
[0055]
[Means for Solving the Problems]
In selecting a plurality of focus detection points, a line-of-sight detecting means provided with an illumination light source that obtains a new corneal reflection image (virtual image; Purkinje image or P image) also in the y-axis direction, 1, a means for counting the number of corneal reflection images and a means for judging a corneal reflection image state for judging an arrangement state of the corneal reflection images are provided.
[0056]
Secondly, the gaze correction unit (calibration) determines the arrangement of the corneal reflection image and the unit for counting the number of corneal reflection images in the known Japanese Patent Laid-Open No. xx-xxxxxx (Canon, proposed by Otani Honto, serial number 431030). When acquiring the correction coefficients of ax, bx, ay, and by regarding the individual difference according to the corneal reflection image state, means for simultaneously acquiring the variation of the correction coefficients is provided.
[0057]
Third, after calculating a gazing point position which is a result of a gaze detection calculation from the result of the corneal reflection image state determination means, that is, the arrangement state of the corneal reflection image, the gaze correction means (calibration) Means is provided for determining a gazing point area in consideration of individual differences in how much the gazing point position of the observer's line of sight varies with the variation of the acquired correction coefficient.
[0058]
Fourthly, there is provided means for selecting at least one focus area from a plurality of focus detection points included in the gazing point area.
[0059]
As an operation thereof, the gaze point of the gaze of the observer is determined by the first and second means in accordance with the state of the obtained corneal reflection image in the gaze detection of the observer and in consideration of individual differences of the observer. The position can be obtained with high accuracy.
[0060]
From the second and third means, it is possible to obtain a gazing point area in consideration of the gazing point position of the gazing point of the observer obtained with high accuracy and the variability of the gazing point detection caused by the individual difference.
[0061]
From the fourth means, the focus area intended by the observer can be selected.
[0062]
BEST MODE FOR CARRYING OUT THE INVENTION
The camera of the present embodiment is an autofocus camera having a line-of-sight detection device that detects the rotation angle of the optical axis of the eyeball of the photographer and calculates the line of sight of the photographer from the rotation angle.
[0063]
FIG. 1 is a schematic view of a main part of a single-lens reflex camera according to the present invention.
[0064]
In FIG. 1, reference numeral 1 denotes a photographing lens, which is shown by two lenses 1a and 1b for convenience in FIG. 1, but is actually composed of a large number of lenses. Reference numeral 2 denotes a main mirror which is inclined or retreated to a photographing optical path according to an observation state and a photographing state. A sub-mirror 3 reflects a light beam transmitted through the main mirror 2 downward from the camera body. Reference numeral 4 denotes a shutter, and reference numeral 5 denotes a photosensitive member, which is made of a silver halide film or a solid-state imaging device such as a CCD or a MOS type.
[0065]
Reference numeral 6 denotes a focus detection device, which includes a field lens 6a, reflection mirrors 6b and 6c, a secondary imaging lens 6d, an aperture 6e, a line sensor 6f including a plurality of CCDs, and the like, which are arranged in the vicinity of the image plane. A well-known phase difference method is adopted. As shown in FIG. 3, the focus detection device 6 shown in FIG. 3 has a plurality of areas (seven focus detection point marks 301 to 307) in the finder observation screen corresponding to focus detection areas (hereinafter, focus detection points). It is configured to be able to detect the focus.
[0066]
Reference numeral 7 denotes a focusing plate arranged on a predetermined imaging plane of the photographing lens 1, 8 denotes a pentaprism for changing a finder optical path, 9 and 10 denote imaging lenses and photometric sensors for measuring the luminance of a subject in an observation screen, The imaging lens conjugates the focusing plate 7 and the photometry sensor via a reflection optical path in the pentaprism 8.
[0067]
Next, behind the exit surface of the pentaprism 8, an eyepiece 11 having a light splitter 11a is arranged, and is used for observing the focus plate 7 with the eye 15 of the photographer. The light splitter 11a is composed of, for example, a dichroic mirror that transmits visible light and reflects infrared light and visible light (red light) closer to infrared light. Reference numeral 12 denotes a light receiving lens, and reference numeral 14 denotes an image sensor having a two-dimensional array of photoelectric elements such as CCDs, which are arranged so as to be conjugate with the vicinity of the pupil of the photographer's eye 15 at a predetermined position with respect to the light receiving lens 12.
[0068]
The image sensor 14 and the light receiving lens 12 constitute one element of the light receiving means. Reference numerals 13a to 13d and 13e to 13h denote eight infrared light-emitting diodes (only two light-emitting diodes are shown) serving as illumination light sources (light projecting means) of the photographer's eye 15 around the eyepiece 11. Are located.
[0069]
Reference numeral 21 denotes a high-brightness superimposing LED that can be visually recognized even in a bright subject. The emitted light is reflected by the main mirror 2 via a light projecting prism 22 and provided on a display portion of the focus plate 7. The light is bent in the vertical direction by the prism array 7 a and reaches the photographer's eye 15 through the pentaprism 8 and the eyepiece 11.
[0070]
Therefore, the micro prism array 7a is formed on a frame at a plurality of positions (focus detection point mark portions) corresponding to the focus detection points of the focus plate 7, and the micro prism array 7a is formed on each of the seven LEDs 21 (each LED-L1). , LED-L2, LED-C, LED-R1, LED-R2, LED-T, LED-B).
[0071]
As a result, as shown in FIG. 3, each of the focus detection point marks 301, 302, 303, 304, 305, 306, and 307 shines in the viewfinder field to indicate that they are focus detection points. It is possible (hereinafter referred to as superimposed display).
[0072]
Here, the distance measurement point marks 301, 305, 306, and 307 at the upper, lower, right, and left sides are lit when individual difference correction data (gaze correction coefficient) of the eyeball is collected (hereinafter, this operation is referred to as calibration). . In the calibration of the camera, the data is accumulated up to a predetermined number of times each time the photographer performs the calibration, and is calculated by a predetermined averaging operation.
[0073]
Reference numeral 23 denotes a field mask for forming a finder field area, 24 denotes an LCD in the finder for displaying photographing information outside the finder field, and is illuminated by an LED (F-LED) 25 for illumination. The image is guided into the finder by 26 and displayed outside the viewfinder field of view 308 in FIG. 3, and the photographer is observing the photographing information. Reference numeral 27 denotes a posture detecting means, which is a switch for detecting the posture of the camera.
[0074]
Reference numeral 31 denotes an aperture provided in the taking lens 1, reference numeral 32 denotes an aperture driving device including an aperture driving circuit 111 described later, reference numeral 33 denotes a lens driving motor, reference numeral 34 denotes a lens driving member including a driving gear and the like, and reference numeral 35 denotes a photocoupler for driving a lens. The rotation of the pulse plate 36 interlocked with the member 34 is detected and transmitted to the lens focus adjustment circuit 37. The lens focus adjusting circuit 37 drives the lens driving motor by a predetermined amount based on this information and the information on the lens driving amount from the camera side, and moves the photographing lens 1 to the focusing position. Reference numeral 38 denotes a mounting contact serving as an interface between a known camera and a lens.
[0075]
2A and 2B are external views of the camera body of the present invention, and the interchangeable photographing lens 1 in FIG. 1 is not shown. 2A is a top view, and FIG. 2B is a rear view.
[0076]
200 is a camera body, 201 is a release button, 202 is a monitor LCD as an external monitor display device, as shown in FIG. 8, a fixed segment display section 202a for displaying a predetermined pattern, and a 7-segment for variable numerical value display. 2 (a) and 2 (b), the camera body 200 includes the replaceable lens unit in FIG. 1 although not shown.
[0077]
Reference numeral 203 denotes an AE lock button for holding a photometric value, and reference numerals 204a, 204b, and 204c denote mode buttons for selecting a photographing mode or the like.
[0078]
When the mode buttons 45b and 45c are pressed at the same time, the mode becomes a “line-of-sight calibration” mode for collecting personal difference correction data (line-of-sight correction coefficient) of the eyeball described later.
[0079]
Reference numeral 205 denotes an electronic dial for selecting a mode that can be further selected from among the modes selected by the mode buttons 204a, 204b, and 204c by rotating and generating a click pulse, and a set value. For example, when the mode button 204a is pressed and a shutter-priority shooting mode is selected with the electronic dial 205, the currently set mode and shutter speed are displayed on the LCD 24 in the viewfinder and the LCD for monitoring 202. Furthermore, when the user dials the electronic dial 205 after releasing the mode button 204a, the shutter speed is sequentially changed from the currently set shutter speed in accordance with the rotation direction. In this way, the photographer selects each of the shooting modes of the program AE shutter priority AE, the aperture priority AE, the depth of field priority AE, and the manual exposure by pressing the mode button 204a, and rotates the electronic dial 205 to change the shooting content. Can be set.
[0080]
FIGS. 8A and 8B are explanatory diagrams showing the contents of all display segments of the monitor LCD 202 and the finder LCD 24 shown in FIG. In FIG. 8A, the fixed display segment unit 202a is provided with a portion for displaying a photographing operation such as a camera AF operation and a photographing mode selection in addition to a known photographing mode display.
[0081]
Reference numeral 801 denotes a portion that indicates that the mode is the line-of-sight detection mode, and is displayed in the line-of-sight detection mode. To set the line-of-sight detection mode, the user presses the mode button 204b, rotates the electronic dial 205, and displays 801 to set.
[0082]
The 7-segment unit 202b for displaying a variable numerical value includes a 4-digit 7-segment 802 for displaying the shutter speed, a 2-digit 7-segment 803 for displaying the aperture value, a decimal point 804, and a limited numerical display segment 805 for displaying the number of films. It is composed of 7 segments 806 of one digit.
[0083]
8B, 811 denotes a camera shake warning mark, 812 denotes an AE lock mark, 813 and 814 denote the same display segments as the shutter time display 802 and the aperture value displays 803 and 804, and 815 denotes an exposure correction setting mark. , 816 is a strobe full mark, and 817 is a line-of-sight input mark indicating that the line of sight is being input. Reference numeral 818 denotes a focusing mark indicating the focusing state of the taking lens 1.
[0084]
Reference numeral 206 denotes a focus detection point selection mode button. When the photographer presses the button, a predetermined focus detection point is moved from the lighted focus detection point to an arbitrary focus detection point by operating the electronic dial 205. Make it possible.
[0085]
Here, assuming that a predetermined focus detection point mark 303 in the finder is lit and displayed in FIG. 6A, turning the electronic dial 205 synchronizes with the rotation direction in FIGS. 6B and 6. As shown in (c), it is possible to move to the focus detection point marks 304 and 305. Then, the focus detection point mark after the movement is lit and displayed, so that the focus detection point selected by the photographer can be recognized.
[0086]
Further, when the electronic dial 205 is turned in the same direction, the distance measurement marks 301, 302, 303, 304, 305, 306, and 307 are simultaneously turned on for a predetermined time as shown in FIG. The photographer can recognize that the camera is automatically set to the focus detection point automatic selection mode in which the focus detection point is selected.
[0087]
When the focus detection point selection mode button 206 is pressed again, the moving direction of the focus detection point mark by turning the electronic dial 205 is switched to a direction in which the focus detection marks 306 and 307 can be selected.
[0088]
In addition to the above-described focus detection point selection mode in which the photographer can select an arbitrary focus detection point, the camera 200 can detect seven focus detection points corresponding to the seven focus detection point marks in FIG. The camera is provided with two focus detection point automatic selection modes in which the camera itself extracts and selects a focus detection point from a result of point focus detection by a predetermined algorithm. Also, by operating the mode button 204b and the electronic dial 205 described above, the portions 801 and 817 indicating that the eye-gaze detection mode is displayed are displayed, and when selecting from the seven focus detection point marks in FIG. A gaze input mode is provided for detecting a rotation angle of the optical axis of the eyeball and selecting a focus detection point using a gaze detection device that calculates a gaze of the photographer from the rotation angle.
[0089]
In the present embodiment, the camera 200 is set to the line-of-sight input mode.
[0090]
Reference numeral 207 denotes a power switch of the camera, which is turned on to start the camera. When the switch is OFF, the camera is in a lock position where the camera is not operated.
[0091]
Dotted line 208 is the right hand when the photographer holds the camera.
[0092]
FIG. 4 is a main block diagram of an electric circuit built in the camera of the present invention. 4, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals.
[0093]
A central processing unit (hereinafter referred to as a CPU) 100 of a microcomputer built in the camera body includes a line-of-sight detection circuit 101, a photometry circuit 102, an automatic focus detection circuit 103, a signal input circuit 104, an LCD drive circuit 105, and a backlight LED drive circuit 106. , 8 IRED1 to IRED8 corresponding to 13a to 13g in FIG. 1 and FIG. 2, a shutter control circuit 108, and a motor control circuit 109 are connected. Further, signals are transmitted to the focus adjustment circuit 37 and the aperture driving circuit 111 arranged in the taking lens via the mount contact point 38 shown in FIG.
[0094]
The CPU 100 has a built-in RAM (not shown), and has a function of storing line-of-sight calibration data in the built-in RAM. When the mode of the camera is set to the above-described “eye gaze calibration”, a calibration mode for acquiring eye gaze correction data (hereinafter, referred to as calibration data) for correcting a known eye gaze individual difference can be selected. Application data and a calibration operation “OFF” can be performed by the electronic dial 205.
[0095]
The EEPROM 100a attached to the CPU 100 has a storage function of a line of sight correction data for correcting an individual difference of the line of sight as a storage unit. When the mode of the camera is set to the above-mentioned “line-of-sight calibration”, a mode for collecting line-of-sight correction data (hereinafter referred to as “calibration data”) for correcting individual differences in line of sight becomes selectable. The selection of the calibration number corresponding to the data and the OFF of the calibration operation can be performed by the electronic dial 205.
[0096]
Calibration data can be set multiple times, can be distinguished by the person who uses the camera, when the same user has different observation conditions, for example, when using glasses or not, or when using a diopter correction lens This is effective for setting up a case where it is used and a case where it is not.
[0097]
The calibration number selected at this time is stored in the EEPROM 100a as a calibration data number (1, 2, 3,... Or 0) as described later.
[0098]
In the present embodiment, the calibration data stored in one calibration number includes the variation in the eyeball rotation angle in the calibration data at the normal position and the vertical position as described later with reference to FIG. Have been. In addition, calibration data is stored therein according to the number and arrangement of the reflected images of the cornea.
[0099]
The line-of-sight detection circuit 101 A / D converts the output of the eyeball image from the image sensor 14 (CCD-EYE), and transmits this image information to the CPU. As will be described later, the CPU 100 extracts each feature point of the eyeball image necessary for known gaze detection according to a predetermined algorithm, and further calculates the gaze of the photographer from the position of each feature point. The CPU 100, the line-of-sight detection circuit 101, and the image sensor 14 constitute one element of the line-of-sight detection device.
[0100]
The photometric circuit 102 amplifies the output from the photometric sensor 10, performs logarithmic compression and A / D conversion, and sends the result to the CPU 100 as luminance information of each sensor. The photometry sensor 10 is composed of seven photodiodes SPC-A to SPC-G that measure the area corresponding to each of the seven focus detection point marks 301 to 307 in the finder screen shown in FIG. .
[0101]
As described above, the line sensor 116 of the focus detection device 6f includes seven sets of line sensors CCD-C, CCD-R1, CCD-R2, CCD-L1, corresponding to the seven focus detection point marks 301 to 307 in the screen. A well-known CCD line sensor composed of CCD-L2, CCD-T, and CCD-B enables focus detection. The automatic focus detection circuit 103 A / D converts the voltage obtained from the line sensor 116 and sends the voltage to the CPU 100.
[0102]
SW1 is turned on with the first stroke of the release button 201 to start photometry, AF, and a line-of-sight detection operation. SW2 is a release switch that is turned on with the second stroke of the release button 201. ANG-SW1 and ANG-SW2 are postures. The attitude detection switch detected by the detection device 27, SW-AEL is an AE lock switch that is turned on by pressing an AE lock button 203, and SW-AFS is a distance measuring point that is turned on by pressing a distance measuring point selection button 206. The selection mode switches SW-DIAL1 and SW-DIAL2 are input to the up / down counter 118 of the signal input circuit 104 by the dial switches provided in the electronic dial 205 described above, and count the amount of quick rotation of the electronic dial 205.
[0103]
The mode buttons 44a, 44b, 44c are not shown.
[0104]
The signals of these switches are input to the signal input circuit 104 and transmitted to the CPU 100 via the data bus.
[0105]
Reference numeral 105 denotes a known LCD drive circuit for driving the LCD 23 in the viewfinder and the LCD LCD for monitoring 202. According to a signal from the CPU 100, a display such as an aperture value, a shutter time, a set photographing mode, and the like are simultaneously displayed on both. .
[0106]
The LED drive circuit 106 turns on and off the LEDs 21 (each of which is LED-L1, LED-L2, LED-C, LED-R1, LED-R2, LED-T, LED-B). Furthermore, at the time of lighting, the lighting luminance is changed in accordance with the signal calculated by the CPU 100 from the signal from the photometry circuit 102, so that the display of the distance measuring point can be easily recognized according to the brightness in the viewfinder.
[0107]
The IRED drive circuit 107 controls the simultaneous turning on of the four IREDs of the inner peripheral side IRED 13a, IRED 13b, IRED 13e, and IRED 13f, which is performed when the photographer is naked with no glasses, and when the photographer wears glasses. Simultaneous lighting control of four IREDs of the outer peripheral side IRED 13c, IRED 13d, IRED 13g, and IRED 13h is performed according to a signal of the CPU 100.
[0108]
When energized, the shutter control circuit 108 controls the magnet MG-1 for running the front curtain and the magnet MG-2 for running the rear curtain to expose the photosensitive member to a predetermined amount of light.
[0109]
The motor control circuit 109 controls a motor M1 for winding the film and a motor M2 for charging and rewinding the main mirror 2 and the shutter 4. The shutter control circuit 108 and the motor control circuit 109 operate a series of camera release sequences.
[0110]
The right and left grip / battery chamber 112 of the photographer holding the camera by the dotted line 208 in FIG. 2 incorporates a battery 113 and is mechanically and electrically connected to the P-GND and VBAT terminals of the connector 114, Camera power is supplied to the main body power supply system 115.
[0111]
The terminals other than the P-GND and VBAT of the connector 114 and the terminals of the connector 117 have no terminals in the grip / battery chamber 112 when the grip / battery chamber 112 is mounted, are not connected, and are used when mounting accessories. Terminal.
[0112]
The switch 119 detects disconnection from the D-GND in the mounted state by a switch for recognizing the mounting of the grip / built-in battery chamber 112 and accessories.
[0113]
Next, an operation flowchart of the camera of this embodiment will be described with reference to FIG.
[0114]
When the power switch 207 shown in FIG. 2B is turned to the ON position, the power of the camera is turned on from the inoperative state (S100).
[0115]
Next, the state of the CPU 100 is checked, the focus detection point selection mode is checked (S101), and it is checked whether the mode is the eye-gaze input mode of the present embodiment (S102).
[0116]
If the mode is not the line-of-sight input mode, the line-of-sight input is prohibited and the mode is changed to the focus detection point arbitrary selection mode (S101a).
[0117]
If the mode is not the focus detection point selection mode, the process enters the focus detection point automatic selection mode (S101b). Here, without using the line-of-sight information, the camera itself executes a subroutine of selecting a focus detection point by a predetermined algorithm from the focus detection results of all the focus detection points corresponding to the seven focus detection point marks in FIG. .
[0118]
In steps S101a and S101b, the LCD drive circuit 105 turns off the line-of-sight input mark 818 of the LCD 24 in the finder, so that the photographer can confirm that the camera does not perform line-of-sight detection on the display 308 outside the finder screen (FIGS. 3 and 8 ( b)).
[0119]
The variables used for line-of-sight detection other than the line-of-sight calibration data stored in the EEPROM 100a of the CPU 100 and the variables are reset so that a predetermined camera state is established (S103).
[0120]
Then, the camera waits until the release button 201 is pressed and the switch SW1 is turned on (S104).
[0121]
Next, when performing gaze detection, the gaze detection circuit 101 confirms which calibration (CAL) data to use (S105).
[0122]
At this time, if the calibration data of the confirmed calibration data number is unchanged from the initial value, the line of sight detection is performed with this initial value. In addition, even if the calibration data number is the same, if partial calibration is not performed and the calibration data number is the initial value, the gaze detection is performed using the calibration data that is not the initial value. For example, when the calibration data exists only at the correct position in the camera vertical position, the correct position calibration data is used.
[0123]
Next, when it is recognized that the calibration data of the line of sight corresponding to the calibration data number is set to a predetermined value and the data is input by the photographer, the line of sight detection circuit 101 The gaze detection is performed, and the gaze detected by the gaze detection circuit 101 is converted from the calibration data selected from the number of the reflected images of the cornea to the gazing point coordinates on the focusing screen 7 as the gazing point of the photographer. A gaze detection is performed, and a gazing point area is determined in consideration of the variation of the eyeball rotation angle (S106).
[0124]
At this time, the LCD drive circuit 105 turns on the line-of-sight input mark 817 of the LCD 24 in the finder, and the photographer can confirm that the camera is performing line-of-sight detection 308 outside the finder screen. (FIG. 8B).
[0125]
Further, the set shutter time is displayed in 7 segments 813, and the set aperture value is displayed in 7 segments 814.
[0126]
The gazing point area is included in any gazing point group, and after selecting the corresponding gazing point area group from the seven focus detection point marks in FIG. 3 (S107), the selected focus detection is performed. The focus area, which is a point mark, becomes a focus detection point and is lit and displayed (S108).
[0127]
In FIG. 7A, the image sensor 14, which is a part of the visual line detection device, corresponds to the position on the focus plate 7 and the position of the observation screen 300 in FIG. 7 and the observation screen 300, as shown in FIG. 7, five columns of L3, L2, L, C, R1, R2, and R3 and five rows of T, U, C, D, and B horizontally. It is composed of a plurality of gazing point areas separated. Each point of interest area is represented by a column name and a row name. For example, the upper left area is L3 · T, and the lower right area is R3 · B.
[0128]
In FIG. 7A, assuming that the gazing point is coordinates (x, y), the gazing point area 309 in consideration of the variation in the rotation angle of the eyeball is a gazing point area R1 · D, R1 · B that is a group of gazing point areas. , R2 · D and R2 · B. If there are no seven focus detection points in the gazing point area group, the line-of-sight detection is prohibited, and the mode shifts to the focus detection point automatic selection mode (101b).
[0129]
The photographer sees that the focus detection point selected by the photographer's line of sight is displayed, recognizes that the focus detection point is incorrect, releases the release button 201, and turns off the switch SW1 (S109). The camera waits until the switch SW1 is turned on (S104).
[0130]
When the photographer observes that the selected focus detection point is lit and displayed, and keeps pressing the release button 201 and keeps the switch SW1 ON (S109), the automatic focus detection circuit 103 is selected at the selected focus detection point. Performs a focus detection operation (S110).
[0131]
If the focus detection is possible (S111) and the focus adjustment state of the focus detection point selected by the predetermined algorithm is not in focus (S112), the CPU 100 sends a signal to the lens focus adjustment circuit 110 to send a predetermined amount of the photographing lens. 1 is driven (S113). After driving the lens, the automatic focus detection circuit 103 performs focus detection again (S110), and determines whether or not the photographing lens 1 is in focus (S112).
[0132]
If the focus cannot be detected (S111), the focus mark 818 in FIG. 8 is blinked as a focus detection NG display (S111a). Further, if SW1 is ON, it keeps blinking, and if it is OFF (S111b), it waits again until SW1 is turned ON (S102).
[0133]
If the photographing lens 1 is in focus at a predetermined focus detection point, the CPU 100 sends a signal to the LCD drive circuit 105 to turn on the focus mark 818 of the LCD 24 in the finder, and also sends a signal to the IRED drive circuit 107. The focused focus detection point that has been sent is displayed in focus (S114).
[0134]
The photographer observes that the focused focus detection point is displayed in the viewfinder, recognizes that the focus detection point is incorrect, releases the release button 41, and turns off the switch SW1 (S115). Waits until the switch SW1 is turned on (S102).
[0135]
When the photographer sees the focus detection point displayed in focus and continues to turn on the switch SW1 (S115), the CPU 100 transmits a signal to the photometric circuit 102 to perform photometry (S116). At this time, an exposure value is calculated by selecting from seven photometric areas SPC-A to SPC-G including the focused focus detection point.
[0136]
In the case of the present embodiment, in the seven photometric areas SPC-A to SPC-G, a known weighted photometric calculation is performed centering on the photometric area including the selected focus detection point mark in FIG. An aperture value (F5.6) is displayed as a result of this calculation using the seven segments 803 and the decimal point 804 of the external display unit 202 and the display 814 of the display 308 outside the finder.
[0137]
Further, it is determined whether or not the release button 201 has been pressed to turn on the switch SW2 (S117). If the switch SW2 is in the OFF state, the state of the switch SW1 is checked again (S115). When the switch SW2 is turned on, the CPU 100 transmits a signal to each of the shutter control circuit 108, the motor control circuit 109, and the aperture drive circuit 111.
[0138]
First, power is supplied to MG2, the main mirror 2 is raised, and the aperture 31 is stopped down. Then, power is supplied to MG1 to open the front curtain of the shutter 4. The aperture value of the aperture 31 and the shutter speed of the shutter 4 are determined from the exposure value detected by the photometric circuit 102 and the sensitivity of the film 5 as a photosensitive member. After a lapse of a predetermined shutter time (for example, 1/250 second), the MG2 is energized and the rear curtain of the shutter 4 is closed. When the exposure of the film 5 is completed, MG2 is energized again, mirror down and shutter charging are performed, and MG1 is also energized to perform frame advance of the film, thereby ending a series of shutter release sequence operations (S118). Thereafter, the camera waits until the switch SW1 is turned on again (S102).
[0139]
Further, when the mode buttons 45b and 45c are simultaneously pressed during a series of operations other than the shutter release operation (S118) of the camera shown in FIG. 5, individual difference correction data (eye correction coefficient) of the eyeball is collected. When the signal input circuit 104 detects that the mode has been set, the CPU 100 temporarily stops the operation of the camera, transmits the result to the line-of-sight detection circuit 101, and sets the line of sight to a state in which the line-of-sight calibration (S119) is possible. The gaze calibration method will be described later.
[0140]
FIG. 9 is a flowchart of gaze detection (S106). As described above, the line-of-sight detection circuit 101 executes the line-of-sight detection upon receiving a signal from the CPU 100 (S106). The gaze detection circuit 101 determines whether the gaze is detected in the photographing mode or the gaze is detected in the gaze calibration mode (S201). At the same time, the line-of-sight detection circuit 101 recognizes which calibration data number the camera is set to be described later.
[0141]
In the case of gaze detection in the photographing mode, the gaze detection circuit 101 first detects the posture of the camera via the signal input circuit 104 (S202). In the signal input circuit 104, the CPU 100 checks the posture of the camera with the posture detection circuit 27 (S104). The output of ANG-SW1 and ANG-SW2 in FIG. 4 indicates the normal position, the vertical position above the grip with the right hand of the photographer on the dotted line 208 in FIG. 2, and the vertical position under the grip with the right hand 208 of the photographer below. Check which of the three posture states is in. Subsequently, information on the brightness of the photographing area is obtained from the photometric circuit 102 via the CPU 100 (S203).
[0142]
Next, infrared light emitting diodes (hereinafter referred to as IREDs) 13a to 13D are determined based on presence / absence of the photographer's spectacle information included in the previously detected posture information of the camera and the calibration data, and the presence or absence of calibration data corresponding to a P image state described later. 13h is selected, and irradiation is performed (S204).
[0143]
S204 will be described with reference to the flow of FIG.
[0144]
That is, if the camera is held in the correct position and the photographer does not wear glasses, the IREDs 13a, 13b, 13e, and 13f from the finder optical axis are selected as shown in FIG. If the camera is in the correct position and the photographer wears glasses, the IREDs 13c, 13d, 13g, and 13h that are away from the finder optical axis are selected (S2041).
[0145]
At this time, a part of the illumination light reflected by the eyeglasses of the photographer reaches an area other than a predetermined area on the image sensor 14 on which the eyeball image is projected, so that there is no problem in analyzing the eyeball image. The same applies to a case where the camera is held in a vertical position.
[0146]
Next, the calibration data (FIG. 15, S503a, S503b) and the 2P image calibration data (FIG. 15, S503c) of the 3P image or more stored in the respective addresses (FIG. 11) of the EEPROM 100a to be described later are initialized to the initial values. Or not. Therefore, it is determined that there is no calibration data for the initial value.
[0147]
Next, the storage time of the image sensor 14 (hereinafter referred to as CCD-EYE) and the illumination power of the IRED are set based on the photometric information, the photographer's eyeglass information, and the like (S205). The accumulation time of the CCD-EYE and the illumination power of the IRED may be set based on values determined from the contrast of the eyeball image obtained at the time of the previous line-of-sight detection.
[0148]
When the CCD-EYE accumulation time and the illumination power of the IRED are set, the CPU 100 turns on the IRED with a predetermined power via the IRED drive circuit 107, and the line-of-sight detection circuit 101 starts accumulation of the CCD-EYE (S206). ).
[0149]
Further, the CCD-EYE ends the accumulation according to the previously set accumulation time of the CCD-EYE, and at the same time, the IRED is turned off. If it is not in the line-of-sight calibration mode (S207), a CCD-EYE reading area is set (S208).
[0150]
Except for the first gaze detection after the power of the camera body is turned on, the CCD-EYE reading area is set based on the CCD-EYE reading area at the time of the previous gaze detection. When the posture changes, or when the presence or absence of glasses changes, the reading area of the CCD-EYE is set to the entire area.
[0151]
When the reading area of the CCD-EYE is set, the reading of the CCD-EYE is executed (S209). At this time, an area other than the read area is blank-read, and is actually skipped. This is for the purpose of quick gaze detection. The image output read from the CCD-EYE is A / D converted by the eye-gaze detecting circuit 101 and then stored in the CPU 100, where the CPU 100 performs an operation for extracting each feature point of the eyeball image (S210, S212). ).
[0152]
That is, in the CPU 100, in principle, the four IREDs used for illumination of the eyeball are the positions of the four Purkinje images P1, P2, P3, and P4, which are virtual images of the IREDs in FIG. P1 (Xe ', Ye'), P2 (Xd ', Yd'), P3 (Xe ", Ye"), and P4 (Xd ", Yd"). Since the Purkinje image appears as a bright spot with a high light intensity, a predetermined threshold value for the light intensity is provided, and a light intensity exceeding the threshold value can be detected as a Purkinje image (S210).
[0153]
Next, the center position (Xic ', Yic') of the pupil is calculated by detecting a plurality of boundary points between the pupil 19 and the iris 17 and performing a least square approximation of a circle based on each boundary point. At this time, the pupil diameter rp is also calculated.
[0154]
The CPU 100 analyzes the eyeball image, detects the contrast of the eyeball image, and resets the accumulation time of the CCD-EYE from the degree of the contrast.
[0155]
Also, a CCD-EYE reading area is set based on the position of the Purkinje image and the position of the pupil. At this time, the reading area of the CCD-EYE is set to a range including the detected pupil and detecting the entire pupil even if the position of the pupil changes by a predetermined amount. And it goes without saying that the size is smaller than the size of the iris.
[0156]
The CCD-EYE reading area is set to a rectangle, and the coordinates of two diagonal points of the rectangle are stored in the eye-gaze detecting circuit 101 as the CCD-EYE reading area. Further, the reliability of the calculated Purkinje image and the position of the center of the pupil is determined from the contrast of the eyeball image or the size of the pupil (S210).
[0157]
Here, in principle, four Purkinje images, which are virtual images of the IRED in FIG. 24, are to be obtained. However, when the gaze of the photographer is detected, depending on the observation conditions and individual differences, the upper part of the photographer may differ. Since the illumination light source is blocked by the eyelids and eyelashes, and a Purkinje image corresponding to the IRED is not necessarily obtained, the number and arrangement of the Purkinje images are determined as the Purkinje image state determination (S211).
[0158]
In the present embodiment, when the Purkinje image is not obtained or when only one Purkinje image is obtained, it is determined that the line of sight cannot be detected or the line of sight detection accuracy is significantly reduced, so that it is determined that there is no line of sight reliability and the process returns to S201.
[0159]
FIG. 10 illustrates the number and arrangement of Purkinje images. The P image state discrimination and the number of P images indicate a state in which four Purkinje images exist according to the number of Purkinje images (P images in the figure) as a 4P image state, up to a state without a P image, and a P image state diagram. Shows the existence state of the four Purkinje images P1, P2, P3, and P4 in FIG. 24, and the P image coordinates used for calculating Xpo and Ypo are P1 (Xe ', Ye'), P2 (Xd ', Yd '), P3 (Xe ", Ye"), and P4 (Xd ", Yd") are used to calculate Xpo and Ypo.
[0160]
As shown in FIG. 10, there are 16 possible arrangements of the obtained Purkinje images and 16 arrangements of the obtained Purkinje images with respect to four IRED photographer's eyeball illuminations.
[0161]
In this embodiment, in order to speed up the selection by distinguishing the line-of-sight detection calculation, in particular, the Purkinje image from other characteristic points, the lower IREDs 13a and 13b are used as an example for the naked eye in which the photographer does not wear glasses. After extracting the corresponding Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd'), the interval is calculated from the positions of the two Purkinje images (S210). Next, from the Purkinje image P1 (Xe ', Ye') of the IRED 13a, a feature point estimated to be a Purkinje image existing within a predetermined range of a value obtained by multiplying a predetermined coefficient on the Y axis based on the aforementioned Purkinje image interval. Is detected as the Purkinje image P3 (Xe ″, Ye ″) corresponding to the IRED 13e.
[0162]
Next, the position P4 (Xd ", Yd") of the Purkinje image corresponding to the IRED 13f is similarly detected on the Y axis from the Purkinje image P2 (Xd ', Yd') corresponding to the IRED 13b.
[0163]
That is, the Purkinje images P3 and P4 are detected based on the Purkinje images P1 and P2 corresponding to the lower IREDs 13a and 13b.
[0164]
This is because the detection of the four Purkinje images P1, P2, P3, and P4 can be performed quickly, and the illumination light source may be blocked by the upper eyelids and upper eyelashes depending on the photographer's observation conditions and individual differences. Therefore, the Purkinje images P1 and P2 corresponding to the lower IREDs 13a and 13b (13c and 13d) are obtained with extremely high probability, whereas the Purkinje images P3 corresponding to the upper IREDs 13e and 13f (13g and 13h) are obtained. , P4 are due to the high probability of not being obtained depending on the photographer and the photographing conditions.
[0165]
As described above, in the present embodiment, based on the positions of the two Purkinje images existing on the lower side on the Y axis, the number and arrangement of the four types of Purkinje images surrounded by the thick frame in FIG. Judge the state.
[0166]
If it is determined that the number and arrangement of the four types of Purkinje images surrounded by the thick frame in FIG. 10 are not the same, it is determined that there is no line-of-sight reliability, and the process returns to S201. Returning to S201, if it is determined again that there is no line-of-sight reliability in S211, the process enters the focus detection point automatic selection mode (S101b) in FIG.
[0167]
In FIG. 10, the used calibration data is calibration data obtained by a calibration described later. In this embodiment, the 4P image calibration data and the 3P image calibration data are used for the number and arrangement of the four Purkinje images. Three pieces of image calibration data and 2P image calibration data are used. The use calibration data also includes σθx and σθy, which are variations in the eyeball rotation angle in two directions (X direction and Y direction) described later, and σx and σy obtained by converting the values into coordinates of the focus plate 7. I have.
[0168]
When the analysis of the eyeball image is completed, the eye-gaze detection circuit 101 also serving as a means for checking the calibration data determines whether or not the eyeglasses information in the calibration data is correct based on a combination of the calculated interval between the Purkinje images and the lit IRED. Is determined (S212). This is to cope with a photographer who uses or does not use glasses at each time.
[0169]
That is, when the photographer's glasses information in the calibration data is set to use, for example, glasses, and the IREDs 13c, 13d, 13g, and 13h of the IRED shown in FIG. 2B are turned on. If the distance between the Purkinje images is larger than a predetermined size, the photographer is recognized as a spectacle wearer, and the spectacle information is determined to be correct.
[0170]
Conversely, if the distance between the Purkinje images is smaller than a predetermined size, the photographer is recognized as the naked eye or the contact lens wearer, and it is determined that the eyeglass information is incorrect. If it is determined that the eyeglass information is incorrect (S212), the eye gaze detection circuit 101 changes the eyeglass information (S217), selects the IRED again (S204), and executes eye gaze detection. However, when the glasses information is changed, the glasses information stored in the EEPROM 100a of the CPU 100 is not changed.
[0171]
If it is determined that the eyeglass information is correct (S212), the distance between the eyepiece 11 of the camera and the eyeball 15 of the photographer is calculated from the distance between the Purkinje images, and further, the eyepiece 11 and the eyeball 15 of the photographer are calculated. The imaging magnification β of the eyeball image projected on the CCD-EYE is calculated from the distance (S213).
[0172]
Next, it is confirmed whether or not the mode is the calibration mode (S214). If it is in the calibration mode, data processing described later with reference to FIG. 14 is performed. If it is not in the calibration mode, the rotation angles θx and θy of the optical axis of the eyeball are calculated (S215).
[0173]
The rotation angles θx and θy of the optical axis of the eyeball 15 are obtained by modifying the equations (3) and (4).
θx {ARCSIN} ((xp0−δx) −xic) / β / Loc} (6)
θy {ARCSIN} ((yp0-δy) -yic) / β / Loc} (7)
Is represented by
[0174]
However, the calculation method of xp0 and yp0 differs depending on the arrangement state of the Purkinje image in FIG.
[0175]
For example, in the 2P image state of FIG. 10, the coordinates of the midpoint P0 of the Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd') in FIG. 22A are (xpo, ypo). Used. In the 3P image state, xp0 is set as the midpoint of the X coordinate of the Purkinje images P1 (Xe ', Ye') and P2 (Xd ', Yd'), and yp0 is the Purkinje images P2 (Xd ', Yd'), P4. (Xd ″, Yd ″) or the midpoint of the Y coordinate of the Purkinje images P1 (Xe ′, Ye ′) and P3 (Xe ″, Ye ″). In the 4P image state, the coordinates of the midpoint P0 of the Purkinje images P1 (Xe ', Ye'), P2 (Xd ', Yd'), P3 (Xe ", Ye"), and P4 (Xd ", Yd"). Is used as (xpo, ypo).
[0176]
δx and δy are correction terms for correcting the center positions of the two Purkinje images in equations (10), (10) ″, and (11).
[0177]
δx is obtained by equation (10), but δy is obtained by equation (11) when the image is in the 2P image state, and is obtained by equation (10) ″ when the image is in the 3P and 4P image states. The difference is whether or not there is a ypo that can be handled in the same way as δx and can be directly calculated in the Y direction.
[0178]
For example, in the 2P image state of FIG. 10, the coordinates of the midpoint P0 of the Purkinje images P1 (Xd ′, Yd ′) and P2 (Xe ′, Ye ′) in FIG. 22A are (xpo, ypo). Used.
[0179]
In the 3P image state, the midpoint of the X coordinate of the Purkinje images P1 (Xd ', Yd') and P2 (Xe ', Ye') is xp0, and the Purkinje images P1 (Xd ', Yd') in the Y direction. The midpoint of the Y coordinate of P3 (Xd ", Yd") or the Purkinje images P2 (Xe ', Ye') and P4 (Xe ", Ye") is xp0. In the 4P image state, the midpoint P0 of the Purkinje images P1 (Xd ', Yd')), P2 (Xe ', Ye'), P3 (Xd ", Yd"), and P4 (Xe ", Ye") is obtained. The coordinates are used as (xpo, ypo).
[0180]
Thus, it can be seen that the Purkinje image state determination (S211) is also necessary for calculating the rotation angles θx and θy of the optical axis of the eyeball.
[0181]
When the rotation angles θx and θy of the photographer's eyeball are determined, the position (x, y) of the line of sight on the focus plate 7 is obtained from the equations (5) and (6).
x [mm] = m × ax × (θx + bx) (5)
y [mm] = m × ay × (θy + by) (6)
(S216). However, ax, ay, bx, and by are parameters for correcting individual differences in the line of sight, and ax and ay are calibration data.
[0182]
In this embodiment, as shown in FIG. 10, two or more 3P image calibration data and 2P image calibration data are used in accordance with the method of calculating the rotation angles θx and θy of the optical axis of the eyeball. Here also, it is found that the Purkinje image state determination (S211) is necessary.
[0183]
Here, bx and by corresponding to the correction amounts of the optical axis and the visual axis of the eyeball in the horizontal direction (x direction) and the vertical direction (y direction) are:
bx = kx × (rp−rx) + b0x (15)
by = ky × (rp−rx) + b0y (16)
And is a function of the pupil diameter rp. Here, rx is a constant, and kx, ky, b0x, and b0y are calibration data.
[0184]
When the position (x, y) of the line of sight on the focus plate 7 is obtained (S216a), the focus is then obtained from the variation (σθx, σθy) of the eyeball rotation angle in the calibration data described later with reference to FIG. From the coordinates (σx, σy) converted to the coordinates on the plate 7, a gazing point area centered on the position (x, y) of the line of sight on the focus plate 7 is obtained (S216b).
[0185]
First, the variation ranges σx and σy using the equations (5) and (6) are obtained from the following equations.
σx [mm] = m × ax × (σθx + bx) (5) ′
σy [mm] = m × ay × (σθy + by) (6) ′
Next, an elliptical area having the short-axis and long-axis radii as σx and σy with respect to the line of sight (x, y) on the focus plate 7 is determined. This region is set as the gazing point region (S216b).
[0186]
Here, for example, the short-axis and long-axis radii are σx and σy, respectively. At the time of gaze detection, σx2p and σy2p in the 2P image state in FIG. 10, σx3p and σy3p in the 3P image state, and Then, σx4p and σy4p are used.
[0187]
Thus, it can be seen that the Purkinje image state discrimination (S211) is necessary also in calculating the gazing point area.
[0188]
The method of obtaining the line-of-sight calibration data will be described later.
[0189]
When the coordinates of the line of sight on the focus plate 7 and the gazing point area are obtained, a flag indicating that the line of sight has been detected is set (S217), and the process returns to the main routine (S218).
[0190]
The line-of-sight detection flowchart shown in FIG. 9 is also effective in the line-of-sight calibration mode. In S201, if it is determined that the gaze detection is in the calibration mode, then it is determined whether or not the current gaze detection is the first gaze detection in the calibration mode (S220).
[0191]
When it is determined that the current line-of-sight detection is the first line-of-sight detection in the calibration mode, the ambient brightness is measured to set the accumulation time of the CCD-EYE and the illumination power of the IRED ( S203). The subsequent operation is as described above.
[0192]
If it is determined that the current line-of-sight detection is the second or more line-of-sight detection in the calibration mode (S201), the CCD-EYE accumulation time and the IRED illumination power adopt the previous values, and immediately the IRED. And the accumulation of CCD-EYE is started (S206).
[0193]
If the gaze calibration mode is set and the number of gaze detections is the second or more (S207), the same area as the CCD-EYE read area is used as the previous area, so that the CCD-EYE is immediately stored as soon as the CCD-EYE accumulation is completed. Is read out (S209). The subsequent operation is as described above.
[0194]
In the visual axis detection flowchart shown in FIG. 9, the variables at the time of returning to the main routine are the coordinates (x, y) of the visual axis on the focus plate in the case of the normal visual axis detection, and In the viewpoint area, in the case of gaze detection in the gaze calibration mode, the rotation angle (θx, θy) of the optical axis of the eyeball of the photographer. The other variables such as the reliability of the detection result, the CCD-EYE accumulation time, and the CCD-EYE reading area are common.
[0195]
In this embodiment, the photometric information detected by the photometric sensor 10 of the camera is used to set the accumulation time of the CCD-EYE and the illumination power of the IRED.
[0196]
12 to 15 are flowcharts of the line-of-sight calibration, and FIGS. 17 to 19 show the display states of the LCD 308 in the finder and the monitor LCD 202 during the line-of-sight calibration.
[0197]
In the present embodiment, four focus detection point marks 305, 301, 306, and 307 of the seven focus detection point marks 305, 301, 306, and 307 in FIG. The gaze is calibrated once by sequentially gazing once as the target 4 and detecting the gaze at that time. This will be described below with reference to FIG.
[0198]
In FIG. 12, when the photographer simultaneously presses the mode buttons 45b and 45c, the mode is set to the line-of-sight calibration mode, the signal input circuit 104 transmits a signal to the LCD drive circuit 105 via the CPU 100, and The shutter time display unit 813 and the aperture display unit 814 in FIG. 3B and the monitor LCD 202 similarly use the shutter time display unit 802 and the aperture display unit 803 to set the line-of-sight calibration mode in FIG. A display indicating that any of them has been entered is performed (S218).
[0199]
The CPU 100 resets variables other than the calibration data stored in the EEPROM 100a (S301).
[0200]
FIG. 11 shows the types of calibration data stored in the EEPROM 100a of the CPU 100 and their initial values. Since no calibration has been performed, all values are initial values. On the addresses of the EEPROM 100a corresponding to the calibration data numbers 1 to 5, the camera attitude information and the eyeglass information (“1” for the eyeglasses and “0” for the naked eye) are respectively provided for the 3P image or more calibration data and the 2P image calibration. Two ax, ay, kx, ky, b0x, and b0y data are stored. (In the embodiment, five data can be stored for explanation, but of course, any data can be set depending on the capacity of the EEPROM).
[0201]
The initial value of the calibration data is set to a value such that the line of sight is calculated using standard eyeball parameters. In addition, it also has a flag indicating whether the photographer uses spectacles and the degree of reliability of the calibration data. The initial value of the flag indicating the presence or absence of spectacles is set to “1” as if the spectacles are used, and the initial value of the reliability flag of the calibration data is set to “0” so as not to be reliable. ing.
[0202]
The currently set calibration mode is displayed on the LCD 308 in the finder and the LCD 202 for the monitor as shown in FIG. All other display units are turned off (the state of the calibration number 1 is shown as an example, and only the 7-segment display unit is shown in an enlarged manner).
[0203]
At this time, if the calibration data of the set calibration number is the initial value, the calibration number displayed on the monitor LCD 42 flashes (FIG. 17B), while the calibration is already performed at the set calibration number. When the calibration number different from the initial value is included in the EEPROM address corresponding to the calibration number, the calibration number displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor lights up fully. (FIG. 17A).
[0204]
As a result, the photographer can recognize whether or not each of the currently set calibration numbers already contains calibration data. Also, as shown in FIG. 17A, the initial value of the calibration data number is set to “1”.
[0205]
Returning to FIG. 12, the timer set in the CPU 100 starts, and the calibration of the line of sight starts (S302). If no operation is performed on the camera within a predetermined time after the timer starts, the gaze detection circuit 101 turns off the gaze calibration target in the finder (S304). The process returns to the main (S338).
[0206]
When the photographer rotates the electronic dial 205, the signal input circuit 104 that has detected the rotation by the pulse signal as described above transmits a signal to the LCD drive circuit 105 via the CPU 100. As a result, in synchronization with the rotation of the electronic dial 205, the calibration number displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor changes. This is shown in FIG.
[0207]
First, when the electronic dial 205 is rotated clockwise, it changes in the order of “CAL-1” → “CAL-2” → “CAL-3” → “CAL-4” → “CAL-5”. The photographer can store the calibration data in any of the five desired calibration numbers.
[0208]
The state shown in FIG. 18 indicates that "CAL-1, 2, 3" already contains calibration data, and "CAL-4, 5" does not contain calibration data, and remains at the initial value. ing. When rotated in the counterclockwise direction, it is displayed in the opposite direction to the direction in FIG.
[0209]
When the photographer selects a desired calibration number while looking at the calibration numbers displayed on the LCD 308 in the viewfinder and the LCD 202 for the monitor in this manner, the eye gaze detection circuit 101 sends a confirmation signal of the corresponding calibration data number. This is performed via the input circuit 104 (S303). The confirmed calibration data number is stored at a predetermined address of the EEPROM 100a of the CPU 100.
[0210]
However, the storage of the calibration data number in the EEPROM 100a is not executed unless the confirmed calibration data number has been changed.
[0211]
Subsequently, the line-of-sight detection circuit 101 checks the shooting mode via the signal input circuit 104 (S304). When it is confirmed that the photographer has switched to a shooting mode other than the gaze calibration mode by operating the operation member, if the gaze calibration target is blinking in the viewfinder, it is turned off. (S305), the process returns to the main routine of the camera photographing operation (S348). If the mode is switched to another photographing mode (shutter priority AE) while the calibration numbers “CAL1 to 5” are displayed, the gaze detection is performed using the data of the calibration number, and the aforementioned gaze information is used. You can perform the shooting operation that you have done. At this time, the LCD 308 in the viewfinder and the LCD for monitoring 202 turn on the gaze input mode displays 817 and 801 shown in FIGS. 3A and 3B in addition to the shooting mode display, and control the shooting operation based on the gaze information. The photographer is informed that the current eye gaze input mode (eye gaze shooting mode) is set.
[0212]
Here, when the photographer again presses the mode buttons 45b and 45c at the same time, the gaze calibration mode is set, the calibration number used for gaze detection is displayed, and the calibration operation starts.
[0213]
If it is confirmed that the eye-gaze calibration mode is still set, the calibration data number set with the electronic dial 205 is checked again (S304), and the CPU 100 continues to operate the camera via the signal input circuit 104. Is detected (S305). The signal input circuit 104 processes the output signal of the attitude detection device 27 to determine whether the camera is in the normal position or the vertical position. If the camera is in the vertical position, for example, the grip is in the top direction (up) or the ground direction ( Below).
[0214]
When it is detected that the posture of the camera is at the normal position (S306), the gaze detection circuit 101 sets the number of gaze detections n to 0 (S307). However, when the number of gaze detection times n is 40, the number is kept. At this time, if the “CAL” display is blinking on the LCD 308 in the viewfinder, the blinking is stopped. The line-of-sight calibration is set to be started by turning on the switch SW1.
[0215]
In order to prevent the photographer from starting calibration on the camera side before the photographer is ready to calibrate the gaze, the gaze detection circuit 101 checks the state of the switch SW1 and the switch SW1 is pressed by the release button 201. If the switch SW1 is ON, the process waits until the switch SW1 is turned OFF (S308).
[0216]
When the gaze detection circuit 101 confirms that the switch SW1 is in the OFF state via the signal input circuit 104 (S308), the gaze detection circuit 101 transmits a signal to the LED driving circuit 106 to perform a gaze calibration target. The focus detection point mark 305 of 1 is blinked (S309). (FIG. 16A).
[0217]
If the ON signal of the switch SW1, which is a trigger signal for starting the line-of-sight calibration, is not input, the camera stands by (S310). When the photographer gazes at the target 1 that has started blinking and presses the release button 201 to turn on the switch SW1 (S310), line-of-sight detection is performed (FIG. 13, S311).
[0218]
Next, the gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S312).
[0219]
The gaze detection operation is the same as that described with reference to the flowchart of FIG. 11, but differs in whether or not the mode is the calibration mode in FIG. 9 (S214). If the mode is the calibration mode, the process proceeds to the flowchart shown in FIG. The part storing the diameter rp and the reliability of each data is the same, but differs from the normal line-of-sight detection in the flowchart for calculating and storing the rotation angles θx and θy of the eyeball.
[0220]
Here, the calculation and storage of the rotation angles θx and θy of the eyeball in the calibration mode will be described with reference to the flowchart of FIG. 14 (S312).
[0221]
When the calibration mode of FIG. 9 is confirmed (S214), the number of Purkinje images (P images), which is the result of the Purkinje image state determination (S211) of the number and arrangement of Purkinje images, is confirmed (S402).
[0222]
If the number of P images is four, that is, a 4P image state, as described above, the rotation angles θx and θy are calculated from the Purkinje images P1, P2, P3, and P4 as θ4px and θ4py (S406), and θ4px and θ4py. Is determined to be within a predetermined range (S406a), and if the value is within the predetermined range, the calibration data in the EEPROM 100a is stored in the address of the portion corresponding to the target 1 in the 4P image state (S407). . If θ4px and θ4py are out of the predetermined ranges, it is determined that the target is not gazing and the rotation angle of the eyeball is inappropriate and is not stored in the EEPROM 100a. Further, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is checked whether θ2px and θ2py are within a predetermined range (S406a). If the values are within the predetermined range, calibration of the EEPROM 100a is performed. The data is stored at the address of the portion corresponding to the target 1 in the 2P image state (S411). If it is outside the predetermined range, it is not stored in the EEPROM 100a.
[0223]
When the number of P images is three, that is, in the 3P image state, as described above, the rotation angles θx, θy are calculated from the Purkinje images P1, P2, P3, or P4 as θ3px, θ3py (S408), and θ3px, It is confirmed whether θ3py is within the predetermined range (S408a). If the value is within the predetermined range, it is stored in the address of the portion corresponding to the target 1 in the 3P image state of the calibration data of the EEPROM 100a (S409). ). Further, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is checked whether θ2px and θ2py are within a predetermined range (S406a). If the values are within the predetermined range, calibration of the EEPROM 100a is performed. The data is stored at the address of the portion corresponding to the target 1 in the 2P image state (S411). If it is out of the predetermined range, the rotation angle of the eyeball is not stored in the EEPROM 100a as inappropriate.
[0224]
As described above, in the calibration mode, when the number of P images is three or more, that is, in the 4P image state and the 3P image state, the calibration data of the 2P image state is also calculated from the result of one line-of-sight detection and stored. are doing.
[0225]
When the number of P images is two, that is, in the 2P image state, θ2px and θ2py are calculated from the Purkinje images P1 and P2 (S410), and it is confirmed whether θ2px and θ2py are within a predetermined range (S410a). If the value is within the predetermined range, it is stored at the address of the portion corresponding to the target 1 in the 2P image state of the calibration data in the EEPROM 100a (S411).
[0226]
Here, since the target 1 is blinking (S309), it is stored at the address of the target 1. However, an address to be stored is provided according to the target that blinks.
[0227]
Returning to FIG. 13 again, when the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data are stored (S312), the number n of gaze detection times is further counted up (S313). Since the photographer's line of sight has some variation, it is effective to execute the line of sight detection a plurality of times for a single target and use the average value to obtain accurate line-of-sight calibration data. .
[0228]
In this embodiment, the number of gaze detections for one target is set to ten. If the number n of gaze detections is not 10 (S314), gaze detection is continued (S311).
[0229]
If the number of sight line detections n is 10, the sight line detection circuit 101 terminates the sight line detection for the target 1 (the focus detection point mark 305), and the sight line detection circuit 101 to make the photographer recognize that the sight line detection for the target 1 has been completed. An electronic sound is emitted several times using a sounding body (not shown) via the CPU 100 (S315). At the same time, the visual line detection circuit 101 fully lights the visual target 1 for a predetermined time via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the visual target 1 (S315).
[0230]
Subsequently, the visual line detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S318). If the switch SW1 is ON, the process waits until the switch SW1 is OFF. If the switch SW1 is OFF, the optotype 1 is turned off, and at the same time, the optotype 2 (the focus detection point mark 301) on the left end starts blinking ( S317) (FIG. 16B).
[0231]
The gaze detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S318). If the switch SW1 is in the OFF state, the process waits until the switch SW1 is turned on. If the switch SW1 is turned on, the visual line detection is executed (S319).
[0232]
The gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S320). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 2 in the EEPROM 100a.
[0233]
Further, the number of gaze detection times n is counted up (S321). Further, if the number of gaze detection times n is not 20 (S322), gaze detection is continued (S319). If the number of sight line detections n is 20, the sight line detection for the target 2 is terminated, and the sight line detection circuit 101 is illustrated via the CPU 100 in order to make the photographer recognize that the sight line detection for the target 2 is completed. Make an electronic sound sound several times using a sounding body that has not been turned on. At the same time, the line-of-sight detection circuit 101 fully lights the target 2 via the LED drive circuit 106, and notifies the photographer of the end of calibration data collection for the target 2 (S323).
[0234]
Subsequently, the gaze detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S324). If the switch SW1 is ON, the process waits until the switch SW1 is OFF. If the switch SW1 is OFF, the optotype 2 is turned off, and at the same time, the optotype 3 (the focus detection point mark 306) starts blinking. (S325) (FIG. 16C).
[0235]
The line-of-sight detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S326). If the switch SW1 is in the OFF state, the process waits until the switch SW1 is turned on. If the switch SW1 is turned on, the line of sight is detected (S327).
[0236]
The gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S328). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 3 in the EEPROM 100a.
[0237]
Further, the number of gaze detection times n is counted up (S329). Further, if the number n of gaze detection times is not 30 (S330), gaze detection is continued (S327). If the number of gaze detection times n is 30, the gaze detection for the target 3 is terminated, and the gaze detection circuit 101 is illustrated via the CPU 100 to make the photographer recognize that the gaze detection for the target 3 has been completed. Make an electronic sound sound several times using a sounding body that has not been turned on. At the same time, the visual line detection circuit 101 fully lights the visual target 3 via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the visual target 3 (S331).
[0238]
Subsequently, the gaze detection circuit 101 checks via the signal input circuit 104 whether the switch SW1 is in the OFF state (S332). If the switch SW1 is ON, the process waits until the switch SW1 is OFF. If the switch SW1 is OFF, the optotype 3 is turned off, and at the same time, the optotype 4 (the focus detection point mark 306) at the lower end starts blinking. (S333) (FIG. 16D).
[0239]
The line-of-sight detection circuit 101 checks again whether the switch SW1 is in the ON state via the signal input circuit 104 (S334). If the switch SW1 is in the OFF state, the process waits until the switch SW1 is turned on. If the switch SW1 is turned on, the visual line detection is executed (S335).
[0240]
The gaze detection circuit 101 stores the rotation angles θx and θy of the eyeball, the pupil diameter rp, and the reliability of each data, which are variables from the gaze detection subroutine (S336). Here, this is also performed using the flowchart of FIG. 14, and is stored at the address of the target 4 in the EEPROM 100a.
[0241]
Further, the line-of-sight detection number n is counted up (S337). Further, if the number of gaze detection times n is not 40 (S338), gaze detection is continued (S335). If the number of gaze detections n is 40, the gaze detection circuit 101 ends the gaze detection for the optotype 4, and the gaze detection circuit 101 is illustrated via the CPU 100 in order to allow the photographer to recognize that the gaze detection for the optotype 4 has been completed. Make an electronic sound sound several times using a sounding body that has not been turned on. At the same time, the line-of-sight detection circuit 101 fully lights the target 4 via the LED drive circuit 106, and notifies the photographer of the end of the calibration data collection for the target 4 (S339). Since the visual axis detection has been performed on the visual target 1, the visual target 2, the visual target 3, and the visual target 4, the visual line detection for obtaining the visual line calibration data ends.
[0242]
Further, gaze calibration data is calculated from the eyeball rotation angles θx and θy and the pupil diameter rp stored in the gaze detection circuit 101 (S345). The outline of the method of calculating the line-of-sight calibration data is as follows.
[0243]
The coordinates of the optotype 1, the optotype 2, the optotype 3, and the optotype 4 on the focus plate 7 are respectively stored in (x1, 0), (x2, 0), (0, y3), (0, y4), and the EEPROM 100a. The stored average values of the rotation angles (θx, θy) of the eyeballs when gazing at the target 1, the target 2, the target 3, and the target 4 are (θx1, θy1), (θx2, θy2), (θx3 , Θy3), (θx4, θy4). The average value of the pupil diameters is r1, r2, r3, and r4.
[0244]
The X-direction calibration data is obtained by using the data of the optotype 1 and the optotype 2. From the equations (6) and (16), the Y-direction calibration data is obtained by using the optotype 3 and the optotype 4 is used.
[0245]
Therefore, by setting the weighted average of the average pupil diameters r1 and r2 as rpx and the weighted average of the average pupil diameters r3 and r4 as rpy, calibration of ax, ay, kx, ky, b0x, and b0Y is performed. Data is determined.
[0246]
For example, when rpx, rpy ≧ rp, kx, ky = 0 is set,
Ax = (x1-x2) / m / (θx1-θx2)
B0x =-(θx1 + θx2) / 2
Ay = (y3-y4) / m / (θy3-θy4)
B0y =-(θy3 + θy4) / 2
As described above, each of (θx1, θy1), (θx2, θy2), (θx3, θy3), and (θx4, θy4) has the average value of (θ4px, θ4py) in the 4P image state and the 3P image state. There is an average value of (θ3px, θ3py), an average value of (θ2px, θ2py) in the 2P image state, and calculation of three calibration values of 4P image calibration data, 3P image calibration data, and 2P image calibration data. (S340) will be described with reference to the flowchart in FIG.
[0247]
First, the number of (θ2px, θ2py) data in the 2P image state of the targets 1 to 4 stored and stored in the EEPROM 100a is confirmed (S501). If the line-of-sight detection is performed ten times and the data of (θ2px, θ2py) in the 2P image state within the predetermined range (410a) is 6 or less, it is determined that there is no reliability even if the calibration data is calculated. The calibration is performed again. If the data of (θ2px, θ2py) is 7 or more, it is determined that the calibration data is reliable, and the calibration data of the 2P image is calculated (S504c).
[0248]
Next, from the data of (θ2px, θ2py), a standard deviation (σθ2px, σθ2py) is obtained as a variation of the eyeball rotation angle which is also an individual characteristic of the observer, and the ax, ay, kx, ky, b0x, b0Y Then, (.sigma.x2px, .sigma.y2py) converted to the coordinates of the focus plate 7 is obtained and stored at a predetermined address of the EEPROM 100a (S505c).
[0249]
Next, the number of (θ3px, θ3py) data in the 3P image state of the targets 1 to 4 stored and stored in the EEPROM 100a is confirmed (S502). If the data number of (θ3px, θ3py) is 5 or more, it is determined that the calibration data is reliable, and the calibration data of the 3P image is calculated (S504b).
[0250]
Next, from the data of (θ3px, θ3py), a standard deviation (σθ3px, σθ3py) is obtained as a variation of an eyeball rotation angle which is also an individual characteristic of the observer, and ax, ay, kx, ky, b0x, From b0Y, (σx3px, σy3py) converted to the coordinates of the focus plate 7 is obtained and stored at a predetermined address of the EEPROM 100a (S505b).
[0251]
If the number of data of (θ3px, θ3py) is 4 or less, there is no reliability in calculating the calibration data of the 3P image, and only the calibration data of the 2P image state is calculated (S504c).
[0252]
Next, the number of (θ4px, θ4py) data in the 4P image state of the targets 1 to 4 stored and stored in the EEPROM 100a is confirmed (S503). If the number of data of (θ4px, θ4py) is 3 or more, it is determined that the calibration data is reliable, and the calibration data of the 4P image is calculated (S504a).
[0253]
Next, from the data of (θ4px, θ4py), a standard deviation (σθ4px, σθ4py) is obtained as a variation of the eyeball rotation angle which is also an individual characteristic of the observer, and ax, ay, kx, ky, b0x, b0x, From b0Y, (σx4px, σy4py) converted to the coordinates of the focus plate 7 is obtained and stored at a predetermined address of the EEPROM 100a (S505a).
[0254]
If the number of data of (θ4px, θ4py) is 2 or less, the calculation of the calibration data of the 4P image is not reliable, and only the calculation of the calibration data of the 3P image state and the 2P image state is performed (S504b, S504c). ).
[0255]
Here, when the above calibration data is obtained from (θx1, θy1), (θx2, θy2), (θx3, θy3), (θx4, θy4), the average value of (θ4px, θ4py) in the 4P image state From the average value of (θ3px, θ3py) in the 3P image state, calibration data of ax, ay, kx, ky, b0x, b0Y is obtained based on the above calculation (S503a, S503b, S503c).
[0256]
The standard deviations (σθx, σθy) of the number of P images as absolute values and the quantitative relationship between σθx and σθy are individual differences among observers as variations in the eyeball rotation angle. Then, there is the following general tendency.
[0257]
For σθx in the x direction, σθ4px: θ3px: σθ2px ≒ 1.0: 1.1: 1.1
For σθy in the y direction, σθ4py: θ3py: σθ2pyｐ1.0: 1.2: 1.6.
Here, the reason why σθ2py in the y direction is large is that a P image in the y direction cannot be obtained.
[0258]
As described above, in one calculation of the calibration data, the calibration data of the 4P image, the calibration data of the 3P image, and the calibration data of the 2P image state including the variation of the eyeball rotation angle of the observer's individual are included. One is calculated.
[0259]
Returning to FIG. 13 again, the timer is reset after the calculation of the gaze calibration data (S340) or after the end of the gaze detection (S341).
[0260]
The gaze detection circuit 101, which also functions as a determination unit for the reliability of the calibration data, determines whether the calculated calibration data of the gaze is appropriate (S342).
[0261]
If the calculated gaze calibration data falls within the range of general individual differences, it is determined to be appropriate.On the other hand, if the calculated gaze calibration data greatly deviates from the general range of individual differences, The calculated line-of-sight calibration data is determined to be inappropriate.
[0262]
When the calculated line-of-sight calibration data is determined to be inappropriate (S349), the LED drive circuit 106 stops energizing the superimposing LED and turns off the optotype 4 (S349). Further, the line-of-sight detection circuit 101 emits an electronic sound for a predetermined period of time using a sounding body (not shown) via the CPU 100 to warn that the line-of-sight calibration has failed. At the same time, a signal is transmitted to the LCD drive circuit 105 to blink the "CAL" display on the LCD 308 in the finder and the LCD for monitoring 202 to warn (S350) (FIG. 17 (c)).
[0263]
After a warning sound from the sounding body and a warning display on the LCDs 308 and 202 have been performed for a predetermined time, the process proceeds to the initial step (S301) of the calibration routine, and is set to a state in which the gaze calibration can be executed again.
[0264]
If the calculated line-of-sight calibration data is appropriate (S342), the line-of-sight detection circuit 101 displays the end of line-of-sight calibration via the LCD drive circuit 105 and the LED drive circuit 106 (S343). The LCD drive circuit 105 transmits a signal to the LCD 308 in the finder and the LCD for monitoring 202 to execute the display of “End-Calibration No” for a predetermined time (FIG. 19B).
[0265]
The line-of-sight detection circuit 101 sets the line-of-sight detection frequency n to 1 (S344), and further stores the calculated line-of-sight line calibration data on an EEPROM address corresponding to the currently set calibration data number (S345). . At this time, if the line-of-sight calibration data is already stored at the address of the EEPROM to be stored, the calibration data is updated.
[0266]
After a series of line-of-sight calibration is completed, the camera waits until the photographer operates the electronic dial 205 or the mode buttons 204a 204b, 204c. If the photographer turns the electronic dial 205 to select another calibration number, the line-of-sight detection circuit 101 detects a change in the calibration number via the signal input circuit 104 (S346), and performs a line-of-sight calibration routine. To the initial step (S301).
[0267]
If the photographer operates the mode buttons 204a 204b and 204c to select another photographing mode, the visual line detection circuit 101 detects a change in the photographing mode via the signal input circuit 104 (S347). (S348). In the present embodiment, an example is shown in which the number of gaze detections when gazing at a single target is set to 10 and the gaze is calibrated. However, the number of gazes may be increased to 10 or more. .
[0268]
7 (b), 7 (c) and 7 (d), regarding the focus detection point selection (S107) of FIG. 5, the gazing point coordinates (x, y) and the gazing point obtained by the sight line detection (S106). This will be described using the viewpoint area 309.
[0269]
In each case, the gazing point coordinates (x, y) are set to the center point of (0, 0).
[0270]
FIG. 7B is an explanatory diagram of a 4P image state at the time of gaze detection.
[0271]
When the photographer's eye is illuminated with four IREDs, four Purkinje images are obtained, and the accuracy in the y direction is equivalent to the accuracy in the x direction, so that the gazing point is determined at (0, 0). You.
[0272]
From the general tendency of the same observer, the gazing point area 309a is determined with the gazing point as the center (0, 0) and the smallest quantitative values of σx4p and σy4p as the short-axis and long-axis radii. The focus detection point 303 is selected (S107) and displayed only at the focus detection points 303 included in the gazing point areas C and C including the gazing point area 309a (S108).
[0273]
FIG. 7C is an explanatory diagram of a 3P image state at the time of gaze detection.
[0274]
Even when the illumination light source is blocked by the upper eyelids and eyelashes of the photographer and a Purkinje image corresponding to the IRED is not obtained, if the three Purkinje images are obtained, the accuracy in the y-direction is almost equal to that in the x-direction. The point of regard is determined as (0, 0) by being equivalent to the precision.
[0275]
The gazing point area 309b is determined with the gazing point at (0, 0) as the center and the short-axis and long-axis radii as σx3p and σy3p. From the general tendency of the same observer, σx3p and σy3p are both larger than σx4p and σy4p in terms of quantity, and the fixation areas including the fixation area 309b are fixation areas C and U and fixation area C C, fixation areas C and D The focus detection points included in the gazing point area group are three focus detection points 303, 306, and 307, and at least one of the subjects is selected from the focus detection information of the focus detection points 303, 306, and 307 with priority to a short distance. Is performed (S107) and displayed (S108).
[0276]
FIG. 7D is an explanatory diagram of a 2P image state at the time of gaze detection.
[0277]
Even when only the lower two Purkinje images are obtained, the point of interest is determined at (0, 0) based on the calibration data corresponding to the two Purkinje images.
[0278]
The gazing point area 309d is determined by setting the gazing point at (0, 0) as the center and setting the minor axis and major axis radii to σx2p and σy2p. σx2p and σy2p are larger than σx4p and σy4p. In particular, σy2p is large because a P image in the y direction cannot be obtained irrespective of individual differences, and therefore, accuracy cannot be obtained. The fixation area including the fixation area 309b is the same as the fixation areas C and U, the fixation areas C and C, and the fixation areas C and D, and the focus detection points included in the fixation area group are the focus detection points. There are three detection points 303, 306, and 307, and at least one subject is selected from the focus detection information of the focus detection points 303, 306, and 307 with short-range priority (S107) and displayed (S108).
[0279]
FIG. 7E is a modification of the present embodiment, and is an explanatory diagram of a 3P image state at the time of gaze detection.
[0280]
The portion where the fixation area 309b is determined with the fixation point at (0, 0) as the center and the minor axis and major axis radii as σx3p and σy3p is the same as that of the above embodiment, but the fixation area of the embodiment. Does not exist, and the focus detection point to be selected is determined by whether or not the fixation point area 309b includes the coordinates of the focus detection point. As the focus detection points included in the gazing point area 309a, only the focus detection points 303 are selected (S107) and displayed (S108). Since the fixation point area is not used, the focus detection point can be selected more quickly.
[0281]
In the present embodiment and the modification of the present embodiment, it is also possible to adjust the standard deviation (σθx, σθy) of each P image number state by a predetermined coefficient to adjust the range of the gazing point area.
[0282]
(Specific effects of the embodiment)
In the present embodiment, in order to improve the line-of-sight detection accuracy known in Japanese Patent Application Laid-Open No. xx-xxxxxx, when the line of sight of the photographer is detected, when the eyeball of the photographer is illuminated by four IREDs, in principle, FIG. Four Purkinje images, which are virtual images of the IRED, are to be obtained. However, depending on the observation conditions and individual differences, the illumination light source is blocked by the upper eyelids and eyelashes of the observer, and a Purkinje image corresponding to the IRED is obtained. Even in this case, the number and arrangement of the Purkinje images in FIG. 10 are determined (S211 in FIG. 9), and 4P image calibration data and 3P image calibration data, which are calibration data corresponding to the states, are determined in advance. By preparing three pieces of 2P image calibration data and selecting and using them, it is possible to improve the line-of-sight detection accuracy (FIG. 9, S215, S216a).
[0283]
In addition, similarly, the number of the Purkinje images and the state of the arrangement of the Purkinje images in FIG. 10 are discriminated (S211 in FIG. 9) around the gazing point position which is the result of the line of sight detection. The standard deviation ([sigma] [theta] x, [sigma] [theta] y) as the angle variation is converted into the coordinates of the focus plate 7 ([sigma] x, [sigma] y). In addition to the case where four Purkinje images can be obtained, even if the illumination light source is blocked by the observer's upper eyelids and eyelashes due to the observation conditions and individual differences, and the Purkinje image corresponding to the IRED is not obtained, It is possible to reflect on the point of gaze where the person may be watching.
[0284]
Focus detection points (FIGS. 7 b 303, 7 c, d 303, 306, 307) associated with the gaze area that the observer will be gazing at; in a variant of the embodiment, focus detection included in the gaze area A point (303 in FIG. 7e) is selected, predetermined defocus processing is performed, at least one focus detection point is selected, focus detection is performed (S110 in FIG. 5), and a focusing operation including lens driving (S113) is performed. By doing so, the focus detection point that the observer is gazing at can be selected.
[0285]
In addition, from the 16 states of the number and the arrangement of the Purkinje images in FIG. 10, four kinds of states are determined based on the lower two P images from two of the existence probability of the Purkinje image and the eye-gaze detection calculation accuracy. In this way, the gaze detection calculation, that is, the gaze detection speed is increased.
[0286]
Next, in the calibration in which the four optotypes 1 to 4 for acquiring the calibration data are performed by ten gaze detections, the number and arrangement of the Purkinje images in FIG. 10 are determined (S211 in FIG. 9). Then, as shown in FIG. 14, when the number of Purkinje images is four in the calculation of the rotation angle of the eyeball optical axis, θx and θy, (θ4px, θ4py) and the lower 2 If there are three (θ2px, θ2py), if there are three, (θ3px, θ3py) from three Purkinje images, and if there are two (θ2px, θ2py) from the lower two, then there are two Purkinje images From the information obtained by one line-of-sight detection, the number of rotations θx and θy of the optical axis of the eyeball in accordance with the number and arrangement of Purkinje images in FIG. The calculations are performed simultaneously, and Stored in the address of PROM100a,
As shown in FIG. 15, when the collection of the calibration data is completed, the eye rotation of the individual is determined from the average value of (θ4px, θ4py), (θ3px, θ3py) and (θ2px, θ2py) stored in the respective addresses. The angle correction coefficients ax, ay, kx, ky, b0x, and b0Y are calculated for calibration data of a 4P image, calibration data of a 3P image, and calibration data of a 2P image (S504a, S504b, and S504c). ). Thereafter, (σx, σy) is obtained from the standard deviation (σθx, σθy) as the variation of the eyeball rotation angle which is also an individual characteristic of the observer. More specifically, similarly, calibration data of a 4P image of (σx4p, σy4p), (σx3p, σy3p), (σx2p, σy2p) are calculated, that is, calibration data of a 3P image and calibration data of a 2P image. (S505a, S505b, S505c).
[0287]
Thus, the observer can obtain two calibration data of the correction coefficients ax, ay, kx, ky, b0x, b0Y of the individual eyeball rotation angle and (σx, σy) as the variation of the eyeball rotation angle. In addition, a new calibration data acquisition operation and a single operation of the same calibration data acquisition operation as the conventional calibration operation can be performed without performing a new operation. Can be obtained for each of the three P image states of the 4P image, the 3P image, and the 2P image.
[0288]
In FIG. 15, by checking the number of data of (θ4px, θ4py), (θ3px, θ3py) and (θ2px, θ2py) stored at the respective addresses, the effect of not calculating calibration data without reliability can be obtained. It has gained.
[0289]
The above effects can be given to any observer if the observer performs only the calibration.
[0290]
【The invention's effect】
In claim 1, when detecting the line of sight of the observer, the correction data obtained by the line of sight correction means and the variation in the eyeball rotation angle of the observer are acquired in advance, and the line of sight of the observer is detected. It is possible to determine a gazing point area which is to be observed by the observer as the center.
[0291]
This makes it possible to determine the gazing point area in consideration of personal characteristics including the variation in the rotation angle of the eyeball of the observer.
[0292]
Then, it is possible to select the focus detection point that the observer is going to select.
[0293]
According to the second aspect, when the line of sight of the observer is detected, a plurality of illumination light sources project onto the anterior segment of the photographer's eyeball, and the corneal reflection image (Purkinje image, P Image) and the calibration data corresponding to the arrangement state of the corneal reflection images, that is, the correction data obtained by the line-of-sight correction means and the variation in the rotation angle of the eyeball of the observer are obtained in advance, and the number of the corneal reflection images and the arrangement state thereof Is determined by the determining means, and the correction data and the variation data of the eyeball rotation angle of the observer are selected and used, thereby improving the gaze detection accuracy according to the number of corneal reflection images at the time of gaze detection of the observer and the arrangement state thereof. Then, it is possible to determine a gazing point area about which the observer will observe.
[0294]
This makes it possible to determine a gazing point area in consideration of observation conditions and individual characteristics including variations in the eyeball rotation angle of the observer.
[0295]
Then, it is possible to select the focus detection point that the observer is going to select.
[0296]
In the first and second aspects, the defocus amount is calculated only for the focus detection points related to the gazing point area in the focus detection point selection operation, so that the operation can be performed quickly.
[0297]
According to the third aspect, the fluctuation of the eyeball rotation angle of the observer can be performed simultaneously with the correction data by one normal calibration acquisition operation, and there is no need to perform the acquisition operation again.
[0298]
According to the fourth aspect, a plurality of calibrations according to the number of corneal reflection images and the arrangement state thereof can be performed by a single operation of acquiring the line-of-sight correction means without causing the observer to perform an operation of acquiring a new line-of-sight correction means. , The correction data obtained by the line-of-sight correction means.
[0299]
As described above, in particular, in claim 2, a plurality of illumination light sources project onto the anterior segment of the eyeball of the photographer who looks into the observation screen, and the eyeball light of the photographer is obtained based on the reflection image from the cornea and the pupil imaging position. In the line-of-sight detection means for detecting the rotation angle of the axis and detecting the line of sight of the observer from the rotation angle, in addition to the improvement of the line-of-sight detection accuracy, in all conditions of the observer, the focus detection point intended by the observer is determined. It made it possible to make a selection quickly and to provide this effect to every observer.
[Brief description of the drawings]
FIG. 1 is a schematic view of a main part of a camera body according to an embodiment.
FIG. 2 is an external view of a camera body according to the embodiment.
(A) Top view of appearance of camera body of embodiment
(B) Rear view of the appearance of the camera body of the embodiment
FIG. 3 is an explanatory diagram of a display state in a finder visual field of FIG. 1;
FIG. 4 is a main block diagram of an electric circuit according to the embodiment.
FIG. 5 is an operation sequence of the camera according to the embodiment.
FIG. 6 is an explanatory diagram of a focus detection point selection mode according to the embodiment.
FIG. 7A is an explanatory diagram of a gazing point area in a finder visual field;
FIG. 6B is an explanatory diagram showing a relationship between a focus detection point selection and a gazing point area in a finder visual field.
(C) Explanatory diagram showing the relationship between the focus detection point selection and the gazing point area within the finder field of view.
(D) Explanatory drawing of the relationship between the focus detection point selection and the gazing point area in the finder visual field and the gazing point area.
(E) In a modification of the embodiment, an explanatory diagram showing the relationship between the focus detection point selection and the gazing point area in the finder visual field.
FIG. 8A is an explanatory diagram of an external display 202 of the camera body according to the embodiment.
(B) Explanatory drawing of the display part 308 in a finder visual field.
FIG. 9 is a flowchart of gaze detection.
FIG. 10 is a diagram illustrating the state of a Purkinje image.
FIG. 11 is a diagram illustrating calibration data numbers and calibration data.
FIG. 12 is a flowchart 1 of calibration.
FIG. 13 is a second flowchart of the calibration.
FIG. 14 is a flowchart for calculating θx and θy in calibration and storing data.
FIG. 15 is a flowchart of calibration data calculation.
16A, 16B, 16C, and 16D are explanatory diagrams of a target in calibration.
FIG. 17 is a view showing an internal display and an external display of a calibration finder, FIG.
FIG. 18 is a view for explaining the display inside and outside the viewfinder of calibration, part 2;
FIG. 19 is a view for explaining the display inside and outside the viewfinder of the calibration part 3;
FIG. 20 is an explanatory view of a conventional (two lower IRED) gaze detection principles.
FIGS. 21A and 21B are diagrams illustrating an eyeball image.
FIG. 22 (a) is an explanatory view of a conventional eyeball image and Purkinje image arrangement state.
(B) Explanation drawing of the conventional gaze detection principle (xz plane).
(C) An explanatory view (yz plane) of the principle of detecting the lower two lines of sight of the conventional IRED.
FIG. 23 (a) is an explanatory diagram of an eyeball image and a Purkinje image arrangement state in three IREDs.
(B) Illustration of the principle of gaze detection by three IREDs (yz plane).
FIG. 24 is an explanatory diagram of an eyeball image and a Purkinje image arrangement state in four IREDs.
[Explanation of symbols]
7 Focus board
7a This small prism array
12 Receiving lens
13a to 13h Illumination light source (light emitting means) for photographer's eye 15
14. Image sensor with two-dimensional array of photoelectric elements such as CCD
15 Photographer's Eye
16 Cornea
17 Iris
101 Eye-gaze detection circuit
301, 302, 303, 304, 305, 306, 307 Ranging point mark
200 cameras
300 Viewfinder observation screen
S211 Purkinje image state determination
S216b gazing point area calculation
S505a, S505b, S505c Calculation of variation data
L3 ・ T ～ R3 ・ B Point of interest area

Claims (17)

A defocus amount detecting means for detecting a defocus amount at each of a plurality of focus detection points; From an image position, the rotation angle of the optical axis of the eyeball of the observer is detected, and a visual axis detection unit that detects the visual axis of the observer from the rotational angle,
Gaze correction means (hereinafter, calibration) which is acquired in advance to correct individual differences in the eyeball characteristics of the user;
Means for obtaining information on a correction coefficient for correcting the eyeball rotation angle of the observer from the visual axis correction means (calibration) and information on deviation of the eyeball rotation angle of the observer from the visual axis correction means (calibration) Means to obtain,
When detecting the line of sight of the observer,
Detecting the line of sight of the observer from the information of the correction coefficient, the center of the line of sight detection position, from the information of the deviation of the eyeball rotation angle, means for determining the line of sight detection of the observer,
A predetermined focus detection point is selected based on a plurality of defocus amounts obtained from the plurality of focus detection points included in or related to the line of sight detection area in the determination means, and at least one focus detection point is determined. An optical device comprising: a focus detection point selecting unit for selecting. Defocus amount detection means for detecting the amount of defocus at each of a plurality of focus detection points, and projection from the plurality of illumination light sources to the anterior segment of the observer's eyeball looking into the observation screen, reflection images from the cornea and pupil imaging From the position, the rotation angle of the optical axis of the eyeball of the observer is detected, and a visual line detection unit that detects the visual line of the observer from the rotation angle,
Gaze correction means (hereinafter, calibration) which is acquired in advance to correct individual differences in the eyeball characteristics of the user;
At the time of line of sight detection by the line of sight detection unit, a determination unit that determines the number and arrangement state of the reflected images from the cornea,
The line-of-sight correction unit (calibration) is configured to determine the number of reflected images from the cornea and information from a determination unit that determines an arrangement state,
Means for obtaining information on a correction coefficient for correcting the eyeball rotation angle of the observer from the visual axis correction means (calibration) and information on deviation of the eyeball rotation angle of the observer from the visual axis correction means (calibration) Means to obtain,
When detecting the line of sight of the observer, based on information from the determination means for determining the number and arrangement state of the reflected images from the cornea,
Detecting the line of sight of the observer from the information of the correction coefficient, the center of the line of sight detection position, from the information of the deviation of the eyeball rotation angle, means for determining the line of sight detection of the observer,
A predetermined focus detection point is selected based on a plurality of defocus amounts obtained from the plurality of focus detection points included in or related to the line of sight detection area in the determination means, and at least one focus detection point is determined. An optical device comprising: a focus detection point selecting unit for selecting. 2. The observation method according to claim 1, wherein the line-of-sight correction unit performs the one-time acquisition operation of information for correcting a line-of-sight detection error obtained by the line-of-sight detection unit due to an individual difference of an eyeball and information of a deviation of an eyeball rotation angle. 2. A gaze detecting unit according to claim 1, further comprising a storage unit for calculating and storing information of a correction coefficient for correcting an eyeball rotation angle of the observer and information of a deviation of the eyeball rotation angle of the observer. An optical device having: 3. The cornea according to claim 2, wherein the line-of-sight correction unit performs a single acquisition operation of information for correcting a line-of-sight detection error obtained by the line-of-sight detection unit due to an individual difference of an eyeball and information of a deviation of an eyeball rotation angle. Using the reflected image state determination means, obtain information on a correction coefficient for correcting the eyeball rotation angle of the observer and information on a deviation of the eyeball rotation angle of the observer according to the number and arrangement state of the reflected images from the cornea. 3. An optical device having a line-of-sight detection means according to claim 2, further comprising storage means for calculating and storing the calculation. The information of the deviation of the eyeball rotation angle of the observer obtained by the gaze correction unit is the same as the information of correcting the gaze detection error obtained by the gaze detection unit, and the same gaze detection information of the observer as a predetermined value. 3. An optical device having a line-of-sight detection unit according to claim 1, wherein the optical device performs processing. The optical device according to claim 2, wherein the plurality of illumination light sources are four illumination light sources arranged two-dimensionally. 3. The optical device having a line-of-sight detecting means according to claim 2, wherein the state and the state of being arranged two-dimensionally are determined. In the corneal reflection image state determining means, at least the corneal reflection image is one-dimensionally arranged. 3. The optical apparatus having a visual axis detecting unit according to claim 2, wherein the plurality of states of the number and the arrangement state of the reflected images from the cornea use information obtained by the same visual axis correcting unit. The observation screen includes a focus detection unit capable of performing focus detection at a plurality of focus detection points, and one of the functions is to select at least one of the plurality of focus detection points. An optical device comprising the visual line detection means according to claim 1 or 2. 10. A focus adjusting device according to claim 1, further comprising a focus adjusting unit that adjusts focus of a focus adjusting lens based on a signal calculated based on a defocus amount detected at the at least one focus detection point. An optical device according to claim 1. 3. The method according to claim 1, wherein the process of selecting the predetermined focus detection point is a process of selecting at least one focus detection point including an object existing at a position closest to the optical device. 4. Optical device. The optical device with a visual line detection function according to claim 1 or 2, wherein at least three of the plurality of illumination light sources are provided in a two-dimensional direction around an observation surface. The optical device with a visual line detection function according to claim 1, wherein two of the plurality of illumination light sources are provided below the observation surface and two are provided above the observation surface. 3. The method according to claim 1, wherein the determination unit includes a counting unit that counts the number of images reflected from the cornea, and an arrangement state detection unit that detects an arrangement state of the image reflected from the cornea. Optical device with gaze detection function. 15. The arrangement according to claim 14, wherein the arrangement state detecting means determines whether the reflection image from the cornea is arranged in a one-dimensional direction or in a two-dimensional direction. Optical device with gaze detection function. The state in which the reflected images from the cornea are arranged in the one-dimensional direction means that the reflected images from the cornea corresponding to the two illumination light sources provided below the observation surface are appropriately obtained. Refers to the arrangement state when there is, the state where the reflected image from the cornea is arranged in a two-dimensional direction, the state from the cornea corresponding to each of the two illumination light sources provided below the observation surface The arrangement state when a reflection image and a reflection image from the cornea corresponding to at least one of two illumination light sources provided above the observation surface are appropriately obtained. Item 16. An optical device with a line-of-sight detection function according to item 15. The predetermined relationship is characterized in that the number of reflected images from the cornea is three or more, and it is determined that the arrangement state is determined to be a state arranged in a two-dimensional direction. An optical device with a visual line detection function according to claim 16.

Images