JP2002282209A

JP2002282209A - 視線検出装置

Info

Publication number: JP2002282209A
Application number: JP2001084290A
Authority: JP
Inventors: Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-23
Filing date: 2001-03-23
Publication date: 2002-10-02

Abstract

(57)【要約】【課題】観察者の眼球と視線検出装置との距離や眼球
表面の反射状態に依存せずに精度の高い視線検出を行え
るようにする。【解決手段】観察者の眼球の画像情報を処理すること
により、前記観察者の視線を検出する視線検出装置にお
いて、前記視線検出を行うための画像情報の取得（＃１
０６）の前に、照明状態を異ならせて前記眼球の複数の
予備的画像情報を取得し、該予備的画像情報の処理結果
に基づき、前記視線検出を行う際の画像情報取得時にお
ける蓄積時間、照明光量を決定する（＃１０１〜＃１０
５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の観察機
能を有する機器に好適な視線検出装置の改良に関するも
のである。

【０００２】

【従来の技術】従来の視線検出装置を備えたカメラにお
いて、裸眼でかつ眼球から十分な反射光が得られる位置
に撮影者の眼球がくれば視線を検出することが可能にな
るが、撮影者が眼鏡をしている場合、あるいは、眼球位
置がファインダから離れた場合等は、眼球からの反射光
量が不足し、視線検出の精度が下がるという欠点があっ
た。

【０００３】また、光電変換素子としてＣＣＤなどを用
い、その蓄積時間を変えることによって光量不足を補う
といった事も可能であるが、この場合は視線検出の繰り
返し周期が長くなるという欠点があった。

【０００４】上記のような点に鑑み、特許第３０２１６
００号において、初期設定された照明用のＬＥＤの電流
量における、眼球の反射光のピーク出力から視線検出の
精度を判定し、視線検出に足りる反射光が得られるよう
に電流量を制御し、予め決められた電流量に達しても、
なお視線検出に足りる反射光が得られなければ、撮影者
にその旨の警告を発するという提案がなされている。

【０００５】

【発明が解決しようとする課題】ところが上記従来例で
は、眼球からの反射像の最大値をプルキニエ像と仮定し
て、この反射像の最大値が所定レベルになるように照明
光量を制御しているので、眼鏡ゴーストのようなプルキ
ニエ像よりも輝度の高い反射像が存在する場合はプルキ
ニエ像が検出できない状態が生じる。

【０００６】また、外光が存在しない場合は、プルキニ
エ像は適切な状態になっても、瞳孔部分が暗く、瞳孔エ
ッジが検出できないような状態が生じるなどの問題点が
あった。

【０００７】（発明の目的）本発明の目的は、観察者の
眼球と視線検出装置との距離や眼球表面の反射状態に依
存せずに精度の高い視線検出を行うことのできる視線検
出装置を提供しようとするものである。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、請求項１〜６及び９に記載の発明は、観察者の眼球
の画像情報を処理することにより、前記観察者の視線を
検出する視線検出装置において、前記視線検出を行うた
めの画像情報の取得の前に、照明状態を異ならせて前記
眼球の複数の予備的画像情報を取得し、該予備的画像情
報の処理結果に基づき、前記視線検出を行う際の画像情
報取得時における蓄積時間、照明光量を決定する視線検
出装置とするものである。

【０００９】同じく上記目的を達成するために、請求項
７〜９に記載の発明は、観察者の眼球の画像信号を処理
することにより、前記観察者の視線を検出する視線検出
装置において、前記視線検出を行うための画像情報の取
得の前に、比較的短い蓄積時間での蓄積動作により前記
眼球の予備的画像情報を取得し、該予備的画像情報よ
り、該視線検出装置と前記眼球までの距離を求め、該距
離に基づき、前記視線検出を行う際の画像情報取得時に
おける蓄積時間、照明光量を決定する視線検出装置とす
るものである。

【００１０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１１】図１は本発明の実施の各形態に係るカメラ
に具備される視線検出装置の主要部分の構成を示すブロ
ック図である。

【００１２】同図において、１はＭＰＵ（マイクロプロ
セッシングユニット）、２はメモリー、３は、自身のド
ライバー、アンプを内蔵したセンサ装置、４は複数のｉ
ＲＥＤ（赤外発光ダイオード）から構成されるｉＲＥＤ
群、５は受光レンズ、６は撮影者の眼球である。

【００１３】前記センサ装置３内において、３０は後述
する外光除去機能を有するセンサ部、３１は受光レンズ
５によって結像された眼球像を光電変換するイメージゾ
ーン、３２は光電変換された電荷が転送され、一時的に
保持されるメモリーゾーン、３４はメモリーゾーン３２
の電荷を読み出すためのシフトレジスタ、３５は線形・
非線形読み出しが可能な読み出し用のアンプ、３６はセ
ンサ部３０を駆動するドライバーである。なお、前記セ
ンサ装置３に内蔵されたドライバー３６は、ｉＲＥＤ４
のドライブ機能も有している。

【００１４】この実施の形態においては、イメージセン
サ３１からの画像信号を演算することにより、撮影者の
視線を求める訳であるが、その原理は以下の通りであ
る。

【００１５】撮影者の眼球にｉＲＥＤにより平行光（も
しくは発散光）を照射すると、この光が角膜前面で反射
させ、前記ｉＲＥＤの虚像が生じる。この虚像はプルキ
ニエ像と呼ばれるが、その発生位置は眼球の回転角が零
の際は瞳孔中心と一致し、眼球が回転するにつれてプル
キニエ像と瞳孔中心の間隔は、回転角の正弦にほぼ比例
する形で拡がっていく。

【００１６】よって、イメージセンサ上の画像信号より
プルキニエ像の位置・瞳孔中心の位置、さらにその間隔
を算出してやれば、眼球の回転角、さらには撮影者の視
点を知ることができる（カメラのファインダの光学特性
により、頭部がカメラに対して動いても眼球の回転角が
等しければピント板上の視点は同じである）。

【００１７】（実施の第１の形態）上記の原理を用いた
本発明の実施の第１の形態における動作について説明す
る。

【００１８】不図示のスイッチＳＷ１が押されるなどし
て視線検出の要求がなされると、ＭＰＵ１は視線検出の
ルーチンに入り、まず、演算に使用する変数の初期化等
の初期化処理を行った後、眼鏡の有無・外光の強度等を
考慮して、蓄積時間、読み出し時のゲインなどの設定行
う。同時にそのときのカメラの位置（縦位置か横位置
か）を不図示の位置センサから受け、眼鏡の有無を考慮
して、点灯するｉＲＥＤの選択及びｉＲＥＤの発光光量
の設定も行う。以上の動作を以後ＡＧＣと称す。

【００１９】このＡＧＣは実際の視線検出を行うための
画像を得るための蓄積動作（本蓄積）で得られる眼球像
の画質を決める重要なものである。ここで適切な蓄積時
間、ｉＲＥＤの発光光量などを設定することが出来れ
ば、プルキニエ像・瞳孔エッジを良好に検出でき、高い
精度で撮影者の視線を検出することが容易となる。

【００２０】以下、このＡＧＣに関する動作について、
図２のフローチャートにより説明する。

【００２１】視線検出の要求がなされてからの動作を高
速にするために、不図示のメインスイッチがオンしたな
らば、スイッチＳＷ１がオンする以前に第１の予備的な
蓄積を行い、ＡＧＣのための情報を取得する（＃１０
１）。この第１の予備的な蓄積は眼球を照明する外光の
輝度を測定するために、照明を点灯せずに行う。この非
照明蓄積は消費電力を抑える観点からも有利である。こ
の非照明蓄積は不図示のスイッチＳＷ１が押されるなど
して視線検出の要求がなされるまで行い（＃１０１→＃
１０２→＃１０１）、最後の結果をその後の処理に用い
る。

【００２２】視線検出の要求がなされたならば（＃１０
２のＹＥＳ）、非照明蓄積の結果を次のように評価す
る。非照明蓄積で得られた信号の中央部分で比較的輝度
の低い部分の平均を求める。この値をＢｅ１とする。信
号の中央部分で比較的輝度の低いこの部分は眼球の瞳孔
などのある視線検出にとって重要な部分であると推測さ
れる部分である。よって、この部分の平均値を求めるこ
とで、眼球が外光によってどの様に照明されているのか
を知ることができる。

【００２３】この平均値Ｂｅ１が外光輝度の大小を表す
しきい値Ｂｅ０以下（比較的低輝度）の場合は、外光輝
度が小さく、眼球像のほとんどが照明光によって形成さ
れるので、照明光の光量を眼球までの距離に応じて設定
しなければならない。また、眼球表面の反射率にあまり
個人差はないが、眼鏡の状態やコンタクトレンズの種類
などによって眼球表面の反射状態は変化する。よって、
これらの影響も吸収したＡＧＣを可能にするために照明
を点灯した状態で第２の予備的蓄積を行う（＃１０
４）。上記の非照明蓄積のときと同様に、この第２の予
備的蓄積で得られた信号の中央部分で、比較的輝度の低
い部分の平均を求める。この値をＢｅ２とする。その
後、本蓄積の蓄積時間等決定を行うステップ＃１０５に
進む。

【００２４】一方、Ｂｅ１＞Ｂｅ０の場合（＃１０３の
ＮＯ）は、照明光が眼球像の形成に寄与する割合が低い
ので、先のステップ＃１０１の非照明光蓄積で得られた
値を用いてＡＧＣを行うために直ちに本蓄積の蓄積時間
等を行うステップに＃１０５進む。

【００２５】本蓄積の蓄積時間等を行うステップ＃１０
５では、照明蓄積で得られたＢｅ２もしくは非照明蓄積
で得られたＢｅ１を用いて本蓄積の蓄積時間と発光光量
（ｉＲＥＤに流す電流）を決定する。

【００２６】まず、Ｂｅ１≦Ｂｅ０、すなわち照明蓄積
の値を用いる場合は、発光光量（ｉＲＥＤに流す電流）
Ｉiredは、Ｉired＝Ａ１／（Ｂｅ２＋１）＋Ａ２蓄積時間Ｔｓは、Ｔｓ＝あらかじめ定められた一定値とする。

【００２７】また、Ｂｅ１＞Ｂｅ０、すなわち非照明蓄
積の値を用いる場合は、蓄積時間Ｔｓは、Ｔｓ＝Ａ３／（Ｂｅ１＋１）＋Ａ４発光光量（ｉＲＥＤに流す電流）Ｉiredは、Ｉired＝Ｃonst1 ／Ｔｓとする。

【００２８】上式において、Ａ１，Ａ２，Ａ３，Ａ４，
Ｃonst1 はあらかじめ定められる定数である。ただし，
最長の蓄積時間、最短の蓄積時間、最大のｉＲＥＤに流
す電流、最小のｉＲＥＤに流す電流は制限する必要があ
る。この値としては、最長の蓄積時間は２０ｍｓ、最短
の蓄積時間は２ｍｓ程度、最大の電流が２５ｍＡ、最小
の電流が１０ｍＡ程度が望ましい。

【００２９】また、演算の負荷を軽くするためにテーブ
ルを用いても良い。この場合、テーブルの数値はＥＥＰ
ＲＯＭなどに持つことが望ましい。

【００３０】ＡＧＣが終了したならばその結果に従い、
本蓄積のステップ＃１０６に移る。

【００３１】ここでは、まずＭＰＵ１はクリアモードの
動作を行うための指示をドライバー３６に対して行う。
指示を受けたドライバー３６はクリア動作を行い、セン
サ部３０のメモリーゾーン・電荷転送ライン等に残って
いる電荷を消去する。次いで、ＭＰＵ１は選択された点
灯ｉＲＥＤを点灯するためにｉＲＥＤ選択信号を前記ド
ライバー３６に送信する。

【００３２】その後、垂直転送パルスを垂直ライン数分
ドライバー３６へ出力し、積分を開始する。ドライバー
３６からは与えられた垂直転送パルスに同期した駆動パ
ルスがセンサに３０に対して出力される。これにより、
センサ部３０の蓄積が開始される。これに同期して、Ｍ
ＰＵ１はｉＲＥＤオン信号をＨレベルにし、選択ｉＲＥ
Ｄ４を点灯する。そして、設定された蓄積時間が経過し
たなら、再び垂直転送パルスを垂直ライン数分ドライバ
ー３６へ出力し、積分を終了すると同時に、ｉＲＥＤオ
ン信号をＬレベルにし、ｉＲＥＤ４を消灯する。

【００３３】次いで、ＭＰＵ１は光像ブロック（プルキ
ニエ像候補）・瞳孔エッジ候補抽出の処理を行う。

【００３４】まず、ＭＰＵ１はアンプ３５のゲインと特
性（線形または非線形）を設定する。そして、シフトレ
ジスタ３４、アンプ３５を介して１ライン分の画像信号
を順次読み込み、Ａ／Ｄ変換を行い、メモリー２にその
値を記憶していく。そして、このデータを使って光像ブ
ロック（プルキニエ像候補）並びに瞳孔エッジ候補の抽
出処理を行っていく。ＭＰＵ１はこの処理をＣＣＤのラ
イン数分だけ行う。

【００３５】全ラインについてこの処理が終了したなら
ば、プルキニエ像・瞳孔エッジの選択の処理を行う。そ
して、選択された瞳孔エッジを用いて瞳孔中心及び瞳孔
径を求める。この方法としては、最小二乗法を用いれば
よい。

【００３６】その後、ＭＰＵ１はプルキニエ像と瞳孔中
心の位置を用いて眼球の回転角、さらには個人差補正等
を行いカメラピント板上での視点位置を演算する。そし
て、この視点からＡＦ（自動焦点）の指示がなされた際
に焦点検出を行うエリア、いわゆるＡＦエリア並びに自
動露出（ＡＥ）制御を行うＡＥエリアを決定する。

【００３７】そして、ＡＦ，ＡＥ動作の要求がなされた
ならば、ＡＦ動作と測光を行う。ＡＦ動作は、まずＭＰ
Ｕ１がセンサ部３０から決定されたＡＦエリアに対応す
る部分の信号を読み込み、その信号を演算することによ
りレンズ駆動量を求める。その後、不図示のレンズ駆動
ユニットを制御して焦点調整を行う。また、ＭＰＵ１は
測光センサからの信号に基づき指定された撮影モードに
したがって露出定数（シャッタ速度、絞り値等）を求め
る。

【００３８】その後、レリーズ要求がなされたならば、
算出された絞り値への絞りの駆動、シャッタの開閉、フ
ィルムの巻き上げなどのレリーズに関連する一連の動作
を行う。

【００３９】また、レリーズ要求がなされないまま、ス
イッチＳＷ１がオンの状態が継続し視線検出要求が続い
ている場合（＃１０７のＹＥＳ）、もしくは、スイッチ
ＳＷ１がオフでも所定時間が経過するまでは（＃１０７
→＃１０８のＮＯ）上記の操作を繰り返し、視線検出を
継続する。この場合はＡＧＣのための予備的蓄積は行わ
ず、実際の視線検出の際に得られた画像から新たに本蓄
積の蓄積時間と発光光量（ｉＲＥＤに流す電流）を決定
するようにする。

【００４０】上記の実施の第１の形態によれば、予備的
蓄積を行い、その結果から外光の強度等を考慮して、蓄
積時間、読み出し時のゲイン、点灯させるｉＲＥＤの選
択及びｉＲＥＤの発光光量の設定を行うＡＧＣにおい
て、外光輝度が低い場合には、ｉＲＥＤを点灯して予備
的蓄積（第２の予備的蓄積）を行い、本蓄積時の蓄積時
間等の設定を行うにようにしているので、眼球までの距
離や眼球表面の反射状態といった影響を受けず、精度の
高い視線検出を行うことが可能となる。

【００４１】（実施の第２の形態）次に、本発明の実施
の第２の形態に係るＡＧＣ（眼鏡の有無・外光の強度等
を考慮して、蓄積時間、読み出し時のゲイン、点灯する
ｉＲＥＤの選択及びｉＲＥＤの発光光量の設定を行う動
作）について、図３のフローチャートに基づいて説明す
る。なお、回路構成は図１と同様であるものとする。

【００４２】視線検出の要求がなされてからの動作を高
速にするために、不図示のメインスイッチがオンしたな
らば、スイッチＳＷ１がオンする以前に第１の予備的な
蓄積を行い、ＡＧＣのための情報を取得する（＃２０
１）。この第１の予備的な蓄積は眼球を照明する外光の
輝度を測定するために、照明を点灯せずに行う。この非
照明蓄積は消費電力を抑える観点からも有利である。こ
の非照明蓄積は不図示のスイッチＳＷ１が押されるなど
して視線検出の要求がなされるまで行い（＃２０１→＃
２０２→＃２０１）、最後の結果をその後の処理に用い
る。

【００４３】視線検出の要求がなされたならば（＃２０
１のＹＥＳ）、非照明蓄積の結果を次のように評価す
る。非照明蓄積で得られた信号の中央部分で比較的輝度
の低い部分の平均を求める。この値をＢｅ１とする。信
号の中央部分で比較的輝度の低いこの部分は、眼球の瞳
孔などのある視線検出にとって重要な部分であると推測
される部分である。よって、この部分の平均値を求める
ことで、眼球が外光によってどの様に照明されているの
かを知ることができる。

【００４４】この平均値Ｂｅ１が外光輝度の大小を表す
しきい値ＢｅTH1 以下（比較的低輝度）の場合は、外光
輝度が小さく、眼球像のほとんどが照明光によって形成
されるので、照明光の光量を眼球までの距離に応じて設
定しなければならない。また、眼球表面の反射率にあま
り個人差はないが、眼鏡の状態やコンタクトレンズの種
類などによって眼球表面の反射状態は変化する。よっ
て、これらの影響も吸収したＡＧＣを可能にするために
照明を点灯した状態で第２の予備的蓄積を行う（＃２０
３→＃２０４）。上記の非照明蓄積のときと同様に、こ
の第２の予備的蓄積で得られた信号の中央部分で比較的
輝度の低い部分の平均を求め、この値をＢｅ２とする。
その後、本蓄積の蓄積時間等を行うステップ＃２０６に
進む。

【００４５】また、Ｂｅ１がＢｅTH2 以上（比較的高輝
度）の場合は、外光の量が非常に多いため、本蓄積にお
いて外光除去蓄積を行う必要がある。そこで、ＡＧＣを
行うための予備的蓄積においても外光除去蓄積を行う
（＃２０３→＃２０５）。この外光除去蓄積はセンサ部
３０が有する外光除去蓄積機能を用いて行う。この外光
除去蓄積機能に関する部分の概略を図４に示す。

【００４６】図４において、４１はイメージゾーン、４
２は非照明蓄積の信号を一時的に保持するメモリーゾー
ン１、４３は照明蓄積の信号を一時的に保持するメモリ
ーゾーン２、４４は差動アンプ、４５は増幅アンプ、４
６はアナログスイッチである。

【００４７】以下、上記ステップ＃２０５での、外光除
去蓄積について、図１及び図４を用いて説明する。

【００４８】まず、照明蓄積を行う。ＭＰＵ１は選択さ
れたｉＲＥＤを点灯するためにｉＲＥＤ選択信号をセン
サ装置３のドライバー３６に送信する。次いで、メモリ
ーゾーン２（４３）への転送を指示する。その後、垂直
転送パルスを垂直ライン数分ドライバー３６へ出力し、
積分を開始する。これに同期して、ＭＰＵ１はｉＲＥＤ
オン信号をＨレベルにし、ｉＲＥＤ４を点灯する。そし
て、設定された予備的蓄積の時間が経過したなら、再び
垂直転送パルスを垂直ライン数分ドライバー３６へ出力
し、メモリーゾーン２へイメージゾーン４１の電荷を転
送し、積分を終了する。これと同時にｉＲＥＤオン信号
をＬレベルにし、ｉＲＥＤ４を消灯する。

【００４９】次いで、非照明蓄積を行う。ＭＰＵ１はセ
ンサ装置３のドライバーにメモリーゾーン１（４２）へ
の転送を指示する。そして、垂直転送パルスを垂直ライ
ン数分ドライバー３６へ出力し、積分を開始する。ドラ
イバー３６からは与えられた垂直転送パルスに同期した
駆動パルスがセンサ部３０の対して出力される。これに
より、イメージゾーン４１への蓄積が開始される。この
とき、ｉＲＥＤ４を非点灯とするため、ｉＲＥＤオン信
号をＨレベルにはしない。設定された予備的蓄積の時間
が経過したなら、再び垂直転送パルスを垂直ライン数分
ドライバー３６へ出力し、メモリーゾーン１へイメージ
ゾーン４１の電荷を転送し、積分を終了する。

【００５０】次に、読み出しに移り、まずＭＰＵ１は差
動アンプ４４のゲインを所定の値に設定する。そして、
アナログスイッチ４６を差動アンプ４４側に接続し、該
差動アンプ４４より外光成分の除去された画像信号を順
次読み込む。そして、この予備的蓄積で得られた信号の
中央部分で比較的輝度の低い部分の平均を求める。この
値をＢｅ２とする。

【００５１】その後は図３の本蓄積の蓄積時間等を行う
ステップ＃２０６に進む。

【００５２】図３に戻り、ステップ＃２０３にて、「Ｂ
ｅTH2 ≧Ｂｅ１≧ＢｅTH1 」であった場合は、照明光が
眼球像の形成に寄与する割合が低く、また外光除去の必
要もないので、先のステップ＃２０１の非照明光蓄積で
得られた値を用いてＡＧＣを行うため、本蓄積の蓄積時
間等を行うステップ＃２０６へ直ちに進む。

【００５３】本蓄積の蓄積時間等を行うステップ＃２０
６へ進むと、ここでは非照明蓄積で得られたＢｅ１、照
明蓄積で得られたＢｅ２、もしくは外光除去蓄積で得ら
れたＢｅ２を用いて本蓄積の蓄積時間と発光光量（ｉＲ
ＥＤに流す電流）を決定する。

【００５４】まず、Ｂｅ１≦ＢｅTH1 、すなわち照明蓄
積の値を用いる場合は、発光光量（ｉＲＥＤに流す電
流）Ｉiredは、Ｉired＝Ａ１／（Ｂｅ２＋１）＋Ａ２蓄積時間Ｔｓは、Ｔｓ＝あらかじめ定められた一定値とする。

【００５５】また、ＢｅTH2 ≧Ｂｅ１≧ＢｅTH1 、すな
わち非照明蓄積の値を用いる場合は、蓄積時間Ｔｓは、Ｔｓ＝Ａ３／（Ｂｅ１＋１）＋Ａ４発光光量（ｉＲＥＤに流す電流）Ｉiredは、Ｉired＝Ｃonst1 ／Ｔｓとする。

【００５６】又、Ｂｅ１≧ＢｅTH2 、すなわち外光除去
蓄積の値を用いる場合は、発光光量（ｉＲＥＤに流す電
流）Ｉiredは、Ｉired＝Ａ５／（Ｂｅ２＋１）＋Ａ６蓄積時間Ｔｓは、Ｔｓ＝Ｃonst2 ／Ｉired とする。

【００５７】上式において、Ａ１，Ａ２，Ａ３，Ａ４，
Ａ５，Ａ６，Ｃonst1，Ｃonst2はあらかじめ定められる
定数である。ただし、最長の蓄積時間、最短の蓄積時
間、最大のｉＲＥＤに流す電流、最小のｉＲＥＤに流す
電流は制限する必要がある。この値としては、最長の蓄
積時間は２０ｍｓ、最短の蓄積時間は２ｍｓ程度、最大
の電流が２５ｍＡ、最小の電流が１０ｍＡ程度が望まし
い。

【００５８】また、演算の負荷を軽くするためにテーブ
ルを用いても良い。この場合テーブルの数値は、ＥＥＰ
ＲＯＭなどの持つことが望ましい。

【００５９】ＡＧＣが終了したならばその結果に従い、
本蓄積のステップ＃２０７に移る。

【００６０】この本蓄積で外光除去蓄積が選択された場
合、同期蓄積をセンサ部３０上の外光除去蓄積機能を利
用して行う。この外光除去蓄積機能に関する部分の概略
を、前述したように図４に示している。

【００６１】同期蓄積による外光除去は、短時間のｉＲ
ＥＤ４の点灯、消灯を繰り返し、点灯した際に蓄積され
た照明蓄積の電荷の総和から消灯した際に蓄積された非
照明蓄積の電荷の総和を差し引いてその値を求めるもの
である。

【００６２】まず、メモリーゾーン１，２の電荷のクリ
アを行う。その後ＭＰＵ１は選択されたｉＲＥＤを点灯
するためにｉＲＥＤ選択信号をセンサ装置３のドライバ
ー３６に送信する。

【００６３】そして、まず、照明蓄積を行う。ＭＰＵ１
はメモリーゾーン２への転送を指示する。その後、垂直
転送パルスを垂直ライン数分ドライバー３６へ出力し、
積分を開始する。これに同期して、ＭＰＵ１はｉＲＥＤ
オン信号をＨレベルにし、ｉＲＥＤ４を点灯する。そし
て、設定された予備的蓄積の時間が経過したなら、再び
垂直転送パルスを垂直ライン数分ドライバー３６へ出力
し、メモリーゾーン２へイメージゾーン４１の電荷を転
送し積分を終了する。これと同時にｉＲＥＤオン信号を
Ｌレベルにし、ｉＲＥＤ４を消灯する。

【００６４】次いで、非照明蓄積を行う。ＭＰＵ１はセ
ンサ装置３のドライバー３６にメモリーゾーン１への転
送を指示する。そして、垂直転送パルスを垂直ライン数
分ドライバー３６へ出力し、積分を開始する。ドライバ
ー３６からは与えられた垂直転送パルスに同期した駆動
パルスがセンサ部３０の対して出力される。これによ
り、イメージゾーン４１への蓄積が開始される。このと
き、ｉＲＥＤ４を非点灯とするため、ｉＲＥＤオン信号
をＨレベルにはしない。設定された予備的蓄積の時間が
経過したなら、再び垂直転送パルスを垂直ライン数分ド
ライバー３６へ出力し、メモリーゾーン１へイメージゾ
ーン４１の電荷を転送し、積分を終了する。

【００６５】上記の照明蓄積・非照明蓄積を所定回繰り
返す。この間、メモリーゾーンの電荷のクリアを行わな
いので、メモリーゾーン１，２には照明蓄積・非照明蓄
積の電荷の総和が保持される。

【００６６】次に読み出しに移り、まずＭＰＵ１は差動
アンプ４４のゲインを所定の値に設定する。そして、ア
ナログスイッチ４６を差動アンプ４４側に接続し、差動
アンプ４４より外光成分の除去された画像信号を順次読
み込む。

【００６７】以後、上記実施の第１の形態と同様の動作
を行う。

【００６８】以上の実施の第２の形態によれば、上記実
施の第１の形態の効果に加え、照明を点灯しない予備的
蓄積の結果から外光の状態を判定し、外光輝度が高く、
外光除去蓄積を本蓄積で行う場合は、予備的蓄積におい
ても外光除去蓄積を行い、その値をもとにＡＧＣを行う
ようにしているので、どのような外光の状態であっても
良好に視線検出を行うことが可能となる。

【００６９】（実施の第３の形態）次に、本発明の実施
の第３の形態に係るＡＧＣ（眼鏡の有無・外光の強度等
を考慮して、蓄積時間、読み出し時のゲイン、点灯する
ｉＲＥＤの選択及びｉＲＥＤの発光光量の設定を行う動
作）について、図５のフローチャートを用いて説明す
る。なお、回路構成は図１と同様であるものとする。

【００７０】視線検出の要求がなされてからの動作を高
速にするために、不図示のメインスイッチがオンしたな
らば、スイッチＳＷ１がオンする以前に第１の予備的な
蓄積を行い、ＡＧＣのための情報を取得する（＃３０
１）。この第１の予備的な蓄積は眼球を照明する外光の
輝度を測定するために、照明を点灯せずに行う。この非
照明蓄積は消費電力を抑える観点からも有利である。こ
の非照明蓄積は不図示のスイッチＳＷ１が押されるなど
して視線検出の要求がなされるまで行い（＃３０１→＃
３０２→＃３０１）、最後の結果をその後の処理に用い
る。

【００７１】視線検出の要求がなされたならば（＃３０
２のＹＥＳ）、非照明蓄積の結果を次のように評価す
る。非照明蓄積で得られた信号の中央部分で比較的輝度
の低い部分の平均を求める。この値をＢｅ１とする。信
号の中央部分で比較的輝度の低いこの部分は、眼球の瞳
孔などのある視線検出にとって重要な部分であると推測
される部分である。よって、この部分の平均値を求める
ことで、眼球が外光によってどの様に照明されているの
かを知ることができる。

【００７２】この平均値Ｂｅ１が外光輝度の大小を表す
しきい値Ｂｅ０以下（比較的低輝度）の場合（＃３０３
のＹＥＳ）は、外光輝度が小さく、眼球像のほとんどが
照明光によって形成されるので、照明光の光量を眼球ま
での距離に応じて設定しなければならない。

【００７３】そこで、照明を点灯した状態で第２の予備
的蓄積を行う（＃３０４）。このときの蓄積時間はプル
キニエ像のみが形成される程度の比較的短い時間とす
る。ＭＰＵ１はこの第２の予備的蓄積で得られた信号を
読み出し、プルキニエ像の検出を行う（＃３０５）。そ
して、検出された二つのプルキニエ像の間隔を求めた
ら、以下の一次式を用いて眼球までの距離を算出する。

【００７４】眼球までの距離＝Ｂ１／（プルキニエ像の間隔）＋Ｂ２そして、この眼球までの距離を用いて以下のように蓄積
時間と発光光量（ｉＲＥＤに流す電流）を求める（＃３
０６）。

【００７５】Ｔｓ＝Ａ１／（Ｂｅ１＋１）＋Ａ２Ｉired＝Ｂ３×（眼球までの距離）＋Ｂ４上式において、Ａ１，Ａ２、Ｂ１，Ｂ２，Ｂ３，Ｂ４は
あらかじめ定められる定数である。ただし、最長の蓄積
時間、最短の蓄積時間及び、最大のｉＲＥＤに流す電
流、最小のｉＲＥＤに流す電流はは制限する必要があ
る。この値としては、最長の蓄積時間は２０ｍｓ、最短
の蓄積時間は２ｍｓ程度、最大の電流が２５ｍＡ、最小
の電流が１０ｍＡ程度が望ましい。

【００７６】また、演算の負荷を軽くするためにテーブ
ルを用いても良い。この場合テーブルの数値は、ＥＥＰ
ＲＯＭなどの持つことが望ましい。

【００７７】その後、本蓄積のステップ＃３０７に進
む。

【００７８】一方、Ｂｅ１＞Ｂｅ０の場合（＃３０３の
ＮＯ）は、照明光が眼球像の形成に寄与する割合が低い
ので、先のステップ＃３０１の非照明光蓄積で得られた
値を用いてＡＧＣを行う。

【００７９】この場合、本蓄積の蓄積時間等決定は非照
明蓄積で得られたＢｅ１を用い、次式に従って求める
（＃３０６）。

【００８０】Ｔｓ＝Ａ３／（Ｂｅ１＋１）＋Ａ４上式において、Ａ３，Ａ４はあらかじめ定められる定数
である。ただし、最長の蓄積時間、最短の蓄積時間は制
限する必要がある。この値としては、最長の蓄積時間は
２０ｍｓ、最短の蓄積時間は２ｍｓ程度が望ましい。

【００８１】そして、発光光量（ｉＲＥＤに流す電流）
は次式に従って求める（＃３０６）。

【００８２】Ｉired＝Ａ５／（Ｂｅ１＋１）＋Ａ６上式において、Ａ５，Ａ６はあらかじめ定められる定数
である。ただし、最大のｉＲＥＤに流す電流、最小のｉ
ＲＥＤに流す電流は制限する必要がある。この値は最大
の電流が２５ｍＡ、最小の電流が１０ｍＡ程度が望まし
い。

【００８３】また、演算の負荷を軽くするためにテーブ
ルを用いても良い。この場合テーブルの数値は、ＥＥＰ
ＲＯＭなどの持つことが望ましい。

【００８４】その後、本蓄積のステップ＃３０７に進
む。

【００８５】以後は、上記実施の第１の形態と同様の動
作を行う。

【００８６】以上の実施の第３の形態によれば、予備的
蓄積の際にｉＲＥＤ４を点灯し、取得した画像からプル
キニエ像を求め、その間隔から眼球までの距離を算出
し、その距離を用いてＡＧＣを行うようにしているの
で、眼球までの距離に影響を受けずに、精度の高い視線
検出を行うことが可能となる。

【００８７】

【発明の効果】以上説明したように、本発明によれば、
観察者の眼球と視線検出装置との距離や眼球表面の反射
状態に依存せずに精度の高い視線検出を行うことができ
る視線検出装置を提供できるものである。

【図面の簡単な説明】

【図１】本発明の実施の各形態に係るカメラに具備され
る視線検出装置の主要部分の構成を示すブロック図であ
る。

【図２】本発明の実施の第１の形態に係る主要部分の動
作を示すフローチャートである。

【図３】本発明の実施の第２の形態に係る主要部分の動
作を示すフローチャートである。

【図４】本発明の実施の第２の形態におけるセンサ部の
外光除去機能に関係する部分の概略を示す図である。

【図５】本発明の実施の第３の形態に係る主要部分の動
作を示すフローチャートである。

【符号の説明】

１ＭＰＵ（マイクロプロセッシングユニット）２メモリー３センサ装置４ｉＲＥＤ６撮影者の眼球３１イメージゾーン３２メモリーゾーン３４シフトレジスタ３５アンプ３６ドライバー４１イメージゾーン４２メモリゾーン１４２メモリゾーン２

Claims

【特許請求の範囲】

【請求項１】観察者の眼球の画像情報を処理すること
により、前記観察者の視線を検出する視線検出装置にお
いて、前記視線検出を行うための画像情報の取得の前に、照明
状態を異ならせて前記眼球の複数の予備的画像情報を取
得し、該予備的画像情報の処理結果に基づき、前記視線
検出を行う際の画像情報取得時における蓄積時間、照明
光量を決定することを特徴とする視線検出装置。
【請求項２】画像情報を記憶する複数のメモリ領域を
具備する記憶手段を有し、照明状態を異ならせて取得さ
れる前記眼球の複数の予備的画像情報を、前記複数のメ
モリ領域に記憶することを特徴とする請求項１に記載の
視線検出装置。
【請求項３】前記複数のメモリ領域は、画像が形成さ
れるセンサ部と同一チップ上に形成されることを特徴と
する請求項２に記載の視線検出装置。
【請求項４】照明状態を異ならせて前記眼球の複数の
予備的画像情報を取得する蓄積動作を、複数回行うこと
を特徴とする請求項１に記載の視線検出装置。
【請求項５】前記異なる照明状態は、照明手段を点灯
させた状態と、非点灯とした状態であることを特徴とす
る請求項１又は４に記載の視線検出装置。
【請求項６】前記複数回の蓄積動作のうち少なくとも
１回は、外光除去するための蓄積動作であることを特徴
とする請求項４に記載の視線検出装置。
【請求項７】観察者の眼球の画像信号を処理すること
により、前記観察者の視線を検出する視線検出装置にお
いて、前記視線検出を行うための画像情報の取得の前に、比較
的短い蓄積時間での蓄積動作により前記眼球の予備的画
像情報を取得し、該予備的画像情報より、該視線検出装
置と前記眼球までの距離を求め、該距離に基づき、前記
視線検出を行う際の画像情報取得時における蓄積時間、
照明光量を決定することを特徴とする視線検出装置。
【請求項８】前記予備的画像情報より、プルキニエ像
を算出し、該プルキニエ像に基づいて、該視線検出装置
と前記眼球までの距離を求めることを特徴とする請求項
７に記載の視線検出装置。
【請求項９】前記予備的画像情報の処理は、予備的画
像情報の比較的輝度の低い部分の信号を用いることを特
徴とする請求項１又は７に記載の視線検出装置。