JP2003144388A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 投光手段により使用者の眼球を照明し、該眼
球よりの反射光束を受光するセンサの各画素の信号を読
み出して瞳孔中心位置を推定し、その位置より瞳孔エッ
ジを抽出して使用者の視線を検出する視線検出装置にお
いて、瞳孔エッジの抽出を誤差を生じることなく行える
ようにする。 【解決手段】 投光手段により使用者の眼球を照明し、
該眼球よりの反射光束を受光するセンサの各画素の信号
を読み出して瞳孔中心位置を推定し（＃２０３）、その
位置より瞳孔エッジを抽出して使用者の視線を検出する
視線検出装置において、前記瞳孔エッジの抽出を、推定
された前記瞳孔中心より放射方向の各画素の信号を基に
行う（＃２１０）ようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等に用いら
れる視線検出装置の改良に関するものである。

【０００２】

【従来の技術】視線検出装置の瞳孔エッジ検出に関する
従来の発明としては、例えば特開平５−２８５１１３号
がある。この構成は、投光手段からの光束を眼球に入射
させ、該眼球からの反射光束に基づく像を利用して、該
眼球の瞳孔中心の位置を検出する際、まず多数の瞳孔輪
部位置を求め、次いで、該多数の瞳孔輪部位置の平均値
と標準偏差を求め、これらの量によって定められる範囲
内の値を用いて瞳孔中心の検出を行うようになってい
る。これにより、眼球からの反射光束に基づく各特異点
から眼球の視線を求める際に必要な瞳孔中心と瞳孔輪部
を高精度に求めることを可能にしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
従来例では、センサからの出力信号を読み出したライン
毎に処理しているため、瞳孔中心付近を通るラインとそ
うでないラインでは、瞳孔エッジ部分のセンサからの出
力信号の傾きが異なる。にもかかわらず、同じパラメー
ターで瞳孔エッジの抽出を行っているので、「抽出結果
に誤差が生じる」、「抽出が出来ない」などの問題点が
生じた。

【０００４】（発明の目的）本発明の目的は、瞳孔エッ
ジの抽出を誤差を生じることなく行うことのできる視線
検出装置を提供しようとするものである。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の発明は、瞳孔中心位置を推定し、
その位置より瞳孔エッジの抽出処理を開始する視線検出
装置において、推定された前記瞳孔中心より放射方向
に、前記瞳孔エッジの抽出を行う視線検出装置とするも
のである。

【０００６】同じく上記目的を達成するために、請求項
２に記載の発明は、瞳孔中心位置を推定し、その位置を
通る放射状の直線に沿った、センサの各画素の信号を基
に瞳孔エッジの抽出を行う視線検出装置とするものであ
る。

【０００７】同じく上記目的を達成するために、請求項
３に記載の発明は、投光手段により使用者の眼球を照明
し、該眼球よりの反射光束を受光するセンサの各画素の
信号を読み出して瞳孔中心位置を推定し、その位置より
瞳孔エッジを抽出して使用者の視線を検出する視線検出
装置において、前記瞳孔エッジの抽出を、推定された前
記瞳孔中心より放射方向の各画素の信号を基に行う視線
検出装置とするものである。

【０００８】上記構成においては、瞳孔中心を推定し、
その位置より放射方向に瞳孔エッジ抽出を行う等によ
り、出力信号の傾きが大きく異ならない状態で瞳孔エッ
ジの抽出を行う構成にしたものである。

【０００９】なお、瞳孔中心の推定は、 １）本蓄積の蓄積時間や読み出し時のゲンイを決定する
ための処理の際に用いたデータ ２）瞳孔エッジ抽出前に検出されるプルキニエ像の位置 ３）連続して視線検出を行っている場合の前回の検出結
果 から行うようにしている。

【００１０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１１】図１は本発明の実施の第１の形態に係る視
線検出装置の電気的構成を示すブロック図であり、カメ
ラに具備されている場合を想定している。

【００１２】同図において、１はＡ／Ｄ変換部１０を有
するＭＰＵ（マイクロプロセッシングユニット）、２は
メモリー、３は自身のドライバー、アンプを内蔵したセ
ンサ部である。４はｉＲＥＤ（赤外発光ダイオード）で
あり、複数具備されている。５は受光レンズ、６は撮影
者の眼球である。

【００１３】前記センサ部３内において、３０はセン
サ、３１は受光レンズ５によって結像された眼球像を光
電変換するイメージゾーン、３２は光電変換された電荷
が転送され一時的に保持されるメモリーゾーン、３４は
メモリーゾーンの電荷を読み出すためのシフトレジス
タ、３５は線形・非線形読み出しが可能な読み出し用の
アンプ、３６はセンサ３０のドライバーである。なお、
該センサ３０に内蔵されたドライバー３６はｉＲＥＤ４
のドライブ機能も有している。

【００１４】本実施の形態においては、センサ部３から
の画像信号を演算することにより、撮影者の視線を求め
るわけであるが、その原理は以下の通りである。

【００１５】撮影者の眼球６にｉＲＥＤ４により平行光
（もしくは発散光）を照射すると、この光が角膜前面で
反射しｉＲＥＤ４の虚像が生じる。この虚像はプルキニ
エ像と呼ばれるが、その発生位置は眼球の回転角が零の
際は瞳孔中心と一致し、眼球が回転するにつれてプルキ
ニエ像と瞳孔中心の間隔は、回転角の正弦にほぼ比例す
る形で拡がっていく。よって、センサ３０上の画像信号
よりプルキニエ像の位置・瞳孔中心の位置、さらにその
間隔を算出してやれば、眼球の回転角さらには撮影者の
視点を知ることができる（カメラのファインダの光学特
性により、頭部がカメラに対して動いても眼球の回転角
が等しければピント板上の視点は同じである）。

【００１６】次に、上記の原理を用いた本発明の実施の
第１の形態に係る視線検出装置の主要部分の動作につい
て、図２のフローチャートである。なお、以下の説明に
おいて、ｄ[ ｘ、ｙ] は、センサ３０上の画素（ｘ、
ｙ）における画像信号の輝度値を表すものとする。

【００１７】カメラの不図示のスイッチＳＷ１が押され
るなどして視線検出の要求がなされると、ＭＰＵ１は視
線検出のルーチンに入る（＃２００→＃２０１）。そし
て、演算に使用する変数の初期化等の初期化処理（＃２
０１）を行った後、眼鏡の有無・外光の強度等を考慮し
て、蓄積時間、読み出し時のゲインなどの設定を行う。
同時にそのときのカメラの位置（縦位置か横位置か）を
不図示の位置センサから求め、眼鏡の有無を考慮して点
灯するｉＲＥＤ４の選択及び該ｉＲＥＤ４の発光光量の
設定も行う（＃２０２）。この動作をＡＧＣと呼ぶ。

【００１８】本実施の形態で用いるセンサ３０には、セ
ンサの数画素（例えば４×４画素）を一つのブロックと
して、そのブロックの中の画素の平均値を出力するブロ
ック化機能を有している。ＡＧＣはこのセンサの持つブ
ロック化機能を用いて行われる。

【００１９】まず、照明を点灯した状態で予備的蓄積を
行い、ブロックの信号を読み出し、中央部分で比較的輝
度の低いブロックを検出する。そして、中央部分で最も
輝度の低いブロックを検出する。そして、そのブロック
に隣接するブロックの輝度を調べ、その差が一定値以内
なら同じブロック群として扱う。同様にして隣接するブ
ロック更に調べ、同じブロック群とみなせるブロックを
探す。このようなブロック群が複数見つかった場合は、
大きさの最大のものを選択する。信号の中央部分で、比
較的輝度の低い、ある程度大きさを持つこの部分は眼球
の瞳孔部分であると推測されるので、この選択されたブ
ロック群の中心を求める（＃２０３）。これは選択され
たブロック群の上下左右端を見つけ、上下端の平均値を
垂直方向の中心座標Ｙｂｃ、左右端の平均値を水平方向
の中心座標Ｘｂｃとする。

【００２０】そして、この座標（Ｘｂｃ、Ｙｂｃ）を瞳
孔中心の座標とし、後述するようにこの座標（Ｘｂｃ、
Ｙｂｃ）から放射線方向に瞳孔エッジの抽出を行う。

【００２１】ＡＧＣ並びに瞳孔中心の推定が終了したな
らば、本蓄積のステップに移る（＃２０４）。まず、Ｍ
ＰＵ１はクリアモードの動作を行うための指示をドライ
バー３６に対して行う。指示を受けたドライバー３６は
クリア動作を行い、センサ３０のメモリーゾーン・電荷
転送ライン等に残っている電荷を消去する。次いで、Ｍ
ＰＵ１は点灯させるｉＲＥＤ４を選択するためのｉＲＥ
Ｄ選択信号をセンサ３のドライバー３６に送信する。

【００２２】その後、垂直転送パルスを垂直ライン数分
ドライバー３６へ出力し、積分を開始する。ドライバー
３６からは与えられた垂直転送パルスに同期した駆動パ
ルスがセンサ３０の対して出力される。これにより、該
センサ３０の蓄積が開始される。これに同期して、ＭＰ
Ｕ１はｉＲＥＤオン信号をＨｉｇｈにし、選択ｉＲＥＤ
４を点灯する。そして、設定された蓄積時間が経過した
なら、再び垂直転送パルスを垂直ライン数分ドライバー
３６へ出力して積分を終了すると同時に、ｉＲＥＤオン
信号をＬｏｗにし、ｉＲＥＤ４を消灯する。

【００２３】次いで、信号の読み込みと記憶の処理を行
う（＃２０５）。具体的には、ＭＰＵ１はアンプ３５の
ゲインと特性（線形または非線形）を設定する。そし
て、シフトレジスタ３４、アンプ３５を介して１ライン
分の画像信号を順次読み込み、Ａ／Ｄ変換を行い、メモ
リー２にその値を記憶していく。この処理はセンサ３０
のライン数分だけ行う。

【００２４】次いで、ＭＰＵ１はこのデータを使ってプ
ルキニエ像並びに瞳孔エッジの抽出処理を行う（＃２０
６〜＃２１０）。プルキニエ像の抽出に関しては本発明
と直接関係がないので説明は省略する。詳しいプルキニ
エ像の抽出方法については特開平６−１４２０５４号、
特開平６−１４８５０８号などに記載されている。

【００２５】以下、ＡＧＣの際に推定した瞳孔中心（Ｘ
ｂｃ、Ｙｂｃ）より放射状に瞳孔エッジ抽出の処理を開
始する。

【００２６】まず、メモリに記憶された全画素のデータ
から全画面の最小値ＭＩＮを求める（＃２０７）。ただ
し、単純に最小値を求めるのではなく、その画素とそれ
に隣接する４画素からなる５画素のデータのうち最大と
最小の値を除いた３画素の平均値を、その画素の値とし
て全画面の最小値を求める。これにより、センサ３０の
白キズ、黒キズの影響を除去できる。さらに平均値をそ
の画素の値とすることで、ある程度の大きさをもつ輝度
の低い部分の最小値を求めることが出来る。これは瞼の
影などにより生じる小面積の暗い部分の影響も除去でき
る。

【００２７】全画面の最小値ＭＩＮが求まったならば、
これと推定した瞳孔中心（Ｘｂｃ、Ｙｂｃ）の輝度を比
較する（＃２０８）。もし推定した瞳孔中心の信号値と
全画面の最小値の差が所定量より小さければ（ほぼ等し
ければ）、瞳孔中心推定は成功したものとみなし、推定
した瞳孔中心（Ｘｂｃ、Ｙｂｃ）より放射状に瞳孔エッ
ジ抽出を行う（＃２１０）。その動作手順を、図３のス
テップ＃３０１〜＃３１５に示している。

【００２８】具体的には、まず瞳孔径Ｒを推定する。こ
れは水平方向、垂直方向、斜め方向に瞳孔エッジ抽出を
行う際の、それぞれの抽出を行うライン数を設定するた
めの準備である。

【００２９】瞳孔径推定のために瞳孔エッジ抽出開始点
を、推定した瞳孔中心近傍の座標（Ｘｂｃ、Ｙｂｃ−
１）とし、水平方向の瞳孔エッジ抽出を行う。ただし、
これはカメラの姿勢がいわゆる横位置の場合もしくは不
明の場合である。カメラの姿勢を検出する手段を有し、
カメラの姿勢がいわゆる縦位置と判断された場合は、瞳
孔エッジ抽出開始点を推定した瞳孔中心近傍の座標（Ｘ
ｂｃ−１、Ｙｂｃ）とし、垂直方向の瞳孔エッジ抽出を
行う。

【００３０】まず、カウンタのカウント値を減算するこ
とにより、左側の瞳孔エッジの抽出が行われる。

【００３１】ＭＰＵ１は出力信号がｎ画素にわたって単
調減少しているか否かを調べる。すなわち、次式 d[i,Ybc-1] ＜d[i-1,Ybc-1]＜d[i-2,Ybc-1]＜・・・・
＜d[i-(n-1) ,Ybc-1] ＜d[i-n,Ybc-1] が成り立つか否かを調べる。また、この際単調減少が続
いていればその間はカウントを継続し、スロープの長さ
Ｄを求めておく。そして、そのスロープの最小値にあた
るd[i,Ybc-1]が、全画面の最小値ＭＩＮに略等しいかど
うか、すなわち、d[i,Ybc-1]≦MIN+C （ Cは定数）が成
り立つかどうか調べる。さらに、すべてのスロープ内の
画素について隣の画素との差が一定値Ｃde以上かどうか
調べる。例えば、 d[i-1,Ybc-1] −d[i,Ybc-1]・d[i-n,Ybc-1]−d[i-(n-1)
,Ybc-1] ・・・ について調べる。このようにすることによって、信号強
度が最小値に略等しい瞳孔部からある一定値以上の傾斜
をもって立ち上がるスロープ（瞳孔エッジのスロープ）
を抽出することができる。

【００３２】尚ここで、上記の「減算」、「減少」や
「単調減少」の表現に関し、念の為に簡単に説明する。

【００３３】この実施の形態では、座標の方向を、左側
を−方向、右側を＋方向としているので、左側のエッジ
を抽出する際には、カウンタのカウント値を減算するこ
とにより座標をずらしていくことになる。その際、抽出
される画素の信号が徐々に大きくなっていく部分を探
す。この部分は、処理を開始した点からみれば「単調増
加」であるが、座標の向きからすると「単調減少」とな
る。「単調増加」、「単調減少」は同じものが向きによ
って呼び方が変わるので、実質的には同じ意味をなすこ
とになる。後述する、上側のエッジを抽出する場合も同
様に、下側を＋方向としているので、カウンタのカウン
ト値を減算し、単調減少を検索するような説明にしてい
る。

【００３４】次いで、まつげによる輝度変化の影響を取
り除く処理を行う。アップエッジと対になるダウンエッ
ジがその直後にないかどうかを調べることで、いま抽出
したエッジがまつげか否かの判断ができる。

【００３５】上記三条件を満たしたならば（＃３０２，
＃３０３，＃３０４がそれぞれＹＥＳの時を意味す
る）、画素（ｊ−２Ｄ）付近（例えばｊ−２Ｄ±数画
素）を調べもし全画面の最小値（ＭＩＮ）に略等しいも
のがあったなら、この輝度変化はまつげによるものと判
断する。

【００３６】以上の四つの条件（上記三条件＋＃３０５
のＹＥＳを意味する）を満たしたものは瞳孔エッジとみ
なし、左側瞳孔エッジ情報としてその画素番号（ｊ＋ｊ
−Ｄ）／２をメモリー２に記憶する。そののち、ＭＰＵ
１は反対側（右側）の瞳孔エッジを抽出するステップ＃
３０７へ移る。逆に条件を満たさない場合は隣の画素に
移り同様の処理を行う。

【００３７】もしセンサの端の画素（ｊ＝０）に達して
も、上記の四つの条件を満たしたものが抽出されない場
合は右エッジの抽出処理はせず、今処理が終了したライ
ンがＹｂｃ＋１か否かを調べる。もしＹｂｃ＋１であっ
たなら、ＡＧＣの際に求めた瞳孔と思われるブロック群
の大きさから推定瞳孔径Ｒを設定するステップ＃３１７
に進む。

【００３８】左側エッジが抽出されたなら反対側（右
側）の瞳孔エッジを抽出するステップへ移る。この右側
の瞳孔エッジを抽出するステップにおいても同様の処理
が行い、条件を満足した場合はその位置を瞳孔エッジと
みなし、右側瞳孔エッジ情報としてその画素位置をメモ
リに記憶し、水平方向の瞳孔エッジ抽出処理を終了す
る。逆に条件を満たさなかった場合は隣の画素に処理を
移す。

【００３９】もしセンサの端の画素（ｊ＝１ラインの画
素数−１）に達しても、上記の四つの条件を満たしたも
のが抽出されない場合は、今処理が終了したラインがＹ
ｂｃ＋１か否かを調べる。もしＹｂｃ＋１であったな
ら、ＡＧＣの際に求めた瞳孔と思われるブロック群の大
きさから推定瞳孔径Ｒを設定するステップ＃３１７に進
む。

【００４０】左右のエッジが抽出されたならば瞳孔径の
推定を行う。これは抽出された左右の瞳孔エッジの水平
座標の差である。もしこの水平座標の差がＡＧＣの際に
求めた瞳孔と思われるブロック群の大きさに略等しけれ
ば、これを推定瞳孔径Ｒとする。

【００４１】また、今処理が終了したラインをＹｅｎｄ
として記憶する。

【００４２】もし略等しくないならば、今処理が終了し
たラインがＹｂｃ＋１か否かを調べる。もしＹｂｃ＋１
であったなら、ＡＧＣの際に求めた瞳孔と思われるブロ
ック群の大きさから推定瞳孔径Ｒを設定するステップ＃
３１７に進む。

【００４３】以上の処理を、処理が終了したラインがＹ
ｂｃ＋１になるまで続ける。

【００４４】ＡＧＣの際に求めた瞳孔と思われるブロッ
ク群の大きさから水平方向、垂直方向、斜め方向に瞳孔
エッジを行う際の抽出ライン数を設定するステップ＃３
１２では、瞳孔中心推定に使用したブロック群の上下左
右端を用い、上下端の差と左右端の差の平均値を推定瞳
孔径Ｒとする。

【００４５】この推定瞳孔径Ｒから以下の式のようにし
て抽出ライン数を設定する。

【００４６】斜め方向の抽出ライン数Num_oblique ＝Ｉ
ｎｔ（Ｒ／３＋０．７） 水平方向の抽出ライン数Num_hor ＝Ｉｎｔ（Ｒ／３＋
０．４） 垂直方向の抽出ライン数Num_ver ＝Ｉｎｔ（Ｒ／３） ただし、Ｉｎｔ（）内の値を整数化する関数である。又
いずれも結果が偶数の場合は＋１する。これは左右上下
対称に抽出処理を行うためである。

【００４７】抽出ライン数を設定を設定したなら、その
ライン数分だけ、斜め方向、水平方向、垂直方向のエッ
ジ抽出を行う。

【００４８】上記斜め方向のエッジ抽出の手順を示した
のが、図４のステップ＃４０１〜＃４１５である。

【００４９】まず変数を、水平方向の抽出処理開始点の
初期値はＸｏ＝Ｘｂｃ、垂直方向の抽出処理開始点の初
期値ＹｏはＹｏ＝Ｙｂｃ−Ｉｎｔ（Num_oblique ／
２）、処理ライン数ＸＹｎ＝０と初期化する。

【００５０】次いで、水平垂直方向の抽出処理開始点
ｉ，ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして、斜
め右上方向にエッジ抽出処理を開始する。これはｉを加
算、ｊを減算しながら行われる。

【００５１】ＭＰＵ１は出力信号がｎ画素にわたって単
調減少しているか否かを調べる。すなわち、次式 d[i, ｊ] ＜d[i+1,j-1]＜d[i+2,j-2]＜・・・・＜d[i+
(n-1),j-(n-1)]＜d[i+n,j-n] が成り立つか否かを調べる。また、この際単調減少が続
いていればその間はカウントを継続し、スロープの長さ
Ｄを求めておく。次いで、そのスロープの最小値にあた
るd[i,j]が、全画面の最小値ＭＩＮに略等しいかどう
か、すなわち、d[i,j]≦MIN+C （ Cは定数）が成り立つ
かどうか調べる。さらに、すべてのスロープ内の画素に
ついて隣の画素との差が一定値Ｃde以上かどうか調べ
る。例えば、 d[i+1,j-1] −d[i,j]・d[i-n,j-n]−d[i-(n-1) , j-(n-
1)]・・・・ について調べる。このようにすることによって、信号強
度が最小値に略等しい瞳孔部からある一定値以上の傾斜
をもって立ち上がるスロープ（瞳孔エッジのスロープ）
を抽出することができる。

【００５２】次いで、まつげによる輝度変化の影響を取
り除く処理を行う。アップエッジと対になるダウンエッ
ジがその直後にないかどうかを調べることで、いま抽出
したエッジがまつげか否かの判断ができる。

【００５３】上記三条件を満たしたならば、画素（ｉ−
２Ｄ, ｊ−２Ｄ）付近（例えばｉ−２Ｄ±数画素ｊ−２
Ｄ±数画素）を調べ、もし全画面の最小値（ＭＩＮ）に
略等しいものがあったなら、この輝度変化はまつげによ
るものと判断する。

【００５４】以上の四つの条件を満たしたものは瞳孔エ
ッジとみなし、斜め右上の瞳孔エッジ情報としてその座
標（（ｉ＋ｉ＋Ｄ）／２、（ｊ＋ｊ−Ｄ）／２）をメモ
リーに記憶する。そののち、ＭＰＵ１は斜め右下の瞳孔
エッジを抽出するステップへ移る。逆に条件を満たさな
い場合はｉを加算、ｊを減算し、隣の画素に移り同様の
処理を行う。

【００５５】もしセンサ３０の端の画素に達しても上記
の四つの条件を満たしたものが抽出されない場合は、斜
め右上のエッジの抽出処理を終了し、斜め右下の瞳孔エ
ッジを抽出するステップへ移る。

【００５６】まず、水平垂直方向の抽出処理開始点ｉ，
ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして斜め右下
方向に、ｉ、ｊを加算しながらエッジ抽出処理を行う。
この斜め右下の瞳孔エッジを抽出するステップにおいて
も同様の処理が行われる。

【００５７】すなわち、 （１）ｎ画素にわたって単調増加している（スロープの
長さＤを求める）。 （２）スロープの最小値にあたるd[i,j]が最小値（ＭＩ
Ｎ）に略等しい。 （３）すべてのスロープ内の画素について隣の画素との
差が一定値Ｃde以上である。 （４）アップエッジの直後にダウンエッジがない（まつ
げによる輝度の変化ではない）。 の四つの条件を満足した場合は、その位置を瞳孔エッジ
とみなし、斜め右下の瞳孔エッジ情報としてその座標
（（ｉ＋ｉ＋Ｄ）／２、（ｊ＋ｊ＋Ｄ）／２）をメモリ
ー２に記憶する。そののち、ＭＰＵ１は斜め左上の瞳孔
エッジを抽出するステップへ移る。逆に条件を満たさな
い場合はｉ、ｊを加算し、隣の画素に移り同様の処理を
行う。

【００５８】もしセンサの端の画素に達しても、上記の
四つの条件を満たしたものが抽出されない場合は斜め右
下のエッジの抽出処理を終了し、斜め左上の瞳孔エッジ
を抽出するステップへ移る。

【００５９】まず、水平垂直方向の抽出処理開始点ｉ，
ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして、斜め左
上方向に、ｉ，ｊを減算しながらエッジ抽出処理を行
う。この斜め左上の瞳孔エッジを抽出するステップにお
いても同様の処理が行われる。

【００６０】すなわち、 （１）ｎ画素にわたって単調増加している（スロープの
長さＤを求める）。 （２）スロープの最小値にあたるd[i,j]が最小値（ＭＩ
Ｎ）に略等しい。 （３）すべてのスロープ内の画素について隣の画素との
差が一定値Ｃde以上である。 （４）アップエッジの直後にダウンエッジがない（まつ
げによる輝度の変化ではない）。 の四つの条件を満足した場合は、その位置を瞳孔エッジ
とみなし、斜め右下の瞳孔エッジ情報としてその座標
（（ｉ＋ｉ−Ｄ）／２、（ｊ＋ｊ- Ｄ）／２）をメモリ
に記憶する。そののち、ＭＰＵ１は斜め左下の瞳孔エッ
ジを抽出するステップへ移る。逆に条件を満たさない場
合はｉ、ｊを減算し、隣の画素に移り同様の処理を行
う。

【００６１】もしセンサの端の画素に達しても上記の四
つの条件を満たしたものが抽出されない場合は斜め左上
のエッジの抽出処理を終了し、斜め左下の瞳孔エッジを
抽出するステップへ移る。

【００６２】まず、水平垂直方向の抽出処理開始点ｉ，
ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして、斜め右
下方向に、ｉを減算、ｊを加算しながらエッジ抽出処理
を行う。この斜め左下の瞳孔エッジを抽出するステップ
においても同様の処理が行われる。

【００６３】すなわち、 （１）ｎ画素にわたって単調増加している（スロープの
長さＤを求める）。 （２）スロープの最小値にあたるd[i,j]が最小値（ＭＩ
Ｎ）に略等しい。 （３）すべてのスロープ内の画素について隣の画素との
差が一定値Ｃde以上である。 （４）アップエッジの直後にダウンエッジがない（まつ
げによる輝度の変化ではない）。 の四つの条件を満足した場合は、その位置を瞳孔エッジ
とみなし、斜め右下の瞳孔エッジ情報としてその座標
（（ｉ＋ｉ−Ｄ）／２、（ｊ＋ｊ＋Ｄ）／２）をメモリ
ーに記憶する。そののち、ＭＰＵ１は斜めの瞳孔エッジ
を抽出するステップを終了する。逆に条件を満たさない
場合はｉを減算、ｊを加算し、隣の画素に移り同様の処
理を行う。

【００６４】もしセンサの端の画素に達しても、上記の
四つの条件を満たしたものが抽出されない場合は斜め左
下エッジの抽出処理を終了する。

【００６５】上記の処理を、設定されたライン数Num_ob
lique 分行う。

【００６６】次いで、水平方向のエッジ抽出を行う。水
平方向のエッジ抽出の手順を、図５のステップ＃５０１
〜＃５１２に示す。

【００６７】まず、変数を、垂直方向の抽出処理開始点
ｊはｊ＝Ｙｂｃ−Ｉｎｔ（Num_hor／２）、処理ライン
数Ｘｎ＝０と初期化する。

【００６８】まず垂直方向の抽出処理開始点ｊが、既に
推定瞳孔径Ｒを求める際に抽出が行われたラインである
か否かを調べる。既に処理済みであったならば、処理を
次のラインに移す。

【００６９】以下の場合が既に処理済みである。 （１） ｊ＝Ｙｂｃ−１の場合 （２） ｊ＝Ｙｂｃかつ推定瞳孔径を求めた際の最終の
ラインＹｅｎｄ＞＝Ｙｂｃの場合 （３） ｊ＝Ｙｂｃ＋１かつ推定瞳孔径を求めた際の最
終のラインＹｅｎｄ＝Ｙｂｃ＋１の場合 抽出処理のステップでは、まず水平方向の抽出処理開始
点ｉはｉ＝Ｘｂｃと初期化した後、左方向にｉを減算し
ながらエッジ抽出処理を行う。この水平方向左側瞳孔エ
ッジを抽出するステップにおいても同様の処理を行い、
条件を満足した位置をメモリー２に記憶する。

【００７０】次いで、水平方向の抽出処理開始点ｉはｉ
＝Ｘｂｃと初期化した後、右方向にｉを加算しながらエ
ッジ抽出処理を行う。この水平方向右側瞳孔エッジを抽
出するステップにおいても同様の処理を行い、条件を満
足した位置をメモリーに記憶する。

【００７１】上記の処理を設定されたライン数Num_hor
分行う。

【００７２】更に垂直方向のエッジ抽出を行う。垂直方
向のエッジ抽出の手順を示したのが、ステップ＃６０１
〜＃６０９である。

【００７３】まず変数を、水平方向の抽出処理開始点ｉ
はｉ＝Ｘｂｃ−Ｉｎｔ（Num_ver ／２）、処理ライン数
Ｙｎ＝０と初期化する。そして、垂直方向の抽出処理開
始点ｊはｊ＝Ｙｂｃと初期化した後、上方向にｊを減算
しながらエッジ抽出処理を行う。この垂直方向上側瞳孔
エッジを抽出するステップにおいても同様の処理を行
い、条件を満足した位置をメモリー２に記憶する。

【００７４】次いで、垂直方向の抽出処理開始点ｊはｊ
＝Ｙｂｃと初期化した後、下方向にｊを加算しながらエ
ッジ抽出処理を行う。この垂直方向下側瞳孔エッジを抽
出するステップにおいても同様の処理を行い、条件を満
足した位置をメモリー２に記憶する。

【００７５】上記の処理を設定されたライン数Num_ver
分行う。

【００７６】逆に瞳孔中心の値と全画面の最小値の差が
大きければ瞳孔中心推定は失敗したものとみなし（図２
のステップ＃２０９）、ステップ＃２１０に進み、以下
に示すような従来の１ライン毎の瞳孔エッジ抽出を行
う。

【００７７】その動作手順を示したのが、図７のステッ
プ＃７０１〜＃７１３である。

【００７８】まず、１ライン分のデータを読み込み、こ
のデータよりこのラインにおける最小値ＭＩＮＬ並びに
その座標を求める。もしこの最小値ＭＩＮＬが全画面の
最小値ＭＩＮに略等しい値なら処理を継続するが、そう
でなければこのラインにおける水平方向の瞳孔エッジの
抽出は行われない。

【００７９】瞳孔エッジの抽出は、水平方向の瞳孔エッ
ジ抽出から行う。水平方向の瞳孔エッジ抽出は最小値Ｍ
ＩＮＬの座標より開始する。まずカウンタのカウント値
を減算することにより左側の瞳孔エッジの抽出が行われ
る。

【００８０】ＭＰＵ１は出力信号がｎ画素にわたって単
調減少しているか否かを調べる。すなわち、次式 d[j] ＜d[j-1]＜d[j-2]＜・・・・・・＜d[j-(n-1)]＜d
[j-n] が成り立つか否かを調べる。また、この際単調減少が続
いていればその間はカウントを継続し、スロープの長さ
Ｄを求めておく。次いで、そのスロープの最小値にあた
るd[j]が、全画面の最小値ＭＩＮに略等しいかどうか、
すなわち、d[j]≦MIN+C （ Cは定数）が成り立つかどう
か調べる。さらにすべてのスロープ内の画素について隣
の画素との差が一定値Ｃde以上かどうか調べる。例え
ば、 d[j-1]−d[j]・d[j-n]−d[j-(n-1)]・・・・ について調べる。このようにすることによって、信号強
度が最小値に略等しい瞳孔部からある一定値以上の傾斜
をもって立ち上がるスロープ（瞳孔エッジのスロープ）
を抽出することができる。

【００８１】次いで、まつげによる輝度変化の影響を取
り除く処理を行う。アップエッジと対になるダウンエッ
ジがその直後にないかどうかを調べることで、いま抽出
したエッジがまつげか否かの判断ができる。

【００８２】上記三条件を満たしたならば、画素（ｊ−
２Ｄ）付近（例えばｊ−２Ｄ±数画素）を調べもし全画
面の最小値（ＭＩＮ）に略等しいものがあったなら、こ
の輝度変化はまつげによるものと判断する。

【００８３】以上の四つの条件を満たしたものは瞳孔エ
ッジとみなし、左側瞳孔エッジ情報としてそのライン番
号Ｌと画素番号（ｊ＋ｊ−Ｄ）／２をメモリー２に記憶
する。そののち、ＭＰＵ１は反対側（右側）の瞳孔エッ
ジを抽出するステップへ移る。逆に条件を満たさない場
合は隣の画素に移り同様の処理を行う。

【００８４】この反対側の瞳孔エッジを抽出するステッ
プにおいても同様の処理が行われる。すなわち、 （１）ｎ画素にわたって単調増加している（スロープの
長さＤを求める）。

【００８５】（２）スロープの最小値にあたるd[j]が最
小値（ＭＩＮ）に略等しい。

【００８６】（３）すべてのスロープ内の画素について
隣の画素との差が一定値Ｃde以上である。

【００８７】（４）アップエッジの直後にダウンエッジ
がない（まつげによる輝度の変化ではない）。の四つの
条件を満足した場合はその位置を瞳孔エッジとみなし、
右側瞳孔エッジ情報としてそのライン番号Ｌと画素番号
（ｊ＋ｊ＋Ｄ）／２をメモリー２に記憶し、水平方向の
瞳孔エッジ抽出処理を終了する。逆に条件を満たさなか
った場合は隣の画素に処理を移す。

【００８８】次いで、垂直方向の瞳孔エッジの抽出を行
う。

【００８９】垂直方向の瞳孔エッジ抽出も最小値ＭＩＮ
Ｌの座標より開始する。まずカウンタのカウント値を減
算することにより上側の瞳孔エッジの抽出が行われる。
これも水平方向と同様な四条件を満たすか否かを調べる
ことにより行われる。条件を満足した場合はその位置を
瞳孔エッジとみなし、上側瞳孔エッジ情報としてそのラ
イン番号（Ｌ＋Ｌ−Ｄ）／２と画素番号ｊをメモリー２
に記憶する。

【００９０】下側瞳孔エッジ抽出処理も同様に四条件を
満たすか否かを調べることにより行われる。条件を満足
した場合はその位置を瞳孔エッジとみなし、下側瞳孔エ
ッジ情報としてそのライン番号（Ｌ＋Ｌ＋Ｄ）／２と画
素番号ｊをメモリー２に記憶する。

【００９１】全画面についてこの抽出処理が終了したな
らばプルキニエ像・瞳孔エッジの選択の処理を行う。そ
して、選択された瞳孔エッジを用いて瞳孔中心及び瞳孔
径を求める。この方法としては最小二乗法を用いればよ
い。

【００９２】その後、ＭＰＵ１はプルキニエ像と瞳孔中
心の位置を用いて眼球の回転角、さらには個人差補正等
を行いカメラピント板上での視点位置を演算する。そし
て、この視点からＡＦの指示がなされた際に焦点検出を
行うエリア、いわゆるＡＦエリア並びに露出制御を行う
ＡＥエリアを決定する。

【００９３】そして、ＡＦ、ＡＥ動作の要求がなされた
ならば、ＡＦ動作と測光を行う。ＡＦ動作は、まずＭＰ
Ｕ１がセンサから決定されたＡＦエリアに対応する部分
の信号を読み込み、その信号を演算することによりレン
ズ駆動量を求める。その後、レンズ駆動ユニットを制御
し焦点調整を行う。また、ＭＰＵ１は測光センサからの
信号に基づき指定された撮影モードにしたがって露出定
数（シャッタ速度、絞り値・・・・）を求める。

【００９４】その後、レリーズ要求がなされたならば算
出された絞り値への絞りの駆動、シャッタの開閉、フィ
ルムの巻き上げなどのレリーズに関連する一連の動作を
行う。

【００９５】なお、本実施の第１の形態においては、推
定瞳孔中心をＡＧＣの際に用いるブロックの情報から求
めているが、推定の方法はこれに限定されるものではな
い。

【００９６】例えば、瞳孔エッジ検出に先立って求めら
れるプルキニエ像の位置より推定することも可能であ
る。またキャリブレーションや連続撮影などで直前に視
線検出を行っている場合は、その検出結果を用いること
も出来る。

【００９７】（実施の第２の形態）図８に本発明の実施
の第２の形態に係る視線検出装置のブロック図を示すも
のであり、カメラに具備された場合を想定している。

【００９８】同図において、１はＡ／Ｄ変換部１０やＩ
／Ｏポート１１、通信ポート１２を有するＭＰＵ１（マ
イクロプロセッシングユニット）、２はメモリ、３は自
身のドライバー、アンプを内蔵したセンサ部である。４
はｉＲＥＤであり、複数具備されている。５は受光レン
ズ、６は撮影者の眼球である。

【００９９】前記センサ部３内において、３０はセン
サ、３１は受光レンズ５によって結像された眼球像を光
電変換するイメージゾーン、３２は光電変換された電荷
が転送され一時的に保持されるメモリーゾーン、３５は
線形・非線形読み出しが可能な読み出し用のアンプ、３
６はセンサのドライバー、３７はバッファである。な
お、センサ部３に内蔵されたドライバー３６はメモリー
ゾーンの各要素に直接アクセス可能な構成をしている。
また、ｉＲＥＤ４のドライブ機能も有している。

【０１００】本実施の形態においては、メモリーゾーン
に記憶された各要素に対して直接アクセスし、処理に必
要なデータを取得し演算を行う。

【０１０１】図９に、本発明の実施の第２の形態におけ
る視線検出装置の主要部分の動作を示す。なお、上記実
施の第１の形態と同様な動作を行う部分については詳細
な説明を省略する。

【０１０２】図９において、初期化、ＡＧＣを行い、Ａ
ＧＣの際に読み出したブロック信号から推定瞳孔中心
（Ｘｂｃ，Ｙｂｃ）を求める（＃９００〜＃９０３）。

【０１０３】次いで、本蓄積（＃９０４）を開始し、Ａ
ＧＣによって算出された所定時間が経過したならば、本
蓄積を終了し、イメージゾーン３１の電荷をメモリーゾ
ーン３２へ転送する。転送が終了したならば、ＭＰＵ１
はこのデータを使ってプルキニエ像並びに瞳孔エッジの
抽出処理を行う（＃９０５）。プルキニエ像の抽出に関
しては本発明と直接関係がないので説明は省略する。詳
しいプルキニエ像の抽出方法については、特開平６−１
４２０５４号、特開平６−１４８５０８号などに記載さ
れている。

【０１０４】プルキニエ像の抽出はＡＧＣの結果などか
ら限定された領域で行う。ここでは、限定された領域の
みを読み出し、抽出処理を行う。

【０１０５】具体的には、ＭＰＵ１はセンサ３０のドラ
イバー３６に対して読み出したい画素に相当する信号を
与える。信号を与えられたドライバー３６はそれに相当
するスイッチをオンにする。オンされたスイッチを介し
てバッファ３７に所望の信号が出力される。この出力は
アンプ３５で増幅され、ＭＰＵ１のＡ／Ｄ変換部１０に
供給される。それと同時にＩ／Ｏポートを介してＴＲＧ
信号がドライバー３６から供給されるので、ＭＰＵ１は
このタイミングでＡ／Ｄ変換を行う。また、プルキニエ
像抽出の際に読み出された領域における最低値ＭＩＮを
求める。

【０１０６】次に、ＡＧＣの際に推定した瞳孔中心（Ｘ
ｂｃ、Ｙｂｃ）より放射状に瞳孔エッジ抽出の処理を開
始する。まず、ＡＧＣの際に推定した瞳孔中心（Ｘｂ
ｃ、Ｙｂｃ）に対応する画素を読み出す。これはＭＰＵ
１からセンサ３０のドライバー３６に（Ｘｂｃ、Ｙｂ
ｃ）に相当する信号を与え、ＴＲＧ信号に同期してＡ／
Ｄ変換を行う。そしてその値を最小値ＭＩＮと比較す
る。もし推定した瞳孔中心に対応する画素の信号値と最
小値の差が所定量より小さければ、瞳孔中心推定は成功
したものとみなし、推定した瞳孔中心（Ｘｂｃ、Ｙｂ
ｃ）より放射状に瞳孔エッジ抽出を行うステップ＃９０
７に進む。

【０１０７】放射状に瞳孔エッジ抽出を行うステップの
動作手順は、前述の図３のステップ＃３０１〜＃３１５
に示した通りである。

【０１０８】つまり、瞳孔径Ｒを推定する。これは水平
方向、垂直方向、斜め方向に瞳孔エッジを行う際のそれ
ぞれの抽出を行うライン数を設定するための準備であ
る。

【０１０９】瞳孔径推定のために瞳孔エッジ抽出開始点
を推定した瞳孔中心近傍の座標（Ｘｂｃ、Ｙｂｃ−１）
とし、水平方向の瞳孔エッジ抽出を行う。ただしこれは
カメラの姿勢がいわゆる横位置の場合もしくは不明の場
合である。カメラの姿勢を検出する手段を有し、カメラ
の姿勢がいわゆる縦位置と判断された場合は、瞳孔エッ
ジ抽出開始点を推定した瞳孔中心近傍の座標（Ｘｂｃ−
１、Ｙｂｃ）とし、垂直方向の瞳孔エッジ抽出を行う。

【０１１０】具体的には、ＭＰＵ１はセンサ３０のドラ
イバー３６に対してライン番号に相当する部分は変えず
に画素番号に相当する部分を変更した信号を与え、Ｉ／
Ｏポート１１に入力するＴＲＧ信号に同期して１ライン
分の信号を読み出し、読み出された信号を用い、水平方
向の左側瞳孔エッジの抽出処理を行う。具体的な処理内
容は実施の第１の形態と同様なので省略する。

【０１１１】そして条件を満たしたものを、左側瞳孔エ
ッジとして記憶する。同様にして水平方向の左側瞳孔エ
ッジの抽出処理を行う左右のエッジが抽出されたならば
瞳孔径の推定を行う。これは抽出された左右の瞳孔エッ
ジの水平座標の差である。もしこの水平座標の差がＡＧ
Ｃの際に求めた瞳孔と思われるブロック群の大きさに略
等しければ、これを推定瞳孔径Ｒとする。また、今処理
が終了したラインをＹｅｎｄとして記憶する。

【０１１２】もし略等しくないならば、今処理が終了し
たラインがＹｂｃ＋１か否かを調べる。もしＹｂｃ＋１
であったなら、ＡＧＣの際に求めた瞳孔と思われるブロ
ック群の大きさから推定瞳孔径Ｒを設定するステップに
進む。

【０１１３】以上の処理を、処理が終了したラインがＹ
ｂｃ＋１になるまで続ける。

【０１１４】ＡＧＣの際に求めた瞳孔と思われるブロッ
ク群の大きさから水平方向、垂直方向、斜め方向に瞳孔
エッジを行う際の抽出ライン数を設定するステップで
は、瞳孔中心推定に使用したブロック群の上下左右端を
用い、上下端の差と左右端の差の平均値を推定瞳孔径Ｒ
とする。

【０１１５】この推定瞳孔径Ｒから以下の式のようにし
て抽出ライン数を設定する。

【０１１６】斜め方向の抽出ライン数Num_oblique ＝Ｉ
ｎｔ（Ｒ／３＋０．７） 水平方向の抽出ライン数Num_hor ＝Ｉｎｔ（Ｒ／３＋
０．４） 垂直方向の抽出ライン数Num_ver ＝Ｉｎｔ（Ｒ／３） ただし、Ｉｎｔ（）内の値を整数化する関数である。ま
た、いずれも結果が偶数の場合は＋１する。これは左右
上下対称に抽出処理を行うためである。

【０１１７】抽出ライン数を設定が設定されたなら、そ
のライン数分だけ斜め方向、水平方向、垂直方向のエッ
ジ抽出を行う。

【０１１８】斜め方向のエッジ抽出の手順は、図４のス
テップ＃４０１〜＃４１５に示した通りである。

【０１１９】つまり、まず変数を、水平方向の抽出処理
開始点の初期値はＸｏ＝Ｘｂｃ、垂直方向の抽出処理開
始点の初期値ＹｏはＹｏ＝Ｙｂｃ−Ｉｎｔ（Num_obliqu
e ／２）、処理ライン数ＸＹｎ＝０と初期化する。次い
で、水平垂直方向の抽出処理開始点ｉ，ｊをｉ＝Ｘｏ、
ｊ＝Ｙｏとセットする。そして、斜め右上方向にエッジ
抽出処理を開始する。これはｉを加算、ｊを減算しなが
ら行われる。

【０１２０】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて斜め右上方向にエッジ抽出を行う。具体的な
処理内容は、上記実施の第１の形態と同様なので省略す
る。

【０１２１】次いで、斜め右下の瞳孔エッジを抽出する
ステップを実行する。まず、水平垂直方向の抽出処理開
始点ｉ，ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして
斜め右下方向に、ｉ、ｊを加算しながらエッジ抽出処理
を行う。

【０１２２】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて斜め右下方向にエッジ抽出を行う。具体的な
処理内容は、上記実施の第１の形態と同様なので省略す
る。

【０１２３】次に、斜め左上の瞳孔エッジを抽出するス
テップへ移る。まず、水平垂直方向の抽出処理開始点
ｉ，ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして、斜
め左上方向に、ｉ,jを減算しながらエッジ抽出処理を行
う。

【０１２４】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて斜め左上方向にエッジ抽出を行う。具体的な
処理内容は、上記実施の第１の形態と同様なので省略す
る。

【０１２５】次に、斜め左下の瞳孔エッジを抽出するス
テップへ移る。まず、水平垂直方向の抽出処理開始点
ｉ，ｊをｉ＝Ｘｏ、ｊ＝Ｙｏとセットする。そして、斜
め右下方向に、ｉを減算、ｊを加算しながらエッジ抽出
処理を行う。

【０１２６】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて斜め左下方向にエッジ抽出を行う。具体的な
処理内容は、上記実施の第１の形態と同様なので省略す
る。

【０１２７】上記の処理を、設定されたライン数Num_ob
lique 分行う。

【０１２８】次いで、水平方向のエッジ抽出を行う。水
平方向のエッジ抽出の手順は、図５のステップ＃５０１
〜＃５１０に示した通りである。

【０１２９】つまり、まず変数を、垂直方向の抽出処理
開始点ｊはｊ＝Ｙｂｃ−Ｉｎｔ（Num_hor ／２）、処理
ライン数Ｘｎ＝０と初期化する。そして、垂直方向の抽
出処理開始点ｊ、既に推定瞳孔径Ｒを求める際に抽出が
行われたラインであるか否かを調べる。既に処理済みで
あったならば、処理を次のラインに移す。

【０１３０】以下の場合が既に処理済みである。

【０１３１】（４） ｊ＝Ｙｂｃ−１の場合 （５） ｊ＝Ｙｂｃかつ推定瞳孔径を求めた際の最終の
ラインＹｅｎｄ＝Ｙｂｃの場合 （６） ｊ＝Ｙｂｃ＋１かつ推定瞳孔径を求めた際の最
終のラインＹｅｎｄ＝Ｙｂｃ＋１の場合 抽出処理のステップでは、まず水平方向の抽出処理開始
点ｉはｉ＝Ｘｂｃと初期化した後、左方向にｉを減算し
ながらエッジ抽出処理を行う。

【０１３２】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて左方向にエッジ抽出を行う。具体的な処理内
容は、上記実施の第１の形態と同様なので省略する。

【０１３３】次いで、水平方向の抽出処理開始点ｉはｉ
＝Ｘｂｃと初期化した後、右方向にｉを加算しながらエ
ッジ抽出処理を行う。この水平方向右側瞳孔エッジを抽
出するステップにおいても同様の処理が行われる。

【０１３４】上記の処理を設定されたライン数Num_hor
分行う。

【０１３５】更に垂直方向のエッジ抽出を行う。垂直方
向のエッジ抽出の手順は、図６のステップ＃６０１〜＃
６０９に示した通りである。

【０１３６】つまり、まず変数を、水平方向の抽出処理
開始点ｉはｉ＝Ｘｂｃ−Ｉｎｔ（Num_ver ／２）、処理
ライン数Ｙｎ＝０と初期化する。そして、垂直方向の抽
出処理開始点ｊはｊ＝Ｙｂｃと初期化した後、上方向に
ｊを減算しながらエッジ抽出処理を行う。

【０１３７】ＭＰＵ１からセンサ３０のドライバー３６
に（ｉ、ｊ）に相当する信号を与え、ＴＲＧ信号に同期
してＡ／Ｄ変換を行う。そして、そのＡ／Ｄ変換された
値を用いて上方向にエッジ抽出を行う。具体的な処理内
容は、上記実施の第１の形態と同様なので省略する。

【０１３８】次いで、垂直方向の抽出処理開始点ｊはｊ
＝Ｙｂｃと初期化した後、下方向にｊを加算しながらエ
ッジ抽出処理を行う。この垂直方向下側瞳孔エッジを抽
出するステップにおいても同様の処理が行われる。

【０１３９】上記の処理を設定されたライン数Num_ver
分行う。

【０１４０】逆に瞳孔中心の値と全画面の最小値の差が
大きければ瞳孔中心推定は失敗したものとみなし（図９
ステップ＃９０６のＮＯ）、ステップ＃９０８に進み、
従来の１ラインごとの瞳孔エッジ抽出を行う。

【０１４１】まず、水平方向の瞳孔エッジ抽出を行う。
ＭＰＵ１はセンサ３０に対してライン番号に相当する部
分は変えずに画素番号に相当する部分を変更した信号を
与え、１ライン分の信号を読み出しながら瞳孔エッジの
抽出処理を行う。垂直方向の瞳孔エッジ抽出は逆に、画
素番号に相当する部分は変えずにライン番号に相当する
部分を変更した信号を与え、１ライン分の信号を読み出
しながら瞳孔エッジの抽出処理を行う。具体的な処理内
容は、上記実施の第１の形態と同様なので省略する。

【０１４２】全画面についてこの抽出処理が終了したな
らば、プルキニエ像・瞳孔エッジの選択の処理、眼球の
回転角、さらには個人差補正等を行い、カメラのピント
板上での視点位置を演算する。以下、上記実施の第１の
形態と同様な動作を行う。

【０１４３】以上の実施の各形態によれば、瞳孔中心を
推定し、その位置より放射方向に瞳孔エッジ抽出を行う
ことにより、どの瞳孔エッジ抽出処理においても瞳孔エ
ッジ部分の、センサ３０からの出力信号の傾きがほとん
ど等しい状態で抽出処理を行うことを可能にした。その
結果、抽出結果における誤差、抽出不能の確率を低減す
ることが可能となった。

【０１４４】また、実施の第２の形態によれば、センサ
３０のメモリーゾーン３２から直接画素信号の読み出し
処理を行うため、ＭＰＵ１側に読み込んだ信号を記憶し
ておくメモリー領域が不要となる。そのため、システム
全体のコストを抑えることが出来る。

【０１４５】

【発明の効果】以上説明したように、本発明によれば、
瞳孔エッジの抽出を誤差を生じることなく行うことがで
きる視線検出装置を提供できるものである。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る視線検出装置
の電気的構成を示すブロック図である。

【図２】本発明の実施の第１の形態に係る視線検出装置
の動作を示すフローチャートである。

【図３】本発明の実施の第１及び第２の形態において推
定した瞳孔中心より放射状に行う瞳孔エッジ抽出動作に
ついて説明する為のフローチャートである。

【図４】同じく本発明の実施の第１及び第２の形態にお
いて推定した瞳孔中心より放射状に行う瞳孔エッジ抽出
動作について説明する為のフローチャートである。

【図５】同じく本発明の実施の第１及び第２の形態にお
いて推定した瞳孔中心より放射状に行う瞳孔エッジ抽出
動作について説明する為のフローチャートである。

【図６】同じく本発明の実施の第１及び第２の形態にお
いて推定した瞳孔中心より放射状に行う瞳孔エッジ抽出
動作について説明する為のフローチャートである。

【図７】本発明の実施の第１の形態において１ライン毎
の瞳孔エッジ抽出の動作を示すフローチャートである。

【図８】本発明の実施の第２の形態に係る視線検出装置
の電気的構成を示すブロック図である。

【図９】本発明の実施の第２の形態に係る視線検出装置
の動作を示すフローチャートである。

【符号の説明】

１ ＭＰＵ（マイクロプロセッシングユニット） ２ メモリー ３ 自身のドライバー、アンプを内蔵したセンサ部 ４ ｉＲＥＤ ３０ センサ ３１ イメージゾーン ３２ メモリーゾーン ３４ シフトレジスタ ３５ 線形・非線形読み出しが可能な読み出し用のアン
プ ３６ ドライバー

Claims (8)

【特許請求の範囲】
1. 【請求項１】 瞳孔中心位置を推定し、その位置より瞳
   孔エッジの抽出処理を開始する視線検出装置において、
   推定された前記瞳孔中心より放射方向に、前記瞳孔エッ
   ジの抽出を行うことを特徴とする視線検出装置。
2. 【請求項２】 瞳孔中心位置を推定し、その位置を通る
   放射状の直線に沿った、センサの各画素の信号を基に瞳
   孔エッジの抽出を行うことを特徴とする視線検出装置。
3. 【請求項３】 投光手段により使用者の眼球を照明し、
   該眼球よりの反射光束を受光するセンサの各画素の信号
   を読み出して瞳孔中心位置を推定し、その位置より瞳孔
   エッジを抽出して使用者の視線を検出する視線検出装置
   において、前記瞳孔エッジの抽出を、推定された前記瞳
   孔中心より放射方向の各画素の信号を基に行うことを特
   徴とする視線検出装置。
4. 【請求項４】 前記瞳孔中心の推定は、本蓄積の蓄積時
   間や読み出しゲインを決定するための処理の際に得られ
   るデータをもとに行うことを特徴とする請求項１〜３の
   何れかに記載の視線検出装置。
5. 【請求項５】 前記瞳孔中心の推定は、瞳孔エッジ抽出
   前に検出されるプルキニエ像の位置を基に行うことを特
   徴とする請求項１〜３の何れかに記載の視線検出装置。
6. 【請求項６】 前記瞳孔中心の推定は、連続して視線検
   出を行っている場合の前回の検出結果を基に行うことを
   特徴とする請求項１〜３の何れかに記載の視線検出装
   置。
7. 【請求項７】 前記瞳孔中心の推定結果が正しいかを判
   定する判定手段を有することを特徴とする請求項１〜３
   の何れかに記載の視線検出装置。
8. 【請求項８】 前記判定手段は、瞳孔中心における信号
   値を基に推定結果が正しいかを判定することを特徴とす
   る請求項７に記載の視線検出装置。