JP2007268029A - 瞳孔検出装置及び方法 - Google Patents

Abstract

【課題】 特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれの問題を解消して、ロバスト性の高い瞳孔の検出装置及び方法を提供することを目的とする。
【解決手段】 ローリングシャッター方式のイメージセンサを有し、イメージセンサの交互のライン毎に、明瞳孔画像データと暗瞳孔画像データを得る撮像手段２と、撮像手段２により得られたライン毎の明瞳孔画像データと暗瞳孔画像データとの差分をとって瞳孔を検出する画像解析手段４とを備える。
【選択図】 図１

Description

本発明は、撮影した画像によって、対象者の瞳孔を検出する装置及び方法に関するものである。

対象者の瞳孔を検出する技術は、例えば、自動車を運転中の対象者の視線や視線変化を検知することで居眠り運転を予防することや、また、対象者の瞳孔の動きによって指を用いることなくコンピュータへの入力を行う瞳孔マウスにも活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献１では、瞳孔と角膜反射点との関係位置から対象者の視線を検出する技術を開示している。特許文献２では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献３では、瞳孔と鼻孔の位置を検出して頭部の方向を決定する技術を開示している。特許文献４では、瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。

これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔又は暗瞳孔のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができ、瞳孔検出の低コスト化とロバスト性向上を図ることができる。

なお、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。

さらに、本発明者は、２つの光源での点灯を切り替えて照射を行うことなく、網膜での反射率の異なる波長の光源を同時に点灯させた状態で、対象者の顔の撮影を行い、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得て、それらの画像の差分を行う技術についての特許出願１，２をしている。
[特許文献１]特開２００５−１８５４３１号公報
[特許文献２]特開２００５−１８２２４７号公報
[特許文献３]特開２００５−２６６８６８号公報
[特許文献４]特開２００５−１９８７４３号公報
[特許出願１]特願２００５−２４１７２８号
[特許出願２]特願２００５−３０６９６１号

しかし、特許文献１〜４の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の２つの光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、ＮＴＳＣ方式のカメラ撮影における１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、１／６０秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになる。図５（A）に示すように、明瞳孔の画像P１と暗瞳孔の画像P２が一部ずれた場合、その重なった斜線の部分だけにしか差分の効果が現れない。これがさらにずれると、重なり部分が無くなって全く差分の効果が出ず、瞳孔検出が困難になる。また、明瞳孔、暗瞳孔撮影時のシャッターを開いている間に顔が移動すると、図５（B）のように瞳孔画像がぶれることになる。（C）のようにぶれた明瞳孔画像P１と暗瞳孔画像P２でも、一部が重なれば、斜線部分には一応の差分効果は現れる。しかし、図６に示すように、瞳孔の近くでメガネの反射等の高輝度の部分があると、その画像ｄ１、ｄ２は、両画像が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても斜線部分のように高輝度部分として残るために瞳孔の画像P１、P２と区別が付かなくなることもある。このように、明瞳孔の画像と暗瞳孔の画像がずれると、瞳孔を精度よく検出することが困難になる。
また、特許出願１，２の技術によれば、異なる波長の光を同時に照射して、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得ることから、時間差を生じないが、波長分離をするための設備や２つの波長での撮影用の２台のカメラが必要なことや、波長分離のための作業が必要等の問題が生じる。

本発明は、これらの問題を解決するためになされたものであり、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれの問題を解消して、ロバスト性の高い瞳孔の検出装置及び方法を提供することを目的とする。

このような目的を達成するために、本発明の瞳孔検出装置は、ローリングシャッター方式のイメージセンサを有し、イメージセンサの交互のライン毎に、明瞳孔画像データと暗瞳孔画像データを得る撮像手段と、撮像手段により得られたライン毎の明瞳孔画像データと暗瞳孔画像データとの差分をとって瞳孔を検出する画像解析手段とを備えるものである。

本発明によれば、ローリングシャッター方式によって撮影されるイメージセンサのラインどうしの間の撮影時間差は、非常に短いものであることから、時間差に基づくずれのほとんどない明瞳孔画像と暗瞳孔画像を撮像手段において得ることができ、画像解析手段において、それら明瞳孔画像と暗瞳孔画像のデータの差分をすることで、瞳孔部分を際立たせて容易に瞳孔を検出することができる。

また、本発明において、撮像手段をカメラの光軸に近い光源と遠い光源を有することとした場合は、２つの光源の位置を変えて設置するだけで、それぞれの光源の点灯時に、明瞳孔画像データ又は暗瞳孔画像データを得ることができる。

また、本発明において、撮像手段を互いに波長の異なる２つの光源を有することとした場合は、必ずしも設置位置によらず、それぞれの光源の点灯時に、明瞳孔画像データ又は暗瞳孔画像データを得ることができる。

また、本発明において、撮像手段を、イメージセンサのライン毎に、異なる波長に対応する２種類のバンドパスフィルタが交互にそれぞれ配置されていることとする場合は、光源を区別して設ける必要がなく、イメージセンサのライン毎に、明瞳孔画像と暗瞳孔画像を得ることができる。

また、本発明において、画像解析手段を、隣接するラインの明瞳孔画像データと暗瞳孔画像データとの差分をとって瞳孔を検出することとする場合は、特段のデータの加工を伴わずに隣接するほとんど時間差の無いデータどうしの差分を取ることができる。

また、本発明において、画像解析手段を、最も近いラインの明瞳孔画像データどうし又は暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとって瞳孔を検出することとする場合は、イメージセンサのラインどうしの位置のずれを解消し、かつ分解能を高めた画像解析とすることができる。

また、本発明の瞳孔検出方法は、ローリングシャッター方式のイメージセンサのライン毎に、明瞳孔と暗瞳孔を交互に撮影して、ライン毎の明瞳孔画像データと暗瞳孔画像データを得た後、ライン毎の明瞳孔画像データと暗瞳孔画像データとの差分をとって瞳孔を検出するものである。

本発明によれば、ローリングシャッター方式によって撮影されるイメージセンサのラインどうしの間の撮影時間差は、非常に短いものであることから、ほとんどずれのない明瞳孔画像データと暗瞳孔画像データを得ることができ、それら明瞳孔画像データと暗瞳孔画像データの差分をすることで、瞳孔部分を際立たせて容易に瞳孔を検出することができる。

また、本発明において、ライン毎に明瞳孔と暗瞳孔を交互に撮影する際に、複数ラインを同時に露光して、ライン毎の明瞳孔画像データと暗瞳孔画像データを得ることとする場合は、１つのラインについて複数回露光させることが可能となり、必要に応じて露光時間を増やすことができる。

また、本発明において、明瞳孔と暗瞳孔の撮影は、カメラの光軸に近い光源と遠い光源の点灯を交互に切り替えて行うこととする場合は、２つの光源の位置を変えて設置するだけで、それぞれの光源の点灯時に、明瞳孔画像データ又は暗瞳孔画像データを得ることができる。

また、本発明において、明瞳孔と暗瞳孔の撮影は、互いに波長の異なる光源の点灯を交互に切り替えて行うこととする場合は、必ずしも光源の設置位置にかかわらず、互いに波長の異なる光源を点灯して、それぞれの光源の点灯時に、明瞳孔画像データ又は暗瞳孔画像データを得ることができる。

また、本発明において、明瞳孔と暗瞳孔の撮影は、イメージセンサのライン毎に配置された、異なる波長に対応するバンドパスフィルタを通して行うこととする場合は、光源を区別して設ける必要がなく、イメージセンサのライン毎に、明瞳孔画像データと暗瞳孔画像データを得ることができる。

また、本発明において、ライン毎の明瞳孔画像データと暗瞳孔画像データとの差分は、隣接するラインの明瞳孔画像データと暗瞳孔画像データとの差分をとることとする場合は、特段のデータの加工を伴わずに隣接するほとんど時間差の無いデータどうしの差分を取ることができる。

また、本発明において、ライン毎の明瞳孔画像データと暗瞳孔画像データとの差分は、最も近いラインの明瞳孔画像データどうし又は暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとることとする場合は、イメージセンサのラインどうしの位置のずれを解消し、かつ分解能を高めた画像解析とすることができる。

本発明によれば、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれの問題を解消して、ロバスト性の高い瞳孔の検出装置及び方法を提供することができる。

以下、図面に基づいて、本発明による瞳孔を検出する装置及び方法の好適な実施形態について詳細に説明する。図１は、本実施形態の瞳孔検出装置の全体を示す概念図である。
瞳孔検出装置１は、撮像手段２、制御手段３、画像解析手段４を備えている。撮像手段２は、瞳孔検出対象者の瞳孔Pを含む顔部分を撮影するためのもので、カメラ２１と、カメラ２１の光軸に近い位置に配置された近赤外線の光源２２とカメラ２１の光軸から離れた位置に配置された近赤外線の光源２３を有している。カメラ光軸に近い光源２２を点灯させて対象者の瞳孔を撮影すると、前記のとおり、対象者の網膜で反射した光線がカメラ２１に入ることから、明瞳孔が撮影される。カメラ光軸から遠い光源２３を点灯させて撮影をすると、網膜で反射した光線はほとんどカメラ２１に入らないことから、暗瞳孔が撮影される。制御手段３は、主としてカメラ２１や光源２２，２３に対する指令を行う。また、画像解析手段４は、主としてカメラ２１からの画像データを得て、瞳孔検出のためのデータ解析を行うものである。そして、画像解析手段４による瞳孔検出の結果に基づく信号が、瞳孔検出装置外の出力装置に伝達される。ここで、出力装置５は、例えば輸送装置を運転中の運転者である瞳孔検出対象者に対する居眠り警告装置や、瞳孔検出対象者の瞳孔の変化を瞳孔マウスとするコンピュータ入力装置などである。また、制御手段３は、撮像手段２や画像解析手段４からの信号に基づく各種制御を行ってもよく、制御手段３と画像解析手段４は、１つのコンピュータによって構成されていてもよいことはいうまでもない。

撮像手段におけるカメラ２１は、ローリングシャッター方式の電子シャッター動作が可能なＣＭＯＳ等のイメージセンサを撮像素子として用いたものである。ローリングシャッター方式においては、イメージセンサ中のピクセルは、一番上の列から露光が始まり、底まで一列ずつ移って露光される。読み出しも露光と同じく一番上の列から始まり同じ速度で底まで一列ずつ進んで、順に読み取られる。露光し始める列と読み出しを行う列の時間差が蓄積時間（露光時間）となる。

次に、本実施形態の瞳孔検出の作動について説明する。対象者の顔部分を撮影する際に、カメラ２１のイメージセンサのライン毎の露光にタイミングを合わせて、光源２２と光源２３を交互に点灯させる。そうすると、図２（Ａ）のように、時間ｔ１において、イメージセンサの一番上のラインＬ１の露光がなされるが、そのときは光源２２の点灯時のため、対象者の瞳孔は明瞳孔として撮影される。図２（Ｂ）のとおり、次の時間ｔ２における２番目のラインＬ２の露光では、光源２３の点灯時であるため、瞳孔は暗瞳孔として撮影される。次の時間ｔ３では、図２（Ｃ）のように、再び、ラインＬ３の露光に合わせて光源２２が点灯し、明瞳孔を撮影する。次の時間ｔ４では、図２（Ｄ）のように、ラインＬ３は暗瞳孔の撮影となる。このように、イメージセンサの奇数ラインにおいて上から順に明瞳孔の画像が得られ、偶数ラインにおいて上から順に暗瞳孔の画像が得られる。

画像解析においては、１つの奇数ラインとその次の偶数ラインの画像データを対応させて、そのうちの明瞳孔を撮影したラインの各ピクセルにおける輝度データから暗瞳孔を撮影したラインの対応する位置のピクセルの輝度データを差分して差分データを求める。このような演算を奇数ラインとその次の偶数ラインの各組において行う。奇数ライン又は偶数ラインのどちらで明瞳孔と暗瞳孔のどちらを撮影しても構わないが、差分を求めるときは、明瞳孔の画像データから暗瞳孔の画像データを差し引くようにする。
ラインＬに沿った座標をｘ、それと直交方向の座標を上から下に向けてｙ（何番目のラインＬであるかを表す）とし、座標（ｘ、ｙ）の輝度をＳ（ｘ，ｙ）、座標（ｘ、ｙ＋１）の輝度をＳ（ｘ、ｙ＋１）、座標（ｘ、ｙ）での差分データをＤ（ｘ、ｙ）と表し、仮に、ｙ番目のラインを明瞳孔の撮影ライン、（ｙ＋１）番目のラインを暗瞳孔の撮影ラインとすると、次の式のとおりの差分データとなる。
Ｄ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）−Ｓ（ｘ、ｙ＋１）

これを図４で説明すると、明瞳孔のライン１の一部を上方の線とし、暗瞳孔のライン２の一部を中間の線とする。ライン１においては、明瞳孔の部分は輝度が高くなっており、ライン２においては、暗瞳孔の部分は輝度が低くなっている。なお、前記のとおり、明瞳孔が周囲より輝度が高く、暗瞳孔が周囲より輝度が必ずしも低いとは限らないが、相対的に、明瞳孔の方が暗瞳孔よりも輝度が高いものである。そして、瞳孔の近辺に、メガネの反射等の外乱で輝度が高い部分が現れているが、このような外乱は、明瞳孔の撮影時にも暗瞳孔の撮影時にも同様に現れることから、図４の下方の線のように、差分をとると外乱は消えて、瞳孔部分だけが浮き彫りになる。このような演算を画像全体かあるいは、カルマンフィルター等の予測モデルによって瞳孔が存在すると予測される箇所について行う。これによって、差分画像を得て、判別分析法等によって２値化する等で瞳孔を検出することができる。

ここで、隣合うラインの撮影の時間差は、非常に短いものであり、例えば、１つの画像が１／３０秒で撮影されるとし、ライン数が５００だとすると、隣接のラインの間の時間差は、約１５０００分の１秒（約７０μｓ）であり、明瞳孔のラインと隣りの暗瞳孔のラインの間で、瞳孔の画像データのずれやブレが生じることはほとんどない。ローリングシャッター方式の場合、早く移動するものを撮影すると、上部のラインの露光時と下部のラインの露光時に時間差があるために、画像が歪む場合があるが、本実施形態では、差分をとるラインどうしの時間差が少なければ、瞳孔を容易に検出できることから、このようなローリングシャッター方式の問題は不都合とならない。

以上は、奇数ラインと次の偶数ライン（この逆でもよい）を１つの単位として、演算を行って差分データを得ているために、得られる差分データのライン数は、奇数ラインと偶数ラインを合わせたライン数の半分になる。また、あるラインと次のラインの差分をとることから、ｙ方向に関していえば、正確には位置が一致するデータどうしの差分にはなっていない。ところが、隣合う２つの奇数ラインのデータの平均をとると、そのデータは、当該２つの奇数ラインの中間の偶数ラインのｙ方向での位置に相当するデータを表している。そこで、隣合う２つの奇数ラインのデータの平均値と、その中間の偶数ラインのデータとの差分をとると、ｙ方向に位置のずれを解消した差分データを得ることができる。同様にして隣合う２つの偶数ラインのデータの平均と、その中間の奇数ラインのデータとの差分をとることができる。このようにすると、ｙ方向の位置のずれを解消することができる。例えば、鼻孔のエッジやまぶた等の部分の画像データは、差分しようとするラインどうしの間で大きく輝度が変化している場合があり、それらのラインのデータを差分しても、外乱でありながら消去できないことがあるが、このように１つおいたラインの平均値を求めてその間に位置するラインと差分することで、外乱が差分後に大きな値として残ることを防止できる。また、差分データを得ることのできるライン数は、奇数ラインと偶数ラインの合計数となり、分解能を高めることができる。このような差分の仕方を前記と同様に、（ｘ、ｙ）座標とその座標の輝度Ｓ（ｘ、ｙ）、差分データＤ（ｘ、ｙ）で表すと、次のとおりである。なお、ｙ番目、（ｙ＋２）暗目のラインを明瞳孔の撮影ライン、（ｙ−１）番目、（ｙ＋１）番目のラインを暗瞳孔の撮影ラインと仮定している。
Ｄ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）−（Ｓ（ｘ，ｙ−１）＋Ｓ（ｘ，ｙ＋１））／２
Ｄ（ｘ，ｙ＋１）＝（Ｓ（ｘ，ｙ）＋Ｓ（ｘ，ｙ＋２））／２−Ｓ（ｘ，ｙ＋１）
具体的には、３番目の奇数ラインの明瞳孔画像データから、２番目と４番目の偶数ラインの暗瞳孔画像データの平均値を差分し、３番目と５番目の奇数ラインの明瞳孔画像データの平均値から４番目の偶数ラインの暗瞳孔画像データを差分する。

以上は、１つのライン毎に交互に明瞳孔と暗瞳孔を撮影した例であるが、図３のように、複数の奇数ラインと複数の偶数ラインを交互に露光して撮影してもよい。図３（Ａ）のように、最初の時間ｔ１で、ラインＬ１，Ｌ３，Ｌ５を露光して明瞳孔の撮影をする。次の時間ｔ２で、図３（Ｂ）のようにラインＬ２，Ｌ４，Ｌ６を露光して暗瞳孔の撮影をする。次のｔ３では、図３（Ｃ）のように、ラインＬ３，Ｌ５，Ｌ７を露光して明瞳孔の撮影をする。以下、同様にして３つのライン毎に露光を行う。この場合、１つのラインは、３回ずつ露光されることになり、データとしては、３回の露光分が合わさったものとなる。このようにすると、同時に露光するライン数を変えるによって、合計の露光を自由に設定できる。そのため、例えば、各ラインでの露光量を増加したい場合に有効である。

本実施形態によれば、ローリングシャッター方式によって撮影されるイメージセンサのラインどうしの間の撮影時間差は、非常に短いものであって、そのラインどうしの画像データを明瞳孔画像データ、暗瞳孔画像データとして差分することから、時間差による位置ずれのほとんどない明瞳孔画像と暗瞳孔画像によって、瞳孔以外の外乱を消去して、瞳孔を際立たせた差分画像を得ることができる。

また、最も近いラインの明瞳孔画像データどうし又は暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとって瞳孔を検出するようにすれば、イメージセンサのラインどうしの位置のずれを解消し、かつ分解能を高めた画像解析とすることができる。

また、カメラ２１の光軸に近い光源と遠い光源を設置して、イメージセンサのライン毎の露光に合わせて点灯を切り替えるだけで、明瞳孔画像又は暗瞳孔画像を得ることができる。

本実施形態では、明瞳孔と暗瞳孔の画像を得るために、位置の異なる２つの光源２２，２３を用いたが、波長の異なる２つの光源を用いてもよい。例えば、８５０ｎｍ程度と９５０ｎｍ程度の波長の異なる光源を用いると、網膜反射率が異なることから、８５０ｎｍ程度の光源で撮影した画像では明瞳孔が得られ、９５０ｎｍ程度の光源で撮影した画像では暗瞳孔が得られる。この場合は、設置位置がカメラ２１の開口から等距離に設置した場合であっても、異なる距離の位置に設置した場合であっても、交互に点灯させることで、それぞれの光源の点灯時に、それぞれ、明瞳孔画像又は暗瞳孔画像を得ることができる。

さらに、このような２種類の波長の光源によって明瞳孔画像と暗瞳孔画像を得る手段として、イメージセンサのライン毎に、２種類のバンドパスフィルタを配置してもよい。例えば、前記のような８５０ｎｍ程度の波長の光源と９５０ｎｍ程度の波長の光源を用いる場合、一方の波長の光を通過させ、他方の波長の光を遮断する２つのバンドパスフィルターをイメージセンサのピクセル上にそれぞれ形成する。このような機能を果たすものであれば、各種バンドパスフィルタが使用できる。この場合は、イメージセンサの各ラインが自動的に明瞳孔撮影用の光と、暗瞳孔撮影用の光を選択通過させることから、光源を露光に合わせて点灯制御する必要がない。また、バンドパスフィルタの配置は、１ライン毎に全く交互に区別して設ける以外にも、配置のパターンを変えて明瞳孔又は暗瞳孔の画像データを得ることもできる。

本発明の実施形態の装置の概念図である。 本発明の実施形態のイメージセンサでの露光を示す説明図である。 本発明の実施形態のイメージセンサでの露光を示す説明図である。 本発明の実施形態の画像処理の説明図である。 瞳孔の画像がずれたときの説明図である。 瞳孔の画像とメガネの反射部等の画像がずれたときの説明図である。

符号の説明

１‥瞳孔検出装置、２‥撮像手段、２１‥カメラ、２２、２３‥光源、３‥制御手段、４‥画像解析手段、５‥出力装置

Claims (13)

1. ローリングシャッター方式のイメージセンサを有し、前記イメージセンサの交互のライン毎に、明瞳孔画像データと暗瞳孔画像データを得る撮像手段と、
   前記撮像手段により得られた前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出する画像解析手段とを備える瞳孔検出装置。
2. 前記撮像手段は、カメラの光軸に近い光源と遠い光源を有することを特徴とする請求項１に記載の瞳孔検出装置。
3. 前記撮像手段は、互いに波長の異なる２つの光源を有することを特徴とする請求項１又は２に記載の瞳孔検出装置。
4. 前記撮像手段は、前記イメージセンサの前記ライン毎に、異なる波長に対応する２種類のバンドパスフィルタが交互にそれぞれ配置されていることを特徴とする請求項１〜３のいずれかに記載の瞳孔検出装置。
5. 前記画像解析手段は、隣接するラインの前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出することを特徴とする請求項１〜４のいずれかに記載の瞳孔検出装置。
6. 前記画像解析手段は、最も近いラインの前記明瞳孔画像データどうし又は前記暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとって瞳孔を検出することを特徴とする請求項１〜５のいずれかに記載の瞳孔検出装置。
7. ローリングシャッター方式のイメージセンサのライン毎に、明瞳孔と暗瞳孔を交互に撮影して、前記ライン毎の明瞳孔画像データと暗瞳孔画像データを得た後、
   前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出する瞳孔検出方法。
8. 前記ライン毎に明瞳孔と暗瞳孔を交互に撮影する際に、複数ラインを同時に露光して、前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データを得ることを特徴とする請求項７に記載の瞳孔検出方法。
9. 前記明瞳孔と前記暗瞳孔の撮影は、カメラの光軸に近い光源と遠い光源の点灯を交互に切り替えて行うことを特徴とする請求項７又は８に記載の瞳孔検出方法。
10. 前記明瞳孔と前記暗瞳孔の撮影は、互いに波長の異なる光源の点灯を交互に切り替えて行うことを特徴とする請求項７〜９のいずれかに記載の瞳孔検出方法
11. 前記明瞳孔と前記暗瞳孔の撮影は、前記イメージセンサの前記ライン毎に配置された、異なる波長に対応するバンドパスフィルタを通して行うことを特徴とする請求項７〜１０のいずれかに記載の瞳孔検出方法。
12. 前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分は、隣接するラインの前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとることを特徴とする請求項７〜１１のいずれかに記載の瞳孔検出方法。
13. 前記ライン毎の明瞳孔画像データと前記暗瞳孔画像データとの差分は、最も近いラインの前記明瞳孔画像データどうし又は前記暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとることを特徴とする請求項７〜１２のいずれかに記載の瞳孔検出方法。

Images