JP2017158828A - 照明撮像装置および視線検出装置 - Google Patents

Abstract

【課題】撮像素子をローリングシャッタ方式で駆動する照明撮像装置および視線検出装置であって、画像のブレや光源の発熱を抑えることができるとともに、１つの水平ラインに異なる検出光による露光が混在するのを防ぐことができ、これにより、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる照明撮像装置および視線検出装置を提供する。
【解決手段】対象者の目に対して明瞳孔検出光と暗瞳孔検出光を与える光源と、明瞳孔検出光と暗瞳孔検出光とを切り替え、光源をパルス駆動させる光源制御部と、複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、対象者の目を含む画像を取得する撮像体と、パルス駆動の駆動ごとに撮像素子の垂直方向に並んだ各水平ラインを順に露光させる露光制御部と、を備える。
【選択図】図１

Description

本発明は、ローリングシャッタ方式で撮像素子を駆動する照明撮像装置および視線検出装置に関する。

特許文献１に記載の注視点検出方法は、２台以上のカメラと、これらのカメラの開口部外側に設けた光源とを用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成し、これらの画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。

さらに、各カメラに対応して計算した視線の方向が近くなるように前記関数を補正し、補正された関数を用いて視線の方向を計算して視線の所定の平面上の交点を求めることによって対象者の所定平面上の注視点を検出することができる。

特許文献１に記載の注視点検出方法においては、前記光源として、互いに異なる波長の光を出力する発光素子が設けられており、これらの発光素子を交互に発光させることによって、一方の発光素子によって対象者の目に照明光が照射されたときに明瞳孔画像を生成し、他方の発光素子によって照明光が照射されたときに暗瞳孔画像を生成する。

国際公開２０１２／０２０７６０号公報

一般に、カメラの撮像素子の駆動方式には、グローバルシャッタ方式とローリングシャッタ方式がある。グローバルシャッタ方式では、一画面（フレーム）のすべての水平ラインが同時に露光されるため、一画面を得るための露光時間が短くなることから、撮影対象が動いていてもブレの少ない鮮明な画像を得ることができる。しかしながら、グローバルシャッタ方式では高価なＣＣＤカメラが必要となるため、照明撮像装置のコストが高くなってしまうという問題がある。

これに対して、ローリングシャッタ方式では、ＣＣＤカメラよりも安価なＣＭＯＳカメラを用いることができる。しかし、ローリングシャッタ方式は、画面の垂直方向上側の水平ラインから下側の水平ライン側へ順に露光を行うものであって、各水平ラインの露光タイミングに時間差が生じており、上部の水平ラインから下部の水平ラインに至るまでに概ねフレームレートに等しい時間を要していた。したがって、一画面を得るための総露光時間はグローバルシャッタ方式よりも長くなってしまい、露光のためにシャッタが開いている途中で撮影対象が動くと、得られる画像がブレてしまうという問題がある。

さらに、従来のローリングシャッタ方式のそれぞれの水平ラインへの露光では、光源を連続点灯して水平方向に並ぶ受光素子の露光を行うが、上述のように上部の水平ラインと下部の水平ラインとでは露光タイミングに時間差が生じている。このため、このタイミングずれによって、下部の水平ラインなどにおいて、現在のフレーム用の光源による露光と、次のフレーム用の光源による露光とが混在してしまうおそれがある。この場合、フレームによって光源からの出射光の光学特性を変えているケースでは、撮像結果やこの撮像結果を用いた検出に支障をきたす可能性がある。

また、ローリングシャッタ方式では、上述のように上部の水平ラインから下部の水平ラインへ順に露光されており、これらの露光において、光源は連続的に点灯している。このため、光源が発熱することにより、光源自体の特性や、光源の周辺の電子部品、例えば撮像素子の動作精度等に悪影響を与えるおそれがあり、このような環境では、高い精度の視線検出が可能な瞳孔画像を得ることが難しかった。

そこで本発明は、撮像素子をローリングシャッタ方式で駆動する照明撮像装置および視線検出装置であって、画像のブレや光源の発熱を抑えることができるとともに、１つの水平ラインに異なる検出光による露光が混在するのを防ぐことができ、これにより、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる照明撮像装置および視線検出装置を提供することを目的とする。

上記課題を解決するために、本発明の照明撮像装置および視線検出装置は、対象者の目に対して明瞳孔検出光と暗瞳孔検出光を与える光源と、明瞳孔検出光と暗瞳孔検出光とを切り替え、光源をパルス駆動させる光源制御部と、複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、対象者の目を含む画像を取得する撮像体と、パルス駆動の駆動ごとに撮像素子の垂直方向に並んだ各水平ラインを順に露光させる露光制御部と、を備えることを特徴としている。
この構成によれば、光源をパルス駆動させることにより発熱を抑えることができ、また、パルス駆動の駆動ごとに、すなわちオン期間ごとに露光させるため、画像のブレが生じにくくなり、さらに、パルス駆動の駆動ごとに複数の水平ラインを順に露光させることにより、１つのフレーム画像に異なる検出光による露光が混在するのを防ぐことができ、以上により、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる。

本発明の照明撮像装置および視線検出装置において、光源制御部は、撮像素子の１フレームごとに、明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とを切り替えることが好ましい。
これにより、各フレームにおいて明瞳孔検出光と暗瞳孔検出光を混在させることなく、適切な検出光を用いることができる。

本発明の照明撮像装置および視線検出装置において、明瞳孔画像取得期間または暗瞳孔画像取得期間に対応するフレームの次のフレームにおいて、光源による明瞳孔検出光と暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、撮像素子の同一の水平ラインについて、明瞳孔画像取得期間に取得した画像データから無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、暗瞳孔画像取得期間に取得した画像データから無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることが好ましい。
これにより、無照明期間にも入射する外光によるノイズを除去することができるため、より精度の高い撮像ができ、ひいては高精度の視線検出に資することができる。

本発明の照明撮像装置および視線検出装置において、明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とが撮像素子の１フレーム内で切り替えられることが好ましい。
これにより、明瞳孔画像取得用の光源と暗瞳孔画像取得用の光源のパルス駆動のデューティー比を下げることができるため、オン期間に光源に与える電流量を増やすことが可能となり、これによって、検出光の強度を大きくできることから、瞳孔検出精度を高めることができる。

本発明の照明撮像装置および視線検出装置において、撮像素子の１フレームで得られた第１画像と、次の１フレームで得られた第２画像とから、水平ラインごとに、明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得するとともに、暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得することが好ましい。
これによって、明瞳孔画像取得用の光源と暗瞳孔画像取得用の光源のパルス駆動のデューティー比を２フレーム分の時間に基づいて設定できるようになるため、デューティー比を下げることが可能となり、これによって、オン期間に光源に与える電流量を増やすことが可能となり、瞳孔検出精度を高めることができる。

本発明の照明撮像装置および視線検出装置において、第１画像または第２画像に対応するフレームの次のフレームにおいて、光源による明瞳孔検出光と暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、撮像素子の同一の水平ラインについて、明瞳孔画像取得期間に取得した画像データから無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、暗瞳孔画像取得期間に取得した画像データから無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることが好ましい。
これにより、デューティー比を下げて光源に与える電流量を増やせることができるとともに、無照明期間にも入射する外光によるノイズを除去することができるため、より精度の高い撮像ができ、ひいては高精度の視線検出に資することができる。

本発明の照明撮像装置および視線検出装置において、撮像素子の１フレーム内で、明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間と、光源による明瞳孔検出光と暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間とが順に切り替えられることが好ましい。
これにより、明瞳孔画像取得用の光源と暗瞳孔画像取得用の光源のパルス駆動のデューティー比を複数フレーム分の時間に基づいて設定できるようになるため、デューティー比を下げることが可能となり、これによって、オン期間に光源に与える電流量を増やすことが可能となり、瞳孔検出精度を高めることができる。

本発明の照明撮像装置および視線検出装置において、撮像素子の１フレーム分で得られた第１画像と、次の１フレーム分で得られた第２画像と、更に次の１フレーム分で得られた第３画像とから、水平ラインごとに、明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得し、暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得し、無照明期間に得た画像データを組み合わせて無照明画像を取得することが好ましい。
これにより、無照明期間にも入射する外光によるノイズを除去することができるとともに、明瞳孔画像取得用の光源と暗瞳孔画像取得用の光源のパルス駆動のデューティー比を３フレーム分の時間に基づいて設定できるようになるため、デューティー比を下げることが可能となり、これによって、オン期間に光源に与える電流量を増やすことが可能となり、瞳孔検出精度を高めることができる。

本発明の視線検出装置は、上述のいずれかの照明撮像装置と、撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、瞳孔中心と角膜反射光の中心とから対象者の視線方向を算出する視線方向算出部と、を備えることを特徴としている。
これにより、光源をパルス駆動させることにより発熱を抑えることができ、また、パルス駆動の駆動ごとに、すなわちオン期間ごとに露光させるため、画像のブレが生じにくくなり、さらに、パルス駆動の駆動ごとに複数の水平ラインを順に露光させることにより、１つのフレーム画像に異なる検出光による露光が混在するのを防ぐことができ、以上により、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる。

本発明によると、ローリングシャッタ方式で駆動する撮像素子を用いることによってコストを低くすることができるとともに、画像のブレや光源の発熱を抑えることができ、さらに、１つの水平ラインに異なる検出光による露光が混在するのを防ぐことができ、これにより、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる。

本発明の第１実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。 第１実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。 第２実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。 第３実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。 （Ａ）は第１のフレームについて取得された画像を概念的に示す図、（Ｂ）は第２のフレームについて取得された画像を概念的に示す図、（Ｃ）は第３のフレームについて取得された画像を概念的に示す図、（Ｄ）は第１〜第３のフレームについて取得された画像から生成した差分明瞳孔画像を示す図、（Ｅ）は第１〜第３のフレームについて取得された画像から生成した差分暗瞳孔画像を示す図である。 第４実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。 （Ａ）は第１のフレームについて取得された画像を概念的に示す図、（Ｂ）は第２のフレームについて取得された画像を概念的に示す図、（Ｃ）は第３のフレームについて取得された画像を概念的に示す図、（Ｄ）は第１〜第３のフレームについて取得された画像から生成した差分明瞳孔画像を示す図、（Ｅ）は第１〜第３のフレームについて取得された画像から生成した差分暗瞳孔画像を示す図である。

以下、本発明の実施形態に係る照明撮像装置について図面を参照しつつ詳しく説明する。
＜第１実施形態＞
図１は、第１実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。第１実施形態の照明撮像装置は、図１に示すように、第１光源１１および第２光源２１と、光源制御部３１と、撮像体としての第１カメラ１２および第２カメラ２２と、露光制御部３２とを備える。また、この照明撮像装置を含む視線検出装置は、図１に示す、２つの光源１１、２１と、２つのカメラ１２、２２と、演算制御部ＣＣとを備える。この視線検出装置は、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

第１カメラ１２と第２カメラ２２は、それぞれの光軸が所定距離だけ離間するように配置されている。第１カメラ１２と第２カメラ２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は、露光制御部３２によって、ローリングシャッタ方式で駆動され、運転者の目を含む顔の画像を取得する。撮像素子では、水平方向及び垂直方向に配列された複数の画素を有し、各画素の位置に配置された受光素子で光が検出される。

第１光源１１は、例えば複数個のＬＥＤ（発光ダイオード）光源からなる。これらのＬＥＤ光源は、例えば、第１カメラ１２のレンズの外側において、それらの光軸とカメラ１２の光軸とが一定の距離だけ離れた円状になるように配置されている。
また、第２光源２１は、第１光源１１と同様に、例えば複数個のＬＥＤ光源からなり、これらのＬＥＤ光源は、第２カメラ２２のレンズの外側において、それらの光軸と第２カメラ２２の光軸とが一定の距離だけ離れた円状になるように配置されている。

なお、カメラ１２、２２においては、光源１１、２１から出射される検出光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部４０における瞳孔画像の抽出や、視線方向算出部４５における視線方向の算出を精度良く行うことができる。

第１光源１１及び第２光源２１は、点灯することによって、検出光として同じ波長の赤外光、例えば波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検出光を対象者の目に与えることができるように配置されている。ここで、８５０ｎｍは、人の目の眼球内での光吸収率が低い波長であり、この波長の光は眼球の奥の網膜で反射されやすい。

第１カメラ１２と第１光源１１の光軸間距離は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１２と第２カメラ２２の光軸間距離に対して十分に短くしている。そのため、第１光源１１は第１カメラ１２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２と第２光源２１の光軸間距離は、第１カメラ１２と第２カメラ２２の光軸間距離に対して十分に短くしているため、第２光源２１は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。

これに対して、第１カメラ１２と第２カメラ２２は、互いの光軸間距離を十分に長くしているため、第１光源１１及び第１カメラ１２の各光軸と、第２光源２１及び第２カメラ２２の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図１に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
演算制御部ＣＣには、光源制御部３１と、露光制御部３２と、画像取得部３３と、瞳孔画像抽出部４０と、瞳孔中心算出部４３と、角膜反射光中心検出部４４と、視線方向算出部４５とが設けられている。

光源制御部３１は、第１光源１１と第２光源２１をそれぞれパルス駆動させ、これによって、第１光源１１と第２光源２１は、パルスがゼロではない「オン期間」に点灯し、パルスがゼロとなる「オフ期間」は非点灯となる。第１光源１１と第２光源２１のパルス駆動のパルスのデューティー比は、それぞれ１／２、すなわち０．５である。すなわち、各パルスにおいてオン期間とオフ期間は同一の時間長さとなる。

また、光源制御部３１は、露光制御部３２からの指示信号にしたがって、撮像素子の１フレームの駆動ごとに、第１光源１１がパルス駆動される期間と、第２光源２１がパルス駆動される期間と、２つの光源１１、２１がいずれも非点灯とされる無照明期間とを順に切り替えるように制御する。

露光制御部３２は、第１光源１１または第２光源２１のパルス駆動のオン期間ごとに、撮像素子において上下に隣り合う２つの水平ラインの組が順に露光されるように、第１カメラ１２または第２カメラ２２を駆動する。より具体的には、図２に示すように、撮像素子において垂直方向に並んだ各水平ライン（Ｌ０３０〜Ｌ４８０）が、第１光源１１と第２光源２１のパルス駆動のオンまたはオフのタイミングに合わせて、最上部の水平ラインＬ０３０から最下部の水平ラインＬ４８０まで順に駆動され、これによって、画素に対応する受光素子の電子シャッタが開かれて露光可能な状態とされる。各水平ラインは、第１光源１１と第２光源２１のパルス駆動の１周期（連続するオン期間とオフ期間１組分）に対応する時間だけ駆動され、露光が行われる。つづいて、上記駆動後の次の水平同期信号のタイミングで、画像を取得したカメラに対応する画像取得部３３に対して、露光で取得された画像データが転送される。

また、撮像素子は、最上部の水平ラインから最下部の水平ラインに至るまでが１フレームであって、垂直同期信号（図２のＶＳＹＮＣ１〜７）に対応してフレームが変わるごとに、第１光源１１がパルス駆動される期間と、第２光源２１がパルス駆動される期間と、２つの光源１１、２１がいずれも非点灯とされる無照明期間とが順に切り替わる。無照明期間では、各水平ラインの水平同期信号の直前において、パルス駆動の周期に等しい期間にわたって電子シャッタが開かれ、この間の露光で取得した画像データが転送される。ここで、第１光源１１がパルス駆動される期間と第２光源２１がパルス駆動される期間は、一方が後述の明瞳孔撮影条件を満たす明瞳孔画像取得期間であり、他方が暗瞳孔撮影条件を満たす暗瞳孔画像取得期間となる。

以上のように２つの光源１１、２１と撮像素子とを駆動させたとき、デューティー比０．５のパルス駆動のオン期間に合わせて、上下に隣り合う２つの水平ラインの電子シャッタを開かせており、これらの水平ラインは、同じ光源からの検出光で同時に露光される。同時に露光された２つの水平ラインのうち上側の水平ラインでは、露光直後のオフ期間に対応したタイミングで画像データが転送され、下側の水平ラインでは次のオン期間に対応したタイミングで、電子シャッタが閉じた状態で画像データが転送される。

画像取得部３３で取得された画像は、フレームごとに瞳孔画像抽出部４０に読み込まれる。瞳孔画像抽出部４０は、明瞳孔画像検出部４１と暗瞳孔画像検出部４２とを備えている。明瞳孔画像検出部４１では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出され、暗瞳孔画像検出部４２では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出される。

（ａ）明瞳孔撮影条件
（ａ−１）第１光源１１の点灯期間に、これと略同軸の第１カメラ１２で画像を取得
（ａ−２）第２光源２１の点灯期間に、これと略同軸の第２カメラ２２で画像を取得
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得
（ｂ−２）第２光源２１の点灯期間に、これと非同軸の第１カメラ１２で画像を取得

＜明瞳孔画像と暗瞳孔画像＞
第１光源１１の波長８５０ｎｍは、運転手の網膜に至る眼球内での吸収率が低く、この波長の光は網膜で反射されやすい。第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１２で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部４１で抽出される。これは、第２光源２１が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。

これに対して、第１光源１１を点灯したときに、第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部４２で抽出される。これは、第２光源２１が点灯したときに、非同軸の第１カメラ１２で取得される画像についても同様である。

なお、本実施形態では複数のカメラと光源を備えた照明撮像装置の例で説明したが、１つのカメラと少なくとも２つの光源を備えた照明撮像装置であってもよい。このとき、約８５０ｎｍの波長の光を発する光源を２つ備え、一方の光源はカメラに対して互いの光軸が略同軸であるとみなすことができる光軸間距離に配置し、他方の光源はカメラに対して非同軸であるとみなすことができる光軸間距離に配置すればよい。一方の光源の点灯期間にカメラで画像を取得することで明瞳孔画像が撮像でき、他方の光源の点灯期間にカメラで画像を取得することで暗瞳孔画像が撮像できる。また、２つの光源が発する光の波長を異ならせてもよい。例えば、一方の光源は約８５０ｎｍの波長の光を発し、他方の光源は約９４０ｎｍの波長の光を発し、これら２つの光源をカメラに対して光軸が略同軸であるとみなすことができる光軸間距離に配置すればよい。約８５０ｎｍの波長の光は眼球の奥の網膜で反射されやすいが、約９４０ｎｍの波長の光は眼球の奥の網膜で反射されにくい。そのため、約９４０ｎｍの波長の光を発する光源をカメラと略同軸に配置しても、その点灯期間にカメラで画像を取得することで暗瞳孔画像が撮像できる。ただし、約９４０ｎｍの波長の光を発する光源をカメラと非同軸に配置してもよい。非同軸に配置することでより高精細の暗瞳孔画像を取得することができる。

瞳孔画像抽出部４０においては、明瞳孔画像取得期間に明瞳孔画像抽出部４１で抽出された明瞳孔画像と、暗瞳孔画像取得期間に暗瞳孔画像検出部４２で抽出された暗瞳孔画像とから、直後の無照明期間に取得された、共通の無照明画像をそれぞれ減算することにより、差分明瞳孔画像と差分暗瞳孔画像が生成される。これらの減算は、撮像素子の同一の水平ラインについて行われる。これによって、第１光源１１および第２光源２１以外の外光によるノイズを除去することができるため、より精度の高い視線検出を行うことができる。

さらに瞳孔画像抽出部４０では、差分明瞳孔画像から差分暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４３に与えられる。瞳孔中心算出部４３では、瞳孔画像信号が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。

また、差分暗瞳孔画像信号は、角膜反射光中心検出部４４に与えられる。差分暗瞳孔画像信号は、角膜の反射点から反射された反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部４４では、スポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められる。

上述のように瞳孔中心算出部４３で算出された瞳孔中心算出値と、角膜反射光中心検出部４４で算出された角膜反射光中心算出値と、は、視線方向算出部４５に与えられる。視線方向算出部４５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

＜撮像動作＞
図２は、第１実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。図２において、明瞳孔取得用光源Ａ（以下、光源Ａという）は、第１光源１１と第２光源２１の一方の光源であって、上記明瞳孔撮影条件を満たす光源である。また、暗瞳孔取得用光源Ｂ（以下、光源Ｂという）は、第１光源１１と第２光源２１の他方の光源であって、上記暗瞳孔撮影条件を満たす光源である。撮像素子は、垂直方向に配列された水平ラインＬ０３０〜Ｌ４８０を有し、各水平ラインは、水平方向に並んだ複数の受光素子によって構成される。
なお、ここでは、運転者の一方の目について説明するが、他方の目についても同様である。

図２に示すように、光源Ａと光源Ｂはそれぞれ、デューティー比０．５でパルス駆動される期間（「パルス駆動」の期間）と、非点灯である期間と、を交互に有する。また、光源Ａのパルス駆動期間の終了と同時に光源Ｂのパルス駆動期間が開始し、光源Ｂのパルス駆動期間の終了から、次の光源Ａのパルス駆動期間の開始までは、１フレーム分にわたって両光源が非点灯となる。ここで、光源Ａがパルス駆動される期間は明瞳孔画像取得期間であり、光源Ｂがパルス駆動される期間は暗瞳孔画像取得期間であり、光源Ａと光源Ｂの両方が非点灯である期間は無照明期間である。

垂直同期信号ＶＳＹＮＣ１〜ＶＳＹＮＣ７は、カメラ１２、２２から画像取得部３３に与えられる同期信号であり、カメラ１２、２２のフレームレートによって定まる。これらの垂直同期信号は、撮像素子のフレームが切り替わるタイミングで与えられる。画像取得部３３には、これらの垂直同期信号に同期して、各フレームにおいて最上部の水平ラインＬ０３０の画像データが転送される。撮像素子はローリングシャッタ方式で駆動され、最上部の水平ラインＬ０３０の下側に位置する水平ラインについては、垂直同期信号から一定時間ごとに与えられる水平同期信号に同期したタイミングで順に画像が転送される。この水平同期信号は、図２に示す期間Ｄに対応している。この期間Ｄは、水平ラインが下側へ１つずれるごとにパルス駆動の次のオン期間又はオフ期間へ階段状にずれていくように設定されている。

図２における期間Ｃは、該当する水平ラインの電子シャッタが閉じられている期間であって、期間Ｃに該当する受光素子は露光されない。また、期間Ｃには画像の転送は行われない。
期間Ｅは、撮像素子の特定の水平ラインの電子シャッタが開いており、光源Ａまたは光源Ｂがパルス駆動されているが、オフ期間であるため光源Ａ・Ｂによる露光はされていない期間である。
期間Ｆは、光源Ａが点灯するオン期間であり、かつ、撮像素子の特定の水平ラインの電子シャッタが開いており、該当する受光素子で明瞳孔画像用の露光が行われる。
期間Ｇは、光源Ｂが点灯するオン期間であり、かつ、撮像素子の特定の水平ラインの電子シャッタが開いており、該当する受光素子で暗瞳孔画像用の露光が行われる。

期間Ｆは、上下に隣り合う２つの水平ラインに対して同じタイミングに設定され、この２つの水平ラインの組は、光源Ａのパルス駆動の一つのオン期間で同時に露光される。さらに、パルス駆動のオン期間のたびに、鉛直方向下側につづく２つの水平ラインの組が順に露光される。例えば、図２に示す例では、フレームの最上部の２つの水平ラインＬ０３０、Ｌ０６０が、光源Ａのパルス駆動期間の最初のオン期間Ａ１で同時に露光され、次のオン期間Ａ３では次の２つの水平ラインＬ０９０、１２０が同時に露光され、これを繰り返して、このパルス駆動期間の最後のオン期間Ａ１５で最下部の２つの水平ラインＬ４５０、Ｌ４８０が同時に露光される。
ここで、光源Ａのパルス駆動期間における期間Ｅは、期間Ｆの直前または直後の期間であって、期間Ｄと重ならない期間となる。

期間Ｇは、期間Ｆと同様であって、上下に隣り合う２つの水平ラインに対して同じタイミングに設定され、この２つの水平ラインは、光源Ｂのパルス駆動の一つのオン期間で同時に露光される。さらに、パルス駆動のオン期間のたびに、鉛直方向下側につづく２つの水平ラインが順に露光される。
ここで、光源Ｂのパルス駆動期間における期間Ｅは、期間Ｇの直前または直後の期間であって、期間Ｄと重ならない期間となる。

図２に示す例では、光源Ａの最初のパルス駆動の最初のオン期間Ａ１において、上下に隣り合う水平ラインＬ０３０、Ｌ０６０で電子シャッタが開かれて同時に露光が行われる。つづいて、最上部の水平ラインＬ０３０については、つづくオフ期間Ａ２に画像が転送され、水平ラインＬ０６０については２つめのオン期間Ａ３に画像が転送される。また、２つめのオン期間Ａ３では、上下に隣り合う水平ラインＬ０９０、Ｌ１２０で電子シャッタが開かれて同時に露光が行われ、これらのうち水平ラインＬ０９０については、つづくオフ期間Ａ４に画像が転送され、下側の水平ラインＬ１２０については３つめのオン期間Ａ５に画像が転送される。以上の露光・画像転送を繰り返すことによって、最下部の水平ラインＬ４８０の露光と画像転送に至り、最下部の水平ラインＬ４８０は、光源Ａの最初のパルス駆動の終了直後に始まる、光源Ｂのパルス駆動の最初のオフ期間に画像が転送される。光源Ｂのパルス駆動期間においても同様のサイクルで露光と画像転送が実行される。

さらに、光源Ｂのパルス駆動の最後のオン期間後、次の光源Ａのパルス駆動の最初のオン期間までの所定期間は、光源Ａ・Ｂともに非点灯である無照明期間であり、この期間に撮像素子は最上部の水平ラインＬ０３０から最下部の水平ラインＬ４８０まで順に電子シャッタを開かせる。これによって、無照明状態で外光が入射した画像が得られ、最上部の水平ラインＬ０３０から順に画像取得部３３へ無照明画像が転送される。

以上の処理によって転送された画像は、画像取得部３３でフレームに展開され、１フレームごとに瞳孔画像抽出部４０へ送り出される。瞳孔画像抽出部４０では、上述のように、明瞳孔画像と暗瞳孔画像の抽出、差分明瞳孔画像と差分暗瞳孔画像の生成、及び、瞳孔画像信号の生成が行われ、これらのデータを用いて、瞳孔中心算出部４３で瞳孔中心が算出され、角膜反射光中心検出部４４で角膜反射光中心が検出され、これらに基づいて視線方向算出部４５において対象者の視線方向が算出される。

以上のように構成されたことから、第１実施形態によれば、次の効果を奏する。
（１）光源１１、２１をパルス駆動させることにより発熱を抑えることができ、また、パルス駆動の駆動ごとに、すなわちオン期間ごとに露光させるため、画像のブレが生じにくくなる。さらに、パルス駆動の駆動ごとに撮像素子の複数の水平ラインごとに、順に露光させることにより、１つのフレーム画像に異なる検出光による露光が混在するのを防ぐことができ、これらにより、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる。
（２）無照明期間に取得した画像データを減算することにより、外光によるノイズを除去することができるため、より精度の高い撮像ができ、ひいては高精度の視線検出に資することができる。

＜第２実施形態＞
第２実施形態に係る照明撮像装置および視線検出装置は、図１に示す照明撮像装置および視線検出装置と同様の構成を備える。以下、第１実施形態と同様の動作・作用・効果についての詳細な説明は省略する。

図３は、第２実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。
第２実施形態の視線検出装置においては、光源Ａと光源Ｂのパルス駆動のデューティー比をそれぞれ１／４、すなわち０．２５としている。したがって、各パルスにおいて、１つのオフ期間はオン期間３回分の時間となる。

露光制御部３２は、第１光源１１または第２光源２１のパルス駆動のオン期間ごとに、撮像素子において上下方向に並ぶ４つの水平ラインの組が順に露光されるように、第１カメラ１２または第２カメラ２２を駆動する。

第２実施形態の視線検出装置においては、２つの光源１１、２１と撮像素子とを駆動させたとき、デューティー比０．２５のパルス駆動のオン期間に合わせて、上下方向に並ぶ４つの水平ラインの電子シャッタを開かせており、これらの水平ラインは、同じ光源からの検出光で同時に露光される。同時に露光された４つの水平ラインのうち、上側の３つの水平ラインでは、露光直後のオフ期間に対応したタイミングで画像データが順に転送され、その下側の水平ラインでは次のオン期間に対応したタイミングで、電子シャッタが閉じた状態で画像データが転送される。

＜撮像動作＞
図３に示すように、光源Ａと光源Ｂはそれぞれ、デューティー比０．２５でパルス駆動される期間（「パルス駆動」の期間）と、非点灯である期間と、を交互に有する。また、光源Ａのパルス駆動期間の終了から所定期間後に光源Ｂのパルス駆動の最初のオン期間が設定され、光源Ｂのパルス駆動期間の終了から、次の光源Ａのパルス駆動期間の開始までは、１フレーム分にわたって両光源が非点灯となる。

期間Ｆは、上下方向に並ぶ４つの水平ラインに対して同じタイミングに設定され、この４つの水平ラインの組は、光源Ａのパルス駆動の一つのオン期間で同時に露光される。さらに、パルス駆動のオン期間のたびに、鉛直方向下側につづく４つの水平ラインの組が順に露光される。例えば、図３に示す例では、フレームの最上部の４つの水平ラインＬ０３０、Ｌ０６０、Ｌ０９０、Ｌ１２０が、光源Ａのパルス駆動期間の最初のオン期間Ａ２１で同時に露光され、次のオン期間Ａ２３では、次の４つの水平ラインＬ１５０、Ｌ１８０、Ｌ２１０、Ｌ２４０が同時に露光され、これを繰り返して、このパルス駆動期間の最後のオン期間Ａ２７で最下部の２つの水平ラインＬ３９０、Ｌ４２０、Ｌ４５０、Ｌ４８０が同時に露光される。

期間Ｇは、期間Ｆと同様であって、上下方向に並ぶ４つの水平ラインに対して同じタイミングに設定され、この２つの水平ラインは、光源Ｂのパルス駆動の一つのオン期間で同時に露光される。さらに、パルス駆動のオン期間のたびに、鉛直方向下側につづく４つの水平ラインが順に露光される。

図３に示す例では、光源Ａの最初のパルス駆動の最初のオン期間Ａ２１において、上下方向に沿って並ぶ水平ラインＬ０３０、Ｌ０６０、Ｌ０９０、Ｌ１２０で電子シャッタが開かれて同時に露光が行われる。これらのうちの上側の水平ラインＬ０３０、Ｌ０６０、Ｌ０９０については、つづくオフ期間Ａ２２に画像が順に転送され、最も下側の水平ラインＬ１２０については２つめのオン期間Ａ２３に画像が転送される。また、２つめのオン期間Ａ２３では、上下に並ぶ４つの水平ラインＬ１５０、Ｌ１８０、Ｌ２１０、Ｌ２４０で電子シャッタが開かれて同時に露光が行われ、これらのうちの上側の３つの水平ラインＬ１５０、Ｌ１８０、Ｌ２１０、については、つづくオフ期間Ａ２４に画像が転送され、最も下側の水平ラインＬ２４０については３つめのオン期間Ａ２５に画像が転送される。以上の露光・画像転送を繰り返すことによって、最下部の水平ラインＬ４８０の露光と画像転送に至り、最下部の水平ラインＬ４８０は、光源Ａの最初のパルス駆動の終了直後に始まる、光源Ｂのパルス駆動の最初のオフ期間に画像が転送される。光源Ｂのパルス駆動期間においても同様のサイクルで露光と画像転送が実行される。

第２実施形態によれば、デューティー比を第１実施形態よりも小さくしているため、パルス駆動のオン期間に光源１１、２１に流すことのできる電流量を増やすことが可能となり、これにより、検出光の強度を大きくできることから、瞳孔検出精度を高めることができる。
なお、その他の構成、作用、効果は第１、第２実施形態と同様である。

＜第３実施形態＞
第３実施形態においては、連続する２つの垂直同期信号の間で、光源Ａ、Ｂのパルス駆動のオン期間が交互に２回ずつ現れるようにした点が第１実施形態と異なる。第３実施形態に係る照明撮像装置および視線検出装置は、図１に示す照明撮像装置および視線検出装置と同様の構成を備える。以下、第１実施形態と同様の動作・作用・効果についての詳細な説明は省略する。

図４は、第３実施形態における２つの光源１１、２１のパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。
第３実施形態の視線検出装置においては、第１光源１１と第２光源２１のパルス駆動のデューティー比をそれぞれ１／８としている。したがって、各パルスにおいて、１つのオフ期間はオン期間７回分の時間となる。

光源制御部３１は、露光制御部３２からの制御信号にしたがって、撮像素子の１フレームの駆動ごとに、光源Ａ、Ｂのパルス駆動のオン期間が交互に２回ずつ現れるように光源Ａ、Ｂをそれぞれ制御する。
図４に示す例では、まず、第１のフレームに対して、光源Ａのパルス駆動のオン期間Ａ３１の次には、光源Ｂのパルス駆動のオン期間Ｂ３１が現れ、その次には光源Ａのオン期間Ａ３３が現れ、さらにその次には光源Ｂのオン期間Ｂ３３が現れるように光源Ａ、Ｂを制御する。

また、次の第２のフレームについては、光源Ｂのオン期間Ｂ３５から始まって、光源Ａのオン期間Ａ３６、光源Ｂのオン期間Ｂ３７、光源Ａのオン期間Ａ３８の順にオン期間が現れるように、光源Ａ、Ｂを制御する。

さらに次の第３のフレームでは、光源Ａ、Ｂともに非点灯となるように制御する。その後は、上述の第１のフレーム、第２のフレーム、及び第３のフレームと同じ順序で各光源のオン期間が現れ、または、両光源ともに非点灯となるように、光源Ａ、Ｂを制御する。

露光制御部３２は、上述のそれぞれのオン期間において、上下に並ぶ４つの水平ラインの組が順に露光されるように、第１カメラ１２または第２カメラ２２を駆動する。

図５（Ａ）は、上記第１のフレームについて取得された画像を概念的に示す図、（Ｂ）は、上記第２のフレームについて取得された画像を概念的に示す図、（Ｃ）は、上記第３のフレームについて取得された画像を概念的に示す図、（Ｄ）は上記第１〜第３のフレームについて取得された画像から生成した差分明瞳孔画像を示す図、（Ｅ）は上記第１〜第３のフレームについて取得された画像から生成した差分暗瞳孔画像を示す図である。

図５（Ａ）に示すように、第１のフレームにおいては、第１画像として、上から下へ順に、（１）光源Ａを点灯させて４つの水平ラインを露光させて取得した明瞳孔画像２１Ｆ、（２）光源Ｂを点灯させて４つの水平ラインを露光させて取得した暗瞳孔画像２１Ｇ、（３）光源Ａを点灯させて４つの水平ラインを露光させて取得した、２つめの明瞳孔画像２２Ｆ、及び、（４）光源Ｂを点灯させて４つの水平ラインを露光させて取得した、２つめの暗瞳孔画像２２Ｇが抽出される。

また、図５（Ｂ）に示すように、第２のフレームにおいては、第２画像として、上から下へ順に、（１）光源Ｂを点灯させて４つの水平ラインを露光させて取得した暗瞳孔画像３１Ｇ、（２）光源Ａを点灯させて４つの水平ラインを露光させて取得した明瞳孔画像３１Ｆ、（３）光源Ｂを点灯させて４つの水平ラインを露光させて取得した、２つめの暗瞳孔画像３２Ｇ、及び、（４）光源Ａを点灯させて４つの水平ラインを露光させて取得した、２つめの明瞳孔画像３２Ｆが抽出されている。

さらに、図５（Ｃ）に示すように、第３のフレームにおいては、第３画像として、上から下へ順に、光源Ａ、Ｂの両方を非点灯として露光させて取得した、４つの無照明画像４１Ｅ、４２Ｅ、４３Ｅ、４４Ｅが抽出されている。

図５（Ａ）に示す２つの明瞳孔画像２１Ｆ、２２Ｆと図５（Ｂ）に示す２つの明瞳孔画像３１Ｆ、３２Ｆとは上下方向に互いにずれており、瞳孔画像抽出部４０でこれらの明瞳孔画像を加算したフレーム画像を生成し、この画像から、図５（Ｃ）に示す無照明画像を減算すると、図５（Ｄ）に示すように差分明瞳孔画像ＩＦ３を得ることができる。

また、図５（Ａ）に示す２つの暗瞳孔画像２１Ｇ、２２Ｇと図５（Ｂ）に示す２つの暗瞳孔画像３１Ｇ、３２Ｇとは上下方向に互いにずれており、瞳孔画像抽出部４０でこれらの暗瞳孔画像を加算したフレーム画像を生成し、この画像から、図５（Ｃ）に示す無照明画像を減算すると、図５（Ｄ）に示すように差分暗瞳孔画像ＩＧ３を得ることができる。

第３実施形態によれば、光源１１、２１のパルス駆動のデューティー比を２フレーム分の時間に基づいて設定できるようになるため、デューティー比を下げることが可能となり、これによって、オン期間に光源に与える電流量を増やすことが可能となり、瞳孔検出精度を高めることができる。
なお、その他の構成、作用、効果は第１、第２、第３実施形態と同様である。

＜第４実施形態＞
第４実施形態においては、連続する２つの垂直同期信号の間で、光源Ａ、Ｂのパルス駆動のオン期間と、光源Ａ、Ｂのいずれも点灯させない無照明期間とが少なくとも１回ずつ現れるようにした点が第１実施形態と異なる。第４実施形態に係る照明撮像装置および視線検出装置は、図１に示す照明撮像装置および視線検出装置と同様の構成を備える。以下、第１実施形態と同様の動作・作用・効果についての詳細な説明は省略する。

図６は、第４実施形態における２つの光源Ａ、Ｂのパルス駆動のタイミングと撮像素子による画像取得のタイミングを示すチャート図である。
第４実施形態の視線検出装置においては、２つの光源Ａ、Ｂのパルス駆動のデューティー比をそれぞれ１／１２としている。したがって、各パルスにおいて、１つのオフ期間はオン期間１１回分の時間となる。

光源制御部３１は、露光制御部３２からの制御信号にしたがって、撮像素子の１フレームの駆動ごとに、光源Ａ、Ｂのパルス駆動のオン期間と、光源Ａ、Ｂのいずれも点灯させない無照明期間とが少なくとも１回ずつ現れるように光源Ａ、Ｂをそれぞれ制御する。

図６に示す例では、まず、第１のフレームに対して、光源Ａのパルス駆動のオン期間Ａ４１の次には、光源Ｂのパルス駆動のオン期間Ｂ４１が現れ、その次には無照明期間として、光源Ａのオフ期間Ａ４２と光源Ｂのオフ期間Ｂ４２が重なった期間が現れ、さらにその次には光源Ａのオン期間Ａ４３が現れるように、光源Ａ、Ｂを制御する。

また、次の第２のフレームについては、光源Ｂのオン期間Ｂ４３から始まって、無照明期間として、光源Ａのオフ期間Ａ４５と光源Ｂのオフ期間Ｂ４４の重なった期間が現れ、さらに光源Ａのオン期間Ａ４６、光源Ｂのオン期間Ｂ４５が現れるように、光源Ａ、Ｂを制御する。

さらに次の第３のフレームでは、無照明期間として光源Ａのオフ期間Ａ４７と光源Ｂのオフ期間Ｂ４６の重なった期間から始まって、光源Ａのオン期間Ａ４８、光源Ｂのオン期間Ｂ４７が現れ、さらに、無照明期間として光源Ａのオフ期間Ａ４９と光源Ｂのオフ期間Ｂ４８の重なった期間が現れるように、光源Ａ、Ｂを制御する。
その後は、上述の第１のフレーム、第２のフレーム、及び第３のフレームと同じ順序で各光源のオン期間が現れ、または、両光源ともに非点灯となるように制御する。

露光制御部３２は、上述のそれぞれのオン期間において、上下に並ぶ４つの水平ラインの組が順に露光されるように、第１カメラ１２または第２カメラ２２を駆動する。

図７（Ａ）は、上記第１のフレームについて取得された画像を概念的に示す図、（Ｂ）は、上記第２のフレームについて取得された画像を概念的に示す図、（Ｃ）は、上記第３のフレームについて取得された画像を概念的に示す図、（Ｄ）は上記第１〜第３のフレームについて取得された画像から生成した差分明瞳孔画像を示す図、（Ｅ）は上記第１〜第３のフレームについて取得された画像から生成した差分暗瞳孔画像を示す図である。

図７（Ａ）に示すように、第１のフレームにおいては、第１画像として、上から下へ順に、（１）光源Ａを点灯させて４つの水平ラインを露光させて取得した明瞳孔画像１２１Ｆ、（２）光源Ｂを点灯させて４つの水平ラインを露光させて取得した暗瞳孔画像１２１Ｇ、（３）無照明期間に４つの水平ラインを露光させて取得した無照明画像１２１Ｅ、及び、（４）光源Ａを点灯させて４つの水平ラインを露光させて取得した、２つめの明瞳孔画像１２２Ｆが抽出される。

また、図７（Ｂ）に示すように、第２のフレームにおいては、第２画像として、上から下へ順に、（１）光源Ｂを点灯させて４つの水平ラインを露光させて取得した暗瞳孔画像１３１Ｇ、（２）無照明期間に４つの水平ラインを露光させて取得した無照明画像１３１Ｅ、（３）光源Ａを点灯させて４つの水平ラインを露光させて取得した明瞳孔画像１３１Ｆ、及び、（４）光源Ｂを点灯させて４つの水平ラインを露光させて取得した、２つめの暗瞳孔画像１３２Ｇが抽出されている。

さらに、図７（Ｃ）に示すように、第３のフレームにおいては、第３画像として、上から下へ順に、（１）無照明期間に４つの水平ラインを露光させて取得した無照明画像１４１Ｅ、（２）光源Ａを点灯させて４つの水平ラインを露光させて取得した明瞳孔画像１４１Ｆ、（３）光源Ｂを点灯させて４つの水平ラインを露光させて取得した暗瞳孔画像１４１Ｇ、及び、（４）無照明期間に４つの水平ラインを露光させて取得した、２つめの無照明画像１４２Ｅが抽出されている。

図７（Ａ）に示す２つの明瞳孔画像１２１Ｆ、１２２Ｆと、図７（Ｂ）に示す明瞳孔画像１３１Ｆと、図７（Ｃ）に示す明瞳孔画像１４１Ｆとは上下方向に互いにずれており、瞳孔画像抽出部４０でこれらの明瞳孔画像を加算するとフレーム画像が生成できる。同様に、図７（Ａ）に示す暗瞳孔画像１２１Ｇと、図７（Ｂ）に示す、２つの暗瞳孔画像１３１Ｇ、１３２Ｇと、図７（Ｃ）に示す暗瞳孔画像１４１Ｇとからフレーム画像としての暗瞳孔画像が生成される。さらに、図７（Ａ）に示す無照明画像１２１Ｅと、図７（Ｂ）に示す無照明画像１３１Ｅと、図７（Ｃ）に示す、２つの無照明画像１４１Ｅ、１４２Ｅとからフレーム画像としての無照明画像が生成される。
このように生成された、フレーム画像としての明瞳孔画像および暗瞳孔画像から無照明画像をそれぞれ減算することにより、図７（Ｄ）に示す差分明瞳孔画像ＩＦ４と、図７（Ｅ）に示す差分暗瞳孔画像ＩＧ４を得ることができる。

第４実施形態によれば、光源１１、２１のパルス駆動のデューティー比を３フレーム分の時間に基づいて設定できるようになるため、さらにデューティー比を下げることが可能となり、これによって、オン期間に光源に与える電流量を増やすことが可能となり、瞳孔検出精度を高めることができる。
なお、その他の構成、作用、効果は第１、第２、第３実施形態と同様である。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る照明撮像装置は、撮像素子をローリングシャッタ方式で駆動する照明撮像装置に適用可能であって、画像のブレや光源の発熱を抑えることができるとともに、１つの水平ラインに異なる検出光による露光が混在するのを防ぐことができ、これにより、視線検出に適した高精細の明瞳孔画像と暗瞳孔画像を取得することができる点で有用である。

１１ 第１光源
１２ 第１カメラ
２１ 第２光源
２２ 第２カメラ
３１ 光源制御部
３２ 露光制御部
３３ 画像取得部
４０ 瞳孔画像抽出部
４１ 明瞳孔画像検出部
４２ 暗瞳孔画像検出部
４３ 瞳孔中心算出部
４４ 角膜反射光中心検出部
４５ 視線方向算出部
ＣＣ 演算制御部
Ｌ０３０〜Ｌ４８０ 水平ライン
ＶＳＹＮＣ１〜ＶＳＹＮＣ７ 垂直同期信号

Claims (17)

1. 対象者の目に対して明瞳孔検出光と暗瞳孔検出光を与える光源と、
   前記明瞳孔検出光と前記暗瞳孔検出光とを切り替え、前記光源をパルス駆動させる光源制御部と、
   複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、前記対象者の目を含む画像を取得する撮像体と、
   前記パルス駆動の駆動ごとに前記撮像素子の垂直方向に並んだ各水平ラインを順に露光させる露光制御部と、を備えることを特徴とする照明撮像装置。
2. 前記光源制御部は、前記撮像素子の１フレームごとに、前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とを切り替えることを特徴とする請求項１に記載の照明撮像装置。
3. 前記明瞳孔画像取得期間または前記暗瞳孔画像取得期間に対応するフレームの次のフレームにおいて、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、
   前記撮像素子の同一の水平ラインについて、前記明瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、前記暗瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることを特徴とする請求項２に記載の照明撮像装置。
4. 前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とが前記撮像素子の１フレーム内で切り替えられることを特徴とする請求項１に記載の照明撮像装置。
5. 前記撮像素子の１フレームで得られた第１画像と、次の１フレームで得られた第２画像とから、水平ラインごとに、前記明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得するとともに、前記暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得することを特徴とする請求項４に記載の照明撮像装置。
6. 前記第１画像または前記第２画像に対応するフレームの次のフレームにおいて、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、
   前記撮像素子の同一の水平ラインについて、前記明瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、前記暗瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることを特徴とする請求項５に記載の照明撮像装置。
7. 前記撮像素子の１フレーム内で、前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間と、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間とが順に切り替えられることを特徴とする請求項１に記載の照明撮像装置。
8. 前記撮像素子の１フレーム分で得られた第１画像と、次の１フレーム分で得られた第２画像と、更に次の１フレーム分で得られた第３画像とから、水平ラインごとに、前記明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得し、前記暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得し、前記無照明期間に得た画像データを組み合わせて無照明画像を取得することを特徴とする請求項７に記載の照明撮像装置。
9. 対象者の目に対して明瞳孔検出光と暗瞳孔検出光を与える光源と、
   前記明瞳孔検出光と前記暗瞳孔検出光とを切り替え、前記光源をパルス駆動させる光源制御部と、
   複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、前記対象者の目を含む画像を取得する撮像体と、
   前記パルス駆動の駆動ごとに前記撮像素子の垂直方向に並んだ各水平ラインを順に露光させる露光制御部と、を備えることを特徴とする視線検出装置。
10. 前記光源制御部は、前記撮像素子の１フレームごとに、前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とを切り替えることを特徴とする請求項９に記載の視線検出装置。
11. 前記明瞳孔画像取得期間または前記暗瞳孔画像取得期間に対応するフレームの次のフレームにおいて、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、
    前記撮像素子の同一の水平ラインについて、前記明瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、前記暗瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることを特徴とする請求項１０に記載の視線検出装置。
12. 前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間とが前記撮像素子の１フレーム内で切り替えられることを特徴とする請求項９に記載の視線検出装置。
13. 前記撮像素子の１フレームで得られた第１画像と、次の１フレームで得られた第２画像とから、水平ラインごとに、前記明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得するとともに、前記暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得することを特徴とする請求項１２に記載の視線検出装置。
14. 前記第１画像または前記第２画像に対応するフレームの次のフレームにおいて、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間を有し、
    前記撮像素子の同一の水平ラインについて、前記明瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分明瞳孔画像とし、前記暗瞳孔画像取得期間に取得した画像データから前記無照明期間に取得した画像データを減算した画像データを差分暗瞳孔画像とすることを特徴とする請求項１３に記載の視線検出装置。
15. 前記撮像素子の１フレーム内で、前記明瞳孔検出光がパルス駆動される明瞳孔画像取得期間と、前記暗瞳孔検出光がパルス駆動される暗瞳孔画像取得期間と、前記光源による前記明瞳孔検出光と前記暗瞳孔検出光の出射が停止された状態で画像を取得する無照明期間とが順に切り替えられることを特徴とする請求項９に記載の視線検出装置。
16. 前記撮像素子の１フレーム分で得られた第１画像と、次の１フレーム分で得られた第２画像と、更に次の１フレーム分で得られた第３画像とから、水平ラインごとに、前記明瞳孔画像取得期間に得た画像データを組み合わせて明瞳孔画像を取得し、前記暗瞳孔画像取得期間に得た画像データを組み合わせて暗瞳孔画像を取得し、前記無照明期間に得た画像データを組み合わせて無照明画像を取得することを特徴とする請求項１５に記載の視線検出装置。
17. 請求項１から請求項８のいずれか１項に記載の照明撮像装置と、
    前記撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、
    前記瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、
    前記瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、
    前記瞳孔中心と前記角膜反射光の中心とから前記対象者の視線方向を算出する視線方向算出部と、
    を備えることを特徴とする視線検出装置。

Images