JP2020140637A - 瞳孔検出装置 - Google Patents

Abstract

【課題】取得する画像中の瞳孔以外の眼部の輝度を安定化させることにより、画像中の瞳孔像位置の検出精度を向上させること。【解決手段】瞳孔検出装置１は、カメラ２と、カメラ２の開口部８中心から距離Ｄ１の位置に配置された光源３Ａと、開口部８中心から距離Ｄ２の位置に配置された光源３Ｂと、光源３Ａ，３Ｂの点灯タイミング及び発光量を制御する点灯制御ユニット１２と、明瞳孔画像と暗瞳孔画像との差分画像を基に対象者の瞳孔像の位置を算出するとともに、明瞳孔画像あるいは暗瞳孔画像を基に対象者の虹彩の輝度値を特定し、それを基に明瞳孔取得期間中の光源３Ａの発光量と光源３Ｂの発光量との和を変更するように制御するとともに、虹彩の輝度値を基に暗瞳孔取得期間中の光源３Ｂの発光量を変更するように制御する検出ユニット１３とを備える。【選択図】図１

Description

本発明は、人の画像から瞳孔を検出する瞳孔検出装置に関する。

近年、視線検出等を目的として、近赤外光源等の光源とビデオカメラを使用して得られた画像から人の瞳孔の位置を検出する装置が普及しつつある（下記特許文献１）。この装置では、瞳孔を相対的に明るくする傾向を有する光を対象者の顔に照射して画像（明瞳孔画像）を取得し、瞳孔を相対的に暗くする傾向を有する光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。その後、それらの画像を利用して差分画像を算出することにより、対象者の瞳孔を検出する。

このような差分画像に基づく瞳孔検出の方法においては、瞳孔検出精度の向上のためには、明瞳孔画像と暗瞳孔画像において瞳孔以外の眼部の輝度が時間的に安定していることが望まれる。そのため、下記特許文献２に記載の瞳孔検出装置では、カメラのフレーム毎に明瞳孔画像及び暗瞳孔画像における瞳孔近傍の輝度平均等を計測し、両者の輝度平均のバランスが取れるように明瞳孔取得用光源及び暗瞳孔取得用光源のパワーを調整する手法を採用している。また、下記特許文献３記載の画像処理装置では、画像中の角膜反射像の輝度値を基にその輝度値が一定となるように明瞳孔取得時および暗瞳孔取得時の光源のパワーを制御する手法が採用されている。

特開２００５−１８５４３１号公報 特開２０１６−９３２５３号公報 特開２０１８−２８７２８号公報

上述した特許文献２に記載の瞳孔検出装置では、人がカメラに対して大きく動いた場合、あるいは太陽光等の環境光の強度が変化した場合等においては、瞳孔以外の眼部の輝度を安定化させることが難しい傾向にある。また、上述した特許文献３記載の画像処理装置では、人がカメラに対して大きく動いた場合、あるいは太陽光等の環境光の強度が変化した場合等においては、画像中の角膜反射像が検出できないことがあり、瞳孔以外の眼部の輝度を安定化させることが難しい傾向にある。

本発明は、上記課題に鑑みて為されたものであり、取得する画像中の瞳孔以外の眼部の輝度を安定化させることにより、画像中の瞳孔像位置の検出精度を向上させることが可能な瞳孔検出装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる瞳孔検出装置は、対象者の眼を撮像することにより眼画像を取得するカメラと、カメラの開口部の外側に設けられてカメラに対して対象者の瞳孔を相対的に明るく写す第１の光源と、カメラの開口部の外側に設けられてカメラに対して対象者の瞳孔を相対的に暗く写す第２の光源と、第１の光源及び第２の光源の点灯タイミング及び発光量を制御し、第１の画像取得期間内に第１の光源及び第２の光源を点灯させ、第２の画像取得期間内に第２の光源を点灯させる点灯制御部と、第１の画像取得期間に同期してカメラによって取得された眼画像である明瞳孔画像と、第２の画像取得期間に同期してカメラによって取得された眼画像である暗瞳孔画像とを比較した比較画像を基に対象者の瞳孔像の位置を算出するとともに、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の位置の周辺の虹彩の輝度値を特定し、虹彩の輝度値を基に第１の画像取得期間内の第１の光源の発光量と第２の光源の発光量との和を変更するように制御するとともに、虹彩の輝度値を基に第２の画像取得期間内の第２の光源の発光量を変更するように制御する算出部と、を備える。

上記形態の瞳孔検出装置によれば、カメラの開口部の外側に配置された第１の光源及びその開口部の外側に配置された第２の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、第２の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られ、明瞳孔画像と暗瞳孔画像とを比較した比較画像を用いて対象者の瞳孔像の位置が算出される。このとき、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の周辺の虹彩の輝度値を基に明瞳孔画像の取得時の第１及び第２の光源の発光量の和が変更されることにより、明瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。それと同時に、虹彩の輝度値を基に暗瞳孔画像の取得時の第２の光源の発光量が変更されることにより、暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。その結果、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。

ここで、第１の光源は、カメラの開口部中心からの距離が第１の距離の位置に配置され、第２の光源は、開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置されている、こととしてもよい。この場合、光源の配置関係を調整するだけで、安定して明瞳孔画像と暗瞳孔画像とを得ることができる。

また、算出部は、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の中心位置及び輪郭を検出し、中心位置から輪郭上の複数の点を延長した複数のサンプリング点上の輝度値を用いて、虹彩の輝度値を特定する、こととしてもよい。さらに、算出部は、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の輪郭の位置を楕円フィティングによって検出して楕円として求め、楕円の中心位置から楕円上の複数の点を延長した複数のサンプリング点上の輝度値を用いて、虹彩の輝度値を特定する、こととしてもよい。この場合、明瞳孔画像あるいは暗瞳孔画像上における虹彩に対応する位置を適切にサンプリングすることができ、そのサンプリング結果を用いて第１の光源及び第２の光源の発光量を制御することによって、明瞳孔画像及び暗瞳孔画像の取得時の眼部に対する照明効果を安定化することができる。

また、第２の光源は、開口部の中心からの距離が第１の光源よりも大きい位置に配置された主光源と、開口部の中心からの距離が第１の光源よりも大きい位置に配置された補助光源とを有し、算出部は、虹彩の輝度値を基に第１の画像取得期間内の補助光源の発光量と、第２の画像取得期間内の補助光源の発光量とを変更する、こととしてもよい。この場合、虹彩の輝度値を基に補助光源の発光量を変更するように制御することで、比較画像における瞳孔輝度に対する影響を抑えながら明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。その結果、比較画像を用いた瞳孔像位置の検出精度をさらに向上させることができる。

また、算出部は、虹彩の輝度値と目標値との比較結果を基に、第１の画像取得期間内の発光量の和、及び第２の画像取得期間内の発光量を増減させるように制御する、こととしてもよい。こうすれば、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を目標値を基準に安定化することができる。

また、点灯制御部は、第１の光源及び第２の光源の点灯タイミングを、第１の画像取得期間及び第２の画像取得期間における中央時点に同期するように制御する、こととしてもよい。この場合には、眼部全体の照明タイミングとカメラによる眼画像の取得タイミングとを一致させることができ、比較画像を用いた瞳孔像位置の算出精度を向上させることができる。

また、算出部は、明瞳孔画像あるいは暗瞳孔画像を基に第１の光源及び第２の光源の点灯によって生じた対象者の角膜反射像の位置を算出する、こととしてもよい。この場合には、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる結果、眼部で生じる角膜反射像の位置の検出も安定化できる。

さらに、算出部は、明瞳孔画像あるいは暗瞳孔画像を基にした角膜反射像の検出が成功した際には、角膜反射像の輝度値を基に第１の画像取得期間内の第１の光源の発光量と第２の光源の発光量との和を変更するように制御するとともに、角膜反射像の輝度値を基に第２の画像取得期間内の第２の光源の発光量を変更するように制御する、こととしてもよい。この場合にも、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。

またさらに、算出部は、比較画像を基に算出した瞳孔像の位置と、明瞳孔画像あるいは暗瞳孔画像を基に算出した角膜反射像の位置とを基に、対象者の視線方向を検出する、こととしてもよい。かかる構成を採れば、角膜反射像の位置の検出も安定化できる結果、対象者の視線方向も安定して検出することができる。

さらにまた、算出部は、明瞳孔画像及び暗瞳孔画像の取得時における瞳孔像の三次元座標を算出し、明瞳孔画像及び暗瞳孔画像のそれぞれにおいて三次元座標に基づいて設定された画素サイズのウィンドウを設定し、明瞳孔画像のウィンドウ内の画像と、暗瞳孔画像のウィンドウ内の画像とを、同一の画素サイズの画像に変換した後に互いに比較することにより、比較画像を生成する、こととしてもよい。こうすれば、対象者の位置がカメラに対して変動する場合であっても、画像中における瞳孔像の位置を高精度に検出することができる。

本発明によれば、取得する画像中の瞳孔以外の眼部の輝度を安定化させることにより、画像中の瞳孔像位置の検出精度を向上させることができる。

第１実施形態にかかる瞳孔検出装置の概略構成を示す図である。 図１の照明装置を筐体の外側から見た平面図である。 図１の制御装置のハードウェア構成を示すブロック図である。 図１の瞳孔検出装置の機能構成を示すブロック図である。 図４の制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。 図４の瞳孔検出部１８によって検出された明瞳孔画像あるいは暗瞳孔画像上の瞳孔像の位置のイメージを示す図である。 図４の点灯時間設定部１７によって集計されたヒストグラムの一例を示す。 図１の瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。 第２実施形態にかかる視線検出装置の機能構成を示すブロック図である。 変形例にかかる照明装置を筐体の外側から見た平面図である。 変形例にかかる制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。 変形例に係る照明装置２０３の構成を採用した第２実施形態において検出された、虹彩輝度と瞳孔−カメラ間の距離の複数フレーム間の変化を示すグラフである。 変形例に係る照明装置２０３の構成を採用した第２実施形態において検出された、角膜反射輝度と瞳孔−カメラ間の距離の複数フレーム間の変化を示すグラフである。 変形例に係る照明装置２０３の構成を採用した第２実施形態において検出された、角膜反射輝度と瞳孔−カメラ間の距離の複数フレーム間の変化を示すグラフである。 変形例において、明瞳孔画像あるいは暗瞳孔画像上に設定されるサンプリング点と瞳孔検出部１８によって検出された瞳孔像の位置との関係を示す図である。

以下、図面を参照しつつ本発明に係る瞳孔検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
（第１実施形態）

図１に示されるように、本発明の第１実施形態である瞳孔検出装置１は、カメラ２と、照明装置（光源）３と、制御装置４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子６と、筐体５内に収容された対物レンズ７とを有する。このカメラ２は、画像の１つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は６０Ｈｚ程度のフレームレートを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７は、開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ０は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ０に対して垂直に交わるように固定されている。撮像素子６は、観察対象者の眼球Ａの像を撮像することによって眼画像データを生成して制御装置４に出力する。制御装置４は、照明装置３の発光強度、点灯タイミング、及び点灯期間（発光期間）、並びにカメラ２の撮像タイミング及び撮像期間を制御する。また、制御装置４は、撮像素子６から出力された眼画像データに基づいて比較処理、瞳孔検出処理、及び角膜反射検出処理を実行する。すなわち、制御装置４は、瞳孔検出手段及び角膜反射検出手段としても機能する。

なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。このような構成により、観察対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。

照明装置３は、観察対象者の顔に向けて照明光を出射する。図２に示されるように、照明装置３は、ケーシング９と、ケーシング９に埋め込まれた光源３Ａ，３Ｂを有する。ケーシング９は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。光源３Ａ，３Ｂは、いずれも対物レンズ７の光軸Ｌ０に沿って照明光を出射するようにケーシング９上に設けられている。

光源（第１の光源）３Ａは、明瞳孔画像を得るための照明光（第１の照明光）を、観察対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して観察対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的近い第１の距離Ｄ１の位置に配置されている。具体的には、光源３Ａを構成する発光素子は、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される観察対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。

光源（第２の光源）３Ｂは、暗瞳孔画像を得るための照明光（第２の照明光）を、観察対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して観察対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｂは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的遠い第２の距離Ｄ２の位置に配置されている。この第２の距離Ｄ２は第１の距離Ｄ１より大きい。具体的には、光源３Ｂを構成する発光素子は、ケーシング９上で、光源３Ａから開口部８の外側に離間して等間隔でリング状に配設されている。この光源３Ｂは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を強調して生じさせるための光源としても共用される。

上記の光源３Ａから観察対象者の眼球Ａに照明光が出射されるタイミング（点灯タイミング）でカメラ２によって瞳孔が撮像されると明瞳孔画像が取得され、光源３Ａからの照明光が消灯されたタイミング（消灯タイミング）であって、上記の光源３Ｂから観察対象者の眼球Ａに照明光が出射されるタイミング（点灯タイミング）でカメラ２によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Ａへの照明光がカメラ２の光軸Ｌ０から相対的に離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ２に届きにくいため、瞳孔が相対的に暗く映るという性質である。

ここで、光源３Ａの出力光の中心波長は、光源３Ｂの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源３Ａは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、８５０ｎｍ等の９００ｎｍ付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源３Ｂは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、９５０ｎｍ等の９００ｎｍ付近より長い出力光の波長の光源を用いることが望ましい。一方で、長い波長の光源の発光パワーは弱くカメラの感度も一般に長波長になるに従って低くなるため、光源３Ｂは、光源３Ａに比べて２倍程度の数の発光素子を備えることが好ましい。多数の発光素子を配置する余地が無い場合には、光源３Ｂは２重のリング状に発光素子が配置された構造であってもよい。なお、光源３Ａと光源３Ｂとで出力光の中心波長を同じに設定する場合は、両者の中心波長が、８５０ｎｍ、８７０ｎｍ、８９０ｎｍ等に設定される。ただし、その場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源３Ａの開口部８からの距離Ｄ１と光源３Ｂの開口部８からの距離Ｄ２との差をより大きくすることが望ましい。これにより、カメラ２から見た光源３Ａからの照明光による瞳孔を照らす効果と、カメラ２から見た光源３Ｂからの照明光による瞳孔を照らす効果との差を大きくすることができる。

また、光源３Ａ，３Ｂの発光強度（発光パワー）は、互いに同一の点灯期間で光源３Ａ及び光源３Ｂを発光させたときの撮影対象である観察対象者の顔面での照度が略同一になるように予め設定されている。そのために、例えば、制御装置４から光源３Ａ，３Ｂに供給される電流値あるいは電力値が予め設定される。更に、光源３Ａ，３Ｂは、後述する制御装置４からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源３Ａ，３Ｂは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。

続いて、図３及び図４を参照して、瞳孔検出装置１に含まれる制御装置４の構成について説明する。

制御装置４は、撮像素子６及び光源３Ａ，３Ｂの制御と、観察対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

図３に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。

後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４、入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

図４に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、点灯制御ユニット（点灯制御部）１２と、検出ユニット（算出部）１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。具体的には、撮像素子６を所定のフレームレート及び所定の露光時間で繰り返し撮像し、交互に明瞳孔画像及び暗瞳孔画像を取得するように制御する。点灯制御ユニット１２は、撮像素子６の撮影タイミングに同期させて、光源３Ａ，３Ｂの点灯タイミング及び撮像素子６の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット１２は、光源３Ａ，３Ｂの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット１２は、明瞳孔画像の撮像タイミングである第１の画像取得期間内に光源３Ａ及び光源３Ｂを同時に（又は連続して）点灯させ、暗瞳孔画像の撮像タイミングである第２の画像取得期間内に光源３Ｂのみを点灯させ、光源３Ａを消灯させるように制御する。検出ユニット１３は、撮像素子６から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

検出ユニット１３は、機能的構成要素として、画像取得部１４と、差分画像生成部１６と、点灯時間設定部１７と、瞳孔検出部１８と、角膜反射検出部１９、とを有する。画像取得部１４は、撮像素子６から所定のフレームレートで第１の画像取得期間及び第２の画像取得期間に同期して交互に撮影（取得）される明瞳孔画像及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像を比較した比較画像の一種としての差分画像を生成する。具体的には、差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、両画像を比較した差分画像を生成する。このとき、明瞳孔画像と暗瞳孔画像を取得するタイミングには時間差があること、及び眼球Ａがカメラ２に対して移動することを考慮して、差分画像生成部１６は、特許第４４５２８３６に記載の手法を用いて、明瞳孔画像及び暗瞳孔画像上にウィンドウを設定し、角膜反射検出部１９によって検出された明瞳孔画像及び暗瞳孔画像上の角膜反射像の位置を利用したそれらのウィンドウの差分位置補正を実行する。瞳孔検出部１８は、差分画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部１９は、明瞳孔画像のウィンドウ内の画像及び暗瞳孔画像のウィンドウ内の画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部１８及び角膜反射検出部１９により行われる処理の一例は、次の通りである。まず、瞳孔検出部１８は、差分画像を瞳孔用閾値を基準に２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部１８は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、真の瞳孔輪郭の差分画像上の位置を検出し、楕円フィッティングで求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部１９は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い角膜反射用閾値で２値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部１９は、角膜反射像の位置を、暗瞳孔画像を対象にしても算出する。

次に、点灯時間設定部１７の機能構成について詳細に説明する。

点灯時間設定部１７は、取得される差分画像における瞳孔部の輝度が目標値に近づくように光源３Ａ，３Ｂの点灯期間を設定するとともに、明瞳孔画像及び暗瞳孔画像における瞳孔像の位置の周辺の虹彩の輝度値が目標値に近づくように光源３Ｂの点灯期間を設定する。点灯時間設定部１７は、設定した点灯期間で光源３Ａ，３Ｂが発光するように、点灯制御ユニット１２を経由して光源３Ａ，３Ｂの動作を制御する。

図５には、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミングをそれぞれ示している。図５に示すように、点灯制御ユニット１２により、カメラ２によって交互に繰り返される明瞳孔画像の撮影期間（露光期間、第１の画像取得期間）Ｔ_１及び暗瞳孔画像の撮影期間（露光期間、第２の画像取得期間）Ｔ_２のうちの撮影期間Ｔ_１に同期するように、光源３Ａの点灯期間Ｔ_Ｂの点灯タイミング、及び光源３Ｂの点灯期間Ｔ_Ｃの点灯タイミングが制御され、暗瞳孔画像の撮影期間Ｔ_２に同期するように、光源３Ｂの点灯期間Ｔ_ＤＣの点灯タイミングが制御される。このとき、点灯期間Ｔ_Ｂ，Ｔ_Ｃの点灯タイミングの中央時点が撮影期間Ｔ_１の中央時点に同期し、点灯期間Ｔ_Ｄの点灯タイミングの中央時点が撮影期間Ｔ_２の中央時点に同期するように制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間Ｔ_Ｂだけ点灯されるとともに、明瞳孔画像における角膜反射像の強調のために光源３Ｂが点灯期間Ｔ_Ｃだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間Ｔ_Ｄだけ点灯されるとともに、それに加えて、暗瞳孔画像における角膜反射像の強調のために光源３Ｂが点灯期間Ｔ_Ｃだけ点灯される。

このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の眼部を含む顔の輝度が同等になるように、点灯期間Ｔ_Ｂと点灯期間Ｔ_Ｄとが同じになるように設定され、明瞳孔画像と暗瞳孔画像とで角膜反射像の輝度のバランスが取れるように、明瞳孔画像の撮像時の合計の点灯期間Ｔ_Ｂ＋Ｔ_Ｃが、暗瞳孔画像の撮像時の点灯期間Ｔ_ＤＣ＝Ｔ_Ｄ＋Ｔ_Ｃに等しくなるように設定される。つまり、明瞳孔画像撮影時の点灯期間Ｔ_Ｃ分の点灯による輝度レベルへの影響は、暗瞳孔画像撮像時の点灯期間Ｔ_Ｃ分の点灯による輝度レベルへの影響と同等であるため、差分画像においてそれぞれの影響は相殺されることになり、差分画像における瞳孔部の輝度は明瞳孔画像取得時の光源３Ａの点灯期間Ｔ_Ｂ及び暗瞳孔画像取得時の光源３Ｂの点灯期間Ｔ_Ｄ＝Ｔ_Ｂによって主に左右される。一方で、光源３Ａと光源３Ｂとで観察対象者の顔面での照度は同じになるように調整されているので、明瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間Ｔ_Ｂ＋Ｔ_Ｃによって左右され、暗瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間Ｔ_ＤＣ＝Ｔ_Ｄ＋Ｔ_Ｃによって左右される。

具体的には、点灯時間設定部１７は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を一定にするために、今回のタイミングのフレームで取得された明瞳孔画像あるいは暗瞳孔画像における、角膜反射像の位置の周辺の虹彩の輝度値を基に、次回のタイミングのフレームの点灯期間Ｔ_Ｂと点灯期間Ｔ_Ｃとの和を変更する。ここでいう「フレーム」とは１つの明瞳孔画像とその直後の１つの暗瞳孔画像との組み合わせのフレームのことを指すものとする（以下、同様。）。それに合わせて、点灯時間設定部１７は、次回のタイミングのフレームの点灯期間Ｔ_ＤＣを変更する。すなわち、Ｂ_ｉを今回のフレームの虹彩の輝度値とし（ｉは自然数）、Ｂ_ｉ−１を前回のフレームで検出された虹彩の輝度値とし、Ｂ_Ｇをその所定の目標値とすると、次回のフレームの点灯期間Ｔ_ＤＣ ^ｉ＋１は、前回のフレームの点灯期間Ｔ_ＤＣ ^ｉに対して、下記式；
Ｔ_ＤＣ ^ｉ＋１＝Ｔ_ＤＣ ^ｉ＋Ｋ_Ｐ（Ｂ_Ｇ−Ｂ_ｉ）−Ｋ_Ｄ（Ｂ_ｉ−Ｂ_ｉ−１）／ｄｔ （１）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、虹彩の輝度値Ｂ_ｉと目標値Ｂ_Ｇとの比較結果と虹彩の輝度値Ｂ_ｉの変動分とを反映したＰＤ制御を利用して点灯期間の和Ｔ_Ｂ＋Ｔ_Ｃ＝Ｔ_Ｄ＋Ｔ_Ｃを増減させるように制御する。上記式（１）中、係数Ｋ_ＰはＰＤ制御におけるＰゲインの値であり、係数Ｋ_ＤはＤゲインの値であり、ｄｔはフレーム間の時間間隔であり、例えば、Ｋ_Ｐ＝0.5、Ｋ_Ｄ＝1.5と設定される。点灯制御ユニット１２による光源３Ａ，３Ｂの発光量の制御は数フレーム程度の時間の遅延が発生しうるが、このようなＰＤ制御によって虹彩の輝度値を目標値に安定して近づける制御が実現できる。

同時に、点灯時間設定部１７は、今回のフレームで得られた差分画像における瞳孔像の輝度値を基に次回のフレームにおける点灯期間Ｔ_Ｂ（＝点灯期間Ｔ_Ｄ）を変更するように制御する。すなわち、Ｐ_ｉを今回のフレームの瞳孔像の輝度値（例えば、平均輝度）とし、Ｐ_ｉ−１を前回のフレームの瞳孔像の輝度値とし、Ｐ_Ｇを瞳孔像の輝度の所定の目標値とすると、次回のフレームの点灯期間Ｔ_Ｂ ^ｉ＋１は、前回のフレームの点灯期間Ｔ_Ｂ ^ｉに対して、下記式；
Ｔ_Ｂ ^ｉ＋１＝Ｔ_Ｂ ^ｉ＋Ｋ_Ｐ（Ｐ_Ｇ−Ｐ_ｉ）−Ｋ_Ｄ（Ｐ_ｉ−Ｐ_ｉ−１）／ｄｔ （２）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、瞳孔像の輝度値Ｐ_ｉと目標値Ｐ_Ｇとの比較結果と瞳孔像の輝度値Ｐ_ｉの変動分とを反映したＰＤ制御を利用して点灯期間Ｔ_Ｂ（＝Ｔ_Ｄ）を増減させるように制御する。上記式（２）中、係数Ｋ_ＰはＰＤ制御におけるＰゲインの値であり、係数Ｋ_ＤはＤゲインの値であり、ｄｔはフレーム間の時間間隔であり、例えば、Ｋ_Ｐ＝0.15、Ｋ_Ｄ＝1.0と設定される。これに応じて、次回のフレームの明瞳孔画像撮像時における光源３Ｂの点灯期間Ｔ_Ｃ ^ｉ＋１は、上記式（１）によって算出された点灯期間Ｔ_ＤＣ ^ｉ＋１を基に、下記式；
Ｔ_Ｃ ^ｉ＋１＝Ｔ_ＤＣ ^ｉ＋１−Ｔ_Ｂ ^ｉ＋１ （３）
によって計算された値に変更される。

なお、点灯時間設定部１７は、光源３Ａ，３Ｂの点灯期間の制御に用いる虹彩の輝度値の特定を次のようにして行う。

図６は、暗瞳孔画像あるいは明瞳孔画像上で瞳孔検出部１８によって検出された瞳孔像の位置のイメージを示している。このように、瞳孔検出部１８によって、暗瞳孔画像あるいは明瞳孔画像上で瞳孔像の輪郭ＣＯ_Ｐ及び瞳孔像の中心位置Ｏ_Ｐが検出されていたとする。この場合、点灯時間設定部１７は、画像上で輪郭ＣＯ_Ｐ上に位置するサンプル点の座標ＳＡ_Ｐを設定し、中心位置Ｏ_Ｐと座標ＳＡ_Ｐとを結ぶベクトルの終点を座標ＳＡ_Ｐ側に所定倍率１：ｘで延長した終点の座標ＳＡ_Ｂを計算する。そして、その座標ＳＡ_Ｂを虹彩の輝度値を特定するためのサンプル点として選択し、サンプル点の座標ＳＡ_Ｐを均等に輪郭ＣＯ_Ｐ上から複数点（例えば、１８０点）設定してから座標ＳＡ_Ｂの計算及び選択を繰り返す。この倍率ｘは、座標ＳＡ_Ｂが常に虹彩ＩＲの外縁の内側に入るように、適切な値が予め選択される。例えば、画像に映る瞳孔像の実寸半径と虹彩の外縁の実寸半径との関係から予め設定される。

そして、点灯時間設定部１７は、対象とする明瞳孔画像あるいは暗瞳孔画像上での複数のサンプル点ＳＡ_Ｂの輝度値を特定し、その輝度値の度数分布（ヒストグラム）を集計する。図７には、点灯時間設定部１７によって集計されたヒストグラムの一例を示す。次に、点灯時間設定部１７は、その度数分布の中から最も度数の高い分布の輝度値を特定し、その輝度値から輝度値が大きくなるほう及び輝度値が小さくなるほうに（図７に示す矢印方向に）度数を探索し、度数が最初に零となるところまで探索を続ける。その後、点灯時間設定部１７は、探索した全ての輝度値の平均を虹彩の輝度値として算出する。ここで、点灯時間設定部１７は、除外された輝度値の度数が全体のサンプル点の半数である９０点以上の場合には虹彩の輝度値を誤検出として処理する。

なお、点灯時間設定部１７は、ある連続するフレームにおいて明瞳孔画像あるいは暗瞳孔画像上で角膜反射像の位置の検出が成功した際には、そのフレームにおいては、上述した虹彩の輝度値を基にした光源３Ａ，３Ｂの点灯期間の制御に代えて、角膜反射像の輝度値を基にした光源３Ａ，３Ｂの点灯期間の制御を実行する。この場合、点灯時間設定部１７は、上記式（１）において、虹彩の輝度値Ｂ_ｉ，Ｂ_ｉ−１に代わりに角膜反射像の輝度値Ｃ_ｉ，Ｃ_ｉ−１を設定し、目標値Ｂ_Ｇに代えて別の予め設定された目標値Ｃ_Ｇを参照する。

図８は、本実施形態の瞳孔検出装置１で得られた眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）は明瞳孔画像の一次元分布、（ｂ）は暗瞳孔画像の一次元分布、（ｃ）は差分画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む線分上の眼画像データの一次元分布を示している。

このように、明瞳孔画像と暗瞳孔画像においては、角膜反射像ＩＭ_Ｃの輝度振幅Ｄは、第１の画像取得期間あるいは第２の画像取得期間での光源３Ａ，３Ｂの合計の発光量にほぼ比例する。瞳孔像ＩＭ_Ｐの領域内に角膜反射像ＩＭ_Ｃが観察される場合には、瞳孔像の輝度に角膜反射像の輝度が重畳するような輝度のプロファイルとなる。この場合に、本実施形態のように、明瞳孔画像の取得中と暗瞳孔画像の取得中とで顔に対する合計の発光量が同じになるように発光量の調整が行われると、差分画像においては、瞳孔部以外の輝度値がほぼ零となり、瞳孔部のみが正の輝度値となる。それと同時に、明瞳孔画像中と暗瞳孔画像中での角膜反射像の輝度振幅Ｄがほぼ一致し、その値が時間的にも安定化される。

第１実施形態の瞳孔検出装置１の作用効果について説明する。

上述した実施形態の瞳孔検出装置１においては、カメラ２の開口部８中心から比較的近い位置に配置された光源３Ａ及びその開口部中心から比較的遠い位置に配置された光源３Ｂの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、光源３Ｂの点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られ、明瞳孔画像と暗瞳孔画像とを比較した比較画像を用いて観察対象者の瞳孔像の位置が算出される。このとき、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の周辺の虹彩の輝度値を基に明瞳孔画像の取得時の光源３Ａ，３Ｂの発光量の和が変更されることにより、明瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。それと同時に、虹彩の輝度値を基に暗瞳孔画像の取得時の光源３Ｂの発光量が変更されることにより、暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。その結果、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。

具体的には、観察対象者の頭部の方向が動いた場合には明瞳孔画像あるいは暗瞳孔画像上に角膜反射像が現れなくなるため、前のフレームの角膜反射像の輝度値を基にした角膜反射像の輝度値の安定化の制御が困難となる。このような状態のまま、頭部がカメラに対して前後に動いたときに、差分画像における瞳孔像の輝度値の安定化の制御は可能であるものの、角膜反射像の輝度値の安定化の制御が中断し、再度頭部の方向が動いて角膜反射が再出現した際に、角膜反射像の輝度値の安定化が困難となる。その結果、角膜反射像の位置を用いたウィンドウの差分位置補正が不可能となり、瞳孔像の位置の検出精度が低下してしまう。これに対して、本実施形態によれば、角膜反射像の検出が不可能な場合に、虹彩の輝度値を基に顔に対する光源３Ａ，３Ｂの発光量を制御するので、観察対象者の頭部が動いた場合であっても角膜反射像の輝度値を安定化させて瞳孔像の位置の検出精度を維持することができる。虹彩の輝度値以外に顔の輝度値を利用することも考えられるが、顔における輝度値は場所によって大きく異なるし、顔が動いた際に顔の同じ個所を特定してその同じ個所の輝度値を計測することは困難である。特に、カメラに対する顔の向きが変わった際に顔の輝度値は大きく変化してしまう。さらに、太陽光等の環境光が顔に当たるような環境下（例えば、装置を自動車のドライバーに使用する場合）では、顔の輝度値が飽和しやすく、光量制御が機能しなくなる。これに対して、虹彩の部分は、太陽光が直接当たる環境下で顔のほとんどの部分の輝度値が飽和しても、その輝度値は飽和しない。従って、虹彩の輝度値は、顔が動いたり、太陽光が直接当たったりした場合でも安定して検出できるため、光源３Ａ，３Ｂの発光量の制御に用いるのに有利である。

また、既に説明したように、眼画像中における角膜反射像の輝度振幅は、第１又は第２の画像取得期間中における光源３Ａ，３Ｂの発光量の合計にほぼ比例する。もし、頭部が停止していれば、この発光量に比例して顔の各部分の輝度も変化する。ここで、光源３Ａ，３Ｂの発光量を大きくしすぎると、例えば、瞼、又は、瞼と目の境界部分等に角膜反射像と同じ輝度でサイズが同等な画素群が発生して、角膜反射像の検出の際の候補の画素群となり、角膜反射の誤検出を生じやすくなる。しかも、候補の画素群が多くなると正しい角膜反射像の特定のための演算時間及び使用メモリ量も増加するため、候補の画素群は少ないことが望ましい。本実施形態の瞳孔検出装置１によれば、眼画像中の角膜反射像の輝度が目標値に維持されて過度に発光量が大きくなることがないため、角膜反射像検出の際の候補の画素群の発生も抑えられ、演算時間及び使用メモリ量を削減することができる。

ここで、検出ユニット１３の点灯時間設定部１７は、明瞳孔画像あるいは暗瞳孔画像における瞳孔像の中心位置及び輪郭を検出し、中心位置から輪郭上の複数の点を延長した複数のサンプリング点上の輝度値を用いて、虹彩の輝度値を特定している。このような機能により、明瞳孔画像あるいは暗瞳孔画像上における虹彩に対応する位置を適切にサンプリングすることができ、そのサンプリング結果を用いて光源３Ａ及び光源３Ｂの発光量を制御することによって、明瞳孔画像及び暗瞳孔画像の取得時の眼部に対する照明効果を安定化することができる。

また、検出ユニット１３の点灯時間設定部１７は、虹彩の輝度値と目標値との比較結果を基に、第１の画像取得期間内の発光量の和、及び第２の画像取得期間内の発光量を増減させるように制御している。こうすれば、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を目標値を基準にして安定化することができる。

また、点灯制御ユニット１２は、光源３Ａ及び光源３Ｂの点灯タイミングの中心を、第１の画像取得期間及び第２の画像取得期間における中央時点に同期するように制御している。このようにすることで、観察対象者の眼部全体の照明タイミングとカメラ２による眼画像の取得タイミングとを一致させることができ、比較画像を用いた瞳孔像位置の算出精度を向上させることができる。

また、検出ユニット１３の角膜反射検出部１９は、明瞳孔画像あるいは暗瞳孔画像を基に観察対象者の角膜反射像の位置を算出する機能を有している。このような機能を有する角膜反射検出部１９では、点灯時間設定部１７の制御により明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる結果、眼部で生じる角膜反射像の位置の検出も安定化できる。

さらに、検出ユニット１３の点灯時間設定部１７は、明瞳孔画像あるいは暗瞳孔画像を基にした角膜反射像の検出が成功した際には、角膜反射像の輝度値を基に光源３Ａ及び光源３Ｂの発光量を制御している。このように動作することで、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度、特に角膜反射像の輝度値を安定化することができる。その結果、瞳孔像の位置検出精度を高めることができる。
（第２実施形態）

以下、上述した第１実施形態に係る瞳孔検出装置１を応用した第２実施形態に係る視線検出装置２０１の構成について説明する。図９は、視線検出装置２０１の機能構成を示すブロック図である。視線検出装置２０１は、上述した光源３Ａ，３Ｂと撮像素子６を含むカメラ２とによってそれぞれ構成される２つの光学系２０２ａ，２０２ｂと、制御装置４とを備える。制御装置４の検出ユニット１３は、観察対象者の視線方向を検出するための機能要素として視線検出部２０をさらに備えている。

制御装置４の撮像素子駆動ユニット１１は、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングを制御し、点灯制御ユニット１２は、２つの光学系２０２ａ，２０２ｂの光源３Ａ，３Ｂの点灯タイミングを制御する。２つの光学系２０２ａ，２０２ｂは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。本実施形態では、各カメラ２による撮影の時間差を可能な限り少なくするために、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングが同期するように制御される。その際、２つの光学系２０２ａ，２０２ｂの各光源３Ａ，３Ｂの点灯期間の設定は、上述した点灯時間設定部１７による設定手順と同様に、２つの光学系２０２ａ，２０２ｂで独立に行われる。このような構成にすることで、複数のカメラ２で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ２間で同期をとっていれば、２台のカメラどうしで眼画像データの取得時間差がないため観察対象者の頭部の動きによる誤差を少なくすることができる。

詳細には、制御装置４の点灯時間設定部１７は、各光学系２０２ａ，２０２ｂにおいて設定される点灯期間Ｔ_Ｂ，Ｔ_Ｃ，Ｔ_Ｄ，Ｔ_ＤＣをそれぞれ点灯期間Ｔ_Ｂｎ，Ｔ_Ｃｎ，Ｔ_Ｄｎ，Ｔ_ＤＣｎとした場合（ｎはカメラ２を識別する番号であり、ｎ＝１，２）、点灯期間Ｔ_Ｂｎ＝Ｔ_Ｄｎとなるように常に制御する。これにより、一方の光学系の光源の光が他方の光学系のカメラ２に入ったとしてもそれぞれのカメラ２によって取得される明瞳孔画像と暗瞳孔画像との間で瞳孔部以外の輝度レベルは一致し、差分画像から安定して瞳孔を検出できる。各光学系２０２ａ，２０２ｂにおいて、一方の光学系のカメラ２自身に取り付けた光源３Ａ，３Ｂのうち、明瞳孔効果（瞳孔を明るく映す効果）が強いのはそのカメラ２に取り付けた光源３Ａのみである。他方の光学系のカメラ２に取り付けた光源３Ａ，３Ｂは共に同じ位置にあるとみなせるため、同じレベルの強い暗瞳孔効果（瞳孔を暗く映す効果）を持つ。このことから、一方の光学系のカメラ２での明瞳孔画像及び暗瞳孔画像の撮影時に、他方の光学系のカメラ２の光源が同じパワー（点灯期間）で発光した場合には、他方の光学系のカメラ２の光源は一方の光学系のカメラ２から得られる差分画像における瞳孔像の輝度には影響を与えない。差分画像の瞳孔像の輝度に影響を与えるのは一方の光学系のカメラ２自身に取り付けた光源３Ａと光源３Ｂとの明瞳孔効果の差のみである。

制御装置４の点灯時間設定部１７は、各光学系２０２ａ，２０２ｂごとに、上記式（１）〜（３）を用いて、現在のフレームの眼画像データから得られた虹彩の輝度値又は角膜反射像の輝度値、及び瞳孔像の輝度値を基に、次回のフレームの点灯期間Ｔ_Ｂｎ，Ｔ_Ｃｎ，Ｔ_ＤＣｎを設定する。この際、点灯時間設定部１７は、Ｔ_Ｂ１＝Ｔ_Ｄ１、及びＴ_Ｂ２＝Ｔ_Ｄ２となるように、各カメラ２で独立に点灯期間を設定することが好適である。こうすれば、観察対象者の頭部が左右に動く、２台のカメラ２までの距離が違ってきた場合に各カメラ２で取得される眼画像データ間での瞳孔部以外の輝度レベルが一致する。一方で、Ｔ_Ｂ１＝Ｔ_Ｄ１＝Ｔ_Ｂ２＝Ｔ_Ｄ２となるように点灯期間を設定してもよい。こうすれば、両方のカメラ２で取得された眼画像データ間の瞳孔部以外の輝度レベルが一致し、両方のカメラ２で同じ明るさの顔画像が撮影可能とされる。点灯時間設定部１７は、２つの光学系２０２ａ，２０２ｂの角膜反射像形成のための光源３Ｂの点灯期間Ｔ_Ｃ１，Ｔ_Ｃ２を独立に設定し、虹彩の輝度値あるいは角膜反射像の輝度値に応じて点灯期間Ｔ_Ｂ１＋Ｔ_Ｃ１，Ｔ_Ｂ２＋Ｔ_Ｃ２を独立に制御する。この場合も、点灯時間設定部１７は、点灯期間Ｔ_Ｃ１＝Ｔ_Ｃ２、点灯期間Ｔ_Ｂ１＋Ｔ_Ｃ１＝Ｔ_Ｂ２＋Ｔ_Ｃ２となるように制御してもよい。

制御装置４の視線検出部２０は、２つの光学系２０２ａ，２０２ｂごとに、差分画像を基に検出された瞳孔像の位置と、暗瞳孔画像及び明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部２０は、２つの光学系２０２ａ，２０２ｂに対応して得られた瞳孔像の位置を用いて、観察対象者の瞳孔の三次元位置を算出する。さらに、視線検出部２０は、算出した瞳孔の三次元位置、２つの光学系２０２ａ，２０２ｂごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて観察対象者の視線方向および注視点を検出する。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法（国際公開ＷＯ２０１２／０２０７６０号公報参照）を採用することができる。

ここで、制御装置４の差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像上にウィンドウを設定する際には、直前に算出された観察対象者の瞳孔の三次元座標を用いて、明瞳孔画像及び暗瞳孔画像のそれぞれにおいて、その三次元座標に基づいた画素サイズの矩形のウィンドウを設定する。すなわち、瞳孔の三次元座標を基にカメラ２と瞳孔との間の距離を評価し、ピンホールモデルの原理を利用して、ウィンドウの領域に対応する実寸のサイズが所定のサイズとなるように、ウィンドウの画素サイズを設定する。この所定のサイズとは観察対象者の眼が十分に収まるようなサイズとされる。さらに、差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像上のそれぞれに設定されたウィンドウ内の画像を、バイキュービック補完法あるいはバイリニア補完法を用いて、同一の画素サイズ（例えば、１４０×１４０画素）の画像に変換する。そして、変換された画像に対して差分位置補正を施した後に差分画像を生成する。このように動作することで、カメラ２と観察対象者との距離が変化する際に画像に写る観察対象者の顔のサイズが変化する場合であっても、差分画像を用いた瞳孔像の検出結果の高精度化を図ることができる。

また、制御装置４の角膜反射検出部１９は、明瞳孔画像及び暗瞳孔画像から角膜反射像の位置を算出する際に、国際公開ＷＯ２０１８／１６４１０４号公報に記載の手法を用いて、角膜球のステレオマッチングによって、角膜反射像の候補の中から偽の角膜反射像を除外するように処理してもよい。そうすれば、角膜反射像候補が増加した場合でも角膜反射像の誤検出を防止できる。

さらに、制御装置４の点灯時間設定部１７は、明瞳孔画像あるいは暗瞳孔画像上で虹彩の輝度値を特定する際には、次のように、処理することができる。すなわち、点灯時間設定部１７は、差分画像を用いて瞳孔輪郭として求められた楕円から長径を計算し、その長径の実寸サイズをピンホールモデルの原理を利用して瞳孔の三次元座標を基に計算し、変数ｘを、所定値（例えば、瞳孔中心Ｏ_Ｐから虹彩までの実寸距離に対応する数値４ｍｍ）を長径の実寸サイズで割り算した値として計算する。その後、点灯時間設定部１７は、瞳孔中心Ｏ_Ｐと座標ＳＡ_Ｐとを結ぶベクトルを１：ｘで延長した終点の座標ＳＡ_Ｂを計算する。このようにすれば、カメラ２と観察対象者との距離が変化する際に画像に写る観察対象者の顔のサイズが変化する場合であっても、虹彩の輝度値を精度よく特定することができる。

上述した視線検出装置２０１によれば、算出した瞳孔像の位置及び角膜反射像の位置を基に、観察対象者の視線方向も安定して検出することができる。また、本実施形態の制御装置４の差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像のそれぞれにおいて瞳孔像の三次元座標に基づいて設定された画素サイズのウィンドウを設定し、両画像のウィンドウ内の画像を同一の画素サイズの画像に変換した後に比較画像を生成している。こうすれば、観察対象者の位置がカメラに対して変動する場合であっても、画像中における瞳孔像の位置を高精度に検出することができる。

本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。

上述した各実施形態では、点灯時間設定部１７は、１つの明瞳孔画像とその直後の１つの暗瞳孔画像との組み合わせのフレーム単位で点灯期間の設定を制御していたが、制御単位である１つのフレームを構成する画像は、１つの暗瞳孔画像とその直後の１つの明瞳孔画像との組み合わせであってもよい。

また、上述した各実施形態では、差分画像生成部１６が、明瞳孔画像と暗瞳孔画像とを比較した比較画像として差分画像を生成していたが、特開２００８−２４６００４号公報に記載されたように、比較画像として除算画像を用いるようにしてもよい。さらには、比較画像として、他の演算により明瞳孔画像と暗瞳孔画像とを比較した画像が生成されてもよい。

また、上述した各実施形態では、点灯時間設定部１７は、連続するフレームにおいて角膜反射像の位置の検出が成功したか否かに関わらず、常に虹彩の輝度値を基にして光源の点灯時間の制御を実行してもよい。

また、各実施形態の検出ユニット１３は、太陽光等の外乱光が存在した場合を考慮して、国際公開ＷＯ２０１６／０２７６２７号公報に記載されたように、明瞳孔画像と暗瞳孔画像の取得タイミングの間の光源３Ａ，３Ｂの両方を消灯したタイミングを設け、そのタイミングで無照明画像を取得するように動作してもよい。この場合、検出ユニット１３は、明瞳孔画像から無照明画像を差分した画像（差分明瞳孔画像）を上述の明瞳孔画像に置き換え、暗瞳孔画像から無照明画像を差分した画像（差分暗瞳孔画像）を上述の暗瞳孔画像に置き換え、上述と同様な方法により、瞳孔像の検出、角膜反射像の検出、視線方向の検出等を行う。このように処理すれば、太陽光等の外乱光の存在下でもその影響を除去できる。

また、各実施形態の検出ユニット１３の瞳孔検出部１８及び角膜反射検出部１９は、瞳孔用閾値あるいは角膜反射用閾値を用いて２値化しているが、これらの閾値はフレーム毎に可変としてもよい。例えば、明瞳孔画像、暗瞳孔画像、及び差分画像における虹彩の輝度を基に、これらの閾値を適切に瞳孔像あるいは角膜反射像を検出できる値に自動調整してもよい。このようにすれば、観察対象者の頭部が動いて刻々と虹彩の輝度が変化して、差分画像における虹彩の輝度あるいは顔の輝度が零から離れた値になったり、明瞳孔画像及び暗瞳孔画像におけるこれらの輝度が変化した場合でも、瞳孔像の位置及び角膜反射像の位置を精度よく検出できる。

また、上述した実施形態にかかる照明装置３における各光源の構成は様々変更してもよい。

図１０には、上述した瞳孔検出装置１及び視線検出装置２０１に含まれる照明装置３の変形例の構成を示している。同図に示すように、変形例にかかる照明装置２０３は、ケーシング９に埋め込まれた光源３Ａ，３Ｂに加えて光源３Ｃを有する構成を有する。光源３Ｃも対物レンズ７の光軸Ｌ０（図１）に沿って照明光を出射するようにケーシング９上に設けられている。第１実施形態と同様に、光源３Ａは明瞳孔画像を得るための照明光を照射するための光源であり、光源３Ｂは、暗瞳孔画像を得るための照明光を照射するための光源（主光源）である。光源３Ｃは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を強調させるための光源（補助光源）として別途設けられる。

具体的には、光源３Ｃは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が距離Ｄ１より大きい位置に配置されている。具体的には、光源３Ｃは、発光素子によって複数の領域に分離されて配置されており、ケーシング９上で、複数の光源３Ｂと交互に直線状に並ぶように配設されている。光源３Ｃの出力光の中心波長は、光源３Ａ，３Ｂの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。例えば、光源３Ｃの出力光の中心波長は、瞳孔が光りにくい波長（例えば、９５０ｎｍ）に設定されてもよい。また、光源３Ｃの発光素子の数は、光源３Ａ，３Ｂと同一であってもよいし異なっていてもよい。このような光源３Ｃの存在により、後述するように、光源３Ａ，３Ｂにより照らし出される観察対象者の像においては、角膜反射像の輝度が調整される。

次に、変形例に係る照明装置２０３の構成を採用した各実施形態における制御装置４の機能の各実施形態との相違点について説明する。すなわち、制御装置４の点灯制御ユニット１２及び検出ユニット１３は、上記構成の光源３Ｃを含む照明装置２０３の点灯タイミングを図１１に示すように制御する。図１１は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミング、（ｄ）は、光源３Ｃの点灯タイミング、をそれぞれ示している。

図１１に示すように、点灯制御ユニット１２により、カメラ２によって交互に繰り返される明瞳孔画像の撮影期間Ｔ_１及び暗瞳孔画像の撮影期間Ｔ_２のうちの撮影期間Ｔ_１に同期するように、光源３Ａの点灯期間Ｔ_Ｂの点灯タイミングが制御され、暗瞳孔画像の撮影期間Ｔ_２に同期するように、光源３Ｂの点灯期間Ｔ_Ｄの点灯タイミングが制御される。それと同時に、点灯制御ユニット１２により、カメラ２の撮影期間Ｔ_１及び撮影期間Ｔ_２のそれぞれに同期するように、光源３Ｃの点灯期間Ｔ_Ｃの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間Ｔ_Ｂだけ点灯されると同時に、明瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間Ｔ_Ｃだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間Ｔ_Ｄだけ点灯されると同時に、暗瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間Ｔ_Ｃだけ点灯される。これにより、光源３Ｃの点灯による明瞳孔画像及び暗瞳孔画像における輝度レベルの増加分は差分画像においては相殺されるため、光源３Ｃの点灯は差分画像における瞳孔像の輝度には影響は与えない。一方で、光源３Ｃの点灯は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度レベルあるいは瞳孔部以外の顔領域の輝度に影響を与える。

制御装置４の点灯時間設定部１７は、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるように、点灯期間Ｔ_Ｂと点灯期間Ｔ_Ｄとが同じになるように設定し、かつ、前回のフレームで取得された差分画像における瞳孔像の輝度が一定となるようにそれぞれの光源３Ａ，３Ｂの点灯期間Ｔ_Ｂ，Ｔ_Ｄを変更して設定する。それとともに、点灯時間設定部１７は、前回のフレームで取得された明瞳孔画像及び暗瞳孔画像における虹彩の輝度あるいは角膜反射像の輝度が目標値に近づくように光源３Ｃの点灯期間Ｔ_Ｃを変更して設定する。各点灯期間の設定方法の詳細は、上述した第１実施形態の場合と同様である。

本変形例の照明装置２０３の構成を採用して、虹彩の輝度値を基に光源３Ｃの発光量を変更するように制御することで、角膜反射像の強調のための照明による差分画像における瞳孔輝度に対する影響を抑えながら、明瞳孔画像及び暗瞳孔画像中の瞳孔以外の眼部の輝度を安定化することができる。その結果、差分画像を用いた瞳孔像位置の検出精度をさらに向上させることができる。

図１２は、変形例に係る照明装置２０３の構成を採用した第２実施形態において検出された、虹彩輝度と瞳孔−カメラ間の距離の複数フレーム間の変化を示している。図１２の（ａ）部には、光源３Ａ，３Ｂ，３Ｃの光量調整の制御を動作させなかった場合の虹彩輝度の検出結果であるグラフＭ１、及び瞳孔−カメラ間の距離の検出結果であるグラフＭ２を示し、図１２の（ｂ）部には、光源３Ａ，３Ｂ，３Ｃの光量調整の制御を動作させた場合の虹彩輝度の検出結果であるグラフＭ１、及び瞳孔−カメラ間の距離の検出結果であるグラフＭ２を示している。

この結果では、光量調整制御を行わない場合、瞳孔−カメラ間の距離が長くなると虹彩輝度が小さくなり、逆に距離が短くなると虹彩輝度は大きくなっている。一方、光量調整制御を行う場合は、瞳孔−カメラ間の距離が変化しても虹彩輝度がほぼ一定に保たれている。

図１３及び図１４には、変形例に係る照明装置２０３の構成を採用した第２実施形態において検出された、角膜反射輝度と瞳孔−カメラ間の距離の複数フレーム間の変化を示している。図１３は光量調整制御を行わない場合の検出結果を示し、図１４は光量調整制御を行った場合の検出結果を示し、それぞれの図の（ａ）部には瞳孔−カメラ間の距離の検出結果であるグラフＭ２を示し、それぞれの図の（ｂ）部には明瞳孔画像及び暗瞳孔画像上のウィンドウの画素数の設定及び変換を行わなかった場合の角膜反射輝度の検出結果であるグラフＭ３と、ウィンドウの画素数の設定及び変換を行った場合の角膜反射輝度の検出結果であるグラフＭ４とを示す。このとき、角膜反射像の候補としては面積が１０画素以上の画素群を選択するように角膜反射像の検出の処理を設定した。

これらの結果においては、光量調整制御を行わない場合、ウィンドウの画素数の設定及び変換の処理の有無にかかわらず、瞳孔−カメラ間の距離が大きくなると角膜反射像が検出できなくなった。一方、光量調整制御を行った場合、ウィンドウの画素数の設定及び変換の処理を行わないと、瞳孔−カメラ間の距離が大きくなると角膜反射像が検出できなかったが、光量調整制御を行わない場合に比較すると、角膜反射像が検出できない割合が低下した。さらに、光量調整制御もウィンドウの画素数の設定及び変換の処理も行った場合は、ほぼすべてのフレームで角膜反射像が検出できることが分かった。このことから、光量調整制御とウィンドウの画素数の設定及び変換の処理により、角膜反射像の検出においてロバスト性を向上できることが明らかとなった。

また、上述した各実施形態では、点灯時間設定部１７は、明瞳孔画像あるいは暗瞳孔画像において楕円フィティングを用いて検出された瞳孔像の輪郭の位置を示す楕円の式を用いて、虹彩の輝度値を特定するための複数のサンプリング点を設定してもよい。詳細には、図１５に示すように、瞳孔検出部１８によって楕円フィッティングして求められた楕円ＣＯ_Ｐの式から、画像中の瞳孔像の中心座標Ｏ_Ｐ（ｘ_０，ｙ_０）、長径の半分の長さＬ_Ａ，短径と長径との比（長径に対する短径の比）Ｒ（＜１）、長径の画像座標系の横軸に対する傾きθ_０が求まる。よって、瞳孔像の輪郭を近似した楕円ＣＯ_Ｐ上で等角度間隔Δθでサンプリングされたｉ番目のサンプル点ＳＡ_Ｐｉは、下記式によって計算された座標（ｘ_ｉ，ｙ_ｉ）で与えられる。
(x_i,y_i)=(x₀+L_A×cos(Δθ×i＋θ_０), y_o+R×L_A×sin(Δθ×i＋θ_０))
従って、点灯時間設定部１７は、中心座標Ｏ_Ｐから外側に向けて楕円ＣＯ_Ｐ上の複数のサンプル点ＳＡ_Ｐｉを延長した複数のサンプリング点ＳＡ_Ｓｉを、長径の半分の長さがＬ_Ｃである楕円ＣＯ_Ｓ上の点として、下記式により計算した座標（ｘ_Ｓｉ，ｙ_Ｓｉ）で求めることができる。
(x_Si,y_Si)=(x₀+L_C×cos(Δθ×i＋θ_０), y_o+R×L_C×sin(Δθ×i＋θ_０))
例えば、上記式中の長さＬ_Ｃは、虹彩の位置に対応するように、例えば、4mmに設定される。

このように複数のサンプリング点を設定することで、安定して虹彩の輝度値を特定することができる。すなわち、上述した実施形態では瞳孔の輪郭上の点が全て正確に検出されていることが前提であるが、実際は瞼で瞳孔の一部が隠れると瞳孔の輪郭は偽の輪郭点も含んで検出される。上記のように楕円フィッティングの結果を用いてサンプル点を設定することで、偽の輪郭点を含んだ場合でも安定して虹彩の位置を特定することができる。

Ａ…眼球、２０２ａ，２０２ｂ…光学系、３Ａ，３Ｂ，３Ｃ…光源、１…瞳孔検出装置、２…カメラ、３，２０３…照明装置、４…制御装置、８…開口部、１２…点灯制御ユニット（点灯制御部）、１３…検出ユニット（算出部）、２０１…視線検出装置。

Claims (11)

1. 対象者の眼を撮像することにより眼画像を取得するカメラと、
   前記カメラの開口部の外側に設けられて前記カメラに対して前記対象者の瞳孔を相対的に明るく写す第１の光源と、
   前記カメラの開口部の外側に設けられて前記カメラに対して前記対象者の瞳孔を相対的に暗く写す第２の光源と、
   前記第１の光源及び前記第２の光源の点灯タイミング及び発光量を制御し、第１の画像取得期間内に前記第１の光源及び前記第２の光源を点灯させ、第２の画像取得期間内に前記第２の光源を点灯させる点灯制御部と、
   前記第１の画像取得期間に同期して前記カメラによって取得された前記眼画像である明瞳孔画像と、前記第２の画像取得期間に同期して前記カメラによって取得された前記眼画像である暗瞳孔画像とを比較した比較画像を基に前記対象者の瞳孔像の位置を算出するとともに、前記明瞳孔画像あるいは前記暗瞳孔画像における前記瞳孔像の位置の周辺の虹彩の輝度値を特定し、前記虹彩の輝度値を基に前記第１の画像取得期間内の前記第１の光源の発光量と前記第２の光源の発光量との和を変更するように制御するとともに、前記虹彩の輝度値を基に前記第２の画像取得期間内の前記第２の光源の発光量を変更するように制御する算出部と、
   を備える瞳孔検出装置。
2. 前記第１の光源は、前記カメラの開口部中心からの距離が第１の距離の位置に配置され、
   前記第２の光源は、前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置されている、
   請求項１記載の瞳孔検出装置。
3. 前記算出部は、前記明瞳孔画像あるいは前記暗瞳孔画像における瞳孔像の中心位置及び輪郭を検出し、前記中心位置から輪郭上の複数の点を延長した複数のサンプリング点上の輝度値を用いて、前記虹彩の輝度値を特定する、
   請求項１又は２記載の瞳孔検出装置。
4. 前記算出部は、前記明瞳孔画像あるいは前記暗瞳孔画像における瞳孔像の輪郭の位置を楕円フィティングによって検出して楕円として求め、前記楕円の中心位置から楕円上の複数の点を延長した複数のサンプリング点上の輝度値を用いて、前記虹彩の輝度値を特定する、
   請求項１又は２記載の瞳孔検出装置。
5. 前記第２の光源は、前記開口部の中心からの距離が前記第１の光源よりも大きい位置に配置された主光源と、前記開口部の中心からの距離が前記第１の光源よりも大きい位置に配置された補助光源とを有し、
   前記算出部は、前記虹彩の輝度値を基に前記第１の画像取得期間内の前記補助光源の発光量と、前記第２の画像取得期間内の前記補助光源の発光量とを変更する、
   請求項１〜４のいずれか１項に記載の瞳孔検出装置。
6. 前記算出部は、前記虹彩の輝度値と目標値との比較結果を基に、前記第１の画像取得期間内の前記発光量の和、及び前記第２の画像取得期間内の前記発光量を増減させるように制御する、
   請求項１〜５のいずれか１項に記載の瞳孔検出装置。
7. 前記点灯制御部は、前記第１の光源及び前記第２の光源の点灯タイミングを、前記第１の画像取得期間及び前記第２の画像取得期間における中央時点に同期するように制御する、
   請求項１〜６のいずれか１項に記載の瞳孔検出装置。
8. 前記算出部は、前記明瞳孔画像あるいは前記暗瞳孔画像を基に前記第１の光源及び第２の光源の点灯によって生じた前記対象者の角膜反射像の位置を算出する、
   請求項１〜７のいずれか１項に記載の瞳孔検出装置。
9. 前記算出部は、前記明瞳孔画像あるいは前記暗瞳孔画像を基にした前記角膜反射像の検出が成功した際には、前記角膜反射像の輝度値を基に前記第１の画像取得期間内の前記第１の光源の発光量と前記第２の光源の発光量との和を変更するように制御するとともに、前記角膜反射像の輝度値を基に前記第２の画像取得期間内の前記第２の光源の発光量を変更するように制御する、
   請求項８に記載の瞳孔検出装置。
10. 前記算出部は、前記比較画像を基に算出した前記瞳孔像の位置と、前記明瞳孔画像あるいは前記暗瞳孔画像を基に算出した前記角膜反射像の位置とを基に、前記対象者の視線方向を検出する、
    請求項８又は９に記載の瞳孔検出装置。
11. 前記算出部は、前記明瞳孔画像及び前記暗瞳孔画像の取得時における前記瞳孔像の三次元座標を算出し、前記明瞳孔画像及び暗瞳孔画像のそれぞれにおいて前記三次元座標に基づいて設定された画素サイズのウィンドウを設定し、前記明瞳孔画像の前記ウィンドウ内の画像と、前記暗瞳孔画像の前記ウィンドウ内の画像とを、同一の画素サイズの画像に変換した後に互いに比較することにより、前記比較画像を生成する、
    請求項１〜１０のいずれか１項に記載の瞳孔検出装置。