JP2016095584A - 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム - Google Patents

Abstract

【課題】瞳孔の検出精度を向上可能な瞳孔検出装置を提供する。【解決手段】瞳孔検出装置１は、第１の照明光を照射する光源３Ａと、第２の照明光を照射する光源３Ｃと、明瞳孔画像及び暗瞳孔画像を利用して瞳孔を検出する瞳孔検出ユニット１３と、を備える。瞳孔検出ユニット１３は、光源３Ａ，３Ｃとの間の位置関係を示す第１の情報を保持する情報保持部１４と、第１の情報及び暗瞳孔画像における光源３Ｃによる角膜反射を利用して、暗瞳孔画像に現れる仮想的な角膜反射の位置を示す第２の情報を推定する推定部１６と、差分画像を利用して瞳孔を検出する瞳孔検出部１９と、を有する。【選択図】図４

Description

本発明は、撮像した画像から対象者の瞳孔を検出するための瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラムに関する。

瞳孔と角膜反射に基づく視線検出装置が知られている。この視線検出装置は、瞳孔を相対的に明るくする傾向を有する光を対象者の顔に照射して画像（明瞳孔画像）を取得し、瞳孔を相対的に暗くする傾向を有する光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。それら画像を利用して差分画像を算出することにより、対象者の瞳孔を検出する。そして、瞳孔と角膜反射とを利用して視線を検出する。

特許文献１には、明瞳孔画像と暗瞳孔画像の差分画像を算出する前に、明瞳孔画像と暗瞳孔画像との位置を調整する技術が開示されている。特許文献１に記載された技術は、明瞳孔画像のための光源の位置と暗瞳孔画像のための光源の位置とが空間的に同じ位置にあるとみなせる配置条件下において、有効に機能する。特許文献２には、この配置条件を満たし得る光源を備えた装置が開示されている。

また、対象者は、眼鏡を装着していることがある。この眼鏡は、レンズやフレームにおいて光を反射する。したがって、対象者が眼鏡を装着している場合には、明瞳孔画像や暗瞳孔画像に眼鏡からの反射光（眼鏡反射）が映り込む可能性が有る。この眼鏡からの反射光は、瞳孔や視線の検出にとってノイズとなり得る。そこで、特許文献３には、画像上において眼鏡反射と瞳孔及び角膜反射とを幾何学的な手法を用いて区別する方法が開示されている。また、特許文献４には、明瞳孔画像と暗瞳孔画像の差分によって眼鏡反射を相殺し得る装置が開示されている。

特願２００６−２０８３５５号公報 特願２００３−４１９１１０号公報 特願２０１２−１２０３１２号公報 特願２００６−３１１８１５号公報

ところで、精度の良い視線検出を行うためには、精度の良い瞳孔検出が必要である。明瞳孔画像と暗瞳孔画像の差分を利用して瞳孔を検出する場合には、上述したように、明瞳孔画像と暗瞳孔画像との位置合わせや眼鏡反射と角膜反射等との区別といった課題が存在する。

本発明は、瞳孔の検出精度を向上可能な瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラムを提供することを目的とする。

本発明の一形態は、対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像、及び対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像、に基づいて対象者の瞳孔を検出する瞳孔検出装置であって、対象者の顔に向けて第１の照明光を照射する第１の光照射手段と、対象者の顔に向けて第２の照明光を照射する第２の光照射手段と、明瞳孔画像及び暗瞳孔画像を利用して、瞳孔を検出する瞳孔検出手段と、を備え、瞳孔検出手段は、第１の光照射手段と第２の光照射手段との間の位置関係を示す第１の情報を保持する情報保持部と、第１の情報及び暗瞳孔画像における第２の照明光による角膜反射を利用して、暗瞳孔画像上の第１の照明光による角膜反射に対応する位置を示す第２の情報を推定する推定部と、第２の情報及び明瞳孔画像における第１の照明光による角膜反射を利用して、明瞳孔画像及び暗瞳孔画像の位置合わせを行った後に、明瞳孔画像及び暗瞳孔画像の差分画像を生成し、差分画像を利用して瞳孔を検出する検出部と、を有する。

本発明の別の形態は、対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像及び対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像に基づいて、対象者の瞳孔を検出する瞳孔検出方法であって、第１の光照射手段を利用して、対象者の顔に向けて第１の照明光を照射するステップと、第２の光照射手段を利用して、対象者の顔に向けて第２の照明光を照射するステップと、明瞳孔画像及び暗瞳孔画像を利用して、瞳孔を検出するステップと、を有し、瞳孔を検出するステップは、第１の光照射手段と第２の光照射手段との間の位置関係を示す第１の情報及び暗瞳孔画像における第２の照明光による角膜反射を利用して、暗瞳孔画像上の第１の照明光による角膜反射に対応する位置を示す第２の情報を推定するステップと、第２の情報及び明瞳孔画像における第１の照明光による角膜反射を利用して、明瞳孔画像及び暗瞳孔画像の位置合わせを行うステップと、位置合わせを行うステップの後に、明瞳孔画像及び暗瞳孔画像の差分画像を算出し、差分画像を利用して瞳孔を検出するステップと、を有する。

本発明の更に別の形態は、対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像及び対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像に基づいて、対象者の瞳孔を検出する瞳孔検出プログラムであって、コンピュータを、対象者の顔に向けて第１の照明光を照射する第１の光照射手段と、対象者の顔に向けて第２の照明光を照射する第２の光照射手段と、明瞳孔画像及び暗瞳孔画像を利用して、瞳孔を検出する瞳孔検出手段と、して機能させ、瞳孔検出手段は、第１の光照射手段と第２の光照射手段との間の位置関係を示す第１の情報を保持する情報保持部と、第１の情報及び暗瞳孔画像における第２の照明光による角膜反射を利用して、暗瞳孔画像上の第１の照明光による角膜反射に対応する位置を示す第２の情報を推定する推定部と、第２の情報及び明瞳孔画像における第１の照明光による角膜反射を利用して、明瞳孔画像及び暗瞳孔画像の位置合わせを行った後に、明瞳孔画像及び暗瞳孔画像の差分画像を算出し、差分画像を利用して瞳孔を検出する検出部と、を有する。

これら瞳孔検出装置、画像検出方法及び画像検出プログラムは、明瞳孔画像と暗瞳孔画像の差分画像に基づいて瞳孔を検出する。明瞳孔画像と暗瞳孔画像の差分画像を得る場合には、明瞳孔画像における特徴点と、暗瞳孔画像における特徴点とを一致させることが望まれる。これら瞳孔検出装置、画像検出方法及び画像検出プログラムでは、明瞳孔画像における特徴点として第１の照明光による角膜反射を利用し、暗瞳孔画像における特徴点として第２の照明光による角膜反射を利用している。ここでこれら瞳孔検出装置、画像検出方法及び画像検出プログラムは、第１の情報に基づいて、第１の照明光を照射したと仮定したときに暗瞳孔画像に現れる仮想的な角膜反射の位置を推定する。この推定された仮想的な角膜反射の位置は、明瞳孔画像における角膜反射に対応している。したがって、推定された仮想的な角膜反射を、暗瞳孔画像における位置合わせ用の特徴点として利用することが可能である。そして、明瞳孔画像における角膜反射の位置と、暗瞳孔画像における推定された仮想的な角膜反射とをそれぞれ特徴点として、両画像の位置合わせ処理を行う。位置合わせ処理を行った画像によれば、精度のよい差分画像を得ることができる。したがって、これら瞳孔検出装置、画像検出方法及び画像検出プログラムによれば、瞳孔の検出精度を向上することができる。

また、第１の光照射手段は、基準線上に配置された１個の第１の光源を有し、第２の光照射手段は、基準線上において第１の光源を挟むように配置された２個の第２の光源を有し、第１の情報は、基準線に沿った第１の光源から一方の第２の光源までの距離、及び基準線に沿った第１の光源から他方の第２の光源までの距離、を含むこととしてもよい。この構成によれば、第１の光源の位置に対して離間した位置に第２の光源を配置することが可能になる。また、推定部は、対象者から見たときの第１及び第２の光源の見た目の位置関係を利用して仮想的な角膜反射を推定するので、計算処理を簡易にすることができる。

また、第１の光照射手段は、基準線上に配置された１個の第１の光源を有し、第２の光照射手段は、第１の軸線上に配置された第２の光源と、第２の軸線上に配置された別の第２の光源と、を有し、第１の軸線は、基準線に対して第１の角度をもって、第１の光源が配置された位置において基準線と交差し、第２の軸線は、基準線に対して第２の角度をもって、第１の光源が配置された位置において基準線と交差し、第１の情報は、第１の角度及び第２の角度を含む、こととしてもよい。この構成によれば、第２の光源による角膜反射を、瞳孔の領域外に生じさせ易くなる。そうすると、高照度化において対象者の瞳孔が小さくなった場合であっても、暗瞳孔画像における瞳孔のエッジに第２の光源による角膜反射が重畳することを抑制し得る。したがって、瞳孔中心の検出精度の低下を抑制できる。

また、第１の情報は、基準座標系における、瞳孔、第１の光源、一方の第２の光源及び別の第２の光源、のそれぞれの座標位置を含み、推定部は、第１の情報を利用して、瞳孔、第１の光源、及び一方の第２の光源を含む第１の仮想平面を算出した後に、第１の仮想平面と第１の光照射手段が配置された基準線との間の第１の仮想面角度を算出し、第１の情報を利用して、瞳孔、第１の光源、及び別の第２の光源を含む第２の仮想平面を算出した後に、第２の仮想平面と基準線との間の第２の仮想面角度を算出し、第１の仮想面角度、第２の仮想面角度、及び暗瞳孔画像における第２の照明光による角膜反射、を利用して、第２の情報を推定することとしてもよい。この構成によれば、推定部は、対象者から見たときの第１及び第２の光源の見た目の位置関係を利用することなく、仮想的な角膜反射を厳密に算出する。したがって、仮想的な角膜反射の位置を更に精度良く算出することが可能になり、位置合わせ処理の精度も向上する。したがって、この瞳孔検出装置によれば、瞳孔の検出精度を更に向上することができる。

また、第１の光照射手段の近傍に配置された第３の光照射手段を更に備え、第３の光照射手段は、明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための第３の照明光を、対象者の顔に向けて照射することとしてもよい。この構成によれば、第１の光源により明瞳孔画像を得るための照明光が対象者に向けて出射され、第２の光源及び第３の光源により暗瞳孔画像を得るための照明光が対象者に向けて出射される。これにより、第１の光源により照明光が出射されているときに明瞳孔画像を撮像し、第２の光源及び第３の光源により照明光が出射されているときに暗瞳孔画像を撮像することで、第１の光源及び第２の光源によって明瞳孔画像と暗瞳孔画像との輝度の差を拡大することができる。また、同時に第３の光源は、第１の光源による眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができる。このように撮像された明瞳孔画像と暗瞳孔画像との差分画像を得ることにより、眼鏡反射像を差分により除去し、対象者の瞳孔をより際立たせて検出することができる。

また、第２の光照射手段及び第３の光照射手段は、暗瞳孔画像において、第３の照明光により生じる眼鏡反射が飽和し、かつ第２の照明光により生じる角膜反射の中心検出精度を低めない程度に、第３の照明光による角膜反射が第２の照明光による角膜反射よりも暗くなるようにそれぞれ設定されていてもよい。本発明の一形態に係る瞳孔検出装置は、このような第２の光照射手段光及び第３の光照射手段の設定において、特に有効に機能することができる。

本発明によれば、瞳孔の検出精度を向上可能な瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラムが提供される。

図１は、第１実施形態に係る瞳孔検出装置の概略構成を示す図である。 図２（ａ）は、図１の光源を筐体の外側から見た平面図であり、図２（ｂ）は瞳孔検出方法における光源の発光タイミングを示す図である。 図３は、第１実施形態に係る制御装置のハードウェア構成を示す図である。 図４は、瞳孔検出装置の機能ブロック図である。 図５は、第１実施形態に係る瞳孔検出方法の主要なステップを示す図である。 図６（ａ）は明瞳孔画像の一例であり、図６（ｂ）は暗瞳孔画像の一例であり、図６（ｃ）及び図６（ｄ）は差分画像の一例である。 図７は、光源の位置関係を示す図である。 図８は、第１実施形態に係る瞳孔検出プログラムの構成を示す図である。 図９は、光源の形状と、光源によって生じる眼鏡反射の形状とを示す模式図である。 図１０は、第２実施形態に係る瞳孔検出装置における光源の位置関係を示す図である。 図１１は、第２実施形態に係る瞳孔検出装置で取得された暗瞳孔画像の一例である。 図１２は、第３実施形態に係る瞳孔検出装置における仮想的な角膜反射を推定する原理を説明するための概念図である。 図１３は、第３実施形態に係る瞳孔検出装置で取得された暗瞳孔画像の一例である。 図１４は、変形例１に係る瞳孔検出装置を説明するための図である。 図１５（ａ）は、変形例２に係る瞳孔検出装置の光源の位置関係を示す図であり、図１５（ｂ）は、変形例３に係る瞳孔検出装置の光源の位置関係を示す図である。

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
［瞳孔検出装置］
図１に示されるように、瞳孔検出装置１は、カメラ２と、光源３と、制御装置４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子６と、筐体５内に収容された対物レンズ７とを有する。このカメラ２は、画像の取得フレームが非常に短い高速度カメラであってもよいし、いわゆる中速度カメラや、６０Ｈｚ程度の取得フレームを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７は、開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ１は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ１に対して垂直に交わるように固定されている。撮像素子６は、対象者の眼球Ａの像を撮像することによって画像データを生成して制御装置４に出力する。制御装置４は、光源３の発光強度及び発光タイミング、並びにカメラ２の撮像タイミングを制御する。また、制御装置４は、撮像素子６から出力された画像に基づいて差分処理や瞳孔検出処理を実行する。すなわち、制御装置４は、瞳孔検出手段としても機能する。

なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。

光源３は、対象者の顔に向けて照明光を出射する。図２（ａ）に示されるように、光源３は、ケーシング９と、ケーシング９に埋め込まれた光源３Ａ，３Ｂ，３Ｃを有する。ケーシング９は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。

光源３Ａは、明瞳孔画像を得るための照明光（第１の照明光）を、対象者の顔に向けて照射するための光源である。すなわち、光源３Ａ（第１の光源）は、第１の光照射手段を構成する。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、出力光の中心波長が８５０ｎｍ（第１の中心波長）の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の近傍に位置している。具体的には、光源３Ａは、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。

光源３Ｂ（第３の光源）は、光源３Ａからの照明光の照射により得られる明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光（第３の照明光）を、対象者の顔に向けて照射する光源である。すなわち、光源３Ｂは、第３の光照射手段を構成する。ここで、光源３Ｂは、暗瞳孔画像において、眼鏡反射の画素値を飽和させる。したがって、光源３の発光強度は、眼鏡反射の画素値を飽和させ得るに足りる値であればよい。眼鏡は、顔や瞳孔など、対象者の顔における眼鏡反射以外の部分に比べ光を反射しやすいので、極端に画素値が大きくなりやすい。そうすると、眼鏡反射の画素値を飽和させ得る光源３Ｂの発光強度は、検出可能な角膜反射を生じさせる光源３Ａや後述する光源３Ｃの発光強度よりもかなり小さくてよい。光源３Ｂは、出力光の中心波長が所定長の複数のＬＥＤからなり、開口部８の近傍に配置されている。所定長の波長は、例えば、８５０ｎｍであってもよいし、９５０ｎｍであってもよい。具体的には、光源３Ｂは、ケーシング９上で、光源３Ａの外側に隣接して等間隔でリング状に配置される。光源３Ａ及び光源３Ｂの数は、画像中での対象者の顔における輝度のバランスを取れるように、すなわち光源３Ａにより対象者の顔に照明光を出射した場合と、光源３Ｂにより対象者の顔に照明光を出射した場合との、対象者の顔における照度が略等しくなるように決定される。

光源３Ｃ（第２の光源）は、暗瞳孔画像を得るための照明光（第２の照明光）を、対象者の顔に向けて照射するための光源である。すなわち、光源３Ｃは、第２の光照射手段を構成する。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｃは、ケーシング９上で、光源３Ｂから開口部８の外側に離間して配置された複数のＬＥＤからなる。ここで、光源３Ｂと光源３Ｃとの離間の程度については、光源３Ｂと光源３Ｃとの単純な距離よりも、対象者から見た場合の光源３Ｂと光源３Ｃの角度の差が重要となる。つまり、瞳孔検出装置１と対象者の眼球Ａとの距離が大きい場合には、瞳孔検出装置１と対象者の眼球Ａとの距離が小さい場合と比較して、瞳孔検出装置１上における光源３Ｂと光源３Ｃとの間の距離を大きくする必要がある。具体的には、対象者から見た光源３Ｂと光源３Ｃとの間の角度、すなわち対象者の眼球Ａと光源３Ｂとを結ぶ直線と、対象者の眼球Ａと光源３Ｃとを結ぶ直線とがなす角度が、例えば１０°程度離れていることが好ましい。この２個の光源３Ｃによれば、角膜上に２個の反射点が発生する。そして、本実施形態に係る瞳孔検出装置１では、後述するように暗瞳孔画像の角膜反射を利用して、光源３Ａに対応する仮想的な角膜反射を推定する。そうすると、暗瞳孔画像において、２個の角膜反射はそれぞれ分離していることが望まれる。したがって、２個の光源３Ｃは、暗瞳孔画像においてそれぞれの角膜反射が分離して写るように、光源３Ｃ間の距離等を調整する。また、前述したように、光源３Ｂの発光強度は、光源３Ｃの発光強度と比較して小さく設定されている。したがって、暗瞳孔画像の取得時においては、光源３Ｂ，３Ｃから同時に照明光が出射されるが、光源３Ｂの照明光に起因する角膜反射は、光源３Ｃの照明光に起因する角膜反射に比べて極めて弱くなる。そのため、光源３Ｂの角膜反射が光源３Ｃにより生じる個々の角膜反射の検出を妨害することはない。もし、光源３Ｂの角膜反射が光源３Ｃの角膜反射と同等もしくはやや暗い程度であり、且つ、カメラの分解能が低い場合には、光源３Ｂと光源３Ｃとの光源が一体化したような大きな角膜反射像が生じる。この角膜反射像から検出される中心位置は、ばらつきが生じやすい。なぜならば、光源の発光には指向性があるため、対象者の頭部の位置によって、各光源により角膜反射の明るさやサイズが変わりやすいため、それが合成されてできた角膜反射像の輝度分布は揺らぎやすいからである。それに対して、光源３Ｃにより生じる個々の角膜反射のそれぞれの中心を求めた後に、それら中心から光源３Ａの角膜反射の位置を推定するほうが、位置検出精度が高い。以上のことから、光源３Ｂは、光源３Ａによって生じる眼鏡反射を相殺するための光源の役割を果たすため、光源３Ｂの発光強度は、光源３Ｂによる眼鏡反射が輝度レベルにおいて飽和しなければならないが、光源３Ｃにより生じる個々の角膜反射の正確な中心検出の妨害をしない程度に弱く設定すべきである。

光源３Ｃは、光源３Ｂと同じく、中心波長９５０ｎｍを有する照明光を対象者に向けて出射する。また、光源３Ｃを構成する複数のＬＥＤは、開口部８を挟んで対称な位置に二分されて配置されている。なお、本実施形態において、光源３Ｃは、開口部８を挟んで二分された一対の光源の群として配置されているが、ケーシング９上において、開口部８を中心にして互いに異なる方向に配置された光源を２対以上配置するようにしてもよい。光源３Ｃが出射する照明光の中心波長は、９５０ｎｍであることが望ましいが、８５０ｎｍであってもよく、その他の波長でも、不可視の近赤外光であればよい。光源３Ｃが出射する照明光の中心波長は、８００ｎｍ〜１０００ｎｍであることが望ましい。

なお、一般に、市販のカメラの感度は、イメージセンサ面に取り付けた光学フィルタのため、可視光に比べて近赤外領域で低下する。近赤外領域においても、波長が長くなるにつれて、更に感度が低下する。したがって、例えば、波長が８５０ｎｍの場合に比べて、波長が９５０ｎｍの場合の方が、カメラの感度も低下する。更に、波長が長くなると、ＬＥＤ自体のパワーも落ちるので、カメラ画像に映る顔画像の輝度を同等にするために、上記の８００ｎｍ〜１０００ｎｍの波長範囲では、波長が長いほど多くのＬＥＤが必要である。逆にいえば、ＬＥＤの使用個数を減らしたい場合は、短い波長を選択すればよい。

上記の８００ｎｍ〜１０００ｎｍという範囲は、次の理由により決定されている。ＬＥＤが出射する光の波長は、レーザのような単一波長ではなく、発光波長に大きな幅が存在する。したがって、ＬＥＤの中心波長が８００ｎｍ〜１０００ｎｍの範囲にあったとしても、ＬＥＤから出射される光には、波長の短い可視光が含まれるためである。したがって、発光素子として、ＬＥＤよりも半値幅が狭い発光素子（例えばスーパールミネッセンスダイオードなど）を使用する場合は、８００ｎｍ〜１０００ｎｍよりも、もっと広い範囲であってよい。

上述の光源３Ａ，３Ｂ，３Ｃの配置によれば、光源３Ｂから光軸Ｌ１までの距離は、光源３Ａから光軸Ｌ１までの距離よりも大きい。また、光源３Ｃから光軸Ｌ１までの距離は、光源３Ｂから光軸Ｌ１までの距離よりも更に大きい。このとき、光源３Ａ，３Ｂ，３Ｃは、いずれも対物レンズ７の光軸Ｌ１に沿って照明光を出射するようにケーシング９上に設けられている。また、光源３Ａ，３Ｂ，３Ｃの個数及びそれぞれに対する供給電流は、光源３Ａの発光強度と、光源３Ｂの発光強度及び光源３Ｃの発光強度の和とが等しくなるように適切な個数及び電流値に設定されている。眼鏡反射を相殺するための光源３Ｂの発光強度は、明瞳孔画像を得るための光源３Ａの発光強度よりもかなり暗く設定することが可能であり、例えば、光源３Ｂの発光強度は、光源３Ａの発光強度の１／３０とすることができる。光源３Ａ，３Ｂ，３Ｃの発光強度は、光源３Ａを発光させたときの撮影対象である対象者の顔面での照度と、光源３Ｂ及び光源３Ｃを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源３Ａ，３Ｂ，３Ｃは、制御装置４からの制御信号により、それぞれ独立に発光タイミングを制御可能にされている。

ここで、光源３の光源３Ａから対象者の眼球Ａに照明光が出射されると、眼球Ａにおいて角膜反射が生じ、この角膜反射を含む瞳孔が撮像される。これが明瞳孔画像である。光源３Ｂ及び光源３Ｃから同時に照明光が出射されると、眼球Ａにおいて角膜反射が生じ、この角膜反射を含む瞳孔が撮像される。これが暗瞳孔画像である。これは、第１の性質及び第２の性質の相乗効果によるものである。第１の性質は、眼球Ａが９００ｎｍより短い波長の照明光を受ける場合には、眼球Ａを構成する媒体によって照明光が吸収されにくいため、９００ｎｍより長い波長の照明光を受ける場合に比較して瞳孔が明るく映るという性質である。第２の性質は、眼球Ａへの照明光がカメラ２の光軸からより離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ２に届きにくいため、瞳孔が暗く映るという性質である。

なお、光源３Ａ，３Ｂ，３Ｃとしては、出力光の中心波長が上記波長のものには限定されない。光源３Ａとして中心波長が８５０ｎｍのＬＥＤの代わりに中心波長が８３０ｎｍや８８０ｎｍのものを使用してもよい。光源３Ａには、およそ９００ｎｍを境に任意の中心波長のものを使用してもよい。光源３Ｂ及び３Ｃとして中心波長が９５０ｎｍのＬＥＤの代わりに中心波長が８１０ｎｍや８３０ｎｍや９３０ｎｍや９４０ｎｍや９７０ｎｍのものを使用してもよい。また、光源３Ｃとして、光源３Ｂと中心波長が等しいものを使用せず、他の中心波長を有するものを使用してもよい。あくまでも、光源３Ａ，３Ｂ，３Ｃが同じ位置に存在するときに、カメラ画像において対象者の顔領域で同等の明るさになるようにＬＥＤの発光強度を調整したときに（すなわちバランスをとったときに）、より明瞳孔が暗瞳孔よりも明るくなるのが望ましく、それに相当する波長であればよい。ただし、光源３Ａ，３Ｂ，３Ｃとして８５０ｎｍ未満の中心波長のＬＥＤを用いることは、光源そのものが光って見えて対象者にとって眩しく不快であると同時に、照明を受ける対象者の瞳孔が収縮する等の影響を生じるため、好ましくない。また、中心波長が８５０ｎｍのＬＥＤを用いた場合、ＬＥＤが発光する光自体を対象者が全く知覚できなくても、光源自体が赤く見えることがあるため、それが不適切な用途では、８７０ｎｍ程度の波長を選ぶことが望ましい場合がある。なお、８１０ｎｍや８３０ｎｍ程度の波長を選択した場合には、赤外線透過フィルター（例えば、ＩＲ８０）を、光源３Ａ，３Ｂ，３Ｃと対象者と間に配置するとよい。この構成によれば、照明光から可視光がカットされるので、対象者が感じる不快感をほぼなくすことができる。

続いて、図３及び図４に示された制御装置４について説明する。

制御装置４は、撮像素子６及び光源３Ａ，３Ｂ，３Ｃの制御と、対象者の瞳孔検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

図３に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。

後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

図４に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、光源駆動ユニット１２と、瞳孔検出ユニット１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。光源駆動ユニット１２は、光源３Ａ，３Ｂ，３Ｃの発光タイミングを制御する機能要素である。瞳孔検出ユニット１３は、撮像素子６から出力された画像を利用して、当該画像における瞳孔を検出する機能要素である。検出された瞳孔に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

瞳孔検出ユニット１３は、機能的構成要素として、情報保持部１４と、推定部１６と、位置合わせ部１７と、差分画像生成部１８と、瞳孔検出部１９と、を有する。情報保持部１４は、第１の情報を保持する機能要素である。第１の情報とは、光源３Ａと光源３Ｃとの間の位置関係を示す情報である。情報保持部１４の動作及び第１の情報については、後述する。推定部１６は、第１の情報及び暗瞳孔画像に含まれた角膜反射を利用して、第２の情報を推定する機能要素である。第２の情報とは、第１の照明光を照射したと仮定したときに暗瞳孔画像に現れる仮想的な角膜反射の位置を示す情報である。推定部１６の動作及び第２の情報については、後述する。位置合わせ部１７は、第２の情報及び明瞳孔画像における角膜反射を利用して、明瞳孔画像及び暗瞳孔画像の位置合わせを行う機能要素である。差分画像生成部１８は、明瞳孔画像及び前記暗瞳孔画像の差分画像を生成する機能要素である。瞳孔検出部１９は、差分画像を利用して瞳孔を取得する機能要素である。

［瞳孔検出方法］
次に、瞳孔検出装置１の動作について説明するとともに瞳孔検出方法について説明する。

まず、対象者に開口部８が対向するようにカメラ２を配置させた状態で、制御装置４が光源３Ａを第１の時刻に発光させるとともに、撮像素子６によって対象者の眼球Ａの像を撮像する（図５：ステップＳ１）。このとき、光源３Ａからの照明光により、対象者の明瞳孔画像（図６（ａ）参照）が撮影される。次に、制御装置４が光源３Ｂ及び３Ｃを上記第１の時刻と異なる第２の時刻に発光させるとともに、撮像素子６によって対象者の眼球Ａの像を撮像する（図５：ステップＳ２）。このとき、光源３Ｂ及び３Ｃからの照明光により、対象者の暗瞳孔画像（図６（ｂ）参照）が撮影される。

より詳細には、図２（ｂ）のＡのタイミングで光源３Ａが点灯し、図２（ｂ）のＢ及びＣのタイミングで、光源３Ｂ及び３Ｃが同時に点灯する。なお、図２（ｂ）において、バーの長さは、カメラ画像上での対象者の顔上での輝度に与える影響の度合いを示している。光源３Ｂの発光強度は、光源３Ａ，３Ｃの発光強度よりもかなり暗く設定される。例えば、光源３Ｂの発光強度は、光源３Ａの発光強度の１／３０程度に設定してもよい。したがって、カメラ画像上での対象者の顔上での輝度に与える光源３Ｂの影響は、かなり小さくなるので、図２（ｂ）に示されるように、Ｂのバーの長さはＡのバー及びＣのバーよりもかなり短い。

次に、推定部１６が、ステップＳ２において撮像された暗瞳孔画像（図６（ｂ）参照）における仮想角膜反射を推定する（図５：ステップＳ３）。仮想角膜反射とは、暗瞳孔画像上の光源３Ａから出射された第１の照明光による角膜反射である。ここで、図７を参照しつつ、仮想角膜反射の推定における撮像素子６、光源３Ａ，３Ｂ及び３Ｂの位置関係について説明する。撮像素子６、光源３Ａ及び３Ｂは、暗瞳孔画像において等価の位置にあるとみなせる。これら撮像素子６、光源３Ａ及び３Ｂは、基準線Ｌ２上に配置されている。基準線Ｌ２は、光軸Ｌ１を通る水平線である。基準線Ｌ２は、第１の光源と一方又は他方の第２の光源を通る直線である。例えば、本実施形態のように、光源３Ａが複数のＬＥＤで構成され、光源３Ｃが複数のＬＥＤで構成されている場合、基準線Ｌ２は、光源３Ａを構成するＬＥＤが配置された領域の中央と、光源３Ｃを構成するＬＥＤが配置された領域の中央とを通る。第１の光源と一方の第２の光源とを通る基準線と、第１の光源と他方の第２の光源とを通る基準線とは、互いに連続する直線となる場合もある。また、所定の角度（１８０°を除く）を有する場合もある。更に、基準線Ｌ２は、空間座標（例えば図１２の世界座標系Ｆｗ）における各軸のいずれかに対して平行であってもよいし、各軸のいずれかに対して傾いていてもよい。一方、光源３Ｃは、基準線Ｌ２上において光源３Ａ及び３Ｂを挟むように配置されている。一方の光源３Ｃから光軸Ｌ１までの距離は、距離ＤＬである。別の光源３Ｃから光軸Ｌ１までの距離は、距離ＤＲである。これら距離ＤＬ，ＤＲは、互いに等しくてもよいし、互いに異なっていてもよい。以下の説明においては、距離ＤＬ，ＤＲは、互いに等しいものとする。すなわち、光源３Ｃは、基準線Ｌ２上において光軸Ｌを中点として、対称配置されている。そして、距離ＤＬ，ＤＲは第１の情報として情報保持部１４に予め保持されている。推定部１６は、仮想角膜反射の推定にあたり、距離ＤＬ，ＤＲを情報保持部１４から得る。

図６（ａ）に示された明瞳孔画像には、瞳孔Ｐと、光源３Ａにより生成された角膜反射Ｒ１とが含まれている。角膜反射Ｒ１は、１個の点である。図６（ｂ）に示された暗瞳孔画像には、瞳孔Ｐと、光源３Ｃにより生成された角膜反射Ｒ２とが含まれている。角膜反射Ｒ２は、２個の点である。ここで、暗瞳孔画像における仮想角膜反射の位置は、光源３Ａと光源３Ｃとの位置関係に対応している。本実施形態では光源３Ａが２個の光源３Ｃの中点に配置されているので、光源３Ａにより生成される仮想角膜反射Ｒ３も光源３Ｃにより生成される角膜反射Ｒ２の中点にあると推定できる。なお、光源３Ｃの距離ＤＬ，ＤＲが互いに異なる場合には、それらの距離比（ＤＬ：ＤＲ）に基づいて、仮想角膜反射Ｒ３を推定することができる。

次に、位置合わせ部１７が、ステップＳ３において推定された仮想角膜反射Ｒ３を利用して、暗瞳孔画像と明瞳孔画像の位置合わせを実行する（図５：ステップＳ４）。この処理では、明瞳孔画像の角膜反射Ｒ１に、暗瞳孔画像の仮想角膜反射Ｒ３が一致するように暗瞳孔画像を補正する。すなわち、仮想角膜反射Ｒ３は、位置合わせのための特徴点としての機能を有する。

次に、差分画像生成部１８が、ステップＳ１において撮像された明瞳孔画像と、ステップＳ４において位置合わせがなされた暗瞳孔画像の差分を計算し、差分画像（図６（ｃ）参照）を生成する（図５：ステップＳ５）。そして、瞳孔検出ユニット１３が、差分画像に基づいて対象者の瞳孔の位置を検出する（図５：ステップＳ６）。その後、瞳孔検出装置１は、上記のステップＳ１〜Ｓ６を一定の周期で繰り返し実行する。

［瞳孔検出プログラム］
次に、瞳孔検出装置１を実現するための瞳孔検出プログラムを説明する。図８に示されるように、瞳孔検出プログラムＰ１０は、メインモジュールＰ１１、情報保持モジュールＰ１２、推定モジュールＰ１３、位置合わせモジュールＰ１４、差分画像生成モジュールＰ１５、及び瞳孔検出モジュールＰ１６、を備える。

メインモジュールＰ１１は、瞳孔検出機能を統括的に制御する部分である。情報保持モジュールＰ１２、推定モジュールＰ１３、位置合わせモジュールＰ１４、差分画像生成モジュールＰ１５、及び瞳孔検出モジュールＰ１６を実行することにより実現される機能はそれぞれ、上記の情報保持部１４、推定部１６、位置合わせ部１７、差分画像生成部１８、及び瞳孔検出部１９の機能と同様である。

瞳孔検出プログラムＰ１０は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、瞳孔検出プログラムＰ１０は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明した瞳孔検出装置１によれば、開口部８の縁に沿って配置された光源３Ａから中心波長８５０ｎｍを有する照明光が対象者に向けて出射され、また、光源３Ａの外側に隣接する光源３Ｂから、８５０ｎｍより長い中心波長９５０ｎｍを有する照明光が対象者に向けて出射されるとともに、光源３Ｂから開口部８の外側に離間して配置された光源３Ｃから照明光が対象者に向けて出射される。これにより、開口部８を通過する光により対象者の顔画像を撮像するときに、光源３Ａにより照明光が出射された場合には、光源３Ｂ及び光源３Ｃにより照明光が出射された場合と比較して、開口部８に近い光源からの光ほど反射光が強くなることと、短波長の光が長波長の光と比較して眼球を構成する媒体によって吸収されにくくなることの２つの理由により、対象者の瞳孔内からの反射光が強くなる。一方、眼鏡反射像については、顔や瞳孔など、対象者の顔における眼鏡反射以外の部分に比べ極端に輝度が強い。そのため、瞳孔検出が容易にできるようにするために、顔をある程度明るく映るようカメラの絞りやゲイン、ＬＥＤの光量を調整すると、眼鏡反射の部分の輝度が飽和する。つまり、顔領域の略全ての画素の値が１２５以下で表現されるような画像（以下、第１の画像と称する）において、眼鏡反射のピークが例えば１０００程度の値を示すはずが、画素値の最大値が２５５であるならば、眼鏡反射の略全体が最大値の２５５を示す、すなわち飽和する、ことを意味する。上記の第１の画像を取得する際のＬＥＤの光量を半分にして、別の画像（以下、第２の画像と称する）を取得したとすると、外部光が存在しなければ、顔領域の画素値は、第１の画像における画素値の半分になる。しかし、眼鏡反射のピークは、いまだに第１の画像の半分の５００程度の値を示すため、第１の画像の場合よりは多少狭くなるものの、眼鏡反射の多くの部分が最大値２５５を示し、飽和する。したがって、第１の画像と第２の画像との差分をとると、眼鏡反射の飽和していた部分の画素値は０となる。以上のように、眼鏡反射の画素が飽和していることは、眼鏡反射を画像差分によって相殺させるにあたって重要である。

更に、第２の画像取得時にもう１つの光源を別の位置で点灯させ、その光源の光量を、第２の画像の顔領域での画素値が第１の画像の顔領域での画素値に一致するように調整するとする。すると、第２の画像における顔領域の画素値が、第２の画像の顔領域での眼鏡反射像の画素値に足しあわされて、第２の画像の眼鏡反射像は更に飽和しやすくなり、先述したような眼鏡反射の画素値が飽和した領域が多少狭くなることも防止できるため、第１の画像と第２の画像との差分をとった際に、眼鏡反射が相殺しやすくなる。この時に、第１の画像で明瞳孔が取得され、かつ、後者の画像で暗瞳孔が取得されるように、それぞれの光源の位置や波長が与えられているならば、第１の画像から第２の画像を差し引いて差分画像としたときに、差分画像における顔領域と眼鏡反射部の画像の画素値は０となり、瞳孔領域だけが０よりも大きな値を示し、２値化により瞳孔部が検出できる。

更に、眼鏡反射の像は、光源を構成するＬＥＤの１個１個がそのまま拡大されて眼鏡反射像として映るのではなく、大きく膨らんだ形状として映る。仮に、図９（ａ）に示すように、多数のＬＥＤが均等間隔で円状に並んでいるとすると、図９（ｂ）に示すように、眼鏡反射の像は、ドーナツ状に膨らんだ形状となる。図９（ｃ）に示すように、多数のＬＥＤが、図９（ａ）よりも小さな半径の円状に並んでいるとすると、図９（ｄ）に示すように、眼鏡反射の像は、図９（ｂ）のドーナツ状の形状の内側部分が埋まった、円状の形状になる。このように、２つの画像に使用した光源の１つ１つの位置はあまり重要ではなく、多数のＬＥＤが全体として略同じ位置にあるかどうかが眼鏡反射像の位置を決定する。

光源３Ａと光源３Ｂとが隣接しているため、光源３Ｂは、光源３Ａによる眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができる。また、光源３Ｃは光源３Ｂから開口部の外側に離間して配置されているため、光源３Ｃによって照明光が出射された場合には、対象者の瞳孔からの反射光が少なくなる。したがって、光源３Ａにより照明光が出射されているときに明瞳孔画像を撮像し、光源３Ｂ及び光源３Ｃにより照明光が出射されているときに暗瞳孔画像を撮像することで、光源３Ａ及び光源３Ｃによって明瞳孔画像と暗瞳孔画像との輝度の差を拡大することができる。また、同時に光源３Ａ及び光源３Ｂによって眼鏡反射像の輝度及び形状を同様にすることができる。その結果、このようにして撮像された明瞳孔画像と暗瞳孔画像との差分をとることにより対象者の瞳孔をより際立たせて検出させることができる。

ここで、瞳孔検出装置１は、明瞳孔画像と暗瞳孔画像との差分をとる前に、明瞳孔画像と暗瞳孔画像との位置合わせ処理を行う。この位置合わせには、明瞳孔画像に含まれた角膜反射と、暗瞳孔画像に含まれた角膜反射から推定された仮想角膜反射と、が利用される。したがって、明瞳孔画像と暗瞳孔画像との間に対象者が移動した場合であっても精度のよい差分画像を得ることができる。したがって、瞳孔検出装置１は、特に、いわゆる中速度カメラや、６０Ｈｚ程度の取得フレームを有するカメラに対して有効である。

また、光源３Ｃは、中心波長９５０ｎｍを有する照明光を出射するため、第３の光源によって出射された照明光が眼球を構成する媒体により吸収されるので、暗瞳孔画像における瞳孔の輝度を低くすることができ、対象者の瞳孔をより検出しやすくすることができる。

更に、光源３Ｃは、開口部を挟んで対称な位置に配置された一対の光源であるため、光源３Ｃにより照明光が出射された場合に対象者の顔面における輝度のバランスがとりやすくなり、明瞳孔画像と暗瞳孔画像の差分を取った後に対象者の顔面部分に差分が残りにくくなる。これにより、対象者の瞳孔を精度よく検出できる。

瞳孔検出装置１、画像検出方法及び画像検出プログラムは、明瞳孔画像と暗瞳孔画像の差分画像に基づいて瞳孔を検出する。明瞳孔画像と暗瞳孔画像の差分画像を得る場合には、明瞳孔画像における特徴点と、暗瞳孔画像における特徴点とを一致させることが望まれる。これら瞳孔検出装置１、画像検出方法及び画像検出プログラムでは、明瞳孔画像における特徴点として光源３Ａによる角膜反射を利用し、暗瞳孔画像における特徴点として光源３Ｃによる角膜反射を利用している。ここでこれら瞳孔検出装置１、画像検出方法及び画像検出プログラムは、第１の情報に基づいて、光源３Ａを照射したと仮定したときに暗瞳孔画像に現れる仮想的な角膜反射の位置を推定する（ステップＳ３）。この推定された仮想的な角膜反射の位置は、明瞳孔画像における角膜反射に対応している。したがって、推定された仮想的な角膜反射を、暗瞳孔画像における位置合わせ用の特徴点として利用することが可能である。そして、明瞳孔画像における角膜反射と、暗瞳孔画像における推定された仮想的な角膜反射とをそれぞれ特徴点として、両画像の位置合わせ処理（ステップＳ４）を行う。位置合わせ処理を行った画像によれば、精度のよい差分画像を得る（ステップＳ５）ことができる。したがって、これら瞳孔検出装置、画像検出方法及び画像検出プログラムによれば、瞳孔の検出する（ステップＳ６）ときの精度を向上することができる。

また、第１の光照射手段は、基準線Ｌ２上に配置された光源３Ａを有する。また、第２の光照射手段は、基準線Ｌ２上において光源３Ａを挟むように配置された２個の光源３Ｃを有する。第１の情報は、基準線Ｌ２に沿った光源３Ａから一方の光源３Ｃまでの距離ＤＬ、及び基準線Ｌ２に沿った光源３Ａから他方の光源３Ｃまでの距離ＤＲ、を含む。この構成によれば、光源３Ａの位置に対して離間した位置に光源３Ｃを配置することが可能になる。また、推定部１６は、対象者から見たときの光源３Ａ，３Ｃの見た目の位置関係を利用して仮想的な角膜反射を推定するので、計算処理を簡易にすることができる。

＜第２実施形態＞
ところで、既に知られているように、瞳孔は、周囲環境の照度に対応して大きさが変化する。例えば、対象者が高照度環境に存在する場合には、対象者の瞳孔が小さくなる。図６（ｄ）は、高照度環境において取得した差分画像の一例である。図６（ｃ）に示された差分画像では、瞳孔Ｐの領域内に、暗瞳孔画像における角膜反射に対応する領域Ｒ４が存在している。一方、図６（ｄ）に示されるように、高照度環境において取得された差分画像において、角膜反射に対応する領域Ｒ５の位置は図６（ｃ）と同じであるが、瞳孔Ｐの大きさが小さくなっている。したがって、領域Ｒ５が瞳孔Ｐのエッジと重畳している（「瞳孔画像が汚れている」ともいう）。領域Ｒ５が瞳孔Ｐのエッジと重畳した場合には、瞳孔中心の検出精度が低下する虞がある。特に、カメラ２における撮像素子６の分解能が十分でないときに、瞳孔中心の検出精度が低下し易くなり、瞳孔Ｐを利用した視線検出精度にも大きな影響を与えることがある。

上述した問題を軽減する態様として、暗瞳孔画像における角膜反射を生じさせる光源３Ｃ間の距離を角度的に広げる態様がある。この場合には、第１実施形態における瞳孔検出方法を利用することにより、精度のよい瞳孔検出を実行することができる。

しかし、物理的に角度を広げることができない場合もあり得る。そこで、物理的な角度を広げることなく、上述した問題を軽減可能な態様である第２実施形態に係る瞳孔検出装置１Ａについて説明する。

図１０に示されるように、瞳孔検出装置１Ａを構成要素は、第１実施形態に係る瞳孔検出装置１と同様である。瞳孔検出装置１Ａは、暗瞳孔画像における角膜反射を生じさせる光源３Ｃの配置が、第１実施形態に係る瞳孔検出装置１と異なっている。

瞳孔検出装置１Ａにおける光源３Ｃは、基準線Ｌ２に対して平行であり、且つ基準線Ｌ２から所定距離だけ離間した軸線Ｌ３上に配置されている。すなわち、瞳孔検出装置１Ａでは、撮像素子６よりも下方に光源３Ｃが配置されている。具体的には、一方の光源３Ｃは、第１の軸線Ｌ４上に配置されている。第１の軸線Ｌ４は、光軸Ｌ１と基準線Ｌ２との交差点Ｃにおいて、基準線Ｌ２と交差している。この交差点Ｃは、光源３Ａ及び撮像素子６が配置された位置に対応する点であるともいえる。第１の軸線Ｌ４と基準線Ｌ２との間の角度は、角度εＬ（第１の角度）である。また、別の光源３Ｃは、第２の軸線Ｌ５上に配置されている。第２の軸線Ｌ５は、交差点Ｃにおいて、基準線Ｌ２と交差している。第２の軸線Ｌ５と基準線Ｌ２との間の角度は、角度εＲ（第２の角度）である。なお、基準線Ｌ２に沿った方向に投影される光軸Ｌから一方の光源３Ｃまでの距離ＤＬと、光軸Ｌ１から別の光源３Ｃまでの距離ＤＲと、は、第１実施形態における距離ＤＬ，ＤＲと同じである。

なお、図１０に示された光源３Ａ，３Ｂ，３Ｃの配置は例示である。図１０には、光源３Ａ，３Ｂ，３Ｃが二等辺三角形の頂点のそれぞれに配置された例が示されている。このような配置では、交差点Ｃからそれぞれの光源３Ｃまでの距離が互いに等しくなる。しかし、光源３Ａ，３Ｂ，３Ｃの配置は、この配置に限定されることはない。例えば、交差点Ｃからそれぞれの光源３Ｃまでの距離は、互いに異なっていてもよい。また、基準線Ｌ２に対する第１の軸線Ｌ４の角度εＬと、基準線Ｌ２に対する第２の軸線Ｌ５の角度εＲとは、互いに等しくてもよいし、異なっていてもよい。

瞳孔検出装置１Ａを利用した瞳孔検出方法では、第１実施形態に係る瞳孔検出方法と同様の工程（ステップＳ１，Ｓ２）を実施し、明瞳孔画像と暗瞳孔画像とを取得する。なお、対象者の位置から見たカメラ２に対する光源３Ｃの方向（角度εＬ，εＲ：第２の情報）を予め計測し、情報保持部１４に記録しておく。そして、推定部１６による仮想角膜反射を推定する工程（図５：ステップＳ４）では、暗瞳孔画像（図１１参照）において、角度εＬ、εＲに相当する傾きの直線Ｌ４ａ，Ｌ５ａを算出し、それらの直線Ｌ４ａ，Ｌ５ａの交点Ｃ２を光源３Ａによる角膜反射として推定する。そして、第１実施形態に係る瞳孔検出方法と同様の工程（ステップＳ５，Ｓ６）を実施し、明瞳孔画像と暗瞳孔画像の位置合わせを実行した後に、差分画像を生成し、瞳孔Ｐを検出する。

なお、上述した瞳孔検出装置１Ａの説明では、光源３Ａ，３Ｂ，３Ｃ及びカメラ２を含む光学系がディスプレイ（不図示）の下方に設置され、光学系よりも上方に配置されたディスプレイを対象者が見た場合を想定した。例えば、対象者の視線方向と光学系との関係において、対象者が光学系よりも左側の領域に視線を向けた場合には、図１０に示された光源３Ａ，３Ｂ，３Ｃの配置を左に９０度回転させた設置にすることが望ましい。具体的には、光源３Ａ，３Ｂに対して左側の領域において、光源３Ｃが上下方向に離間して配置されてもよい。この配置によれば、基準線Ｌ２も左に９０度回転し、図１０における上下方向に延びる。

第２実施形態に係る瞳孔検出装置１Ａによれば、光源３Ｃによる角膜反射を、瞳孔の領域外に生じさせ易くなる。そうすると、高照度化において対象者の瞳孔が小さくなった場合であっても、暗瞳孔画像における瞳孔のエッジに光源３Ｃによる角膜反射が重なることを抑制し得る。したがって、瞳孔中心の検出精度の低下を抑制できる。より詳細には、このような光源３Ｃの配置によれば、対象者がカメラ２に近いところを注視した場合であっても、図１１に示されるように、光源３Ｃによる角膜反射Ｒ６が瞳孔Ｐの外部に現れやすくなる。したがって、瞳孔画像が汚れにくくなり、結果的に視線検出精度が向上する。なお、瞳孔検出装置１Ａから出力される結果を利用して、視線を検出するときは、瞳孔画像の中心と光源３Ａによる角膜反射の中心との相対位置を利用すればよい。ただし、差分位置補正によれば、光源３Ｃの角膜反射Ｒ６から推定した光源３Ａによる角膜反射を用いても同じ結果が得られる。

＜第３実施形態＞
第１実施形態及び第２実施形態の瞳孔検出方法において、仮想角膜反射の推定は、対象者から見たときの光源３Ａ，３Ｃの見た目の位置関係を利用した。ここで、光源３Ａ，３Ｃの見た目の位置関係は、対象者の位置（より厳密には角膜球の位置）によって変化する。したがって、第１実施形態及び第２実施形態の瞳孔検出方法は、推定計算の容易さを重視した近似的な方法である。そこで、第３実施形態の瞳孔検出方法では、仮想角膜反射の推定において、仮想角膜反射を厳密に推定する。すなわち、第３実施形態の瞳孔検出方法は、仮想角膜反射の推定（図５：ステップＳ３）における処理が第１実施形態及び第２実施形態の瞳孔検出方法と異なり、その他の処理（図５：ステップＳ１，Ｓ２，Ｓ４，Ｓ５，Ｓ６）は、第１実施形態及び第２実施形態の瞳孔検出方法と同様である。

図１２に示されるように、瞳孔検出装置１Ｂは、ディスプレイＤの下辺近傍に配置されたカメラ２Ａと、カメラ２Ａと同じ位置にあると見なせる第１の光源ＬＳ０と、ディスプレイＤの左辺近傍に配置された第２の光源ＬＳ１と、ディスプレイＤの右辺近傍に配置された第２の光源ＬＳ２とを有する。また、カメラ２Ａ、第１の光源ＬＳ０及び第２の光源ＬＳ１，ＬＳ２の空間位置（座標位置）は既知である。これら空間位置に関する情報（例えば、世界座標系における座標）は、第１の情報として、情報保持部１４に保持されている。以下の説明において、世界座標系（基準座標系）Ｆｗは、軸Ｘｗ、軸Ｙｗ、及び軸Ｚｗにより示される。ディスプレイＤは、下辺及び上辺が軸Ｘｗに対して平行であり、右辺及び左辺が軸Ｙｗに対して平行である。したがって、ディスプレイＤの法線方向が軸Ｚｗと等価である。また、カメラ２Ａ及び第１の光源ＬＳ０が配置された位置は、世界座標系Ｆｗの原点である。なお、カメラ２Ａ、第１の光源ＬＳ０及び第２の光源ＬＳ１，ＬＳ２の配置は例示であり、これらの配置に限定されない。

まず、世界座標系Ｆｗにおける角膜球中心ＣＫの座標を以下の方法によって取得する。角膜が球面の一部であると仮定すると、計算上のモデルとして角膜球が想定できる。角膜球中心は、この角膜球の中心である。

ステップＳ２を実行することにより、図１３に示された暗瞳孔画像が得られる。今、第１の光源ＬＳ０はカメラ２Ａと同じ位置に存在すると仮定している。そうすると、角膜球が世界座標系Ｆｗにおける任意の位置に存在しても、第１の光源ＬＳ０の角膜反射は、第１の光源ＬＳ０と角膜球中心ＣＫを通る直線Ｇ１上に存在する。したがって、カメラ２Ａで取得された画像では、角膜球の中心に第１の光源ＬＳ０の角膜反射が必ず存在する。なお、図１３では、角膜球の輪郭が見えているとして図示している。

ここで、瞳孔検出装置１Ｂは、カメラ２Ａとは別のカメラ（不図示）を有する。このカメラは、カメラ２Ａとは別の位置に配置されている。また、別のカメラは、第１の光源ＬＳ０に相当する光源を有している。別のカメラと光源との関係は、カメラ２Ａと第１の光源ＬＳ０の関係と同じである。一方、カメラ２Ａと別のカメラとは、露光のタイミングと第１の光源ＬＳ０の発光タイミングとは、わずかにずらしてある。これらタイミングのずれは、カメラ同士におけるクロストークを抑制するためのものであり、ずれは十分に短い。例えば、例えばずれは、５００マイクロ秒である。これらカメラは、カメラ較正が行われている。したがって、第１の光源ＬＳ０及び第１の光源ＬＳ０に対応する別の光源を点灯させると、それぞれのカメラにおいて、カメラと角膜球を結ぶ直線の式が求まる。したがって、同光源によるステレオマッチングにより、角膜球中心ＣＫの座標が算出できる。続いて、角膜球中心ＣＫの座標に基づいて、カメラ２Ａから角膜球中心ＣＫに向かう直線Ｇ１（ベクトルＯＣＫ）が求まる。

次に、仮想角膜反射の座標を以下の方法により算出する。

まず、仮想平面（第１の仮想平面）Ｑ１と、仮想平面（第２の仮想平面）Ｑ２とを規定する。仮想平面Ｑ１は、角膜球中心ＣＫと、第１の光源ＬＳ０と、第２の光源ＬＳ１とを通る仮想的な平面である。仮想平面Ｑ２は、角膜球中心ＣＫと、第１の光源ＬＳ０と、第２の光源ＬＳ２とを通る仮想的な平面である。仮想平面Ｑ１，Ｑ２は、角膜球中心ＣＫを通るため、角膜球を半分に輪切りにする平面である。そして、ベクトルＯＣＫの方向からこれら仮想平面Ｑ１，Ｑ２を見た場合、仮想平面Ｑ１，Ｑ２は、図１３に示された直線Ｇ２，Ｇ３に相当する。角膜球を円として表現した場合、これら２本の直線Ｇ２，Ｇ３は、それぞれ角膜球中心ＣＫを通る。したがって、直線Ｇ２，Ｇ３の交点Ｇ５が円（角膜球を平面視した場合に示される円）の中心となる。円の中心（交点Ｇ５）は、角膜球中心ＣＫを暗瞳孔画像平面に投影されたものであり、第１の光源ＬＳ０の位置に対応する。したがって、世界座標系Ｆｗにおける仮想平面Ｑ１，Ｑ２を算出し、仮想平面Ｑ１，Ｑ２を利用して暗瞳孔画像における直線Ｇ２，Ｇ３を算出し、これら直線Ｇ２，Ｇ３の交点Ｇ５を算出することにより、第１の光源ＬＳ０が点灯したときに、暗瞳孔画像に写るであろう第１の光源ＬＳ０の角膜反射の位置（すなわち仮想角膜反射の位置）が求まる。

次に、２本の直線Ｇ２，Ｇ３の式を求める方法について説明する。

図１２には、仮想視点平面ＶＰが示されている。仮想視点平面ＶＰとは、世界座標系Ｆｗの原点Ｏ（カメラ２Ａが配置された位置）と、角膜球中心ＣＫを結ぶベクトルＯＣＫを法線とする仮想的な平面である。仮想視点平面ＶＰに含まれるＸ’軸は、世界座標系ＦｗのＸｗ‐Ｚｗ平面と仮想視点平面ＶＰの交線に対応する。角膜球中心ＣＫが移動したとすると、ベクトルＯＣＫの方向が変化するため、仮想視点平面ＶＰも原点を中心に向きが変化する。

ここで、第２の光源ＬＳ１と角膜球中心ＣＫとを結ぶ直線Ｇ６を考える。直線Ｇ６は、仮想視点平面ＶＰと点ＬＳ１’において交差する。点ＬＳ１’は、仮想視点平面ＶＰの式と、直線Ｇ６の式とに基づいて得られる。同様に、第２の光源ＬＳ２と角膜球中心ＣＫとを結ぶ直線Ｇ７を考える。直線Ｇ７は、仮想視点平面ＶＰと点ＬＳ２’において交差する。点ＬＳ２’は、仮想視点平面ＶＰの式と、直線Ｇ７の式とに基づいて得られる。得られた点ＬＳ１’，ＬＳ２’は、世界座標系Ｆｗに基づく位置であるので、仮想視点平面ＶＰを規定する座標系に変換する。そうすると、仮想視点座標系におけるＸ’軸と、原点Ｏと点ＬＳ１’とを結ぶ直線との間の角度（第１の仮想面角度）ε１が得られる。この角度ε１は、図１３に示された暗瞳孔画像における軸線Ｌ６と直線Ｇ２との間の角度に対応している。また、仮想視点座標系におけるＸ’軸と、原点Ｏと点ＬＳ２’とを結ぶ直線との間の角度（第２の仮想面角度）ε２が得られる。この角度ε２は、図１３に示された暗瞳孔画像における軸線Ｌ６と直線Ｇ３との間の角度に対応している。

具体的には、カメラ２Ａはカメラ較正を行っている。したがって、カメラ２Ａの位置、方向（外部カメラ較正値）、及び焦点距離に関する情報は、既知である。これら情報には、画像中心座標や、内部カメラ較正値がある。したがって、カメラ較正値を利用して、世界座標系Ｆｗからカメラ座標系への座標変換を行い、更にカメラ座標系から画像座標系への変換を行うことが可能である。これら座標変換によれば、世界座標系Ｆｗにおける仮想視点平面ＶＰのＸ’軸を画像座標系に変換した軸線Ｌ６（図１３参照）が得られる。したがって、図１３における直線Ｇ２，Ｇ３は、角度ε１，ε２を利用して得ることができる。そして、上述したように直線Ｇ２，Ｇ３の交点Ｇ５は、角膜球中心ＣＫの位置であり、且つ第１の光源ＬＳ０による角膜反射の位置を示す。そして、暗瞳孔画像から推定した第１の光源ＬＳ０の角膜反射と、明瞳孔画像から検出された第１の光源ＬＳ０の角膜反射とを利用して位置合わせを行い（図５：ステップＳ４）、差分処理を実行する（図５：ステップＳ５）。

本実施形態の瞳孔検出方法によれば、推定部１６は、対象者から見たときの第１の光源ＬＳ０及び第２の光源ＬＳ１，ＬＳ２の見た目の位置関係を利用することなく、仮想的な第１の光源ＬＳ０の位置を厳密に算出する。したがって、仮想的な角膜反射の位置を更に精度良く算出することが可能になり、位置合わせ処理の精度も向上する。したがって、この瞳孔検出装置によれば、瞳孔の検出精度を更に向上することができる。

本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変形が可能である。

＜変形例１＞
例えば、第１の光源や第２の光源の数は、上記個数に限定されることはない。例えば、注視点検出のために複数の光源を配置した技術の例として、N. Iqbal, H. Lee, S.-Y. Leeらの論文（[2]SmartUser Interface for Mobile Consumer Devices Using Model-Based Eye-GazeEstimation (N. Iqbal, H. Lee, S.-Y. Lee) IEEE Transactions on ConsumerElectronics, Vol. 59, No. 1, February 2013）がある。

暗瞳孔画像における角膜反射を生じさせる光源３Ｃを、上記論文に記載されたように、ディスプレイ画面の周囲に配置してもよい。この場合、光源３Ｃの数に対応する直線が設定され、光源３Ｃの数が多くなると多数の交点が得られる。しかし、図１４（ａ）に示されるように、角膜反射Ｒ７をとおり基準線Ｌ２に対して所定角度で交差する直線Ｇ６，Ｇ７の間の角度ε３が、直角に比べて極端に小さくなる（例えば、ε３が３０度以下）ことがあり得る。この場合には、矢印Ａ１に沿った方向における交点位置の誤差が大きくなる虞がある。また、図１４（ｂ）に示されるように、角膜反射Ｒ８をとおり基準線Ｌ２に対して所定角度で交差する直線Ｇ８，Ｇ９の間の角度ε４が、直角に比べて極端に大きくなる（例えば、ε４が１２０度以上）ことがあり得る。この場合には、矢印Ａ２に沿った方向における交点位置の誤差が大きくなる虞がある。したがって、仮想角膜反射の推定において、図１４（ａ）や図１４（ｂ）に示された直線Ｇ６，Ｇ７及び直線Ｇ８，Ｇ９の関係とならない光源３Ｃの組み合わせが選択される。また、図１４（ａ）や図１４（ｂ）に示された直線の関係とならないように、光源３Ｃを配置する。

＜変形例２＞
また、図１５（ａ）に示されるように、光源３Ａ（第１の光源）が１個であり、光源３Ｄ（第２の光源）も１個であってもよい。この場合には、光源３Ａの片側に光源３Ｄが配置される。このような瞳孔検出装置１Ｄによれば、光源３Ｄの数を減らすことが可能になる。したがって、瞳孔検出装置１Ｄの構成を簡易にすることができる。

光源３Ａは、明瞳孔画像を取得するための光源であり、例えば８５０ｎｍの波長を有する光を出射する。光源３Ｄは、暗瞳孔画像を取得するための光源であり、例えば９５０ｎｍの波長を有する光を出射する。なお、光源３Ｄから出射される光の波長は、８５０ｎｍでもよく、この波長であっても好適な暗瞳孔画像を取得することができる。光源３Ｂは、眼鏡反射を相殺するため光源であり、例えば８５０ｎｍ又は９５０ｎｍの波長を有する光を出射する。また、光源３Ａ，３Ｂ，３Ｄから出射される光の波長を全て同じ波長に設定してもよい。全て同じ波長に設定する場合には、例えば、発光強度が高く、かつ、カメラの感度が高い８１０ｎｍや８３０ｎｍ又はその他の波長が選択されてもよい。なお、８１０ｎｍや８３０ｎｍ程度の波長を選択した場合には、赤外線透過フィルター（例えば、ＩＲ８０）を、光源３Ａ，３Ｂ，３Ｃと対象者と間に配置するとよい。この構成によれば、照明光から可視光がカットされるので、対象者が感じる不快感をほぼなくすことができる。

瞳孔検出装置１Ｄは、はじめに、第１のタイミングにおいて光源３Ａを点灯させて明瞳孔画像を取得する。続いて、瞳孔検出装置１Ｄは、第２のタイミングにおいて光源３Ｂ，３Ｄを点灯させて暗瞳孔画像を取得する。

ここで、光源３Ａの発光強度が、光源３Ｂ，３Ｄの発光強度との合計値と略同じになるように、光源３Ａ，３Ｂ，３Ｄのそれぞれの発光強度が設定される。具体的には、対象者の顔面における輝度が略同じになるように光源３Ａ、３Ｂ，３Ｄのそれぞれの発光強度が設定される。発光強度の設定は、光源３Ａ，３Ｂ，３Ｄを構成するＬＥＤの数やＬＥＤに供給される電流値などにより制御してもよい。また、光源３Ａと光源３Ｄの間の距離によって上述した発光強度の関係を実現してもよい。

また、暗瞳孔画像における暗瞳孔を強く撮像するためには、光源３Ｄによる角膜反射が検出できる発光強度において、できるだけ光源３Ｄの発光強度を、光源３Ｂの発光強度よりも大きくすることが望ましい。なお、光源３Ａと光源３Ｄとの間の距離は、差分画像において輝度の傾斜が大きくなり過ぎない程度の距離とすることが望ましい。

＜変形例３＞
また、図１５（ｂ）に示されるように、変形例２に係る瞳孔検出装置１Ｅは、第１の光源としての光源３Ｅに第３の光源の機能を持たせることとしてもよい。瞳孔検出装置１Ｅは、光源３Ｅと、光源３Ｄとを備えている。制御装置４の光源駆動ユニット１２は、光源３Ｅに入力する電流を、明瞳孔画像を取得する第１のタイミングと、暗瞳孔画像を取得する第２のタイミングとで異なる値に制御する。より詳細には、光源駆動ユニット１２は、第１のタイミングにおいて光源３Ｅに第１の電流を供給し、第１の発光強度を有する光を出射させる。続いて、光源駆動ユニット１２は、第２のタイミングにおいて、光源３Ｅに第１の電流よりも小さい第２の電流を供給し、第２の発光強度を有する光を出射させると共に、光源３Ｄに電流を供給し、第３の発光強度を有する光を出射させる。このとき、対象者の顔面における輝度が明瞳孔画像取得時と暗瞳孔画像取得時において略同じになるように光源３Ｅ及び光源３Ｄに供給される電流が光源駆動ユニット１２によって制御される。

このような瞳孔検出装置１Ｅによれば、眼鏡反射を相殺するための第３の光源を構成するＬＥＤが不要になるので、瞳孔検出装置１Ｅが備えるＬＥＤの数を減らすことができる。したがって、瞳孔検出装置１Ｅの構成をより簡易にすることができる。

１，１Ａ，１Ｂ，１Ｄ，１Ｅ…瞳孔検出装置、２，２Ａ…カメラ、３…光源、３Ａ，３Ｅ…光源（第１の光源）、３Ｂ…光源（第３の光源）、３Ｃ，３Ｄ…光源（第２の光源）、４…制御装置、１１…撮像素子駆動ユニット、１２…光源駆動ユニット、１３…瞳孔検出ユニット、１４…情報保持部、１６…推定部、１７…位置合わせ部、１８…差分画像生成部、１９…瞳孔検出部。

Claims (8)

1. 対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像、及び前記対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像、に基づいて前記対象者の瞳孔を検出する瞳孔検出装置であって、
   前記対象者の顔に向けて前記第１の照明光を照射する第１の光照射手段と、
   前記対象者の顔に向けて前記第２の照明光を照射する第２の光照射手段と、
   前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出する瞳孔検出手段と、を備え、
   前記瞳孔検出手段は、
   前記第１の光照射手段と前記第２の光照射手段との間の位置関係を示す第１の情報を保持する情報保持部と、
   前記第１の情報及び前記暗瞳孔画像における前記第２の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第１の照明光による角膜反射に対応する位置を示す第２の情報を推定する推定部と、
   前記第２の情報及び前記明瞳孔画像における前記第１の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行った後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を生成し、前記差分画像を利用して前記瞳孔を検出する検出部と、を有する、瞳孔検出装置。
2. 前記第１の光照射手段は、基準線上に配置された１個の第１の光源を有し、
   前記第２の光照射手段は、前記基準線上において前記第１の光源を挟むように配置された２個の第２の光源を有し、
   前記第１の情報は、前記基準線に沿った前記第１の光源から一方の前記第２の光源までの距離、及び前記基準線に沿った前記第１の光源から他方の前記第２の光源までの距離、を含む、請求項１に記載の瞳孔検出装置。
3. 前記第１の光照射手段は、基準線上に配置された１個の第１の光源を有し、
   前記第２の光照射手段は、第１の軸線上に配置された第２の光源と、第２の軸線上に配置された別の第２の光源と、を有し、
   前記第１の軸線は、前記基準線に対して第１の角度をもって、前記第１の光源が配置された位置において前記基準線と交差し、
   前記第２の軸線は、前記基準線に対して第２の角度をもって、前記第１の光源が配置された位置において前記基準線と交差し、
   前記第１の情報は、前記第１の角度及び前記第２の角度を含む、請求項１に記載の瞳孔検出装置。
4. 前記第１の情報は、基準座標系における、前記瞳孔、第１の光源、一方の第２の光源及び別の第２の光源、のそれぞれの座標位置を含み、
   前記推定部は、
   前記第１の情報を利用して、前記瞳孔、前記第１の光源、及び一方の前記第２の光源を含む第１の仮想平面を算出した後に、前記第１の仮想平面と前記第１の光照射手段が配置された基準線との間の第１の仮想面角度を算出し、
   前記第１の情報を利用して、前記瞳孔、前記第１の光源、及び別の前記第２の光源を含む第２の仮想平面を算出した後に、前記第２の仮想平面と前記基準線との間の第２の仮想面角度を算出し、
   前記第１の仮想面角度、前記第２の仮想面角度、及び前記暗瞳孔画像における前記第２の照明光による角膜反射、を利用して、第２の情報を推定する、
   請求項１に記載の瞳孔検出装置。
5. 前記第１の光照射手段の近傍に配置された第３の光照射手段を更に備え、
   前記第３の光照射手段は、前記明瞳孔画像における前記対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための第３の照明光を、前記対象者の顔に向けて照射する、請求項１〜４の何れか一項に記載の瞳孔検出装置。
6. 前記第２の光照射手段及び前記第３の光照射手段は、前記暗瞳孔画像において、前記第３の照明光により生じる眼鏡反射が飽和し、かつ前記第２の照明光により生じる角膜反射の中心検出精度を低めない程度に、前記第３の照明光による角膜反射が前記第２の照明光による角膜反射よりも暗くなるようにそれぞれ設定されている、請求項５に記載の瞳孔検出装置。
7. 対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像及び前記対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出方法であって、
   第１の光照射手段を利用して、前記対象者の顔に向けて前記第１の照明光を照射するステップと、
   第２の光照射手段を利用して、前記対象者の顔に向けて前記第２の照明光を照射するステップと、
   前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出するステップと、を有し、
   前記瞳孔を検出するステップは、
   前記第１の光照射手段と前記第２の光照射手段との間の位置関係を示す第１の情報及び前記暗瞳孔画像における前記第２の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第１の照明光による角膜反射に対応する位置を示す第２の情報を推定するステップと、
   前記第２の情報及び前記明瞳孔画像における前記第１の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行うステップと、
   前記位置合わせを行うステップの後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を算出し、前記差分画像を利用して前記瞳孔を検出するステップと、を有する、
   瞳孔検出方法。
8. 対象者の顔に向けて第１の照明光を照射して取得した明瞳孔画像及び前記対象者の顔に向けて第２の照明光を照射して取得した暗瞳孔画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出プログラムであって、
   コンピュータを、
   前記対象者の顔に向けて前記第１の照明光を照射する第１の光照射手段と、
   前記対象者の顔に向けて前記第２の照明光を照射する第２の光照射手段と、
   前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出する瞳孔検出手段と、して機能させ、
   前記瞳孔検出手段は、
   前記第１の光照射手段と前記第２の光照射手段との間の位置関係を示す第１の情報を保持する情報保持部と、
   前記第１の情報及び前記暗瞳孔画像における前記第２の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第１の照明光による角膜反射に対応する位置を示す第２の情報を推定する推定部と、
   前記第２の情報及び前記明瞳孔画像における前記第１の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行った後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を算出し、前記差分画像を利用して前記瞳孔を検出する検出部と、を有する、瞳孔検出プログラム。

Images