JP2008125619A - 瞳孔検出装置及び瞳孔検出方法 - Google Patents

Abstract

【課題】瞳孔検出の精度を向上すると共に、装置全体の小型化を実現すること。
【解決手段】瞳孔検出装置１は、照明光を照射する光源３と、対象者の明瞳孔像及び暗瞳孔像を撮像するカメラ２とを備え、カメラ２は、明瞳孔像及び暗瞳孔像のそれぞれを撮像する撮像素子６と、対象者に対向して配置され、対象者の像を撮像素子６に導入するための開口部８と、開口部８と撮像素子６との間に設けられ、明瞳孔像及び暗瞳孔像を撮像素子６に向けて結像する対物レンズ７とを有し、光源３は、開口部８の外側において開口部８の縁に沿って配置され、中心波長850nmの照明光を対象者に向けて出射する複数の発光素子３ａと、発光素子３ａの外側に隣接して配置され、中心波長950nmの照明光を対象者に向けて出射する複数の発光素子３ｂとを有する。
【選択図】 図１

Description

本発明は、撮影した画像によって、対象者の瞳孔を検出する瞳孔検出装置及び瞳孔検出方法に関するものである。

対象者の瞳孔を検出する技術は、例えば、肢体が不自由な身体障害者の意志伝達や騒音などで音声による情報伝達が難しい環境における意志伝達のための視線検出に用いられている。視線検出は、カメラに写った瞳孔の中心と光源からの照明光によって得られる角膜反射の相対位置を求めることによって行われるのが一般的である。また、この瞳孔検出技術は、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウスへの応用や、自動車関連技術では、運転中の運転者の居眠り防止技術や運転管理技術への利用が検討されている。

例えば、下記特許文献１には、２種類の波長の光を発する光源を有し、イメージセンサによって対象者からの反射光を受け取ってそれぞれの波長に対応した信号を生成することによって、対象者の目を監視する装置が開示されている。また、下記特許文献２には、検出器の軸上及び検出器に対して軸外角度位置にある光源から光が放出され、被験者から反射された光の差分を求めることによって被験者の瞳孔を検出する装置が記載されている。さらに、下記特許文献３には、カメラの光軸と照射方向が一致する光源と、カメラのレンズ中心に対して点対称な位置に配置された光源とを備えた視線方向検出装置が、下記特許文献４には、測定光束が通過する開口の周囲に同心円状に配設されたＬＥＤを有する検眼装置が開示されている。
特表２００２−５１３１７６号公報 特開２００４−２６１５９８号公報 特許第２９８８２３５号公報 特開２００１−１１２７１５号公報

しかしながら、特許文献１及び２に記載の装置では、２種類の波長の光源の位置関係が考慮されていないため精度よく瞳孔を検出することが困難である。また、特許文献３に記載の装置では、カメラの光軸上に光源が位置しているために、カメラで対象者の画像データを取得する際に支障となる可能性がある。一方、特許文献４に記載の装置は、角膜反射像を得るためのものであって、瞳孔検出に利用する光源の配置を開示するものではない。

本発明は、上記課題に鑑みて為されたものであり、瞳孔検出の精度を向上すると共に、装置全体の小型化を実現することが可能な瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。

上記課題を解決するため、本発明の瞳孔検出装置は、対象者の顔に向けて照明光を照射するための照明手段と、照明光によって得られた対象者の明瞳孔像及び暗瞳孔像を撮像する撮像手段とを備え、明瞳孔像及び暗瞳孔像に基づいて対象者の瞳孔を検出するための瞳孔検出装置であって、撮像手段は、明瞳孔像及び暗瞳孔像のそれぞれを撮像して画像データを出力する１以上の撮像素子と、対象者に対向して配置され、対象者の像を撮像素子に導入するための開口部と、開口部と撮像素子との間に設けられ、明瞳孔像及び暗瞳孔像を撮像素子に向けて結像する光学系とを有し、照明手段は、開口部の外側において開口部の縁に沿って配置され、第１の中心波長を有する照明光を、対象者に向けて出射する複数の第１の発光素子と、第１の発光素子の外側に隣接して配置され、第１の発光波長より長い第２の中心波長を有する照明光を、対象者に向けて出射する複数の第２の発光素子とを有する。

或いは、本発明の瞳孔検出方法は、照明手段によって対象者の顔に向けて照明光を照射するとともに、照明光によって得られた対象者の明瞳孔像及び暗瞳孔像を撮像手段によって撮像し、明瞳孔像及び暗瞳孔像に基づいて対象者の瞳孔を検出する瞳孔検出方法であって、対象者の像を撮像手段に導入するための開口部の外側において開口部の縁に沿って配置された複数の第１の発光素子を用いて、第１の中心波長を有する照明光を、対象者に向けて出射するステップと、第１の発光素子の外側に隣接して配置された複数の第２の発光素子を用いて、第１の発光波長より長い第２の中心波長を有する照明光を、対象者に向けて出射するステップと、対象者に対向して配置された開口部と撮像手段の１以上の撮像素子との間に設けられた光学系を経由して、明瞳孔像及び暗瞳孔像のそれぞれを、１以上の撮像素子に向けて結像させるステップとを備える。

本発明の瞳孔検出装置及び瞳孔検出方法によれば、開口部の縁に沿って配置された第１の発光素子から対象者に向けて、第１の中心波長を有する照明光が照射され、第１の発光素子の外側に隣接して配置された第２の光源から対象者に向けて、第１の中心波長より長い第２の中心波長を有する照明光が照射される。このような照明光の照射位置と波長との相乗効果により、対象者において生成される明瞳孔像及び暗瞳孔像における瞳孔部分の特徴がより明確化されると共に、２種類の光源が隣接して配置されているので、瞳孔部分以外の像レベルの差分が生じにくくなる。その結果、明瞳孔像及び暗瞳孔像を撮像手段によって撮像し、明瞳孔像及び暗瞳孔像に基づいて対象者の瞳孔を検出することによって瞳孔検出の精度が向上する。併せて、発光素子が撮像手段の開口部の周囲に隣接配置された構成を採ることで、像の撮影時に光源が光路を妨害しにくく確実に瞳孔を検出できるとともに、装置自体の小型化も容易になる。

なお、ここでいう「開口部」とは、撮像手段の筐体に設けられ、対象者から反射された像を撮像素子の受光面に向けてその筐体内に導入するための開口を意味し、その形状は円形には限定されず、多角形等の他の形状も採りうる。例えば、撮像素子の受光面は長方形であるのが一般的であるため、その形状に合わせて長方形状に形成することもできる。

上記第２の発光素子の個数は、上記第１の発光素子の個数以上であることが好ましい。一般に、短波長の光源のほうが近赤外領域では出力強度が高い傾向にあり、さらに撮像素子の感度も同様に高い傾向にある。そこで、第２の発光素子の個数を第１の発光素子の個数以上とすることで、第１の発光素子によって生じる対象者の像と第２の発光素子によって生じる対象者の像の明るさを均一にすることができ、明瞳孔像と暗瞳孔像との画像の差分を取るときに瞳孔の背景が消えやすくなり容易に瞳孔を検出することが可能になる。

また、撮像素子は、複数の画素からなる受光面を有し、受光面は、第１の中心波長に感度を有する第１の領域と第２の中心波長に感度を有する第２の領域とが交互に配列されるように構成されていることも好ましい。こうすれば、１つの撮像素子で明瞳孔像及び暗瞳孔像を区別して撮像することができ、撮像手段の光学系の構成を単純化することができる。また、明瞳孔像及び暗瞳孔像を同じタイミングで撮像することができるので、タイミングのずれによる瞳孔の検出精度の低下を防止することができる。

さらに、撮像手段は、少なくとも２つの撮像素子を有し、一方の撮像素子が第１の中心波長に感度を有し、且つ、他方の撮像素子が第２の中心波長に感度を有するように構成されていることも好ましい。かかる構成を採れば、２つの撮像素子のそれぞれで明瞳孔像及び暗瞳孔像を撮像することができ、それらの画像データを用いて簡易に瞳孔を検出することができる。また、明瞳孔像及び暗瞳孔像を同じタイミングで撮像することができるので、タイミングのずれによる瞳孔の検出精度の低下を防止することができる。

またさらに、撮像手段は、インターレーススキャン方式の撮像素子を有し、撮像素子の走査タイミングに応じて、交互に第１の発光素子及び第２の発光素子の発光タイミングを制御することも好ましい。この場合、１つの撮像素子で明瞳孔像及び暗瞳孔像を区別して撮像することができ、撮像手段の光学系及び撮像素子の構成を単純化することができる。

なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。

本発明によれば、瞳孔検出の精度を向上すると共に、装置全体の小型化を実現することができる。

以下、図面に基づいて、本発明による瞳孔検出装置及び瞳孔検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

［第１実施形態］
図１は、本発明の第１実施形態にかかる瞳孔検出装置の概略構成を示す概念図である。同図に示すように、瞳孔検出装置１は、撮影手段としてのカメラ２と照明手段としての光源３と制御装置４とを備えている。

カメラ２は、筐体５内にＣＣＤ、ＣＭＯＳ等の撮像素子６と対物レンズ７とが収容されて構成されている。筐体５の観察対象者の眼球Ａと向かい合う面には、円形状の開口部８が形成されている。対物レンズ７は、開口部８と撮像素子６の間においてその光軸が開口部８の中心軸線と一致するように配置され、撮像素子６は、その受光面が対物レンズ７の光軸Ｌに対して垂直に交わるように固定されている。なお、開口部８の径は、対物レンズ７の径に比較して小さくされ、対物レンズ７の有効径とほぼ同程度にされている。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。

撮像素子６は、対象者の眼球Ａ付近の像を撮像することによって画像データを生成して制御装置４に出力する。この撮像素子６としては、インターレーススキャン方式の１つであるＮＴＳＣ方式のカメラを用いることができる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレーム（画像データ）は、奇数番目の画素ラインで構成される奇数フィールドと奇数フィールドを除く偶数番目の画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。

図２には、図１の光源３を筐体５の外側から見た平面図を示している。光源３は、対象者の顔に向けて照明光を照射するためのものであり、リング状の台座部９に２種類の発光素子３ａ，３ｂが複数埋め込まれた構造を有している。光源３の台座部９は、開口部８の縁部に沿って開口部８の外側に位置するように筐体５の表面に取り付けられている。

発光素子３ａは、出力光の中心波長が850nmの半導体発光素子（ＬＥＤ）であり、台座部９上において開口部８の縁に沿って等間隔でリング状に配設されている。発光素子３ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、発光素子３ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。また、発光素子３ｂは、出力光の中心波長が950nmの半導体発光素子であり、台座部９上において発光素子３ａの外側に隣接して等間隔にリング状に配設され、発光素子３ａの個数以上で設けられている。すなわち、発光素子３ｂの光軸Ｌからの距離は、発光素子３ａの光軸Ｌからの距離よりも大きくなるように設定されている。このとき、それぞれの発光素子３ａ，３ｂは、対物レンズ７の光軸Ｌに沿って照明光を出射するように台座部９上に設けられている。また、発光素子３ａ，３ｂの個数及び供給電流は、撮影対象である対象者の顔面での照度が同一になるように適切な個数及び値に設定されている。さらに、発光素子３ａ，３ｂは、制御装置４からの制御信号により、それぞれ独立に発光タイミングを制御可能にされる。

ここで、光源３の発光素子３ａから対象者の眼球Ａに照明光が照射されると、眼球Ａにおいて明瞳孔像が生成され、発光素子３ｂから眼球Ａに照明光が照射されると、眼球Ａにおいて暗瞳孔像が生成される。これは、波長が900nmより短い照明光を受ける場合は、波長が900nmより長い照明光を受ける場合に比較して瞳孔が明るく映る、眼球Ａへの照明光がカメラの光軸からより離れた位置から入射した場合は瞳孔がより暗く映るという性質によるものである。なお、発光素子３ａ，３ｂとしては、出力光の中心波長が上記波長のものには限定されず、950nmの代わりに930nmや970nmのものを使用してもよいし、850nmの代わりに880nmのものを使用してもよく、およそ900nmを境に任意の中心波長のものが使用されうる。ただし、850nm未満の中心波長の発光素子では、光源そのものが光って見えて眩しく不快であると同時に照明を受ける対象者の瞳孔の収縮等の影響を与えるので好ましくない。

以下、瞳孔検出装置１の動作について説明するとともに、本実施形態に係る瞳孔検出方法について詳述する。まず、対象者に開口部８が対向するようにカメラ２を配置させた状態で、撮像素子６によって画像データ中の偶数フィールド及び奇数フィールドが交互に生成されるように対象者の眼球Ａの像が撮影される。このとき、カメラ２の奇数フィールドの撮影時に発光素子３ａを点灯するようにし、偶数フィールドの撮影時に発光素子３ｂを点灯するようにする。すなわち、撮像素子６の走査タイミングと発光素子３ａ，３ｂの発光タイミングとが同期するように制御される。具体的には、制御装置４により、カメラ２の撮像素子６におけるビデオ信号をモニタすることにより、偶数フィールド及び奇数フィールドの露光タイミングがモニタされ、この露光タイミングに合わせて発光素子３ａ及び発光素子３ｂが交互に点灯するように制御される。そうすると、奇数フィールドでは、発光素子３ａからの照明光によって得られたある時点の明瞳孔像が撮影される。一方、偶数フィールドでは、発光素子３ｂからの照明光によって得られたある時点から１／６０秒前又は１／６０秒後の暗瞳孔像が撮影されることになる。

その後、制御装置４によって、カメラ２から出力された画像データの解析が実行される。明瞳孔像と暗瞳孔像は、６０分の１秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば２０００分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、発光素子３ａ又は発光素子３ｂのいずれかを点灯させるように制御する。このように発光素子３ａ，３ｂの点灯期間を短くすることで、発光素子において発熱量の減少により短い時間により大きな電流を流すことができ、まわりの太陽光等の環境光が存在しても検出精度を維持することができる。そして、制御装置４によって明瞳孔像の画像データと暗瞳孔像の画像データとの輝度の差分が求められ、その差分から対象者の瞳孔の位置を検出することができる。

ここで、制御装置４は、以下のようにして瞳孔位置の補正処理も同時に行うことができる。詳細には、制御装置４は、交互に撮影された明瞳孔像及び暗瞳孔像の画像から２つの鼻孔の位置を検出する。そして、２つの画像の撮影の間に鼻孔位置のずれ量を求め、そのずれ量の分だけ時間的に前の画像（例えば明瞳孔像の画像）を時間的に後の画像（例えば暗瞳孔像の画像）の位置に移動する補正を行う。そのような座標変換を行った後に、両方の画像の輝度を差し引いて差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することもできる。

また、制御装置４は、角膜反射位置のずれ量をもとに以下のような瞳孔位置の補正処理を行うこともできる。すなわち、制御装置４は、暗瞳孔像の画像における角膜反射位置の座標及び先の時点の明瞳孔像の画像の角膜反射位置の座標を検出し、先の時点の明瞳孔像の画像を、角膜反射位置のずれ量を解消するように座標変換を行う。この角膜反射位置の検出は、角膜反射点が輝度が高いことを利用して、ウインドウ内の画像においてＰタイル法などによって輝度の閾値を決定し２値化を行うことで探索することができる。そのような座標変換を行った後に、両方の画像の輝度を差し引いて差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することもできる。

さらに、制御装置４は、明瞳孔像と暗瞳孔像との差分処理に先立って、以下のようにして画像データに対して平均化処理を施してもよい。具体的には、制御装置４は、カメラ２からの画像データ中の奇数フィールドにおける隣接画素ラインを抽出してその隣接画素ライン間の輝度平均をとって平均画素ラインを算出する。そして、制御装置４は、その平均画素ラインとカメラ２からの偶数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとることで、瞳孔のより正確な位置及び形状を求めることができる。同様に、偶数フィールドにおける隣接画素ラインを抽出して平均化処理を施せば、解像度を上げることも可能になる。

以上説明した瞳孔検出装置１によれば、開口部８の縁に沿って等間隔に配置された発光素子３ａから対象者に向けて、カメラ２の光軸Ｌに沿って中心波長850nmの照明光が照射され、発光素子３ａの外側に隣接して等間隔に配置された光源３ｂから対象者に向けて、カメラ２の光軸Ｌに沿って中心波長950nmの照明光が照射される。このような照明光の照射位置と波長との相乗効果により、対象者において生成される明瞳孔像及び暗瞳孔像における瞳孔部分の特徴がより明確化されると共に、２種類の発光素子３ａ，３ｂが隣接して等間隔で配置されているので、瞳孔部分以外の像レベルの差分が生じにくくなる。具体的には、対象者において角膜反射や眼鏡反射が発生しても、対象者から見た光源の位置及び形状のずれが小さいため、明瞳孔像と暗瞳孔像間の反射像の位置、形状及び強度の差が小さくなる。また、対象者の顔面において生じる反射光も明瞳孔像と暗瞳孔像間の強度差が小さくなる。その結果、明瞳孔像及び暗瞳孔像をカメラ２によって撮像し、明瞳孔像及び暗瞳孔像に基づいて対象者の瞳孔を検出することによって瞳孔検出の精度が向上する。

併せて、発光素子３ａ，３ｂがカメラ２の開口部８の周囲に隣接配置された構成を採ることで、像の撮影時に光源が光路を妨害しにくく確実に瞳孔を検出できる。また、光源の構造がコンパクトになりハーフミラー、レンズ等の光学系も不要となるので、装置自体の小型化も容易になる。

また、発光素子３ｂの個数は発光素子３ａの個数以上にされている。一般に、短波長の光源のほうが近赤外領域では出力強度が高い傾向にあり、さらに撮像素子の感度も同様に高い傾向にある。そこで、発光素子３ｂの個数を発光素子３ａの個数以上とすることで、発光素子３ａによって生じる対象者の像と発光素子３ａによって生じる対象者の像の明るさを均一にすることができ、明瞳孔像と暗瞳孔像との画像の差分を取るときに瞳孔の背景が消えやすくなり容易に瞳孔を検出することが可能になる。

また、カメラ２は、インターレーススキャン方式の撮像素子６を有し、撮像素子６の走査タイミングに応じて、交互に発光素子３ａ及び発光素子３ｂの発光タイミングを制御することで、１つの撮像素子で明瞳孔像及び暗瞳孔像を区別して撮像することができ、撮像手段の光学系及び撮像素子の構成を単純化することができる。また、明瞳孔像及び暗瞳孔像を同じタイミングで撮像することができるので、タイミングのずれによる瞳孔の検出精度の低下を防止することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。図３は、本発明の第２実施形態に係る瞳孔検出装置１０１の概略構成を示す概念図である。

同図に示すように、瞳孔検出装置１０１は、撮影手段としてのカメラ１０２を備え、カメラ１０２の開口部１０８の外側において開口部１０８の縁部に沿って光源３が取り付けられ、カメラ１０２及び光源３には制御装置１０４が接続されている。光源３の構成は、第１実施形態と同様であるので説明を省略する。

カメラ１０２は、前面に開口部１０８が形成された筐体１０５内に、対物レンズ１０７レンズ１０９，１１０，１１１、ミラーＭ_１、バンドパスフィルタＦ_１，Ｆ_２、及び２つのＣＭＯＳ、ＣＣＤ等のイメージセンサ１１２，１１３が収容されて構成されている。このイメージセンサ１１２、イメージセンサ１１２の前面に配置されたバンドパスフィルタＦ_１、及びレンズ１１０によって撮像素子１１４が構成される。ここで、バンドパスフィルタＦ_１は中心波長が850nmの光を透過させるフィルタ素子である。これにより、撮像素子１１４は、中心波長850nmの像に対して感度を有する。同様に、イメージセンサ１１３、イメージセンサ１１３の前面に配置されたバンドパスフィルタＦ_２、及びレンズ１１１によって撮像素子１１５が構成される。ここで、バンドパスフィルタＦ_２は中心波長が950nmの光を透過させるフィルタ素子である。これにより、撮像素子１１５は、中心波長950nmの像に対して感度を有する。

ミラーＭ_１は、ハーフミラー又はダイクロイックミラーであり、２つの撮像素子１１４，１１５の光軸上に配置されて、開口部１０８側から見た撮像素子１１４，１１５の光軸を一致させるためのものである。具体的には、ミラーＭ_１は、開口部１０８、対物レンズ１０７、及びレンズ１０９によって形成される光学系を経由してカメラ１０２内に投影された像を、撮像素子１１４の光軸に沿った方向に透過させると同時に、撮像素子１１５の光軸に沿った方向に反射させる。ミラーＭ_１としてダイクロイックミラーを使用する場合は、波長850nm付近の光を撮像素子１１４に透過させ、波長950nm付近の光を撮像素子１１５に向けて反射させるミラーを使用する。なお、レンズ１０９は、対物レンズ１０７により収束された像を平行光線に戻す役割を有する。これにより、ミラーＭ_１によって透過及び反射された像の乱れが少なくされる。

上記カメラ１０２の構成により、光源３から対象者の眼球Ａに照明光が照射されて開口部１０８に入射した明瞳孔像及び暗瞳孔像は、それぞれ、イメージセンサ１１２及びイメージセンサ１１３上に結像されて撮像される。その結果生成された明瞳孔像及び暗瞳孔像に対応する画像データは、それぞれ独立に制御装置１０４に出力される。

制御装置１０４は、カメラ２から出力された画像データの解析処理を実行する。制御装置１０４は、カメラ１０２から独立に出力された明瞳孔像と暗瞳孔像に対応する画像データの輝度の差分を算出し、その差分から対象者の瞳孔の位置を検出する。

このような瞳孔検出装置１０１及び瞳孔検出装置１０１を用いた瞳孔検出方法によれば、２つの撮像素子１１４，１１５のそれぞれで明瞳孔像及び暗瞳孔像を撮像してそれをもとに画像処理を実施することで、処理対象の画像データの解像度が低下することがなく、且つ、像間の位置ずれが発生することもない。従って、それらの画像データを用いて瞳孔を検出することで、簡易かつ精密に瞳孔を検出することができる。

なお、本発明は、上述した実施形態に限定されるものではない。

例えば、第１実施形態では、ＮＴＳＣ方式のカメラを用いて偶数フィールド及び奇数フィールド毎に明瞳孔像及び暗瞳孔像を撮像していたが、以下のような構成の撮像素子によって代用してもよい。すなわち、図４を参照して、本発明の変形例である撮像素子２０６には、２次元に配列された画素を表面に有する受光面２０９が形成されている。この受光面２０９は、その全面が２種類の帯状のバンドパスフィルタＦ_３，Ｆ_４によって覆われている。それぞれのバンドパスフィルタＦ_３，Ｆ_４は、画素の配列方向に沿って互いに重ならないように交互に隣接して配置されている。バンドパスフィルタＦ_３は、中心波長850nmの光を透過させるフィルタ素子であり、バンドパスフィルタＦ_４は、中心波長950nmの光を透過させるフィルタ素子である。ゆえに、受光面２０９は、中心波長850nm付近に感度を有する帯状の第１の領域と、中心波長950nm付近に感度を有する帯状の第２の領域とが１次元的に交互に配列された構成となっている。このような変形例によっても、１つの撮像素子で明瞳孔像及び暗瞳孔像を区別して撮像することができ、カメラの光学系の構成を単純化することができる。

なお、上記変形例では、撮像素子２０６に帯状のバンドパスフィルタを備えているが、格子状のバンドパスフィルタや900nmを遮断波長とするハイパスフィルタ及びローパスフィルタによって代用されてもよい。ただし、この場合、環境光の影響を削減するためにカメラ開口部付近に可視光遮断フィルタ或いは波長約800nm〜約1000nmを通過させる広域のバンドパスフィルタを取り付けるのが望ましい。

また、図４のような構成の撮像素子２０６を用いる場合は、明瞳孔像と暗瞳孔像との差分処理に先立って、以下のようにして画像データに対して平均化処理を施してもよい。具体的には、制御装置４は、カメラ２からの画像データ中のバンドパスフィルタＦ_３の位置に対応する画素帯を抽出して隣接画素帯間の輝度平均をとって平均画素帯を算出する。そして、その平均画素帯とバンドパスフィルタＦ_４の位置に対応する画素帯のうちの当該隣接画素帯間に位置する画素帯との差分をとることで、瞳孔のより正確な位置及び形状を求めることができる。同様に、バンドパスフィルタＦ_４に対応する隣接画素帯を抽出して平均化処理を施せば、解像度を上げることも可能になる。

また、第１実施形態においても、対物レンズ７の前面等の位置に、撮像される像に対する環境光の影響を抑えるために、可視光遮断フィルタや、波長約800nm〜約1000nmを通過させる広域のバンドパスフィルタ、或いは通過波長特性が850nm付近と950nm付近との２つのピークを有するバンドパスフィルタを取り付けてもよい。

また、図５及び図６に示すように、光源３の構成としては様々な変形態様を採ることができる。例えば、発光素子３ｂを、その配置間隔を狭めて発光素子３ａより多い個数になるように設けてもよいし、発光素子３ｂを２重リング状に配置するようにしてもよい。

本発明の第１実施形態にかかる瞳孔検出装置の概略構成を示す概念図である。 図１の光源を筐体の外側から見た平面図である。 本発明の第２実施形態にかかる瞳孔検出装置の概略構成を示す概念図である。 図１の撮像素子の変形例を示す平面図である。 図２の光源の変形例を示す平面図である。 図２の光源の別の変形例を示す平面図である。

符号の説明

Ａ…対象者の眼球、Ｌ…光軸、１，１０１…瞳孔検出装置、２，１０２…カメラ（撮像手段）、３…光源（照明手段）、３ａ，３ｂ…発光素子、６，１１４，１１５，２０６…撮像素子、７，１０７…対物レンズ、８，１０８…開口部、１０９，１１０，１１１…レンズ、２０９…受光面。

Claims (6)

1. 対象者の顔に向けて照明光を照射するための照明手段と、前記照明光によって得られた前記対象者の明瞳孔像及び暗瞳孔像を撮像する撮像手段とを備え、前記明瞳孔像及び前記暗瞳孔像に基づいて対象者の瞳孔を検出するための瞳孔検出装置であって、
   前記撮像手段は、
   前記明瞳孔像及び暗瞳孔像のそれぞれを撮像して画像データを出力する１以上の撮像素子と、
   前記対象者に対向して配置され、前記対象者の像を前記撮像素子に導入するための開口部と、
   前記開口部と前記撮像素子との間に設けられ、前記明瞳孔像及び前記暗瞳孔像を前記撮像素子に向けて結像する光学系とを有し、
   前記照明手段は、
   前記開口部の外側において前記開口部の縁に沿って配置され、第１の中心波長を有する照明光を、前記対象者に向けて出射する複数の第１の発光素子と、
   前記第１の発光素子の外側に隣接して配置され、前記第１の発光波長より長い第２の中心波長を有する照明光を、前記対象者に向けて出射する複数の第２の発光素子とを有する、
   ことを特徴とする瞳孔検出装置。
2. 前記第２の発光素子の個数は、前記第１の発光素子の個数以上である、
   ことを特徴とする請求項１記載の瞳孔検出装置。
3. 前記撮像素子は、複数の画素からなる受光面を有し、前記受光面は、前記第１の中心波長に感度を有する第１の領域と前記第２の中心波長に感度を有する第２の領域とが交互に配列されるように構成されている、
   ことを特徴とする請求項１又は２記載の瞳孔検出装置。
4. 前記撮像手段は、少なくとも２つの撮像素子を有し、
   一方の前記撮像素子が前記第１の中心波長に感度を有し、且つ、
   他方の前記撮像素子が前記第２の中心波長に感度を有するように構成されている、
   ことを特徴とする請求項１又は２記載の瞳孔検出装置。
5. 前記撮像手段は、インターレーススキャン方式の撮像素子を有し、
   前記撮像素子の走査タイミングに応じて、交互に前記第１の発光素子及び前記第２の発光素子の発光タイミングを制御する、
   ことを特徴とする請求項１又は２記載の瞳孔検出装置。
6. 照明手段によって対象者の顔に向けて照明光を照射するとともに、前記照明光によって得られた前記対象者の明瞳孔像及び暗瞳孔像を撮像手段によって撮像し、前記明瞳孔像及び前記暗瞳孔像に基づいて対象者の瞳孔を検出する瞳孔検出方法であって、
   前記対象者の像を前記撮像手段に導入するための開口部の外側において前記開口部の縁に沿って配置された複数の第１の発光素子を用いて、第１の中心波長を有する照明光を、前記対象者に向けて出射するステップと、
   前記第１の発光素子に外側に隣接して配置された複数の第２の発光素子を用いて、前記第１の発光波長より長い第２の中心波長を有する照明光を、前記対象者に向けて出射するステップと、
   前記対象者に対向して配置された前記開口部と前記撮像手段の１以上の撮像素子との間に設けられた光学系を経由して、前記明瞳孔像及び前記暗瞳孔像のそれぞれを、前記１以上の撮像素子に向けて結像させるステップと、
   を備えることを特徴とする瞳孔検出方法。

Images