JP2008029701A - 瞳孔を検出する方法及び装置 - Google Patents

Abstract

【課題】明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分をとる際の位置ずれを解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供する。
【解決手段】ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレームＦＬ１中の画素ラインに交互に並ぶように生成するステップと、フレームＦＬ１中の奇数フィールドにおける隣接画素ラインを抽出して、隣接画素ライン間の輝度平均をとって平均画素ラインAve1,Ave2,…,Avem-1として算出するステップと、フレームＦＬ１中の偶数フィールドのうちの隣接画素ライン間の位置に相当する画素ラインEven1,Even2,…,Evenm-1と、平均画素ラインAve1,Ave2,…,Avem-1とを差分するステップとを備える。
【選択図】 図７

Description

本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。

対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献１では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献２では、２台のカメラと２個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。

これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。

このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献３では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。
特開２００５−１８２２４７号公報 特開２００５−１９８７４３号公報 特開平０９−２５１５３９号公報

しかし、これらの瞳孔検出の技術においては、奇数フィールドと偶数フィールドとを交互に走査させた画像を生成するインターレース方式が多く用いられる。この場合、明瞳孔画像と暗瞳孔画像とは、奇数フィールドと偶数フィールドとして得られる。例えば、ＮＴＳＣ方式のカメラ撮影においては、１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとが、それぞれ明瞳孔画像と暗瞳孔画像となり、両画像の撮影タイミングには１／６０秒の時間差が生じるとともに、両画像の画素ラインは交互に一定の間隔で並ぶことになる。従って、明瞳孔画像と暗瞳孔画像の差分から瞳孔を検出すると、位置が異なる画素を差分することになってしまい、例えば、顔の輪郭や眼鏡の淵のような輝度が変化する箇所の差分が大きくなる。このような場合、その箇所を瞳孔として誤って検出する可能性があり、瞳孔を精度よく検出することが困難になる。

本発明は、これらの問題を解決するためになされたものであり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分をとる際の位置ずれを解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することを目的とする。

このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成するステップと、フレーム中の奇数番目又は偶数番目の画素ラインで構成される第１画素ライン群における隣接画素ラインを抽出して、隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するステップと、そのフレーム中の第１画素ライン群を除いた残りの画素ラインで構成される第２画素ライン群のうちの当該隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、平均画素ライン上の対応する位置の画素の輝度とを差分するステップとを備える。

或いは、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成する撮像手段と、フレーム中の奇数番目又は偶数番目の画素ラインで構成される第１画素ライン群における隣接画素ラインを抽出して、隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するとともに、そのフレーム中の第１画素ライン群を除いた残りの画素ラインで構成される第２画素ライン群のうちの当該隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、平均画素ライン上の対応する位置の画素の輝度とを差分する処理手段とを備える。

本発明によれば、明瞳孔画像とそれとは時間的にずれた暗瞳孔画像とが、フレーム中の奇数フィールドと偶数フィールドとに分離して生成され、その奇数フレーム又は偶数フレームのいずれかである第１画素ライン群中の隣接画素ライン間の平均画素ラインが生成される。さらに、その平均画素ラインと、第２画素ライン群中の平均画素ラインと同じ位置に相当する画素ラインとの差分がとられ、その差分をもとに瞳孔の位置が検出される。なお、ここでいう「フレーム」とは、カメラから直接取得される１画像に限られず、その１画像の中に設定されたウインドウをも含む概念であり、「奇数フィールド」とは、フレーム画像のうち、奇数番目の画素ラインからなる集合体のことを指し、「偶数フィールド」とは、フレーム画像のうち、偶数番目の画素ラインからなる集合体のことを指す。これにより、明瞳孔画像と暗瞳孔画像との差分をとる位置における画素のずれが無いため、画像中に顔の輪郭や眼鏡の淵等の輝度が大きく変化する箇所が存在した場合であっても、その箇所の差分値が大きくなることを防止できる。従って、インターレース方式の撮影によって瞳孔を検出する際にも、誤った箇所を瞳孔として検出することを防止して、ロバスト性と精度の高い瞳孔の検出を実現することができる。

本発明において、平均画素ラインと隣接画素ラインのうちの１つとの間の輝度平均をとって、再平均画素ラインとして算出するステップを更に備え、平均画素ライン及び再平均画素ラインを含む画像に基づいて瞳孔を検出することが好ましい。この場合、フレームの画像をさらに細密化することによって、瞳孔の検出精度の向上及び高分解能化を図ることができる。

また、本発明において、明瞳孔画像又は暗瞳孔画像を用いて角膜反射位置を検出し、角膜反射位置及び検出された瞳孔の位置を、視線の検知に用いるものであることも好ましい。こうすれば、瞳孔の検出精度が高くなるとともに、画像の細密化により角膜反射位置の検出精度も向上するので、これらの結果を視線の検知に利用することで、正確な視線検知が可能になる。また、瞳孔及び角膜反射位置の検出を同時に行うことができ、処理効率が向上する。

なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。

本発明は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分をとる際の位置ずれを解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することができる。

以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。図１は、本実施形態の瞳孔検出に使用する装置の概念図である。瞳孔検出装置１には、撮影手段としてのカメラ２と光源３が含まれる。カメラ２としては、インターレース方式の１つであるＮＴＳＣ方式のＣＣＤカメラを用いることができる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームは、奇数番目の画素ラインで構成される奇数フィールド（第１画素ライン群）と奇数フィールドを除く偶数番目の画素ラインで構成される偶数フィールド（第２画素ライン群）から構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。対象者の顔を照明する近赤外線の光源３は、カメラの開口（又は開口の延長部分）２１の周囲の近い位置にリング状に配置した多数のＬＥＤから構成するリング状光源３１と、カメラの開口２１から遠い位置にリング状光源３１の外周に配置した多数のＬＥＤから構成するリング状光源３２からなる。ＬＥＤから発光される光は、例えば８５０ｎｍ程度の近赤外線としておくことで、照明を受ける対象者の瞳孔の収縮等の影響を与えない。カメラ２の奇数フィールドの撮影時にカメラの開口２１に近い位置の光源３１を点灯するようにし、偶数フィールドの撮影時にカメラの開口２１から遠い位置の光源３２を点灯するようにすると、奇数フィールドではある時点の明瞳孔が撮影され、偶数フィールドではある時点から１／６０秒前又は１／６０秒後の暗瞳孔が撮影されることになる。

撮影手段の制御と撮影された画像の解析には、コンピュータ（処理手段）４を用いている。明瞳孔画像と暗瞳孔画像は、６０分の１秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば２０００分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、光源３１と光源３２を点灯させるように制御する。図１の例では、カメラ２からのビデオ信号によって、奇数フィールド,偶数フィールドの判定を行う。次に、奇数、偶数フィールド信号発生回路５からの信号によって、ファンクションシンセサイザ６から、それぞれのフィールドの開始からの遅延信号を発生させて、シャッターが開く時刻に合わせて、ストロボ調光ユニット７によって、光源３１，３２を発光させる。以下に説明する奇数フィールド及び偶数フィールドからなるフレーム画像に関するデータ処理は、コンピュータ４によって実行される。

次に、図２により、瞳孔Ｐと角膜反射位置Ｃについて説明する。カメラ２によって撮影された瞳孔Ｐについては、カメラ開口２１に近い光源３１からの光による照明では、網膜で反射してカメラ開口２１に入射することから、撮影された瞳孔Ｐは明瞳孔となり、カメラ開口２１から遠い光源３２からの照明では、網膜で反射した光がカメラ開口２１に入射しないことから、暗瞳孔となる。そして、明瞳孔と暗瞳孔のそれぞれの画像からは、瞳孔Ｐを検出することが困難であるが、これらを重ね合わせて、明瞳孔画像から暗瞳孔画像を輝度によって差し引くと、瞳孔Ｐを浮き彫りにして検出することができる。一方、角膜反射位置Ｃは、各光源３１，３２からの光が、ほぼ球面状をなす角膜で反射してカメラ開口２１に入射した場合の、角膜での反射点の位置を表している。この角膜反射位置Ｃは、面積では瞳孔Ｐよりも小さなものであるが、輝度が高く、明瞳孔画像と暗瞳孔画像のそれぞれ単独の画像においても、識別可能である。

また、光源３１と光源３２は、ともにリング状でその中心が同じであることから、どちらの光源によって撮影した場合でも、顔の移動や視線の移動がなければ、角膜反射位置Ｃは同じ箇所に現れる。なお、このようなリング状の光源を用いず、カメラ開口２１から近い位置と遠い位置に２つの光源を設けた場合には、顔の移動も視線の移動もない場合であっても、角膜反射位置Ｃは異なった箇所に現れることになるため、後述する瞳孔検出のための位置補正においては、さらにこの初期的な位置ずれを補正しておく必要がある。

ここで、撮影された時点の対象者の視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルとの関係については、前記特許文献２に詳述しているため、ここでは簡単に述べると、視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルのなす角度は、瞳孔中心Ｐａと角膜反射位置Ｃの間隔と線形関係にあり、視線ベクトルの、カメラ−瞳孔中心Ｐａベクトルの周りにおける水平面からの角度は、瞳孔中心Ｐａと角膜反射位置Ｃとを結ぶ直線が水平面となす角度φと等しい。例えば、視線がカメラの開口２１を向いているときは、角膜反射位置Ｃが瞳孔中心Ｐａと一致する。このように、瞳孔中心Ｐａと角膜反射位置Ｃの座標が分かれば、視線を検知することができ、また、左右の視線から視点を検知することもできる。なお、角膜反射位置Ｃは、瞳孔Ｐに重なって撮影される場合もあるが、以下の図では、見易いように、角膜反射位置Ｃは、瞳孔Ｐから外れた場所に図示をする。

図３により、本実施形態の瞳孔検出に関する基本的な考え方を説明する。図３は、対象者の明瞳孔と暗瞳孔を交互に撮影する６０分の１秒の間に、顔がＦ１からＦ２に移動し、次の６０分の１秒の間にＦ２からＦ３に移動し、さらに次の６０分の１秒の間にＦ３からＦ４に移動した場合の概念図である。なお、左右の目とも同様の検出を行うが、簡単のために、右目だけについて説明する。奇数フィールドの画像において、明瞳孔Ｐ１と角膜反射位置Ｃ１を含む明瞳孔画像１が得られている。ここで、角膜反射位置Ｃ１は、ある程度位置の予測がついていれば、１つの画像からでも判別分析法などによって画像明るさを２値化して検出することができるが、瞳孔Ｐ１については、この１つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの暗瞳孔画像２における暗瞳孔Ｐ２と画像差分を行って、瞳孔を検出するのであるが、１／６０秒の間に顔がＦ１からＦ２の位置に矢印のように移動していると、明瞳孔Ｐ１と暗瞳孔Ｐ２とが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。

ところが、この暗瞳孔画像２でも角膜反射位置Ｃ２の位置は検出できることから、２つの画像の撮影の間に角膜反射位置がＣ１からＣ２に矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔Ｐ１を撮影した画像を暗瞳孔Ｐ２を撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、後に撮影された偶数フィールドの画像位置である差分画像上で、浮き彫りになって検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図に示すように、瞳孔が含まれていると予測される部分にウインドウＷ１、Ｗ２を取り、明瞳孔Ｐ１のウインドウＷ１の画像を暗瞳孔Ｐ２のウインドウＷ２の画像に、角膜反射位置のずれ量だけ移動する補正を行って、その領域の差分を演算すればよい。

ここで、位置補正後のウインドウＷ１とウインドウＷ２との画像差分を行う際には、ウインドウＷ１内の奇数フィールドに明瞳孔Ｐ１が、ウインドウＷ２内の偶数フィールドに暗瞳孔Ｐ２が現れるため、そのまま差分したのでは、差分対象の画素ラインに位置ずれが生じているため精度の高い瞳孔の検出が困難である。この場合は、図４に示すように、ウインドウＷ１の奇数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、ウインドウＷ２の偶数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとればよい（平均差分法）。具体的には、ウインドウＷ１が画素ラインOdd1,Odd2,…Oddkからなり、ウインドウW２が画素ラインEven1,Even2,…Evenkからなる場合を考える。ウインドウW１の２つの隣接画素ラインOdd1,Odd2を順に抽出し、その２つの画素ラインの平均をとって平均画素ラインAve1,Ave2,…Avek-1を算出することができる。そして、平均画素ラインAve1,Ave2,…Avek-1と、ウインドウＷ２内でその画素ラインと同じ位置に相当する画素ラインEven1,Even2,…Evenk-1との差分を、それぞれの画素ライン上の対応する画素の輝度を引き算することにより計算して、差分画素ラインDif1,Dif2,…,Difkからなる差分ウインドウＷｄを得ることができる。この差分ウインドウＷｄに基づいて瞳孔を検出することで、上記の位置ずれの問題が生じなくなる。同様にして、ウインドウW２においても平均画素ラインを算出して、その平均画素ラインと、ウインドウＷ１内の当該平均画素ラインと同じ位置の画素ラインとの差分をとれば、高精度での瞳孔検出が行える。

なお、図２において説明したことから理解できるように、顔がＦ１からＦ２に移動する間に、カメラ２と瞳孔中心Ｐａのベクトルを基準として、視線のベクトルが変わらない場合、すなわち対象者の視線に変化がなければ、Ｆ１での角膜反射位置Ｃ１と瞳孔Ｐ１の中心との位置関係と、Ｆ２での角膜反射位置Ｃ２と瞳孔Ｐ２の中心の位置関係とは相対的に同じであることから、Ｃ１からＣ２へのずれ量は瞳孔のＰ１からＰ２へのずれ量と全く同じ量となって、完全な位置補正ができる。ただし、対象者の視線に変化がある場合でも、顔の移動に対して角膜反射位置と瞳孔中心間の相対位置の変化が小さいことから、瞳孔検出のための十分な位置補正となり得る。

図３において、明瞳孔画像１と暗瞳孔画像２との間で顔の移動に伴う位置補正を行って、瞳孔の検出を行った後は、同じ作業を明瞳孔画像３と暗瞳孔画像４との間で行えばよい。この場合、１フレーム単位中の後の画像である暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が１／３０秒間隔で得られるものなら、瞳孔の検出もその間隔でなされることになる。あるいは、図３において、明瞳孔画像１と暗瞳孔画像２との間での位置補正と瞳孔検出処理と、明瞳孔画像３と暗瞳孔画像４との間の位置補正と瞳孔検出処理との間に、さらに、暗瞳孔画像２と明瞳孔画像３との間で、角膜反射位置がＣ２からＣ３にずれた量に基づいて、明瞳孔画像３における角膜反射位置Ｃ３を基準として暗瞳孔画像２のウインドウＷ２を明瞳孔画像３のウインドウＷ３に移動させる位置補正と明瞳孔画像３から暗瞳孔画像２を差し引く画像差分による瞳孔検出処理を行ってもよい。この場合、明瞳孔画像３と暗瞳孔画像２との画像差分をとる場合にも、平均差分法を用いてもよい。具体的には、ウインドウＷ２の偶数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、ウインドウＷ３の奇数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとる。このように、隣接する各画像間での連続的な処理を行う場合は、暗瞳孔画像２での瞳孔位置が求まった後には、次の明瞳孔画像３での瞳孔位置、またその次の暗瞳孔画像４での瞳孔位置というように、最新の瞳孔位置を連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像の間隔が１／６０秒で得られるものなら、瞳孔の位置も同じ間隔で得られることになる。

次に、本実施形態において、瞳孔を検出する具体的な手順を、図５，６によって説明する。瞳孔検出作業の立ち上がり時点では、角膜反射位置も瞳孔も未だ検出されていないことから、かなり広い画像から瞳孔又は角膜反射位置を探索しなければならない。その場合、顔が１／６０秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、面積の小さな角膜反射位置を検出するよりも容易である。そのため、顔がほとんど移動しないという条件の下で、先ず瞳孔検出を行う。この瞳孔検出は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって２値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。この場合の差分画像の形成は、図７に示すように、カメラ２によって生成された１フレームＦＬ１の画像を対象に平均差分法を用いる。フレームＦＬ１の奇数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、フレームＦＬ１の偶数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとればよい。具体的には、フレームＦＬ１が画素ラインOdd1,Even1,Odd2,Even2,…,Evenmからなる場合を考える。フレームＦＬ１の奇数フィールドの２つの隣接画素ラインOdd1,Odd2を順に抽出し、その２つの画素ラインの平均をとって平均画素ラインAve1,Ave2,…Avem-1を算出する。そして、平均画素ラインAve1,Ave2,…Avem-1と、フレームＦＬ１の偶数フィールド内でその画素ラインと同じ位置に相当する画素ラインEven1,Even2,…Evenm-1との差分を、それぞれの画素ライン上の対応する画素の輝度を引き算することにより計算して、差分画素ラインDif1,Dif2,…,Difmからなる差分フレーム画像ＦＬ２を得ることができる。

角膜反射位置は瞳孔の近傍や瞳孔に重なる場所にあることから、検出された瞳孔の位置によって角膜反射位置が存在すると予測される範囲にウインドウを設けることができる。角膜反射点は輝度が高いことから、ウインドウ内の画像において、Ｐタイル法などによって輝度の閾値を決定し、２値化を行うことで、角膜反射位置を探索することができる。図５（Ａ）に示すように、明瞳孔画像において、ウインドウＷＣ１内の画像に前記処理を施すことで角膜反射位置Ｃ１の位置座標を決定できる。なお、この際に、ウインドウＷＣ１内での角膜反射と考えられる最大輝度の部分に、さらに小さな例えば縦横１０画素程度のウインドウを設けて、その中で、２値化を行って角膜反射に相当する画素を特定して、それらの画素の輝度と座標を用いて輝度重心を求めることにより角膜反射位置Ｃ１の決定を行ってもよい。前の時点で角膜反射位置が求まっていれば、次の時点の角膜反射位置は、カルマンフィルターなどの予測モデルによって、予測可能なことからその予測される範囲に次のウインドウを設けることができる。そして、そのウインドウ内の画像に前記の処理を行って、角膜反射位置を決定することができる。また、角膜反射位置を検出する対象のウインドウには、図４を参照して説明したように、ウインドウ内で隣接画素ライン間の平均画素ラインを算出して付加することで、解像度を縦方向に２倍にすることができるので、より正確に角膜反射位置を決定することができる。

図５は、先の時点の明瞳孔画像（Ａ）において、角膜反射位置Ｃ１を探索するためのウインドウＷＣ１が設けられ、また、その後の暗瞳孔画像（Ｂ）において角膜反射位置Ｃ２を探索するためのウインドウＷＣ２が設けられたことを示している。そして、それぞれの角膜反射位置Ｃ１，Ｃ２の位置座標が決定されると、その差をとることで、両画像の撮影時の間における顔の移動量を求めることができる。

次に、図６のとおり、後の時点の暗瞳孔画像（Ｂ）において、暗瞳孔が含まれていると予測される部分に暗瞳孔探索のためのウインドウＷＰ２を設ける。なお、このウインドウＷＰ２は、図５におけるウインドウＷＣ２と同じでもよい。この暗瞳孔画像における角膜反射位置Ｃ２の座標に先の時点の明瞳孔画像（Ａ）の角膜反射位置Ｃ１の座標が一致し、かつ暗瞳孔画像（Ｂ）の角膜反射位置C２とウインドウＷＰ２との関係位置と同じになるように、角膜反射位置Ｃ１との位置関係でウインドウＷＰ１を明瞳孔画像（Ａ）に設ける。これによって、先の時点の明瞳孔画像（Ａ）を、角膜反射位置がずれた分だけずれを解消するように、後の時点の暗瞳孔画像（Ｂ）に一致させることができる。このような位置補正を行った後に、明瞳孔画像（Ａ）から暗瞳孔画像（Ｂ）の輝度を差し引く差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することができる。この差分画像を求める場合は、上述したような平均差分法を用いる。瞳孔の中心座標を求める場合は、例えばモーメント法などで輝度重心を演算することで決定することができる。決定された瞳孔位置と既に分かっている角膜反射位置の座標から、前記のとおり、対象者の視線を求めることもできる。

本実施形態によれば、明瞳孔画像と暗瞳孔画像との差分をとる位置における画素のずれが無いため、画像中に顔の輪郭や眼鏡の淵等の輝度が大きく変化する箇所が存在した場合であっても、その箇所の差分値が大きくなることを防止できる。従って、インターレース方式の撮影によって瞳孔を検出する際にも、誤った箇所を瞳孔として検出することを防止して、ロバスト性と精度の高い瞳孔の検出を実現することができる。

また、平均差分法を採用することによって、瞳孔の検出精度が高くされるとともに、ウインドウ画像の細密化により角膜反射位置の検出精度も向上するので、これらの結果を視線の検知に利用することで、正確な視線検知が可能になる。また、瞳孔及び角膜反射位置の検出を同時に行うことができ、処理効率が向上する。

また、本実施形態によれば、角膜反射位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、対象者の顔が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置がほぼ一致した状態で差分されて周囲から浮き彫りにされ、瞳孔検出がロバスト性と精度がよくなされる。

また、本実施形態によれば、角膜反射位置を検出してこれを位置補正の基準としているために、鼻孔を基準とするような場合に比べて、必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされることから、顔のずれに伴う瞳孔の位置合わせの精度が高いものになり、さらに、互いの位置の誤認の可能性が低下する。また、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。

また、解析を行う領域は、ウインドウを設定した画像領域とすることで、瞳孔検出の演算効率を高めることができる。また、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動することにより、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。さらに、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いることもでき、その場合は、演算の負担をさらに少なくすることができる。

なお、本発明は、上述した実施形態に限定されるものではない。例えば、本実施形態では、奇数フィールドにおいて明瞳孔を撮影し、偶数フィールドにおいて暗瞳孔を撮影したが、この逆であってもよい。また、カメラについては、ＮＴＳＣ方式のカメラを使用する場合について主に説明したが、インターレース方式であれば他の方式のものであってもよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、８５０ｎｍ程度と９５０ｎｍ程度の波長の異なる光源を用いると、網膜反射率が異なることから、８５０ｎｍ程度の光源で撮影した画像が明瞳孔で、９５０ｎｍ程度の光源で撮影した画像が暗瞳孔となる。

また、フレーム又はウインドウ中の２つの隣接画素ラインから平均画素ラインを生成する際には、その平均画素ラインと、それぞれの２つの隣接画素ラインとの間の再平均画素ラインを更に算出して、もとのフレームに平均画素ライン及び再平均画素ラインを付加した画像データに基づいて、瞳孔及び角膜反射を検出するようにしてもよい。さらに、画素ラインに垂直な方向における平均値を算出するのみではなく、画素ラインに水平な方向における画素間の輝度平均値を算出して画素間に挿入するようにしてもよい。このようにすれば、フレームの画像をさらに細密化することによって、瞳孔の検出精度の向上及び高分解能化を図ることができる。具体的には、図８に示すように、２つの隣接画素ラインの画素Ｇ１と画素Ｇ２との平均をとることにより平均画素ラインにおける画素Ｇ３が生成され、その画素Ｇ３と画素Ｇ１，Ｇ２のそれぞれとの平均をとることにより再平均画素ライン上の画素Ｇ４，Ｇ５が得られる。また、画素Ｇ１と画素ラインに沿って隣接する画素Ｇ６との平均をとることにより画素Ｇ７が得られる。以下、同様の処理を繰り返すことで２次元的に細密化されたフレーム画像を生成することができる。

本実施形態に沿って行った実験結果について、以下、説明する。実験は、図２の装置によって行った。対象者とカメラ２の距離を約７０ｃｍとし、対象者は、約６０ｃｍ離れたディスプレイ上の指標に視線を固定しつつ、頭を左右に動かした。このときカメラ２から得られた１フレームを対象に平均差分法により仮の瞳孔位置を検出し、その瞳孔位置を中心にして偶数フィールド及び奇数フィールドに６０×３０画素のウインドウを設定した。そのウインドウに対して平均画素ラインを追加することによって、ウインドウを６０×６０画素のウインドウに細密化した。図９（ａ）は、このようにして得られたウインドウ内の明瞳孔画像の一例、図９（ｂ）は、暗瞳孔画像の一例を示し、それぞれ、左側が細密化処理前、右側が細密化処理後である。そして、そのウインドウの中心の４０×４０画素の小ウインドウを対象に瞳孔中心を検出した。このようにウインドウの細密化により、角膜反射位置による位置補正における位置のずらし量も高分解能化できるので、瞳孔検出のロバスト性および瞳孔位置検出の高精度化がさらに図れることになる。

上記の瞳孔中心の検出を１００フレーム分繰り返した。その際に、本発明の実施例として角膜反射位置による位置補正を行った場合と、比較例としての位置補正を行わなかった場合との比較をした。図１０は、１つのフレームにおける４０×４０画素のウインドウ内の差分画像である。位置補正を行わなかった差分画像（Ａ）においては、角膜反射位置Cが明瞳孔画像と暗瞳孔画像で一致していないことから、差分画像において輝度の高い箇所として残っており、瞳孔Pも明瞳孔画像と暗瞳孔画像で完全に重なっていないことから輪郭がかすんでいる。それに対して、位置補正を行った差分画像（Ｂ）においては、明瞳孔画像と暗瞳孔画像の角膜反射位置Cどうしが重なっていることから、高い輝度であっても輝度が相殺しており、瞳孔Pも明瞳孔画像と暗瞳孔画像が重なっていることから、比較的明確になっている。

図１１は、求めた瞳孔中心のＸ座標（水平方向座標）を縦軸に取り、横軸には１番目のフレームから１００番目のフレームまでを取っており、瞳孔中心座標の時間変化を示している。位置補正をしなかった場合は、位置補正を行った場合に比べて位相が遅れている。これは、位置補正において、前記のとおり、時間的に後のフィールドの画像に先のフィールドの画像を一致させるようにしているために、後のフィールドにおける瞳孔中心が求められているのに対し、位置補正なしの場合は、明瞳孔画像と暗瞳孔画像における瞳孔の位置に差があれば、その一部重なる部分は両画像の中間的な位置になること、あるいは重なりのない部分については、暗瞳孔があまり暗くないのに対して明瞳孔が非常に明るいこと等に起因すると考えられる位相の遅れが生じている。しかし、一般には、明瞳孔があまり明るくないのに対して暗瞳孔が非常に暗いという場合もあり、検出される瞳孔中心座標は、不確定な位相遅れを生じることになることが容易に予想できる。

図１２は、瞳孔中心と角膜反射位置の中心との相対座標の時間変化を示している。この実験では、対象者は頭を動かしても視線は変えていないために、瞳孔中心と角膜反射位置中心の相対座標は、ほぼ一定のはずである。位置補正を行った場合は、そのとおりに、ほぼ一定を示しているが、補正を行わなかった場合は、頭の動きに伴って大きく変化している。このことは、視線検出を行ったとすると視線が動いていないにもかかわらず、動いたと判断されてしまうことになる。
以上のとおり、本実施例により、顔が移動する場合において、角膜反射位置による位置補正を行って、瞳孔の位置を検出する本発明の有効性が確認できた。

また、図１３は、本実施形態において平均差分法により細密化した画素ラインの輝度分布を、細密化を施していない輝度分布と比較して示すグラフである。この輝度分布は、瞳孔付近を通る画素ラインにおける分布を示しており、ここでの輝度値は、実際の差分値に６０を足して示している。この結果より、細密化処理を施した場合は瞳孔付近の２つの輝度のピークを除いては、輝度の変動が比較的抑えられていることがわかった。また、図１４は、実際のフレーム画像を対象に平均差分法を用いて生成した差分フレーム画像の例である。図１４（ａ）は、左側が明瞳孔画像、右側が暗瞳孔画像、図１４（ｂ）は、左側が平均差分法を用いないでこれらの画像をそのまま差分した差分フレーム画像、右側が平均差分法を用いた場合の差分フレーム画像である。この結果により、平均差分法を用いた差分画像においては、顔の輪郭、眼鏡のフレーム、鼻や口の窪み部分等における輝度差があまり現れていないことがわかる。

本発明の実施形態の瞳孔検出のための装置を示す概念図である。 瞳孔中心と角膜反射位置についての説明図である。 本発明の実施形態の基本的な概念を示す図である。 ウインドウ内における画像の差分処理を説明する図である。 本発明の実施形態での角膜反射位置の探索を示す図である。 本発明の実施形態での瞳孔の探索を示す図である。 フレーム内における画像の差分処理を説明する図である。 本発明の変形例における画素の細密化処理を説明する図である。 ウインドウ内の明瞳孔画像及び暗瞳孔画像の一例を示す図である。 本発明の実施例及び比較例での差分画像の一例を示す図である。 本発明の実施例及び比較例での瞳孔中心の時間変化を示す図である。 本発明の実施例及び比較例での瞳孔中心と角膜反射位置の相対座標の時間変化を示す図である。 本実施形態において平均差分法により細密化した画素ラインの輝度分布を示す図である。 本実施形態において平均差分法により生成した差分画像を、平均差分法を用いない場合と比較して示す図である。

符号の説明

１‥瞳孔検出装置、２‥カメラ、２１‥カメラの開口中心、３‥光源、３１‥カメラ開口に近い光源、３２‥カメラ開口から遠い光源、４‥コンピュータ、５‥奇数偶数フィールド信号発生回路、６‥ファンクションシンセサイザ、７‥ストロボ調光ユニット、Ｐ‥瞳孔、Ｃ‥角膜反射位置

Claims (4)

1. 明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、
   ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成するステップと、
   前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第１画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するステップと、
   前記フレーム中の第１画素ライン群を除いた残りの画素ラインで構成される第２画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分するステップと、
   を備えることを特徴とする瞳孔を検出する方法。
2. 前記平均画素ラインと前記隣接画素ラインのうちの１つとの間の輝度平均をとって、再平均画素ラインとして算出するステップを更に備え、
   前記平均画素ライン及び前記再平均画素ラインを含む画像に基づいて瞳孔を検出することを特徴とする請求項１に記載の瞳孔を検出する方法。
3. 前記明瞳孔画像又は前記暗瞳孔画像を用いて角膜反射位置を検出し、前記角膜反射位置及び検出された瞳孔の位置を、視線の検知に用いるものであることを特徴とする請求項１又は２に記載の瞳孔を検出する方法。
4. 明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、
   ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成する撮像手段と、
   前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第１画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するとともに、前記フレーム中の第１画素ライン群を除いた残りの画素ラインで構成される第２画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分する処理手段と、
   を備える瞳孔を検出する装置。