JP2009254525A - 瞳孔検知方法及び装置 - Google Patents

Abstract

【課題】眼鏡等を着用した場合でも、確実に被験者の瞳孔位置を検出する瞳孔検知方法を提供すること。
【解決手段】明瞳孔画像と暗瞳孔画像との差分画像から、瞳孔候補領域Ａを抽出するステップＳ２〜Ｓ７の瞳孔領域抽出処理と、明瞳孔画像と暗瞳孔画像とのＡＮＤ演算により生成されるＡＮＤ画像から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像を抽出するステップＳ１２〜Ｓ１５の角膜反射像抽出処理と、瞳孔領域抽出処理による瞳孔候補領域Ａと、角膜反射像抽出処理による角膜反射像を比較して、瞳孔候補領域Ａを選定するステップＳ８〜Ｓ１１，Ｓ１６〜Ｓ２１の比較処理を備えた。
【選択図】図４

Description

本発明は、画像処理によって瞳孔位置を検知する瞳孔検知方法及び装置の技術分野に属する。

従来においては、カメラの開口に近い光線と遠い光線をビデオのフィールドに同期させて交互に点灯させ、そのとき得られる明瞳孔画像と暗瞳孔画像を実時間で差分を行い、背景部をおよそ相殺させ、瞳孔部を浮き立たせた後に瞳孔を検出している。さらに、眼鏡のレンジの表面での反射像がカメラに写る対策として、カメラをユーザの正面に設けるモニタから角度にして離した位置にカメラを設置している（例えば、特許文献１参照。）。
特開２００６−３０９２９１号公報（第２−１３頁、全図）

しかしながら、従来にあっては、眼鏡のフレームの反射に対する対策がされていなかった。また、眼鏡のレンズやフレームには様々な形状があり、例えば車両では、カメラの位置に自由度が少ないため、カメラの位置により視線検出への眼鏡の影響を防ぐことは困難であった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、眼鏡等を着用した場合でも、確実に被験者の瞳孔位置を検出する瞳孔検知方法及び装置を提供することにある。

上記目的を達成するため、本発明では、カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、前記明瞳孔画像と前記暗瞳孔画像との差分画像から、瞳孔領域を抽出する瞳孔領域抽出処理と、前記明瞳孔画像と前記暗瞳孔画像とのＡＮＤ演算により生成されるＡＮＤ画像から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像を抽出する角膜反射像抽出処理と、前記瞳孔領域抽出処理による瞳孔領域と、前記角膜反射像抽出処理による角膜反射像を比較して、瞳孔領域を選定する比較処理と、を備えたことを特徴とする。

よって、本発明にあっては、眼鏡等を着用した場合でも、確実にドライバの瞳孔位置を検出することができる。

以下、本発明の瞳孔検知方法及び装置を実現する実施の形態を、請求項１，２，３，４，５に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の瞳孔検知装置のブロック構成を示す図である。
実施例１の瞳孔検知装置１は、画像処理装置１１と投光制御装置１２を備え、赤外線カメラ２、内側赤外線投光器３、外側赤外線投光器４が接続され、認識結果出力５を出力する。

画像処理装置１１は、明瞳孔画像と暗瞳孔画像から瞳孔を検出する画像処理、眼鏡がある場合の視線検知の画像処理を行う。
投光制御装置１２は、明瞳孔画像と暗瞳孔画像を撮像するための内側赤外線投光器３、外側赤外線投光器４及び、撮像を行う赤外線カメラ２の制御を行う。詳細は後述する。

次に、赤外線投光器を用いているカメラの概略構造について説明する。
図２は、近赤外線カメラの概略構造を示す説明図である。
実施例１で用いられる瞳孔検出カメラの一式は、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４を組み合わせたカメラである。
赤外線カメラ２は、可視光カットフィルタを備えた赤外線カットフィルタを備えたカメラ部分の周囲を囲むように、近赤外線を発光するLEDを複数配置する。これにより、内側赤外線投光器３を形成する。内側赤外線投光器３は、赤外線カメラ２と同軸での投光を行う。つまり、明瞳孔画像を撮像するための光源となる。

次に、赤外線カメラ２と離れた位置に別体として、２つの光源を設ける。この光源にはそれぞれ複数LEDを配置して、外側赤外線投光器４ａ，４ｂを構成する。この外側赤外線投光器４（４ａ，４ｂ）は、赤外線カメラ２と離れた別の光軸での投光を行う。つまり、暗瞳孔画像を撮像するための光源となる。
なお、赤外線カメラ２の出力映像は、NTSC方式によるものとし、これを受ける瞳孔検知装置１により、画像を処理して視線検出を行う。

次に、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４の車両設置状態を説明する。
図３は車両の設置状態を示す説明図である。
シート６は、ドライバｈが着座するものであり、位置が操作で調整される。
そして、インストパネル７のドライバｈの側で、ステアリングコラム８で支持されるステアリングホイール９の位置もドライバｈの操作で位置が調整される。
赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４は、このステアリングコラム８の上部に取り付けるようにし、ステアリングホイール９の内側の空間を通してドライバｈの顔、特に目近傍への投光、目近傍の画像の撮像を常時行う。

作用を説明する。
[瞳孔検知処理]
図４に示すのは、瞳孔検知装置１の画像処理装置１１で実行される瞳孔検知処理の流れを示すフローチャートで、以下各ステップについて説明する。

ステップＳ１では、瞳孔検知処理を開始する。

ステップＳ２では、内側赤外線投光器３、外側赤外線投光器４を投光制御装置１２で制御して、赤外線カメラ２で撮像した画像から、明瞳孔画像と暗瞳孔画像を作成する。

ステップＳ３では、明瞳孔画像と暗瞳孔画像の差画像を作成する。

ステップＳ４では、明瞳孔画像と暗瞳孔画像の差画像に対して二値化を行い、二値化画像を生成する（差画像二値化処理）。

ステップＳ５では、差画像を二値化した画像に対して、ラベリング処理を行う。

ステップＳ６では、ラベリング処理結果に対して、瞳孔候補領域の抽出を行う。

ステップＳ７では、各瞳孔候補領域を中心に角膜反射像探索範囲を設定する。

ステップＳ８では、各角膜反射像探索範囲に角膜反射像候補領域があるか探索する。

ステップＳ９では、探索範囲内に角膜反射像候補が見つかったかどうかを判断し、見つかったならばステップＳ１０へ進み、見つからないならばステップＳ１６へ進む。

ステップＳ１０では、残った瞳孔候補領域の数を判断し、残った瞳孔候補領域の数が０〜１ならばステップＳ１１へ進み、残った瞳孔候補領域の数が２ならばステップＳ１９へ進み、残った瞳孔候補領域の数が３以上ならばステップＳ１７へ進む。

ステップＳ１１では、瞳孔の認識ＮＧ（検知できず）とする。

ステップＳ１２では、明瞳孔画像と暗瞳孔画像をそれぞれ二値化する処理を行い、二値化画像を生成する。

ステップＳ１３では、二値化した明瞳孔画像と、二値化した暗瞳孔画像をそれぞれラベリングする処理を行い、ラベリングした画像を生成する。

ステップＳ１４では、ラベリングした画像から角膜反射候補領域の抽出処理を行い、抽出画像を生成する。

ステップＳ１５では、明瞳孔画像の角膜反射候補領域の抽出画像と、暗瞳孔画像の角膜反射候補領域の抽出画像のＡＮＤ画像を作成し、角膜反射像領域の絞込みを行う。

ステップＳ１６では、該当する角膜反射像探索範囲を、瞳孔候補領域から削除する。

ステップＳ１７では、各瞳孔候補領域と角膜反射像候補領域との距離を算出する。

ステップＳ１８では、瞳孔−角膜反射像間ベクトルが等しくなる瞳孔候補領域を２つ選出する。

ステップＳ１９では、瞳孔としての妥当性のチェックを行う（瞳孔間の距離及び、角度のチェック）。

ステップＳ２０では、瞳孔の認識ＯＫ（検知できた）とする。

ステップＳ２１では、認識結果を出力する。なお、本瞳孔検知装置１は、視線の位置を検知するものではなく、視線の有無を検知する。そのため、瞳孔の認識ＯＫ（瞳孔検知）を持って、視線を検知したとする出力を行う。

[瞳孔検知作用]
図５は明瞳孔状態と暗瞳孔状態の説明図である。図６は瞳孔検知の各状態の説明図である。
実施例１のドライバの視線検出では、基本的に明瞳孔状態と暗瞳孔状態の画像を用いる。まず、眼鏡についての考慮をしない基本的な瞳孔検知について説明する。
明瞳孔状態（明瞳孔現象）は、赤外線カメラ２の光軸の近くに光源として、内側赤外線投光器３を配置することにより、撮像される瞳孔（角膜）が光って見える状態である（図５(a)参照）。これは可視光カメラ撮影時のいわゆる赤目現象と同様の発生原理である。このようにして撮像した画像を明瞳孔画像１０１とする。

これに対し、暗瞳孔状態（暗瞳孔現象）は、赤外線カメラ２の光軸から離れた位置に光源として、外側赤外線投光器４ａ，４ｂを配置する。これにより撮像される瞳孔（角膜）は暗く写って見える状態となる（図５(b)参照）。このようにして撮像した画像を暗瞳孔画像１０２とする。

実施例１のドライバの視線検出では、明瞳孔画像１０１、暗瞳孔画像１０２の差分画像１０３を赤外線カメラ２によりそれぞれ、ほぼ同時刻、同位置で撮像し、瞳孔検知装置１に入力する。
瞳孔検知装置１では、明瞳孔画像１０１と暗瞳孔画像１０２からそのデータの差、つまり、瞳孔が光っている画像と瞳孔が暗い画像のように変化分（差分）を抽出した差分画像１０３を生成する。

そして、この差分画像１０３を所定のしきい値で二値化処理して二値化画像１０４を生成する。すると、明瞳孔画像１０１と暗瞳孔画像１０２の差が、２つの画像の主な差であるので、瞳孔の候補が検出されることになる。ここから、さらに、近接する２点のみを瞳孔とするなどの処理を行って瞳孔位置が検出される。固定されたカメラ位置と瞳孔位置の関係から視線は確定する。これにより、例えば、ドライバのよそ見などを検知することが可能になる。

[瞳孔候補領域の抽出]
眼鏡を着用している場合にも対応する本実施例１の視線検知における図４のステップＳ２〜Ｓ７に対応する瞳孔候補領域の抽出について説明する。
図７は入力画像の例を示す図である。図８は明瞳孔画像の例を示す図である。図９は暗瞳孔画像の例を示す図である。図１０は明瞳孔画像と暗瞳孔画像の差分画像の例を示す図である。図１１は差分画像を二値化した画像の例を示す図である。図１２は二値化した画像から瞳孔候補領域を抽出した画像の例を示す図である。図１３は各瞳孔候補領域の中心座標を図示した画像の例を示す図である。図１４は各瞳孔候補領域に対して角膜反射像探索範囲を設定した例を示す図である。

ここで、まず角膜反射像について説明する。
明瞳孔画像及び暗瞳孔画像において、撮像用の光源として用いた赤外光は、人の眼で見ることはできないが、撮像された画像の眼の位置には、光源が輝点として写る。この輝点を角膜反射像（プルキニエ像）とする。
ここでは、明瞳孔画像と暗瞳孔画像の差分で得られる瞳孔の光と、双方にある角膜反射像を用いて瞳孔候補位置を絞込むために、明瞳孔画像と暗瞳孔画像の差分で得られる瞳孔候補の周囲に、角膜反射像の探索範囲を設定する。

まず、本処理を行う赤外線カメラ２によるドライバの画像の例を図７に示す。図７(a),(b)の画像から明らかなように、角膜反射像２０１がはっきり見えている。また、撮像されるドライバは眼鏡を着用している。そして、明瞳孔画像１０１と暗瞳孔画像１０２が入力される（ステップＳ２、図８、図９参照）。なお、図８(b),図９(b)から明らかなように、明瞳孔画像１０１と暗瞳孔画像１０２のどちらにも角膜反射像２０１がはっきり見えている。
次に、この明瞳孔画像１０１と暗瞳孔画像１０２の差分画像１０３を生成し（ステップＳ３、図１０参照）、差分画像１０３の二値化を行い二値化画像１０４を生成する（ステップＳ４、図１１参照）。二値化処理は、所定の輝度値によりデータを切り分けるようにして、所定輝度値以上を例えば１（図で白）、それ以外を例えば０（図で黒）とする処理である。

これにより、図１１に示すように、二値化画像１０４には、明瞳孔画像１０１と暗瞳孔画像１０２との差分として得る瞳孔部分、上記説明した角膜反射像２０１、そして、眼鏡のレンズやフレームに反射した部分を主とし、概ね、他の不要部分のない二値化画像が生成される。
この二値化画像１０４において、白くつながっている部分は、一つのラベルが割り当てられ、同じ一つの領域とされる（ステップＳ５）。

そして次に、この各領域のサイズ、アスペクト比（長短比）をチェックし、明らかに瞳孔では無い領域を除去する。これを瞳孔候補領域の抽出とする（ステップＳ６、図１２参照）。
次に、ラベリングし、抽出された候補領域に対して、領域中心の座標を図示するようにし（図１３参照）、この中心に対して、所定の大きさの領域を割り当てる。これは、中心が瞳孔候補領域Ａの中心で、その回りに角膜反射像２０１の探索範囲２０２が設定される。

[角膜反射像候補領域の抽出]
眼鏡を着用している場合にも対応する本実施例１の視線検知における図４のステップＳ１２〜Ｓ１５に対応する角膜反射像候補領域の抽出について説明する。
図１５は明瞳孔画像の例を示す図である。図１６は暗瞳孔画像の例を示す図である。図１７は明瞳孔画像の二値化画像の例を示す図である。図１８は暗瞳孔画像の二値化画像の例を示す図である。図１９は明瞳孔画像の二値化画像から角膜反射像候補領域を抽出した画像の例を示す図である。図２０は暗瞳孔画像の二値化画像から角膜反射像候補領域を抽出した画像の例を示す図である。図２１は図１９と図２０のＡＮＤ画像の例を示す図である。図２２は図２１の角膜反射像候補領域の中心を示す図である。図２３はＡＮＤ画像による角膜反射像候補領域の絞込みの説明図である。

ここでは、明瞳孔画像と暗瞳孔画像の差分で得られる瞳孔の光と、双方にある角膜反射像を用いて瞳孔候補位置を絞込むために、明瞳孔画像と暗瞳孔画像の双方に見える角膜反射像の候補領域を、双方の画像を処理して求める。
まず、図１５、図１６に明瞳孔画像１０１、暗瞳孔画像１０２を示す。なお、図１５,図１６から明らかなように、明瞳孔画像１０１と暗瞳孔画像１０２のどちらにも角膜反射像２０１がはっきり見えている。

次に、明瞳孔画像１０１、暗瞳孔画像１０２をそれぞれ二値化し、二値化画像３０１、３０２を得るようにする（ステップＳ１２、図１７、図１８参照）。
そして、二値化画像３０１、３０２についてラベリングを行い（ステップＳ１３）、各領域のサイズとアスペクト比（長短比）をチェックし、明らかに角膜反射像２０１でない領域を除去する。これを角膜反射像候補領域の抽出とし、抽出画像３０３、３０４を生成したものとする（ステップＳ１４、図１９、図２０参照）。

次に、明瞳孔画像１０１を処理した抽出画像３０３と、暗瞳孔画像１０２を処理した抽出画像３０４とのＡＮＤ画像３０５を生成する。このＡＮＤ画像３０５は、抽出画像３０３と抽出画像３０４の同じ位置の画素において、いずれも１（白）の場合に、ＡＮＤ画像３０５の画素データとして１（白）となるようにした処理である。つまり、角膜反射像２０１は、明瞳孔画像１０１であっても、暗瞳孔画像１０２であっても、写るものであるから、このようにそれぞれを処理して、ＡＮＤ画像３０５を生成すれば、この画像に残るはずである。
そのため、残ったラベリングされた領域は、角膜反射像候補領域２０３となる。

さらに、ＡＮＤ画像３０５について説明する。
図２３に示すように、ＡＮＤ画像３０５では、眼鏡Ｇを装着した状態の明瞳孔画像１０１と暗瞳孔画像１０２のＡＮＤ演算を行うように画像が生成される。
ここで、図１５(a)に示す明瞳孔撮影時では、カメラ光軸と内側赤外線投光器３が同軸に配置しているため、眼鏡のレンズやフレームによる反射は、この配置特有の箇所に生じることになる。そして、１箇所に角膜反射像２０１が生じることになる。

これに対して、図１５(b)に示す暗瞳孔撮影時では、外側赤外線投光器４がカメラ光軸から外れた２箇所に配置しているため、眼鏡Ｇのレンズやフレームによる反射は、明瞳孔撮影時と異なり、この配置特有の箇所に生じることになる。しかし、角膜反射像２０１は、１箇所にしか生じない。これは、眼球のＲ形状が小さいため、左右の投光による角膜反射像２０１が重なるためのである。これに対して、眼鏡Ｇのレンズやフレームでは、Ｒ形状が大きいため、左右の投光による反射状態は、それぞれ異なる位置に生じることになる。

以上の理由により、ＡＮＤ画像３０５では、明瞳孔画像１０１と暗瞳孔画像１０２を重ねてＡＮＤ演算した画像とし、角膜反射像２０１を残すようにし、眼鏡の反射部分を除くことができる。
そして次に、ＡＮＤ画像３０５の角膜反射像候補領域の中心２０４を図示した図を作成する（ステップＳ１５、図２２参照）。

[瞳孔候補領域位置と角膜反射像候補領域位置の比較]
眼鏡を着用している場合にも対応する本実施例１の視線検知における図４のステップＳ８〜Ｓ２１に対応する瞳孔候補領域の抽出について説明する。
図２４は図１４と図２２を重ねた図である。図２５は図２４から瞳孔でない領域を削除した処理を行った状態を示す図である。図２６は各瞳孔候補領域から角膜反射像までのベクトルを計算し示す図である。図２７はベクトルが等しくなる瞳孔候補領域と角膜反射像候補領域の組を選出した状態を示す図である。図２８は認識成功例を示す図である。

明瞳孔画像と暗瞳孔画像の差分で得られる瞳孔の光と、双方にある角膜反射像を用いて瞳孔候補位置を絞り込む。
まず、ステップＳ２〜Ｓ７により得た、瞳孔候補領域Ａに対して角膜反射像探索範囲２０２を設定した図１４と、ステップＳ２〜Ｓ８により得た、角膜反射像候補領域の中心２０４を設定した図２２を重ねた図を作成する（図２４参照）。
そして、図２２において、瞳孔候補領域Ａに対して設定した角膜反射像探索範囲２０２の内に、角膜反射像候補領域の中心２０４が見つからない場合には、該当する瞳孔候補領域Ａに対して設定した角膜反射像探索範囲２０２を、瞳孔候補領域と共に削除する（ステップＳ８、Ｓ９、Ｓ１０、図２５参照）。

このステップＳ８〜Ｓ１０の処理により、残った瞳孔候補領域Ａが無い、もしくは１つしかない場合には、両目部分を良好に検出できていないため、認識ＮＧとする（ステップＳ１０，Ｓ１１）。
もし、残った瞳孔候補領域Ａが３つ以上である場合には、さらに絞りこみを行う。残った瞳孔候補領域Ａには、角膜反射像２０１が見つかっていることになるので、各瞳孔候補領域Ａの中心から、角膜反射像２０１へ至るベクトルを設定し、そのベクトルの距離と向きを計算する（ステップＳ１７、図２６参照）。そして、このベクトルの距離と向きが等しくなる瞳孔候補領域Ａと角膜反射像候補領域（その中心２０４）の組を選出する（ステップＳ１８、図２７参照）。

次に、このようにして、瞳孔候補領域Ａと角膜反射像候補領域（その中心２０４）の組が選出されるか、ステップＳ８〜Ｓ１０の処理により、残った瞳孔候補領域Ａが２つの場合には、瞳孔としての妥当性として、瞳孔間の距離、瞳孔間の角度などをチェックし、妥当であれば、認識ＯＫとして、瞳孔の有無を出力する（ステップＳ１９，Ｓ２０，Ｓ２１、図２１）。実施例１の瞳孔検知装置１では、瞳孔の有無を用いて視線の有無とし、ドライバの運転注意の低下等に注意喚起や警告を与えることなどに寄与する。このように、実施例１の瞳孔検知装置１では、明瞳孔画像１０１と暗瞳孔画像１０２での角膜反射像２０１に対する処理により、眼鏡を装着した被測定者であっても、確実に瞳孔検知を行う。

効果を説明する。
実施例１の瞳孔検知装置１にあっては、下記に列挙する効果を得ることができる。
(1)赤外線カメラ２の光軸と略同じ方向から投光制御装置１２で制御される内側赤外線投光器３によりドライバの瞳孔へ投光を行い撮影する明瞳孔画像１０１と、赤外線カメラ２の光軸と異なる方向から投光制御装置１２で制御される外側赤外線投光器４によりドライバの瞳孔へ投光を行い撮影する暗瞳孔画像１０２から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、明瞳孔画像１０１と暗瞳孔画像１０２との差分画像から、瞳孔候補領域Ａを抽出するステップＳ２〜Ｓ７の瞳孔領域抽出処理と、明瞳孔画像１０１と暗瞳孔画像１０２とのＡＮＤ演算により生成されるＡＮＤ画像３０５から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像２０１を抽出するステップＳ１２〜Ｓ１５の角膜反射像抽出処理と、瞳孔領域抽出処理による瞳孔候補領域Ａと、角膜反射像抽出処理による角膜反射像２０１を比較して、瞳孔候補領域Ａを選定するステップＳ８〜Ｓ１１，Ｓ１６〜Ｓ２１の比較処理を備えたため、眼鏡等を着用した場合でも、確実にドライバの瞳孔位置を検出することができる。

(2)上記(1)において、ステップＳ１２〜Ｓ１５の角膜反射像抽出処理は、暗瞳孔画像１０２の撮影のための投光制御装置１２で制御される外側赤外線投光器４による投光は、赤外線カメラ２の光軸と異なる２箇所の外側赤外線投光器４ａ，４ｂから行い、投光を被測定者の角膜で反射する角膜反射像２０１は撮像した画像の同じ位置に現れるが、眼鏡Ｇによる反射像は、撮像した画像でそれぞれ異なる位置に現れるようにし、暗瞳孔画像１０２の角膜反射像２０１と撮像した画像の同じ位置に角膜反射像２０１が現れる明瞳孔画像１０１と、暗瞳孔画像１０２との両画像で像となる部分のみで構成されるＡＮＤ画像３０５を生成し、眼鏡Ｇによる反射を除去しつつ、角膜反射像２０１を抽出するようにしたため、角膜の小さなＲによって２つの投光による角膜反射像２０１が重なる位置に撮像されるようにし、一方、眼鏡のレンズやフレームの大きなＲでは２つの投光によりそれぞれ別の位置に反射像が撮像されるようにし、この２つのＡＮＤ演算により、眼鏡の反射像を除外し、角膜反射像２０１が残るようにして、眼鏡等を着用した場合でも、確実にドライバの瞳孔位置を検出することができる。

(3)上記(1)又は(2)において、ステップＳ１２〜Ｓ１５の角膜反射像抽出処理は、明瞳孔画像１０１と暗瞳孔画像１０２をそれぞれ二値化した二値化画像３０１，３０２を生成するステップＳ１２の二値化処理と、明瞳孔画像１０１の二値化画像３０１と暗瞳孔画像１０２の二値化画像３０２の画素をそれぞれ複数領域にラベリングしたラベリング画像を生成するステップＳ１３のラベリング処理と、明瞳孔画像１０１のラベリング画像と暗瞳孔画像１０２のラベリング画像で、同じ画像位置の画素の表示、非表示をＡＮＤ演算してＡＮＤ画像３０５を生成し、ＡＮＤ画像３０５に残った領域を角膜反射像２０１とするステップＳＡＮＤ画像処理を備えたため、瞳孔検出のために用いられる明瞳孔画像１０１、暗瞳孔画像１０２を用いて、それぞれを二値化、ラベリングして、角膜反射部分と眼鏡反射部分がそれぞれ抽出されるようにし、角膜の小さなＲによって２つの投光による角膜反射像２０１が重なる位置に撮像されるようにし、一方、眼鏡のレンズやフレームの大きなＲでは２つの投光によりそれぞれ別の位置に反射像が撮像されるようにし、この２つのＡＮＤ演算により、眼鏡の反射像を除外し、角膜反射像２０１が残るようにして、眼鏡等を着用した場合でも、確実にドライバの瞳孔位置を検出することができる。

(4)上記(1)〜(3)のいずれかにおいて、ステップＳ８〜Ｓ１１，Ｓ１６〜Ｓ２１の比較処理は、瞳孔候補領域Ａの内に、角膜反射像２０１が存在するものを瞳孔の候補とし、瞳孔候補領域Ａの中心から角膜反射像２０１へ向かうベクトルが同じ、瞳孔候補領域Ａの組以外を除外し、瞳孔候補領域Ａの間の距離、角度から瞳孔領域を抽出するため、明瞳孔画像と暗動向画像からの瞳孔位置と、それぞれの角膜反射像が左右の眼で同じ位置関係にあることを用いて、候補のさらなる絞込みを行い、設定されるカメラ位置、画像の大きさから得られる両眼の位置関係等からも絞込みを行うことによって、ドライバの瞳孔位置の検出をさらに確実にすることができる。

(5)赤外線カメラ２の光軸と略同じ方向から投光制御装置１２で制御される内側赤外線投光器３によりドライバの瞳孔へ投光を行い撮影する明瞳孔画像１０１と、赤外線カメラ２の光軸と異なる方向から投光制御装置１２で制御される外側赤外線投光器４によりドライバの瞳孔へ投光を行い撮影する暗瞳孔画像１０２から、画像処理装置１１により被測定者の瞳孔の有無の検出を行う瞳孔検知装置１において、画像処理装置１１は、明瞳孔画像１０１と暗瞳孔画像１０２との差分画像から、瞳孔候補領域Ａを抽出するステップＳ２〜Ｓ７の瞳孔領域抽出処理と、明瞳孔画像１０１と暗瞳孔画像１０２とのＡＮＤ演算により生成されるＡＮＤ画像３０５から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像２０１を抽出するステップＳ１２〜Ｓ１５の角膜反射像抽出処理と、瞳孔領域抽出処理による瞳孔候補領域Ａと、角膜反射像抽出処理による角膜反射像２０１を比較して、瞳孔候補領域Ａを選定するステップＳ８〜Ｓ１１，Ｓ１６〜Ｓ２１の比較処理を備えたため、眼鏡等を着用した場合でも、確実にドライバの瞳孔位置を検出することができる。

以上、本発明の瞳孔検知方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
内側赤外線投光器、外側赤外線投光器、赤外線カメラが、投光、撮像する赤外線は、近赤外線であってもよい。
赤外線カメラの設置位置は、異なる位置、例えばインストパネル上部やルームミラー設置位置等であってもよい。

実施例１の瞳孔検知装置のブロック構成を示す図である。 近赤外線カメラの概略構造を示す説明図である。 車両の設置状態を示す説明図である。 瞳孔検知装置の画像処理装置で実行される瞳孔検知処理の流れを示すフローチャートである。 明瞳孔状態と暗瞳孔状態の説明図である。 瞳孔検知の各状態の説明図である。 入力画像の例を示す図である。 明瞳孔画像の例を示す図である。 暗瞳孔画像の例を示す図である。 明瞳孔画像と暗瞳孔画像の差分画像の例を示す図である。 差分画像を二値化した画像の例を示す図である。 二値化した画像から瞳孔候補領域を抽出した画像の例を示す図である。 各瞳孔候補領域の中心座標を図示した画像の例を示す図である。 各瞳孔候補領域に対して角膜反射像探索範囲を設定した例を示す図である。 明瞳孔画像の例を示す図である。 暗瞳孔画像の例を示す図である。 明瞳孔画像の二値化画像の例を示す図である。 暗瞳孔画像の二値化画像の例を示す図である。 明瞳孔画像の二値化画像から角膜反射像候補領域を抽出した画像の例を示す図である。 暗瞳孔画像の二値化画像から角膜反射像候補領域を抽出した画像の例を示す図である。 図１９と図２０のＡＮＤ画像の例を示す図である。 図２１の角膜反射像候補領域の中心を示す図である。 図２３はＡＮＤ画像による角膜反射像候補領域の絞込みの説明図である。 図１４と図２２を重ねた図である。 図２４から瞳孔でない領域を削除した処理を行った状態を示す図である。 各瞳孔候補領域から角膜反射像までのベクトルを計算し示す図である。 ベクトルが等しくなる瞳孔候補領域と角膜反射像候補領域の組を選出した状態を示す図である。 認識成功例を示す図である。

符号の説明

１ 瞳孔検知装置
１１ 画像処理装置
１２ 投光制御装置
２ 赤外線カメラ
３ 内側赤外線投光器
４ 外側赤外線投光器
４ａ 外側赤外線投光器
４ｂ 外側赤外線投光器
５ 認識結果出力
６ シート
７ インストパネル
８ ステアリングコラム
９ ステアリングホイール
１０１ 明瞳孔画像
１０２ 暗瞳孔画像
１０３ 差分画像
１０４ 二値化画像
２０１ 角膜反射像
２０２ 角膜反射像探索範囲
２０３ 角膜反射像候補領域
２０４ （角膜反射像候補領域の）中心
３０１ 二値化画像
３０２ 二値化画像
３０３ 抽出画像
３０４ 抽出画像
３０５ ＡＮＤ画像
Ａ 瞳孔候補領域
Ｇ 眼鏡
ｈ ドライバ

Claims (5)

1. カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、
   前記明瞳孔画像と前記暗瞳孔画像との差分画像から、瞳孔領域を抽出する瞳孔領域抽出処理と、
   前記明瞳孔画像と前記暗瞳孔画像とのＡＮＤ演算により生成されるＡＮＤ画像から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像を抽出する角膜反射像抽出処理と、
   前記瞳孔領域抽出処理による瞳孔領域と、前記角膜反射像抽出処理による角膜反射像を比較して、瞳孔領域を選定する比較処理と、
   を備えたことを特徴とする瞳孔検知方法。
2. 請求項１に記載の瞳孔検知方法において、
   前記角膜反射像抽出処理は、
   前記暗瞳孔画像の撮影のための投光は、カメラ光軸と異なる２箇所から行い、投光を被測定者の角膜で反射する角膜反射像は撮像した画像の同じ位置に現れるが、外乱による他の反射像は、撮像した画像でそれぞれ異なる位置に現れるようにし、
   前記暗瞳孔画像の角膜反射像と撮像した画像の同じ位置に角膜反射像が現れる前記明瞳孔画像と、前記暗瞳孔画像との両画像で像となる部分のみで構成される前記ＡＮＤ画像を生成し、外乱による反射を除去しつつ、角膜反射像を抽出するようにした、
   ことを特徴とする瞳孔検知方法。
3. 請求項１又は請求項２に記載の瞳孔検知方法において、
   前記角膜反射像抽出処理は、
   前記明瞳孔画像と前記暗瞳孔画像をそれぞれ二値化した二値化画像を生成する二値化処理と、
   明瞳孔画像の二値化画像と暗瞳孔画像の二値化画像の画素をそれぞれ複数領域にラベリングしたラベリング画像を生成するラベリング処理と、
   明瞳孔画像のラベリング画像と暗瞳孔画像のラベリング画像で、同じ画像位置の画素の表示、非表示をＡＮＤ演算してＡＮＤ画像を生成し、ＡＮＤ画像に残った領域を角膜反射像とするＡＮＤ画像処理と、
   を備えた、
   ことを特徴とする瞳孔検知方法。
4. 請求項１〜請求項３のいずれか１項に記載の瞳孔検知方法において、
   前記比較処理は、
   前記瞳孔領域内に、前記角膜反射像が存在するものを瞳孔の候補とし、
   前記瞳孔領域の中心から前記角膜反射像へ向かうベクトルが同じ、前記瞳孔領域の組以外を除外し、
   瞳孔領域間の距離、角度から瞳孔領域を抽出する、
   ことを特徴とする瞳孔検知方法。
5. カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知装置において、
   前記明瞳孔画像と前記暗瞳孔画像との差分画像から、瞳孔領域を抽出する瞳孔領域抽出手段と、
   前記明瞳孔画像と前記暗瞳孔画像とのＡＮＤ演算により生成されるＡＮＤ画像から、撮像時の投光を被測定者の角膜で反射した像である角膜反射像を抽出する角膜反射像抽出手段と、
   前記瞳孔領域抽出手段による瞳孔領域と、前記角膜反射像抽出手段による角膜反射像を比較して、瞳孔領域を選定する比較手段と、
   を備えたことを特徴とする瞳孔検知装置。