JP2009254691A - 瞳孔検知方法及び装置 - Google Patents

Abstract

【課題】ノイズを除去して瞳孔検出を確実に行うことができ、これによりカメラ設置位置が制限されないようにできる瞳孔検知方法及び装置を提供すること。
【解決手段】明瞳孔画像と、暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、明瞳孔画像と暗瞳孔画像との差分画像である差画像に対して、明瞳孔画像と暗瞳孔画像のそれぞれに画像乗算部１１６，１１８により乗算を行って、２値化処理部１１７，１１９によりノイズを除去する。
【選択図】図４

Description

本発明は、画像処理によって瞳孔位置を検知する瞳孔検知方法及び装置の技術分野に属する。

従来においては、明瞳孔を撮像した画像と、暗瞳孔を撮像した画像とにおける鼻孔の位置のずれ量を検出し、このずれ量分の位置ずれを補正し、補正後の明瞳孔画像と暗瞳孔画像から瞳孔検出を行っている（例えば、特許文献１参照。）。
特開２００７−２６８０２６号公報（第２−１０頁、全図）

しかしながら、従来にあっては、鼻孔の検出による補正を行うために、撮像画像に鼻孔が写るよう顔を見上げる位置にカメラを設置しなければならないものであった。乗用車等の一般的な車両において顔を見上げる位置にカメラを設置することは、ステアリングコラムやメータ周辺に設置することになるが、ステアリング操作中にステアリングやドライバの腕によってカメラ撮影を遮ってしまうという問題があった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、ノイズを除去して瞳孔検出を確実に行うことができ、これによりカメラ設置位置が制限されないようにできる瞳孔検知方法及び装置を提供することにある。

上記目的を達成するため、本発明では、カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、前記明瞳孔画像と前記暗瞳孔画像との差分画像に対して、前記明瞳孔画像と前記暗瞳孔画像のそれぞれに乗算を行って、ノイズを除去することを特徴とする。

よって、本発明にあっては、ノイズを除去して瞳孔検出を確実に行うことができ、これによりカメラ設置位置が制限されないようにできる。

以下、本発明の瞳孔検知方法及び装置を実現する実施の形態を、請求項１，２，３，４，５に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の瞳孔検知装置のブロック構成を示す図である。
実施例１の瞳孔検知装置１は、画像処理部１１と投光制御部１２を備え、赤外線カメラ２、内側赤外線投光器３、外側赤外線投光器４が接続され、認識結果出力５を出力する。

画像処理部１１は、明瞳孔画像と暗瞳孔画像から瞳孔を検出する画像処理、眼鏡がある場合の視線検知の画像処理を行う。
投光制御部１２は、明瞳孔画像と暗瞳孔画像を撮像するための内側赤外線投光器３、外側赤外線投光器４及び、撮像を行う赤外線カメラ２の制御を行う。詳細は後述する。

次に、赤外線投光器を用いているカメラの概略構造について説明する。
図２は、近赤外線カメラの概略構造を示す説明図である。
実施例１で用いられる瞳孔検出カメラの一式は、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４を組み合わせたカメラである。
赤外線カメラ２は、可視光カット効果を備えた赤外線カットフィルタを備えたカメラ部分の周囲を囲むように、近赤外線を発光するLEDを複数配置する。これにより、内側赤外線投光器３を形成する。内側赤外線投光器３は、赤外線カメラ２と同軸での投光を行う。つまり、明瞳孔画像を撮像するための光源となる。

次に、赤外線カメラ２と離れた位置に別体として、２つの光源を設ける。この光源にはそれぞれ複数LEDを配置して、外側赤外線投光器４ａ，４ｂを構成する。この外側赤外線投光器４（４ａ，４ｂ）は、赤外線カメラ２と離れた別の光軸での投光を行う。つまり、暗瞳孔画像を撮像するための光源となる。
なお、赤外線カメラ２の出力映像は、NTSC方式によるものとし、これを受ける瞳孔検知装置１により、画像を処理して視線検出を行う。

次に、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４の車両設置状態を説明する。
図３は車両の設置状態を示す説明図である。
シート６は、ドライバｈが着座するものであり、位置が操作で調整される。
そして、インストパネル７のドライバｈの側で、ステアリングコラム８で支持されるステアリングホイール９の位置もドライバｈの操作で位置が調整される。
赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４は、このステアリングコラム８の上部に取り付けるようにし、ステアリングホイール９の内側の空間を通してドライバｈの顔、特に目近傍への投光、目近傍の画像の撮像を常時行う（図３(a)参照）。
または、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４は、図３(b)に示すように、インストパネル７の上部に取り付けるようにし、ステアリングホイール９を介さずに、ドライバｈの顔、特に目近傍への投光、目近傍の画像の撮像を常時行うようにしてもよい。
または、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４は、図３(c)に示すように、ルームミラー設置位置に取り付けるようにし、上方からドライバｈの顔、特に目近傍への投光、目近傍の画像の撮像を常時行うようにしてもよい。このように、実施例１では、赤外線カメラ２と、内側赤外線投光器３、外側赤外線投光器４の設置位置に制限がない。

図４は実施例１の画像処理部１１のブロック構成を示す図である。
画像処理部１１は、入力画像取得部１１１、明瞳孔画像作成部１１２、暗瞳孔画像作成部１１３、差画像作成部１１４、２値化処理部１１５、画像乗算部１１６、２値化処理部１１７、画像乗算部１１８、２値化処理部１１９、ＡＮＤ画像作成部１２０、瞳孔検出処理部１２１を備えている。
入力画像取得部１１１は、赤外線カメラ２からの情報信号を取り込んで、明瞳孔画像の画像情報は明瞳孔画像作成部１１２へ出力し、暗瞳孔画像の画像情報は暗瞳孔画像作成部１１３へ出力する処理を行う。

明瞳孔画像作成部１１２は、内側赤外線投光器３の投光タイミングで撮像した画像から明瞳孔画像１０１を作成し、差画像作成部１１４へ出力する。
暗瞳孔画像作成部１１３は、外側赤外線投光器４の投光タイミングで撮像した画像から暗瞳孔画像１０２を作成し、差画像作成部１１４へ出力する。
差画像作成部１１４は、明瞳孔画像１０１と暗瞳孔画像１０２の差分を画像にするようにして、差画像１０３を作成し、２値化処理部１１５へ出力する。
具体的には、差分が大きくなることを輝度が大きくなることにする。

２値化処理部１１５は、差画像１０３の輝度値を所定値で切り分けるようにして、２値化を行い、２値化差画像１０４を生成し、画像乗算部１１６，１１７へ出力する。
画像乗算部１１６は、２値化差画像１０４と明瞳孔画像１０１を乗算した結果を画像にして、乗算画像１０５を作成し、２値化処理部１１７へ出力する。
具体的には、２値化画像と多値画像との乗算なので、２値化画像による多値画像のマスクが行われることになる。
２値化処理部１１７は、残った画像を２値化して、暗いピクセルを除去し、２値化乗算画像１０６を作成し、ＡＮＤ画像作成部１２０へ出力する。

画像乗算部１１８は、２値化差画像１０４と暗瞳孔画像１０２を乗算した結果を画像にして、乗算画像１０７を作成し、２値化処理部１１９へ出力する。
２値化画像と多値画像との乗算なので、２値化画像による多値画像のマスクが行われることになる。
２値化処理部１１９は、残った画像を２値化して、明るいピクセルを除去し、２値化乗算画像１０８を作成し、ＡＮＤ画像作成部１２０へ出力する。
ＡＮＤ画像作成部１２０は、２つの２値化乗算画像１０６，１０８のＡＮＤ演算を行うようにして、ＡＮＤ画像１０９を作成し、瞳孔検出処理部１２１へ出力する。

瞳孔検出処理部１２１は、ＡＮＤ画像１０９から瞳孔の候補の抽出、瞳孔位置の判断の処理を、アスペクト比、サイズ、外接矩形面積比等から行い、瞳孔位置の判定を行い、瞳孔位置情報を認識結果として出力する。

作用を説明する。
[頭部に動きがあっても瞳孔検知を確実にする画像を作成する作用]
図５は明瞳孔状態と暗瞳孔状態の説明図である。図６は瞳孔検知の各状態の説明図である。図７は明瞳孔画像の例を示す図である。図８は暗瞳孔画像の例を示す図である。図９は差画像の例を示す図である。図１０は２値化差画像の例を示す図である。図１１は明瞳孔画像と２値化差画像の乗算画像の例を示す図である。図１２は暗瞳孔画像と２値化差画像の乗算画像の例を示す図である。図１３は乗算画像をさらに２値化した２値化乗算画像の例を示す図である。図１４は乗算画像をさらに２値化した２値化乗算画像の例を示す図である。図１５は図１３と図１４のＡＮＤ画像の例を示す図である。図１６はＡＮＤ画像から領域形状と位置関係から瞳孔を検出した状態を示す説明図である。図１７は検出結果を暗瞳孔画像上に表示した状態を示す説明図である。

実施例１のドライバの視線検出では、明瞳孔状態と暗瞳孔状態の画像を用いて、視線検出を行う。
明瞳孔状態（明瞳孔現象）は、赤外線カメラ２の光軸の近くに光源として、内側赤外線投光器３を配置することにより、撮像される瞳孔（角膜）が光って見える状態である（図５(a)参照）。これは可視光カメラ撮影時のいわゆる赤目現象と同様の発生原理である。このようにして撮像した画像を明瞳孔画像生成部１１２で画像化する処理を行って、明瞳孔画像１０１とする（図７参照）。

これに対し、暗瞳孔状態（暗瞳孔現象）は、赤外線カメラ２の光軸から離れた位置に光源として、外側赤外線投光器４ａ，４ｂを配置する。これにより撮像される瞳孔（角膜）は暗く写って見える状態となる（図５(b)参照）。このようにして撮像した画像を暗瞳孔画像作成部１１３で画像化する処理を行って、暗瞳孔画像１０２とする（図８参照）。

そして、差画像作成部１１４は、明瞳孔画像１０１と暗瞳孔画像１０２からそのデータの差、つまり、瞳孔が光っている画像と瞳孔が暗い画像のように変化分（差分）を抽出した差画像１０３を生成する（図９参照）。
そして、個の差画像１０３を所定のしきい値で２値化処理して２値化差画像１０４を生成する（図１０参照）。
基本的には、この２値化差画像１０４において、明瞳孔画像１０１と暗瞳孔画像１０２の差が、２つの画像の主な差であるので、瞳孔の候補が検出されることになる。

実施例１では、さらに頭部の動きによるノイズを除去するために、さらに処理を行う。
次に、画像乗算部１１６により、２値化差画像１０４と明瞳孔画像１０１とを乗算し、乗算画像１０５を作成する（図１１参照）。そして、２値化処理部１１７で、図１１の暗い部分を除去して２値化を行い、２値化乗算画像１０６を作成する（図１３参照）。
２値化差画像１０４と明瞳孔画像１０１を乗算することは、２値化画像１０４にて瞳孔候補とされた領域を明瞳孔画像１０１から抜き出すことになる。２値化画像は０と１で構成されているため、乗算すると１のところはそのまま残り、０のところは黒になる。つまり「抜き出し」になる。言い換えると、明瞳孔画像を２値化画像でマスクしている事になる。この乗算化した画像において暗くなった領域は、瞳孔ではない可能性が高くなる。そのため、暗くなった部分をノイズと判定し除去する。これによって、頭部に動きがあったことに起因して生じ、明瞳孔と暗瞳孔の関係にないノイズ領域を除去することができる。

また、画像乗算部１１８により、２値化差画像１０４と暗瞳孔画像１０２とを乗算し、乗算画像１０７を作成する（図１２参照）。そして、２値化処理部１１９で、図１２の明るい部分を除去して２値化を行い、２値化乗算画像１０８を作成する（図１４参照）。
２値化差画像１０４と暗瞳孔画像１０２を乗算することは、２値化画像１０４にて瞳孔候補とされた領域を暗瞳孔画像１０２から抜き出すことになる。２値化画像は０と１で構成されているため、乗算すると１のところはそのまま残り、０のところは黒になる。つまり「抜き出し」になる。言い換えると、暗瞳孔画像を２値化画像でマスクしている事になる。この乗算化した画像において明るくなった領域は、瞳孔ではない可能性が高くなる。そのため、明るくなった部分をノイズと判定し除去する。これによって、頭部に動きがあったことに起因して生じ、明瞳孔と暗瞳孔の関係にないノイズ領域を除去することができる。

言い換えて説明すると、差画像作成部１１４により作成された差画像１０３は、明瞳孔画像１０１の明るさ／暗瞳孔画像１０２の明るさが明／暗となって抽出される。この際に、一緒に瞳孔と同じ明／暗と、瞳孔と逆の暗／明も抽出される。本実施例１では、この明瞳孔画像１０１での暗と暗瞳孔画像１０２での明を除くことによりノイズ領域の除去性能を向上させることにより、頭が動く場合の瞳孔検出をより確実に可能にしている。
なお、この画像乗算部１１８及び２値化処理部１１９の処理は、画像乗算部１１６及び２値化処理部１１７の処理と独立しているため、並列処理が可能であり、処理の時間が延びることを抑制する。

次に、ＡＮＤ画像作成部１２０により、２値化乗算画像１０６，１０８のＡＮＤ演算を行うようにすれば、頭部の動きによるノイズが除去された明瞳孔と暗瞳孔の差分画像であるＡＮＤ画像１０９となる（図１５参照）。そのため、図１５(b)に示すように、瞳孔の検出が確実になる。そして、このＡＮＤ画像１０９から、領域形状と位置関係から瞳孔を抽出する。図１６には、候補を表示したＡＮＤ画像１１０を示す。さらに例として、図１７に検出結果を表示した暗瞳孔画像１０２ｂを示す。

さらに説明する。
図７〜図１５には、それぞれ左眼周辺の拡大図を示している。この拡大部分において、明瞳孔画像１０１ａと暗瞳孔画像１０２ａの差画像１０３ａを２値化したものは、２値化差画像１０４ａのように、瞳孔部分と瞳孔以外のノイズ領域の存在するものとなっている。例えば、図１０の２値化差画像１０４ａには、大きくは、５つの領域がある。これに対して、明瞳孔画像１０１ａを乗算した乗算画像１０５ａ、そして暗い部分の除去を行い２値化した２値化乗算画像１０６ａでは、ノイズ領域が減少しているものの、瞳孔の候補となる領域の数は同じとなっている。

これに対して、暗瞳孔画像１０１ａを乗算した乗算画像１０７ａ、そして明るい部分の除去を行い２値化した２値化乗算画像１０８ａでは、ノイズ領域が減少し、瞳孔の候補となる数は２つと減っている。そのため、この２つの２値化乗算画像１０６ａ，１０８ａのＡＮＤ画像１０９ａでは、ノイズ領域が減少し、瞳孔の候補となる数は２つと減っているため、その後の瞳孔の抽出が効率的で確実になる。

[瞳孔抽出処理]
図１８に示すのは、視線検知装置の画像処理部の瞳孔検出処理部で実行される瞳孔抽出処理の流れを示すフローチャートで、以下各ステップについて説明する。

ステップＳ１では、ＡＮＤ画像１０９を入力する。

ステップＳ２では、瞳孔候補抽出処理の第１の処理としてアスペクト比による判定を行う。

ステップＳ３では、瞳孔候補抽出処理の第２の処理としてサイズによる判定を行う。

ステップＳ４では、瞳孔候補抽出処理の第３の処理として外接矩形面積比による判定を行う。

ステップＳ５では、瞳孔組抽出処理の第１の処理として一つ目瞳孔選択処理を行う。

ステップＳ６では、瞳孔組抽出処理の第２の処理の中の第１処理として瞳孔間隔による判定を行う。

ステップＳ７では、瞳孔組抽出処理の第２の処理の中の第２処理として瞳孔角度による判定を行う。

ステップＳ８では、瞳孔組抽出処理の第２の処理の中の第２処理として両瞳孔のサイズ差による判定を行う。

[頭部に動きがあっても瞳孔を確実抽出する作用]
次に、実施例１では、瞳孔検出処理部１２１によって、瞳孔候補の抽出（ステップＳ２〜Ｓ４）、瞳孔組の抽出（ステップＳ５〜Ｓ８）を行い、瞳孔位置を検出する。
図１９は、アスペクト比による領域の判定状態を示す説明図である。図２０は、外接矩形面積比による判定状態を示す説明図である。図２１は瞳孔間隔による判定状態を示す説明図である。図２２は瞳孔角度による判定状態を示す説明図である。図２３は両瞳孔のサイズ差による判定状態を示す説明図である。

まず、瞳孔検出処理部１２１の瞳孔候補抽出処理について説明する。
この処理では、あらかじめ計算した領域の高さ、幅、面積から瞳孔の形状に近いものを抽出する処理を行うものであり、判定内容は、第１にアスペクト比（ステップＳ２）、第２にサイズ（ステップＳ３）、第３に外接矩形面積比（ステップＳ４）について行う。
第１にアスペクト比については、ＡＮＤ画像１０９に残った領域に対して、アスペクト比（高さ／幅）が０．５〜２．０の範囲をＯＫとする。
この値は、検出する顔向き範囲によって変更する。

顔が大きく左右に向く場合は、瞳孔が縦長に撮影されるので、それを許容する値にし、顔が大きく上下に向く場合は、瞳孔が横長に撮影されるので、それを許容する値にする（図１９参照）。

第２にサイズについては、領域の高さ・幅がそれぞれ、３〜３０ピクセル(pixel)以内をＯＫとする。なお、赤外線カメラ２の画角、撮影距離、画像解像度、瞳孔サイズから計算した撮影画像中の瞳孔サイズをもとに予め設定しておく。
撮影環境が明るいと瞳孔が収縮するため、かなり小さい領域でもＯＫ判定とする。

第３に外接矩形面積比については、この値が０．６以下の場合は領域が楕円形状以外のいびつな形状をしているとみなしＮＧ判定にする（図２０参照）。

次に、瞳孔検出処理部１２１の瞳孔組抽出処理について説明する。
さらに実施例１では、瞳孔候補抽出処理で抽出した候補領域の中から最も瞳孔らしい２個の瞳孔（両目）を選別する。
この瞳孔組抽出処理は、一つ目瞳孔選択処理（ステップＳ５）と、二つ目瞳孔選択処理（ステップＳ６〜Ｓ８）の２つの処理からなる。
まず、一つ目瞳孔選択処理では、瞳孔候補領域の明るさを元に一つ目の瞳孔を選択する。具体的には、瞳孔候補領域の中から１番明るい領域、つまり差画像中の明るさにより、一つ目の瞳孔として確定する。明るさは領域内の平均輝度とする。

次に、二つ目瞳孔選択処理では、一つ目の瞳孔候補とその他の領域との位置関係をチェックして、二つ目の瞳孔を選択する。
この判定内容は、瞳孔間隔（ステップＳ６）、瞳孔角度（ステップＳ７）、両瞳孔のサイズ差（ステップＳ８）から行う。
まず第１に瞳孔間隔では、両瞳孔が離れすぎるもの、近すぎるものはＮＧ判定とする（図２１参照）。
第２に、瞳孔角度では、両瞳孔と水平線との成す角度が大きすぎるとＮＧ判定とする（図２２参照）。
第３に、両瞳孔のサイズ差では、両瞳孔の大きさ（面積）が極端に違うものはＮＧ判定とし、この判定後にも二つ目瞳孔候補が２箇所以上ある場合は、その中でもっとも明るい瞳孔候補を二つ目瞳孔として選択する（図２３参照）。

効果を説明する。
実施例１の瞳孔検知装置１にあっては、下記に列挙する効果を得ることができる。
(1)赤外線カメラ２の光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像１０１と、赤外線カメラ２の光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像１０２から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、明瞳孔画像１０１と暗瞳孔画像１０２との差分画像である差画像１０３に対して、明瞳孔画像１０１と暗瞳孔画像１０２のそれぞれに画像乗算部１１６，１１８により乗算を行って、２値化処理部１１７，１１９によりノイズを除去するため、頭部が速い速度で移動しても、ノイズを除去して瞳孔検出を確実に行うことができる。これによりカメラ設置位置が制限されないようにできる。

(2)上記(1)において、明瞳孔画像１０１と暗瞳孔画像１０２との差分の大きさが表現された差画像１０３を作成する差画像作成部１１４による処理と、差画像１０３と明瞳孔画像１０１との乗算結果を表現する乗算画像１０５を作成する画像乗算部１１６による処理と、乗算画像１０５の暗い側の領域をノイズとして除去し、２値化を行う２値化処理部１１７による処理と、差画像１０３と暗瞳孔画像１０２との乗算結果を表現する乗算画像１０７を生成する画像乗算部１１８による処理と、暗乗算画像１０７の明るい側の領域をノイズとして除去し、２値化を行う２値化処理部１１９による処理と、２値化処理部１１７で処理した２値化乗算画像１０６と２値化処理部１１９で処理した２値化乗算画像１０８とのＡＮＤ演算結果を表現するＡＮＤ画像１０９を作成するＡＮＤ画像作成部１２０による処理を備えたため、明瞳孔画像１０１と暗瞳孔画像１０２の差画像にさらに明瞳孔画像１０１と暗瞳孔画像１０２をそれぞれ乗算することにより、差画像に残った画像領域の内、瞳孔ではないノイズ領域を選別して削除でき、これにより頭部が速い速度で移動しても、ノイズを除去して瞳孔検出を確実に行うことができる。
特に、頭の動きなどによって、暗を基にした明との差分としてでなく、明を基にした暗との差分がノイズとして差画像１０３に出てしまっている場合に、この明を基にした暗との差分のノイズ分を除去することができ、瞳孔検出がより確実にできる。

(3)上記(2)において、ＡＮＤ画像１０９内の画像領域に対して、予め設定した条件による判定により瞳孔の形状に近いものを抽出するステップＳ２〜Ｓ４の瞳孔候補抽出処理を備えたため、予め瞳孔の高さ、幅、面積について、条件を決めておき、この条件に合うものを瞳孔の候補とすることによって、より効率的で且つ確実に瞳孔候補の抽出を行うことができ、瞳孔検出がより確実にできる。

(4)上記(3)において、瞳孔候補抽出処理が抽出した瞳孔候補に対して、両目に対応する２個の瞳孔を選別するステップＳ５〜Ｓ８の瞳孔組抽出処理を備えたため、両目の瞳孔を組として、間隔や角度、サイズ差により瞳孔候補から瞳孔を効率的で且つ確実に選別することができ、瞳孔検出がより確実にできる。

(5)明瞳孔画像１０１と暗瞳孔画像１０２との差分の大きさが表現された差画像１０３を作成する差画像作成部１１４と、差画像１０３と明瞳孔画像１０１との乗算結果を表現する乗算画像１０５を作成する画像乗算部１１６と、乗算画像１０５の暗い側の領域をノイズとして除去し、２値化を行う２値化処理部１１７と、差画像１０３と暗瞳孔画像１０２との乗算結果を表現する乗算画像１０７を生成する画像乗算部１１８と、暗乗算画像１０７の明るい側の領域をノイズとして除去し、２値化を行う２値化処理部１１９と、２値化処理部１１７で処理した２値化乗算画像１０６と２値化処理部１１９で処理した２値化乗算画像１０８とのＡＮＤ演算結果を表現するＡＮＤ画像１０９を作成するＡＮＤ画像作成部１２０を備えたため、明瞳孔画像１０１と暗瞳孔画像１０２の差画像にさらに明瞳孔画像１０１と暗瞳孔画像１０２をそれぞれ乗算することにより、差画像に残った画像領域の内、瞳孔ではないノイズ領域を選別して削除でき、これにより頭部が速い速度で移動しても、ノイズを除去して瞳孔検出を確実に行うことができる。
特に、頭の動きなどによって、暗を基にした明との差分としてでなく、明を基にした暗との差分がノイズとして差画像１０３に出てしまっている場合に、この明を基にした暗との差分のノイズ分を除去することができ、瞳孔検出がより確実にできる。

以上、本発明の瞳孔検知方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
内側赤外線投光器、外側赤外線投光器、赤外線カメラが、投光、撮像する赤外線は、近赤外線であってもよい。

実施例１の瞳孔検知装置のブロック構成を示す図である。 近赤外線カメラの概略構造を示す説明図である。 車両の設置状態を示す説明図である。 実施例１の画像処理部１１のブロック構成を示す図である。 明瞳孔状態と暗瞳孔状態の説明図である。 瞳孔検知の各状態の説明図である。 明瞳孔画像の例を示す図である。 暗瞳孔画像の例を示す図である。 差画像の例を示す図である。 ２値化差画像の例を示す図である。 明瞳孔画像と２値化差画像の乗算画像の例を示す図である。 暗瞳孔画像と２値化差画像の乗算画像の例を示す図である。 乗算画像をさらに２値化した２値化乗算画像の例を示す図である。 乗算画像をさらに２値化した２値化乗算画像の例を示す図である。 図１３と図１４のＡＮＤ画像の例を示す図である。 ＡＮＤ画像から領域形状と位置関係から瞳孔を検出した状態を示す説明図である。 検出結果を暗瞳孔画像上に表示した状態を示す説明図である。 視線検知装置の画像処理部の瞳孔検出処理部で実行される瞳孔抽出処理の流れを示すフローチャートである。 アスペクト比による領域の判定状態を示す説明図である。 外接矩形面積比による判定状態を示す説明図である。 瞳孔間隔による判定状態を示す説明図である。 瞳孔角度による判定状態を示す説明図である。 両瞳孔のサイズ差による判定状態を示す説明図である。

符号の説明

１ 瞳孔検知装置
２ 赤外線カメラ
３ 内側赤外線投光器
４ 外側赤外線投光器
４ａ，４ｂ 外側赤外線投光器
５ 認識結果出力
６ シート
７ インストパネル
８ ステアリングコラム
９ ステアリングホイール
１１ 画像処理部
１１１ 入力画像取得部
１１２ 明瞳孔画像作成部
１１２ 明瞳孔画像生成部
１１３ 暗瞳孔画像作成部
１１４ 差画像作成部
１１５ ２値化処理部
１１６ 画像乗算部
１１７ ２値化処理部
１１８ 画像乗算部
１１９ ２値化処理部
１２０ 画像作成部
１２１ 瞳孔検出処理部
１２ 投光制御部
１０１ 明瞳孔画像
１０１ａ （明瞳孔画像の左眼周辺の）一部拡大図
１０２ 暗瞳孔画像
１０２ａ （暗瞳孔画像の左眼周辺の）一部拡大図
１０３ 差画像
１０３ａ （差画像の左眼周辺の）一部拡大図
１０４ ２値化差画像
１０４ａ （２値化差画像の左眼周辺の）一部拡大図
１０５ 乗算画像
１０５ａ （乗算画像の左眼周辺の）一部拡大図
１０６ ２値化乗算画像
１０１ａ （２値化乗算画像の左眼周辺の）一部拡大図
１０７ 乗算画像
１０１ａ （乗算画像の左眼周辺の）一部拡大図
１０８ ２値化乗算画像
１０１ａ （２値化乗算画像の左眼周辺の）一部拡大図
１０９ ＡＮＤ画像
１０１ａ （ＡＮＤ画像の左眼周辺の）一部拡大図
１１０ （瞳孔が検出された）ＡＮＤ画像
１０２ｂ （検出結果が表示された）暗瞳孔画像
ｈ ドライバ

Claims (5)

1. カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知方法において、
   前記明瞳孔画像と前記暗瞳孔画像との差分画像に対して、前記明瞳孔画像と前記暗瞳孔画像のそれぞれに乗算を行って、ノイズを除去することを特徴とする瞳孔検知方法。
2. 請求項１に記載の瞳孔検知方法において、
   前記明瞳孔画像と前記暗瞳孔画像との差分の大きさが表現された差分画像を作成する差分画像作成処理と、
   前記差分画像と前記明瞳孔画像との乗算結果を表現する明乗算画像を作成する乗算明画像生成処理と、
   前記明乗算画像の暗い側の領域をノイズとして除去し、２値化を行う明２値化処理と、
   前記差分画像と前記暗瞳孔画像との乗算結果を表現する暗乗算画像を生成する乗算暗画像生成処理と、
   前記暗乗算画像の明るい側の領域をノイズとして除去し、２値化を行う暗２値化処理と、
   明２値化処理処理で処理した画像と暗２値化処理処理で処理した画像とのＡＮＤ演算結果を表現するＡＮＤ画像を作成するＡＮＤ演算処理と、
   を備えたことを特徴とする瞳孔検知方法。
3. 請求項２に記載の瞳孔検知方法において、
   前記ＡＮＤ画像内の画像領域に対して、予め設定した条件による判定により瞳孔の形状に近いものを抽出する瞳孔候補抽出処理を備えた、
   ことを特徴とする瞳孔検知方法。
4. 請求項３に記載の瞳孔検知方法において、
   前記瞳孔候補抽出処理が抽出した瞳孔候補に対して、両目に対応する２個の瞳孔を選別する瞳孔組抽出処理を備えた、
   ことを特徴とする瞳孔検知方法。
5. カメラ光軸と略同じ方向からドライバの瞳孔へ投光を行い撮影する明瞳孔画像と、カメラ光軸と異なる方向からドライバの瞳孔へ投光を行い撮影する暗瞳孔画像から、被測定者の瞳孔の有無の検出を行う瞳孔検知装置において、
   前記明瞳孔画像と前記暗瞳孔画像との差分の大きさが表現された差分画像を作成する差分画像作成手段と、
   前記差分画像と前記明瞳孔画像との乗算結果を表現する明乗算画像を作成する乗算明画像生成手段と、
   前記明乗算画像の暗い側の領域をノイズとして除去し、２値化を行う明２値化処理手段と、
   前記差分画像と前記暗瞳孔画像との乗算結果を表現する暗乗算画像を生成する乗算暗画像生成手段と、
   前記暗乗算画像の明るい側の領域をノイズとして除去し、２値化を行う暗２値化処理手段と、
   明２値化処理手段で処理した画像と暗２値化処理手段で処理した画像とのＡＮＤ演算結果を表現するＡＮＤ画像を作成するＡＮＤ演算手段と、
   を備えたことを特徴とする瞳孔検知装置。