JP2005304809A

JP2005304809A - 照明装置付き目画像撮像装置

Info

Publication number: JP2005304809A
Application number: JP2004126438A
Authority: JP
Inventors: Masaru Ikoma; 賢生駒; Tomoyoshi Nakaigawa; 知由中井川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-04-22
Filing date: 2004-04-22
Publication date: 2005-11-04
Also published as: CN1691053A; US20050248725A1; EP1588663A1

Abstract

【課題】できる限り正面から被認証者の目を照明して品質の高い目画像を撮像する。
【解決手段】被認証者１５の目画像を撮像する撮像手段と、被認証者１５の目を照明する照明装置であって前記撮像手段の光軸に対する距離が異なる複数の照明装置７、８、９、１０と、前記複数の照明装置７、８、９、１０を前記光軸に近い側から順に点灯して各点灯時に前記撮像手段で得られた画像を解析し照明光の反射光が目画像に重ならない照明装置により照明した被認証者１５の目の画像を取得する制御手段とを備える。この構成により、可能な限り被認証者の正面から照明した品質の高い目画像を得ることができる。
【選択図】図５

Description

本発明は網膜や虹彩の紋様により個人認証を行う認証装置等で用いる目画像撮像装置に関し、特に、照明装置で被写体である目を照明する機能を備えた照明装置付き目画像撮像装置に関する。

例えば、入室の許可不許可を判定するために入口に設けられた虹彩認証装置では、入室希望者である被認証者の目の画像を目画像撮像装置で撮像し、虹彩画像部分を切り出して特徴量を抽出する。そして、入室許可を受けている登録者の虹彩画像から抽出されデータベースに登録されている特徴量と比較照合することで、被認証者が登録者であるか否かを判定する。

この様な比較照合で用いる特徴量を虹彩画像から抽出する場合、被認証者から取得する目の画像が良好でないと、精度の高い認証処理ができなくなってしまう。このため、目画像撮像装置には照明装置が付属し、撮像対象である目を照明する様になっている。虹彩画像の場合には、赤外光で照明することで鮮明な画像が撮像できるため、赤外線の照明装置が付属する。

照明装置で被認証者の虹彩を照明し、目画像撮像装置で目の画像を撮像するとき、照明光の眼球による反射光が撮像装置に入ると、虹彩画像に照明装置の画像が映り込んでしまい、虹彩認証に用いる虹彩画像としては不適切になってしまう。特に、被認証者が眼鏡を掛けていると、照明装置の画像が虹彩画像に重なる率が高くなり、問題となる。

このため従来から、下記特許文献１に記載されている様に、撮像した虹彩画像中に照明光の反射部分が存在するか否かを、虹彩画像中の高輝度領域の面積によって検出する様にしている。また、照明光が眼鏡に反射してもその反射光が撮像装置に入らないように、目に対して照明光を大きく斜めに照射して、反射光が撮像装置に入らないようにしている。

特開２００１―１６７２８４号公報

しかしながら、照明光を大きく斜めに照射する構成にすると、目画像撮像装置の光軸に対して照明装置の配置位置を離す必要が生じ、目画像撮像装置の全体の横幅を大きくしなければならないという問題があり、目画像撮像装置を小型化することができなくなってしまう。また、虹彩画像は、照明光が正面から照射されるほど良好な画像が撮像でき、照明光が斜めになるほど、虹彩に明暗部ができて画像品質が劣化するという問題もある。

本発明の目的は、装置の小型化と共に品質の高い目画像を撮像することができる照明装置付き目画像撮像装置を提供することにある。

本発明の照明装置付き目画像撮像装置は、前記撮像手段の光軸に対する距離が異なるように配置され前記被認証者の目を照明する複数の照明装置と、前記複数の照明装置を前記光軸に近い側から順に点灯して各点灯時に前記撮像手段で得られた画像を解析し照明光の反射光が前記目画像に重ならない照明装置により照明した前記被認証者の目の画像を取得するように制御する制御手段とを備えることを特徴とする。

この構成により、被認証者に対して可能な限り正面から照明した目画像を撮像できるため、品質の高い画像を取得可能となる。

本発明の照明装置付き目画像撮像装置の前記複数の照明装置の各々は、照明光の出射方向が前記被認証者の目の方向を向くように斜めに固定配置されていることを特徴とする。

この構成により、効率的に被認証者の目の方向を照明することが可能となる。

本発明の照明装置付き目画像撮像装置の前記複数の照明装置は、前記光軸の脇に、複数行複数列に渡って設けられていることを特徴とする。

この構成により、被認証者の目画像に照明光が映り込まない照明装置の選択枝が増える。

本発明の照明装置付き目画像撮像装置の前記照明装置の各々は赤外光照明装置であり、各赤外光照明装置に隣接して可視光照明装置が設けられ、隣接する赤外光照明装置と可視光照明装置とが同時に点灯されることを特徴とする。

この構成により、被認証者は自身の顔や眼鏡の向きを変更して赤外光による照明が目画像中に映り込まないように調整することができる。

本発明の照明装置付き目画像撮像装置は、被認証者の目画像を撮像する撮像手段と、前記被認証者の目を赤外光で照明する赤外光照明装置と、前記赤外光照明装置に隣接して設けられ前記目を可視光で照明する可視光照明装置と、前記撮像手段の光軸上に設けられ被認証者の目を映すハーフミラーと、前記撮像手段と前記赤外光照明装置と前記可視光照明装置と前記ハーフミラーとを搭載し手動で回動されることにより前記光軸方向が調整される撮像手段収納部と、前記赤外光照明装置を点灯するとき同時に隣接する可視光照明装置を点灯する点灯制御手段とを備えることを特徴とする。

本発明の照明装置付き目画像撮像装置の前記制御手段は前記複数の照明装置を順に１つずつ点灯し、前記複数の照明装置のすべてによる前記被認証者の目画像を複数取得した後、前記目画像における前記反射光の有無を判断し、前記照明光の反射光が前記目画像に重ならない照明装置により照明した前記被認証者の目画像を選択することを特徴とする。

この構成により、短時間に品質の高い虹彩画像の撮像が可能となる。

本発明の照明装置付き目画像撮像装置の前記制御手段は、前記目画像のいずれにも反射光が存在する場合、複数の前記目画像の中から、前記目画像の中で前記反射光が存在しない目部分画像を複数抽出し、前記目部分画像を使用して前記目画像に前記反射光が存在しない目画像を合成することを特徴とする。

この構成により、目画像の撮像回数を減らすことができ、被認証者の待機時間の短縮を図ることが可能となる。

本発明によれば、認証に適した高品質な目画像を容易に撮像することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係る目画像撮像装置の正面図であり、図１（ｂ）はその右側面図である。本実施形態の目画像撮像装置は、被認証者の虹彩画像を撮像する様に構成されており、本体ケース１の上部には、撮像手段（以下、カメラという。）を収納したカメラ収納部２が設けられている。

カメラ収納部２の前面中央部には、ハーフミラー３が取り付けられており、ハーフミラー３の背面側に、図示しない虹彩撮像用カメラのレンズが設置されている。

このカメラ収納部２は、図１（ｂ）に双頭矢印Ａで示す様に、本体ケース１に対して軸４を中心に回動自在に支持されており、目画像撮像装置の本体ケース１の前に立った被認証者は、自身の手でカメラ収納部２の両端部に設けられたグリップ５を回動させ、自身の右目あるいは左目がハーフミラー３に映るように調整する様になっている。

図２は、カメラ収納部２の正面模式図である。カメラ収納部２の中央部には、上述したように、虹彩撮像用カメラのレンズ６が設けられており、その片側には、赤外線を発光する複数の発光ダイオードが設けられている。図示する例のカメラ収納部２には、３行４列の計１２個の発光ダイオードが配列されており、レンズ６に近い方から、第１列３個の発光ダイオード７と、第２列３個の発光ダイオード８と、第３列３個の発光ダイオード９と、第４列３個の発光ダイオード１０が設けられている。各発光ダイオード７、８、９、１０の照明光照射方向は、レンズ６前の被写体（被認証者の目）の方向を向くように斜めになっている。

図３は、目の正面図である。目１１の中心部には瞳孔１２があり、この瞳孔１２を取り囲む様にリング状の虹彩部１３が存在する。目画像撮像装置の虹彩撮像用カメラは、目１１の画像を撮像し、目画像撮像装置に設けられた演算処理部は、目画像から虹彩画像を切り出し、更に符号化して特徴量をコードで表現し、虹彩認証部にコードを渡すようになっている。

虹彩撮像用カメラが目画像を撮像したとき、リング状の虹彩画像部分に照明用の発光ダイオードが映り込んでしまうと、即ち、被認証者が眼鏡を掛けており、眼鏡によって反射した照明光の反射光がレンズ６内に入り、被認証者の虹彩部分に重なってしまうと、虹彩画像は、一部分が高輝度部分によって欠けた画像になってしまう。

そこで、本実施形態では、計１２個設けた発光ダイオード７、８、９、１０のうち、虹彩画像に照明光が映り込まない発光ダイオードを探し、良好な虹彩画像を撮像する。

図４は、目画像撮像装置の制御手段が実行する目画像撮像処理手順を示すフローチャートであり、図５、図６は、各発光ダイオードによる照明状態を説明する図である。尚、この実施形態では、３行４列ある発光ダイオードのうち、１行目の４個の発光ダイオードしか設けていない場合について説明する。また、発光ダイオード７、８、９、１０の夫々の発光ダイオード番号を、ｎ＝１、ｎ＝２、ｎ＝３、ｎ＝４とする。

被認証者が本体ケース１の前に立ったとき、これを、例えばセンサで検知（ステップＳ１）した目画像撮像装置は、虹彩撮像用カメラのＣＣＤ（電荷結合素子）やＣＭＯＳ等の固体撮像素子を駆動し、被写体を動画像状態すなわち被写体の画像を所定周期で取り込む処理を開始する（ステップＳ２）。

次に、照明装置として使用する発光ダイオード番号ｎをｎ＝１とし（ステップＳ３）、番号ｎの発光ダイオードを点灯する（ステップＳ４）。今の場合、番号ｎ＝１は、レンズ６すなわち虹彩撮像用カメラの光軸から一番近い発光ダイオード７を示しているため、発光ダイオード７が目画像撮像装置の点灯制御部からの指示により点灯される。

次に、発光ダイオードによる照明光の基で取り込んだ動画像を解析し、高輝度領域が虹彩画像に重なっているかいないかを判定する（ステップＳ５）。高輝度領域が虹彩画像に重なっていない場合には、良好な虹彩画像が撮像できるため、虹彩撮像用カメラは被認証者の目の画像を静止画像として撮像し（ステップＳ６）、点灯中の発光ダイオードを消灯して（ステップＳ７）この目画像撮像処理を終了する。以後は、虹彩画像切出処理及び特徴量コード化処理に進む。

図５に示す様に、発光ダイオード７（ｎ＝１）を点灯して被認証者１５の目の方向を照明し、図６の画像状態Ｉに示すように、固体撮像素子の出力画像中に照明光による高輝度領域１６が存在し、この高輝度領域１６が虹彩画像１７に重なっていることが検出された場合には、上述したステップＳ５での判定結果が否定される。

この場合には、点灯中の発光ダイオードを消灯して（ステップＳ８）、次に発光ダイオード番号ｎをｎ＝ｎ＋１とし（ステップＳ９）、次にｎの値が発光ダイオード数（この例では発光ダイオード７、８、９、１０の４個であるためｎ＝４）を越えているか否かを判定する（ステップＳ１０）。ｎの値が発光ダイオード数を越えていない場合には、ステップＳ４に戻って番号ｎの発光ダイオードを点灯する。

これにより、発光ダイオード７の次に発光ダイオード８が点灯し、図６の画像状態IIに示す様に、高輝度領域１６が虹彩画像１７に重なっているか否かが判定される（ステップＳ５）。発光ダイオード８による照明でも高輝度領域１６が虹彩画像１７に重なる場合には、同様にして、次に発光ダイオード９が点灯する。

ここで、図６の画像状態IIIに示す様に、高輝度領域１６が虹彩画像１７から外れていることが検出された場合、静止画像が改めて撮像され（ステップＳ６）、この撮像処理は終了する。これにより、図６の状態IVすなわち発光ダイオード１０を点灯する状態は必要はなくなる。

従来の場合には、眼鏡の形状やバリエーションを考え、照明装置が虹彩画像中に映り込まない様に、カメラ光軸から最も離れた場所に照明装置を配置していたため、この照明光の虹彩部に対する傾斜角が大きく、虹彩画像の品質を劣化させる一因になっていた。図５で言えば、従来は、発光ダイオード１０のみが設けられていたため、裸眼を照明する場合でも大きく斜めに傾斜した照明光で照明せざるを得ず、良質の虹彩画像を撮像することができなかった。

これに対し、本実施形態では、最外部に設けた発光ダイオード１０より内側、すなわち、照明光の虹彩部に対する傾斜角が小さな発光ダイオードを用いて照明し虹彩画像を撮像できるため、品質の高い虹彩画像の撮像が可能となる。

図４に戻り、発光ダイオード７、８、９、１０と点灯する発光ダイオード番号ｎが進み、いずれの発光ダイオードの点灯でも高輝度領域１６が虹彩画像１７に重なる場合には、次にｎ＞４（ステップＳ１０）となる。この場合には、被認証者に対して眼鏡を傾けるなどの警告を出力し（ステップＳ１１）、最初のステップＳ１に戻る。

尚、上述した実施形態では、横一行の４つの発光ダイオードを例に説明したが、高輝度領域１６と虹彩画像１７とが重なったとき、図２に示す様に３行設けた発光ダイオードの縦方向の位置を変えることで、高輝度領域１６が虹彩画像１７に重ならないようにすることができる。すなわち、点灯対象とする発光ダイオードを、レンズ６に近い内側の３個の発光ダイオードを縦方向に順に点灯し、次に内側の３個の発光ダイオードを縦方向に順に点灯するという手順を繰り返すことでもよい。

（第２の実施形態）
図７は、本発明の第２の実施形態に係る目画像撮像装置の制御手段が実行する目画像撮像処理手順を示すフローチャートである。尚、以下のフローチャートで用いる発光ダイオード番号ｎは第１の実施形態と同じである。

先ず、被認証者が目画像撮像装置の前に来るのを待機し（ステップＳ２１）、被認証者が来たときは発光ダイオード番号ｎをｎ＝１とする（ステップＳ２２）。そして、ｎ＝１の発光ダイオードを点灯（ステップＳ２３）して静止画像を撮像する（ステップＳ２４）。このとき得られた静止画像の番号ｉをｉ＝ｎとする。即ち、ｎ＝１の発光ダイオードを点灯して得られた静止画像の番号ｉはｉ＝１となる。

静止画像の撮像後に番号ｎ＝１の発光ダイオードを消灯し（ステップＳ２５）、次にｎ＝ｎ＋１とする（ステップＳ２６）。次に、ｎ＞４であるか否かを判定し（ステップＳ２７）、否定（Ｎｏ）の場合にはステップＳ２３に戻る。

即ち、本実施形態では、発光ダイオードを順に点灯しながら静止画像を連続して撮像してしまう。これにより、この例では、照明の異なる４枚の静止画像（目画像）が先に連続して撮像され、図示しないメモリに格納される。

照明用の発光ダイオード数と同数の目画像が撮像されると、前述のステップＳ２７における判定が肯定（ＹＥＳ）となり、次に、画像番号ｉ＝１の目画像をメモリから読み出す（ステップＳ２８）。そして、この画像番号ｉ＝１の目画像の虹彩部に照明が重なっているか否かを判定する（ステップＳ２９）。重なっていない場合には番号ｉ＝１の目画像を後段の認証処理Ｓ４０に渡し、この目画像撮像処理を終了する。

画像番号ｉ＝１の目画像の虹彩部に照明が重なっている場合（判定結果がＹＥＳ）には、次に画像番号ｉ＝ｉ＋１の目画像をメモリから取り出し（ステップＳ３０）、画像番号ｉが目画像枚数（上記の例では“４”）より大きいか否かを判定する（ステップＳ３１）。画像番号ｉが目画像枚数以下場合には、上記のステップＳ２９に戻る。これにより、画像番号ｉ＝２の目画像の虹彩部に照明が重なっているか否かが判定され、重なっていない場合には番号ｉ＝２の目画像が後段の認証処理Ｓ４０に渡される。

この様にして、４枚の目画像を順に判定し、虹彩部に照明が重なっていない目画像を選択し認証処理Ｓ４０に渡すが、４枚の目画像共に、虹彩部に照明が重なっているときは、前述のステップＳ３１の判定結果が肯定（ＹＥＳ）となる。

本実施形態では、全ての目画像の虹彩部に照明が重なっている場合、次に、各目画像から、照明が重なっていない虹彩部分画像を夫々抽出し、抽出した各虹彩部分画像のうち重複部分が重複するように各虹彩部分画像を貼り合わせて１つの虹彩画像を合成する（ステップＳ３２）。

本実施形態では、最初に連続して短時間のうちに４枚の目画像を撮像するため、また、撮像に要するこの短時間の間は被認証者は静止状態にあるため、４枚の目画像の違いは照明位置の違いだけとなり、虹彩部の合成画像は１枚の撮像画像の虹彩画像と一致する。しかし、各目画像中の照明が重なっていると、合成した虹彩部の画像中にも照明による欠落領域が生じてしまう。

そこで次に、合成した虹彩画像が認証処理に適する画像であるか否か、即ち、照明が重なって欠落した領域の広さが所定以上あるか否かを判定し（ステップＳ３３）、認証に適する場合にはこの合成した虹彩画像を後段の認証処理Ｓ４０に渡してこの目画像撮像処理手順を終了する。また、認証に適さない虹彩画像であると判定した場合には、被認証者に対して眼鏡を傾けるなどの警告を出力し（ステップＳ３４）、最初のステップＳ２１に戻る。

本実施形態によれば、最初に照明数だけ照明位置を変えながら連続して目画像を撮像してしまうため、短時間に品質の高い目画像を得ることができる。また、各目画像に照明が重なった場合でも照明が重なっていない虹彩部分画像を貼り合わせて虹彩画像を合成するため、目画像の撮像回数を減らすことができ、被認証者の待機時間を短縮することができる。

（第３の実施形態）
図８は、本発明の第３の実施形態に係るカメラ収納部の正面模式図である。図示する例では、カメラ収納部２の中央部に設けられたハーフミラー３の中心に目合わせマーク１８が設けられており、ハーフミラー３の横には、３個の発光ダイオード１９、２０、２１が設けられている。中央の発光ダイオード２０は可視光を発光し、上下の発光ダイオード１９、２１は赤外光を発光する様になっている。

発光ダイオード１９、２１のどちらかを点灯して、第１の実施形態と同様に、虹彩画像１７に高輝度領域１６が重ならない静止画像を撮像するのであるが、どちらの発光ダイオード１９、２１でも、被認証者の虹彩部に発光ダイオード１９、２１が映り込んだ場合には、被認証者自身に眼鏡の向きや顔の角度等を調整してもらうのが一番手軽である。

しかし、発光ダイオード１９、２１を点灯し赤外光で被認証者の目を照明しても、赤外光は不可視光のため、虹彩部に発光ダイオード１９、２１が映り込んでいることを被認証者自身は知ることができない。そこで、本実施形態では、発光ダイオード１９、２１のいずれかを点灯するとき、発光ダイオード１９、２１に隣接して設けた可視光発光ダイオード２０を一緒に点灯する。

これにより、被認証者１５は、図９（ａ）に示す様に、可視光の反射光が目合わせマーク１８に映ったとき、図９（ｂ）に示す様に、眼鏡の向きや顔の角度を変えることができ、目合わせマーク１８に可視光の反射光が映らないようにすることができる。これにより、赤外照明光による高輝度領域は、虹彩画像から外れ、良好な虹彩画像の撮像が可能となる。

尚、本実施形態では、３個の発光ダイオード１９、２０、２１を縦に隣接配置し、真ん中の発光ダイオード２０を可視光としたが、複数の発光ダイオードを図２に示す様に並べ、真ん中の行の発光ダイオードを可視光とし、第１の実施形態を併用する構成としてもよい。

また、上述した各実施形態では、虹彩画像を撮像する例を述べたが、瞳孔を通して網膜画像を撮像する場合にも上述した実施形態の構成を適用できることはいうまでもない。

本発明は、できる限り正面から目を照明することにより、認証処理に用いる目画像の画像品質を向上させることができるという効果を奏し、個人認証装置に用いる目画像撮像装置として有用である。

（ａ）本発明の第１の実施形態に係る目画像撮像装置の正面図（ｂ）本発明の第１の実施形態に係る目画像撮像装置の右側面図本発明の第１の実施形態に係るカメラ収納部の正面模式図本発明の第１の実施形態を説明する目の正面図本発明の第１の実施形態に係る目画像撮像装置の撮像手順を示すフローチャート本発明の第１の実施形態に係る照明順の説明図本発明の第１の実施形態に係る照明状態説明図本発明の第２の実施形態に係る目画像撮像装置の撮像手順を示すフローチャート本発明の第３の実施形態に係るカメラ収納部の正面模式図（ａ）本発明の第３の実施形態に係る照明説明図（ｂ）本発明の第３の実施形態による顔角度の調整説明図

符号の説明

１目画像撮像装置の本体ケース
２目画像撮像装置のカメラ収納部
３ハーフミラー
４回動枢軸
５グリップ
６レンズ
７、８、９、１０、１９、２１赤外光の発光ダイオード
１１目
１２瞳孔
１３虹彩部
１５被認証者
１６高輝度領域
１７虹彩画像
１８目合わせマーク
２０可視光発光ダイオード

Claims

被認証者の目画像を撮像する撮像手段と、前記撮像手段の光軸に対する距離が異なるように配置され前記被認証者の目を照明する複数の照明装置と、前記複数の照明装置を前記光軸に近い側から順に点灯して各点灯時に前記撮像手段で得られた画像を解析し照明光の反射光が前記目画像に重ならない照明装置により照明した前記被認証者の目の画像を取得するように制御する制御手段とを備えることを特徴とする照明装置付き目画像撮像装置。
前記複数の照明装置の各々は、照明光の出射方向が前記被認証者の目の方向を向くように斜めに固定配置されていることを特徴とする請求項１に記載の照明装置付き目画像撮像装置。
前記複数の照明装置は、前記光軸の脇に、複数行複数列に渡って設けられていることを特徴とする請求項１または請求項２に記載の照明装置付き目画像撮像装置。
前記照明装置の各々は赤外光照明装置であり、各赤外光照明装置に隣接して可視光照明装置が設けられ、隣接する赤外光照明装置と可視光照明装置とが同時に点灯されることを特徴とする請求項１乃至請求項３のいずれかに記載の照明装置付き目画像撮像装置。
被認証者の目画像を撮像する撮像手段と、前記被認証者の目を赤外光で照明する赤外光照明装置と、前記赤外光照明装置に隣接して設けられ前記目を可視光で照明する可視光照明装置と、前記撮像手段の光軸上に設けられ被認証者の目を映すハーフミラーと、前記撮像手段と前記赤外光照明装置と前記可視光照明装置と前記ハーフミラーとを搭載し手動で回動されることにより前記光軸方向が調整される撮像手段収納部と、前記赤外光照明装置を点灯するとき同時に隣接する可視光照明装置を点灯する点灯制御手段とを備えることを特徴とする照明装置付き目画像撮像装置。
前記制御手段は前記複数の照明装置を順に１つずつ点灯し、前記複数の照明装置のすべてによる前記被認証者の目画像を複数取得した後、前記目画像における前記反射光の有無を判断し、前記照明光の反射光が前記目画像に重ならない照明装置により照明した前記被認証者の目画像を選択することを特徴とする請求項１乃至請求項３のいずれかに記載の照明装置付き目画像撮像装置。
前記制御手段は、前記目画像のいずれにも反射光が存在する場合、複数の前記目画像の中から、前記目画像の中で前記反射光が存在しない目部分画像を複数抽出し、前記目部分画像を使用して前記目画像に前記反射光が存在しない目画像を合成することを特徴とする請求項６に記載の照明装置付き目画像撮像装置。