JP2008006149A - 瞳孔検出装置、及び虹彩認証装置、並びに瞳孔検出方法 - Google Patents

Abstract

【課題】虹彩認証の目画像撮影に画角の広い高画素カメラを使用する場合に、高速で、かつ誤検出することがなく、瞳孔位置の検出が可能な瞳孔検出装置を提供する。
【解決手段】認証対象者の顔を撮影した顔画像をメモリ部２１に蓄積すると同時に、画像縮小部２２で縮小された画像を、画像前処理部２３を介して画像データ抽出部２５以降の処理で、おおよその瞳孔位置を検出し、その情報をもとにメモリ部２１に蓄積された元の画像から、目画像を切り出して瞳孔検出を行う。また、光センサー部1Ｄを備え、周囲が極端に明るい場合には、周回積分部２６の設定を瞳孔検出から虹彩検出の設定に切り替える手段と、顔の目以外のものを目として誤検出することを防止する手段とを有する。
【選択図】 図１

Description

本発明は、個人認証等に用いられる虹彩認証装置に係り、特に撮影した顔についての画像（以下、「顔画像」とよぶ）の中から目を含む画像（以下、「目画像」とよぶ）を切り出して瞳孔の位置を検出する瞳孔検出装置、及び虹彩認証装置、並びに瞳孔検出方法に関する。

従来、身体の一部を利用した生体認証等の個人認証が各種分野で採用されており、その一つとして虹彩認証方法が知られている。この虹彩認証を行うためには、まず目画像の中から瞳孔の位置を検出することが必要であり、この瞳孔検出ために様々な装置や方法が提案されている。例えば、この瞳孔検出装置としては、目画像についての画像データ（以下、「目画像データ」と略記する）を２値化し、低輝度領域の中の円形の領域を瞳孔として検出する構成のものや、半径がｒで中心座標が（Ｘｏ、Ｙｏ）である円の弧に対して画像強度Ｉ（Ｘ、Ｙ）の周回積分を計算し、半径ｒが増加するにしたがって、このｒに関する量の部分的な導関数を計算することによって瞳孔を検出する構成のもの等が知られている（例えば、特許文献１を参照）。

さらに、最近では、より高速、かつより精度よく瞳孔位置の検出を可能とするために、目画像上に複数の半径を有する同心円状の積分円を設定し、その積分円上の目画像データを周回積分して、その値が積分円の半径に対してステップ状に変化したことを検出した場合に、瞳孔が検出されたとするような構成の瞳孔検出装置などが提案されている（例えば、特許文献２を参照）。
特開２００６−２５９７０号公報 特開２００６−４８２０５号公報

上述の特許文献２に記載の瞳孔検出装置を用いた場合にあっては、高速、かつ精度よい瞳孔位置の検出が可能であるが、目画像データを検出するために、画像の幅分のラインメモリを用いる必要がある。このため、このような構成の瞳孔検出装置では、画角の狭い、すなわち目の周辺があまり写っていない画像でないと、メモリ使用量が大きくなってしまうという事情があった。

一方、虹彩認証装置を用いて認証させる認証対象者（以下、「使用者」とよぶ）にとっては、画角が狭いと目の写る物理的な範囲も狭くなるため、撮影時に目の位置をうまく撮影範囲内に収めることが難しいと感じてしまうことがある。そこで、画角が広い、即ち高画素カメラで顔の広い範囲が写っている画像から高速に目の部分を検出し、目画像のみを切り出して瞳孔検索を行う装置の開発が望まれている。ところが、高画素カメラでの映像には目以外の部分を多く含むことになるので、誤検出をしやすくなってしまう。

本発明は、これらの事情に鑑みなされたものであり、高速にかつ精度よく瞳孔位置の検出が可能であるとともに、使用者が使い勝手の良い瞳孔検出装置、及び虹彩認証装置、並びに瞳孔検出方法を提供することを目的とする。

本発明の瞳孔検出装置は、認証対象者の顔画像を撮影する撮像部と、前記顔画像を縮小した縮小画像を生成する縮小処理部と、前記縮小処理部での処理を回避するためのスイッチと、同心円状の複数円をそれぞれ積分円として設定し、前記顔画像或いは前記縮小画像から前記それぞれの積分円の円周上に位置する瞳孔周辺のデータを抽出する画像データ抽出部と、前記画像データ抽出部が抽出した前記瞳孔周辺のデータを前記それぞれの積分円の円周に沿って積分する周回積分部と、前記周回積分部の積分値が前記積分円の半径に対してステップ状に変化したことを検出する瞳孔半径検出部と、前記瞳孔半径検出部が前記ステップ状の変化を検出するとそのときの積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備え、前記縮小画像から瞳孔位置を検出した後、前記スイッチを切り換えて、前記顔画像から瞳孔位置を検出することを特徴とするものである。

また、本発明の瞳孔検出装置は、前記画像前処理部が、前記縮小画像のデータに対しローパスフィルタによって高周波成分を除去する構成であってもよい。

また、本発明の瞳孔検出装置は、前記画像前処理部が、複数の円を積分円として前記縮小画像上で移動させながら、前記積分円の円周上に位置する目画像のデータを抽出し、前記目画像のデータの中で水平方向の対称性が成立していないものを前記目画像の候補から取り除く機能を有する構成であってもよい。

また、本発明の瞳孔検出装置は、前記画像前処理部が、複数の円を積分円として前記縮小画像上で移動させながら、前記積分円の円周上に位置する前記目画像のデータを抽出し、前記目画像のデータの中から、隣接積分円の差が一番大きい差分値と、そのときの円周よりも外側の円周において同様に隣接する積分円の差の一番大きい差分値との２つのデータを用いた計算式により、前記目画像を抽出するための総合的な評価値を計算する手段を有する構成であってもよい。このような構成により、例えば瞳孔と虹彩の境界で隣接積分円の差が最大になった場合には、瞳孔よりも外側の虹彩とその外側との境界での隣接積分円の差も比較的大きく出ていることを利用して、外側にはピークのないメガネのフレームや鼻孔などの誤検出を防止することができる。

また、本発明の瞳孔検出装置は、周囲の明暗を識別するセンサーと、周囲環境の明るさにより、瞳孔検出から虹彩検出に検出対象を切り替える手段と、を有する構成であってもよい。一般に、周囲が特に明るい場所では、生理的に瞳孔が小さくなる。このため縮小画像では、積分円で瞳孔を捉えることが困難になるので、虹彩の外側の境界を検出するように設定を切り替えることで、誤検出を防止できる。

また、本発明の瞳孔検出装置は、前記瞳孔半径検出部が、前記同心円状の複数の積分円のうち、半径の最も近い２つの積分円の積分値の差分値が所定の閾値より大きい場合に、前記積分値が前記積分円の半径に対してステップ状に変化したとみなす機能を有する構成であってもよい。このような構成によれば、瞳孔を正しく検出する確率を上げることができる。

また、本発明の瞳孔検出装置は、前記所定の閾値が、前記積分円が虹彩上にある場合の積分値と、前記積分円が瞳孔上にある場合の積分値との差の１／４倍〜１倍の範囲に設定されている構成であってもよい。このような構成によれば、さらに、瞳孔を正しく検出する確率を高めることができる。

また、本発明の瞳孔検出装置は、前記画像データ抽出部が、ファーストイン−ファーストアウト（ＦＩＦＯ）型のラインメモリを複数本つなぎ合わせた部分フレームメモリと、前記部分フレームメモリから前記同心円状の複数の積分円のそれぞれの円周上の画素に対応する画像データを引出すための引出し線とを有するとともに、前記各引き出し線のオン、オフ制御を行う手段と比較器とを備えた画像抽出制御部を有する構成であってもよい。このような構成によれば、さらに、比較的小規模な回路を用いて画像データ抽出部を構成することが可能となる。また、画像抽出制御部を設けたことにより、各画像抽出ポイントの輝度値を比較することにより、水平方向対象性のチェックが可能になる。さらに、画像抽出制御部で各引き出し線のオン、オフ制御を行うことにより、周囲の明暗により瞳孔検出と虹彩検出を切り替えることも可能になる。

また、本発明の瞳孔検出装置は、積分円の中心座標を示すポインタ部を備え、前記ポインタ部は、前記部分フレームメモリへ画像データを取り込む周期と同期したクロックをカウントするカウンタを有する構成であってもよい。このような構成によれば、さらに比較的小規模な回路を用いてポインタ部を構成可能となる。

また、本発明の瞳孔検出装置は、前記周回積分部が、前記画像データ抽出部が抽出した画像データを前記積分円のそれぞれの円周に沿って加算する複数の加算器を有する構成であってもよい。このような構成によれば、さらに比較的小規模な回路を用いて周回積分部を構成可能となる。

また、本発明の瞳孔検出装置は、前記瞳孔半径検出部が、前記同心円状の複数の積分円のうち、半径の最も近い２つの積分円の積分値の差分値を計算する差分器と、前記差分器から出力される差分値と前記所定の閾値とを比較する比較器と、前記差分値が前記所定の閾値より大きい場合の積分円の半径を瞳孔半径として保持するレジスタと、差分値から差分評価値を計算する差分計算部と、を備えた構成であってもよい。このような構成によれば、瞳孔半径検出部に差分計算部を設けることにより、差分値を設定された条件で計算できるようになるため、最大差分値と、その外側の積分円の差分値とで総合評価値を計算できる。

また、本発明の瞳孔検出装置は、前記瞳孔位置検出部が、前記瞳孔半径検出部が積分円の半径を瞳孔半径として検出したとき、その積分円の中心座標を示す前記ポインタ部のカウンタ出力を瞳孔位置座標として保持するレジスタを備えた構成であってもよい。このような構成によれば、さらに、比較的小規模な回路を用いて瞳孔位置検出部を構成可能となる。

次に、本発明の虹彩認証装置は、上記のいずれかに記載の瞳孔検出装置を備えたことを特徴としている。この構成によれば、高速にかつ精度よく瞳孔位置の検出が可能であるとともに、高画素カメラの入力画像に対しても誤検出の少ない瞳孔検出装置を搭載した虹彩認証装置を提供できる。

次に、本発明の瞳孔検出方法は、認証対象者の顔を撮影した顔画像を蓄積すると同時に、前記顔画像を縮小した縮小画像を生成するための前処理を施す第１のステップと、前記顔画像上に、同心円状の複数の円をそれぞれ積分円として設定し、前記積分円の円周上に位置する複数個の顔画像データを抽出する第２のステップと、前記第２のステップで抽出された前記顔画像データを前記積分円のそれぞれの円周に沿って積分する第３のステップと、前記第３のステップにおける積分値が前記積分円の半径に対してステップ状に変化したことを検出する第４のステップと、前記第４のステップにおいて前記ステップ状の変化が検出された場合に、その積分円の中心座標を瞳孔位置座標として検出する第５のステップとを備え、前記縮小画像に対して前記第２のステップから第５のステップの処理を行った後に、前記第５のステップにおいて得られた瞳孔位置座標に基づき、蓄積してある前記顔画像から目画像を切り出し、前記第２のステップから第５のステップの処理を再び行うことを特徴としている。このような方法によれば、第２ステップ以降は同じハードウェアで構成することができ、ハード構成が簡易であるとともに、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出方法を提供できる。

本発明によれば、カメラの画角が広いものであっても、高速にかつ精度よく瞳孔位置の検出が可能となるので、使用者の使い勝手がよく、簡易な瞳孔検出装置、及び虹彩認証装置、並びに瞳孔検出方法を提供することができる。

以下、本発明の実施形態について、添付図面を用いて詳細に説明する。
図１は本発明の実施形態における瞳孔検出装置２を用いた虹彩認証装置１の回路ブロック図である。
本実施形態の虹彩認証装置１は、使用者の「顔画像」を撮影する撮像部１Ａと、「目画像」の取得に適した光量の近赤外線を照射し使用者の目とその周辺部分を照明する照明部１Ｂと、顔画像の縮小画像から瞳孔または虹彩位置を検出し、元の顔画像から目画像を切り出し、瞳孔位置とその半径を検出する瞳孔検出装置２と、目画像から得られた虹彩コードを登録されている虹彩コードと比較して個人認証を行う認証処理部１Ｃと、周囲の明暗を識別するセンサーを有する光センサー部１Ｄと、を備えている。

このうち、撮像部１Ａは、誘導ミラー１１と、可視光カットフィルタ１２と、レンズ１３と、撮像素子１４と、前処理部１５と、を有する。本実施形態においては、レンズ１３として固定焦点レンズを用いることにより、光学系の小型、軽量化と低コスト化を実現している。誘導ミラー１１は、使用者が自らの目を映すことにより目を正しい撮像位置へ誘導する。そして、使用者の顔は可視光カットフィルタ１２およびレンズ１３を通して撮像素子１４で撮像される。前処理部１５は、撮像素子１４の出力信号から画像データ成分を取り出し、ゲイン調整等画像データとして必要な処理を行った上で、使用者の顔画像についてのデータ（以下、「顔画像データ」とよぶ）として出力する。

一方、瞳孔検出装置２は、前処理部１５から送られた顔画像データを、後段にそのまま送ると同時にメモリ部２１に蓄積し、かつ、読み出し制御するメモリ制御部２０と、第１回目の瞳孔位置または虹彩位置検出処理の際に前述の顔画像データを１／Ｎに縮小する（以下、これを「縮小画像」とよぶ）画像縮小部２２と、その縮小画像に対して後述する各種の前処理を行う縮小画像前処理部２３と、第２回目の瞳孔位置または虹彩位置検出処理の際に前記画像縮小部２２と画像前処理部２３をパス（回避）するルートを作るスイッチ部２４と、メモリ部２１に蓄積された目画像データを用いて後述する各種の処理を行う画像データ抽出部２５と、後述する周回積分部２６と、瞳孔半径検出部２７と、後述する積分円の中心座標を示すポインタ部２８と、瞳孔位置検出部２９と、を有する。瞳孔検出装置２は、詳細は後述するが、この構成によって、瞳孔中心座標とその半径に関するデータを認証処理部１Ｃへ出力する。なお、瞳孔位置または虹彩位置検出処理を２度行うのは、縮小画像から瞳孔位置を検出すると、瞳孔中心座標の位置精度が悪いため、２度目に縮小なしで切り出した目画像で再度検出処理を行うことによって、検出精度を高めるために行うものである。

認証処理部１Ｃは、瞳孔検出装置２から出力された瞳孔の中心座標に基づき、目画像データの中から「虹彩画像」を切り出す。そして、その虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し、予め登録させてある虹彩コードと比較することによって認証動作を実行する。

次に、本発明の実施形態係る瞳孔検出装置２を用いた虹彩認証装置１の認証動作について、図２のフローチャートを用いて説明する。
まず、使用者が虹彩認証装置１の前に立つ等の開始動作を行うことにより、認証動作を開始させる（ステップＳ１１）。すると、撮像部１Ａが使用者の顔画像１００（図３参照）を撮影する（ステップＳ１２）。そして、撮像部１Ａ内で各種の処理がなされ、最終的に前処理部１５で、取得した顔画像のフォーカス、輝度、コントラスト等の画質が適切であるかを判定する。そして取得した顔画像が適切な場合は、瞳孔検出装置２へ出力する（ステップＳ１３）。一方、適切でない場合には、ステップＳ１２に戻り、照明部１Ｂに対する照明制御や使用者に対する指示等の必要な処理を行い、再度顔画像を取り込む。

次に、瞳孔検出装置２では、前処理部１５からのデータに基づいて、メモリ制御部２０と、画像縮小部２２と、画像前処理部２３と、ポインタ部２８と、瞳孔位置検出部２９によって各種の処理を行い、最終的に瞳孔位置検出部２９が、先ず、縮小された顔画像である縮小画像での瞳孔位置を検出する。そして、瞳孔の中心座標を認証処理部１Ｃへ出力する（ステップＳ１４）。

このようにして瞳孔が検出されると、認証処理部１Ｃは瞳孔の中心座標に基づき、元画像（元の顔画像のこと）から目画像を切り出す範囲γ（図３参照）を設定し、この切り出し範囲γに関するデータをメモリ制御部２０へフィードバックさせる。そして、スイッチ２４が切り換わり(ステップＳ１４１)、画像縮小部２２と縮小画像前処理部２３を通らないようにする。
一方、このメモリ制御部２０は、入力した切り出し範囲γに関すデータにより、メモリ２１に蓄積されている元の顔画像から目画像を切り出す（ステップＳ１５）。そして、今度は、瞳孔検出装置２において、切り出した目画像から、画像データ抽出部２５と、後述する周回積分部２６と、瞳孔半径検出部２７とにより、再度、瞳孔位置と半径を検出し、瞳孔の中心座標と半径を認証処理部１Ｃへ出力する（ステップＳ１６）。

一方、認証処理部１Ｃは、瞳孔検出装置２から入力した瞳孔の中心座標に関するデータに基づき、目画像データの中から虹彩画像を切り出す（ステップＳ１７）。そして、認証処理部１Ｃは、虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し（ステップＳ１８）、真正な認証対象者の虹彩データとして予め登録している虹彩コードと比較することによって認証動作を実行する（ステップＳ１９）。

ここで、顔画像の取得（ステップＳ１２）からの目画像の切り出し（ステップＳ１５）までに至る、目画像の切り出し方法について説明する。
一般に、虹彩認証における「虹彩画像」の画像サイズは、直径２００pixel（ピクセル）程度必要であり、一方、「目画像」の画像サイズは例えばＶＧＡ（６４０×４８０pixel)が適当な大きさである。従って、顔全体または部分が入るＶＧＡ（Video Graphics Array）以上の画像（顔画像）から目画像を切り出す場合、本実施形態では、前述の瞳孔検出装置２の画像縮小部２２が顔画像データを１／Ｎに縮小するとともに、瞳孔位置検出部２９がこの縮小画像（縮小された顔画像）を検索し、瞳孔位置が検出された後に、図３に示すような範囲γを設定して、目画像を切り出す。

本発明の瞳孔検出装置は、瞳孔を円とみなして一般的なパターンマッチングより簡便な回路で高速に瞳孔を見つけるものであり、縮小画像（縮小された顔画像）には目以外のパーツが多数含まれているため、誤検出を防止する手段を講じることが必要である。そのひとつの手段として、本実施形態の縮小画像前処理部２３には、ローパスフィルタを備えた例を示している。このローパスフィルタによれば、顔画像の高周波成分が除去され、髪の毛、まつげ等の細かくかつ高い輝度部分によって、偶発的に周回積分による評価値が高くなるのを抑え、誤検出を防止する。

さらに、本発明では、瞳孔や虹彩の水平方向の（左右）対称性を利用し、図４に示すように、候補となる積分円の水平方向の対称点の輝度値、Ｋ１、Ｋ２、Ｋ３、Ｋ４について一例として、Ｐthを閾値として、次式
Ｋ１-Ｋ２＜Ｐth
Ｋ３−Ｋ４＜Ｐth
・・・（１）
が同時に成立しているか否かを判定し、成立していない積分円は候補から外している。この手段によって、対称性が低いものを除去することで、瞳孔や虹彩以外のものでも偶発的に周回積分による評価値が高くなり誤検出されてしまう、といった不都合を回避できる。

次に、瞳孔検出装置２の構成とその動作について、詳細に説明する。
図５は瞳孔検出装置２での瞳孔検出方法を説明するための図である。瞳孔を含む画像の中には、図５（Ａ）に示すように、瞳孔（α）を示す円形状の低輝度領域Ｓ１と、その外側に虹彩（β）を示す円環状の中輝度領域Ｓ２とが存在する。従って、瞳孔の中心の位置座標（Ｘｏ、Ｙｏ）を中心として、半径Ｒの積分円Ｃの円周に沿って画像データの輝度成分（変数）に関して、次式の周回積分を行う。

すると、図５（Ｂ）に示すように、輝度成分についての積分値Ｉ（Ｒの関数）は、瞳孔半径Ｒｏを境としてステップ状に変化することになる。そこで、同図（Ｃ）に示すように、この積分値Ｉ（Ｒ）を半径Ｒで微分した値ｄＩ（Ｒ）／ｄＲが、後述する所定の閾値（以下、「差分閾値」と記す）ΔＩｔｈを超える、つまり、次式

を満たすときの積分円の半径Ｒを求めることにより、瞳孔半径Ｒｏを知ることができる。

以上の考え方に基づき、瞳孔検出装置２は、瞳孔の位置座標（Ｘｏ、Ｙｏ）と瞳孔半径Ｒｏを検出する。
まず、図５（Ｄ）に示すように、中心座標が等しく半径の異なるｎ個の（同心円状の）積分円Ｃ_１〜Ｃ_ｎを目画像上に想定し、各々の積分円Ｃ_ｉ（ｉ＝１〜ｎ）に対してその円周上に位置する画像データを積分する。現実的には、各々の積分円Ｃ_ｉの円周上に位置する画素の画像データの平均値を計算するか、円周上に位置する画素の中から一定数（ｍ個）の画素を選んでその画像データを加算する。本実施形態においては、同心円状の積分円の数ｎを２０とし、各積分円Ｃ_ｉの円周上に位置する画素の中からｍ＝８画素を選んでその画像データを加算し周回積分の積分値Ｉとした。

このとき、積分円Ｃ_１〜Ｃ_ｎの中心が瞳孔中心と一致している場合には、上述したように、各積分円Ｃ_ｉに対する積分値Ｉ_ｉがステップ状に変化するので、積分値Ｉ_ｉの半径Ｒに対する差分値ΔＩ_ｉを求めると、瞳孔半径Ｒｏに等しいところで大きな極大値ΔＩを示すことになる。一方、積分円Ｃ_１〜Ｃ_ｎの中心が瞳孔中心に一致しない場合は、積分値Ｉ_ｉは緩やかに変化するので、その差分値ΔＩ_ｉは大きな値を示さない。
したがって、差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きな値を示す積分円Ｃ_ｉを求めることで、瞳孔の位置とその半径を求めることができる。

画像データ抽出部２５は、画像上の各位置に積分円Ｃ_１〜Ｃ_ｎを移動させて上述の動作を繰り返す。こうして差分値ΔＩ_ｉが大きな値を示すときの積分円Ｃ_ｉの中心座標（Ｘ、Ｙ）とそのときの半径Ｒを求めることにより、瞳孔の位置座標（Ｘｏ、Ｙｏ）と瞳孔半径Ｒｏを求めることができる。

なお、２５６階調の画像信号の場合、瞳孔の平均輝度が４０階調程度、虹彩の平均輝度が１００階調程度となるため、積分円が瞳孔上にある場合の積分値Ｉはおよそ４０×８＝３２０であり、積分円が虹彩上にある場合の積分値Ｉはおよそ１００×８＝８００である。そこで、差分閾値ΔＩｔｈとしては、その８００と３２０との差４８０〜その１／４である１２０の範囲内で設定するとよい。なお、差分閾値ΔＩｔｈが小さすぎると瞳孔以外のものを誤検出する確率が増え、逆に大きすぎると瞳孔を検出できなくなる可能性が大きくなる。従って、実験的に最適値を求め、差分閾値ΔＩｔｈを設定することが望ましい。本実施形態においては、瞳孔の平均輝度の積分値と虹彩の平均輝度の積分値との差の２／３に、差分閾値ΔＩｔｈを設定している。

ここで、本実施形態に係る瞳孔検出装置２を用いた別の検出方法について、図６に基づいて説明する。
同図（Ａ）に示す縮小画像の場合は、前述の積分円内に瞳孔だけでなく虹彩も十分入る大きさになっている。そのため、同図（Ｃ）に示す前述の微分（ｄＩ／ｄＲ）の値（＝積分値の半径Ｒ方向の変化率）は、瞳孔と虹彩の境界でピーク（Ｈｄ１）が現れるだけでなく、虹彩の外側の境界でも第２のピーク（Ｈｄ２）が存在する。つまり、同図（Ｂ）に示すように、積分値Ｉ_ｉがステップ状に２段で変化する。

そこで、瞳孔位置の誤検出防止のために、総合評価値ＨＤを導入する。この一例として、総合評価値ＨＤを、次式、
ＨＤ＝Ｈｄ１＋ｋ・Ｈｄ２
但し、ｋ；重み定数
・・・（４）
のように定義する。

従って、この式（４）で示す誤検出防止のための判断材料（手段）を導入することによって、第１のピークＲｏの外側に第２のピークＲ１が存在しない円形のものは総合評価値ＨＤが上がらず、例えば、メガネフレームの金具や、鼻孔などの誤検出を防止できる。

次に、本実施形態に係る瞳孔検出装置２について説明する。
本実施形態に係る瞳孔検出装置２では、図１に示した光センサー部1Ｄからの検出出力によって、瞳孔検出装置２内の周回積分部２６の周回積分を、実際に実施する領域へ設定を切り替えられるように構成する。

周知のように、瞳孔は（虹彩認証装置１の）周囲の明るさが極端に明るいと生理的に小さくなるので、縮小画像では最小の積分円でも瞳孔を検出できなくなるおそれがある。また、周囲の明るさが極端に明るいと、例えばまぶたが閉じることによって虹彩の上下部分が隠れてしまう場合もある。そこで、本実施形態では、周回積分部２６での周回積分の実行領域を、図７（Ａ）のように扇形に設定する。このように設定すれば、まぶたが閉じることによって虹彩の上下部分が隠れていても、虹彩を正しく検出できるようになる。また、虹彩検出の場合は、（虹彩認証装置１の）周囲の明るさが極端に明るくても外径が瞳孔ほど変化しないので、同図（Ｂ）に示すように、積分円の中心近傍は休止状態のほうが、誤検出が少なく望ましい。

図８は、本実施形態に係る瞳孔検出装置２の要部における回路ブロック図である。
前述したように、本実施形態の瞳孔検出装置２は、メモリ制御部２０と、画像縮小部２２と、画像前処理部２３と、スイッチ部２４との他に、目画像上に積分円Ｃ_１〜Ｃ_ｎを設定し、各積分円Ｃ_ｉ（但し、ｉ＝１〜ｎ）の円周上の画像データ（輝度値）を抽出する画像データ抽出部２５と、抽出された画像データ（輝度値）を積分円Ｃ_ｉ毎に周回積分する周回積分部２６と、積分値Ｉ_ｉの半径Ｒ_ｉに対する差分値ΔＩ_ｉを求め、それらと差分閾値ΔＩｔｈとを比較し、差分閾値ΔＩｔｈよりも大きい差分値を示すときの積分円の半径を求めることにより、同心円状の積分円の積分値がステップ状に変化する積分円の半径を検出する瞳孔半径検出部２７と、積分円Ｃ_１〜Ｃ_ｎの中心座標（Ｘ、Ｙ）を示すポインタ部２８と、差分値ΔＩ_ｉが差分閾値ΔＩｔｈより大きくなったときの積分円の中心座標を保持する瞳孔位置検出部２９と、を備えている。

ここで、画像データ抽出部２５について説明する。
図９は、画像データ抽出部２５の回路図である。なお、同図には、画像データ抽出部２５にあわせて、１つの積分円Ｃ_ｉと、それに対応する加算器ＡＤ_ｉと、後述する画像抽出制御部１Ｅも示している。

この画像データ抽出部２５は、図８にも示す通り、部分フレームメモリ２５１と、そこから画像データを引出すための引出し線Ｌ_ｉとを備えている。このうち、部分フレームメモリ２５１は、ファーストイン−ファーストアウト（ＦＩＦＯ型）のラインメモリ（ＬＭ
）を複数個直列に接続したものである。この部分フレームメモリ２５１のラインメモリ（ＬＭ）は、図９に示す一行あたりの幅分用意すればよい。

そして、引出し線Ｌ_ｉによって画像上で積分円Ｃ_ｉに対応するｍ個の画素から、画像データを引出している。なお、図を見やすくするため、図９には１つの積分円Ｃ_ｉとその円周上にある４個の画素データ（ｄ_ａ〜ｄ_ｄ）を引出す引出し線Ｌ_ｉのみを示したが、本実施形態においては、２０個の積分円Ｃ_１〜Ｃ_２０から各々８個ずつデータの引出し線が引出されている。

従って、図８及び図９において、部分フレームメモリ２５１に１画素ずつ画像データ（ｓｉｇ）を入力する毎に、部分フレームメモリ２５１に保持されている画像全体が１画素ずつシフトするので、引出し線Ｌ_ｉから引出される画像データも１画素ずつシフトすることになる。即ち、部分フレームメモリ２５１に画像データ（ｓｉｇ）を１画素分入力すると、部分画像上では積分円Ｃ_１〜Ｃ_ｎが右に１画素分移動する。また、１ライン分の画像データ（ｓｉｇ）を入力すると、部分画像上では積分円Ｃ_１〜Ｃ_ｎが１ライン分下へ移動する。

こうして、１フレーム分の画像データが部分フレームメモリ２５１に入力する間に、部分画像上では積分円Ｃ_１〜Ｃ_ｎが部分画像全体を走査することになる。従って、ポインタ部２８は、部分フレームメモリ２５１へ画像データを取り込む周期と同期したクロックをカウントすることにより、Ｘカウンタ２８１およびＹカウンタ２８２の出力によって積分円の中心座標（Ｘ、Ｙ）が示される。そして、前述の部分フレームメモリ２５１からの各引き出し線Ｌ_ｉは、図９に示すように、前述した画像抽出制御部１Ｅに入力されている。

この画像抽出制御部１Ｅは、図１０に示すように、各引き出し線のオン、オフ制御を行うスイッチＳＷ１〜ＳＷ４と、積分円の輝度値の減算を行うＤ１，Ｄ２と、積分円の輝度値と閾値Ｐｔｈとの比較を行う比較器Ｃ１，Ｃ２と、この比較器Ｃ１，Ｃ２の出力値の比較を行うコンパレータＣＯＭとを備えるものであり、部分フレームメモリ２５１の、図４に示すＫ１、Ｋ２及びＫ３、Ｋ４に相当するすべての積分円の輝度値を比較し、対称性のチェックを行う。また、この画像抽出制御部１Ｅは、各引き出し線Ｌ_ｉのオン、オフ制御を行い、図７に示すように、瞳孔検出（同図（Ａ））の場合は、すべての画像データ抽出ポイントをオンにする。一方、虹彩検出（同図（Ｂ））の場合は、点線で示された画像データ抽出ポイントをオフにする制御を行う。このオン、オフの切り替えは、光センサー部１Ｄからの出力値を判定して行う。なお、図１０中、符号Ｐｔｈは、(１)式に示す閾値のことである。

次に、周回積分部２６について説明する。
この周回積分部２６は、図８に示すように、積分円Ｃ_１〜Ｃ_ｎの各々に対して独立な加算器２６_１〜２６_ｎを備えており、各積分円Ｃ_ｉの円周上に位置するｍ個の画像データを加算し、各々の加算結果を積分値Ｉ_ｉとして瞳孔半径検出部２７へ出力する。

次に、瞳孔半径検出部２７は、差分器を構成するｎ−１個の減算器２７１_１〜２７１_ｎ−１と、セレクタ２７２と、差分値計算部２７３と、コンパレータ２７４と、レジスタ２７５と、を備えている。減算器２７１_１〜２７１_ｎ−１は、各積分円Ｃ_ｉに対する積分値Ｉ_ｉの半径Ｒに対する差分を求める。すなわち、積分円Ｃ_１〜Ｃ_ｎのうち、半径の１つ違う円Ｃ_ｉとＣ_ｉ−１とに対する、積分値Ｉ_ｉとＩ_ｉ−１との差分値ΔＩ_ｉ

を求める。

この差分値ΔＩ_ｉは、セレクタ２７２及び差分値計算部２７３を介して、順次コンパレータ２７４で差分閾値ΔＩｔｈと比較される。そして、この差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きい場合には、つまり、

の場合には、レジスタ２７５は、そのときの積分円の半径を保持する。
さらに、このように差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きい場合に、このときの差分値ΔＩ_ｉを保持するレジスタ２７５の他に、最大差分値（ΔＩ_ＭＡＸ１）とこの最大差分値を与えた積分円の外側の積分円の中での最大差分値（ΔＩ_ＭＡＸ２）とで総合評価値を計算する。

この差分値計算部により、差分値を（４）式で示す総合評価値に置き換えて、誤検出防止機能を実現することができる。

瞳孔位置検出部２９は、レジスタ２９１、２９２を備えており、瞳孔半径検出部２７で瞳孔を検出したときの、Ｘカウンタ２８１およびＹカウンタ２８２の値をレジスタ２９１、２９２に保持する。

次に、瞳孔検出装置２の動作について、図１１に示すフローチャート（瞳孔検出装置２の部分画像１フレーム分の動作を示す）を用いて説明する。なお、以下の説明では、部分画像データが順次走査されていく走査データであり、その１フレームが、たとえば２４０ライン×２４０pixel（ピクセル）のデジタルデータで構成されているものとする。

まず瞳孔検出装置２は、１画素分の画像データ（ｓｉｇ）を取り込む（ステップＳ２１）。取り込んだ画像データが１フレームの先頭のデータであるかを判別し（ステップＳ２２）、そうであれば、ステップＳ２４へ移行する。一方、そうでなければ、Ｙカウンタ２８２をリセットするとともに、瞳孔半径検出部２７のレジスタ２７５、瞳孔位置検出部２９のレジスタ２９１、２９２をリセットする（ステップＳ２３）。
次に、ステップＳ２４において、取り込んだデータが１ラインの先頭のデータであるかを判別し、そうであればステップＳ２６へ移行する。一方、そうでなければ、Ｘカウンタ２８１をリセットし、Ｙカウンタ２８２をインクリメントする（ステップＳ２５）。次に、ステップＳ２６において、Ｘカウンタ２８１をインクリメントする。

次に、取り込んだ画像データを部分フレームメモリ２５１に取り込む。すると部分画像上でｎ個の積分円Ｃ_１〜Ｃ_ｎに対応する画素のうち各々の積分円Ｃ_ｉからｍ個ずつ、合計でｎ×ｍ個の画像データが引出される。そして、各積分円Ｃ_ｉに対応する加算器ＡＤ_ｉはそれぞれ画像データの積分値Ｉ_ｉを算出し、瞳孔半径検出部２７はそれぞれの積分値Ｉ_ｉの差分値ΔＩ_ｉを計算する（ステップＳ２７）。そして、差分値ΔＩ_ｉと差分閾値ΔＩｔｈとを比較する（ステップＳ２８）。そして、差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きい場合には、瞳孔が検出されたものとみなし、そのときの積分円の半径を瞳孔半径Ｒｏとして保持する。同時に瞳孔位置検出部２９は、積分円の中心座標を瞳孔位置座標（Ｘｏ、Ｙｏ）として保持する（ステップＳ２９）。一方、差分値ΔＩ_ｉが差分閾値ΔＩｔｈ以下の場合には、ステップＳ２１に戻り、次の１画素分の画像データを取り込む。

以上のようにして、ステップＳ２１からステップＳ２９までの一連の動作は、部分フレームメモリ２５１に画像データを１画素分入力する毎に実行される。たとえばフレーム周波数が３０Ｈｚ、目画像が６４０×４８０画素で構成されている場合、１／（３０×６４０×４８０）秒以下の時間で上記の一連の動作が実行される。そして、部分フレームメモリ２５１に１画素入力されると、積分円は画像上で１画素分移動するので、１フレームの画像を入力する間に積分円が画像上を１回走査することになる。このようにして、比較的小規模な回路を用いて、撮像部１Ａで撮像された画像データに対してリアルタイムで瞳孔検出することができる。

なお、上記の実施形態においては、差分値ΔＩ_ｉと差分閾値ΔＩｔｈとを比較し、差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きくなった時点で瞳孔が検出されたものとみなし、そのときの積分円の半径および中心座標をそれぞれ瞳孔の半径および瞳孔の中心座標とした。しかし、真の瞳孔位置以外の位置で偶発的に差分値ΔＩ_ｉが差分閾値ΔＩｔｈよりも大きくなる可能性を考慮して、差分閾値ΔＩｔｈよりも大きい差分値ΔＩ_ｉが複数存在した場合、最も大きい差分値に対応する積分円の半径および中心座標をそれぞれ瞳孔の半径および瞳孔の中心座標とする構成にしてもよい。このように構成することにより、瞳孔検出装置の誤動作をさらに防ぎ、瞳孔検出精度を上げることができる。
また、本実施形態においては、同心円状の積分円の数を２０、１つの積分円から引出す画像データの数を８個としたが、これらの数は検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。

なお、本発明は上述した実施形態に何ら限定されるものはではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。

本発明は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置を提供することができ、かつ使用者の使い勝手がよいので、個人認証等に用いられる虹彩認証装置等として有用である。

本発明の実施形態における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図 その瞳孔検出装置を用いた虹彩認証装置の動作を示すフローチャート その瞳孔検出装置の顔画像から目画像を切り出す方法を説明するための説明図 その瞳孔検出装置の水平方向の対称性で誤検出防止を説明するための説明図 その瞳孔検出装置の瞳孔検出方法を説明するためのものであって、（Ａ）は瞳孔と虹彩を示す模式図、（Ｂ）は半径と積分値との関係を示すグラフ、（Ｃ）は半径と微分値との関係を示すグラフ、（Ｄ）は積分円Ｃ_１〜Ｃ_ｎを目画像上で移動させて瞳孔の位置とその半径を求める検出動作を示す説明図 その瞳孔検出装置の縮小画像での瞳孔検出方法を説明するためのものであり、（Ａ）は瞳孔及び虹彩と積分円との大きさの関係を示す説明図、（Ｂ）は半径と積分値との関係を示すグラフ、（Ｃ）は半径と微分値との関係を示すグラフ その瞳孔検出装置の縮小画像での瞳孔検出動作と虹彩検出動作の切り替えを説明するためのものであって、（Ａ）は瞳孔検出設定時の周回積分の実施領域、（Ｂ）は虹彩検出設定時の周回積分の実施領域を示す説明図 本実施形態における瞳孔検出装置の回路ブロック図 本実施形態における画像データ抽出部の回路図 本実施形態における画像抽出制御部を示すブロック図 本実施形態における瞳孔検出装置の目画像１フレーム分の動作を示すフローチャート

符号の説明

１ 虹彩認証装置
１Ａ 撮像部
１Ｂ 照明部
１Ｃ 認証処理部
１Ｄ 光センサー部（センサー）
１Ｅ 画像抽出制御部（瞳孔検出／虹彩検出の切替手段）
２ 瞳孔検出装置
２０ メモリ制御部
２１ メモリ部
２２ 画像縮小部
２３ 画像前処理部
２４ スイッチ
２５ 画像データ抽出部
２５１ 部分フレームメモリ
２６ 周回積分部
２７ 瞳孔半径検出部
２８ ポインタ部
２９ 瞳孔位置検出部
Ｃ_１〜Ｃ_ｎ、Ｃ_ｉ 積分円
Ｃ１、Ｃ２ 比較器
Ｄ１、Ｄ２ 減算器
Ｋ１、Ｋ２、Ｋ３、Ｋ４ 輝度値
ＳＷ１〜ＳＷ４ 引出し線スイッチ
α 瞳孔
β 虹彩
γ 目画像を切り出す範囲

Claims (14)

1. 認証対象者の顔画像を撮影する撮像部と、
   前記顔画像を縮小した縮小画像を生成する縮小処理部と、
   前記縮小処理部での処理を回避するためのスイッチと、
   同心円状の複数円をそれぞれ積分円として設定し、前記顔画像或いは前記縮小画像から前記それぞれの積分円の円周上に位置する瞳孔周辺のデータを抽出する画像データ抽出部と、
   前記画像データ抽出部が抽出した前記瞳孔周辺のデータを前記それぞれの積分円の円周に沿って積分する周回積分部と、
   前記周回積分部の積分値が前記積分円の半径に対してステップ状に変化したことを検出する瞳孔半径検出部と、
   前記瞳孔半径検出部が前記ステップ状の変化を検出するとそのときの積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部と
   を備え、
   前記縮小画像から瞳孔位置を検出した後、前記スイッチを切り換えて、前記顔画像から瞳孔位置を検出する瞳孔検出装置。
2. 前記画像前処理部は、前記縮小画像のデータに対しローパスフィルタによって高周波成分を除去する請求項１に記載の瞳孔検出装置。
3. 前記画像前処理部は、複数の円を積分円として前記縮小画像上で移動させながら、前記積分円の円周上に位置する目画像のデータを抽出し、前記目画像のデータの中で水平方向の対称性が成立していないものを前記目画像の候補から取り除く機能を有する請求項１または２に記載の瞳孔検出装置。
4. 前記画像前処理部は、複数の円を積分円として前記縮小画像上で移動させながら、前記積分円の円周上に位置する前記目画像のデータを抽出し、前記目画像のデータの中から、隣接積分円の差が一番大きい差分値と、そのときの円周よりも外側の円周において同様に隣接する積分円の差の一番大きい差分値との２つのデータを用いた計算式により、前記目画像を抽出するための総合的な評価値を計算する手段を有する請求項１から３のいずれか１項に記載の瞳孔検出装置。
5. 周囲の明暗を識別するセンサーと、
   周囲環境の明るさにより、瞳孔検出から虹彩検出に検出対象を切り替える手段と、
   を有する請求項１から４のいずれか１項に記載の瞳孔検出装置。
6. 前記瞳孔半径検出部は、前記同心円状の複数の積分円のうち、半径の最も近い２つの積分円の積分値の差分値が所定の閾値より大きい場合に、前記積分値が前記積分円の半径に対してステップ状に変化したとみなす機能を有する請求項１から５のいずれか１項に記載の瞳孔検出装置。
7. 前記所定の閾値は、前記積分円が虹彩上にある場合の積分値と、前記積分円が瞳孔上にある場合の積分値との差の１／４倍〜１倍の範囲に設定されている請求項６に記載の瞳孔検出装置。
8. 前記画像データ抽出部は、ファーストイン−ファーストアウト（ＦＩＦＯ）型のラインメモリを複数本つなぎ合わせた部分フレームメモリと、前記部分フレームメモリから前記同心円状の複数の積分円のそれぞれの円周上の画素に対応する画像データを引出すための引出し線とを有するとともに、
   前記各引き出し線のオン、オフ制御を行う手段と比較器とを備えた画像抽出制御部を有する
   請求項１から７のいずれか１項に記載の瞳孔検出装置。
9. 積分円の中心座標を示すポインタ部を備え、
   前記ポインタ部は、前記部分フレームメモリへ画像データを取り込む周期と同期したクロックをカウントするカウンタを有する請求項８に記載の瞳孔検出装置。
10. 前記周回積分部は、前記画像データ抽出部が抽出した画像データを前記積分円のそれぞれの円周に沿って加算する複数の加算器を有する請求項１から９のいずれか１項に記載の瞳孔検出装置。
11. 前記瞳孔半径検出部は、前記同心円状の複数の積分円のうち、半径の最も近い２つの積分円の積分値の差分値を計算する差分器と、
    前記差分器から出力される差分値と前記所定の閾値とを比較する比較器と、
    前記差分値が前記所定の閾値より大きい場合の積分円の半径を瞳孔半径として保持するレジスタと、
    差分値から差分評価値を計算する差分計算部と、
    を備えた請求項１から１０のいずれか１項に記載の瞳孔検出装置。
12. 前記瞳孔位置検出部は、前記瞳孔半径検出部が積分円の半径を瞳孔半径として検出したとき、その積分円の中心座標を示す前記ポインタ部のカウンタ出力を瞳孔位置座標として保持するレジスタを備えた請求項９から１１のいずれか１項に記載の瞳孔検出装置。
13. 請求項１から１２のいずれか１項に記載の瞳孔検出装置を備えた虹彩認証装置。
14. 認証対象者の顔を撮影した顔画像を蓄積すると同時に、前記顔画像を縮小した縮小画像を生成するための前処理を施す第１のステップと、
    前記顔画像上に、同心円状の複数の円をそれぞれ積分円として設定し、前記積分円の円周上に位置する複数個の顔画像データを抽出する第２のステップと、
    前記第２のステップで抽出された前記顔画像データを前記積分円のそれぞれの円周に沿って積分する第３のステップと、
    前記第３のステップにおける積分値が前記積分円の半径に対してステップ状に変化したことを検出する第４のステップと、
    前記第４のステップにおいて前記ステップ状の変化が検出された場合に、その積分円の中心座標を瞳孔位置座標として検出する第５のステップとを備え、
    前記縮小画像に対して前記第２のステップから第５のステップの処理を行った後に、前記第５のステップにおいて得られた瞳孔位置座標に基づき、蓄積してある前記顔画像から目画像を切り出し、前記第２のステップから第５のステップの処理を再び行う瞳孔検出方法。

Images