JP2008021121A - 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 - Google Patents
瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 Download PDFInfo
- Publication number
- JP2008021121A JP2008021121A JP2006192331A JP2006192331A JP2008021121A JP 2008021121 A JP2008021121 A JP 2008021121A JP 2006192331 A JP2006192331 A JP 2006192331A JP 2006192331 A JP2006192331 A JP 2006192331A JP 2008021121 A JP2008021121 A JP 2008021121A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- integration
- radius
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 225
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 230000010354 integration Effects 0.000 claims abstract description 88
- 238000013075 data extraction Methods 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000016339 iris pattern Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】高速にかつ精度良く瞳孔位置の検出が可能であるとともに、装置構成の簡易化が可能な瞳孔検出装置を提供する。
【解決手段】画像の一部分を読み出す画像読出部170と、読み出された画像上に、同心円状の複数の円をそれぞれ積分円として設定し、積分円の円周上に位置する複数個の画素データを抽出する画像データ抽出部220と、抽出した画素データを積分円のそれぞれの円周に沿って積分する周回積分部230と、その積分値が積分円の半径に対してステップ状に変化したことを検出する瞳孔半径検出部250と、ステップ状の変化を検出した場合に、その積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部280とを備えた。
【選択図】図1
【解決手段】画像の一部分を読み出す画像読出部170と、読み出された画像上に、同心円状の複数の円をそれぞれ積分円として設定し、積分円の円周上に位置する複数個の画素データを抽出する画像データ抽出部220と、抽出した画素データを積分円のそれぞれの円周に沿って積分する周回積分部230と、その積分値が積分円の半径に対してステップ状に変化したことを検出する瞳孔半径検出部250と、ステップ状の変化を検出した場合に、その積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部280とを備えた。
【選択図】図1
Description
本発明は、個人認証等に用いられる虹彩認証装置に関し、特に目画像(目を含む画像)の中から瞳孔の位置を検出する瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法に関する。
従来から、特に虹彩認証方法において、目画像の中から瞳孔の位置を検出する様々な方法が提案されている。例えば、目画像の画像データ(以下、「目画像データ」と記す)を2値化し、低輝度領域の中の円形の領域を瞳孔として検出する方法や、半径がrであり、中心座標が(x0、y0)である円の弧に対して画像強度I(x、y)の周回積分を計算し、半径rが増加するに従って、rに関するこの量の部分的な導関数を計算することによって瞳孔を検出する方法等が知られている(例えば、特許文献1を参照。)。
さらに、最近では、より高速かつ精度良く瞳孔位置の検出を可能とするために、目画像上に複数の半径を有する同心円状の積分円を設定し、その積分円上の目画像データ(画素データ)を周回積分して、その値が積分円の半径に対してステップ状に変化したことを検出した場合に、瞳孔が検出されたとする技術が提案されている(例えば、特許文献2を参照。)。
特表平8−504979号公報
特開2006−25970号公報
しかしながら、上述の技術を用いた場合には、高速かつ精度良く瞳孔位置の検出が可能であるが、目画像データ(画素データ)を検出するために、画像の幅分のラインメモリを用いる必要があり、低コスト化のために、更なる装置構成の簡易化が課題となっていた。
本発明は、これらの課題に鑑みなされたものであり、高速にかつ精度良く瞳孔位置の検出が可能であるとともに、装置構成の簡易化が可能な瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法を提供することを目的とする。
本発明の瞳孔検出装置は、連続して撮影された複数の画像から瞳孔を検出することを目的とする瞳孔検出装置であり、画像の内、瞳孔の検出範囲を読み出す画像読出部と、瞳孔の検出を行う画像よりも以前に撮像された画像における瞳孔検出結果に基づいて画像読出部を制御する読出制御部と、画像読出部によって読み出された部分画像上に、同心円状の複数の円をそれぞれ積分円として設定し、積分円のそれぞれの円周上に位置する複数個の画素データを画像データから抽出する画像データ抽出部と、画像データ抽出部が抽出した画素データを積分円のそれぞれの円周に沿って積分する周回積分部と、周回積分部の積分値が積分円の半径に対してステップ状に変化しているか否かに基づいて瞳孔を検出する瞳孔半径検出部と、瞳孔半径検出部がステップ状の変化を検出した場合に、その積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備えたことを特徴とする。
この構成により、高速にかつ精度良く瞳孔位置の検出が可能であるとともに、画像読出部が画像の一部分を読み出して画像データ抽出部に送るので、画像データ抽出部のメモリ容量を少なくして、装置構成の簡易な瞳孔検出装置を提供することができる。
さらに部分画像は縦方向のサイズが横方向のサイズよりも小さいことを特徴としても良い。
目の上下方向の位置あわせは容易であるのに対して左右方向の位置がずれることは多いため、横方向のサイズを左右方向のずれに合わせて長くして、縦方向のサイズを横方向よりも短くすることにより、効率良く瞳孔の検出ができる。
さらに、読出制御部は、画像読出部に、画像の中央部分を最初に読み出させる構成であっても良い。
このような構成によれば、さらに、あらかじめ被認証者の目位置が画像の中央部分に誘導されている場合に適した構成を実現できる。
また、読出制御部は、画像読出部に、画像の左側部分および右側部分を交互に読み出させる構成であっても良い。
このような構成によれば、さらに、被認証者の目位置がある程度左右に動いたような場合にも、迅速に瞳孔を検出することのできる構成を実現できる。
また、読出制御部は、画像読出部に、画像の中央部分から開始して、画像の左側部分および右側部分にも読み出す部分を変化させる構成であっても良い。
このような構成によれば、さらに、あらかじめ被認証者の目位置が画像の中央部分に誘導されている場合には、開始時に瞳孔を検出できるとともに、被認証者の目位置がある程度左右に動いたような場合にも、迅速に瞳孔を検出することのできる構成を実現できる。
また、読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、1つ前のフレームで読み出した位置と同じ位置の部分を読み出すようにしても良い。
このようにすることにより、瞳孔を含む部分を読み出す可能性が高まる。
また、読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、その座標をもとにして読み出し部分を決定し、その部分を読み出すようにしても良い。
このようにすることにより、瞳孔を含む部分を読み出す可能性を高めることができる。
また、読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、決定可能な読み出し部分の内、その座標が読み出し部分の中で最も中央に近くなる読み出し部分を決定し、その部分を読み出すようにしても良い。
このようにすることにより、瞳孔を含む部分を読み出す可能性を高めることができる。
また、読出制御部は、瞳孔半径検出部がステップ状の変化を検出した領域を画像読出部に読み出させる構成であっても良い。
このような構成によれば、さらに、瞳孔半径検出部において、瞳孔が存在すると判定された領域について、画像読出部に読み出させることができるので、より効率的に迅速な瞳孔の検出を行うことができる。
また、瞳孔半径検出部は、同心円状の複数の積分円の内、半径の最も近い2つの積分円の積分値の差分値が所定の閾値より大きい場合に、積分値が積分円の半径に対してステップ状に変化したとみなす構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いて瞳孔半径検出部を構成することが可能となる。
また、所定の閾値は、積分円が虹彩上にある場合の積分値と積分円が瞳孔上にある場合の積分値との差の1/4倍〜1倍の範囲に設定されている構成であっても良い。
このような構成によれば、さらに、瞳孔を正しく検出する確率を上げることができる。
また、画像データ抽出部は、ファーストイン−ファーストアウト(FIFO)型のラインメモリを複数本接続した部分フレームメモリであって、同心円状の複数の積分円のそれぞれの円周上の画素に対応する画素データを引出すための引出し線を設けた部分フレームメモリを有する構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いて画像データ抽出部を構成することが可能となる。
また、積分円の中心座標を示すポインタ部を備え、そのポインタ部は部分フレームメモリへ画像データを取り込む周期と同期したクロックをカウントするカウンタを有する構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いてポインタ部を構成することが可能となる。
また、周回積分部は、画像データ抽出部が抽出した画素データを積分円のそれぞれの円周に沿って加算する複数の加算器を有する構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いて周回積分部を構成することが可能となる。
また、瞳孔半径検出部は、同心円状の複数の積分円の内、半径の最も近い2つの積分円の積分値の差分値を計算する差分器と、差分器から出力される差分値と所定の閾値とを比較する比較器と、差分値が所定の閾値より大きい場合の積分円の半径を瞳孔半径として保持するレジスタとを有する構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いて瞳孔半径検出部を構成することが可能となる。
また、瞳孔位置検出部は、瞳孔半径検出部が積分円の半径を瞳孔半径として検出したとき、その積分円の中心座標を示すポインタ部のカウンタ出力を瞳孔位置座標として保持するレジスタを有する構成であっても良い。
このような構成によれば、さらに、比較的小規模な回路を用いて瞳孔位置検出部を構成することが可能となる。
次に、本発明の虹彩認証装置は、本発明の瞳孔検出装置を備えたことを特徴としている。
この構成によれば、高速にかつ精度良く瞳孔位置の検出が可能であるとともに、画像読出部が画像の一部分を読み出して画像データ抽出部に送るので、画像データ抽出部のメモリ容量を少なくして、装置構成の簡易な瞳孔検出装置を搭載した虹彩認証装置を提供することができる。
次に、本発明の瞳孔検出方法は、連続して撮像された複数の画像から瞳孔を検出することを目的とする瞳孔検出方法であって、瞳孔の検出を行う画像よりも以前に撮像された画像における瞳孔検出結果に基づいて瞳孔の検出範囲を読み出す第1のステップと、第1のステップによって読み出された画像上に、同心円状の複数の円をそれぞれ積分円として設定し、積分円の円周上に位置する複数個の画素データを抽出する第2のステップと、第2のステップで抽出された画素データを積分円のそれぞれの円周に沿って積分する第3のステップと、第3のステップにおける積分値が積分円の半径に対してステップ状に変化したことを検出する第4のステップと、第4のステップにおいてステップ状の変化が検出された場合に、その積分円の中心座標を瞳孔位置座標として検出する第5のステップとを備えたことを特徴とする。
このような方法によれば、画像の一部分を読み出して処理を行うので、高速にかつ精度良く瞳孔位置の検出が可能な瞳孔検出方法を提供することができる。
本発明によれば、高速にかつ精度良く瞳孔位置の検出が可能であるとともに、装置構成の簡易化が可能な瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法を提供することができる。
(実施の形態)
以下、本発明の実施の形態における、瞳孔検出装置および瞳孔検出方法を用いた虹彩認証装置について、図面を用いて説明する。
以下、本発明の実施の形態における、瞳孔検出装置および瞳孔検出方法を用いた虹彩認証装置について、図面を用いて説明する。
図1は本発明の実施の形態における瞳孔検出装置200を用いた虹彩認証装置100の回路ブロック図である。図1には、瞳孔検出および虹彩認証のための目画像を取り込むために必要な撮像部120、照明部130、認証処理部140も示している。
虹彩認証装置100は、使用者の目画像を撮影する撮像部120、目画像の中から瞳孔位置とその半径を検出する瞳孔検出装置200、目画像から得られた虹彩コードを登録されている虹彩コードと比較して個人認証を行う認証処理部140、目画像取得に適した光量の近赤外線を照射し使用者の目とその周辺部分を照明する照明部130を備えている。
撮像部120は、誘導ミラー121、可視光カットフィルタ122、レンズ123、撮像素子124および前処理部125を有する。本発明の実施の形態においては、レンズ123として固定焦点レンズを用いることにより光学系の小型、軽量化と低コスト化を実現している。誘導ミラー121は使用者が自らの目を映すことにより目を正しい撮像位置へ移動させるよう誘導するためのものである。そして、使用者の目とその周辺部分を可視光カットフィルタ122およびレンズ123を通して撮像素子124で撮影する。前処理部125は、撮像素子124の出力信号から画像データ成分を取り出し、ゲイン調整等、画像データとして必要な処理を行った上で、使用者の目画像データとして出力する。
瞳孔検出装置200は、前処理部125から送られた目画像データから、後述する所定の領域を読み出して出力する画像読出部170、画像読出部170の読み出し領域を制御する読出制御部180、画像読出部170で読み出されたデータを用いて処理を行う画像データ抽出部220、周回積分部230、瞳孔半径検出部250、ポインタ部260、および、瞳孔位置検出部280を有する。詳細は後述するが、この構成によって、前処理部125から出力された目画像データの内、一部の領域から瞳孔を検出し、瞳孔中心座標とその半径を認証処理部140へ出力する。
認証処理部140は、瞳孔検出装置200から出力された瞳孔の中心座標に基づき、目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較することによって認証動作を実行する。
図2は本発明の実施の形態における瞳孔検出装置200を用いた虹彩認証装置100の動作を示すフローチャートである。まず、使用者が虹彩認証装置100の前に立つ等により認証動作を開始させる(S11)。すると撮像部120が使用者の目画像を撮影する(S12)。前処理部125は取得した目画像のフォーカス、輝度、コントラスト等の画質が適切であるかを判定し、適切でない場合には照明制御や使用者に対する指示等、必要な処理を行い、再度目画像を取り込む(S13)。取得した目画像が適切な場合は瞳孔検出装置200が瞳孔位置とその半径を検出する。そして瞳孔の中心座標とその半径を認証処理部140へ出力する(S20)。瞳孔が検出されると、認証処理部140は瞳孔の中心座標に基づき目画像データの中から虹彩画像を切り出す(S41)。そして、虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し(S42)、登録されている虹彩コードと比較することによって認証動作を実行する(S43)。
次に瞳孔検出装置200の構成とその動作について詳細に説明する。図3は本発明の実施の形態における瞳孔検出装置200の瞳孔検出方法を説明するための図である。瞳孔を含む画像の中には図3(a)に示すように、瞳孔を示す円盤状の低輝度領域とその外側に虹彩を示す円環状の中輝度領域とが存在する。従って、瞳孔中心の位置座標(Xo,Yo)を中心として半径Rの積分円Cの円周に沿って画素データを周回積分すると図3(b)に示すように積分値Iは半径Rの値に応じて推移し瞳孔半径Roを境としてステップ状に変化することになる。そこで、図3(c)に示すように積分値Iを半径Rで微分した値(以下、「差分値」と記す)dI/dRが所定の閾値(以下、「差分閾値」と記す)ΔIthを超えるときの積分円の半径を求めることにより瞳孔半径Roを知ることができる。
瞳孔検出装置200は以上の考え方に基づき瞳孔の位置座標(Xo,Yo)と瞳孔半径Roを検出する。まず、図3(d)に示すように中心座標が等しく半径の異なるn個の積分円C1〜Cnを目画像上に想定し、各々の積分円Ci(i=1〜n)に対してその円周上に位置する画素データを積分する。実使用においては、例えば各々の積分円Ciの円周上に位置する画素の画素データの平均値を計算するか、円周上に位置する画素の中から一定数(m個)の画素を選んでその画素データを加算する。本発明の実施の形態においては同心円状の積分円の数nを20とし、各積分円Ciの円周上に位置する画素の中からm=8画素を選んでその画素データを加算し周回積分の積分値Iとした。このとき、積分円C1〜Cnの中心が瞳孔中心に一致しない場合は、積分値Iiは緩やかに変化するので、その差分値ΔIiは大きな値を示さないのに対し積分円C1〜Cnの中心が瞳孔中心と一致している場合には、上述したように、各積分円Ciに対する積分値Iiがステップ状に変化するので、積分値Iiの半径Rに対する差分値ΔIiを求めると瞳孔半径Roに等しいところで大きな極大値ΔIを示すことになる。従って、差分値ΔIiが差分閾値ΔIthよりも大きな値を示す積分円Ciを求めることで、瞳孔の位置とその半径を求めることができる。
ここで、本実施の形態における画像読出部170および読出制御部180の機能について説明する。図4は、本発明の実施の形態における瞳孔検出装置200の画像読出部170および読出制御部180の機能について説明するための図である。図4に示したように、読出制御部180は、画像読出部170に対して、図4(a)から図4(c)に示したように、目画像150の領域の内、部分画像160〜162の領域を選択的に読み出させる。
すなわち、読出制御部180は、部分画像160〜162の領域に相当するデータが撮像部120から出力されているときはそのデータが画像読出部170を通して画像データ抽出部220に入力されるように制御をし、部分画像160〜162の領域に相当するデータが撮像部120から出力されていないときは画像データ抽出部220にデータが入力されないように制御する。
読出制御部180が上記の制御をすることによって部分画像160〜162の領域に相当するデータのみが選択されて画像データ抽出部220に入力される。
図4(a)に示した例では、画像読出部170が、目画像150の中央部付近の部分画像160を読み出す例であり、このような読み出しを行うことによって、あらかじめ所定位置にまで誘導された被認証者の目は中央部付近に撮影されていることが多いので、確実に瞳孔を検出できる。
また、図4(b)および図4(c)に示した例では、画像読出部170が、目画像150の右側部分および左側部分の部分画像161、162をそれぞれ読み出す例であり、このような読み出しを行うことによって、被認証者が誘導された状態から動いてしまったような場合にも確実に瞳孔を検出できる。
このときの、部分画像160〜162の領域の大きさは、目画像150の領域が320画素×240画素である場合に、192画素×192画素〜240画素×240画素程度の正方形状にすることで、確実に瞳孔を検出することができる。
なお、目の位置の上下方向は位置決めがしやすく、左右方向は位置決めが難しい。従って、目画像の領域は上下方向に拡大するよりも本実施の形態のように左右方向に拡大する方が望ましい。
なお、読出制御部180は、画像読出部170に、図4(a)〜図4(c)に示した部分画像160〜162のいずれかの領域を読み出すように制御しても良いし、フレーム毎に読み出す部分画像を変化させても良い。例えば、撮影開始時には、部分画像160(中央部分)の領域を読み出させておいて、次のフレームでは、部分画像161の領域を読み出させ、さらに次のフレームでは部分画像162を読み出させることも可能であるし、この処理を繰り返し行うことも可能である。
この場合は部分画像160と部分画像161のフレーム内での位置が重なりあっていて重なり部分の幅は最も直径が長い積分円の直径よりも長いことが必要である。部分画像160と部分画像162についても同様である。
このように部分画像を読み出す場合に3つの目画像150に連続して瞳孔が認識可能な状態で入り、かつ目の位置が変化しなければ3つの目画像から読み出した部分画像160〜162のいずれかに瞳孔が認識可能な状態で含まれることとなる。
通常の状態では目の位置は変化しないため、部分画像を使用せずに直接目画像を用いて瞳孔検出ができる場合のほとんどは上記の部分画像を用いても瞳孔検出を行っても瞳孔が検出できることとなる。
従って、上記の部分画像を用いて瞳孔の検出を行っても目画像全体を用いて瞳孔検出を行うのと同様の結果が得られる。
また、右側(部分画像161)、左側(部分画像162)の繰り返しでも良い。
この場合は部分画像161と部分画像162のフレーム内での位置が重なりあっていて重なり部分の幅は最も直径が長い積分円の直径よりも長いことが必要である。
また、下記のように画像の一部分を選ぶようにしても良い。
すなわち、瞳孔が検出されるまでは目画像の中央部分、右側部分および左側部分の3フレームを繰り返し選んで画像の一部を選び、瞳孔が検出された場合はその次のフレームでは前回と同じ(すなわち瞳孔が検出された)位置の部分画像を選ぶかまたはその瞳孔ができるだけ中央になるように画像の一部の位置を決めるようにしても良い。
このようにすることにより瞳孔を検出するまでは3フレームで画像全体を検索することができ、瞳孔を検出した後は瞳孔が検出できる可能性が高い部分のみを検索することができる。
上記の例では目画像の中央部分、右側部分および左側部分の3フレームで検索を行ったが、これに代えて右側部分および左側部分の2フレームで検索を行っても良く、この場合も瞳孔を検出するまでは2フレームで画像全体を検索することができ、瞳孔を検出した後は瞳孔が検出できる可能性が高い部分のみを検索することができる。
画像データ抽出部220は、各部分画像160〜162上の各位置に積分円C1〜Cnを移動させて上述の動作を繰り返す。こうして差分値ΔIiが大きな値を示すときの積分円Ciの中心座標(X,Y)とそのときの半径Rを求めることにより、瞳孔の位置座標(Xo,Yo)と瞳孔半径Roを決定することができる。
なお、256階調の画像信号の場合、瞳孔の平均輝度が40階調程度、虹彩の平均輝度が100階調程度となるため、積分円が瞳孔上にある場合の積分値Iはおよそ40×8=320であり、積分円が虹彩上にある場合の積分値Iはおよそ100×8=800である。そこで、差分閾値ΔIthとしては、その差480からその1/4である120の範囲内で設定すると良い。ただし差分閾値ΔIthが小さすぎると瞳孔以外のものを瞳孔と誤って検出する確率が増え、逆に大きすぎると瞳孔を検出できなくなるおそれが大きくなる。従って実験的に最適値を求め差分閾値ΔIthを設定することが望ましい。本発明の実施の形態においては瞳孔の平均輝度の積分値と虹彩の平均輝度の積分値との差の2/3に差分閾値ΔIthを設定している。
図5は、本発明の実施の形態における瞳孔検出装置200の要部の回路ブロック図、図6は、その画像データ抽出部220の構成を示す回路図である。なお、図6には1つの積分円Ciと、それに対応する加算器230iを代表させて示している。
瞳孔検出装置200は、図5に示すように、目画像上に積分円C1〜Cnを設定し各積分円Ciの円周上の画素データを抽出する画像データ抽出部220、抽出された画素データを積分円Ci毎に周回積分する周回積分部230、積分値Iiの半径Riに対する差分値ΔIiを求め、それらと差分閾値ΔIthとを比較し、差分閾値ΔIthよりも大きい差分値を示すときの積分円の半径を求めることにより、同心円状の積分円の積分値がステップ状に変化する積分円の半径を検出する瞳孔半径検出部250、積分円C1〜Cnの中心座標(X,Y)を示すポインタ部260、差分値ΔIiが差分閾値ΔIthより大きくなったときの積分円の中心座標についての位置データを保持する瞳孔位置検出部280を備えている。
画像データ抽出部220は図6に示すように、部分フレームメモリ210とそこから画素データを引出すための引出し線Liから構成されている。部分フレームメモリ210はファーストイン−ファーストアウト(FIFO型)のラインメモリ215を複数個直列に接続したものである。
部分フレームメモリ210のラインメモリは、図6に示す一行あたり、前述の部分画像160〜162の幅、すなわち、一行あたり192〜240画素分用意すれば良い。そして、引出し線Liによって画像上で積分円Ciに対応するm個の画素から画素データを引出している。なお、図面を見やすくするため図5には1つの積分円Ciとその円周上にある4個の画素データを引出す引出し線Liのみを示したが、本発明の実施の形態においては20個の積分円C1〜C20から各々8個ずつデータの引出し線が引出されている。
そして、部分フレームメモリ210に1画素ずつ画像データsigを入力する毎に部分フレームメモリ210に保持されている画像全体が1画素ずつシフトするので、引出し線Liから引出される画素データも1画素ずつシフトすることになる。すなわち、部分フレームメモリ210に画素データsigを1画素分入力すると部分画像上では積分円C1〜Cnが右へ1画素分移動し、1ライン分の画素データsigを入力すると部分画像上では積分円C1〜Cnが1ライン分下へ移動する。こうして、1フレーム分の画像データが部分フレームメモリ210に入力する間に、部分画像上では積分円C1〜Cnが部分画像全体を走査することになる。従ってポインタ部260は、部分フレームメモリ210へ画像データを取り込む周期と同期したクロックをカウントすることにより、Xカウンタ262およびYカウンタ264の出力によって積分円の中心座標(X,Y)が示される。
図5に示すように、周回積分部230は積分円C1〜Cnの各々に対して独立な加算器2301〜230nを備え、各積分円Ciの円周上に位置するm個の画素データを加算し、各々の加算結果を積分値Iiとして瞳孔半径検出部250へ出力する。
瞳孔半径検出部250は、n−1個の減算器2521〜252n−1、セレクタ253、コンパレータ254、レジスタ255を備えている。減算器2521〜252n−1は各積分円Ciに対する積分値Iiの半径Rに対する差分を求める。すなわち、積分円C1〜Cnの内、半径の1つ違う円CiとCi−1とに対する積分値IiとIi−1との差分値ΔIiを求める。そしてセレクタ253を介して順次コンパレータ254で差分閾値ΔIthと比較される。差分値ΔIiが差分閾値ΔIthよりも大きい場合には、レジスタ255はそのときの積分円の半径を保持する。なお、差分値ΔIiが差分閾値ΔIthよりも大きい場合にこのときの差分値ΔIiを保持するレジスタ259を設けても良く、図5にはレジスタ259を破線で示している。
瞳孔位置検出部280は、レジスタ286、287を備えており、瞳孔半径検出部250で瞳孔を検出したときの、Xカウンタ262およびYカウンタ264の値をレジスタ286、287に保持する。
次に、瞳孔検出装置200の動作についてフローチャートを用いて説明する。以下の説明では、部分画像データが順次走査データであり、その1フレームが、例えば240画素×240画素のデジタルデータで構成されているものとする。図7は、本発明の実施の形態における瞳孔検出装置200の目画像1フレーム分の動作を示すフローチャートである。
まず瞳孔検出装置200は1画素分の画像データsigを取り込む(S51)。取り込んだ画像データが1フレームの先頭のデータであれば(S52)、Yカウンタ264をリセットするとともに、瞳孔半径検出部250のレジスタ255、瞳孔位置検出部280のレジスタ286、287をリセットする(S53)。取り込んだデータが1ラインの先頭のデータであれば(S54)、Xカウンタ262をリセットし、Yカウンタ264をインクリメントする(S55)。そして、Xカウンタ262をインクリメントする(S56)。
次に、取り込んだ画像データを部分フレームメモリ210に取り込む。すると部分画像上でn個の積分円C1〜Cnに対応する画素の内、各々の積分円Ciからm個ずつ、合計でn×m個の画像データが引出される。そして各積分円Ciに対応する加算器230iはそれぞれ画素データの積分値Iiを算出し、瞳孔半径検出部250はそれぞれの積分値Iiの差分値ΔIiを計算する(S57)。そして、差分値ΔIiと差分閾値ΔIthとを比較し(S58)、差分値ΔIiが差分閾値ΔIthよりも大きい場合には瞳孔が検出されたものとみなし、そのときの積分円の半径を瞳孔半径Roとして保持する。同時に瞳孔位置検出部280は積分円の中心座標を瞳孔位置座標(Xo,Yo)として保持する(S59)。差分値ΔIiが差分閾値ΔIth以下の場合には、ステップS51にもどり、次の1画素分の画像データを取り込む。
以上の、ステップS51からステップS59までの一連の動作は、部分フレームメモリ210に画像データを1画素分入力する毎に実行される。例えばフレーム周波数が30Hz、目画像が320画素×240画素で構成されている場合、1/(30×320×240)秒以下の時間で上記の一連の動作が実行される。そして、部分フレームメモリ210に1画素入力されると積分円は画像上で1画素分移動するので、1フレームの画像を入力する間に積分円が画像上を1回走査することになる。このようにして、比較的小規模な回路を用いて、撮像部120で撮影された画像データに対してリアルタイムで瞳孔検出することができる。
なお、上記の実施の形態においては、差分値ΔIiと差分閾値ΔIthとを比較し、差分値ΔIiが差分閾値ΔIthよりも大きくなった時点で瞳孔が検出されたものとみなし、そのときの積分円の半径および中心座標をそれぞれ瞳孔の半径および瞳孔の中心座標とした。しかし、真の瞳孔位置以外の位置で偶発的に差分値ΔIiが差分閾値ΔIthよりも大きくなる可能性を考慮して、差分閾値ΔIthよりも大きい差分値ΔIiが複数存在した場合、最も大きい差分値に対応する積分円の半径および中心座標をそれぞれ瞳孔の半径および瞳孔の中心座標とする構成にしても良い。この構成により、瞳孔検出装置の誤動作を防ぎ、瞳孔検出精度を上げることができる。
また、本実施の形態においては同心円状の積分円の数を20、1つの積分円から引出す画素データの数を8個としたが、これらの数は検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。
なお、上記の実施の形態では部分フレームメモリ210は240画素×240画素のように矩形状の画像を記憶するようになっているが最終行(図6では一番下の行)では積分円C1の計算の用いられた後(図6では一番下の行の塗りつぶした画素の右側の情報)は使われることがないため記憶しておく必要はない。
従って、矩形状の画像のすべてについてメモリは必要なく、積分円の計算に用いる可能性がなくなった部分を省略して良い。
すなわち、図6ではわかりやすいように矩形状に配置した図面を示しているが実際には周回積分が求まれば良いので矩形状にメモリが配置されている必要はない。
本発明は、高速にかつ精度良く瞳孔位置の検出が可能な瞳孔検出装置を提供することができるので、個人認証等に用いられる虹彩認証装置等に用いる瞳孔検出装置として有用である。
100 虹彩認証装置
120 撮像部
130 照明部
140 認証処理部
150 目画像
160〜162 部分画像
170 画像読出部
180 読出制御部
200 瞳孔検出装置
220 画像データ抽出部
230 周回積分部
250 瞳孔半径検出部
260 ポインタ部
280 瞳孔位置検出部
120 撮像部
130 照明部
140 認証処理部
150 目画像
160〜162 部分画像
170 画像読出部
180 読出制御部
200 瞳孔検出装置
220 画像データ抽出部
230 周回積分部
250 瞳孔半径検出部
260 ポインタ部
280 瞳孔位置検出部
Claims (20)
- 連続して撮影された複数の画像から瞳孔を検出することを目的とする瞳孔検出装置であり、
前記画像の内、瞳孔の検出範囲を読み出す画像読出部と、
瞳孔の検出を行う画像よりも以前に撮像された画像における瞳孔検出結果に基づいて前記画像読出部を制御する読出制御部と、
前記画像読出部によって読み出された部分画像上に、同心円状の複数の円をそれぞれ積分円として設定し、前記積分円のそれぞれの円周上に位置する複数個の画素データを画像データから抽出する画像データ抽出部と、
前記画像データ抽出部が抽出した前記画素データを前記積分円のそれぞれの円周に沿って積分する周回積分部と、
前記周回積分部の積分値が前記積分円の半径に対してステップ状に変化しているか否かに基づいて瞳孔を検出する瞳孔半径検出部と、
前記瞳孔半径検出部が前記ステップ状の変化を検出した場合に、その積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備えたことを特徴とする瞳孔検出装置。 - 前記部分画像は縦方向のサイズが横方向のサイズよりも小さいことを特徴とする請求項1に記載の瞳孔検出装置。
- 前記読出制御部は、前記画像読出部に、前記画像の中央部分を最初に読み出させることを特徴とする請求項1または請求項2に記載の瞳孔検出装置。
- 前記読出制御部は、前記画像読出部に、前記画像の左側部分および右側部分を交互に読み出させることを特徴とする請求項1または請求項2に記載の瞳孔検出装置。
- 前記読出制御部は、前記画像読出部に、前記画像の中央部分から開始して、前記画像の左側部分および右側部分にも読み出す部分を変化させることを特徴とする請求項1または請求項2に記載の瞳孔検出装置。
- 前記読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、
1つ前のフレームで読み出した位置と同じ位置の部分を読み出すことを特徴とする請求項1または請求項2に記載の瞳孔検出装置。 - 前記読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、
その座標をもとにして読み出し部分を決定し、その部分を読み出すことを特徴とする請求項1または請求項2に記載の瞳孔検出装置。 - 前記読出制御部は、1つ前のフレームで瞳孔位置座標を検出したときには、
決定可能な読み出し部分の内、その座標が読み出し部分の中で最も中央に近くなる読み出し部分を決定し、その部分を読み出すことを特徴とする請求項1または請求項2に記載の瞳孔検出装置。 - 前記読出制御部は、前記瞳孔半径検出部が前記ステップ状の変化を検出した領域を前記画像読出部に読み出させることを特徴とする請求項1に記載の瞳孔検出装置。
- 前記瞳孔半径検出部は、同心円状の複数の前記積分円の内、半径の最も近い2つの積分円の積分値の差分値が所定の閾値より大きい場合に、積分値が前記積分円の半径に対して前記ステップ状に変化したとみなすことを特徴とする請求項1から請求項9までのいずれかに記載の瞳孔検出装置。
- 前記所定の閾値は、前記積分円が虹彩上にある場合の積分値と前記積分円が瞳孔上にある場合の積分値との差の1/4倍〜1倍の範囲に設定されていることを特徴とする請求項10に記載の瞳孔検出装置。
- 前記画像データ抽出部は、ファーストイン−ファーストアウト(FIFO)型のラインメモリを複数本接続した部分フレームメモリであって、同心円状の複数の前記積分円のそれぞれの円周上の画素に対応する画素データを引出すための引出し線を設けた部分フレームメモリを有することを特徴とする請求項1から請求項11までのいずれかに記載の瞳孔検出装置。
- 前記積分円の中心座標を示すポインタ部を備え、
前記ポインタ部は、前記部分フレームメモリへ画像データを取り込む周期と同期したクロックをカウントするカウンタを有することを特徴とする請求項12に記載の瞳孔検出装置。 - 前記周回積分部は、前記画像データ抽出部が抽出した画素データを前記積分円のそれぞれの円周に沿って加算する複数の加算器を有することを特徴とする請求項1から請求項13までのいずれかに記載の瞳孔検出装置。
- 前記瞳孔半径検出部は、同心円状の複数の前記積分円の内、半径の最も近い2つの積分円の積分値の差分値を計算する差分器と、
前記差分器から出力される差分値と前記所定の閾値とを比較する比較器と、
前記差分値が前記所定の閾値より大きい場合の積分円の半径を瞳孔半径として保持するレジスタと、
を備えたことを特徴とする請求項1から請求項14までのいずれかに記載の瞳孔検出装置。 - 前記瞳孔位置検出部は、前記瞳孔半径検出部が前記積分円の半径を瞳孔半径として検出したとき、その積分円の中心座標を示す前記ポインタ部のカウンタ出力を瞳孔位置座標として保持するレジスタを備えたことを特徴とする請求項13から請求項15までのいずれかに記載の瞳孔検出装置。
- 請求項1から請求項16までのいずれかに記載の瞳孔検出装置を備えたことを特徴とする虹彩認証装置。
- 連続して撮像された複数の画像から瞳孔を検出することを目的とする瞳孔検出方法であって、
瞳孔の検出を行う画像よりも以前に撮像された画像における瞳孔検出結果に基づいて瞳孔の検出範囲を読み出す第1のステップと、
前記第1のステップによって読み出された画像上に、同心円状の複数の円をそれぞれ積分円として設定し、前記積分円の円周上に位置する複数個の画素データを抽出する第2のステップと、
前記第2のステップで抽出された画素データを前記積分円のそれぞれの円周に沿って積分する第3のステップと、
前記第3のステップにおける積分値が前記積分円の半径に対してステップ状に変化したことを検出する第4のステップと、
前記第4のステップにおいて前記ステップ状の変化が検出された場合に、その積分円の中心座標を瞳孔位置座標として検出する第5のステップとを備えたことを特徴とする瞳孔検出方法。 - 連続して撮像された複数の画像から瞳孔を検出することを目的とする瞳孔検出プログラムであって、
瞳孔の検出を行う画像よりも以前に撮像された画像における瞳孔検出結果に基づいて瞳孔の検出範囲を読み出す第1のステップと、
前記第1のステップによって読み出された画像上に、同心円状の複数の円をそれぞれ積分円として設定し、前記積分円の円周上に位置する複数個の画素データを抽出する第2のステップと、
前記第2のステップで抽出された画素データを前記積分円のそれぞれの円周に沿って積分する第3のステップと、
前記第3のステップにおける積分値が前記積分円の半径に対してステップ状に変化したことを検出する第4のステップと、
前記第4のステップにおいて前記ステップ状の変化が検出された場合に、その積分円の中心座標を瞳孔位置座標として検出する第5のステップとを備えたことを特徴とするプログラム。 - 請求項1から請求項16までのいずれかに記載の瞳孔検出装置を実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192331A JP2008021121A (ja) | 2006-07-13 | 2006-07-13 | 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192331A JP2008021121A (ja) | 2006-07-13 | 2006-07-13 | 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008021121A true JP2008021121A (ja) | 2008-01-31 |
Family
ID=39077005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006192331A Pending JP2008021121A (ja) | 2006-07-13 | 2006-07-13 | 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008021121A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009272796A (ja) * | 2008-05-02 | 2009-11-19 | Canon Inc | 画像形成装置 |
GB2544607A (en) * | 2015-09-25 | 2017-05-24 | Umajin Ltd | Method of fingertip identification, system and computer program product |
WO2019102594A1 (ja) * | 2017-11-24 | 2019-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
CN112464829A (zh) * | 2020-12-01 | 2021-03-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
-
2006
- 2006-07-13 JP JP2006192331A patent/JP2008021121A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009272796A (ja) * | 2008-05-02 | 2009-11-19 | Canon Inc | 画像形成装置 |
GB2544607A (en) * | 2015-09-25 | 2017-05-24 | Umajin Ltd | Method of fingertip identification, system and computer program product |
GB2544607B (en) * | 2015-09-25 | 2019-12-11 | Umajin Ltd | Method of fingertip identification, system and computer program product |
US11182580B2 (en) | 2015-09-25 | 2021-11-23 | Uma Jin Limited | Fingertip identification for gesture control |
WO2019102594A1 (ja) * | 2017-11-24 | 2019-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
CN112464829A (zh) * | 2020-12-01 | 2021-03-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
CN112464829B (zh) * | 2020-12-01 | 2024-04-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160004144A1 (en) | Methods and apparatus relating to detection and/or indicating a dirty lens condition | |
JP3966309B2 (ja) | 瞳孔検出装置および虹彩認証装置 | |
KR20160050755A (ko) | 전자 장치 및 그의 홍채 인식 방법 | |
EP1796032A1 (en) | Pupil detection device and iris authentication apparatus | |
JP4033180B2 (ja) | 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法 | |
JP2005128156A5 (ja) | ||
JP2005318554A5 (ja) | ||
US7869706B2 (en) | Shooting apparatus for a microscope | |
CN109564376A (zh) | 时间复用可编程视场成像 | |
KR101222928B1 (ko) | 구도 설정 촬영장치 | |
JP2008021121A (ja) | 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法 | |
JP2017227725A5 (ja) | ||
WO2006006307A1 (ja) | 瞳孔検出装置および虹彩認証装置 | |
JP2011097179A (ja) | 撮像装置および画像解析コンピュータプログラム | |
JP2006048204A (ja) | 瞳孔検出装置および虹彩認証装置 | |
JP2023134584A (ja) | 処理装置、電子機器、処理方法、及びプログラム | |
JP5012477B2 (ja) | 部分画像抽出方法および部分画像抽出装置 | |
CN112971712B (zh) | 生物体信息取得装置、终端装置、取得方法、记录介质 | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006260351A (ja) | 眼鏡反射検出機能つき瞳孔検出装置および虹彩認証装置 | |
JP5977526B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006345891A (ja) | 瞳孔検出装置および虹彩認証装置 | |
JP6272099B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP2014230172A5 (ja) |