JP2003030633A - 虹彩認証装置 - Google Patents

虹彩認証装置

Info

Publication number
JP2003030633A
JP2003030633A JP2001215148A JP2001215148A JP2003030633A JP 2003030633 A JP2003030633 A JP 2003030633A JP 2001215148 A JP2001215148 A JP 2001215148A JP 2001215148 A JP2001215148 A JP 2001215148A JP 2003030633 A JP2003030633 A JP 2003030633A
Authority
JP
Japan
Prior art keywords
camera
pupil
unit
wide
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001215148A
Other languages
English (en)
Other versions
JP3853617B2 (ja
Inventor
Yoshito Aoki
芳人 青木
Tatsushi Sasaki
達志 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001215148A priority Critical patent/JP3853617B2/ja
Publication of JP2003030633A publication Critical patent/JP2003030633A/ja
Application granted granted Critical
Publication of JP3853617B2 publication Critical patent/JP3853617B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 従来と比較して、ナローカメラの整定に要す
る時間を減少し、より確実に虹彩を撮影することができ
る虹彩認証装置を提供すること。 【解決手段】 虹彩認証装置100は、対象200の瞳
を撮影するナローカメラ101と、ナローカメラ101
より画角が広いワイドカメラ102と、ワイドカメラ1
02によって撮影された画像内の瞳の位置に基づいて、
ナローカメラ101の撮影方向を変更する撮影方向変更
手段と、ナローカメラ101によって撮影された画像に
基づいて、瞳の虹彩の特徴量を算出し、対象の認証を行
う認証部129とを備え、撮影方向変更手段が、ワイド
カメラ102によって撮影された画像内の瞳の位置と、
実際の瞳の位置との誤差を除去する誤差除去手段を備え
るようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、対象の瞳を自動的
に撮影し、撮影した画像内の対象の瞳の虹彩に基づい
て、対象の認証を行う虹彩認証装置に関するものであ
る。
【0002】
【従来の技術】近年、バイオメトリックス技術の開発が
盛んであり、人間の眼の情報である虹彩や網膜のパター
ンもバイオメトリックスに応用されている。虹彩を利用
したバイオメトリックスとして、例えば、虹彩認証方式
については、特表平08−504979号公報で説明さ
れおり、虹彩認証装置については、文献「エレクトロニ
クス」1998年2月号p48に説明されている。
【0003】以下、従来の虹彩認証装置について説明す
る。図18において、虹彩認証装置900は、広角カメ
ラ(以下、ワイドカメラという。)902によって人間
の上半身などの比較的広い視野を撮影し、撮影した画像
を画像処理部905に出力する。画像処理部905は、
ワイドカメラ902から出力された画像に基づいて、画
像内の人間の頭部、眼の位置を算出し、算出した眼の位
置情報をメカニカル制御部904に出力する。メカニカ
ル制御部904は、画像処理部905から出力された目
の位置情報に基づいて、狭角カメラ(以下、ナローカメ
ラという。)903を駆動して撮影方向を変更する。
【0004】ナローカメラ903は、メカニカル制御部
904によって撮影方向を変更されると、ズームアップ
などを行って人間の虹彩を撮影し、撮影した画像を画像
処理部905に出力する。そして、画像処理部905
は、ナローカメラ903から出力された画像をアイリス
処理部910に出力する。ここで、ワイドカメラ902
及びナローカメラ903の撮影時には、画像処理部90
5が照明装置901に撮影対象を照明させている。
【0005】アイリス処理部910は、画像処理部90
5から画像が出力されると、出力された画像に基づいて
次のような認証処理を実行する。
【0006】まず、アイリス処理部910は、局部化処
理部911において、画像処理部905から出力された
画像から虹彩の領域を切り出す。この処理は、虹彩の内
側境界(虹彩と瞳孔の境界)と外側境界(虹彩と白目の
境界)とを求め、更に、まぶたやまつげで隠れた部分を
検出して特徴を抽出する範囲を局部化する処理である。
【0007】次に、アイリス処理部910は、特徴抽出
部912において、虹彩の特徴を認証コードとして抽出
する。この処理は、局部化処理部911によって切り出
された虹彩の領域を8分割した後、各分割帯を円周方向
に沿って濃淡の変化をデジタルコードに変換して、認証
コードとする処理である。
【0008】次に、アイリス処理部910は、マッチン
グ部913において、予めデータベース920に登録さ
れている認証データと、特徴抽出部912によって抽出
された認証コードとの照合度合いをハミング距離で算出
する。
【0009】最後に、アイリス処理部910は、本人認
証部914において、マッチング部913によって算出
したハミング距離と、所定の閾値との大小によって、ナ
ローカメラ903で虹彩を撮影した人間が本人、即ち、
登録されている人間か否かを判定する。
【0010】
【発明が解決しようとする課題】しかしながら、上記従
来の虹彩認証装置においては、ナローカメラの整定に要
する時間が長くかかっていたため、虹彩を撮影すること
ができない場合があるという問題があった。
【0011】つまり、虹彩認証装置は、取付位置が異な
るワイドカメラとナローカメラとの連携によって虹彩を
撮影する構成であるため、ワイドカメラで撮影した画像
から算出した眼の位置と、ナローカメラの位置決め制御
目標とが空間上で同じポイントになる必要がある。しか
しながら、ワイドカメラ及びナローカメラの取付精度や
取付位置、ワイドカメラのレンズの光学特性等の誤差要
因によって、ナローカメラによって虹彩の画像を取得す
ることを失敗する場合が比較的多く、処理のリトライが
発生して、ナローカメラの整定に要する時間が長くかか
っていた。特に、ワイドカメラでの広角撮影では画像の
端部でレンズの光学特性に起因する歪曲が発生するた
め、人間の立つ位置が、ワイドカメラによって撮影され
る画像の端であった場合に、ナローカメラの整定に要す
る時間が長くかかっていた。
【0012】また、虹彩認証装置は、ナローカメラに対
してメカニカルな制御を行う構成であり、虹彩の撮影時
にナローカメラの整定に要する時間が長くかかってい
た。
【0013】したがって、虹彩認証装置は、ナローカメ
ラが整定したときには、既に撮影対象である人間が移動
してしまい、虹彩を撮影することができない場合があっ
た。
【0014】以上より、本発明は、ナローカメラの整定
に要する時間を減少し、より確実に虹彩を撮影すること
ができる虹彩認証装置を提供することを目的とする。
【0015】
【課題を解決するための手段】上記課題を解決するため
に、本発明の虹彩認証装置は、対象の瞳を撮影する瞳撮
影カメラと、前記瞳撮影カメラより画角が広い広角カメ
ラと、前記広角カメラによって撮影された画像内の前記
瞳の位置に基づいて、前記瞳撮影カメラの撮影方向を変
更する撮影方向変更手段と、前記瞳撮影カメラによって
撮影された画像に基づいて、前記瞳の虹彩の特徴量を算
出し、前記対象の認証を行う認証手段とを備え、前記撮
影方向変更手段が、前記広角カメラによって撮影された
画像内の前記瞳の位置と、実際の前記瞳の位置との誤差
を除去する誤差除去手段を備えた構成を有している。
【0016】この構成により、本発明の虹彩認証装置
は、従来と比較して、瞳撮影カメラが広角カメラからの
画像に基づいて算出する瞳の位置と、実際の瞳の位置と
の誤差を減少することができるので、瞳撮影カメラの整
定に要する時間を減少することができ、より確実に虹彩
を撮影することができる。
【0017】また、本発明の虹彩認証装置は、前記誤差
除去手段が、前記瞳撮影カメラ及び前記広角カメラの間
の距離に基づいて、前記瞳撮影カメラの前記広角カメラ
との視差を補正する視差補正手段を備えた構成を有して
いる。
【0018】この構成により、本発明の虹彩認証装置
は、広角カメラによって撮影された画像内の瞳の位置
と、実際の瞳の位置との誤差のうち、瞳撮影カメラ及び
広角カメラの取付精度や取付位置に起因する誤差を除去
することができる。
【0019】また、本発明の虹彩認証装置は、前記瞳撮
影カメラの撮影範囲を照明する瞳照明手段と、前記広角
カメラによって撮影された画像内の前記瞳の位置に基づ
いて、前記瞳照明手段の照射位置を変更する照射位置変
更手段とを備え、前記照射位置変更手段が、前記瞳照明
手段及び前記広角カメラの間の距離に基づいて、前記瞳
照明手段の照射位置を補正する照射位置補正手段を備え
た構成を有している。
【0020】この構成により、本発明の虹彩認証装置
は、より確実に瞳照明手段によって対象の瞳を照明する
ことができるので、より確実に虹彩を撮影することがで
きる。
【0021】また、本発明の虹彩認証装置は、前記誤差
除去手段が、前記広角カメラによって撮影された画像の
うち、前記広角カメラのレンズに起因する歪曲を演算補
正して取り除く歪曲補正手段を備えた構成を有してい
る。
【0022】この構成により、本発明の虹彩認証装置
は、広角カメラによって撮影された画像内の瞳の位置
と、実際の瞳の位置との誤差のうち、広角カメラのレン
ズの光学特性に起因する誤差を除去することができる。
【0023】また、本発明の虹彩認証装置は、前記誤差
除去手段が、前記広角カメラの画素の中心と、前記広角
カメラのレンズの中心とのズレを演算補正して取り除く
中心補正手段を備えた構成を有している。
【0024】この構成により、本発明の虹彩認証装置
は、広角カメラによって撮影された画像内の瞳の位置
と、実際の瞳の位置との誤差のうち、広角カメラの画素
の中心と、広角カメラのレンズの中心とのズレに起因す
る誤差を除去することができる。
【0025】また、本発明の虹彩認証装置は、反射面及
び前記反射面と同一平面上に無い回転軸を有し、前記反
射面によって前記瞳を反射して前記瞳撮影カメラに撮影
させる反射ミラーを備え、前記誤差除去手段が、前記反
射面及び前記回転軸が同一平面上に無いことに起因する
前記瞳撮影カメラの撮影方向のズレを演算補正して取り
除く撮影方向補正手段を備えた構成を有している。
【0026】この構成により、本発明の虹彩認証装置
は、広角カメラによって撮影された画像内の瞳の位置
と、実際の瞳の位置との誤差のうち、反射ミラーの反射
面及び回転軸が同一平面上に無いことに起因する誤差を
除去することができる。
【0027】また、本発明の虹彩認証装置は、対象の瞳
を撮影する瞳撮影カメラと、前記瞳撮影カメラより画角
が広い広角カメラと、回転駆動するモータ及び回転軸を
有し、前記広角カメラによって撮影された画像内の前記
瞳の位置に基づいて、前記モータを回転駆動して前記回
転軸を中心に回転することによって、前記瞳撮影カメラ
の撮影方向を変更する撮影方向変更手段と、前記瞳撮影
カメラによって撮影された画像に基づいて、前記瞳の虹
彩の特徴量を算出し、前記対象の認証を行う認証手段と
を備え、前記撮影方向変更手段が、前記回転軸を中心と
した回転量を検出する回転量検出手段と、前記回転量検
出手段の検出結果に基づいて、前記モータの回転量を制
御する回転量制御手段と、目標とする回転量と、前記回
転量検出手段によって検出された前記回転軸を中心とし
た回転量との差が所定の回転量以下であることに基づい
て、前記回転量制御手段が前記モータを停止させるのを
補助する停止補助手段とを備えた構成を有している。
【0028】この構成により、本発明の虹彩認証装置
は、瞳撮影カメラの撮影方向を変更する際、目標の撮影
方向近傍で撮影方向が微小振動することを抑制すること
ができるので、従来と比較して、瞳撮影カメラの整定に
要する時間を減少することができ、より確実に虹彩を撮
影することができる。また、本発明の虹彩認証装置は、
目標の撮影方向近傍での不要な残留振動による撮影画像
のぶれも防止することができる。
【0029】また、本発明の虹彩認証装置は、前記停止
補助手段が、前記回転量検出手段によって検出された前
記回転軸を中心とした回転量との差が所定の回転量以下
であることに基づいて、前記回転量制御手段の制御ゲイ
ンを減少する制御ゲイン減少手段を備えた構成を有して
いる。
【0030】この構成により、本発明の虹彩認証装置
は、瞳撮影カメラの撮影方向を変更する際、目標の撮影
方向近傍で撮影方向が微小振動することを抑制すること
ができるので、従来と比較して、瞳撮影カメラの整定に
要する時間を減少することができ、より確実に虹彩を撮
影することができる。また、本発明の虹彩認証装置は、
目標の撮影方向近傍での不要な残留振動による撮影画像
のぶれも防止することができる。
【0031】また、本発明の虹彩認証装置は、前記停止
補助手段が、目標とする回転量と、前記回転量検出手段
によって検出された前記回転軸の回転量との差が所定の
回転量以下であることに基づいて、前記回転軸に摩擦力
を付与する摩擦付与手段を備えた構成を有している。
【0032】この構成により、本発明の虹彩認証装置
は、瞳撮影カメラの撮影方向を変更する際、目標の撮影
方向近傍で撮影方向が微小振動することを抑制すること
ができるので、従来と比較して、瞳撮影カメラの整定に
要する時間を減少することができ、より確実に虹彩を撮
影することができる。
【0033】また、本発明の虹彩認証装置は、前記撮影
方向変更手段が、前記瞳撮影カメラの撮影方向を変更す
る度に、前記回転軸が整定するまでの時間を計測する時
間計測手段と、前記時間計測手段によって計測された時
間に基づいて、前記摩擦付与手段によって付与する摩擦
力を決定する摩擦力決定手段とを備えた構成を有してい
る。
【0034】この構成により、本発明の虹彩認証装置
は、瞳撮影カメラの整定に適した摩擦力を回転軸に加え
ることができるようになる。したがって、例えば、複数
の虹彩認証装置を製造した場合、複数の虹彩認証装置が
個々に、瞳撮影カメラの整定に適した摩擦力を回転軸に
加えることができるようになる。
【0035】また、本発明の虹彩認証装置は、前記回転
軸が整定するまでの許容時間を、前記摩擦付与手段によ
って付与する摩擦力に対して記憶する許容時間記憶手段
を備え、前記時間計測手段によって計測された時間が前
記許容時間記憶手段によって記憶された許容時間外であ
るとき、前記摩擦力決定手段が、付与する摩擦力を前記
摩擦付与手段に変化させる構成を有している。
【0036】この構成により、本発明の虹彩認証装置
は、磨耗などによって摩擦力付与手段による摩擦力に変
化が生じた場合であっても、瞳撮影カメラの整定に適し
た摩擦力を回転軸に加えることができるようになる。
【0037】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。 (第1の実施の形態)
【0038】まず、第1の実施の形態に係る虹彩認証装
置の構成について説明する。
【0039】図1において、虹彩認証装置100は、対
象200の瞳を拡大して撮影することができるように、
ズーム機能及びフォーカス機能を備えた狭角撮影カメラ
であるナローカメラ(瞳撮影カメラ)101と、ナロー
カメラ101より画角が広く、対象200の全体像を撮
影する広角撮影カメラであるワイドカメラ(広角カメ
ラ)102と、ナローカメラ101での撮影時にナロー
カメラ101の撮影範囲を照明するスポット照明である
ナロー照明(瞳照明手段)103と、ワイドカメラ10
2での撮影時に対象200の方向全体を照明するワイド
照明104とを備えている。
【0040】ここで、ナロー照明103及びワイド照明
104は、共に、発光素子(例えばLEDやハロゲンラ
ンプ、ストロボなど)で構成されている。
【0041】また、虹彩認証装置100は、反射面10
5a及び反射面105aと同一平面上に無い回転軸10
5bを有し、反射面105aによって対象200の瞳を
反射してナローカメラ101に撮影させる反射ミラー1
05と、反射ミラー105を回転軸105bを中心に水
平方向に回転させるモータ106と、対象200との距
離を測定する測距センサ107とを備えている。
【0042】また、虹彩認証装置100は、ナローカメ
ラ101、ワイドカメラ102、反射ミラー105、モ
ータ106及び測距センサ107を一体化したカメラユ
ニット108と、カメラユニット108を回転軸108
aを中心に垂直方向に回転させるモータ109とを備え
ている。
【0043】したがって、反射ミラー105は、モータ
106及びモータ109によって水平方向及び垂直方向
の2方向に自由に位置決め可能になっており、反射ミラ
ー105によって決定されるナローカメラ101の撮影
方向も、水平方向及び垂直方向の2方向に自由に変更可
能になっている。また、ワイドカメラ102は、モータ
109によって垂直方向の1方向に自由に位置決め可能
になっており、ワイドカメラ102の撮影方向も、垂直
方向の1方向に自由に変更可能になっている。
【0044】また、虹彩認証装置100は、ナロー照明
103を回転軸103aを中心に水平方向に回転させる
モータ110と、ナロー照明103を回転軸103bを
中心に垂直方向に回転させるモータ111とを備えてい
る。
【0045】したがって、ナロー照明103は、モータ
110及びモータ111によって水平方向及び垂直方向
の2方向に自由に位置決め可能になっており、ナロー照
明103の照明位置も、水平方向及び垂直方向の2方向
に自由に変更可能になっている。
【0046】また、虹彩認証装置100は、以上に述べ
た機械的な構成を処理する構成を備えている。
【0047】より詳細に説明すると、虹彩認証装置10
0は、装置全体の制御を実行する装置制御部120と、
ナローカメラ101のズーム機能やフォーカス機能を作
動させて、ナローカメラ101に対象200の瞳を所定
の大きさで撮影させるとともに、ナローカメラ101か
らの画像信号を2次元の画像データ(例えばビットマッ
プなど)に変換するナローカメラ制御部121と、ワイ
ドカメラ102からの画像信号を2次元の画像データに
変換するワイドカメラ制御部122とを備えている。例
えば、ナローカメラ制御部121及びワイドカメラ制御
部122は、それぞれ、ナローカメラ101及びワイド
カメラ102の撮像素子がCCDの場合には、ナローカ
メラ101及びワイドカメラ102からライン毎に順次
に画像信号を読み出し、2次元の画像データに変換する
ようになっている。
【0048】また、虹彩認証装置100は、ナロー照明
103の発光素子を発光させるナロー照明発光部123
と、モータ110及びモータ111を駆動させることに
よって、ナロー照明103を水平方向及び垂直方向に駆
動するナロー照明駆動部124と、ワイド照明104の
発光素子を発光させるワイド照明発光部125とを備え
ている。
【0049】また、虹彩認証装置100は、モータ10
6を駆動させることによって、反射ミラー105を水平
方向に駆動するミラー駆動部126と、測距センサ10
7を駆動させて、測距センサ107からの電気信号に基
づいて、測距センサ107から対象200までの距離を
求める測距センサ制御部127と、モータ109を駆動
させることによって、カメラユニット108を垂直方向
に駆動するカメラユニット駆動部128とを備えてい
る。
【0050】また、虹彩認証装置100は、ナローカメ
ラ101によって撮影されてナローカメラ制御部121
から出力される画像データに基づいて、対象200の瞳
の虹彩の特徴量を算出し、対象200の認証を行う認証
手段としての認証部129と、ワイドカメラ102によ
って撮影されてワイドカメラ制御部122から出力され
る画像データに基づいて、画像上の瞳のパターンを検出
し、瞳の画像上の位置を検出する瞳位置検出部130と
を備えている。
【0051】また、虹彩認証装置100は、ナローカメ
ラ101及びワイドカメラ102の間の距離に基づい
て、ナローカメラ101のワイドカメラ102との視差
を補正する視差補正手段としての視差補正部141と、
反射ミラー105の反射面105a及び回転軸105b
が同一平面上に無いことに起因するナローカメラ101
の撮影方向のズレを演算補正して取り除く撮影方向補正
手段としての回転軸補正部142と、ワイドカメラ10
2の画素の中心と、ワイドカメラ102のレンズの中心
(光軸中心)とのズレを演算補正して取り除く中心補正
手段としての光軸補正部143と、ワイドカメラ102
によって撮影された画像のうち、ワイドカメラ102の
レンズに起因する画像歪み(歪曲)を演算補正して取り
除く歪曲補正手段としての歪曲補正部144とを備えて
いる。
【0052】ここで、視差補正部141、回転軸補正部
142、光軸補正部143及び歪曲補正部144は、ワ
イドカメラ102によって撮影された画像内の対象20
0の瞳の位置と、実際の対象200の瞳の位置との誤差
を除去する誤差除去手段を構成している。
【0053】また、反射ミラー105、モータ106、
測距センサ107、カメラユニット108、モータ10
9、装置制御部120、ミラー駆動部126、測距セン
サ制御部127、カメラユニット駆動部128、視差補
正部141、回転軸補正部142、光軸補正部143及
び歪曲補正部144は、ワイドカメラ102によって撮
影された画像内の対象200瞳の位置に基づいて、ナロ
ーカメラ101の撮影方向を変更する撮影方向変更手段
を構成している。
【0054】また、虹彩認証装置100は、ナロー照明
103及びワイドカメラ102の間の距離に基づいて、
ナロー照明103の照射位置を補正する照射位置補正手
段としての照射位置補正部145を備えている。
【0055】ここで、測距センサ107、モータ11
0、モータ111、装置制御部120、ナロー照明駆動
部124、測距センサ制御部127及び照射位置補正部
145は、ワイドカメラ102によって撮影された画像
内の対象200の瞳の位置に基づいて、ナロー照明10
3の照射位置を変更する照射位置変更手段を構成してい
る。
【0056】次に、本実施の形態に係る虹彩認証装置の
動作について説明する。なお、対象200は、人間であ
っても良いし、馬などの動物であっても良いが、以下で
は、簡略化するために対象200が人間の場合について
説明する。
【0057】図2及び図3において、装置制御部120
は、カメラユニット駆動部128にモータ109を駆動
させることによって、カメラユニット108を垂直方向
に駆動して基準位置に設定する(ステップS301)。
ここで、カメラユニット108の基準位置は、対象20
0がワイドカメラ102の撮影方向に存在するとき、ワ
イドカメラ102が対象200の全体像を撮影すること
ができるように予め設定されている。
【0058】装置制御部120は、カメラユニット10
8を基準位置に設定した状態で、所定の動作開始条件が
満たされることによって、認証動作を開始する。なお、
本実施の形態において、動作開始条件は、測距センサ1
07及び測距センサ制御部127によって対象200が
所定の範囲内に入ったことを検出されるというものであ
るが、例えば、虹彩認証装置100以外の装置(押しボ
タンや他のセンサ)から起動信号を入力されるというも
のなどであっても良い。
【0059】装置制御部120は、測距センサ107及
び測距センサ制御部127によって対象200が所定の
範囲内に入ったことを検出されると、ワイドカメラ10
2の撮影に必要な照度を与えるためにワイド照明発光部
125にワイド照明104を発光させた後(ステップS
302)、ワイドカメラ102に対象200の全体像
(一般的には上半身程度であっても良い。)を撮影させ
る(ステップS303)。
【0060】装置制御部120は、ワイドカメラ102
に対象200を撮影させると、ワイドカメラ制御部12
2によってワイドカメラ102からの画像信号を1枚の
2次元の画像データに変換した後、変換した画像データ
に基づいて瞳位置検出部130によって対象200の瞳
の画像上の位置(垂直方向及び水平方向の2次元の位
置)を検出し(ステップS304)、ワイドカメラ10
2からの画像上に瞳に相当する画像パターンが存在する
か否かを判断する(ステップS305)。
【0061】装置制御部120は、ワイドカメラ102
からの画像上に瞳に相当する画像パターンが存在しない
と判断した場合、ステップS301からの処理をやり直
すが、ワイドカメラ102からの画像上に瞳に相当する
画像パターンが存在すると判断した場合、歪曲補正部1
44によってワイドカメラ102からの画像のうち、ワ
イドカメラ102のレンズに起因する歪曲を演算補正し
て取り除く(ステップS306)。
【0062】歪曲補正部144による歪曲の補正につい
てより詳細に説明する。
【0063】ワイドカメラ102は、対象200が虹彩
認証装置100に比較的近接した場合であっても対象2
00の全体像を捕らえることができるように、広角タイ
プであるので、ワイドカメラ102によって撮影された
画像の端部では、図4(a)に示すようにワイドカメラ
102のレンズに起因して歪曲が発生する。ワイドカメ
ラ102によって撮影された画像の端部で歪曲が発生す
ると、対象200の瞳がワイドカメラ102によって撮
影された画像の端部に位置する場合、ワイドカメラ10
2によって撮影された画像内の対象200の瞳の位置
(例えば、図4(a)に示す座標(X2,Y2))と、
実際の対象200の瞳の位置(例えば、図4(c)に示
す座標(X1,Y1))との間で誤差が発生する。
【0064】ここで、ワイドカメラ102からの画像の
うちワイドカメラ102のレンズに起因する歪曲は、画
素を撮影したレンズ上の位置と、レンズの中心との距離
rで求めることができる。
【0065】したがって、歪曲補正部144は、例え
ば、瞳位置検出部130によって検出された対象200
の瞳の画像上での位置が図4(a)に示す座標(X2,
Y2)である場合、座標(X2,Y2)に対して、ワイ
ドカメラ102のレンズの中心からの距離rに応じて決
まる変換係数α=f(r)を用いて、X1=α・X2、
Y1=α・Y2という演算補正を行う。換言すると、歪
曲補正部144は、図4(b)に示すような補正関数を
用いることによって、図4(a)に示す瞳位置検出部1
30によって検出された対象200の瞳の画像上での座
標(X2,Y2)から、図4(c)に示すようにワイド
カメラ102のレンズに起因する歪曲が無かった場合の
対象200の瞳の画像上での座標(X1,Y1)を得
る。なお、図4においては、ワイドカメラ102のレン
ズの中心によって撮影された画素の座標は、画像上で原
点座標(0,0)となっている。
【0066】図2に示すように、装置制御部120は、
歪曲補正部144によって、ワイドカメラ102からの
画像のうちワイドカメラ102のレンズに起因する歪曲
を演算補正して取り除いた後、測距センサ107及び測
距センサ制御部127によって、対象200と、虹彩認
証装置100との距離を測定し(ステップS307)、
歪曲補正部144によって歪曲補正した瞳の位置と、測
距センサ107及び測距センサ制御部127によって測
定した距離データと、ワイドカメラ102の設計条件
(画角、画素サイズ)とに基づいて、ワイドカメラ10
2のレンズの位置を原点(0,0,0)としたときの対
象200の瞳の3次元空間上の位置(X,Y,Z)を算
出する(ステップS308)。
【0067】ここで、座標Zとしては、図5及び図6に
示すように、測距センサ107及び測距センサ制御部1
27によって測定された対象200と、虹彩認証装置1
00との距離を用いるが、対象200と、虹彩認証装置
100との距離を測定するための測距センサ107とし
ては、光学式反射型測距センサ、超音波式測距センサ等
の1次元測距方式の測距センサや、2次元的に座標を得
られる方式(レンジファインダ等)の測距センサなどを
用いることができる。但し、2次元的に座標を得られる
方式の測距センサを用いた場合には、特開2001−1
2909号公報に記載されているように、ワイドカメラ
102の画像上での位置を用いずに、対象200の瞳の
3次元空間上の位置を求めることもできる。
【0068】また、座標Yは、図5に示すように、カメ
ラユニット108の回転軸108a(図1参照)の延在
方向に見たときのワイドカメラ102の撮影方向の中心
線102aと、対象200の瞳との距離であり、図4
(c)に示すように、歪曲補正部144によって歪曲補
正した画像上での対象200の瞳の垂直方向の座標がY
1であり、ワイドカメラ102の垂直方向有効画素サイ
ズがNvであり、図5に示すように、ワイドカメラ10
2の画角がθwであるとき、次式のように算出すること
ができる。
【0069】 Y=Z・tan(θw/2)・Y1/(Nv/2)
【0070】同様に、座標Xは、図6に示すように、ワ
イドカメラ102の撮影方向の中心線102aと、対象
200の瞳とのカメラユニット108の水平方向での距
離であり、図4(c)に示すように、歪曲補正部144
によって歪曲補正した画像上での対象200の瞳の水平
方向の座標がX1であり、ワイドカメラ102の水平方
向有効画素サイズがNhであり、図6に示すように、ワ
イドカメラ102の画角がθwであるとき、次式のよう
に算出することができる。
【0071】 X=Z・tan(θw/2)・X1/(Nh/2)
【0072】装置制御部120は、対象200の瞳の3
次元空間上の位置を算出すると、図2に示すように、カ
メラユニット108の回転軸108a(図1参照)の延
在方向に見たとき、対象200の瞳が、ワイドカメラ1
02の撮影方向の中心線102a上にあるか否か、即
ち、座標Y1が“0”から所定の範囲以内の値であるか
否かを判断し(ステップS309)、座標Y1が“0”
から所定の範囲以内の値ではないと判断した場合、座標
Y1が“0”から所定の範囲以内の値になるように、カ
メラユニット駆動部128にモータ109を駆動させる
ことによって、カメラユニット108をθy=atan(Y/
Z)(図5参照)だけ垂直方向に旋回させた後(ステッ
プS310)、ステップS302からの処理をやり直
す。
【0073】装置制御部120が、ステップS310に
おいてカメラユニット108を旋回させた後、再度ワイ
ドカメラ102での撮影動作を行うと、対象200の瞳
の位置は、ワイドカメラ102からの画像上で座標Y1
が“0”から所定の範囲以内の値となることが期待され
る。しかしながら、ステップS310の処理後も、対象
200の瞳のワイドカメラ102からの画像上での垂直
方向の座標Y1が“0”から大きくずれている場合に
は、同様に、座標Y1が所定の範囲内になるまでステッ
プS302からステップS310までの動作を繰り返
す。なお、所定回数繰り返しても座標Y1が“0”から
所定の範囲以内の値にならない場合は処理を中止する。
【0074】装置制御部120が、ステップS309に
おいて、座標Y1が“0”から所定の範囲以内の値であ
ると判断した場合、即ち、ワイドカメラ102の撮影方
向の垂直方向における対象200の瞳との位置合わせが
終了した場合、ナローカメラ101とワイドカメラ10
2とは垂直方向において同一の方向を撮影できるように
カメラユニット108に固定されているため、ナローカ
メラ101の撮影方向の垂直方向における対象200の
瞳との位置合わせも終了したことになる。
【0075】装置制御部120は、ナローカメラ101
の撮影方向の垂直方向における対象200の瞳との位置
合わせを終了すると、図3に示すように、視差補正部1
41によってナローカメラ101のワイドカメラ102
との視差を補正した後、反射ミラー105の位置決めを
行うことによって(ステップS311)、ナローカメラ
101の撮影方向の対象200の瞳との水平方向におけ
る位置合わせを行う。
【0076】より詳細に説明すると、図7に示すよう
に、ナローカメラ101及びワイドカメラ102の間に
は距離Dwnが存在するので、対象200の瞳に対し
て、ナローカメラ101及びワイドカメラ102の間に
は視差が生じる。したがって、視差補正部141は、ナ
ローカメラ101の撮影方向がカメラユニット108の
回転軸108aの延在方向となす角度θxをatan(Z/
X)とせずに、atan(Z/(Dwn−X))とすること
によって、ナローカメラ101のワイドカメラ102と
の視差を補正する。
【0077】そして、虹彩認証装置100は、図8に示
すように、反射ミラー105によってナローカメラ10
1の撮影方向を変更する構成であるので、ミラー駆動部
126が、モータ106を駆動させて反射ミラー105
を水平方向にθx/2だけ駆動することによって、ナロ
ーカメラ101の撮影方向を水平方向にθx回転して対
象200の瞳と位置合わせを行うことができる。
【0078】なお、本発明によれば、虹彩認証装置10
0は、図9に示すように、反射ミラー105を備えず
に、ナローカメラ101自体の回転によってナローカメ
ラ101の撮影方向を変更する構成であっても良く、こ
の場合、ナローカメラ101の撮影方向を水平方向にθ
x回転するためには、ナローカメラ101自体も水平方
向にθx回転しなければならない。
【0079】装置制御部120は、ナローカメラ101
の撮影方向を対象200の瞳と水平方向において位置合
わせすると、図3に示すように、照射位置補正部145
によってナロー照明103の照射位置を補正した後、ナ
ロー照明103の位置決めを行うことによって(ステッ
プS312)、ナロー照明103の照射位置が対象20
0の瞳となるように位置合わせを行う。
【0080】具体的に説明すると、ナロー照明103の
照射方向の垂直方向の位置合わせは、ナローカメラ10
1の回転軸、即ち、カメラユニット108の回転軸10
8aと、ナロー照明103の回転軸103bとを同一軸
上に配置することによって、ナロー照明駆動部124に
モータ111を、カメラユニット108の回転角度と等
しいθyだけ旋回させれば良い。
【0081】ナロー照明103の照射方向の水平方向の
位置合わせは、図10に示すように、ナロー照明103
及びワイドカメラ102の間には距離Dwlが存在する
ので、対象200の瞳に対して、ナロー照明103の照
射方向と、ワイドカメラ102の撮影方向との間にはズ
レが生じる。したがって、照射位置補正部145は、ナ
ロー照明103の照射方向がカメラユニット108の回
転軸108aの延在方向となす角度θxlをatan(Z/
X)とせずに、atan(Z/(Dwl−X))とすること
によって、ナロー照明103の照射方向と、ワイドカメ
ラ102の撮影方向との間に生じるズレを補正する。
【0082】そして、ナロー照明駆動部124は、モー
タ110を駆動させてナロー照明103を水平方向にθ
xlだけ駆動することによって、ナロー照明103の照
射方向を水平方向にθxl回転して対象200の瞳と位
置合わせを行うことができる。
【0083】なお、対象200の瞳をナローカメラ10
1で撮影する際の照明方法としては、ナロー照明103
で照明する方法以外にも、固定した照明を広角に発光さ
せる方法でも良いが、照明装置が大きくなるため、必要
な部分のみに当てるスポット照明方式のナロー照明10
3で照明する方法の方が効率的である。
【0084】装置制御部120は、ナローカメラ101
及びナロー照明103の位置決めが終了した後、図3に
示すように、対象200との距離によらず瞳を所定の大
きさで鮮明に撮影するために、必要に応じてナローカメ
ラ101のズーミング(ステップS313)及びフォー
カス合わせ(ステップS314)を行う。
【0085】ズーミング方法は特に定めないが、ナロー
カメラ101のレンズの移動による光学ズームが適して
いる。ナローカメラ101が高画素型であれば、画素の
間引きよるデジタルズームでも構わない。また、フォー
カス合わせ方法についても、一般的には、ナローカメラ
101の映像信号の高帯域成分の信号レベルを利用した
焦合判定が最も簡便であるが、特に方式は限定しなくて
も良い。
【0086】そして、装置制御部120は、ナローカメ
ラ101の撮影に必要な照度を与えるためにナロー照明
発光部123にナロー照明103を発光させた後(ステ
ップS315)、ナローカメラ101に対象200の瞳
を撮影させ(ステップS316)、ナローカメラ101
からの画像に正しく瞳が撮影されているか否かの判断を
行う(ステップS317)。この判断は、画像認識によ
るパターンマッチングなど方法を限定しない。
【0087】装置制御部120は、ナローカメラ101
からの画像に正しく瞳が撮影されていると判断した場
合、撮影した瞳のデータを用いて認証動作を行うが(ス
テップS318)、ナローカメラ101からの画像に正
しく瞳が撮影されていないと判断した場合、再度、ステ
ップS301(図2参照)の処理からやり直す。
【0088】なお、虹彩認証装置100は、図11に示
すように、ワイドカメラ102の画素の中心と、ワイド
カメラ102のレンズの中心とがずれている場合、光軸
補正部143によってワイドカメラ102の画素の中心
と、ワイドカメラ102のレンズの中心とのズレを演算
補正して取り除くことができる。
【0089】より詳細に説明すると、光軸補正部143
は、ワイドカメラ102の画素の中心と、ワイドカメラ
102のレンズの中心とのズレ(Δx,Δy)を調整段
階で予め求めておき、瞳位置検出部130で得られた瞳
の座標(X2,Y2)から補正値(X2−Δx,Y2−
Δy)を求める。
【0090】そして、歪曲補正部144が、瞳位置検出
部130で得られた瞳の座標(X2,Y2)として、光
軸補正部143によって求められた補正値(X2−Δ
x,Y2−Δy)を用いて、歪曲補正を行うことによっ
て、ワイドカメラ102の画素の中心と、ワイドカメラ
102のレンズの中心とのズレを取り除くことができ
る。
【0091】また、虹彩認証装置100は、図12に示
すように、反射ミラー105の反射面105a及び回転
軸105bが同一平面上に無いことに起因して、ナロー
カメラ101の光軸の中心と画素の中心がずれる場合、
回転軸補正部142によって、ナローカメラ101の撮
影方向のズレを演算補正して取り除くことができる。
【0092】より詳細に説明すると、角度θだけ軸が回
転すると、同一方向から入射する光は、反射角2θは回
転角度に比例して曲がるが、同一の画素に写る対象は、
ΔX分だけオフセットするため、角度θの回転だけでは
正確に目標位置を撮影できない。そのため、まず、目標
位置(X1,Y1)に対して、上述したように、視差補
正部141によって回転角θxを計算する。次に、この
θx回転した時のΔXを計算し、目標位置を補正値(X
1−ΔX,Y1)に補正する。この補正値に対して再
度、視差補正部141と同様なナローカメラ101の視
差補正を施す。その結果、目標位置近傍の回転角度にオ
フセットΔX分が加わり、最終的に概略目標位置に位置
決めされることになる。
【0093】なお、反射ミラー105が薄型構造となり
易く、反射ミラー105が薄型構造となった場合、反射
ミラー105の反射面105aの後面に回転軸105b
を設ける方が設計が容易であり、回転軸105bと反射
面105aを一致させる方が設計が難しいので、本実施
の形態においては、反射ミラー105の反射面105a
及び回転軸105bが同一平面上に無い構成を採ってい
るが、勿論、反射ミラー105の反射面105a及び回
転軸105bが同一平面上に有る構成をとっても良い。
【0094】以上説明したように、虹彩認証装置100
は、ナローカメラ101のワイドカメラ102との視差
を補正する視差補正部141を備えていたので、ワイド
カメラ102によって撮影された画像内の瞳の位置と、
実際の瞳の位置との誤差のうち、ナローカメラ101及
びワイドカメラ102の取付精度や取付位置に起因する
誤差を除去することができる。
【0095】また、虹彩認証装置100は、反射ミラー
105の反射面105a及び回転軸105bが同一平面
上に無いことに起因するナローカメラ101の撮影方向
のズレを演算補正して取り除く回転軸補正部142を備
えていたので、ワイドカメラ102によって撮影された
画像内の瞳の位置と、実際の瞳の位置との誤差のうち、
反射ミラー105の反射面105a及び回転軸105b
が同一平面上に無いことに起因する誤差を除去すること
ができる。
【0096】また、虹彩認証装置100は、ワイドカメ
ラ102の画素の中心と、ワイドカメラ102のレンズ
の中心とのズレを演算補正して取り除く光軸補正部14
3を備えていたので、ワイドカメラ102によって撮影
された画像内の瞳の位置と、実際の瞳の位置との誤差の
うち、ワイドカメラ102の画素の中心と、ワイドカメ
ラ102のレンズの中心とのズレに起因する誤差を除去
することができる。
【0097】また、虹彩認証装置100は、ワイドカメ
ラ102によって撮影された画像のうち、ワイドカメラ
102のレンズに起因する画像歪みを演算補正して取り
除く歪曲補正部144を備えていたので、ワイドカメラ
102によって撮影された画像内の瞳の位置と、実際の
瞳の位置との誤差のうち、ワイドカメラ102のレンズ
の光学特性に起因する誤差を除去することができる。
【0098】また、虹彩認証装置100は、ナロー照明
103の照射位置を補正する照射位置補正部145を備
えていたので、より確実にナロー照明103によって対
象200の瞳を照明することができるので、より確実に
虹彩を撮影することができる。また、ナロー照明103
は、照射位置の位置決めが正確になると、発光パワーを
抑制することが可能である。
【0099】したがって、虹彩認証装置100は、従来
の虹彩認証装置と比較して、ナローカメラ101がワイ
ドカメラ102からの画像に基づいて算出する瞳の位置
と、実際の瞳の位置との誤差を減少することができるの
で、瞳の画像の取り損ないによるリトライを減少させ、
ナローカメラ101の整定に要する時間を減少すること
ができ、より確実に虹彩を撮影することができる。 (第2の実施の形態)
【0100】まず、第2の実施の形態に係る虹彩認証装
置の構成について説明する。なお、本実施の形態に係る
虹彩認証装置の構成のうち、第1の実施の形態に係る虹
彩認証装置の構成と同様な構成については、同一の符合
を付して詳細な説明を省略する。
【0101】図13において、本実施の形態に係る虹彩
認証装置は、回転軸108aを中心とした回転量を検出
する回転量検出手段としてのエンコーダ151を備えて
いる。
【0102】また、カメラユニット駆動部128は、装
置制御部120から入力される目標とする回転量θy
と、エンコーダ151によって検出された回転軸108
aを中心とした回転量θeとの差に応じて、PID制御
で制御量を算出する制御フィルタ161と、制御フィル
タ161によって算出された制御量に応じてモータ10
9を駆動する駆動回路162と、装置制御部120から
入力される目標とする回転量θyと、エンコーダ151
によって検出された回転軸108aを中心とした回転量
θeとの差が所定の回転量(Δθ/2)以下であること
に基づいて、制御フィルタ161の制御ゲインを減少す
るゲイン制御部163と、エンコーダ151から出力さ
れる回転量θeが一定時間以上、所定の誤差範囲内で収
まっているか否かによって、カメラユニット108が整
定したか否かを判断する整定判断部164とを備えてい
る。
【0103】なお、制御フィルタ161、駆動回路16
2及びゲイン制御部163は、エンコーダ151の検出
結果に基づいて、モータ109の回転量を制御する回転
量制御手段を構成している。
【0104】また、ゲイン制御部163は、装置制御部
120から入力される目標とする回転量θyと、エンコ
ーダ151によって検出された回転軸108aを中心と
した回転量θeとの差が所定の回転量(Δθ/2)以下
であることに基づいて、制御フィルタ161の制御ゲイ
ンを減少することによって、モータ109が停止するの
を補助する停止補助手段及び制御ゲイン減少手段を構成
している。
【0105】また、エンコーダ151は、第1の実施の
形態において述べた構成に加え、ワイドカメラ102に
よって撮影された画像内の対象200の瞳の位置に基づ
いて、モータ109を回転駆動して回転軸108aを中
心に回転することによって、ナローカメラ101の撮影
方向を変更する撮影方向変更手段を構成している。
【0106】次に、本実施の形態に係る虹彩認証装置の
動作について説明する。
【0107】カメラユニット駆動部128が、装置制御
部120から目標とする垂直方向の回転量θyを与えら
れ、エンコーダ151からモータ109の実際の回転量
θeを与えられると、制御フィルタ161は、装置制御
部120から入力される目標とする回転量θyと、エン
コーダ151によって検出された回転軸108aを中心
とした回転量θeとの差に応じて、PID制御で制御量
を算出し、駆動回路162は、制御フィルタ161によ
って算出された制御量に応じてモータ109を駆動して
カメラユニット108を旋回させる。
【0108】ここで、カメラユニット108を高速に旋
回させるためには、制御フィルタ161の制御ゲインを
上げることが望ましいが、仮にカメラユニット駆動部1
28がゲイン制御部163を備えていない構成である場
合、制御フィルタ161の制御ゲインを上げると、図1
4の細線171で示したように、カメラユニット108
が、整定付近で振動的になり、目標位置に安定するまで
に時間がかかってしまうことがある。
【0109】また、カメラユニット駆動部128がゲイ
ン制御部163を備えていない構成である場合、制御フ
ィルタ161の制御ゲインを上げると、カメラユニット
108が目標位置の近傍で整定したように見えていて
も、実際には微少振動していることもある。カメラユニ
ット108が目標位置の近傍で微少振動している状態で
撮影を行うと、所謂「画像流れ」の状況が発生すること
になる。
【0110】しかしながら、本実施の形態に係る虹彩認
証装置は、カメラユニット駆動部128がゲイン制御部
163を備えており、制御フィルタ161の制御ゲイン
を上げてカメラユニット108の旋回を開始したとして
も、図14の太線172で示したように、ゲイン制御部
163は、エンコーダ151によって検出された回転軸
108aを中心とした回転量θeが、目標とする回転量
θy近傍の許容誤差Δθの範囲内になった時点で、目標
到達と判断し、制御フィルタ161の制御ゲインを下
げ、振動要因を低減する。
【0111】したがって、本実施の形態に係る虹彩認証
装置は、制御フィルタ161の制御ゲインを上げてカメ
ラユニット108の旋回を開始したとしても、必要以上
の振動を抑制することができる。
【0112】なお、制御フィルタ161からの制御信号
を停止しても、機構的に整定するまでには更に時間が必
要となるため、カメラユニット108が整定したか否か
は、エンコーダ151から出力される回転量θeが一定
時間以上、所定の誤差範囲内で収まっているか否かによ
って、整定判断部164が判断する。即ち、整定判断部
164は、エンコーダ151のパルス数が一定時間以
上、所定パルス数以下になっていることによって、カメ
ラユニット108が整定したことを判断する。
【0113】本実施の形態においては、整定判断部16
4が、エンコーダ151からの出力を利用してカメラユ
ニット108が整定したか否かを判断する構成になって
いたが、整定判断部164は、カメラユニット108の
旋回を開始してから所定の時間経過したか否か、或い
は、制御フィルタ161が駆動回路162にモータ10
9の駆動を停止させる命令を出力してから所定の時間経
過したか否かによって、カメラユニット108が整定し
たか否かを判断するようにしても良い。
【0114】整定判断部164は、カメラユニット10
8が整定したことを判断すると、整定信号を装置制御部
120に出力する。したがって、装置制御部120は、
整定判断部164によって出力される整定信号を利用し
て図2及び図3に示す処理を実行することができる。
【0115】なお、以上の説明においては、カメラユニ
ット108の旋回、即ち、ナローカメラ101の撮影方
向の変更のうち垂直方向の変更について説明したが、ナ
ローカメラ101の撮影方向の変更のうち水平方向の変
更、即ち、反射ミラー105の旋回についても、同様な
構成を備えて、同様な動作を実現することができる。
【0116】以上説明したように、本実施の形態に係る
虹彩認証装置は、ナローカメラ101の撮影方向を変更
する際、目標の撮影方向近傍で制御フィルタ161の制
御ゲインを減少させることによって、目標の撮影方向近
傍で撮影方向が微小振動することを抑制することができ
るので、従来と比較して、ナローカメラ101の整定に
要する時間を減少することができ、より確実に虹彩を撮
影することができる。また、本実施の形態に係る虹彩認
証装置は、目標の撮影方向近傍での不要な残留振動によ
る撮影画像のぶれも防止することができる。(第3の実
施の形態)
【0117】まず、第3の実施の形態に係る虹彩認証装
置の構成について説明する。なお、本実施の形態に係る
虹彩認証装置の構成のうち、第2の実施の形態に係る虹
彩認証装置の構成と同様な構成については、同一の符合
を付して詳細な説明を省略する。
【0118】図15において、本実施の形態に係る虹彩
認証装置は、摩擦を発生させやすい樹脂等で形成され、
回転軸108aに接触する軸接触部181と、回転軸1
08aに軸接触部181から一定の摩擦力を与えられる
ようにするバネ182と、直動モータや、カムリンク等
を有し、入力される制御量に応じた変位をバネ182を
介して軸接触部181に与える摩擦制御部183と、カ
メラユニット108の旋回動作毎に整定時間を記憶する
整定時間学習部184とを備えている。
【0119】なお、軸接触部181、バネ182及び摩
擦制御部183は、整定判断部164からの整定信号に
基づいて、回転軸108aに摩擦力を付与することによ
って、モータ109が停止するのを補助する停止補助手
段及び摩擦付与手段を構成している。
【0120】また、軸接触部181、バネ182、摩擦
制御部183及び整定時間学習部184は、第2の実施
の形態において述べた構成に加え、ワイドカメラ102
によって撮影された画像内の対象200の瞳の位置に基
づいて、ナローカメラ101の撮影方向を変更する撮影
方向変更手段を構成している。
【0121】次に、本実施の形態に係る虹彩認証装置の
動作について説明する。
【0122】モータ109の回転振動は、摩擦成分が大
きいほど抑制される。しかしながら、一方的に摩擦力を
大きくすると、駆動速度の低下や目標位置決め精度の低
下を招くので、整定時の摩擦が必要な時のみに必要な摩
擦力を与える方法が適している。
【0123】したがって、摩擦制御部183は、モータ
109の旋回開始時には、軸接触部181が回転軸10
8aに与える摩擦力を最小限にしておき、整定判断部1
64から整定時間学習部184を介して整定信号が入力
されると、バネ182を介して軸接触部181を回転軸
108aに押し当てる。その結果、本実施の形態に係る
虹彩認証装置は、図16の点線191で示すように、摩
擦によって残留振動を迅速に抑制することができる。
【0124】なお、整定判断部164は、第2の実施の
形態において述べたように、装置制御部120から入力
される目標とする回転量θyと、エンコーダ151によ
って検出された回転軸108aの回転量θeとに基づい
て、エンコーダ151から出力される回転量θeが一定
時間以上、所定の誤差範囲内で収まっているか否かによ
って、カメラユニット108が整定したか否かを判断す
る。
【0125】ここで、整定判断部164が、整定状態に
応じて複数種類の整定信号を出力することができる構成
である場合、摩擦制御部183は、整定判断部164か
らの整定信号の種類に応じて、軸接触部181から回転
軸108aに与える摩擦力を変化するようにしても良
い。
【0126】また、軸接触部181から回転軸108a
に与える摩擦力と、そのときのカメラユニット108の
整定時間との関係は、図17に示すようになる。図17
において、軸接触部181から回転軸108aに与える
摩擦力が摩擦力F4より小さいとき、軸接触部181か
ら回転軸108aに摩擦力F4を与える場合と比較し
て、モータ109の残留振動が無くなるまで時間がかか
るため、カメラユニット108の整定時間は長くなる。
一方、軸接触部181から回転軸108aに与える摩擦
力が摩擦力F4より大きいとき、軸接触部181から回
転軸108aに摩擦力F4を与える場合と比較して、カ
メラユニット108が目標の停止位置に達する前に停止
してしまうため、モータ109を駆動してカメラユニッ
ト108を再度旋回させなければならず、カメラユニッ
ト108の整定時間は極端に長くなる。
【0127】したがって、本実施の形態に係る虹彩認証
装置は、整定時間学習部184によってカメラユニット
108の旋回動作毎に整定時間を記憶しておき、摩擦制
御部183に、整定時間学習部184に記憶された整定
時間に基づいて、学習的に最適な摩擦力を軸接触部18
1で回転軸108aに付与させる。
【0128】より詳細に説明すると、例えば、最初にカ
メラユニット108が旋回させられる際、摩擦制御部1
83は、軸接触部181から回転軸108aに摩擦力F
1を与え、整定時間学習部184は、軸接触部181か
ら回転軸108aに与えた摩擦力F1と、そのときのカ
メラユニット108の整定時間T1とを記憶する。
【0129】2回目にカメラユニット108が旋回させ
られる際、摩擦制御部183は、軸接触部181から回
転軸108aに摩擦力F1より大きい摩擦力F2を与
え、整定時間学習部184は、軸接触部181から回転
軸108aに与えた摩擦力F2と、そのときのカメラユ
ニット108の整定時間T2とを記憶する。
【0130】3回目にカメラユニット108が旋回させ
られる際、摩擦制御部183は、整定時間学習部184
に記憶された整定時間に基づいて、前2回において、軸
接触部181から回転軸108aに与える摩擦力を大き
くしたことによって、カメラユニット108の整定時間
が短くなったと判断し、今回も軸接触部181から回転
軸108aに摩擦力F2より大きい摩擦力F3を与える
ことを決定する。そして、整定時間学習部184は、軸
接触部181から回転軸108aに与えた摩擦力F3
と、そのときのカメラユニット108の整定時間T3と
を記憶する。
【0131】同様に、4回目にカメラユニット108が
旋回させられる際、摩擦制御部183は、整定時間学習
部184に記憶された整定時間に基づいて、前2回にお
いて、軸接触部181から回転軸108aに与える摩擦
力を大きくしたことによって、カメラユニット108の
整定時間が短くなったと判断し、今回も軸接触部181
から回転軸108aに摩擦力F3より大きい摩擦力F4
を与えることを決定する。そして、整定時間学習部18
4は、軸接触部181から回転軸108aに与えた摩擦
力F4と、そのときのカメラユニット108の整定時間
T4とを記憶する。
【0132】同様に、5回目にカメラユニット108が
旋回させられる際、摩擦制御部183は、整定時間学習
部184に記憶された整定時間に基づいて、前2回にお
いて、軸接触部181から回転軸108aに与える摩擦
力を大きくしたことによって、カメラユニット108の
整定時間が短くなったと判断し、今回も軸接触部181
から回転軸108aに摩擦力F4より大きい摩擦力F5
を与えることを決定する。そして、整定時間学習部18
4は、軸接触部181から回転軸108aに与えた摩擦
力F5と、そのときのカメラユニット108の整定時間
T5とを記憶する。
【0133】6回目にカメラユニット108が旋回させ
られる際、摩擦制御部183は、整定時間学習部184
に記憶された整定時間に基づいて、前2回において、軸
接触部181から回転軸108aに与える摩擦力を大き
くしたことによって、カメラユニット108の整定時間
が長くなったと判断し、今回からは最も整定時間の短か
った摩擦力F4を最適摩擦力として軸接触部181から
回転軸108aに与えることを決定する。
【0134】なお、以上の説明からも判断できるよう
に、整定時間学習部184は、ナローカメラ101の撮
影方向を変更する度に、回転軸108aが整定するまで
の時間を計測する時間計測手段を構成しており、摩擦制
御部183は、整定時間学習部184によって計測され
た時間に基づいて、軸接触部181によって付与する摩
擦力を決定する摩擦力決定手段を構成している。
【0135】したがって、本実施の形態に係る虹彩認証
装置は、ナローカメラ101の整定に適した摩擦力を回
転軸108aに加えることができるようになり、例え
ば、複数の虹彩認証装置を製造した場合、複数の虹彩認
証装置が個々に、ナローカメラ101の整定に適した摩
擦力を回転軸108aに加えることができるようにな
る。
【0136】また、摩擦制御部183は、軸接触部18
1に変位を与えることによって、軸接触部181から回
転軸108aに摩擦力を与えているので、カメラユニッ
ト108が旋回する回数が増加するにつれて、軸接触部
181の磨耗等により、実際には軸接触部181から回
転軸108aに目的の摩擦力を与えられなくなる。
【0137】そこで、本実施の形態に係る虹彩認証装置
は、例えば、カメラユニット108が旋回させられる度
に、摩擦制御部183によって軸接触部181から回転
軸108aに最適摩擦力として摩擦力F4を与えている
とき、前回のカメラユニット108の旋回動作の際に整
定時間学習部184で記憶された整定時間が、摩擦力F
4のときに期待される許容時間以内(即ち、整定時間T
4から所定時間以内)ではなくなれば、摩擦制御部18
3によって軸接触部181から回転軸108aに摩擦力
F4より大きい摩擦力F5を与える。
【0138】そして、次にカメラユニット108が旋回
させられる際、摩擦制御部183は、整定時間学習部1
84に記憶された整定時間に基づいて、前2回におい
て、軸接触部181から回転軸108aに与える摩擦力
を大きくしたことによって、カメラユニット108の整
定時間が短くなったか否かを判断する。摩擦制御部18
3は、カメラユニット108の整定時間が短くなったと
判断した場合には、軸接触部181から回転軸108a
に与える摩擦力を更に大きくし、カメラユニット108
の整定時間が長くなったと判断した場合には、逆に軸接
触部181から回転軸108aに与える摩擦力を小さく
して摩擦力F3にした後、上述した動作と同様にして新
たな最適摩擦力を決定する。
【0139】なお、以上の説明からも判断できるよう
に、整定時間学習部184は、回転軸108aが整定す
るまでの許容時間を、摩擦制御部183によって付与す
る摩擦力に対して記憶する許容時間記憶手段を構成して
いる。
【0140】したがって、本実施の形態に係る虹彩認証
装置は、磨耗などによって軸接触部181による摩擦力
に変化が生じた場合であっても、ナローカメラ101の
整定に適した摩擦力を回転軸108aに加えることがで
きるようになる。
【0141】なお、以上の説明においては、カメラユニ
ット108の旋回、即ち、ナローカメラ101の撮影方
向の変更のうち垂直方向の変更について説明したが、ナ
ローカメラ101の撮影方向の変更のうち水平方向の変
更、即ち、反射ミラー105の旋回についても、同様な
構成を備えて、同様な動作を実現することができる。
【0142】以上説明したように、本実施の形態に係る
虹彩認証装置は、軸接触部181、バネ182及び摩擦
制御部183を備えることによって、ナローカメラ10
1の撮影方向を変更する際、カメラユニット108の旋
回動作の最終段階において、旋回動作時の速度低下を発
生させることなく、目標の撮影方向近傍で撮影方向が微
小振動することを抑制することができるので、従来と比
較して、ナローカメラ101の整定に要する時間を減少
することができ、より確実に虹彩を撮影することができ
る。また、本実施の形態に係る虹彩認証装置は、目標の
撮影方向近傍での不要な残留振動による撮影画像のぶれ
も防止することができる。
【0143】
【発明の効果】以上説明したように、本発明によれば、
従来と比較して、ナローカメラの整定に要する時間を減
少し、より確実に虹彩を撮影することができる虹彩認証
装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る虹彩認証装置
のブロック図
【図2】図1に示す虹彩認証装置の動作の前半部分のフ
ローチャート
【図3】図1に示す虹彩認証装置の動作の後半部分のフ
ローチャート
【図4】(a)図1に示す虹彩認証装置のワイドカメラ
のレンズに起因する歪曲発生時の画像の説明図 (b)図1に示す虹彩認証装置のワイドカメラの画像の
うちレンズに起因する歪曲を補正する補正関数の説明図 (c)図1に示す虹彩認証装置のワイドカメラのレンズ
に起因する歪曲補正後の画像の説明図
【図5】図1に示す虹彩認証装置において対象の瞳の垂
直方向の位置を算出する原理図
【図6】図1に示す虹彩認証装置において対象の瞳の水
平方向の位置を算出する原理図
【図7】図1に示す虹彩認証装置のナローカメラのワイ
ドカメラとの視差を補正する原理図
【図8】図1に示す虹彩認証装置のナローカメラの撮影
方向を変更する原理図
【図9】図1に示す虹彩認証装置のナローカメラの撮影
方向を変更する図8とは異なる態様での原理図
【図10】図1に示す虹彩認証装置のナロー照明の照射
位置を補正する原理図
【図11】図1に示す虹彩認証装置のワイドカメラの画
素の中心と、ワイドカメラのレンズの中心とのズレを補
正する原理図
【図12】図1に示す虹彩認証装置の反射ミラーの反射
面及び回転軸が同一平面上に無いことに起因するナロー
カメラの撮影方向のズレを補正する原理図
【図13】本発明の第2の実施の形態に係る虹彩認証装
置の一部のブロック図
【図14】図13に示す虹彩認証装置のカメラユニット
旋回時の特性図
【図15】本発明の第3の実施の形態に係る虹彩認証装
置の一部のブロック図
【図16】図15に示す虹彩認証装置のカメラユニット
旋回時の特性図
【図17】図15に示す虹彩認証装置の軸接触部から回
転軸に与える摩擦力と、そのときのカメラユニットの整
定時間との関係を表す特性図
【図18】従来の虹彩認証装置のブロック図
【符号の説明】
200 対象 100 虹彩認証装置 101 ナローカメラ(瞳撮影カメラ) 102 ワイドカメラ(広角カメラ) 103 ナロー照明(瞳照明手段) 105 反射ミラー(撮影方向変更手段) 105a 反射面 105b 回転軸 106 モータ(撮影方向変更手段) 107 測距センサ(撮影方向変更手段、照射位置
変更手段) 108 カメラユニット(撮影方向変更手段) 108a 回転軸 109 モータ(撮影方向変更手段) 110 モータ(照射位置変更手段) 111 モータ(照射位置変更手段) 120 装置制御部(撮影方向変更手段、照射位置
変更手段) 124 ナロー照明駆動部(照射位置変更手段) 126 ミラー駆動部(撮影方向変更手段) 127 測距センサ制御部(撮影方向変更手段、照
射位置変更手段) 128 カメラユニット駆動部(撮影方向変更手
段) 129 認証部(認証手段) 141 視差補正部(撮影方向変更手段、誤差除去
手段、視差補正手段) 142 回転軸補正部(撮影方向変更手段、誤差除
去手段、撮影方向補正手段) 143 光軸補正部(撮影方向変更手段、誤差除去
手段、中心補正手段) 144 歪曲補正部(撮影方向変更手段、誤差除去
手段、歪曲補正手段) 145 照射位置補正部(照射位置変更手段、照射
位置補正手段) 151 エンコーダ(撮影方向変更手段、回転量検
出手段) 161 制御フィルタ(回転量制御手段) 162 駆動回路(回転量制御手段) 163 ゲイン制御部(回転量制御手段、停止補助
手段、制御ゲイン減少手段) 181 軸接触部(撮影方向変更手段、停止補助手
段、摩擦付与手段) 182 バネ(撮影方向変更手段、停止補助手段、
摩擦付与手段) 183 摩擦制御部(撮影方向変更手段、停止補助
手段、摩擦付与手段、摩擦力決定手段) 184 整定時間学習部(撮影方向変更手段、時間
計測手段、許容時間記憶手段)
フロントページの続き Fターム(参考) 5B047 AA23 BB04 BC09 BC11 BC16 BC23 CA12 CA17 CB09 CB23 DC09 5C022 AA05 AB62 AB66 AC42 AC69

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 対象の瞳を撮影する瞳撮影カメラと、 前記瞳撮影カメラより画角が広い広角カメラと、 前記広角カメラによって撮影された画像内の前記瞳の位
    置に基づいて、前記瞳撮影カメラの撮影方向を変更する
    撮影方向変更手段と、 前記瞳撮影カメラによって撮影された画像に基づいて、
    前記瞳の虹彩の特徴量を算出し、前記対象の認証を行う
    認証手段とを備え、 前記撮影方向変更手段が、前記広角カメラによって撮影
    された画像内の前記瞳の位置と、実際の前記瞳の位置と
    の誤差を除去する誤差除去手段を備えたことを特徴とす
    る虹彩認証装置。
  2. 【請求項2】 前記誤差除去手段が、前記瞳撮影カメラ
    及び前記広角カメラの間の距離に基づいて、前記瞳撮影
    カメラの前記広角カメラとの視差を補正する視差補正手
    段を備えたことを特徴とする請求項1に記載の虹彩認証
    装置。
  3. 【請求項3】 前記瞳撮影カメラの撮影範囲を照明する
    瞳照明手段と、 前記広角カメラによって撮影された画像内の前記瞳の位
    置に基づいて、前記瞳照明手段の照射位置を変更する照
    射位置変更手段とを備え、 前記照射位置変更手段が、前記瞳照明手段及び前記広角
    カメラの間の距離に基づいて、前記瞳照明手段の照射位
    置を補正する照射位置補正手段を備えたことを特徴とす
    る請求項2に記載の虹彩認証装置。
  4. 【請求項4】 前記誤差除去手段が、前記広角カメラに
    よって撮影された画像のうち、前記広角カメラのレンズ
    に起因する歪曲を演算補正して取り除く歪曲補正手段を
    備えたことを特徴とする請求項1から3までの何れかに
    記載の虹彩認証装置。
  5. 【請求項5】 前記誤差除去手段が、前記広角カメラの
    画素の中心と、前記広角カメラのレンズの中心とのズレ
    を演算補正して取り除く中心補正手段を備えたことを特
    徴とする請求項1から4までの何れかに記載の虹彩認証
    装置。
  6. 【請求項6】 反射面及び前記反射面と同一平面上に無
    い回転軸を有し、前記反射面によって前記瞳を反射して
    前記瞳撮影カメラに撮影させる反射ミラーを備え、 前記誤差除去手段が、前記反射面及び前記回転軸が同一
    平面上に無いことに起因する前記瞳撮影カメラの撮影方
    向のズレを演算補正して取り除く撮影方向補正手段を備
    えたことを特徴とする請求項1から5までの何れかに記
    載の虹彩認証装置。
  7. 【請求項7】 対象の瞳を撮影する瞳撮影カメラと、 前記瞳撮影カメラより画角が広い広角カメラと、 回転駆動するモータ及び回転軸を有し、前記広角カメラ
    によって撮影された画像内の前記瞳の位置に基づいて、
    前記モータを回転駆動して前記回転軸を中心に回転する
    ことによって、前記瞳撮影カメラの撮影方向を変更する
    撮影方向変更手段と、 前記瞳撮影カメラによって撮影された画像に基づいて、
    前記瞳の虹彩の特徴量を算出し、前記対象の認証を行う
    認証手段とを備え、 前記撮影方向変更手段が、 前記回転軸を中心とした回転量を検出する回転量検出手
    段と、 前記回転量検出手段の検出結果に基づいて、前記モータ
    の回転量を制御する回転量制御手段と、 目標とする回転量と、前記回転量検出手段によって検出
    された前記回転軸を中心とした回転量との差が所定の回
    転量以下であることに基づいて、前記回転量制御手段が
    前記モータを停止させるのを補助する停止補助手段とを
    備えたことを特徴とする虹彩認証装置。
  8. 【請求項8】 前記停止補助手段が、前記回転量検出手
    段によって検出された前記回転軸を中心とした回転量と
    の差が所定の回転量以下であることに基づいて、前記回
    転量制御手段の制御ゲインを減少する制御ゲイン減少手
    段を備えたことを特徴とする請求項7に記載の虹彩認証
    装置。
  9. 【請求項9】 前記停止補助手段が、目標とする回転量
    と、前記回転量検出手段によって検出された前記回転軸
    の回転量との差が所定の回転量以下であることに基づい
    て、前記回転軸に摩擦力を付与する摩擦付与手段を備え
    たことを特徴とする請求項7又は8に記載の虹彩認証装
    置。
  10. 【請求項10】 前記撮影方向変更手段が、 前記瞳撮影カメラの撮影方向を変更する度に、前記回転
    軸が整定するまでの時間を計測する時間計測手段と、 前記時間計測手段によって計測された時間に基づいて、
    前記摩擦付与手段によって付与する摩擦力を決定する摩
    擦力決定手段とを備えたことを特徴とする請求項9に記
    載の虹彩認証装置。
  11. 【請求項11】 前記回転軸が整定するまでの許容時間
    を、前記摩擦付与手段によって付与する摩擦力に対して
    記憶する許容時間記憶手段を備え、 前記時間計測手段によって計測された時間が前記許容時
    間記憶手段によって記憶された許容時間外であるとき、
    前記摩擦力決定手段が、付与する摩擦力を前記摩擦付与
    手段に変化させることを特徴とする請求項10に記載の
    虹彩認証装置。
JP2001215148A 2001-07-16 2001-07-16 虹彩認証装置 Expired - Fee Related JP3853617B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001215148A JP3853617B2 (ja) 2001-07-16 2001-07-16 虹彩認証装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001215148A JP3853617B2 (ja) 2001-07-16 2001-07-16 虹彩認証装置

Publications (2)

Publication Number Publication Date
JP2003030633A true JP2003030633A (ja) 2003-01-31
JP3853617B2 JP3853617B2 (ja) 2006-12-06

Family

ID=19049843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001215148A Expired - Fee Related JP3853617B2 (ja) 2001-07-16 2001-07-16 虹彩認証装置

Country Status (1)

Country Link
JP (1) JP3853617B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813585B2 (en) 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
KR20150090775A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 카메라 모듈
JP2021179698A (ja) * 2020-05-12 2021-11-18 Necプラットフォームズ株式会社 生体認証装置、生体認証方法及び生体認証プログラム
WO2022176323A1 (ja) * 2021-02-18 2022-08-25 日本電気株式会社 生体認証システム、生体認証方法、及び記録媒体
JP7412940B2 (ja) 2019-09-24 2024-01-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813585B2 (en) 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
KR20150090775A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 카메라 모듈
KR102219739B1 (ko) * 2014-01-29 2021-02-24 엘지이노텍 주식회사 카메라 모듈
JP7412940B2 (ja) 2019-09-24 2024-01-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP2021179698A (ja) * 2020-05-12 2021-11-18 Necプラットフォームズ株式会社 生体認証装置、生体認証方法及び生体認証プログラム
WO2022176323A1 (ja) * 2021-02-18 2022-08-25 日本電気株式会社 生体認証システム、生体認証方法、及び記録媒体

Also Published As

Publication number Publication date
JP3853617B2 (ja) 2006-12-06

Similar Documents

Publication Publication Date Title
JP3929752B2 (ja) 文書カメラ
JP3642336B2 (ja) 目画像撮像装置
JP2003283964A (ja) 映像表示装置
EP1351086A3 (en) Image pickup apparatus with a focus adjusting device and an exposure system
JP5562659B2 (ja) 実装装置および実装方法
KR20040084994A (ko) 인증 대상 화상 촬상 장치 및 그 방법
JP2001257927A (ja) 被写体追尾装置
US11457148B2 (en) Image processing apparatus, imaging apparatus, and control method
JPH05344403A (ja) 撮像装置
KR20040084993A (ko) 인증 대상 화상 촬상 장치 및 그 촬상 방법
JP3853617B2 (ja) 虹彩認証装置
JP2001036799A (ja) 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置
JP2002022425A (ja) 3次元画像入力装置
JPS63194237A (ja) カメラ
JP4622541B2 (ja) 虹彩撮影装置
JP2001257929A (ja) 被写体追尾装置
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
JP2009278280A (ja) 撮像装置、その制御方法及びプログラム
JPH0981790A (ja) 三次元形状復元装置および方法
JP2005117316A (ja) 撮影装置、撮影方法、およびプログラム
JP6702736B2 (ja) 撮像制御装置および撮像装置の制御方法、プログラム
JP2019133275A (ja) 顔認証装置及び顔認証方法
KR20060085292A (ko) 로봇용 사물인식시스템
JP2002094865A (ja) 画像認証装置
JP5340562B2 (ja) 角膜顕微鏡装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees