JP4477258B2 - Fingerprint verification device - Google Patents

Fingerprint verification device Download PDF

Info

Publication number
JP4477258B2
JP4477258B2 JP2001099168A JP2001099168A JP4477258B2 JP 4477258 B2 JP4477258 B2 JP 4477258B2 JP 2001099168 A JP2001099168 A JP 2001099168A JP 2001099168 A JP2001099168 A JP 2001099168A JP 4477258 B2 JP4477258 B2 JP 4477258B2
Authority
JP
Japan
Prior art keywords
fingerprint
registered
person
input
collation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001099168A
Other languages
Japanese (ja)
Other versions
JP2002298127A (en
Inventor
寿哉 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2001099168A priority Critical patent/JP4477258B2/en
Publication of JP2002298127A publication Critical patent/JP2002298127A/en
Application granted granted Critical
Publication of JP4477258B2 publication Critical patent/JP4477258B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、指紋照合装置、それに用いる指紋登録方法及び指紋照合方法に関し、特に照合精度の向上に関する。
【0002】
【従来の技術】
従来より、指紋を光学式や静電容量式の指紋読み取りセンサで画像化し、予め登録された指紋と照合する指紋照合装置がある。ちなみに、指紋読み取りセンサには、CCD(Charge Coupled Device)撮像素子等の光学式が多く用いられている。
【0003】
指紋画像を取り込む際には指を入力部に押し当て、入力部に接触した指の接触領域の指紋が、センサにより画像化される。従来は、接触領域が所定の大きさになったときに、指紋画像の取り込みが行われる。それに合わせて、予め登録される指紋画像も所定の大きさを有するものが格納される。
【0004】
【発明が解決しようとする課題】
照合時に取り込む入力指紋及び、それと照合される予め登録された登録指紋を所定の大きさの指紋画像とする従来の方法・構成では、指の大きさには個人差があるので、照合に好適な入力指紋・登録指紋が得られないことがあった。例えば、指紋画像が所定の大きさとなるときの入力部に対する指の押圧は、概して、指の大きい人では小さく、一方、指の小さい人では大きくなる。そのため、押圧が強くて指紋の隆線(凸部)がつぶれた指紋画像となったり、反対に押圧が弱くて隆線がかすれた指紋画像となることがあり、これら指紋画像では十分な照合精度が得られないという問題があった。
【0005】
これに対して、指による押圧が所定値となったタイミングで、指紋を読み取る構成・方法とした場合には、皮膚の柔らかさの個人差によって、照合に好適な入力指紋・登録指紋が得られないことがある。例えば、一定の押圧で指紋を読み取ると、皮膚の固い人の場合は、入力部に接触する指の面積が小さく、指の一部分の指紋しか読み取れないことがあり、一方、皮膚の柔らかい人の場合は、隆線がつぶれてしまい、これらの指紋画像ではやはり十分な照合精度が得られないという問題が生じる。
【0006】
本発明は上記問題点を解消するためになされたもので、個人差の影響を少なくして照合精度が向上する指紋照合装置、それに用いる指紋登録方法及び指紋照合方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明に係る指紋照合装置は、指紋読み取りセンサに押し当てた指から入力指紋を読み取り、前記入力指紋と予め登録された登録指紋との照合を行う指紋照合装置において、前記指紋読み取りセンサに対する前記指の押圧が所定値以上となるとオン状態となる圧力スイッチと、被登録者の前記入力指紋に基づいて、当該被登録者の前記登録指紋を定めて登録する登録処理部とを有し、前記登録処理部が、前記圧力スイッチがオン状態に切り替わった時点から所定時間だけ遅延した読み取りタイミングにて、前記指紋読み取りセンサにより前記入力指紋を読み取る被登録者指紋サンプリング手段を有する。
【0008】
本発明によれば、異なる被登録者に対して圧力スイッチは一定の押圧でオン状態となるが、登録指紋の採取はその圧力スイッチがオンしたタイミングではなく、その後、比較的短い所定時間だけ遅延したタイミングにて行われる。被登録者とは、装置に指紋を予め登録される者であり、通常は指紋照合によって認証を与えられるユーザである。圧力スイッチがオンする押圧の設定値は、指紋読み取りセンサに対する指の押圧が上昇する途中のレベルに設定され、オンした後、登録指紋の採取が行われる所定時間経過後には基本的にさらに押圧が増加している。そのときの押圧は、一般に被登録者に応じて異なる。採取される入力指紋は1つだけでもよいが、遅延した複数の所定読み取りタイミングにてそれぞれ読み取って、複数採取してもよい。同一の被登録者について複数の入力指紋を採取した場合には登録指紋は、例えばそれらのうちのいずれか好適なものを選択してもよい。
【0009】
別の本発明に係る指紋照合装置は、前記登録処理部が、任意の前記被登録者について、前記読み取りタイミングを変えて複数の前記入力指紋を取得する。
【0010】
本発明によれば、一人の被登録者に対し、圧力スイッチがオンしてからの経過時間が異なる複数のタイミングにて、それぞれ入力指紋の読み取りが行われ、それら複数の入力指紋に基づいて登録指紋が定められ、登録される。
【0011】
本発明の好適な態様は、前記登録処理部が、任意の前記被登録者について、前記読み取りタイミングを変えながら、前記被登録者指紋サンプリング手段を複数回用いる指紋照合装置である。本態様では、被登録者は複数回、指紋読み取りセンサに指を押し当て、複数回、被登録者指紋サンプリング手段が起動される。被登録者指紋サンプリング手段は、同一の被登録者について連続して起動される度に、読み取りタイミングを変えて、入力指紋の読み取りを行って、異なるタイミングでの複数の入力指紋を採取する。
【0012】
本発明の他の好適な態様は、前記被登録者指紋サンプリング手段が、前記圧力スイッチがオン状態となると、複数の前記読み取りタイミングにてそれぞれ前記入力指紋を読み取る指紋照合装置である。本態様では、被登録者が1回、指紋読み取りセンサに指を押し当て、被登録者指紋サンプリング手段が起動されると、被登録者指紋サンプリング手段は、圧力スイッチがオン状態となってからの経過時間が異なる複数の所定タイミングにて入力指紋の読み取りを行って、複数の入力指紋を採取する。
【0013】
さらに別の本発明に係る指紋照合装置においては、前記登録処理部が、前記任意の被登録者について得られた複数の前記入力指紋のうち、前記照合に適したものを前記登録指紋として選択する選択手段と、前記登録指紋及び、当該登録指紋に対応する前記読み取りタイミングを前記被登録者に関連づけて登録する登録手段とを有する。
【0014】
本発明によれば、複数採取された入力指紋のうち、照合に好適なものが原則として一つ選択され、登録指紋とされる。照合に好適であるかどうかは、採取された指紋の大きさ、指紋画像のコントラストが鮮明であるか、欠落部分がないかなどに基づいて判断することができる。登録指紋が被登録者と関連づけて記憶されるとともに、本発明では、登録指紋とされた入力指紋が採取された読み取りタイミング、すなわち、圧力スイッチがオンしてからの経過時間も被登録者と関連づけて記憶される。
【0015】
また別の本発明に係る指紋照合装置は、前記被登録者と照合される被照合者により前記圧力スイッチがオン状態とされると、当該被登録者に関して登録された前記読み取りタイミングにて、当該被照合者について入力指紋を読み取る被照合者指紋サンプリング手段を有する。
【0016】
本発明によれば、被照合者が或る被登録者であるか否かを指紋照合に基づいて判断する際に、被照合者の入力指紋は、当該被登録者について登録されている読み取りタイミングと基本的に同じタイミングにて読み取られる。すなわち、被照合者に対し圧力スイッチがオン状態となってからの時間が、被登録者に対する圧力スイッチがオン状態となってから登録指紋とされる入力指紋が採取された時点までの時間となったときに、被照合者からの入力指紋の読み取りが行われる。これにより、被照合者が照合対象とされる被登録者であれば、入力指紋の採取条件が登録指紋と同様となるという点で、両者を照合した場合の精度が向上する。また登録指紋は複数の入力指紋から照合に好適なものとして選択されたものであり、この登録指紋と同じタイミングで採取される入力指紋は、登録指紋と同様に、例えば鮮明である等の点で照合に好適であることが期待される。よって、この点でもこれら入力指紋と登録指紋とを照合した場合の精度向上が図られる。
【0017】
本発明の指紋登録方法は、前記指紋読み取りセンサに対する前記指の押圧が所定値以上となった後、複数の読み取りタイミングにてそれぞれ前記入力指紋を読み取る指紋読み取りステップと、前記指紋読み取りステップにて任意の被登録者について得られた複数の前記入力指紋のうち、前記指紋照合に適したものを前記登録指紋として選択する選択ステップと、前記登録指紋及び、当該登録指紋に対応する前記読み取りタイミングを前記被登録者に関連づけて登録する登録ステップとを有する。
【0018】
本発明に係る指紋照合方法は、被登録者の前記入力指紋に基づいて前記登録指紋を定めて登録する登録処理ステップと、被照合者の前記入力指紋と前記被登録者の前記登録指紋との照合を行う照合処理ステップとを有し、前記登録処理ステップは、前記指紋読み取りセンサに対する前記被登録者の指の押圧が所定値以上となった後、複数の読み取りタイミングにてそれぞれ前記入力指紋を読み取る被登録者指紋読み取りステップと、前記被登録者指紋読み取りステップにて任意の前記被登録者について得られた複数の前記入力指紋のうち、前記照合に適したものを前記登録指紋として選択する選択ステップと、前記登録指紋及び、当該登録指紋に対応する前記読み取りタイミングを前記被登録者に関連づけて登録する登録ステップとを含み、前記照合処理ステップは、前記指紋読み取りセンサに対する前記被照合者の指の押圧が前記所定値以上となった後、前記被登録者に関して登録された前記読み取りタイミングにて、当該被照合者の前記入力指紋を読み取る被照合者指紋読み取りステップを有する。
【0019】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【0020】
図1は、本発明に係る指紋照合装置の概略のブロック図である。本装置は、本体モジュール2と操作モジュール4とからなる。操作モジュール4は、指紋照合による認証を必要とする箇所に設置される。例えば、操作モジュール4はセキュリティが保持されるエリアへの入口近傍に設置され、当該エリアへ入場しようとする者は、操作モジュール4に自分の指を提示して指紋照合による認証を受ける。操作モジュール4での照合結果は、本体モジュール2へ伝達される。本体モジュール2は、認証を与えるユーザの指紋情報(登録指紋)を記憶すると共に、例えば入口の電気錠の開閉等の制御を行う。本体モジュール2は登録指紋の漏えい等を防止するため、操作モジュール4とは別体に構成され、セキュリティが保たれる場所に設置される。
【0021】
本体モジュール2は、記憶部10、制御部12を含んで構成される。記憶部10には、例えば、登録ユーザ(被登録者)の情報が格納される。登録ユーザの情報は例えば、識別番号(ID番号)、登録指紋、及び後述する付加情報などである。制御部12は操作モジュール4からの照合結果に基づいて、例えば電気錠の開閉やアラーム発生などを行う。
【0022】
操作モジュール4は、指紋入力部20、処理部22、操作部24、表示部26を含んで構成される。
【0023】
指紋入力部20は、指紋読み取りセンサ30、圧力スイッチ32を含んで構成される。図2は、指紋入力部の模式的な断面図である。本装置では指紋読み取りセンサ30は光学的に指紋を読み取るものである。具体的には、透明ガラス板等で構成された指置部40へ向けて、LED(Light Emission Diode)等の光源44からの光がプリズムレンズ46を介して照射される。指置部40の表面には、指42が押し当てられ、その接触部分の指紋が現れる。その指紋がCCD(Charge Coupled Device)イメージセンサ等の撮像素子48で撮影される。これら指置部40、光源44、プリズムレンズ46及び撮像素子48が指紋読み取りセンサ30を構成する。
【0024】
圧力スイッチ32は、指置部40の下に配置された感圧部50に作用する押圧が所定値以上となるとオン状態となる。圧力スイッチ32は感圧部50自体がスイッチの機能を有するものであってもよいし、その他、例えば、感圧部50を圧力センサとし、その圧力センサ及びその出力に応じてオン/オフを制御する制御回路によって圧力スイッチ32を構成することもできる。圧力スイッチ32は、指置部40に指が押し当てられたときに、指紋読み取りセンサ30による指紋読み取り動作を起動するためのものである。
【0025】
処理部22は、照合処理部60、登録処理部62を含んで構成される。処理部22は、基本的には中央処理装置(CPU:Central Processing Unit)で構成され、照合処理部60、登録処理部62はそれぞれCPUで実行されるソフトウェアである。それぞれの処理内容については後述する。
【0026】
操作部24はユーザのID番号の入力や、指紋登録時の動作切り替え指示等を行うための入力部である。表示部26は、入力されたID番号や装置の動作状態、操作案内、エラーメッセージなどを表示する出力部である。本装置では、操作部24及び表示部26はタッチパネル付きLCD(Liquid Crystal Display)で一体に構成される。
【0027】
次に本装置における指紋登録時の動作・処理を説明する。図3は、指紋登録時の処理フロー図である。本装置により認証を与えるユーザを新たに登録する場合、又は既登録ユーザの情報を更新する場合には、登録処理部62を起動して、当該ユーザの登録ユーザ情報を新たに記憶部10に記録する。通常、処理部22では照合処理部60による照合処理が実行されているので、登録処理を行うためには登録処理部62を起動して処理を照合処理から登録処理へ切り替える操作を操作部24から別途行う(S100)。
【0028】
登録処理部62が起動されると、被登録者に割り当てられたID番号が、当該被登録者自身又は他の操作者によって操作部24から入力される(S105)。登録処理部62は、指紋の読み取り回数kを1に初期化する(S110)。次に、被登録者は自分の指を指紋入力部20の指置部40に押し当て、装置は指紋読み取りセンサ30で被登録者の指紋を読み取る。
【0029】
この読み取り動作は、被登録者が指紋読み取りセンサ30に押し当てた指の押圧が圧力スイッチ32に設定された所定値以上となったことにより起動され、所定回数(ここでは例えば4回)、繰り返される。押圧が所定値以上となると圧力スイッチ32がオン状態となり(S115)、登録処理部62はこのオン状態となった時点からの経過時間を計時する。その経過時間が所定時間Tとなると、登録処理部62は指紋読み取りセンサ30を駆動して、タイミングTでの指紋画像Pを取り込む(S120)。なお、ここで、タイミングTは、kの値に応じて、すなわち読み取り動作の回毎に異なるように設定される。また読み取りタイミングTが異なることにより、指紋画像Pも各回毎に異なり得る。例えば、T,T,T,Tはそれぞれ0ミリ秒、100ミリ秒、200ミリ秒、300ミリ秒とすることができる。これらTは例えば、指の押圧が増加している過渡期間内に設定され、これにより、指置部40への密着度の異なる複数の指紋画像が得られる。
【0030】
登録処理部62は、指紋画像Pが得られると、その指紋画像が照合に適している程度を示す評価値Vを算出する(S125)。この評価値は、例えば、指紋画像のコントラストの鮮明度を用いることができる。コントラストの鮮明度は、例えば、指紋画像内のある直線上での画像データの変動パターンに基づいて定めることができる。例えば、隆線の部分と、隆線の間隙との画像データの変動が大きいことに基づいて、大きな評価値を与えることができる。また、指紋画像内の隆線が欠落した部分や隆線がつぶれた部分を認識して、それらの部分の割合が低いほど大きな評価値を与えることができる。また、指紋画像内に検出される特徴点の数、その鮮明度に基づいて評価値を定めることもできる。また、指紋照合を精度良く行うためにはある程度の数の特徴点を必要とし、これを満たすために指と指置部40との接触面積がある程度以上であることを評価値算定において考慮してもよい。
【0031】
上記ステップS115〜S125の処理が一回の指紋画像の読み込み動作である。登録処理部62は、回数kを順次、インクリメントしながら(S130)、異なるタイミングTで指紋画像の読み込み動作を反復し、所定回数(ここでは4回)完了すると(S135)反復動作を終了する。そして登録処理部62は、各指紋画像Pについて求めた評価値Vを比較し(S140)、最も優れた評価値が得られた指紋画像Pを登録指紋Pとして、ステップS105で入力された当該被登録者のID番号と関連づけて記憶部10に格納する。またその登録指紋Pが得られたタイミングTを、照合タイミングTとし、当該被登録者の付加情報の一つとして記憶部10に格納する(S145)。
【0032】
次に本装置における指紋照合時の動作・処理を説明する。図4は、指紋照合時の処理フロー図である。指紋照合により認証を求める者、すなわち被照合者は基本的には既登録のユーザであり、自分のID番号を取得している。被照合者は自分のID番号を操作部24から入力して(S200)、指置部40に指を押し当てる。照合処理部60はID番号を入力されると、そのID番号に関連づけられている登録ユーザ情報、すなわち登録指紋P、照合タイミングTを記憶部10から読み出す(S205)。
【0033】
次に、指置部40に押し当てられた被照合者の指紋を読み取る動作は、上記指紋登録時と同様、被照合者が指紋読み取りセンサ30に押し当てた指の押圧が圧力スイッチ32に設定された所定値以上となったことにより起動される。押圧が所定値以上となると圧力スイッチ32がオン状態となり(S210)、照合処理部60はこのオン状態となった時点からの経過時間を計時する。その経過時間が照合タイミングTとなると、照合処理部60は指紋読み取りセンサ30を駆動して、照合タイミングTでの指紋画像(照合指紋P)を取り込む(S215)。なお、圧力スイッチ32がオン状態となる圧力の設定値は、登録処理時と照合処理時とで同一である。
【0034】
照合処理部60は、照合指紋PとステップS205にて読み出された登録指紋Pとを照合する(S220)。照合判定の結果が合格であれば(S225)、合格時の処理として、照合処理部60から本体モジュール2の制御部12への通知が行われ、制御部12は例えば、入口の電気錠の解錠等の処理を行う(S230)。一方、照合判定の結果が不合格であれば(S225)、照合処理部60は不合格時の処理を行う(S235)。例えば、照合処理部60は、不合格である旨のメッセージや照合指紋Pを表示部26に表示する。また照合処理部60は例えば、同一の被照合者が所定回数、連続して不合格となった場合などに、異常を制御部12へ通知する。
【0035】
上記構成は、複数のタイミングの異なる指紋画像を取り込む際に、被登録者はその都度、指置部40を押し直して、圧力スイッチ32をオン状態とするものである。これに対して、圧力スイッチ32が一回オン状態とされると、登録処理部62が異なるタイミングでの指紋画像を次々と取り込むように構成することもできる。
【0036】
また、上記構成は、被照合者がID番号を入力し、そのID番号に関連づけられる登録指紋Pと照合指紋Pとが一対一で照合されるものである。ここで、例えば、本装置を家庭用とする場合などには、被登録者の人数が少ないので、ID番号の入力を省略し、照合指紋Pを全ての登録ユーザの登録指紋Pと照合するように構成しても、照合に要する時間は許容範囲内である。この構成ではID入力が不要となるので、ID番号を憶えることも不要となり、誰でも容易に操作することが可能となる。この場合には、登録指紋P毎に照合タイミングTが異なり得る。ここでも照合処理部60は、照合タイミングが同じ登録指紋と照合指紋とを照合する。そのために照合処理部60は例えば、圧力スイッチ32が一回オン状態とされると、異なるタイミングでの指紋画像を次々と取り込み、各照合タイミングでの指紋画像を取り込むように構成される。そして、それら被照合者から採取した複数の指紋画像のうち、照合対象となる登録指紋と同じタイミングのものが照合指紋として選択され、照合判定が行われる。
【0037】
【発明の効果】
本発明の指紋照合装置、それに用いる指紋登録方法及び指紋照合方法によれば、照合に好適な登録指紋が個人毎に定められるので、照合精度が向上する。
【図面の簡単な説明】
【図1】 本発明の実施形態である指紋照合装置の概略のブロック図である。
【図2】 指紋入力部の模式的な断面図である。
【図3】 指紋登録時の処理フロー図である。
【図4】 指紋照合時の処理フロー図である。
【符号の説明】
2 本体モジュール、4 操作モジュール、10 記憶部、12 制御部、20 指紋入力部、22 処理部、24 操作部、26 表示部、30 指紋読み取りセンサ、32 圧力スイッチ、40 指置部、44 光源、48 撮像素子、50 感圧部、60 照合処理部、62 登録処理部。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a fingerprint collation apparatus, a fingerprint registration method and a fingerprint collation method used therefor, and more particularly to improvement of collation accuracy.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a fingerprint collation device that images a fingerprint with an optical or capacitive fingerprint reading sensor and collates it with a pre-registered fingerprint. Incidentally, an optical type such as a CCD (Charge Coupled Device) image sensor is often used for the fingerprint reading sensor.
[0003]
When a fingerprint image is captured, the finger is pressed against the input unit, and the fingerprint in the contact area of the finger that is in contact with the input unit is imaged by the sensor. Conventionally, a fingerprint image is captured when the contact area reaches a predetermined size. Correspondingly, a fingerprint image registered in advance is also stored having a predetermined size.
[0004]
[Problems to be solved by the invention]
The conventional method and configuration in which the input fingerprint captured at the time of collation and the pre-registered registered fingerprint to be collated with the fingerprint image of a predetermined size are suitable for collation because there are individual differences in finger sizes. Input fingerprint / registered fingerprint could not be obtained. For example, the finger pressing on the input unit when the fingerprint image has a predetermined size is generally small for a person with a large finger and large for a person with a small finger. For this reason, the fingerprint image may be a fingerprint image in which the ridge (convex part) of the fingerprint is crushed due to a strong press, or a fingerprint image in which the ridge is faint due to a weak press. There was a problem that could not be obtained.
[0005]
On the other hand, when the fingerprint is read and configured when the finger pressure reaches a predetermined value, input fingerprints and registered fingerprints suitable for collation can be obtained due to individual differences in skin softness. There may not be. For example, when a fingerprint is read with a constant pressure, if the person has a hard skin, the area of the finger that touches the input area may be small, and only a part of the finger may be read. However, the ridges are crushed, and there still arises a problem that sufficient accuracy of matching cannot be obtained with these fingerprint images.
[0006]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a fingerprint collation apparatus that reduces the influence of individual differences and improves collation accuracy, and a fingerprint registration method and fingerprint collation method used therefor. .
[0007]
[Means for Solving the Problems]
The fingerprint collation apparatus according to the present invention is a fingerprint collation apparatus that reads an input fingerprint from a finger pressed against a fingerprint reading sensor and collates the input fingerprint with a registered fingerprint registered in advance. A pressure switch that is turned on when the pressure of the pressure exceeds a predetermined value, and a registration processing unit that determines and registers the registered fingerprint of the registered person based on the input fingerprint of the registered person, and the registration The processing unit includes a registered person fingerprint sampling unit that reads the input fingerprint by the fingerprint reading sensor at a reading timing delayed by a predetermined time from the time when the pressure switch is turned on.
[0008]
According to the present invention, the pressure switch is turned on with a constant press for different registered persons, but the collection of registered fingerprints is not the timing when the pressure switch is turned on, but is delayed for a relatively short predetermined time thereafter. It is done at the timing. A registered person is a person whose fingerprint is registered in advance in the apparatus, and is usually a user who is given authentication by fingerprint verification. The set value of the pressure at which the pressure switch is turned on is set to a level in the middle of the finger pressing against the fingerprint reading sensor. It has increased. The pressing at that time generally differs depending on the registered person. Only one input fingerprint may be collected, but a plurality of input fingerprints may be collected by reading at a plurality of delayed predetermined reading timings. When a plurality of input fingerprints are collected for the same registered person, for example, any suitable fingerprint may be selected.
[0009]
In another fingerprint collation device according to the present invention, the registration processing unit acquires a plurality of the input fingerprints for any of the registered persons by changing the reading timing.
[0010]
According to the present invention, an input fingerprint is read for each registered person at a plurality of timings with different elapsed times after the pressure switch is turned on, and registration is performed based on the plurality of input fingerprints. A fingerprint is defined and registered.
[0011]
A preferred aspect of the present invention is a fingerprint collation apparatus in which the registration processing unit uses the registered person fingerprint sampling unit a plurality of times while changing the reading timing for an arbitrary registered person. In this aspect, the registered person presses the finger against the fingerprint reading sensor a plurality of times, and the registered person fingerprint sampling means is activated a plurality of times. The registered person fingerprint sampling means reads the input fingerprint at different reading timings every time the same registered person is continuously activated, and collects a plurality of input fingerprints at different timings.
[0012]
Another preferred aspect of the present invention is a fingerprint collation device in which the registered person fingerprint sampling unit reads the input fingerprint at a plurality of reading timings when the pressure switch is turned on. In this aspect, when the registered person presses the finger once on the fingerprint reading sensor and the registered person fingerprint sampling means is activated, the registered person fingerprint sampling means is not activated until the pressure switch is turned on. The input fingerprint is read at a plurality of predetermined timings with different elapsed times, and a plurality of input fingerprints are collected.
[0013]
In yet another fingerprint collation device according to the present invention, the registration processing unit selects, as the registered fingerprint, a plurality of input fingerprints obtained for the arbitrary registered person and suitable for the collation. Selecting means; and registration means for registering the registered fingerprint and the reading timing corresponding to the registered fingerprint in association with the registered person.
[0014]
According to the present invention, among a plurality of input fingerprints collected, one that is suitable for collation is selected in principle and used as a registered fingerprint. Whether or not it is suitable for collation can be determined based on the size of the collected fingerprint, whether the contrast of the fingerprint image is clear, or there is no missing portion, and the like. The registered fingerprint is stored in association with the registered person, and in the present invention, the reading timing when the input fingerprint as the registered fingerprint is collected, that is, the elapsed time since the pressure switch is turned on is also associated with the registered person. Is remembered.
[0015]
In another fingerprint collation device according to the present invention, when the pressure switch is turned on by a person to be collated with the person to be registered, at the reading timing registered for the person to be registered, A verification target fingerprint sampling means for reading the input fingerprint of the verification target is provided.
[0016]
According to the present invention, when determining whether or not a person to be verified is a registered person based on fingerprint verification, the input fingerprint of the person to be verified is read timing registered for the registered person. Are read at the same timing. That is, the time from when the pressure switch is turned on for the person to be verified is the time from when the pressure switch for the person to be registered is turned on to when the input fingerprint, which is a registered fingerprint, is collected. The input fingerprint from the person to be verified is read. Thus, if the person to be collated is a registered person to be collated, the accuracy of collating both is improved in that the input fingerprint collecting condition is the same as that of the registered fingerprint. The registered fingerprint is selected as a suitable collation from a plurality of input fingerprints, and the input fingerprint collected at the same timing as this registered fingerprint is, for example, clear, etc. It is expected to be suitable for verification. Therefore, also in this respect, accuracy can be improved when these input fingerprints and registered fingerprints are collated.
[0017]
The fingerprint registration method according to the present invention includes a fingerprint reading step of reading the input fingerprint at a plurality of reading timings after the finger press on the fingerprint reading sensor exceeds a predetermined value, and an arbitrary fingerprint reading step A selection step of selecting, as the registered fingerprint, the one suitable for the fingerprint collation among the plurality of input fingerprints obtained for the registered person of the registered person, and the reading timing corresponding to the registered fingerprint and the registered fingerprint And a registration step of registering in association with the registered person.
[0018]
The fingerprint collation method according to the present invention includes a registration processing step of determining and registering the registered fingerprint based on the input fingerprint of the registered person, and the input fingerprint of the verified person and the registered fingerprint of the registered person A collation processing step for performing collation, and the registration processing step includes the step of reading the input fingerprints at a plurality of read timings after a pressure of the registered person's finger against the fingerprint reading sensor exceeds a predetermined value. A registered person fingerprint reading step to be read, and a selection for selecting, as the registered fingerprint, a plurality of the input fingerprints obtained for any of the registered persons in the registered person fingerprint reading step that is suitable for the collation And a registration step of registering the registered fingerprint and the reading timing corresponding to the registered fingerprint in association with the registered person, The collation processing step includes the input of the person to be collated at the reading timing registered with respect to the person to be registered after the finger pressing of the person to be collated with respect to the fingerprint reading sensor becomes equal to or greater than the predetermined value. A verification target fingerprint reading step for reading the fingerprint;
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a schematic block diagram of a fingerprint collation apparatus according to the present invention. This apparatus includes a main body module 2 and an operation module 4. The operation module 4 is installed in a place that requires authentication by fingerprint verification. For example, the operation module 4 is installed near the entrance to an area where security is maintained, and a person who intends to enter the area presents his / her finger to the operation module 4 and is authenticated by fingerprint verification. The collation result in the operation module 4 is transmitted to the main body module 2. The main body module 2 stores the fingerprint information (registered fingerprint) of the user who gives authentication, and controls the opening and closing of the electric lock at the entrance, for example. The main body module 2 is configured separately from the operation module 4 to prevent leakage of registered fingerprints, and is installed in a place where security is maintained.
[0021]
The main body module 2 includes a storage unit 10 and a control unit 12. For example, information of a registered user (registered person) is stored in the storage unit 10. The registered user information includes, for example, an identification number (ID number), a registered fingerprint, and additional information described later. Based on the collation result from the operation module 4, the control part 12 performs opening / closing of an electric lock, an alarm generation, etc., for example.
[0022]
The operation module 4 includes a fingerprint input unit 20, a processing unit 22, an operation unit 24, and a display unit 26.
[0023]
The fingerprint input unit 20 includes a fingerprint reading sensor 30 and a pressure switch 32. FIG. 2 is a schematic cross-sectional view of the fingerprint input unit. In this apparatus, the fingerprint reading sensor 30 optically reads a fingerprint. Specifically, light from a light source 44 such as an LED (Light Emission Diode) is irradiated through a prism lens 46 toward a finger placement unit 40 formed of a transparent glass plate or the like. The finger 42 is pressed against the surface of the finger placement unit 40, and the fingerprint of the contact portion appears. The fingerprint is photographed by an image sensor 48 such as a CCD (Charge Coupled Device) image sensor. The finger placement unit 40, the light source 44, the prism lens 46, and the imaging device 48 constitute the fingerprint reading sensor 30.
[0024]
The pressure switch 32 is turned on when the pressure applied to the pressure-sensitive unit 50 disposed below the finger placement unit 40 becomes a predetermined value or more. The pressure switch 32 may have a function of the switch itself. In addition, for example, the pressure sensor 50 is a pressure sensor, and on / off is controlled according to the pressure sensor and its output. The pressure switch 32 can also be configured by a control circuit that performs the above. The pressure switch 32 is for starting a fingerprint reading operation by the fingerprint reading sensor 30 when a finger is pressed against the finger placement unit 40.
[0025]
The processing unit 22 includes a verification processing unit 60 and a registration processing unit 62. The processing unit 22 is basically composed of a central processing unit (CPU), and the verification processing unit 60 and the registration processing unit 62 are software executed by the CPU. Each processing content will be described later.
[0026]
The operation unit 24 is an input unit for inputting a user ID number, performing an operation switching instruction at the time of fingerprint registration, and the like. The display unit 26 is an output unit that displays an input ID number, an operation state of the apparatus, operation guidance, an error message, and the like. In the present apparatus, the operation unit 24 and the display unit 26 are integrally configured by an LCD (Liquid Crystal Display) with a touch panel.
[0027]
Next, operations and processing at the time of fingerprint registration in this apparatus will be described. FIG. 3 is a processing flow diagram at the time of fingerprint registration. When newly registering a user to be authenticated by this apparatus, or when updating information of a registered user, the registration processing unit 62 is activated and the registered user information of the user is newly recorded in the storage unit 10. To do. Usually, since the verification processing by the verification processing unit 60 is executed in the processing unit 22, in order to perform the registration processing, an operation for starting the registration processing unit 62 and switching the processing from the verification processing to the registration processing is performed from the operation unit 24. Separately (S100).
[0028]
When the registration processing unit 62 is activated, the ID number assigned to the registered person is input from the operation unit 24 by the registered person himself or another operator (S105). The registration processing unit 62 initializes the fingerprint reading count k to 1 (S110). Next, the registered person presses his / her finger against the finger placement unit 40 of the fingerprint input unit 20, and the apparatus reads the fingerprint of the registered person by the fingerprint reading sensor 30.
[0029]
This reading operation is started when the pressure of the finger pressed by the registered person against the fingerprint reading sensor 30 becomes equal to or greater than a predetermined value set in the pressure switch 32, and is repeated a predetermined number of times (for example, four times here). It is. When the pressure exceeds a predetermined value, the pressure switch 32 is turned on (S115), and the registration processing unit 62 counts an elapsed time from the time when the pressure is turned on. When the elapsed time reaches the predetermined time T k , the registration processing unit 62 drives the fingerprint reading sensor 30 to capture the fingerprint image P k at the timing T k (S120). Here, the timing T k is set to be different depending on the value of k, that is, for each reading operation. In addition, since the reading timing T k is different, the fingerprint image P k may be different every time. For example, T 1 , T 2 , T 3 , and T 4 can be 0 milliseconds, 100 milliseconds, 200 milliseconds, and 300 milliseconds, respectively. These T k are set, for example, within a transition period in which the finger pressure is increasing, whereby a plurality of fingerprint images having different degrees of adhesion to the finger placement unit 40 are obtained.
[0030]
When the fingerprint image P k is obtained, the registration processing unit 62 calculates an evaluation value V k indicating the degree to which the fingerprint image is suitable for collation (S125). As this evaluation value, for example, the contrast sharpness of a fingerprint image can be used. The sharpness of contrast can be determined based on, for example, a fluctuation pattern of image data on a certain straight line in a fingerprint image. For example, a large evaluation value can be given based on a large variation in image data between the ridge portion and the ridge gap. In addition, it is possible to recognize a portion where a ridge is missing or a portion where a ridge is crushed in a fingerprint image, and to give a larger evaluation value as the ratio of those portions is lower. Further, the evaluation value can be determined based on the number of feature points detected in the fingerprint image and the sharpness thereof. Further, in order to perform fingerprint collation with high accuracy, a certain number of feature points are required, and in order to satisfy this, the contact area between the finger and the finger placement unit 40 is considered to be more than a certain amount in the evaluation value calculation. Also good.
[0031]
The processing in steps S115 to S125 is a fingerprint image reading operation once. The registration processing unit 62 repeats the fingerprint image reading operation at different timings T k while sequentially incrementing the number k (S130). When the predetermined number of times (here, four times) is completed (S135), the repetitive operation ends. . The registration processing unit 62 compares the evaluation values V k obtained for each fingerprint image P k (S140), as best evaluation value registered fingerprint image P k obtained fingerprint P R, input at step S105 The information is stored in the storage unit 10 in association with the ID number of the registered person. The timing T k obtained its registered fingerprint P R, and the verification time T R, stored in the storage unit 10 as one of the additional information of the object registrant (S145).
[0032]
Next, operations and processing at the time of fingerprint collation in this apparatus will be described. FIG. 4 is a process flow diagram during fingerprint collation. A person who seeks authentication by fingerprint collation, that is, a person to be collated is basically a registered user and obtains his / her ID number. The person to be verified inputs his / her ID number from the operation unit 24 (S200), and presses the finger against the finger placement unit 40. When the verification processing unit 60 is input the ID number, registered user information associated with the ID number, i.e. reads the registered fingerprint P R, the matching timing T R from the storage unit 10 (S205).
[0033]
Next, in the operation of reading the fingerprint of the person to be collated pressed against the finger placement unit 40, the pressure of the finger pressed against the fingerprint reading sensor 30 by the person to be collated is set in the pressure switch 32 as in the case of the fingerprint registration. It is activated when it exceeds the predetermined value. When the pressure exceeds a predetermined value, the pressure switch 32 is turned on (S210), and the verification processing unit 60 measures the elapsed time from the time when the pressure is turned on. When the elapsed time is collated timing T R, the verification processing unit 60 drives the fingerprint reading sensor 30 captures a fingerprint image of the collation time T R (collation fingerprint P S) (S215). Note that the pressure setting value at which the pressure switch 32 is turned on is the same during the registration process and during the verification process.
[0034]
Matching process section 60, the registered fingerprint P R read by the collation fingerprint P S and step S205 (S220). If the result of the collation determination is acceptable (S225), the collation processing unit 60 notifies the control unit 12 of the main body module 2 as a process at the time of the pass, and the control unit 12 may, for example, unlock the electric lock at the entrance. Processing such as locking is performed (S230). On the other hand, if the result of the collation determination is a failure (S225), the collation processing unit 60 performs a process at the time of the failure (S235). For example, the matching processing unit 60 displays a message and the collation fingerprint P S indicating that failed on the display unit 26. For example, the collation processing unit 60 notifies the control unit 12 of an abnormality when, for example, the same person to be collated fails a predetermined number of times.
[0035]
In the above configuration, when a plurality of fingerprint images with different timings are captured, the registered person presses the finger placement unit 40 each time to turn on the pressure switch 32. On the other hand, when the pressure switch 32 is turned on once, the registration processing unit 62 may be configured to sequentially capture fingerprint images at different timings.
[0036]
Further, the structure is such that the verifier inputs the ID number, the registered fingerprint and P R associated with that ID number and the collation fingerprint P S are collated one to one. Here, for example, in a case of the apparatus and for home, matching because fewer people of the registrant, omit the input of the ID number, the collation fingerprint P S and the registered fingerprint P R of all registered users Even in such a configuration, the time required for collation is within an allowable range. In this configuration, no ID input is required, so it is not necessary to memorize the ID number, and anyone can easily operate. In this case, it may have different collation timing T R for each registered fingerprint P R. Here again, the verification processing unit 60 compares the registered fingerprint and the verification fingerprint with the same verification timing. For this purpose, for example, when the pressure switch 32 is turned on once, the verification processing unit 60 is configured to capture fingerprint images at different timings one after another and capture fingerprint images at each verification timing. Then, among the plurality of fingerprint images collected from the person to be collated, one having the same timing as the registered fingerprint to be collated is selected as the collation fingerprint, and collation determination is performed.
[0037]
【The invention's effect】
According to the fingerprint collation apparatus of the present invention, the fingerprint registration method and the fingerprint collation method used therefor, a registered fingerprint suitable for collation is determined for each individual, so that collation accuracy is improved.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of a fingerprint collation apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic cross-sectional view of a fingerprint input unit.
FIG. 3 is a processing flow diagram at the time of fingerprint registration.
FIG. 4 is a processing flow diagram at the time of fingerprint collation.
[Explanation of symbols]
2 Main unit module, 4 operation module, 10 storage unit, 12 control unit, 20 fingerprint input unit, 22 processing unit, 24 operation unit, 26 display unit, 30 fingerprint reading sensor, 32 pressure switch, 40 finger placement unit, 44 light source, 48 imaging device, 50 pressure sensing unit, 60 collation processing unit, 62 registration processing unit.

Claims (2)

指紋読み取りセンサに押し当てた指から入力指紋を読み取り、前記入力指紋と予め登録された登録指紋との照合を行う指紋照合装置において、
前記指紋読み取りセンサに対する前記指の押圧が所定値以上となるとオン状態となる圧力スイッチと、
被登録者の前記入力指紋に基づいて、当該被登録者の前記登録指紋を定めて登録する登録処理部と、
を有し、
前記登録処理部は、
任意の前記被登録者について、前記圧力スイッチがオン状態に切り替わった時点から読み取りタイミングを変えて前記指紋読み取りセンサにより複数の前記入力指紋を読み取る被登録者指紋サンプリング手段と、
前記任意の被登録者について得られた複数の前記入力指紋のうち、前記照合に適したものを前記登録指紋として選択する選択手段と、
前記登録指紋及び、当該登録指紋に対応する前記読み取りタイミングを前記被登録者に関連づけて登録する登録手段と、を有すること、
を特徴とする指紋照合装置。
In a fingerprint collation device that reads an input fingerprint from a finger pressed against a fingerprint reading sensor and collates the input fingerprint with a registered fingerprint registered in advance,
A pressure switch that is turned on when the pressure of the finger against the fingerprint reading sensor exceeds a predetermined value;
A registration processing unit for determining and registering the registered fingerprint of the registered person based on the input fingerprint of the registered person;
Have
The registration processing unit
For any of the registered persons, a registered person fingerprint sampling unit that reads a plurality of the input fingerprints by the fingerprint reading sensor by changing the reading timing from the time when the pressure switch is switched to the ON state ;
A selection unit that selects, as the registered fingerprint, a plurality of the input fingerprints obtained for the arbitrary registered person, which is suitable for the verification;
Registration means for registering the registered fingerprint and the reading timing corresponding to the registered fingerprint in association with the registered person ;
A fingerprint verification device characterized by the above.
請求項1記載の指紋照合装置において、
前記被登録者と照合される被照合者により前記圧力スイッチがオン状態とされると、当該被登録者に関して登録された前記読み取りタイミングにて、当該被照合者について入力指紋を読み取る被照合者指紋サンプリング手段を有すること、を特徴とする指紋照合装置。
The fingerprint verification apparatus according to claim 1, wherein
When the pressure switch is turned on by a person to be collated with the person to be registered, a person to be verified fingerprint that reads an input fingerprint of the person to be verified at the reading timing registered for the person to be registered A fingerprint collation device comprising sampling means .
JP2001099168A 2001-03-30 2001-03-30 Fingerprint verification device Expired - Fee Related JP4477258B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001099168A JP4477258B2 (en) 2001-03-30 2001-03-30 Fingerprint verification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001099168A JP4477258B2 (en) 2001-03-30 2001-03-30 Fingerprint verification device

Publications (2)

Publication Number Publication Date
JP2002298127A JP2002298127A (en) 2002-10-11
JP4477258B2 true JP4477258B2 (en) 2010-06-09

Family

ID=18952744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001099168A Expired - Fee Related JP4477258B2 (en) 2001-03-30 2001-03-30 Fingerprint verification device

Country Status (1)

Country Link
JP (1) JP4477258B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201895A (en) * 2008-02-29 2009-09-10 Seiko Instruments Inc Pulse wave detector and pulse wave detecting method
JP6291722B2 (en) * 2013-04-26 2018-03-14 富士通株式会社 Biometric authentication device, biometric authentication program, and biometric authentication method
JP6740217B2 (en) 2014-09-17 2020-08-12 マース インコーポレーテッドMars Incorporated apparatus
AU2015316581B2 (en) 2014-09-17 2020-06-11 Mars, Incorporated Device
JP6015787B2 (en) * 2015-02-16 2016-10-26 株式会社日立製作所 Blood vessel imaging device
JP2020004314A (en) * 2018-07-02 2020-01-09 株式会社東海理化電機製作所 Switch device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61255481A (en) * 1985-05-08 1986-11-13 Nec Corp Picture input device
JPS635551U (en) * 1986-06-25 1988-01-14
JPS63236173A (en) * 1987-03-24 1988-10-03 Nec Corp Feature extracting device
JP2680084B2 (en) * 1988-12-09 1997-11-19 富士通株式会社 Personal identification device
JPH02178780A (en) * 1988-12-29 1990-07-11 Toshiba Corp Individual feature registering device and individual authorizing device
JP2710655B2 (en) * 1989-01-20 1998-02-10 富士通株式会社 Fingerprint image input device
JPH04125780A (en) * 1990-09-17 1992-04-27 Fujitsu Ltd Finger print image input device
JPH1153545A (en) * 1997-07-31 1999-02-26 Sony Corp Device and method for collation
JP3620391B2 (en) * 2000-02-23 2005-02-16 日本電気株式会社 Fingerprint input device, image determination method used therefor, and recording medium recording control program thereof

Also Published As

Publication number Publication date
JP2002298127A (en) 2002-10-11

Similar Documents

Publication Publication Date Title
JP3825222B2 (en) Personal authentication device, personal authentication system, and electronic payment system
JP4468896B2 (en) Authentication device using biometric information
US20050063567A1 (en) Authentication apparatus and authentication method
JP4037009B2 (en) Iris recognition device and identification system
EP1418486A2 (en) Fingerprint-based authentication apparatus
US6341170B2 (en) Organism collation apparatus capable of randomly selecting type or organism information to be collated
US20030118212A1 (en) Method for registering iris code in iris recognition system
JP2003085539A (en) Living body authenticating device
KR20070008389A (en) Device and method for registering organism information
JP2001167270A (en) Fingerprint identifying device and display method for valid data capture state
JP4477258B2 (en) Fingerprint verification device
JP2004078791A (en) Personal identification device and administration system using the same
KR100994239B1 (en) Fingerprint recognition apparatus and method, system and method for detecting forged fingerprint
JPH09274656A (en) Fingerprint collating device
JPH02191083A (en) Fingerprint picture input device
JP2001344605A (en) Individual identification method, device and system therefor
JP2708051B2 (en) Fingerprint image input device
KR20000030122A (en) user identification method using multi-biometric information and system thereof
JPH06309440A (en) Image fetching system for image collating device
JP2001167280A (en) Device and method for identifying fingerprint and recording medium with fingerprint identification program recorded thereon
JP2002279413A (en) Device for identifying dummy fingerprint and device for collating fingerprint
JPH09297844A (en) Fingerprint precognition device
JP2003044858A (en) Device and method for personal identification
JP2005292994A (en) Personal recognition system and passage control system
JP4767751B2 (en) Face image matching device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100311

R150 Certificate of patent or registration of utility model

Ref document number: 4477258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees