JP2006172258A - 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置 - Google Patents

指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置 Download PDF

Info

Publication number
JP2006172258A
JP2006172258A JP2004365565A JP2004365565A JP2006172258A JP 2006172258 A JP2006172258 A JP 2006172258A JP 2004365565 A JP2004365565 A JP 2004365565A JP 2004365565 A JP2004365565 A JP 2004365565A JP 2006172258 A JP2006172258 A JP 2006172258A
Authority
JP
Japan
Prior art keywords
coordinate system
finger
fingerprint
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004365565A
Other languages
English (en)
Other versions
JP4298644B2 (ja
Inventor
Takahiro Nakamura
高宏 中村
Emiko Sano
恵美子 佐野
Masahiro Shikai
正博 鹿井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004365565A priority Critical patent/JP4298644B2/ja
Publication of JP2006172258A publication Critical patent/JP2006172258A/ja
Application granted granted Critical
Publication of JP4298644B2 publication Critical patent/JP4298644B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

【課題】 指の姿勢を考慮した照合用データを取得し、照合の精度を向上させた非接触型の指紋照合装置を提供する。
【解決手段】 装置2は、指紋を含む指面のデータを生成するカメラユニット4およびレーザ照射ユニット6と、指面データに基づいて指面の三次元位置を計測する計測部と、計測した三次元位置に基づいて末節の軸方向を求める算出部と、末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と縦断面群にほぼ直交する横断面群と指面との第2の交線群とから形成された曲面をなす曲線座標系を設定する設定部と、所定の平面座標系で表現される指紋画像データを取得する指紋画像データ取得部と、指紋画像データから曲線座標系で表現される中間データを得、中間データから曲線座標系に対応する曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用データを求める照合用データ取得部と、を備える。
【選択図】図1

Description

本発明は、個人を識別するために指紋を照合する装置に関する。本発明は特に、指面を装置の構成要素に非接触の状態で指紋画像データを取得する指紋照合装置に関する。本発明はまた指紋照合プログラムに関する。本発明はさらに指紋登録装置に関する。
従来の指紋照合装置は通常、指紋のある面(指面)を平面に接触させた状態で指紋画像データを取得し、該データから指紋の隆線や特徴点(隆線の分岐点、傾き、端点など)などの画像特徴部分を抽出し、登録済みの指紋の画像特徴部分に関するデータと照合する。こうした装置では、指を平面に押しつけることで指面が変形し、その結果、照合精度が低下するという問題があった。そこで、指面を装置の構成要素に非接触にした状態で撮像面に対向させることで指紋画像データを取得する指紋照合装置(個人認識装置)が提案されている(例えば、特許文献1参照。)
特開2003−85538号公報
指面は曲面形状であるため、非接触式で得られる指紋画像データでは、指面の中央の部位に比べて周辺部位では指紋の隆線の間隔が狭くなり、その結果、周辺部位の隆線を抽出しにくい。また、指は撮像面に対し一定の姿勢であるとは限らない。言い換えれば、指の末節(指先と第1関節の間の部分)が向いている方向の軸(本願では、末節の軸といい、指全体を伸ばした状態で指の伸びる方向に相当する。)を1つの軸とする空間座標系は、撮像面に固定された直交する2軸と該2軸に直交する軸からなる基準座標系と固定された関係を有するとは限らない。特に、指が末節軸周りに回転して指面の中央部位が撮像面に正対せずに傾いた状態で指紋画像データが取得されると、撮像面に最も近い指面の部位が傾き角度により異なるため、傾き角度が違えば画像上で隆線間隔の狭まる部位が異なる。その結果、得られた指紋画像を単純に平行・回転移動しても対応する登録された画像特徴部分の元となる指紋画像とは重ならない部分が必ず生じるために、正確な照合を行うことができなくなる。
そこで、本発明は、指の姿勢を考慮した照合用データを取得し、これにより照合の精度を向上させた非接触型の指紋照合装置を提供することを目的とする。
上記目的を達成するために、本発明に係る指紋照合装置の一態様は、
指紋を含む指面に関するデータを生成する指面データ生成部と、
指面データ生成部で生成した指面データに基づいて指面の三次元位置を計測する指面三次元位置計測部と、
指面三次元位置計測部で計測した三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出部と、
末節軸方向算出部で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群にほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす曲線座標系を設定する曲線座標系設定部と、
所定の平面座標系で表現される指紋画像データを取得する画像データ取得部と、
画像データ取得部で取得した指紋画像データから、曲線座標系設定部により設定された曲線座標系で表現される中間データを得、続いて、中間データから、上記所定の平面座標系に対応する平面と平行となるよう曲線座標系に対応する曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求める照合用データ取得部と、
照合用データ取得部で取得した照合用データに基づき指紋を照合する指紋照合部と、
を備えることを特徴とする。
本発明に係る指紋照合装置の一態様によれば、指面データ生成部(例えば、ステレオカメラ)で生成した指面の三次元位置に基づいて指面の三次元位置を計測する。次に、計測された三次元位置に基づいて末節の軸方向を算出する。そして、末節の軸方向に基づいて指面に沿った曲面をなす曲線座標系を設定する。平面座標系で表現される指紋画像データは、対応する画像上で指紋に歪みが生じているが、曲線座標系で表現される中間データに変換され、さらに、上記所定の平面座標系に対応する平面と平行となるよう曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求める。得られた照合用データは歪みが補正されている(例えば、指紋画像で隆線間隔が狭くなった箇所は拡大される。)ため、照合の精度を高めることができる。
以下、添付図面を参照して本発明の実施の形態を説明する。
実施の形態1.
図1は、本発明に係る指紋照合装置の実施の形態1を示す。この指紋照合装置2は、指面を該装置の構成要素と非接触の状態で指紋画像データを取得し、指紋画像データを補正して照合用のデータを得、照合用データに基づいて個人を認識するためのものである。
具体的に、指紋照合装置2は、カメラユニット4と、所定の領域に位置する指の末節(指先と第1関節の間の部分)に対し平面状のスリットレーザ光Lを走査するためのレーザ照射ユニット6と、照合すべき指紋と比較する多数の指紋の画像特徴部分に関するデータ(例えば、隆線、隆線の端点・分岐点など)を蓄積する指紋データベース8と、カメラユニット4で撮像したデータに基づいて所定の処理を行うプログラムが搭載され、指紋データベース8に蓄積したデータと比較すべき照合用のデータを出力するための処理部(コンピュータ)10と、処理部により出力された照合用データと指紋データベース8に蓄積されたデータを照合する指紋照合部12とを備える。
カメラユニット4は、所定の方向(紙面上下方向)に光軸を有するレンズ系(図示せず)と、レーザ照射ユニット6からのスリットレーザ光Lの指面での反射光を受光する、光軸に垂直な撮像面14を有する撮像素子(例えばCCD)15とを備える。説明の都合上、光軸をz方向、z方向に垂直な撮像面の紙面垂直方向をx方向、紙面左右方向をy方向とし、撮像面14に対する指面の位置を「高さ」という。また、光軸上に原点を有し、x、y、z方向に伸びた軸をx、y、z軸としたカメラユニット4に固定したxyz座標系を規定する。なお、本実施形態では、指の高さによらずに指面画像がほぼ一定の大きさとなるテレセントリックレンズ系を用いる。
レーザ照射ユニット6は、スリットレーザ光Lを出射するレーザ光源16と、レーザ光源から出射したレーザ光を指面に向けて反射するガルバノミラー18と、レーザ光源を制御するとともにガルバノミラーをx方向(紙面垂直方向)に伸びた軸周りに回転させるための制御部19とを備える。ガルバノミラー18で反射したレーザ光のxy平面(撮像面14)とのなす角度をγとする。
かかるカメラユニット4とレーザ照射ユニット6の構成によれば、カメラユニット4は、図2(a)に示すように、レーザ照射ユニット6からある角度γでスリットレーザ光Lが指面に当たると半楕円に近い輝線Eを含む画像のデータを撮像することになる。この輝線画像データは、広義には指面に関するデータを意味し、本実施形態では、カメラユニット4およびレーザ照射ユニット6は、指面データを生成する指面データ生成部として機能する。
図3に示すように、処理部10は、カメラユニット4の撮像素子15で撮像した輝線画像データ(広義には、指面データ生成部で生成した指面データ)に基づいて指紋を含む指面の三次元位置(x、y、z座標)を計測する計測部20を備える。指面三次元位置計測部20による三次元位置の計測は次のように行う。x、y座標は、撮像面14上に固定された平面座標系とx、y平面座標系との関係から求められる。輝線E上の各点のz座標は、z=y×tanγ+z(zは定数)から求められる。こうした計算を全てのγについて行い、指面の三次元位置(x、y、z座標)を求める。計測部20による指面の三次元位置を正確に求めるためには、レーザ照射ユニット6による走査中、指が静止していると見なせる程度に走査速度を十分速くする必要がある。
処理部10はまた、計測部20で計測した指面の三次元位置に基づいて末節の直線状の軸方向を求める算出部22を備える。末節の軸方向とは末節の向いている方向であるが、本実施形態では、末節の軸方向を直接求めるのではなく、指面のxy平面への投影図形(すなわち二次元座標(x、y座標))に基づいて投影図形がxy平面上で向いている方向(本願では、末節の縦断方向Wという。)を求める(末節の軸方向は間接的に求まる。)。
図2(b)を参照して、末節軸方向算出部22による末節軸方向の算出は、例えば次のように行う。仮に末節の縦断方向Wのy方向に対する角度βが90度より十分小さいこと(言い換えれば、レーザ照射ユニット6の走査が末節の軸方向に垂直に近い方向に沿って行われることがないこと)が(例えば、照合時に末節を位置させる領域に末節の形状に対応する囲みを設けるなどして)保証できれば、計測部20で求めた指面の三次元位置に基づいて、輝線群のうち選択された複数の輝線Ei(i=1,2,...)について該輝線上で最も高さの低い(z座標の最も小さな)頂点Piを求め、頂点群Piの回帰直線の方向を縦断方向Wとする。回帰直線の導出の際には、(指面の傾き(反り)の変化が末節の根本側に比べて指先側が大きく指先側で誤差が大きくなることを考慮して)末節の根本側の重み付けを大きくして計算してもよい。精度を高めるために選択される輝線の数は多い方が好ましい。なお、各輝線そのものを用いて頂点を求める代わりに各輝線を関数で近似して、最小二乗法などの関数フィッティング法を用いて関数の係数を求め、これにより関数の頂点を求めるようにしてもよい。
上記保証ができない場合あるいはより高精度に縦断方向Wを算出するためには、上記のように各輝線について各点の平面座標(x、y座標)とその高さからなるデータに基づいて頂点を求める代わりに、指面全体について各点の平面座標とその高さからなるデータに基づいて末節がどの方向に向くかを大まかに解析し、該方向に垂直な方向について仮想的な輝線を改めて求め、各輝線上のz座標の最も小さな点をつなぐ直線の方向を縦断方向として求めてもよい。
なお、カメラユニット4の撮像範囲が末節全体を撮影できる程度に十分広い場合には、末節の2次元形状(指の輪郭のx座標およびy座標)に基づいて末節の軸方向Wを決定できるが、上記方法では撮像範囲が狭く指の輪郭が必ずしも撮影できない場合にも末節の軸方向(本実施形態では、末節の縦断方向W)を求めることができる。
図3に戻って、処理部10は、末節の縦断方向W(末節の軸方向)に基づいて、指面の曲面形状に対応する仮想的な直交曲線座標系を設定する曲線座標系設定部24を備える。
具体的に、縦断方向Wと光軸z方向に垂直な方向をV方向(本願では、末節の横断方向という。)とし、V,W,z3方向に伸びた軸をV軸、W軸、z軸としたVWz座標系を規定すると、VW平面座標系の点(V,W)とxy平面座標系の点(x,y)との関係は、
Figure 2006172258
と表せる。ここで、R(−β)は角度−β(βは、y軸とW軸とのなす角)[図2(b)]の回転行列、
Figure 2006172258
である。指面の各点のz方向の座標をz(V,W)とし、図4(a),(b)に示すように、V軸を指面に投影してできる指面上の仮想的な曲線軸をM軸、W軸を指面に投影してできる指面上の仮想的な曲線軸をN軸とすると、MN座標系の点(M,N)と該点に投影されるVW座標系の点(V,W)との関係は、
Figure 2006172258
と表せる。ここで、M、Nは定数である。z=z(V,W)の与え方については、例えば、zを二次式以上の多項式や非線形式で関数近似し、最小二乗法や動的輪郭法などの関数フィッティング法を用いて近似式の係数を求める。あるいは、計測値から求めた各点のdz/dx、dz/dyからdz/dV、dz/dWを求めてもよい。
このように、曲線座標系設定部24は、末節軸方向とほぼ平行の縦断面(縦断方向Wと平行)群と指面との交線(第1の交線)群と、縦断面にほぼ直交する横断面(横断方向Vと平行)群と指面との交線(第2の交線群)と、から形成された曲面をなすMN曲線座標系を設定する[図4(c)参照]。
図3を参照して、処理部10は、ある横断面内における指面の形状(該形状の各点のV、z座標)に基づいて(言い換えれば、該横断面と指面との交線に対応する)末節の太さ(本願では、末節の代表太さという。)を算出する末節太さ算出部26を備える。例えば、末節の根本側の横断面内における指面の形状を楕円関数で近似し、近似式を一般化ハフ変換などにより求め、楕円の長径(の2倍)を末節の太さとする。あるいは、末節の根本側の横断面内の指面の形状を多項式などの他の関数で近似し、関数フィッティング法で近似式の係数を求めてもよい。例えば、二次多項式で近似する場合、近似式の算出した係数と楕円の2次項までテーラ展開した式の各項の係数を比較すれば、楕円の長径と係数との関係が定まる(言い換えれば、末節の太さを間接的に求めることができる。)。横断面に関する指面の形状は厳密には(中央部位に関して)左右対称でないため、僅かな左右非対称を許容する関数を近似式として用いてもよい。
こうして求めた末節代表太さは、後述するように得られた指紋画像を拡大縮小し、これにより個人により異なる末節(指)の太さにかかわらずに照合用のデータに対応する指紋のサイズをほぼ同じにするために用いる。これについては後でさらに述べる。
処理部10は、カメラユニット4の撮像素子15で撮像した輝線画像データに基づいて指紋画像データ(これは、xy平面座標系で表現される。)を取得する取得部28を備える。各γに関して得られた輝線画像データは、指紋の部分的な濃淡画像データであるため、指紋画像データ取得部28は、この濃淡画像データを全てのγについて合成し指紋画像データとして求める。このとき、指紋画像データはxy平面座標系で表現されるが、指紋画像データ取得部28は、xy平面座標系をVW平面座標系に変換した指紋画像データをさらに求める。
指紋画像データに対応する画像は以下に示すように歪みが生じている。図5を参照して、照合の際に末節の軸はカメラユニット4の光軸に対しほぼ垂直であるとは限らず、末節の軸方向は縦断方向Wに対して角度α傾く場合がある。さらに指面を詳細に見ると指の横断方向Vに沿って見た場合のみならず、縦断方向Wに沿って見た場合に、末節の根本側では縦断方向Wに対する指面の傾斜角がほぼ一定(α)であるのに対し、指先に向けて末節が細くなるにつれて対する指面の傾斜角αが変化する。縦断方向Wに対する傾斜角が大きくなるにつれて、対応する指紋の隆線間隔が縮んで画像が歪む。横断方向Vについても同様である。画像の歪みがあると、同一の指であっても指の姿勢の変化に対して指紋の隆線や特徴点(隆線の分岐点や端点)などの画像特徴部分の座標が非線形に変化するため、画像の歪みが大きいと登録済みの指紋の画像特徴部分との照合ができなくなる。
そこで、本実施形態では、処理部10は、指紋画像データ取得部28で取得した指紋画像データから歪みの少ない照合用のデータを取得するための取得部30を備える。照合用データ取得部30はまず、曲線座標系設定部24により設定されたM軸、N軸を用いて、指紋画像データ取得部28で取得した指紋画像データ(VW座標系で表現されるデータ)から、指面に沿ったMN曲線座標系で表現される中間データ(これは、VW平面上の指紋画像をMN曲面上に投影した指紋に対応する。)を得、続いて、中間データから、MN曲線座標系に対応する曲面を仮想的に平面展開した仮想平面の座標系(mn平面座標系とする。)で表現される照合用のデータを取得する。mn平面座標系に対応する平面は、xy平面(VW平面)に対応する平面と平行である。座標系と図6に平面展開の一例を示す(末節代表太さは指面の横断面との交線を楕円近似して得られたとする。)。例えば、V軸と最も近い(すなわち、z座標の最も小さな)指面上の点Mは、M座標の値をそのままm座標とし、それ以外の点M(図の例では、指面の頂点)は、M軸に沿ったMとMとの間の長さ(楕円の弧の長さ)をさらに加えたものまたは引いたものをm座標とする。N座標のn座標への変換も同様に行う。照合用データ取得部30は、さらに末節太さ算出部26で算出した末節代表太さに応じて照合用データの仮想平面座標系であるmn平面座標系を拡大縮小する。指の太さの異なる人A,Bに関して指紋画像の拡大縮小を行った例を図7に示す。人Aの場合、末節代表太さが予め決められた値より大きいため、仮想平面座標系(指紋画像)を縮小し、人Bの場合、末節代表太さが予め決められた値より小さいため、仮想平面座標系(指紋画像)を拡大する。
図1に戻って、指紋照合部12は、照合用データ取得部30で取得した照合すべきデータから画像特徴部分(隆線、隆線の分岐点、端点など)を抽出するようにしてある。詳しくは、指紋照合部20は、照合用データをフーリエ変換して隆線間隔に対応する周波数スペクトルデータを求め、画像ノイズを除去した後逆フーリエ変換を行って得た指紋データから隆線の構造を求め、これにより画像特徴部分を抽出する。指紋照合部12は続いて、指紋データベース8に蓄積された登録済みの各指紋の画像特徴部分の情報を参照して指紋の照合を行う。
かかる構成を備えた指紋照合装置2において、指の末節を所定の領域に位置させた状態で、レーザ照射ユニット6は、末節をスリットレーザ光で走査する。その結果、カメラユニット4の撮像素子15は、輝度画像データを撮像し処理部10に送出する。処理部10の指面三次元位置計測部20は、撮像素子15で撮像した各輝度画像データと対応するγの値とに基づいて指面の三次元位置(x、y、z座標)を計測する。一方、処理部10の指紋画像データ取得部28は、複数の輝度画像データを合成して指紋画像データ(x、y座標)を求め、VW座標に変換する。
次に、末節軸方向算出部22は、指面三次元位置計測部20で計測した指面の三次元位置(x、y、z座標)に基づいて末節の縦断方向Wを算出する。曲線座標系設定部24は、縦断方向Wと横断方向Vに基づいて、指面の形状に対応する仮想的な直交曲線座標系(MN座標系)を設定する。一方、末節太さ算出部26は、ある横断面内の指面の形状(該形状の各点のV、z座標)に基づいて末節代表太さを算出する。
続いて、照合用データ取得部30は、曲線座標系設定部24により設定されたM軸、N軸を用いて、指紋画像データ取得部28で取得した指紋画像データ(VW座標系で表示現されるデータ)から指面に沿ったMN曲線座標系で表現されるデータを得、その後、MN曲線座標系に対応する曲面を仮想的に平面展開した仮想平面座標系(mn平面座標系)で表現される照合データを取得する。照合用データ取得部30はさらに、末節太さ算出部26で算出した末節代表太さに応じて照合用データの仮想平面座標系を拡大縮小する(末節代表太さに応じて照合用データの仮想平面座標系の拡大縮小を行わない構成も本発明の範囲に含まれる。)。
そして、指紋照合部12は、照合用データ取得部30で取得した(拡大縮小後の)照合すべきデータから画像特徴部分(隆線、隆線の分岐点、端点など)を抽出し、指紋データベース8に蓄積された登録済みの指紋の画像特徴部分の情報を参照して指紋の照合を行う。照合結果は、例えば、建物への入退室や建物内の各エリアへの入退室の許可などに用いられる。
本実施形態によれば、指の姿勢を考慮して指面に沿ったしたがって歪みの少ない指紋画像を得ることができるため、照合の精度を高めることができる。その結果、画像特徴部分の座標誤差の許容範囲を従来に比べて狭く設定することができ、これにより他人にもかかわらず入退室などが許可される他人受入率を低減できる。
一般的に指紋の隆線間隔は末節(指)の太さと相関性があり、末節が太いほど隆線間隔が大きい。本実施形態では、照合用データのmn平面座標系を末節の代表太さに応じて拡大縮小することで末節の太さの影響が少ない照合用データを得るため、照合すべき指紋の指紋間隔の分布範囲を小さくできる。その結果、指紋照合部12で得られる周波数スペクトルの分布範囲が小さくなり(周波数特性がより均一化される)、隆線を抽出するのに必要な画像処理が容易になり、画像処理速度(照合速度)を向上させることができる。
本実施形態では、個人毎に末節代表太さに応じてmn平面座標系(指紋画像)を拡大縮小するようにしたが、特定の個人について末節太さが経時的に変化する場合(例えば子供の成長)、登録者の年齢と登録時からの経過時間に応じた拡大縮小率の変化予測の情報を、登録された指紋に対応付けて登録データベース8に登録するようにしてもよい。
実施の形態2.
次に、本発明に係る指紋照合装置の実施の形態2について説明する。一般的に末節の指先側は根本側に比べて太さが小さくなっている。したがって、実施の形態1のようにMN曲線座標系に対応する曲面(これは三次曲面をなす。)を平面展開する際、図8(a),(b)を参照して、指面と横断面との交線を例えば楕円で近似した場合、長軸半径は根本側の交線Mが指先側の交線Mより大きいため、指先側の交線上の点ME1と根本側の交線上の点MF1であって傾きが同じもの(点ME1、MF1と楕円中心を結ぶ線と対応するV軸との最近傍点ME0、MF0と楕円中心を結ぶ線とのなす角度εが同じ)では、平面展開後のmn平面座標系においてm座標の値mE1、mF1が互いに異なることになる。こうしたm座標の値の違いは、図9(a)に示すように、末節がその軸周りに回転して指面の中央部位が撮像面14に正対しない(本願では、ローリング回転ともいう。)場合に顕著である。MN曲線座標系に対応する曲面を平面に展開した後に得られる指紋画像において、例えば図9(b)に示すように、指面上で指紋中央部位にある同心円中心を通りN軸と平行の仮想線は、対応する線がn軸と平行にならず指先側で湾曲する。根本側で上記仮想線に平行な指面上の他の仮想線も、対応する線が照合すべき画像においてn軸と平行にならずに指先側が湾曲する。
そこで、本実施形態では、平面展開後に得られる画像において指面上の上記仮想線に対応する線の指先側での湾曲を低減するように画像処理を行い、これにより指のローリング回転に対する指紋照合精度を向上させる。
具体的に、末節太さ算出部26(図2)は、末節代表太さとともに、横断面群を構成する各横断面内の指面の形状(該形状の各点のV、z座標)に基づいて、各W座標について末節の太さを算出するようにしてある。
一方、照合用データ取得部30(図2)は、実施の形態1と同様に、曲線座標系設定部24により設定されたM軸、N軸を用いて、指紋画像データ取得部28で取得した指紋画像データ(VW座標系で表現されるデータ)から指面に沿ったMN曲線座標系に関するデータ(MN座標系で表現されるデータ)を得た後、次のような画像処理を行う。得られたデータは、指先側に比べて根本側では横断面との交線が長い。図10(a)を参照して、図9と同様に根本側のある横断面との交線をM、指先側のある横断面との交線をMとするとともに、根本側の横断面との交線MのM座標の最小値の点をMFmin、最大値の点をMFmax、指先側の横断面との交線MのM座標の最小値の点をMEmin、最大値の点をMEmaxとする。そして、根本側の横断面との交線Mに対応する末節太さおよび指面の長さ(点MFminから点MFmaxまでの指面に沿った長さ)となるよう、M以外の横断面との交線(Mを含む)を拡大変形する。これは、縦断面との交線群と横断面との交線Mで形成される二次曲面(MN曲線座標系)を設定し、M以外の各横断面との交線を対応する横断面内で該二次曲面に投影することを意味する。MN曲面座標は二次曲面であり、図10(b)に示すようにN軸方向から見ると交線Mしか観察されない。投影された二次曲面に投影した各点には、投影前の横断面との交線上の各点と同一の画像データを与える。照合用データ取得部30は、以上のようにして二次曲面上の全ての点に画像データを与えた後、MN曲線座標系に対応する二次曲面を仮想的に平面展開したmn仮想平面座標系で表現される照合用データを取得する。mn平面座標系に対応する平面は、xy平面(VW平面)に対応する平面と平行である。このとき、V軸と最も近い指面上の点MF0についてはM座標の値をそのままm座標(点mF0)とし、それ以外の点MF1については、M軸に沿ったMF0とMF1との間の長さ(楕円の弧の長さ)をさらに加えたものまたは引いたものをm座標(点mF1)とする。
得られる画像は、図10(c)のような指先側も根本側と同じ末節太さとなる。したがって、指面上で指紋中央部位の同心円中心を通りN軸に沿った仮想線に関し、画像上の対応線は指先側でも湾曲せずにn軸に沿っている。得られた指紋画像は、指先側が横方向に広がった形状で指先側の隆線の傾きが本来のものと異なっているため、指先の各点についてN軸に関してもM軸に関して拡大したのと同様にして拡大して本来の指紋の形状に近づけ、さらに照合精度を高めるようにしてもよい。このためには、図11のように、基準となる横断面との交線Mと所定の関係にある代表点C(例えば、横断面に沿った指面の形状を楕円で近似した場合、楕円中心)として選択し、指面の各点M’と代表点Cを結ぶ直線とMN曲線座標に対応する二次曲面Kとの交点M’’を、指面の各点M’の二次曲面の投影点とする(上述のように横断方向のみ拡大する場合、投影される点M'''は、指面の点M’に対応する横断面(交線M)内で二次曲面Kに投影されることで得られる(言い換えれば、点M'''は、代表点Cを通り代表点Cを含む横断面に垂直な仮想直線を設定し、仮想線上の点と点M’とを結ぶ線と二次曲面Kとの交点である。)。
照合用データ取得部30はさらに、末節太さ算出部26で算出した末節代表太さに応じて照合用データのmn平面座標系を拡大縮小する。
本実施形態によれば、指のローリング回転に対する指紋照合精度を向上させることができる。
根本側で末節の太さが異なる場合、基準の末節太さに対応する横断面との交線(基準交線)は根本側のいずれのものを用いてもよい。この場合、横断面との交線(基準交線以外)は縮小する場合もある。なお、指先側の横断面との交線を基準交線とすることも可能ではあるが、好適には基準交線は根本側のを用いる。
以上、本発明の具体的な実施の形態について説明したが、本発明はこれらに限らず種々改変可能である。例えば、上記実施形態では、指紋画像データ取得部28は、指面データを生成する目的でレーザ照射ユニット6によりスリットレーザ光で指面を走査することで撮像素子15により得られた輝度画像データに基づいて指紋画像データを取得した。代わりに、別途光源を用意し、スリットレーザ光を走査した直後または直前に(スリットレーザ光オフの状態で)レーザ光と同一の波長の光を出射する別の光源で指面に光を当てることにより指紋画像データを撮像素子15で撮像するようにしてもよい。代わりに、スリットレーザ光の波長と異なる光を照射する光源を用意するとともに、カメラユニット4として2波長を同時に撮像できる構成(例えばカラーカメラなど)とし、これにより指面データを生成すると同時に指紋画像データを得るようにしてもよい。指紋画像データを得るための光は直接指面側に当てる代わりに、指を透過する赤外光などを用いて爪側から光を指面に当てるようにしてもよい。
上記実施形態では、スリットレーザ光を走査させて指面全体に関するデータを得るようにしたが、代わりに、スリットレーザ光を離散的に指面部分(例えば、2〜10箇所)に(指の動きに対応するよう)ほぼ同時に照射できるようにレーザ照射ユニットを構成し、これにより指面の部分的なデータを得るようにしてもよい。但しこの場合、各スリットレーザ光を画像上で識別するように、例えば、各スリットレーザ光の太さや波長を変えたり、各隣り合うスリットレーザ光同士の間隔を変えたりする必要がある。
上記実施形態では、指面データを生成する指面データ生成部として、カメラユニット4およびレーザ照射ユニット6を用いたが、代わりに種々の構成が可能である。例えば、(光源を省略し)2つのカメラユニット(ステレオカメラ)を用いて指面を撮像し(各カメラユニットで撮像した画像データが指面データに相当する。)、指面三次元位置計測部においてステレオ視の原理により指面の三次元位置を計測するようにしてもよい。あるいは、超音波照射器から超音波を指面に照射し、超音波受信器で受信させ、超音波が照射器から受信器に到達するまでの時間(これが指面データに相当する。)に基づいて指面三次元位置計測部で指面の三次元位置を計測するようにしてもよい。
また、処理部10は、計測部20で計測した三次元位置から指面の一定以上の部分がカメラユニット4の合焦範囲内に入っているか否かを判定するようにし、合焦範囲内に入っていない場合、指の位置を変えるよう被検体に知らせるようにしてよい。代わりに、カメラユニット4にオートフォーカス機能を持たせるようにしてもよい。
さらに、上記実施形態では、曲線座標系設定部24は、指面と各横断面との交線を関数フィッティング法により曲線近似してMN曲線座標系を得るようにしたが、代わりに、指面を曲面モデルを用いて近似させMN曲線座標系を求めるようにしてもよい。この場合、処理時間が長くなるが指面形状に対応する曲面をより高精度に得ることができる。
本発明には、指紋照合装置の他に、指紋画像に含まれる画像特徴部分を登録データベース8に登録するための指紋登録装置も含まれる。この装置は、指紋照合装置2と同様にして、指紋画像データ取得部28で指紋画像データを取得した後、照合用データ取得部30と同様にして登録データベース8に登録すべき画像特徴部分の元となる指紋に係るデータを取得する。指紋登録装置はさらに、上記データから画像特徴部分(隆線、隆線の分岐点など)の抽出を行う抽出部と、抽出された画像特徴部分を登録データベース8に登録する登録部とを備える。
本発明に係る指紋照合装置の実施の形態1を示す構成図。 (a)レーザ照射ユニットから指面に照射されたスリットレーザ光に対応して得られた輝線を含む画像の一例を示す図。(b)指の末節の軸方向を得るための画像処理を説明するための図。 図1の処理部を示すブロック図。 (a),(b)は、指面に沿う曲面をなす曲線座標系を構成する2軸を示し、(c)は、の曲線座標系に対応する曲面を示す。 カメラユニットの光軸に対する、末節の傾き(軸方向)、指面の根本側での傾き、および指面の指先側での傾きが異なる様子を示す図。 曲線座標系を平面に展開したときの、曲線座標系上の点と対応する平面座標系上の点との関係を示す図。 図3の末節太さ算出部で算出した末節代表太さに基づいた指紋画像の拡大縮小処理を説明する図。 同じ傾きを有する末節の指先側と根本側の点に関して平面展開したときの位置がずれることを説明するための図であって、(a)は指の正面図、(b)は指の斜視図を示す。 (a)指がローリング軸周りに回転した場合に、同じ傾きを有する末節の指先側と根本側の点に関して平面展開したときの位置が図8に比べてさらにずれることを説明するための図。(b)図9(a)の場合に、得られる指紋画像の模式図。 本発明に係る指紋照合装置の実施の形態2に関して、(a)は、図9(a)に対応する図であって、指先側と根本側での指面と横断面との交線が異なる三次曲面に係る図、(b)は、図10(a)の三次曲面から得られた、指先側と根本側で指面と横断面との交線が一致する二次曲面に係る図、(c)は図10(b)の二次曲面を平面展開することにより得られる指紋画像の模式図。 指先側の点を横断方向とともに縦断方向に拡大する処理を説明するための図。
符号の説明
2 指紋照合装置
4 カメラユニット
6 レーザ照射ユニット
15 撮像素子

Claims (6)

  1. 指紋を含む指面に関するデータを生成する指面データ生成部と、
    指面データ生成部で生成した指面データに基づいて指面の三次元位置を計測する指面三次元位置計測部と、
    指面三次元位置計測部で計測した三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出部と、
    末節軸方向算出部で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群とほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす曲線座標系を設定する曲線座標系設定部と、
    所定の平面座標系で表現される指紋画像データを取得する画像データ取得部と、
    画像データ取得部で取得した指紋画像データから、曲線座標系設定部により設定された曲線座標系で表現される中間データを得、続いて、中間データから、曲線座標系に対応する曲面を上記所定の平面座標系に対応する平面と平行となるよう仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求める照合用データ取得部と、
    照合用データ取得部で取得した照合用データに基づき指紋を照合する指紋照合部と、
    を備えた指紋照合装置。
  2. 指面三次元位置計測部で計測した三次元位置に基づいて横断面群の一つの横断面と指面との第2の交線に対応する末節の代表太さを算出する末節太さ算出部をさらに備え、
    照合用データ取得部は、末節太さ算出部で算出した末節代表太さに基づいて、照合用データの仮想平面座標系を拡大縮小することを特徴する請求項1記載の指紋照合装置。
  3. 指紋を含む指面に関するデータを生成する指面データ生成部と、
    指面データ生成部で生成した指面データに基づいて指面の三次元位置を計測する指面三次元位置計測部と、
    指面三次元位置計測部で計測した三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出部と、
    末節軸方向算出部で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群にほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす第1の曲線座標系を設定する曲線座標系設定部と、
    所定の平面座標系で表現される指紋画像データを取得する画像データ取得部と、
    指面三次元位置計測部で計測した三次元位置に基づいて、横断面群の各横断面と指面との第2の交線にそれぞれ対応する各末節太さを算出する末節太さ算出部と、
    照合用のデータを求める照合用データ取得部であって、
    末節太さ算出部で算出した各末節太さに基づいて、ある基準の末節太さに対応する横断面と指面との第2の交線を基準交線とし、これにより基準交線と第1の交線群とを含む二次曲面をなす第2の曲線座標系を設定し、
    画像データ取得部で取得した指紋画像データから、曲線座標系設定部により設定された第1の曲線座標系で表現されるデータを得、該データから、基準交線以外の各第2の交線上の各点を該第2の交線に対応する横断面内で上記二次曲面に投影することにより、第2の曲線座標系で表現される中間データを得、
    中間データから、上記所定の平面座標系に対応する平面と平行となるよう第2の曲線座標系に対応する二次曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求めるものと、
    照合用データ取得部で取得した照合用データに基づき指紋を照合する指紋照合部と、
    を備えた指紋照合装置。
  4. 指紋を含む指面に関するデータを生成する指面データ生成工程と、
    指面データ生成工程で生成した指面データに基づいて指面の三次元位置を計測する指面三次元位置計測工程と、
    指面三次元位置計測工程で計測した三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出工程と、
    末節軸方向算出工程で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群にほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす曲線座標系を設定する曲線座標系設定工程と、
    所定の平面座標系で表現される指紋画像データを取得する画像データ取得工程と、
    画像データ取得工程で取得した指紋画像データから、曲線座標系設定工程で設定した曲線座標系で表現される中間データを得、続いて、中間データから、上記所定の平面座標系に対応する平面と平行となるよう曲線座標系に対応する曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求める照合用データ取得工程と、
    照合用データ取得工程で取得した照合用データに基づき指紋を照合する指紋照合工程と、
    を含む指紋照合工程。
  5. 指紋を含む指面の三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出工程と、
    末節軸方向算出工程で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群にほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす曲線座標系を設定する曲線座標系設定工程と、
    所定の平面座標系で表現される指紋画像データから、曲線座標系設定工程で設定した曲線座標系で表現される中間データを得、続いて、中間データから、上記所定の平面座標系に対応する平面と平行となるよう曲線座標系に対応する曲面を仮想的に展開することにより得られる仮想平面の座標系で表現される照合用のデータを求める照合用データ取得工程と、
    をコンピュータに実行させる指紋照合プログラム。
  6. 指紋を含む指面に関するデータを生成する指面データ生成部と、
    指面データ生成部で生成した指面データに基づいて指面の三次元位置を計測する指面三次元位置計測部と、
    指面三次元位置計測部で計測した三次元位置に基づいて指の末節の軸方向を求める末節軸方向算出部と、
    末節軸方向算出部で求めた末節軸方向とほぼ平行の縦断面群と指面との第1の交線群と、縦断面群にほぼ直交する横断面群と指面との第2の交線群と、から形成された曲面をなす曲線座標系を設定する曲線座標系設定部と、
    所定の平面座標系で表現される指紋画像データを取得する画像データ取得部と、
    画像データ取得部で取得した指紋画像データから、曲線座標系設定部により設定された曲線座標系で表現される中間データを得、続いて、中間データから、上記所定の平面座標系に対応する平面と平行となるよう曲線座標系に対応する曲面を仮想的に展開することにより得られる仮想平面の座標系で表現されるデータを求めるデータ取得部と、
    データ取得部で取得したデータから画像特徴部分を抽出する抽出部と、
    抽出部で抽出した画像特徴部分をデータベースに登録する登録部と、
    を備えた指紋登録装置。

JP2004365565A 2004-12-17 2004-12-17 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置 Expired - Fee Related JP4298644B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004365565A JP4298644B2 (ja) 2004-12-17 2004-12-17 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004365565A JP4298644B2 (ja) 2004-12-17 2004-12-17 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置

Publications (2)

Publication Number Publication Date
JP2006172258A true JP2006172258A (ja) 2006-06-29
JP4298644B2 JP4298644B2 (ja) 2009-07-22

Family

ID=36672928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004365565A Expired - Fee Related JP4298644B2 (ja) 2004-12-17 2004-12-17 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置

Country Status (1)

Country Link
JP (1) JP4298644B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153750A (ja) * 2007-12-27 2009-07-16 Techmatrix Corp 医療用画像表示装置及び医療用画像表示方法
JP4877392B2 (ja) * 2007-06-27 2012-02-15 日本電気株式会社 特徴属性計算装置、特徴量抽出装置とパターン照合装置と方法及びプログラム
JP5003678B2 (ja) * 2006-06-09 2012-08-15 富士通株式会社 指紋認証システム
WO2014136369A1 (ja) * 2013-03-06 2014-09-12 日本電気株式会社 指紋画像変換装置、指紋画像変換システム、指紋画像変換方法および指紋画像変換プログラム
US9734381B2 (en) 2014-12-17 2017-08-15 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
JP2018088064A (ja) * 2016-11-28 2018-06-07 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2019520271A (ja) * 2016-06-03 2019-07-18 ベクトン・ディッキンソン・ロワ・ジャーマニー・ゲーエムベーハー 貯蔵・吐出コンテナの単粒化デバイスを提供するための方法
KR20190094352A (ko) * 2016-12-08 2019-08-13 베라디움 아이피 리미티드 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
JP2020074174A (ja) * 2015-02-06 2020-05-14 ヴェリディウム アイピー リミテッド モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
US11263432B2 (en) 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
EP4134905A1 (en) * 2021-08-09 2023-02-15 Beijing Xiaomi Mobile Software Co., Ltd. Fingerprint unlocking method, electronic device and storage medium
US11903906B2 (en) 2016-06-03 2024-02-20 Becton Dickinson Rowa Germany Gmbh Method for providing a singling device of a storage and dispensing container

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5003678B2 (ja) * 2006-06-09 2012-08-15 富士通株式会社 指紋認証システム
JP4877392B2 (ja) * 2007-06-27 2012-02-15 日本電気株式会社 特徴属性計算装置、特徴量抽出装置とパターン照合装置と方法及びプログラム
JP2009153750A (ja) * 2007-12-27 2009-07-16 Techmatrix Corp 医療用画像表示装置及び医療用画像表示方法
WO2014136369A1 (ja) * 2013-03-06 2014-09-12 日本電気株式会社 指紋画像変換装置、指紋画像変換システム、指紋画像変換方法および指紋画像変換プログラム
US20160019673A1 (en) * 2013-03-06 2016-01-21 Nec Corporation Fingerprint image conversion device, fingerprint image conversion system, fingerprint image conversion method, and fingerprint image conversion program
JPWO2014136369A1 (ja) * 2013-03-06 2017-02-09 日本電気株式会社 指紋画像変換装置、指紋画像変換システム、指紋画像変換方法および指紋画像変換プログラム
US9734381B2 (en) 2014-12-17 2017-08-15 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
US11188734B2 (en) 2015-02-06 2021-11-30 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP2020074174A (ja) * 2015-02-06 2020-05-14 ヴェリディウム アイピー リミテッド モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
US11263432B2 (en) 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP2019520271A (ja) * 2016-06-03 2019-07-18 ベクトン・ディッキンソン・ロワ・ジャーマニー・ゲーエムベーハー 貯蔵・吐出コンテナの単粒化デバイスを提供するための方法
US11903906B2 (en) 2016-06-03 2024-02-20 Becton Dickinson Rowa Germany Gmbh Method for providing a singling device of a storage and dispensing container
JP2018088064A (ja) * 2016-11-28 2018-06-07 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20190094352A (ko) * 2016-12-08 2019-08-13 베라디움 아이피 리미티드 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
JP2020501264A (ja) * 2016-12-08 2020-01-16 ヴェリディウム アイピー リミテッド モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
JP7242528B2 (ja) 2016-12-08 2023-03-20 ヴェリディウム アイピー リミテッド モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
KR102561723B1 (ko) * 2016-12-08 2023-07-31 베라디움 아이피 리미티드 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
EP4134905A1 (en) * 2021-08-09 2023-02-15 Beijing Xiaomi Mobile Software Co., Ltd. Fingerprint unlocking method, electronic device and storage medium
US11670107B2 (en) 2021-08-09 2023-06-06 Beijing Xiaomi Mobile Software Co., Ltd. Fingerprint unlocking method and electronic device, and storage medium

Also Published As

Publication number Publication date
JP4298644B2 (ja) 2009-07-22

Similar Documents

Publication Publication Date Title
JP5041458B2 (ja) 三次元物体を検出する装置
US10309770B2 (en) Three-dimensional sensor system and three-dimensional data acquisition method
US7242807B2 (en) Imaging of biometric information based on three-dimensional shapes
US9740914B2 (en) Face location detection
US7932913B2 (en) Method and apparatus for collating object
JP4298644B2 (ja) 指紋照合装置、指紋照合方法、指紋照合プログラム、および指紋登録装置
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
US10984609B2 (en) Apparatus and method for generating 3D avatar
JP2007058393A (ja) 認証装置、認証方法及びプログラム
JP4771797B2 (ja) 距離計測装置及び距離計測方法
JP4814666B2 (ja) 顔解析システム
JP2009211148A (ja) 顔画像処理装置
JP5419777B2 (ja) 顔画像合成装置
US11734948B2 (en) Device and method for contactless fingerprint acquisition
JP5244345B2 (ja) 顔認証装置
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
JP4636338B2 (ja) 表面抽出方法、表面抽出装置及びプログラム
KR102433837B1 (ko) 3차원 정보 생성 장치
Košir et al. Simple shape space for 3D face registration
Cook et al. 3D Face Acquisition, Modelling and Recognition
Elyan et al. Automatic features characterization from 3d facial images.

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees