JP2003263639A - 顔画像認識装置および方法 - Google Patents

顔画像認識装置および方法

Info

Publication number
JP2003263639A
JP2003263639A JP2002064119A JP2002064119A JP2003263639A JP 2003263639 A JP2003263639 A JP 2003263639A JP 2002064119 A JP2002064119 A JP 2002064119A JP 2002064119 A JP2002064119 A JP 2002064119A JP 2003263639 A JP2003263639 A JP 2003263639A
Authority
JP
Japan
Prior art keywords
face image
viewpoint
estimated
front face
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002064119A
Other languages
English (en)
Other versions
JP4063556B2 (ja
Inventor
Yoshiaki Isobe
義明 磯部
Shigeki Keumi
茂樹 毛海
Koji Fukami
広治 深見
Hiroshi Yamamoto
浩 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002064119A priority Critical patent/JP4063556B2/ja
Publication of JP2003263639A publication Critical patent/JP2003263639A/ja
Application granted granted Critical
Publication of JP4063556B2 publication Critical patent/JP4063556B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】予め登録した正面顔画像に、顔が三次元形状で
あることを考慮した変形を適用して識別を行なうことに
より頑健性を改善した顔画像認識装置および方法を提供
すること。 【解決手段】観点(人物に対するカメラの向きなど)に
従って撮影された観点撮影顔画像を入力し、予め登録さ
れた認識対象の人物の正面顔画像にワイヤフレームを割
り付け、該観点に対応した変形パラメータをワイヤフレ
ームを割り付けた正面顔画像に適用することによって正
面顔画像を該観点に従って撮影されたと推定される推定
顔画像に変えて登録し、上記観点撮影顔画像と登録され
た推定顔画像とを照合することによって観点撮影顔画像
の人物を識別する。 【効果】色々な方向からの顔画像に対しても、高い認識
精度が得られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、顔画像を用いて人
物を認識する装置および方法に関する。
【0002】
【従来の技術】顔画像を用いて人物を認識する方法とし
て、予め登録してある正面顔画像を用いてカメラで撮影
した人物の照合・識別を行なう方法が一般的に知られて
いる(例えば、2001年オーム社発行(社)日本自動
認識システム協会編「これでわかったバイオメトリク
ス」第59頁〜第71頁参照)。
【0003】更に認識の範囲を広げ、顔の位置ずれ、上
下向き、左右の向きという顔画像の変形を考慮する技術
が例えば特開2000−90191号公報に開示されて
いる。この技術では、顔画像の変形要因のアフィン変換
に基づくパラメータの組み合わせを予め用意し、入力さ
れた顔画像に対してすべての組み合わせの逆変換を行な
った正規化顔パターンを識別器に掛けることにより、最
も高い類似度を得た人物が選択される。
【0004】
【発明が解決しようとする課題】顔を撮影した画像を用
いて人物を識別するシステムにおいて、身分証などによ
って得られる予め登録した顔画像と識別に用いるカメラ
で撮影した顔画像との間に、人物に対するカメラの向き
(上下、左右等)や人物の姿勢変動或いは表情の変動、
照明の変動などの種々の変動によって差異を伴うことが
避けられず、これらに起因する照合精度の劣化が問題と
なる。
【0005】特に、正面顔画像のみで認識を行なう場合
にこの問題が大きい。また、顔画像の変形を考慮する従
来技術においては、入力画像に対して予め用意した線形
変換パラメータを適用し、姿勢変動への対策を行なって
いるが、アフィン変換のような線形変換パラメータを適
用するだけだけでは平面上での一様変形が行なわれるだ
けであるので、本来三次元形状の物体である顔に対して
は対策が不十分である。
【0006】本発明の目的は、予め登録した正面顔画像
に、顔が三次元形状であることを考慮した変形を適用し
て識別を行なうことによりロバスト性(頑健性)を改善
した新規の顔画像認識装置および方法を提供することに
ある。
【0007】
【課題を解決するための手段】上記目的を達成するため
の本発明の顔画像認識方法は、観点(人物に対するカメ
ラの向き(上下、左右等)や人物の姿勢或いは表情、照
明などのいずれかで、ユーザによって設定される)に従
って撮影された観点撮影顔画像を入力し、予め登録され
た認識対象の人物の正面顔画像にワイヤフレームを割り
付け、該観点に対応した変形パラメータをワイヤフレー
ムを割り付けた該正面顔画像に適用することによって該
正面顔画像を該観点に従って撮影されたと推定される推
定顔画像に変えて登録し、上記観点撮影顔画像と登録さ
れた該推定顔画像とを照合することによって該観点撮影
顔画像の人物を識別することを特徴とする。
【0008】本発明により、観点に対応した変形パラメ
ータの適用によって三次元形状を考慮した精度のよい推
定顔画像が認識対象の人物毎に用意されるので、ロバス
ト性が大幅に改善される。
【0009】上記目的を達成するための本発明の別の顔
画像認識方法は、種々の観点に対応する複数の推定顔画
像を用意しておき、色々な観点からの顔画像に対処する
ことができるように、種々の観点に対応する複数の推定
顔画像が用意されることを特徴とする。
【0010】上記目的を達成するための本発明の更に別
の顔画像認識方法は、種々の観点に対応する複数の推定
顔画像を用意しておく他、観点識別用のデータを用意し
ておき、まず、該データを使った照合により撮影の観点
を絞り込み、複数の推定顔画像の中から絞り込んだ観点
の推定顔画像のみを取り出し、該推定顔画像を使って照
合識別を行なうことを特徴とする。照合識別に使う推定
顔画像が絞り込まれるので、認識の処理量が低減され
る。
【0011】上記目的を達成するための本発明の更に別
の顔画像認識方法は、観点識別用のデータを用意してお
き、まず、該データを使って撮影の観点を絞り込み、絞
り込んだ観点に対応した変形パラメータを選択し、該変
形パラメータを逆に適用して撮影した観点撮影の顔画像
を推定によって正面顔画像に変え、該正面顔画像を使っ
て照合識別を行なうことを特徴とする。推定正面顔画像
のみで照合識別が行なわれるだけでなく、複数の推定顔
画像の用意が不要となるので、認識の処理量が低減され
ると同時に、登録するデータ量が大幅に低減される。
【0012】なお、変形パラメータは、例えば別途数人
をモデルとして採用し、モデル毎に正面顔画像のワイヤ
フレームと観点顔画像のワイヤフレームとの間での各頂
点の座標上の差分を移動ベクトルとして求め、求めた移
動ベクトルをモデル数で平均した平均移動ベクトルによ
り生成することができる。
【0013】
【発明の実施の形態】以下、本発明に係る顔画像認識装
置および方法を図面に示した発明の実施の形態を参照し
て更に詳細に説明する。
【0014】まず、本発明の顔画像認識装置を利用する
防犯システムの例を図1示す。防犯システムの構成は、
警備区域1に設置した監視カメラ2と、監視カメラ2に
よって撮影した人物の顔画像信号を転送するネットワー
ク3と、監視区域4に設置した顔画像認識装置5とから
なる。顔画像認識装置5は、ネットワーク3を介して送
られた顔画像と同装置の記憶装置に予め登録されている
顔画像とを照合することにより、監視カメラ2によって
撮影した人物の識別、判定を行なう。
【0015】顔画像認識装置5を運用する場合、顔画像
を撮影するカメラ2の設置位置により、最も頻度の高い
向きの顔画像が決定される。例えば、防犯カメラでは天
井にぶら下げて設置されるため、顔を上方より撮影した
画像が認識対象となる。また、入退室システムにおいて
は、操作盤などの横にカメラを設置した場合は、顔を斜
め横方向から撮影した画像が認識対象となる。
【0016】また、人を捜す際に顔認識技術を用いる場
合は、色々な方向の顔画像が認識対象となることが想定
される。
【0017】本発明の第1の実施形態として、カメラの
設置位置が固定されている場合について記述する。さら
に、第2〜第4の実施形態として、複数の方向の顔画像
が認識対象となる場合について記述する。 <発明の実施の形態1>まず、1台のカメラが上方から
撮影するように設置された場合に適用する例について説
明する。ただし、本発明は、1台のカメラが上方に設置
された場合への適用に限定されるものではなく、1台の
カメラが左右、下方、斜め方向などのいずれかの方向か
ら撮影するように設置される場合や、人物の姿勢、顔の
表情などが変化する場合に適用可能であることは云うま
でもない。なお、本明細書では、これらの色々な方向や
場合を、それぞれ観点と云うこととすする。
【0018】本発明において、上方に1台のカメラが設
置された場合の機能構成を図2に示す。正面顔画像読込
機能110において、身分証や免許証等を作成するときに
取得した認識対象の人物の正面顔画像が予め読み込ま
れ、その正面顔画像データ111が蓄えられる。
【0019】上方撮影推定機能120において、顔が三次
元形状であることを考慮して前以て生成した変形パラメ
ータ(後で詳述する)を正面顔画像データ111に適用す
ることにより、正面顔画像はあたかも上方から撮影した
ように推定された画像に精度良く変化し、それによって
上方推定顔画像が得られる。
【0020】続いて、顔特徴量抽出・登録機能130にお
いて、上方撮影推定機能120によって作成された上方推
定顔画像から顔特徴量が抽出され、同顔特徴量のデータ
が上方顔特徴データベース131へ登録される。これらの
機能120,130およびデータベース131により、観点処理
機能170が構成される。
【0021】一方、上方撮影機能140により、上方に設
置されたカメラによって認識対象の人物の顔画像が撮影
される。
【0022】次に、照合機能150により、上方撮影機能1
40で撮影された顔画像と上方撮影顔特徴データベース13
1からの顔特徴量データとが照合され、両者の一致度を
示すスコアが出力される。
【0023】続いて、判定・表示機能160は、照合機能1
50の出力したスコアを判定し、照合結果を表示する。
【0024】以上の結果、認識対象の人物が上方撮影機
能140により撮影された場合に、ロバスト性高く対象人
物を識別することが可能になる。
【0025】ここで、上方撮影推定機能120を中心にし
た正面顔画像に対する上方推定処理のフローを図3に示
す。
【0026】まず、ステップ210で、正面顔画像読込機
能110により、正面顔画像を入力し、正面顔画像データ1
11を蓄える。続いて、ステップ220で、蓄えた正面顔画
像から目、鼻、口、などの顔器官や顔輪郭などの領域を
抽出する。抽出が困難な場合は、オペレータの指定によ
り顔器官や顔輪郭などの領域の抽出を行なう。
【0027】次に、ステップ230で、予め準備した各顔
器官や顔輪郭などのワイヤフレームのモデルをステップ
220で抽出した顔器官や顔輪郭などの領域に割り付け
る。なお、ワイヤフレームは、対象とする物体(ここで
は上記の顔器官など)の輪郭を複数の線分で結んで表現
したモデルである。
【0028】続いて、ステップ240で、ステップ230で生
成したワイヤフレームに上記変形パラメータを適用する
ことにより、上方撮影を推定したワイヤフレームを生成
する。
【0029】次いで、ステップ250で、後述するイメー
ジモーフィングにより、ステップ230のワイヤフレーム
上およびワイヤフレームの中の各画素値をステップ240
の上方撮影を推定したワイヤフレームへ割り付け、上方
撮影を推定した画像を作成する。ステップ260で、上方
撮影を推定した上方推定顔画像を出力する。
【0030】なお、上述のように、本発明は、上方のみ
でなく、右方や左方、表情など観点を変えた各種のワイ
ヤフレームにも適用することができる。
【0031】次に、本発明による、ワイヤフレームに適
用する変形パラメータの作成方法について述べる。
【0032】推定のために用いる変形パラメータは、色
々な正面顔画像に共通に適用することができる汎用のも
のとなるように、複数の人をモデルにし、各モデルの正
面のカメラから撮影した正面顔画像と上方のカメラから
撮影した上方顔画像のそれぞれのワイヤフレームから求
められる。即ち、正面顔画像ワイヤフレームと上方顔画
像ワイヤフレームとの差分を移動ベクトルとして求め、
求めた移動ベクトルをモデル数で平均化することにより
求められる。モデルの人数は、多いほど汎用性が高まる
が、例えば、10人程度で求まる。
【0033】図4にワイヤフレームデータおよび上方撮
影を推定したワイヤフレームの変形パラメータの生成す
る方法のフローを示す。
【0034】まず、ステップ310で、モデルの正面顔画
像を入力する。ステップ311で、入力したモデルの正面
顔画像を両目の黒目の中心位置を合わせて正規化する。
次に、ステップ312で、正面顔画像上で、目、鼻、口、
眉などにワイヤフレームで表す目、鼻、口、眉を割り付
ける。
【0035】一方、ステップ320で、別途、同一モデル
の上方顔画像を入力する。ステップ321で、入力した同
一モデルの上方顔画像を両目の黒目の中心位置に合わせ
て正規化する。次に、ステップ322で、上方顔画像上
で、目、鼻、口、眉などにワイヤフレームで表す目、
鼻、口、眉を割り付ける。
【0036】続いて、ステップ330で、ステップ322で得
たワイヤフレームの各点の座標からステップ312で得た
ワイヤフレームの各点の座標の値の差分を取り、移動ベ
クトルを計算する。
【0037】ステップ340で、モデル全員の入力を終了
していれば、ステップ350へ移る。まだ終了していなけ
れば、ステップ310へ戻る。
【0038】ステップ350で、ステップ330で得たモデル
数分の移動ベクトルの平均を計算する。最後に、ステッ
プ360で、ステップ350で得た平均移動ベクトルを保存し
て終了する。
【0039】この平均移動ベクトルが正面顔画像ワイヤ
フレームを上方推定顔画像ワイヤフレームに変形するた
めの変形パラメータとなる。
【0040】なお、以上で、複数の正面顔画像のワイヤ
フレーム312の平均ワイヤフレームを作成し、ステップ3
11に適用するようにすると、ワイヤフレーム割付の作業
量を低減することが可能となる。同様に、上方顔画像の
ワイヤフレームにおいても平均ワイヤフレームを作成
し、ステップ321に適用するようにすると、ワイヤフレ
ーム割付の作業量を低減することが可能となる。
【0041】図5に正面顔画像のワイヤフレームモデル
の例(図5の上部)と、平均移動ベクトル即ち変形パラ
メータを適用した場合の上方推定顔画像のワイヤフレー
ムの例(図5の下部)を示す。
【0042】登録する正面顔画像をステップ310〜312の
要領でワイヤフレームを割り付け、ワイヤとワイヤを結
ぶ点(頂点)の各座標に対し、ステップ360で生成した
平均移動ベクトルを適用し、式(1)により、変形後の
ワイヤフレームの推定を行なう。
【0043】Pna=Pno−△Pn ・・・・(1) ここで、 Pna:変形後のn番目のワイヤフレーム座標 Pno:変形前のn番目のワイヤフレーム座標 △Pn:ワイヤフレームのn番目の頂点座標の平均移動ベ
クトル とする。
【0044】このようなワイヤフレームの各頂点の対応
付けに続いて、ワイヤ即ちエッジの対応付けとワイヤフ
レームの内部の画素の対応付けとを行なうことにより、
上方推定顔画像を得ることができる。この処理を行なう
のが図3のステップ260によるモーフィング処理であ
り、そのフローを図6に示す。モーフィング処理には、
例えば、特開平10−187956号公報に開示された
方法が利用される。
【0045】モーフィング処理は、変形後の画像の画素
に原画像の画素値を割り付ける処理である。このため、
変形後の画素座標と原画像の画素座標との対応付けが行
なわれる。
【0046】ここでは、既に図5まででワイヤフレーム
座標の頂点の対応付けを完了している(ステップ51
0)。続いて、ワイヤフレームの頂点を直線で結んだエ
ッジの対応付けを行ない(ステップ520)、各ワイヤフ
レームの内部の画素に対して対応付けを行なう(ステッ
プ530)。最後に、対応付けされた座標の画素値をマッ
ピングし、上方推定顔画像を得る(ステップ540)。
【0047】ステップ520のワイヤフレームの頂点座標
を結んだエッジの対応付けは、次のように行なわれる。
【0048】(i)原画像上のワイヤフレームの頂点A
と頂点Bを結んだエッジを線分ABとし、変形後画像の
対応するワイヤフレームの頂点A’と頂点B’を結んだ
線分A’B’とする。
【0049】(ii)線分AB、線分A’B’において、
同じ割合で内分する点をそれぞれ内分点C、内分点C’
を求め、内分点Cと内分点C’がそれぞれ対応する点と
する。
【0050】(iii)内分する割合を変化させ、線分A
Bと線分A’B’上のすべての画素について、画素の対
応付けを行なう。
【0051】(iv)すべてのワイヤフレームのエッジに
ついて、(i)〜(iii)を繰り返し、画素の対応付けを
行なう。
【0052】ステップ530におけるワイヤフレーム内の
座標の画素の対応付けは、例えば次のようにエッジなど
既に対応付けの済んだ対応関係より推測する。
【0053】(i)原画像に対応付けを持たない画素x
があり、画素xから距離がR以内に対応付けを持つ画素
yが1画素以上あったとする。このときの画素xと画素
yの距離を距離xyとする。
【0054】(ii)画素yに対応する先画像内の画素を
画素y’とする。
【0055】(iii)画素xに対応する先画像内の画素
を画素x’としたときの画素x’の座標を下記の式
(2)で求める。
【0056】 画素x’座標=画素xの座標+Σ((画素y’の座標−画素yの座標)/距 離xy)/Σ(1/距離xy) ・・・・(2) ここで、Σは画素xからR以内にあるすべての既対応付
け画素の総和を示す。
【0057】以上の処理を全てのワイヤフレームについ
て実行し、画素の対応付けを行ない(ステップ530)、
それぞれの画素で画素値のマッピングを行ない(ステッ
プ540)、上方推定顔画像を得る。
【0058】これまでに説明した機能および方法を装置
として具体化した顔画像認識装置の構成例を図7に示
す。
【0059】図7において、1011は、図4のステップ31
0,320を実行して、複数のモデルの正面顔画像および上
方顔画像を入力する変形パラメータ生成用画像読込部、
1012は、ステップ311,312,321,322,330,350を実行
して、入力した正面顔画像および上方顔画像から変形パ
ラメータ(平均移動ベクトル)を生成する変形パラメー
タ生成部、1013は、ステップ360を実行して生成した変
形パラメータを保存する変形パラメータ管理部、1014
は、図2の機能110,111を実行して予め認識対象の人物
の正面顔画像を入力してそのデータを取得する正面画像
読込部、1015は、機能120を実行して、変形パラメータ
管理部1013から取り出した変形パラメータを正面画像読
込部1014からの正面顔画像に適用して上方推定顔画像を
得る上方画像変形部、1016は、機能130を実行して、上
方画像変形部1015の画像の顔特徴量を抽出して登録を行
なう顔特徴量生成登録部、1017は、以上の各部の操作を
行なう操作部、1018は、操作に必要な画面を表示する表
示部であり、1010は、部1011〜1018からなる登録装置で
ある。
【0060】また、1020は、顔特徴量生成登録部1016か
ら送られてくる顔特徴量の登録データを保存する、デー
タベース131となる登録データファイルである。
【0061】更に、1031は、機能140を実行して上方顔
画像を撮影する顔画像撮影部、1032は、機能150,160を
実行して、ファイル1020から読み出した顔特徴量と顔画
像撮影部1031からの上方顔画像を照合して両者の一致度
を判定する照合部、1033は、照合部1032の照合結果をリ
ストとして表示するリスト表示部、1034は、以上の各部
の操作を行なう操作部、1035は、操作に必要な画面を表
示する表示部であり、1030は、部1031〜1035からなる照
合装置である。 <発明の実施の形態2>これまでは、単一の観点を扱う
場合であった。続いて、複数の観点を扱う本発明の第2
の実施形態について説明する。
【0062】図8に複数の観点の画像を扱う場合の全体
の機能構成を示す。各構成機能は次のようになる。
【0063】正面顔画像読込機能610において、図2に
示した機能110,111と同様、身分証や免許証等を作成す
るときに取得した認識対象の人物の正面顔画像が予め読
み込まれ、その正面顔画像データ611が蓄えられる。
【0064】各観点毎に観点処理機能670-1,670-2,
…,670-nが備えられる(nは観点数)。個々の観点処理
機能670は、図2の観点処理機能170と同様であるが、変
形パラメータがそれぞれの観点に対応して用意される。
【0065】即ち、左方、上方、右方およびその他の各
観点の推定機能620により、正面顔画像データ611を用い
て推定した各観点撮影の推定顔画像が作成される。
【0066】次いで、各観点の顔特徴量抽出・登録機能
630において、観点撮影推定機能620により作成された各
観点撮影の推定顔画像から顔特徴量が抽出され、各観点
の顔特徴量データがそれぞれの顔特徴データベース631
へ登録される。
【0067】一方、任意の観点撮影機能640により、任
意観点の撮影を行なうカメラによって認識対象の人物の
顔画像が撮影される。
【0068】次に、照合機能650により、観点撮影機能6
40で撮影された顔画像と各観点の顔特徴データベース63
1からの顔特徴量データとが観点毎に照合され、観点と
特徴量に関する両者の一致度を示すスコアが出力され
る。
【0069】続いて、判定・表示機能660は、照合機能6
50の出力したスコアを判定し、照合結果を表示する。
【0070】以上では、観点は、顔画像認識方法を利用
するユーザによって、左方、上方、右方およびその他が
用意されている。
【0071】ここで、観点による顔画像として挙げられ
るものを列挙すると、例えば、 ・左方より撮影した顔画像 ・右方より撮影した顔画像 ・上方より撮影した顔画像 ・下方より撮影した顔画像 ・左上方(または右上方、左下方、右下方)より撮影し
た顔画像 ・笑顔(怒顔、泣き顔など)の顔画像 などがある。
【0072】このように、観点毎に正面顔画像を変形さ
せた推定画像を用意しておくことにより、照合精度を改
善することが可能となる。
【0073】図8を用いて説明した機能および方法を装
置として具体化した顔画像認識装置の構成例を図9に示
す。
【0074】図9において、1045は、機能620を実行す
る観点毎に備えられた観点毎画像変形部、1046は、機能
630を実行する観点毎に備えられた顔特徴量生成登録
部、1050は、データベース631となる観点毎に備えられ
た顔特徴量データの登録データファイル、1041は、機能
640を実行して任意観点の顔画像を撮影する顔画像撮影
部、1042は、機能650,660を実行して、ファイル1050か
ら読み出した観点毎の顔特徴量と顔画像撮影部1041から
の任意観点の顔画像とを照合して両者の一致度を判定す
る照合部である。その他の各部は、図7に示したのと同
様であるので、説明を省略する。 <発明の実施の形態3>ところで、図8の任意観点撮影
機能640による画像に対しては、観点毎に特徴量の照合
が行なわれるため、観点の数が多い場合などでは、照合
の処理量が多くなり、照合に時間が掛かる場合がある。
そのような場合には、観点に関して先に照合を行なって
観点を絞り込み、絞り込んだ観点についてのみ特徴量の
照合を行なうことにより、処理量を低減することが可能
となる。
【0075】そのように照合を2段階に分けた実施形態
を図10に示す。まず、観点毎の顔画像撮影701におい
て、数人のモデルのそれぞれに対し観点毎に顔画像が撮
影され、観点毎の撮影顔画像がモデル毎に準備される。
【0076】続いて、顔特徴抽出登録機能710におい
て、観点毎顔画像撮影701による顔画像の特徴が抽出さ
れる。特徴はテンプレートによってまとめられ、更に各
観点に識別番号(ID)が付けられて、観点決定用のデ
ータベース(DB)711へ登録される。
【0077】図11に観点決定用DB711の構成の例を
示す。データベースは、各テンプレートを一意に指定す
る番号である項番1のサブジェクトID、正面、上方、
右方などの観点を一意に指定する番号である項番2の観
点ID、項番3の登録テンプレート情報であるテンプレ
ート、観点を説明する補足情報である項番4の補足観点
IDからなる。
【0078】一方、任意観点撮影機能720において、任
意観点のカメラにより任意観点の顔画像721が撮影さ
れ、入力される。
【0079】次に、観点照合機能730において、観点決
定用DB711の各データと顔画像721とが照合され、照合
スコアが算出される。
【0080】算出された照合スコアから、観点毎の平均
計算機能740において、観点毎の平均スコアが算出され
る。
【0081】観点決定機能750において、観点毎の平均
スコアが判定され、事前に設定した閾値以上の観点が任
意観点顔画像721の観点であると判定される。観点を超
える閾値がない場合は、最大の平均スコアを出力した観
点が任意観点顔画像721の観点であると判定される。
【0082】その後、観点による絞込み機能760におい
て、図8に示した観点毎の顔特徴データベース631をま
とめた照合対象DB761から、観点決定機能750で決定し
た観点に限定したデータベースが取り出され、絞込みD
B762が作成される。
【0083】最後に、照合機能770において、絞り込ま
れた観点の絞込みDB760と任意観点の顔画像721とが照
合され、照合スコアが出力される。そして、出力された
照合スコアがリストアップ機能780において昇順に並べ
替えられ、昇順のリスト781が作成される。
【0084】以上の処理により、入力画像の観点を事前
に絞り込むことにより、照合に用いるデータベースを絞
り込んだ観点に特徴つけた小さなデータベースすること
が可能になり、照合時間を低減することが可能となる。
【0085】図10を用いて説明した機能および方法を
装置として具体化した顔画像認識装置の構成例を図12
に示す。
【0086】図12において、1061は、機能701を実行
する観点毎画像読込部、1066は、顔特徴量生成登録部10
46(図9)に機能710を実行する登録部を加えた顔特徴
量生成登録部、1070は、DB711である観点データファ
イル、1062は、機能730および機能770を実行する照合
部、1063は、機能740,750,760を実行してDB762を用
意する観点判定部である。その他の各部は、図9に示し
たのと同様であるので、説明を省略する。 <発明の実施の形態4>これまでの実施形態は、予め登
録した正面顔画像に変形パラメータを適用して推定観点
画像を作成することにより照合精度を改善することを基
本としていた。これとは別に、本実施形態は、任意観点
撮影の顔画像に対してその観点の変形パラメータを逆に
適用して推定正面画像を作成することにより照合精度を
改善することを基本とする。
【0087】本実施形態の機能構成を図13に示す。任
意観点の顔画像の観点を照合によって決定する機能は、
図10に示した場合と同じである。任意観点の顔画像の
観点が決定した後、正面顔推定機能960において、決定
した観点に応じた変形パラメータを逆に適用し(図5の
逆)、推定正面画像を作成する。ワイヤフレームの座標
の移動の式は次の式(3)の通りである。
【0088】Pna=Pno+△Pn ・・・・(3) 続いて、照合機能970において、正面顔推定機能960で得
た推定正面顔画像と予め登録してある正面顔画像データ
111(正面顔画像データ611)の正面顔データベース971
とを照合し、照合スコアを出力する。そして、出力され
た照合スコアがリストアップ機能980において昇順に並
べ替えられ、昇順のリスト981が作成される。
【0089】以上により、前述した実施形態と比較し
て、観点毎の顔特徴データベース631(図8)即ち照合
対象DB761(図10)が不要となるので、データベー
ス容量を削減することが可能となる。
【0090】図13を用いて説明した機能および方法を
装置として具体化した顔画像認識装置の構成例を図14
に示す。
【0091】図14において、1080は、DB971である
登録データファイル、1091は、機能710を実行する顔特
徴量生成登録部、1092は、機能730および機能970を実行
する照合部、1093は、機能740,750を実行する観点判定
部、1094は、機能960を実行する正面画像推定部であ
る。その他の各部は、図12に示したのと同様であるの
で、説明を省略する。
【0092】なお、以上の各実施形態で示した顔画像認
識装置およびおよび方法は、図1に示した防犯システム
を始め、監視システム、セキュリティシステム等に適用
可能であることは云うまでもない。
【0093】
【発明の効果】本発明によれば、正面顔画像を登録する
顔認識システムにおいて、撮影の上下、左右、斜め方向
或いは顔の各種の表情などの色々な観点のそれぞれに対
して顔画像を照合に適した顔画像に変形させる変形パラ
メータが用意されるので、どのような観点の顔画像の入
力に対しても、認識精度を高く保持することが可能であ
る。そのような高精度の顔画像認識装置を用いることに
より、信頼性および確度の高い防犯システム、監視シス
テム、セキュリティシステム等を実現することができ
る。
【図面の簡単な説明】
【図1】防犯システムの例を説明するための構成図。
【図2】本発明に係る顔画像認識装置および方法の第1
の発明の実施の形態を説明するための機能構成図。
【図3】本発明の第1の実施形態における上方撮影顔画
像を推定する処理を説明するためのフローチャート。
【図4】本発明の第1の実施形態における変形パラメー
タを作成する処理を説明するためのフローチャート。
【図5】本発明の第1の実施形態による、正面顔ワイヤ
フレームと上方撮影を想定した顔を推定したワイヤフレ
ーム変形結果を説明するための図。
【図6】本発明の第1の実施形態におけるモーフィング
処理を説明するためのフローチャート。
【図7】本発明の第1の実施形態による装置を説明する
ための構成図。
【図8】本発明の第2の実施形態を説明するための機能
構成図。
【図9】本発明の第2の実施形態による装置を説明する
ための構成図。
【図10】本発明の第3の実施形態を説明するための機
能構成図。
【図11】本発明の第3の実施形態における観点判定用
のデータベースを説明するための図。
【図12】本発明の第3の実施形態による装置を説明す
るための構成図。
【図13】本発明の第4の実施形態を説明するための機
能構成図。
【図14】本発明の第4の実施形態による装置を説明す
るための構成図。
【符号の説明】 110…正面顔読込機能、120…上方撮影推定機能、130…
顔特徴量抽出・登録機能、140…上方撮影機能、150…照
合機能、160…判定・表示機能、1010…登録装置、1011
…変形パラメータ生成用画像読込部、1012…変形パラメ
ータ生成部、1013…変形パラメータ管理部、1014…正面
画像読込部、1015…上方画像変形部、1016…顔特徴量生
成登録部、1020…登録データファイル、1030…照合装
置、1031…顔画像撮影部、1032…照合部、1033…リスト
表示部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 磯部 義明 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 毛海 茂樹 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所社会情報システム事業部内 (72)発明者 深見 広治 愛知県名古屋市中区三の丸二丁目1番1号 (72)発明者 山本 浩 愛知県名古屋市中区三の丸二丁目1番1号 Fターム(参考) 5B043 AA09 BA04 EA06 EA07 EA13 EA15 FA03 FA07 GA02 5B057 CA12 CA16 CB12 CB16 CD01 CE15 DA11 DB02 DC02 DC05 DC16 DC33 DC36 DC39 5L096 BA02 CA02 EA13 EA14 EA27 EA31 FA06 FA32 FA62 FA67 FA69 HA09 JA09 JA11 KA13

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】観点に従って撮影された観点撮影顔画像を
    入力し、予め登録された認識対象の人物の正面顔画像に
    ワイヤフレームを割り付け、該観点に対応した変形パラ
    メータをワイヤフレームを割り付けた該正面顔画像に適
    用することによって該正面顔画像を該観点に従って撮影
    されたと推定される推定顔画像に変えて登録し、上記観
    点撮影顔画像と登録された該推定顔画像とを照合するこ
    とによって該観点撮影顔画像の人物を識別することを特
    徴とする顔画像認識方法。
  2. 【請求項2】上記観点に対応した変形パラメータは、上
    記観点に従って撮影された複数人の観点顔画像と該複数
    人の正面顔画像とに対してそれぞれワイヤフレームを割
    り付け、該複数人の人毎に該観点顔画像のワイヤフレー
    ムを構成する各頂点の座標値と該正面顔画像のワイヤフ
    レームを構成する各頂点の座標値との差分を移動ベクト
    ルとして求め、該移動ベクトルを該複数人で平均した平
    均移動ベクトルを上記観点に対応した変形パラメータと
    することによって予め生成されていることを特徴とする
    請求項1に記載の顔画像認識方法。
  3. 【請求項3】任意の観点に従って撮影された観点撮影顔
    画像を入力し、予め登録された認識対象の人物の正面顔
    画像にワイヤフレームを割り付け、該任意の観点を含む
    複数の観点の各々に対応した変形パラメータをワイヤフ
    レームを割り付けた該正面顔画像に適用することによっ
    て該正面顔画像を該複数の観点に従って撮影されたと推
    定される複数の推定顔画像に変えて登録し、上記観点撮
    影顔画像と登録された該複数の推定顔画像とを照合する
    ことによって該観点撮影顔画像の人物を識別することを
    特徴とする顔画像認識方法。
  4. 【請求項4】任意の観点に従って撮影された観点撮影顔
    画像を入力し、予め登録された認識対象の人物の正面顔
    画像にワイヤフレームを割り付け、該任意の観点を含む
    複数の観点の各々に対応した変形パラメータをワイヤフ
    レームを割り付けた該正面顔画像に適用することによっ
    て該正面顔画像を該複数の観点に従って撮影されたと推
    定される複数の推定顔画像に変えて登録し、上記複数の
    観点の観点毎の顔画像を観点識別用のデータとして予め
    登録し、上記観点撮影顔画像と登録された該観点識別用
    のデータとの照合を行なって観点毎に照合スコアの平均
    を取り、登録された上記複数の推定顔画像の中から該照
    合スコアの平均の値の高い観点の推定顔画像を選択し、
    上記観点撮影顔画像と該選択された推定顔画像とを照合
    することによって該観点撮影顔画像の人物を識別するこ
    とを特徴とする顔画像認識方法。
  5. 【請求項5】任意の観点に従って撮影された観点撮影顔
    画像を入力し、該任意の観点を含む複数の観点の観点毎
    の顔画像を観点識別用のデータとして予め登録し、上記
    観点撮影顔画像と登録された該観点識別用のデータとの
    照合を行なって観点毎に照合スコアの平均を取り、上記
    複数の観点の各々に対応した変形パラメータの中から該
    照合スコアの平均の値の高い観点に対応した変形パラメ
    ータを選択し、上記観点撮影顔画像にワイヤフレームを
    割り付け、ワイヤフレームを割り付けた該観点撮影顔画
    像に上記選択した変形パラメータを適用することによっ
    て該観点撮影顔画像を正面から撮影されたと推定される
    推定正面顔画像に変え、予め登録された認識対象の人物
    の正面顔画像と該推定正面顔画像とを照合することによ
    って該観点撮影顔画像の人物を識別することを特徴とす
    る顔画像認識方法。
  6. 【請求項6】上記複数の観点の各々に対応した変形パラ
    メータは、上記複数の観点の各々に従って撮影された複
    数人の観点顔画像と該複数人の正面顔画像とに対してそ
    れぞれワイヤフレームを割り付け、上記複数の観点の観
    点毎及び上記複数人の人毎に該観点顔画像のワイヤフレ
    ームを構成する各頂点の座標値と該正面顔画像のワイヤ
    フレームを構成する各頂点の座標値との差分を移動ベク
    トルとして求め、該移動ベクトルを該複数人で平均した
    観点毎の平均移動ベクトルを上記複数の観点の各々に対
    応した変形パラメータとすることによって予め生成され
    ていることを特徴とする請求項3〜請求項5のいずれか
    一に記載の顔画像認識方法。
  7. 【請求項7】観点に従って撮影した観点撮影顔画像を出
    力する顔画像撮影部と、認識対象の人物の正面顔画像を
    予め読み込む正面顔画像読込部と、予め読み込んだ該正
    面顔画像にワイヤフレームを割り付け、該観点に対応し
    た変形パラメータをワイヤフレームを割り付けた該正面
    顔画像に適用することによって該正面顔画像を該観点に
    従って撮影されたと推定される推定顔画像に変える観点
    画像変形部と、該推定顔画像を登録する登録データファ
    イルと、上記観点撮影顔画像と登録された該推定顔画像
    とを照合することによって該観点撮影顔画像の人物を識
    別するための照合部とを有することを特徴とする顔画像
    認識装置。
  8. 【請求項8】上記観点に対応する変形パラメータは、上
    記観点に従って複数人の顔を撮影して観点顔画像を出力
    すると共に該複数人の正面顔を撮影して正面顔画像を出
    力する画像読込部と、複数人の人毎に該観点顔画像及び
    該正面顔画像に対してそれぞれワイヤフレームを割り付
    け、該観点顔画像のワイヤフレームを構成する各頂点の
    座標値と該正面顔画像のワイヤフレームを構成する各頂
    点の座標値との差分を移動ベクトルとして求め、該移動
    ベクトルを該複数人で平均した平均移動ベクトルを上記
    観点に対応する変形パラメータとする変形パラメータ生
    成部とによって予め生成されていることを特徴とする請
    求項7に記載の顔画像認識装置。
  9. 【請求項9】任意の観点に従って撮影した観点撮影顔画
    像を出力する顔画像撮影部と、認識対象の人物の正面顔
    画像を予め読み込む正面顔画像読込部と、予め読み込ん
    だ該正面顔画像にワイヤフレームを割り付け、該任意の
    観点を含む複数の観点の各々に対応した変形パラメータ
    をワイヤフレームを割り付けた該正面顔画像に適用する
    ことによって該正面顔画像を該複数の観点に従って撮影
    されたと推定される複数の推定顔画像に変える観点毎画
    像変形部と、該登録された複数の推定顔画像を登録する
    登録データファイルと、上記観点撮影顔画像と該複数の
    推定顔画像とを照合することによって該観点撮影顔画像
    の人物を識別するための照合部とを有することを特徴と
    する顔画像認識装置。
  10. 【請求項10】任意の観点に従って撮影した観点撮影顔
    画像を出力する顔画像撮影部と、認識対象の人物の正面
    顔画像を予め読み込む正面顔画像読込部と、予め読み込
    んだ該正面顔画像にワイヤフレームを割り付け、該任意
    の観点を含む複数の観点の各々に対応した変形パラメー
    タをワイヤフレームを割り付けた該正面顔画像に適用す
    ることによって該正面顔画像を該複数の観点に従って撮
    影されたと推定される複数の推定顔画像に変える観点毎
    画像変形部と、該複数の推定顔画像を登録する登録デー
    タファイルと、上記複数の観点の観点毎の顔画像を観点
    識別用のデータとして登録する観点データファイルと、
    上記観点撮影顔画像と該観点識別用のデータとの照合の
    結果である照合スコアの平均を観点毎に取り、登録され
    た上記複数の推定顔画像の中から該照合スコアの平均の
    値の高い観点の推定顔画像を選択する観点判定部と、上
    記観点撮影顔画像と該選択された推定顔画像とを照合す
    ることによって該観点撮影顔画像の人物を識別するため
    の照合部とを有することを特徴とする顔画像認識装置。
  11. 【請求項11】任意の観点に従って撮影された観点撮影
    顔画像を出力する顔画像撮影部と、該任意の観点を含む
    複数の観点の観点毎の顔画像を観点識別用のデータとし
    て登録する観点データファイルと、上記観点撮影顔画像
    と登録された該観点識別用のデータとの照合の結果であ
    る照合スコアの平均を観点毎に取り、上記複数の観点の
    各々に対応した変形パラメータの中から該照合スコアの
    平均の値の高い観点に対応した変形パラメータを選択す
    る観点判定部と、上記観点撮影顔画像にワイヤフレーム
    を割り付け、ワイヤフレームを割り付けた該観点撮影顔
    画像に上記選択した変形パラメータを適用することによ
    って該観点撮影顔画像を正面から撮影されたと推定され
    る推定正面顔画像に変える正面画像推定部と、認識対象
    の人物の正面顔画像を予め読み込む正面顔画像読込部
    と、予め読み込んだ該正面顔画像と上記推定正面顔画像
    とを照合することによって該観点撮影顔画像の人物を識
    別するための照合部とを有することを特徴とする顔画像
    認識装置。
  12. 【請求項12】上記複数の観点の各々に対応した変形パ
    ラメータは、上記複数の観点の各々に従って複数人の顔
    を撮影して観点顔画像を観点毎に出力すると共に該複数
    人の正面顔を撮影して正面顔画像を出力する画像読込部
    と、上記複数の観点の観点毎及び上記複数人の人毎に該
    観点顔画像及び該正面顔画像とに対してそれぞれワイヤ
    フレームを割り付け、該観点顔画像のワイヤフレームを
    構成する各頂点の座標値と該正面顔画像のワイヤフレー
    ムを構成する各頂点の座標値との差分を移動ベクトルと
    して求め、該移動ベクトルを該複数人で平均した観点毎
    の平均移動ベクトルを上記複数の観点の各々に対応した
    変形パラメータとする変形パラメータ生成部とによって
    生成されていることを特徴とする請求項9〜請求項11
    のいずれか一に記載の顔画像認識装置。
JP2002064119A 2002-03-08 2002-03-08 顔画像認識装置および方法 Expired - Fee Related JP4063556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002064119A JP4063556B2 (ja) 2002-03-08 2002-03-08 顔画像認識装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002064119A JP4063556B2 (ja) 2002-03-08 2002-03-08 顔画像認識装置および方法

Publications (2)

Publication Number Publication Date
JP2003263639A true JP2003263639A (ja) 2003-09-19
JP4063556B2 JP4063556B2 (ja) 2008-03-19

Family

ID=29197058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002064119A Expired - Fee Related JP4063556B2 (ja) 2002-03-08 2002-03-08 顔画像認識装置および方法

Country Status (1)

Country Link
JP (1) JP4063556B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703440A2 (en) 2005-03-15 2006-09-20 Omron Corporation Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium
JP2006323774A (ja) * 2005-05-20 2006-11-30 Fujitsu Ltd 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
JP2008009914A (ja) * 2006-06-30 2008-01-17 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2008009617A (ja) * 2006-06-28 2008-01-17 Glory Ltd 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法
JP2008059108A (ja) * 2006-08-30 2008-03-13 Hitachi Ltd 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム
US7760916B2 (en) 2005-10-31 2010-07-20 Sony Corporation Registration apparatus, collation apparatus, image correction method and program
JP2010238181A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 顔認証装置および顔認証方法
KR101301301B1 (ko) 2012-07-24 2013-08-28 주식회사 에스원 얼굴 인식 필터 설계 방법 빛 그 장치
JP2019531560A (ja) * 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703440A2 (en) 2005-03-15 2006-09-20 Omron Corporation Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium
JP2006323774A (ja) * 2005-05-20 2006-11-30 Fujitsu Ltd 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
JP4645301B2 (ja) * 2005-05-20 2011-03-09 富士通株式会社 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
US7760916B2 (en) 2005-10-31 2010-07-20 Sony Corporation Registration apparatus, collation apparatus, image correction method and program
JP2008009617A (ja) * 2006-06-28 2008-01-17 Glory Ltd 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法
JP2008009914A (ja) * 2006-06-30 2008-01-17 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体
US8311272B2 (en) 2006-06-30 2012-11-13 Canon Kabushiki Kaisha Image processing apparatus for identifying an individual object, image processing method, and storage medium
JP2008059108A (ja) * 2006-08-30 2008-03-13 Hitachi Ltd 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム
JP2010238181A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 顔認証装置および顔認証方法
KR101301301B1 (ko) 2012-07-24 2013-08-28 주식회사 에스원 얼굴 인식 필터 설계 방법 빛 그 장치
JP2019531560A (ja) * 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US11580756B2 (en) 2016-07-05 2023-02-14 Nauto, Inc. System and method for determining probability that a vehicle driver is associated with a driver identifier

Also Published As

Publication number Publication date
JP4063556B2 (ja) 2008-03-19

Similar Documents

Publication Publication Date Title
US7876931B2 (en) Face recognition system and method
US8086027B2 (en) Image processing apparatus and method
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
Sablatnig et al. Hierarchical classification of paintings using face-and brush stroke models
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP2000306095A (ja) 画像照合・検索システム
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
JP5959093B2 (ja) 人物検索システム
JP2003178306A (ja) 個人認証装置および個人認証方法
KR20060058147A (ko) 화상 대조 시스템 및 화상 대조 방법
JP2002259994A (ja) 自動イメージパターン検出方法及びイメージ処理装置
CN111739029A (zh) 基于深度学习卷积神经网络的电铲斗齿脱落检测方法
JP4063556B2 (ja) 顔画像認識装置および方法
JPH08287216A (ja) 顔面内部位認識方法
JP3577908B2 (ja) 顔画像認識システム
CN111881789A (zh) 肤色识别方法、装置、计算设备及计算机存储介质
CN115620364A (zh) 基于智能三维人像采集的证件照生成检测方法及系统
CN106156739B (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN112801038B (zh) 一种多视点的人脸活体检测方法及系统
JP5244345B2 (ja) 顔認証装置
CN115019364A (zh) 基于人脸识别的身份认证方法、装置、电子设备及介质
JP2008059108A (ja) 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム
US20230103555A1 (en) Information processing apparatus, information processing method, and program
CN113011277A (zh) 基于人脸识别的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050302

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees