JP2005141720A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2005141720A JP2005141720A JP2004162351A JP2004162351A JP2005141720A JP 2005141720 A JP2005141720 A JP 2005141720A JP 2004162351 A JP2004162351 A JP 2004162351A JP 2004162351 A JP2004162351 A JP 2004162351A JP 2005141720 A JP2005141720 A JP 2005141720A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- size
- voting
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置は顔検出用テンプレート画像の濃度勾配方向画像上の基準点と参照とする各座標点との距離及び前記基準点と前記座標点を結ぶ線が前記座標点を通る水平軸と交差する角度の情報を抽出する第2の抽出手段6と、第2の抽出手段6で抽出した前記距離、角度の情報を顔検出用テンプレート画像の濃度勾配方向の値毎に分類して記憶する第3の記憶手段7と、撮像画像の濃度勾配方向画像の参照とする各座標点における濃度勾配方向の値、及び前記第3の記憶手段7に記憶された形状特徴に基づいて、撮像画像の濃度勾配方向画像における基準点候補点に投票処理を行う投票手段8と、投票手段8によって求めた投票結果に基づいて、顔の位置を検出する第1の検出手段9とを備えている。
【選択図】図1
Description
また、顔領域を楕円で近似する技術を用い、楕円を規定するパラメータを逐次変更することによって、最適な値を検出する形状認識装置も提案されている(例えば特許文献2)。
請求項6の発明によれば、年齢・性別・個人差等の変動の影響を受けにくく、顔の正確な位置が検出できる。
。
本実施形態は、ハフ変換を用いて人の顔を検出する画像処理装置を構成するもので、図1に示すように、検知対象の顔を含む画像を撮像する撮像手段1と、この撮像手段1からの撮像画像を取り込む画像入力手段2と、予め顔検出用テンプレート画像を記憶させている第1の記憶手段3と、この第1の記憶手段3に記憶されている図2(a)に示すような顔検出用テンプレート画像A及び画像入力手段2が取り込んだ図3に示すような撮像画像Bの各濃度勾配方向画像A’,B’(図2(b)、図4(a)参照)を抽出する第1の抽出手段4と、抽出した濃度勾配方向画像A’,B’を記憶する第2の記憶手段5と、該第2の記憶手段5に記憶されている顔検出用テンプレートAの濃度勾配方向画像A’上の基準点Oと参照とする各座標点(以下参照点という)Rとの間の距離L、基準点Oと各参照点Rとを結ぶ線が参照点Rを通る水平軸(X軸)と交差する角度αの情報を抽出する第2の抽出手段6と、これら抽出された情報を顔検出用テンプレート画像の濃度勾配方向の値θ毎に分離して記憶する第3の記憶手段7と、前記第2の記憶手段5に記憶されている撮像画像Bの濃度勾配方向画像B’の各参照点R’における濃度勾配方向の値θ、及び前記第3の記憶手段7に記憶された形状特徴の情報に基づいて、濃度勾配方向画像B’における基準点候補点に投票処理を行う投票手段8と、この投票手段8によって求めた投票結果に基づいて、顔の位置を検出する第1の検出手段9と、予め顔認証用テンプレート画像を記憶してある第4の記憶手段10と、この第4の記憶手段10に記憶してある顔認証用テンプレート画像から、前記第1の抽出手段4によって濃度勾配方向画像C(図7(a)参照)を抽出し、前記第1の検出手段9によって得られた検知情報に基づいて、撮像画像Bの濃度勾配方向画像B’とのマッチングを行うことによって、顔認証を行う顔認証手段11とで構成される。
dy=(g+2h+i)−(a+2b+c)…(式2)
(a〜hは、図5に示すように注目画素e及びその注目画素e近傍の8つの画素の値a〜d、f〜hを示すものである。)またこの時、濃度勾配方向値θは、下記の(式3)で示される。
ここで、濃度勾配方向画像A’,B’は前記濃度勾配方向値θを画素値に持つ画像であり、この画像を第2の記憶手段5に記憶する。
oy’=L×cos(α)+r’y …(式4)
顔認証手段11は、図7(a)に示すように、予め第4の記憶手段10に記憶されている顔認証用テンプレート画像から第1の抽出手段4によって、濃度勾配方向画像Cを作成する。そして、第1の検出手段9によって検出された図7(b)に示す顔の位置近傍の範囲(イ)のみにおいて、撮像画像Bの濃度勾配方向画像B’と顔認証用テンプレート画像の濃度勾配方向画像Cとのパターンマッチングにより認証処理を行う。
本実施形態の画像処理装置の基本構成は図1に示す実施形態1の構成と同じであるので、図1を参照する。そして、本実施形態の画像処理装置は、図8(a)に示すように、第1の検出手段9内に、顔サイズを検出するための第2の検出手段91を備えた点に特徴がある。
上記実施形態2では顔検出用テンプレート画像のサイズを変更させることで、顔サイズを検出するものであったが、本実施形態は上述した形状特徴における距離情報を変化させて顔サイズを検出する点に特徴がある。尚本実施形態の画像処理装置の基本構成は図1に示す実施形態1の構成と同じであるので、図1を参照し、また第1の検出手段9内には実施形態2と同様に第2の検出手段91(図8(a)を設けてある。
oy’=s×L×cos(α)+r’y …(式6)
s:距離の倍率
〈実施形態4)
本実施形態の画像処理装置の基本構成は図1に示す実施形態1の構成と同じであるので、図1を参照する。
上記実施形態4での第3の検出手段92は顔検出用テンプレート画像Aを回転させるものであったが、本実施形態の第3の検出手段92では、上述した形状特徴における角度情報を変換させる点に特徴がある。尚本実施形態の画像処理装置の基本構成は図1に示す実施形態1の構成と同じであるので、図1を参照し、また実施形態4と同様に第1の検出手段9内に、例えば実施形態3に用いた第2の検出手段91とともに第3の検出手段92を備えている(図9(a)参照)
而して本実施形態の第3の検出手段92は、上述した形状特徴における角度情報を変化させて、投票手段8によって、第2の記憶手段5に記憶されている濃度勾配方向画像の濃度勾配方向値θ(回転角をφ、撮像画像Bの濃度勾配方向をθ’とすると、θ=θ’−φとなる。)と、第3の記憶手段7に記憶されている顔検出用テンプレート画像Aの形状特徴を用いて、下記の(式7)、(式8)より基準点候補点を求め、投票空間のその点に投票する。そして図9(c)に示すように、回転角毎の投票結果より投票値のピークが得られるため、その値が最大になる回転角を顔の回転角として検出する。
oy’=L×cos(α+φ)+r’y …(式8)
φ:回転角(この回転角の値を変えることで角度情報を変化させる)
(実施形態6)
図10に本実施形態の画像処理装置のブロック図を示す。本実施形態の画像処理装置は、図1において、第4の記憶手段10及び顔認証手段11を省いたものであるので、その構成要素には同じ符号を付する。
本実施形態は、上記実施形態の何れにも適用できるものである。ここで説明のために実施形態1の図1の構成を参照して説明する。
ここで、濃度勾配方向画像A’、B’は前記濃度勾配方向値θを画素値に持つ画像であり、この画像を第2の記憶手段5に記憶させるのであるが、本実施形態では図12(a)に示す撮像画像Bのサイズが320×240画素の場合に、図12(b)に示す320×240画素の濃度勾配方向画像B’を圧縮して図12(f)に示す1/4のサイズである160×120画素の濃度勾配方向画像B”を記憶させるようになっており、この場合、第1の抽出手段4が図12(c)に示すエッジ画像Dにおいて、図12(d)に示す2×2画素の領域を想定してそれぞれの画素の微分の強度値a1〜dlを比較し、その中で最も大きいものを求める。そして仮に強度値b1が最も大きい場合には、圧縮前の濃度勾配方向画像B’において図12(e)に示す同一画素位置の濃度勾配方向値であるB1を圧縮後の方向値として濃度勾配方向画像記憶週案5に記憶させるのである。
本実施形態の画像処理装置は、実施形態1の構成を構成とするものであるが、図13(a)に示すように第1の検出手段9内に顔サイズ推定手段911を備えた点に特徴を有する。
近似曲線:y=a×x2+b×x+c …(式10)
極大値=−b/(2×a) …(式11)
而して本実施形態では、検出する顔サイズ範囲において、いくつかの顔サイズにおける投票結果より近似曲線を求め、それより顔サイズを検出するため、顔サイズを詳細に変化させて投票を行う必要がなく、少ない投票回数での顔サイズ検出が可能となる。
本実施形態の画像処理装置は、実施形態1の構成を基本的な構成とするものであるが、図14(a)に示すように、第1の検出手段9内に顔回転角を推定する顔回転角推定手段921を備えた点に特徴を有する。
上述の実施形態1では顔認証用テンプレート画像を第4の記憶手段10に記憶させておいて、認証時に第1の抽出手段4により濃淡勾配方向画像Cを作り出すようにしているが、本実施形態の画像処理装置では、顔認証用テンプレート画像の記憶動作モードを設定できるようにするとともに、実施形態4における第2の検出手段91と第1の推定手段92とを備えた第1の検出手段9を用い、下記のような処理を行って基準となる大きさ、回転角を正規化した顔領域のみの濃淡勾配方向画像C’を第4の記憶手段10に記憶させるようにした点に特徴を有する。
本実施形態の画像処理装置は、基本的には実施形態1と同様な構成を持つものであるが、撮像手段1で撮像されて入力される撮像画像Aが例えば図17(a)に示すように複数(図示例では二人)の人物が撮像された画像に対応させたもので、図16に示すように、第1の検出手段9内に顔候補を検出する第4の検出手段93と、顔認証用の距離要素として投票の際に用いるテンプレート画像や形状特徴における距離情報を用いて変化させることで検出顔サイズを設定するための設定手段94と、範囲内の最大候補を検出する第5の検出手段95を備えている点に特徴がある。尚図16以外の構成は図1の構成を参照する。
本実施形態の画像処理装置は、基本的には実施形態1と同様な構成を持つものであるが、顔に対しては基準点に投票が集まるが、ある一定方向の成分が集中しているような背景を顔と誤検出するのを防ぐために、図19に示すように、第1の検出手段9内に第4の検出手段93と、設定手段94と、候補点付近の投票値を解析する第1の解析手段96を備えている点に特徴がある。尚図19以外の構成は図1の構成を参照する。また設定手段94及び第4の検出手段93については、実施形態11で上述したものと同じであるので、その機能の説明を省略する。
本実施形態の画像処理装置は、基本的には実施形態1と同様な構成を持つものであるが、図21に示すように、第1の検出手段9内に第4の検出手段93と、設定手段94と、候補範囲内の濃度勾配方向を解析する第2の解析手段97とを備えている点に特徴を有する。
本実施形態の画像処理装置は、実施形態13と同様に第4の検出手段93と設定手段94と、第2の解析手段97とを備えている第1の検出手段9を用いたものであって、本実施形態の第2の解析手段97も実施形態13の場合と同様に第4の検出手段93が検出した顔候補において、設定手段101が図22(a)に示すように設定した顔サイズ範囲FS内において設定した分割方向についてのヒストグラム図22(b)に示す作成し、例えば分割方向が8方向だとすると方向0:0°〜44°、方向1:45°〜89°…方向7:315°〜359°というように実施形態13と同様に分類する。
cy0=|(X0+X4)−(X2+X6)|
cy1=|(X1+X5)−(X3+X7)|
CY=max(cy0,cy1)
但しcyi:各方向の周期性、xi:各方向成分、 CY:周期性
また図23(a)〜(d)は上述したように人の顔と、背景について実際に処理を行った結果を示すが、周期性CYの値は、人の顔と背景とにおいてそれぞれ、0.062と0.898というように人の顔の方が周期性CYの値が小さくなっていることがわかる。これは、図23(b)のようにある方向の成分が多く含まれる背景の場合には、それと1/2周期ずれた方向の成分も高くなることを利用したものである。
2 画像入力手段
3 第1の記憶手段
4 第1の抽出手段
5 第2の記憶手段
6 第2の抽出手段
7 第3の記憶手段
8 投票手段
9 第1の検出手段
10 第4の記憶手段
11 顔認証手段
Claims (16)
- 検出対象の顔を含む画像を撮像する撮像手段と、予め顔検出用テンプレート画像を記憶している第1の記憶手段と、前記撮像手段で撮像した撮像画像及び前記第1の記憶手段で記憶している顔検出用テンプレート画像の濃度勾配方向画像をそれぞれ抽出する第1の抽出手段と、該第1の抽出手段で抽出した各濃度勾配方向画像を記憶する第2の記憶手段と、該第2の記憶手段に記憶された顔検出用テンプレート画像の濃度勾配方向画像上の基準点と参照とする各座標点との距離及び前記基準点と前記座標点とを結ぶ線が前記座標点を通る水平軸と交差する角度の情報を抽出する第2の抽出手段と、該第2の抽出手段で抽出した前記距離、角度の情報を前記顔検出用テンプレート画像の濃度勾配方向の値毎に分類して記憶する第3の記憶手段と、前記第2の記憶手段に記憶されている前記撮像画像の濃度勾配方向画像の参照とする各座標点における濃度勾配方向の値、及び前記第3の記憶手段に記憶された形状特徴に基づいて、前記撮像画像の濃度勾配方向画像における基準点候補点に投票処理を行う投票手段と、該投票手段によって求めた投票結果に基づいて、顔の位置を検出する第1の検出手段とを備えていることを特徴とする画像処理装置。
- 前記第1の検出手段には、前記顔検出用テンプレート画像の大きさを変化させ、この大きさ変化に対応した投票値の変化に基づいて、顔の大きさを検出する第2の検出手段を備えていることを特徴とする請求項1記載の画像処理装置。
- 前記第1の検出手段には、前記形状特徴における距離情報を変化させて、その距離情報の変化に応じた投票値の変化に基づいて、顔の大きさを検出する第2の検出手段を備えていることを特徴とする請求項1記載の画像処理装置。
- 前記第1の検出手段には、前記顔検出用テンプレート画像の回転角を変化させて、この回転角の変化に対応した投票値の変化に基づいて、顔の回転角を検出する第3の検出手段を備えていることを特徴とする請求項1乃至3の何れか記載の画像処理装置。
- 前記第1の検出手段には、前記形状特徴における角度情報を変化させて、この角度情報の変化に応じた投票値の変化に基づいて、顔の回転角を検出する第3の検出手段を備えていることを特徴とする請求項1乃至3の何れか記載の画像処理装置。
- 前記顔検出用テンプレート画像が平均的な人の顔の特徴部位を含む形で作られていることを特徴とする請求項1乃至5の何れか記載の画像処理装置。
- 前記顔検出用テンプレート画像が、平均的な人の顔の輪郭を含む形で作られていることを特徴とする請求項1乃至6の何れか記載の画像処理装置。
- 前記第1の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第4の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第4の検出手段が検出した個補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で投票値が最大の候補を選択する第5の検出手段とを備えていることを特徴とする請求項1乃至7の何れか記載の画像処理装置。
- 前記第1の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第4の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第4の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、該範囲内の中心付近を除く箇所の投票値に基づいて候補点が顔であるかを判断する第1の解析手段とを備えていることを特徴とする請求項1乃至8の何れか記載の画像処理装置。
- 前記第1の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第4の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて顔の大きさを設定する設定手段と、前記第4の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、前記撮像画像の濃度勾配方向と基準となる人の顔の濃度勾配方向の分布との比較によって、候補点が顔であるかを判断する第2の解析手段を備えていることを特徴とする請求項1乃至9の何れか記載の画像処理装置。
- 前記第2の解析手段が、前記設定手段が設定した検出する顔のサイズに基づいた範囲内で、前記撮像画像の濃度勾配方向のヒストグラムを作成し、そのヒストグラムにおいて、方向値の周期性に基づいて候補点が顔であるかを判断することを特徴とする請求項10記載の画像処理装置。
- 前記第1の検出手段は、検出する顔サイズの範囲内において顔サイズに対応する距離要素を数回変化させ投票処理を行う一次サイズ探索手段と、一次サイズ探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、1点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔サイズを推定する顔サイズ推定手段とを備えていることを特徴とする請求項2又は3記載の画像処理装置。
- 前記第1の検出手段は、検出する顔回転角の範囲内において顔回転角に対応する角度要素を数回変化させ投票処理を行う一次回転角探索手段と、一次回転角探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、1点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔回転角を推定する顔回転角推定手段とを備えていることを特徴とする請求項4又は5記載の画像処理装置。
- 前記第2の記憶手段に記憶してある撮像した濃度勾配方向画像は、最も微分の強度値が大きい画素の濃度勾配を持ち、少なくとも最も微分の強度値が大きい画素の微分強度値を残して、撮像した画像サイズより小さい画像サイズに圧縮して記憶されていることを特徴とする請求項1乃至13の何れか記載の画像処理装置。
- 顔認証用テンプレート画像を予め記憶している第4の記憶手段と、該第4の記憶手段に記憶している顔認証用テンプレート画像から前記第1の抽出手段によって濃度勾配方向画像を抽出し、前記第1の検出手段よって検出された顔の情報に基づいて、前記撮像画像の濃度勾配方向画像とのマッチングを行うことで顔認証を行う顔認証手段とを備えていることを特徴とする請求項1乃至14の何れか記載の画像処理装置。
- 前記第4の記憶手段に記憶されているテンプレートは、ある大きさ、回転角に正規化されて記憶されていることを特徴とする請求項1乃至15の何れか記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004162351A JP4432623B2 (ja) | 2003-10-14 | 2004-05-31 | 画像処理装置 |
US11/068,834 US7403641B2 (en) | 2004-05-28 | 2005-03-02 | Object recognition system |
EP05004942A EP1600883B1 (en) | 2004-05-28 | 2005-03-07 | Object recognition system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003354199 | 2003-10-14 | ||
JP2004162351A JP4432623B2 (ja) | 2003-10-14 | 2004-05-31 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005141720A true JP2005141720A (ja) | 2005-06-02 |
JP4432623B2 JP4432623B2 (ja) | 2010-03-17 |
Family
ID=34702834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004162351A Expired - Fee Related JP4432623B2 (ja) | 2003-10-14 | 2004-05-31 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4432623B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122993A (ja) * | 2008-11-20 | 2010-06-03 | Panasonic Electric Works Co Ltd | 顔認証システム |
US8098928B2 (en) | 2007-03-30 | 2012-01-17 | Fanuc Ltd | Apparatus for picking up objects |
JP2012038357A (ja) * | 2011-11-24 | 2012-02-23 | Seiko Epson Corp | 画像処理装置 |
CN107392159A (zh) * | 2017-07-27 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 一种面部专注度检测系统及方法 |
-
2004
- 2004-05-31 JP JP2004162351A patent/JP4432623B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098928B2 (en) | 2007-03-30 | 2012-01-17 | Fanuc Ltd | Apparatus for picking up objects |
JP2010122993A (ja) * | 2008-11-20 | 2010-06-03 | Panasonic Electric Works Co Ltd | 顔認証システム |
JP2012038357A (ja) * | 2011-11-24 | 2012-02-23 | Seiko Epson Corp | 画像処理装置 |
CN107392159A (zh) * | 2017-07-27 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 一种面部专注度检测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4432623B2 (ja) | 2010-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10049262B2 (en) | Method and system for extracting characteristic of three-dimensional face image | |
JP5771413B2 (ja) | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 | |
US8090157B2 (en) | Approaches and apparatus for eye detection in a digital image | |
CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
EP2012255B1 (en) | Image processing apparatus and image processing method | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
US20150016679A1 (en) | Feature extraction device, feature extraction method, and feature extraction program | |
US9501823B2 (en) | Methods and systems for characterizing angle closure glaucoma for risk assessment or screening | |
US20130064425A1 (en) | Image recognizing apparatus, image recognizing method, and program | |
JP2019057815A (ja) | 監視システム | |
US10521659B2 (en) | Image processing device, image processing method, and image processing program | |
CN111178252A (zh) | 多特征融合的身份识别方法 | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
CN110889355A (zh) | 一种人脸识别校验方法、系统及存储介质 | |
CN104050448A (zh) | 一种人眼定位、人眼区域定位方法及装置 | |
CN107545217B (zh) | 指纹匹配方法、指纹匹配装置和指纹识别芯片 | |
WO2018030048A1 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
Yan | Ear biometrics in human identification | |
CN107145820B (zh) | 基于hog特征和fast算法的双眼定位方法 | |
JP4432623B2 (ja) | 画像処理装置 | |
JP4510562B2 (ja) | 円中心位置検出方法および装置並びにプログラム | |
JP5286574B2 (ja) | オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム | |
JP5048691B2 (ja) | 画像認識方法およびその装置 | |
Campadelli et al. | A color based method for face detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |