JP2009199256A - パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム - Google Patents
パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム Download PDFInfo
- Publication number
- JP2009199256A JP2009199256A JP2008039137A JP2008039137A JP2009199256A JP 2009199256 A JP2009199256 A JP 2009199256A JP 2008039137 A JP2008039137 A JP 2008039137A JP 2008039137 A JP2008039137 A JP 2008039137A JP 2009199256 A JP2009199256 A JP 2009199256A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- candidate
- candidates
- node
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000012567 pattern recognition method Methods 0.000 title claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 116
- 230000008569 process Effects 0.000 claims description 106
- 238000003909 pattern recognition Methods 0.000 claims description 76
- 230000010365 information processing Effects 0.000 claims description 31
- 239000000872 buffer Substances 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 35
- 238000001514 detection method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 14
- 230000003936 working memory Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
【解決手段】パターン認識方法は、複数の段階でパターンを認識する処理に適用される方法であり、各段階の認識候補となりうる各認識候補を検出し(S11)、各段階の各認識候補に属する次の段階の認識候補を展開し(S15)、展開された各認識候補に対して、認識処理済みの認識候補に対する全認識処理結果を条件とした事後確率に基づく評価値を算出し(S16)、算出した各認識候補に対する評価値に基づいて各認識候補を選別し(S18)、これらの選別された各認識候補から認識結果を決定する(S21)。
【選択図】 図13
Description
上記特開2004−178280号公報には、ある階層における認識結果の候補に対する各単語の信頼度の和を評価値とし、評価値が上位E個の認識結果の候補のみ残し、残りを破棄する手法が開示されている。
また、上記特開2001−283156号公報には、各単語内の文字が単語長に対し一定割合以上認識されていない認識結果の候補を破棄する手法が開示されている。
また、特開2001−283156号公報に開示されている手法は、実際の運用面において非現実的であることがある。これは、認識対象とする各パターンに対する認識処理が複雑かつ詳細である場合、破棄されない認識結果も全て探索対象となることにより、膨大な処理時間が必要となるためである。
また、IEEE Trans. Pattern Analysis and Machine Intelligence, vol.11, no.1, pp.68-83, Jan.1989 に開示されている手法は、正解となる認識結果を得るのに処理時間がかかってしまう。特に、認識対象となる各パターンの事前確率に偏りがある場合、膨大な処理時間がかかるものと考えられる。これは、評価値として、事後確率を事前確率で除した値を用いているためである。
まず、本実施の形態としてのパターン認識処理について概略的に説明する。
パターン認識処理では、所定時間内での処理の必要性から、高速化な処理が必要となることがしばしば起こる。例えば、パターン認識処理の代表的な例としては、住所情報などように複数の階層の情報から構成される文字情報全体を認識する処理がある。住所情報の認識処理では、先に候補数の少ない上位階層を認識し、その結果を用いて下位階層の候補を絞り込むことがしばしば行われる。このような複数段階の処理からなるパターン認識処理(複数段構成のパターン認識)では、処理全体を高速化するため、初期段階の処理において、高速動作する粗い識別器による認識処理(つまり、処理速度を重視して候補を選出する認識処理)が実行される。この場合、後段の処理では、前段の処理結果を用いて、順次、処理範囲あるいは処理対象を絞り込むという方法が取られることがある。このような複数段階の候補から正解となる候補を選出する問題は、探索問題と捉えることが可能である。
ここでは、複数段構成のパターン認識処理の例として、顔認識処理と住所認識処理とについて説明する。
まず、顔認識処理の例について説明する。
顔認識処理は、バイオメトリクスの一種である。顔認識処理では、生体情報としての人物の顔画像に基づいて個人を特定する。顔認識処理は、大きく分けて、以下のような3段階の処理により、認識結果が得られるようになっている。すなわち、顔認識処理は、第1段階の処理として取得した画像(入力画像)内から人物の画像を検出し、第2段階の処理として検出した人物の画像から顔画像を検出し、第3段階の処理として検出した顔画像と登録者の顔画像との照合を行う。
図1に示すような探索木では、各段階の候補がそれぞれノードとして表現される。第1段階の処理では、人物検出用識別器を種々の位置及びサイズで走らせて複数の人物検出結果を得る。図1に示す探索木では、1段目の各ノードが第1段階の候補として得られる複数の人物検出結果に対応する。つまり、探索木においてルートノードに従属する1段目の各ノードは、人物検出用識別器が1つの位置及びサイズで検出した人物の検出結果に相当している。第2段階の処理では、第1段階の処理として得られた各人物検出結果(人物の画像)に対して、複数の顔検出結果が得られる。図1に示す探索木では、2段目の各ノードが第2段階の処理結果として得られる複数の顔検出結果に対応する。従って、探索木における1段目の各ノードには、それぞれ複数の2段目のノードが従属している。第3段階の処理では、第2段階の処理として得られた各顔検出結果(顔画像)に対して、登録人数分の照合結果が得られる。図1に示す探索木では、3段目の各ノードが第3段階の処理結果として得られる各登録者に対する照合結果に対応する。従って、探索木における2段目の各ノードには、それぞれ登録人数分の3段目のノードが従属している。
図2は、住所データベースの例を示す図である。ここでは、認識対象とする住所情報は、複数段階の情報から構成されているものとする。図2に示す例では、認識対象とする住所情報は、1段目が都市名、2段目が町名、3段目が番地である。
ここで、ノードniに対応する処理結果をxiとする。たとえば、最良優先探索を顔認識認識に応用する場合、各ノードniに対応する各段階の識別器の出力が処理結果xiに相当する。また、最良優先探索を住所情報の認識処理に応用する場合、各ノードniに対応する各段階における各単語候補内の文字認識などの結果が処理結果xiに相当する。なお、以下の説明では、X、ni、Ui、Xetcを以下のように定義する。処理済の全ノードに対応する全処理結果をXとする。niの親ノードを辿ることで到達できるノードの集合をUiとする。niが集合Uiの元でないとする。Uiに含まれないノードのうち、処理済のノードの全処理結果をXetcとする。
住所情報の認識処理において、xjには、単語候補内の複数の文字認識結果が含まれている。このため、式(3)の事後確率比P(xj|nj)/P(xj)の計算が容易ではないことが多い。上記文献1、2、3では、事後確率比の計算式がいくつか提案されている。それらの事後確率比の分母P(xj)に注目して整理する。まず、文献1では、xjに含まれる各文字候補の文字認識結果を全て独立と近似している。これは、大きな誤差を起こしてしまうことと、文字候補構造(説明は後述)あるいは経路の選択に関する項が残ってしまい計算が困難となることがある。文献2に記載されている正規化事後確率比は、分母をP(xj)=ΣkP(xj、wk)とする変形により、分母の計算を単語辞書内の全単語で展開し、大きな誤差を起こす近似変形を避けることに成功している。また、同時に、計算のしにくい項を分母と分子とでうまくキャンセルさせることに成功している。更に、文献3に記載されている拡張事後確率比では、注目している単語候補以外の場所にも何らかの文字が書かれていることを考慮することにより、近似誤差を低減している。何らかの文字が書かれていることを考慮することにより、計算利便性を落とす項が発生する。しかし、正規化事後確率比と同様に分母の計算を単語辞書内の全単語で展開することにより、計算し難い項が分母と分子とでキャンセルされている。
式(4)の分母において、P(xj)≒P(xj|Lj、C*)としているのは、先に述べたとおり、どの単語候補にも何らかの文字が書かれているとする近似であるからである。
式(6)では、確率が最大となる経路の確率に比べ、その他の経路の確率は無視できるとする近似を用いている。続いて以下の近似を行う。
図8は、上述したようなパターン認識方法によるパターン認識機能を有する情報処理装置11の構成例を示す図である。
図8に示す例では、情報処理装置11には、画像入力装置12が接続されている。画像入力装置12は、スキャナあるいはカメラなどにより構成される。上記画像入力装置12は、情報処理装置11により処理すべき画像を取得するものである。たとえば、上記画像入力装置12は、スキャナあるいはカメラなどにより構成される。上記画像入力装置12は、取得した画像情報を情報処理装置11へ供給するようになっている。なお、上記画像入力装置12は、記録媒体に記憶された画像情報を読み出して、記録媒体から読み出した画像情報を上記情報処理装置11へ供給するものであっても良い。
図9は、上記画像インターフェース21により取り込まれるパターン認識処理の対象となる画像の例を示す図である。図9に示す例は、複数層の情報からなる住所情報が記載された紙葉類の読取画像の例であるものとする。図9示す例では、パターン認識処理としての複数層の情報からなる住所情報の認識処理の対象となる画像の例を示している。
図11は、上記パターン認識部22aの構成例を示す図である。なお、以下の説明では、主として、当該情報処理装置11が住所情報などの複数階層の情報からなる文字情報を認識するものであることを想定している。
上記パターン認識部22aは、認識制御部30、候補抽出部31、ノード展開部32、評価値算出部33、ノード選別部34、決定部35などにより構成されている。上述したように、上記パターン認識部22aは、プロセッサ22がプログラムを実行することにより実現される機能である。つまり、上記候補抽出部31、ノード展開部32、評価値算出部33、ノード選別部34、決定部35も、プロセッサ22がプログラムが実行することにより実現される機能である。
図12は、図9に示す入力画像から抽出される単語候補の例を示す図である。図12に示す例では、アルファベットを認識対象の住所情報を構成する文字として想定している。このため、図12に示す例では、7つの単語候補が抽出されている。なお、図12に示す7つの単語候補は、当該画像における位置情報により示される位置P1〜P7に存在しているものとする。
まず、上記情報処理装置11におけるパターン認識処理の第1の処理例について説明する。
図13は、パターン認識処理の第1の処理例としての処理の流れを説明するためのフローチャートである。
まず、上記画像入力装置12から供給されるパターン認識処理の対象となる画像は、画像インターフェース21により情報処理装置11に取り込まれる(ステップS10)。画像インターフェース21によりパターン認識処理の対象となる画像が取り込まれると、プロセッサ22は、パターン認識部22aによるパターン認識処理を開始する。すなわち、上記パターン認識部22aの認識制御部30は、まず、上記候補抽出部31により入力画像から単語候補を抽出する処理を実行する(ステップS11)。たとえば、図9に示すような画像が与えられた場合、上記候補抽出部31は、図12に示すような単語候補を抽出する。この際、上記候補抽出部31は、抽出した各単語候補を識別するための識別情報を付与するとともに、各単語候補の位置を示す情報を特定する。
本第2の処理例は、複数階層の候補から正解となる候補を探索する手法として最良優先探索を適用したパターン認識処理の例である。上述したように、最良優先探索では、異なる階層のノードについても、比較対象として、最も評価値が高いノードを優先的に処理してく探索手法である。また、ここでは、各ノードの評価値は、上述したような計算手法により算出されるものとする。
また、第2の処理例に適用される最良優先探索では、必要がある。このため、第2の処理例では、評価値として、上述した計算式により近似的に算出される事後確率が用いられる。これにより、第2の処理例によれば、異なる段階のノードについても比較することが可能となり、最良優先探索を実現可能となっている。
本第3の処理例は、第2の処理例と同様に、複数階層の候補から正解となる候補を探索する手法として最良優先探索を適用したパターン認識処理の例である。第3の処理例では、第2の処理例の変形例である。第3の処理例では、各ノードの評価値として、各ノードの事後確率を推定される処理時間で割った値が用いられるものである。
すなわち、上記評価値算出部33は、まず、上記ノード展開部32により得られた各ノードに対して事後確率を算出する(ステップS61)。各ノードの事後確率は、上述した計算手法により、各ノードに対する認識処理によって近似的に算出される。
各ノードの事後確率と推定処理時間とが得られると、上記評価値算出部33は、各ノードごとに上記ステップS61で算出された事後確率を上記ステップS62で算出された推定処理時間で割った値を各ノードの評価値として算出する(ステップS63)。
Claims (9)
- 複数の段階でパターンを認識する処理を行う情報処理装置に用いられるパターン認識方法であって、
各段階の各認識候補に属する次の段階の認識候補を展開し、
展開された各認識候補に対して、認識処理済みの認識候補に対する全認識処理結果を条件とした事後確率に基づく評価値を算出し、
算出した各認識候補に対する評価値に基づいて各認識候補を選別し、
これらの選別された各認識候補からパターンの認識結果を決定する、
ことを特徴とするパターン認識方法。 - 前記認識候補の選別は、各段階ごとに前記評価値が高い順に所定数の認識候補を選出する、
ことを特徴とする前記請求項1に記載のパターン認識方法。 - 前記認識候補の選別は、前記評価値が算出されている認識候補のうち評価値が最大の認識候補を選出し、
前記認識候補の展開は、前記選出された評価値が最大の認識候補に属する次の段階の認識候補を展開する、
ことを特徴とする前記請求項1に記載のパターン認識方法。 - さらに、各認識候補に従属する次の段階以降の認識候補に対する認識処理に要する時間を推定し、
前記評価値の算出は、前記事後確率と前記推定した認識処理に要する時間とに基づいて評価値を算出する、
ことを特徴とする前記請求項3に記載のパターン認識方法。 - 前記認識候補の事後確率は、当該認識候補を条件として当該認識候補に対する認識処理結果が出力される確率と、当該認識結果に対する認識処理結果が出力される確率と、当該認識候補の1つ前の段階の認識候補に対する事後確率とに基づいて算出される、
ことを特徴とする前記請求項1乃至4の何れか1項に記載のパターン認識方法。 - 複数の階層の情報からなる文字情報を認識する処理を行う文字認識装置に用いられる文字認識方法であって、
各階層の単語候補に属する次の段階の単語候補を展開し、
展開された各単語候補に対して、文字認識処理済みの単語候補に対する全文字認識処理結果を条件とした事後確率に基づく評価値を算出し、
算出した各単語候補に対する評価値に基づいて各単語候補を選別し、
これらの選別された各認識候補から文字情報全体の認識結果を決定する、
ことを特徴とする文字認識方法。 - 前記単語候補の事後確率は、当該単語候補を条件として当該単語候補に対する文字認識処理結果が出力される確率と、当該認識結果に対する文字認識処理結果が出力される確率と、当該単語候補の1つ前の段階の単語候補に対する事後確率とに基づいて算出される、
ことを特徴とする前記請求項6に記載の文字認識方法。 - コンピュータに、複数の段階でパターンを認識する処理を行わせるためのプログラムであって、
各段階の各認識候補に属する次の段階の認識候補を展開する機能と、
展開された各認識候補に対して、認識処理済みの認識候補に対する全認識処理結果を条件とした事後確率に基づく評価値を算出する機能と、
算出した各認識候補に対する評価値に基づいて各認識候補を選別する機能と、
これらの選別された各認識候補からパターンの認識結果を決定する機能と、
を実現させるためのパターン認識プログラム。 - コンピュータに、複数の階層の情報からなる文字情報の認識処理を行わせるためのプログラムであって、
各階層の単語候補に属する次の段階の単語候補を展開する機能と、
展開された各単語候補に対して、文字認識処理済みの単語候補に対する全文字認識処理結果を条件とした事後確率に基づく評価値を算出する機能と、
算出した各単語候補に対する評価値に基づいて各単語候補を選別する機能と、
これらの選別された各認識候補から文字情報全体の認識結果を決定する機能と、
を実現させるための文字認識プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008039137A JP5224847B2 (ja) | 2008-02-20 | 2008-02-20 | パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム |
US12/388,109 US20090208112A1 (en) | 2008-02-20 | 2009-02-18 | Pattern recognition method, and storage medium which stores pattern recognition program |
KR1020090013755A KR101109329B1 (ko) | 2008-02-20 | 2009-02-19 | 패턴 인식 방법, 및 패턴 인식 프로그램을 기억하는 기억 매체 |
EP09002440A EP2093700A3 (en) | 2008-02-20 | 2009-02-20 | Pattern recognition method, and storage medium which stores pattern recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008039137A JP5224847B2 (ja) | 2008-02-20 | 2008-02-20 | パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199256A true JP2009199256A (ja) | 2009-09-03 |
JP5224847B2 JP5224847B2 (ja) | 2013-07-03 |
Family
ID=41142697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008039137A Expired - Fee Related JP5224847B2 (ja) | 2008-02-20 | 2008-02-20 | パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5224847B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016519800A (ja) * | 2013-03-14 | 2016-07-07 | クアルコム,インコーポレイテッド | 画像ベースのアプリケーションランチャー |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63138480A (ja) * | 1986-11-29 | 1988-06-10 | Toshiba Corp | 文字認識方式 |
JPH11213097A (ja) * | 1998-01-23 | 1999-08-06 | Ricoh Co Ltd | 単語認識装置および単語認識方法,並びに単語認識方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体 |
JP2001283156A (ja) * | 2000-03-31 | 2001-10-12 | Glory Ltd | 住所認識装置、住所認識方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2001283157A (ja) * | 2000-01-28 | 2001-10-12 | Toshiba Corp | 単語認識方法および単語認識プログラム |
-
2008
- 2008-02-20 JP JP2008039137A patent/JP5224847B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63138480A (ja) * | 1986-11-29 | 1988-06-10 | Toshiba Corp | 文字認識方式 |
JPH11213097A (ja) * | 1998-01-23 | 1999-08-06 | Ricoh Co Ltd | 単語認識装置および単語認識方法,並びに単語認識方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体 |
JP2001283157A (ja) * | 2000-01-28 | 2001-10-12 | Toshiba Corp | 単語認識方法および単語認識プログラム |
JP2001283156A (ja) * | 2000-03-31 | 2001-10-12 | Glory Ltd | 住所認識装置、住所認識方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Non-Patent Citations (2)
Title |
---|
CSNG200800469023; 浜村 倫行 Tomoyuki HAMAMURA: '事後確率と最良優先探索を用いた複数段構成パターン認識の認識戦略 Strategy of Multistage Pattern Recog' 電子情報通信学会技術研究報告 Vol.107 No.491 IEICE Technical Report 第107巻, 社団法人電子情報通信学会 The Institute of Electro * |
JPN6012054991; 浜村 倫行 Tomoyuki HAMAMURA: '事後確率と最良優先探索を用いた複数段構成パターン認識の認識戦略 Strategy of Multistage Pattern Recog' 電子情報通信学会技術研究報告 Vol.107 No.491 IEICE Technical Report 第107巻, 社団法人電子情報通信学会 The Institute of Electro * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016519800A (ja) * | 2013-03-14 | 2016-07-07 | クアルコム,インコーポレイテッド | 画像ベースのアプリケーションランチャー |
US9924102B2 (en) | 2013-03-14 | 2018-03-20 | Qualcomm Incorporated | Image-based application launcher |
Also Published As
Publication number | Publication date |
---|---|
JP5224847B2 (ja) | 2013-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101109329B1 (ko) | 패턴 인식 방법, 및 패턴 인식 프로그램을 기억하는 기억 매체 | |
US11341424B2 (en) | Method, apparatus and system for estimating causality among observed variables | |
CN108427738B (zh) | 一种基于深度学习的快速图像检索方法 | |
JP6638484B2 (ja) | 情報処理装置、類似検索プログラム、及び類似検索方法 | |
JP4767595B2 (ja) | 対象物検出装置及びその学習装置 | |
US7817857B2 (en) | Combiner for improving handwriting recognition | |
JP5217127B2 (ja) | 一括地名認識プログラム、一括地名認識装置および一括地名認識方法 | |
US9842279B2 (en) | Data processing method for learning discriminator, and data processing apparatus therefor | |
US20030220906A1 (en) | System and method of employing efficient operators for bayesian network search | |
JP6003705B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2001175811A (ja) | 単語大分類装置及びその単語大分類方法並びにその制御プログラムを記録した記録媒体 | |
JP6004015B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
JP5139701B2 (ja) | 言語解析モデル学習装置、言語解析モデル学習方法、言語解析モデル学習プログラムならびにその記録媒体 | |
US20180005087A1 (en) | Pattern recognition device, pattern recognition method, and computer program product | |
CN113642320A (zh) | 文档目录结构的提取方法、装置、设备和介质 | |
JPH11328317A (ja) | 日本語文字認識誤り訂正方法及び装置、並びに、誤り訂正プログラムを記録した記録媒体 | |
EP2138959A1 (en) | Word recognizing method and word recognizing program | |
WO2016181470A1 (ja) | 認識装置、認識方法およびプログラム | |
Meddouri et al. | Parallel learning and classification for rules based on formal concepts | |
JP5224847B2 (ja) | パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム | |
CN111488400B (zh) | 数据分类方法、装置和计算机可读存储介质 | |
JP5252596B2 (ja) | 文字認識装置、文字認識方法及びプログラム | |
JP5150479B2 (ja) | パターン認識方法、文字認識方法、パターン認識プログラムおよび文字認識プログラム | |
US9378466B2 (en) | Data reduction in nearest neighbor classification | |
JP4834693B2 (ja) | パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5224847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |