JP2011065370A - パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置 - Google Patents

パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置 Download PDF

Info

Publication number
JP2011065370A
JP2011065370A JP2009214811A JP2009214811A JP2011065370A JP 2011065370 A JP2011065370 A JP 2011065370A JP 2009214811 A JP2009214811 A JP 2009214811A JP 2009214811 A JP2009214811 A JP 2009214811A JP 2011065370 A JP2011065370 A JP 2011065370A
Authority
JP
Japan
Prior art keywords
evaluation value
similarity
character
category
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009214811A
Other languages
English (en)
Other versions
JP5546819B2 (ja
Inventor
Tomoyuki Hamamura
倫行 浜村
Toshio Sato
俊雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009214811A priority Critical patent/JP5546819B2/ja
Priority to EP10008674.3A priority patent/EP2299385B1/en
Priority to US12/869,902 priority patent/US8457413B2/en
Priority to KR1020100083906A priority patent/KR101145967B1/ko
Priority to CN201010269401.9A priority patent/CN102024150A/zh
Publication of JP2011065370A publication Critical patent/JP2011065370A/ja
Application granted granted Critical
Publication of JP5546819B2 publication Critical patent/JP5546819B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】入力パターンの各カテゴリに対する類似度を過去の認識結果に基づいて評価した値で認識結果を判定でき、効率的に精度の高いパターン認識を実現するパターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置を提供する。
【解決手段】パターン認識処理では、認識用の辞書に登録されている複数のカテゴリに対する入力パターンの類似度を算出し、算出した類似度を正解である条件で当該類似度となる確率と正解でないという条件で当該類似度となる確率とから得られる第1評価値に変換し、その第1評価値と事前確率とから第2評価値を算出し、第2評価値が最大となるカテゴリを選択するようにしたものである。
【選択図】図2

Description

本発明は、たとえば、被読取物上に記載されている文字を認識する文字認識装置あるいは各個人固有の生体情報により人物を認識する生体照合装置などに用いられるパターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置に関する。
従来、パターン認識方法には、種々の手法が提案されている。たとえば、複数のカテゴリからなるパターンを認識する技術としては、各カテゴリの認識結果が正解である確率を用いて認識精度を高めようとするパターン認識方法がある。このようなパターン認識方法の一例として、IEEE Trans. Pattern Analysis and Machine Intelligence, vol.11, no.1, pp.68-83, Jan.1989(非特許文献1)には、事後確率を事前確率で除した値を評価値とし、評価値が最大となる候補を次の探索対象とする手法が開示されている。なお、事後確率は、P(c|x)と書き表される。事後確率P(c|x)は、認識処理により得られた出力xを条件とし、候補cが正解である確率を意味するものと定義されている。また、事前確率は、P(c)と書き表されるものとする。事前確率P(c)は、認識処理を行っていない段階において、候補cが正解である確率のことを意味するものと定義されている。
従来、各カテゴリの類似度を事後確率に変換しようとする試みとしては、特登2739950号公報に開示されるものがある。特登2739950号公報に開示されるものは、あるカテゴリCjの類似度sjが与えられた場合、カテゴリCjである事後確率P(Cj|sj)を求めようとするものである。しかしながら、特登2739950号公報に開示されるものは、上記の通り一つのカテゴリの類似度sjしか考慮していないため、精度を高めるのが難しいことがある。
特登2739950号公報
「IEEE Trans. Pattern Analysis and Machine Intelligence, vol.11, no.1, pp.68-83, Jan.1989」
この発明の一形態は、効率的に精度の高いパターン認識を行うことができるパターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置を提供することを目的とする。
この発明の一形態としてのバターン認識方法は、入力パターンが複数のカテゴリのうち何れのカテゴリであるか識別する方法であって、各カテゴリに対して入力パターンとの類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出された各カテゴリに対する入力パターンの類似度を、カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値算出ステップと、前記第1評価値算出ステップで得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出ステップと、前記第2評価値算出ステップにより算出された第2評価値が最大となるカテゴリを選択する最大値選択ステップとを有する。
この発明の一形態としての文字認識方法は、入力パターンが複数の文字のうち何れの文字であるかを識別する方法であって、各文字に対する入力パターンの類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出した各文字に対する類似度を、文字ごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値計算ステップと、前記第1評価値計算ステップにより算出した各文字に対する第1評価値と各文字の事前確率を示す第2のテーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算ステップと、前記第2評価値計算ステップにより算出した第2評価値が最大となる文字を選択する最大値選択ステップとを有する。
この発明の一形態としてのパターン認識プログラムは、コンピュータに入力パターンが複数のカテゴリの何れのカテゴリであるかを識別させるためのプログラムであって、各カテゴリに対して入力パターンとの類似度を算出する類似度算出機能と、前記類似度算出機能により算出された各カテゴリに対する入力パターンの類似度を、カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値算出機能と、前記第1評価値算出機能で得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出機能と、前記第2評価値算出機能により算出された第2評価値が最大となるカテゴリを選択する最大値選択機能とをコンピュータに実現させる。
この発明の一形態としての文字認識プログラムは、コンピュータに入力パターンが複数の文字のうち何れの文字であるかを識別させるためのプログラムであって、各文字に対する入力パターンの類似度を算出する類似度算出機能と、前記類似度算出機能により算出した各文字に対する類似度を、文字ごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値計算機能と、前記第1評価値計算機能により算出した各文字に対する第1評価値と各文字の事前確率を示す第2のテーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算機能と、前記第2評価値計算機能により算出した第2評価値が最大となる文字を選択する最大値選択機能とをコンピュータに実現させる。
この発明の一形態としてのパターン認識装置は、入力パターンが複数のカテゴリのうち何れのカテゴリであるかを識別するものであって、各カテゴリに対して入力パターンとの類似度を算出する類似度算出手段と、カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルと、前記類似度算出手段により算出された各カテゴリに対する入力パターンの類似度を前記第1のテーブルで示される関係に基づいて第1評価値に変換する第1評価値算出手段と、前記第1評価値算出手段で得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出手段と、前記第2評価値算出手段により算出された第2評価値が最大となるカテゴリを選択する最大値選択手段とを有する。
この発明の一形態としての文字認識装置は、入力パターンが複数の文字のうち何れの文字であるかを識別するものであって、各文字に対する入力パターンの類似度を算出する類似度算出手段と、文字ごとの類似度と第1評価値との関係を示す第1のテーブルと、前記類似度算出手段により算出した各文字に対する類似度を前記第1のテーブルで示される関係に基づいて第1評価値に変換する第1評価値計算手段と、前記第1評価値計算手段により算出した各文字に対する第1評価値と各文字の事前確率を示す第2テーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算手段と、前記第2評価値計算手段により算出した第2評価値が最大となる文字を選択する最大値選択手段とを有する。
この発明の一形態によれば、効率的に精度の高いパターン認識を行うことができるパターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置を提供することができる。
図1は、実施の形態に係わる紙葉類処理装置としての区分機の概略構成を示す図である。 図2は、文字認識部の構成例を示す図である。 図3は、類似度蓄積部の構成例を示す図である。 図4は、カテゴリ別第1評価値テーブルの構成例を示す図である。 図5は、正解分布テーブルの構成例を示す図である。 図6は、不正解分布テーブルの構成例を示す図である。
以下、この発明の実施の形態について図面を参照して詳細に説明する。
まず、本実施の形態としてのパターン認識処理について概略的に説明する。
本実施の形態としてのパターン認識処理は、入力パターンが複数カテゴリのうちの何れであるかを判定するための処理である。認識対象となるパターンは、認識用の辞書に登録された辞書パターン(カテゴリ)との類似度(あるいは、確信度、距離、評価値などと称されるカテゴリの正解らしさを示す値)が算出可能なものであれば良い。たとえば、認識対象とするパターンとしては、文字認識処理における文字パターン、あるいは、顔画像などの生体情報による生体認証処理における生体情報の特徴パターンなどが想定される。
たとえば、紙葉類に記載されている文字情報を認識するOCR処理では、入力画像から検出される文字パターンと辞書データベース19に登録されている各文字パターン(辞書データ)との類似度により文字を認識する。このような文字認識処理などのパターン認識処理では、入力パターンが複数のカテゴリ(辞書データ)の何れであるかを類似度に基づいて判別している。
本実施の形態で説明するパターン認識方法は、入力パターンが複数カテゴリの何れであるかを判定する認識処理に適用されるものである。また、本実施の形態で説明するパターン認識方法では、各カテゴリに対する入力パターンの類似度および入力パターンに対する正解のカテゴリを蓄積し、各カテゴリの類似度を条件とした事後確率(後で詳細に説明する)を計算することにより、効率的かつ高速に精度の良いパターン認識結果を得るものである。
以下、パターン認識処理の適用例として紙葉類に記載されている住所情報などを文字を認識する文字認識部を有する紙葉類処理装置について説明する。
図1は、本実施の形態に係わる紙葉類処理装置としての区分機1の概略構成を示す図である。
この区分機1は、図1に示すように、区分機本体(本体)3とVCS(ビデオコーディングシステム)4とから構成されている。上記区分機本体3は、紙葉類を住所情報などにより区分処理するものである。また、上記VCS4は、上記区分機本体3にて住所情報が判別できなかった紙葉類の住所情報をオペレータのコーディング作業により入力するものである。
上記区分機本体3は、図1に示すように、前面にオペレーションパネル10が設けられている。上記オペレーションパネル10は、オペレータ(操作員)が処理モードや処理開始を指定したり、区分機の動作状態などを表示したりする。
上記区分機本体3は、紙葉類を供給する供給部を有する。供給部11に収容される紙葉類は、郵便番号、住所、宛名など文字情報(以下、単に住所情報と称する)が記載されている。上記供給部11は、紙葉類を所定の間隔で一通づつ主搬送路12へ供給する。また、上記供給部11に供給される紙葉類には、住所情報以外に、紙葉類の宛先情報を示す宛先バーコード、または、後述するOCR処理で宛先情報の文字認識ができなかった紙葉類に付与される識別情報としてのIDバーコードが記載されたものがある。
主搬送路12上には、BCR(バーコードリーダ)13、スキャナ14、BCW(バーコードライタ)部15、および、区分部16が設けられている。これらの各部は、各紙葉類に対する搬送状態などの処理状況に応じた区分制御部17による制御に基づいて動作する。
上記BCR13は、主搬送路12上を搬送される紙葉類に印字されているIDバーコードあるいは宛先バーコードなどのバーコードを読み取るものである。上記BCR13は、バーコードの画像を読み取る読取部と、読取画像におけるバーコードを認識する認識部を有する。上記BCR13によるバーコードの認識結果は、区分制御部17へ供給される。
上記スキャナ14は、主搬送路12上の紙葉類の画像を読取る。上記スキャナ14は、紙葉類上の画像を光学的に読み取る。上記スキャナ14は、文字認識部18に接続される。上記文字認識部18は、辞書データベース(DB)19に登録されている辞書データを参照して上記スキャナ14により読み取った画像から住所情報を認識する。上記文字認識部18は、住所情報の認識結果を区分制御部17へ供給する。つまり、上記スキャナ14、文字認識部18および辞書データベースは、文字認識装置(OCR)を構成するものである。なお、上記文字認識部18の構成については、後で詳細に説明する。
上記BCW15は、必要に応じて紙葉類にIDバーコード、あるいは、宛先バーコードを印刷する。たとえば、上記BCW15は、上記文字認識部18により住所情報が認識できた紙葉類に認識結果としての住所情報をバーコード化した宛先バーコードを印刷する。また、上記BCW15は、上記文字認識部18により宛先情報が認識できなかった紙葉類に区分制御部17から与えられる識別情報(書状ID)をバーコード化したIDバーコードを印刷する。つまり、上記BCW15は、住所情報が認識できた紙葉類にはその認識結果を宛先バーコードとして印刷し、住所情報が認識できなかった紙葉類にはIDバーコードを印刷する。
すなわち、上記宛先バーコードは、OCR認識結果としての宛先情報そのものを示すバーコードであり、上記IDバーコードは、当該紙葉類を識別するための識別情報を示すバーコードである。上記IDバーコードで示す紙葉類の識別情報は、上記VCS4において打鍵入力された宛先情報と紙葉類とを対応づけるための情報である。言い換えると、上記IDバーコードが印刷されている紙葉類は、VCS4による処理対象となる紙葉類である。
このBCW15の紙葉類の搬送方向の下流側には、紙葉類が住所情報に応じて区分する区分部16が設けられている。この区分部16は、複数の段、複数の列に区画された複数の区分ポケット(図示しない)から構成されている。各ポケットは、区分先ごとに対応して設定されており、住所情報あるいは機械コードに基づいて、紙葉類が住所情報に対応したポケットに順次集積される。また、区分部16には、区分先が認識できなかった紙葉類が集積されるVCS排除ポケット(図示しない)が設けられている。このVCS排除ポケットに集積された紙葉類は、住所情報がVCS4にて入力された後に、上記供給部11に再供給され、当該紙葉類のIDコードと上記VCS4にて入力された住所情報とに基づいて再区分されるようになっている。
次に、VCS4について説明する。
上記VCS4は、図1に示すように、画像蓄積分配装置21および複数のビデオコーディング端末(以下、VCDと称する)22などから構成されている。
上記画像蓄積分配装置21は、上記区分機本体3で住所情報が認識できなかった紙葉類の画像を各VCD22へ配信し、上記各VCD22による住所情報の打鍵入力結果を上記区分機本体3へ返す処理を行う。上記画像蓄積分配装置21には、上記区分機本体3におけるスキャナ14、区分制御部17および文字認識部18が接続されている。上記画像蓄積分配装置21は、例えば、画像制御部及び記憶部を有するパーソナルコンピュータ(PC)で構成される。上記画像蓄積分配装置21は、上記文字認識部18で住所情報が認識できなかった紙葉類の画像に当該紙葉類の識別情報(書状ID)を対応づけて記憶し、記憶した紙葉類の画像を各VCD22へ配信する。
上記VCD22は、ディスプレイ(表示部)あるいはキーボード(操作部)などを有する。上記VCD22は、例えば、PCにより構成される。上記VCD22では、上記画像蓄積分配装置21から分配される紙葉類の画像をディスプレイに表示する。紙葉類の画像を表示した状態において、上記VCD22では、オペレータがキーボードにより住所情報を入力する。上記VCD22による入力結果は、当該紙葉類の識別情報(IDコード)と対応づけて上記画像蓄積分配装置21へ返される。また、上記画像蓄積分配装置21は、上記VCD22からの入力結果を当該紙葉類の識別情報(IDコード)と対応づけて区分制御部17へ供給する。これにより、区分制御部17では、紙葉類に付与したIDバーコードに基づいて打鍵入力された住所情報が得られる。
次に、文字認識部18について説明する。
図2は、文字認識部18の構成例を示す図である。
図2に示すように、文字認識部18は、画像入力部31、パターン検出部32、類似度算出部33、第1評価値算出部34、第2評価値算出部35、最大値選択部36、認識結果出力部37、類似度蓄積部41、カテゴリ別第1評価値テーブル42、正解分布テーブル43、不正解分布テーブル44、および、事前確率テーブル45などを有している。文字認識部18は、制御部、記憶部および入出力インターフェースなどを有するハードウエア(処理基板)で構成される。すなわち、文字認識部18は、制御部が記憶部に記憶されているプログラムを実行することにより、種々の処理機能を実現するコンピュータと同様な構成を有している。
たとえば、上記画像入力部31、パターン検出部32、類似度算出部33、第1評価値算出部34、第2評価値算出部35、最大値選択部36および認識結果出力部37などは、コンピュータ(処理基板)の制御部が各種のプログラムを実行することにより実現される機能であり、上記類似度蓄積部41、カテゴリ別第1評価値テーブル42、正解分布テーブル43、不正解分布テーブル44および事前確率テーブル45などは、コンピュータ(処理基板)の記憶部により実現される。なお、本実施の形態の文字認識部18では、パターン認識プログラムを実行することにより上記各部の機能を実現するものを想定するが、文字認識部18は、上述した各部の一部あるいは全部をそれぞれハードウエアで構成しても良い。
上記画像入力部31は、文字認識の対象となる画像を入力するためのインターフェースである。上記画像入力部31は、上記スキャナ14により読み取った紙葉類の画像データを入力する。上記パターン検出部32は、入力した画像から入力パターン(認識対象とする文字パターン)の候補を検出する。各カテゴリ(階層)のパターン(単語)候補を検出する。上記パターン検出部32は、たとえば、入力画像から住所情報が記載されているらしい住所領域を切り出し、住所領域から文字行を切り出し、文字行から文字を切り出し、切り出した文字のパターンを入力文字パターンとする。
上記類似度算出部33は、入力された画像から得られた入力パターンと各カテゴリとの類似度を算出する。上記類似度算出部33は、上記パターン検出部32により選出された入力パターン(入力文字パターン)と辞書データベース19に登録されている各カテゴリとしての各文字(辞書文字パターン)との類似度を算出する。上記類似度算出部33は、算出した各カテゴリに対する類似度を類似度蓄積部41に蓄積する。
上記第1評価値算出部34は、各カテゴリに対する第1評価値を算出する。ここでは、上記第1評価値算出部34は、上記類似度算出部33により算出した入力文字パターンの各カテゴリ(辞書文字パターン)に対する類似度を、上記カテゴリ別第1評価値テーブル42を参照して、第1評価値に変換する。
上記第2評価値算出部35は、各カテゴリに対する第2評価値を算出する。ここでは、上記第2評価値算出部35は、事前確率テーブル45から得られる各カテゴリ(辞書文字パターン)に対する事前確率と上記第1評価値算出部34により得られる各カテゴリに対する第1評価値とを乗算することにより、各カテゴリに対する第2評価値を算出する。
上記最大値選択部36は、第2評価値算出部35により算出された各カテゴリに対する第2評価値のうち最大となる第2評価値を選択する。ここでは、上記最大値選択部36は、第2評価値が最大値となるカテゴリとしての辞書文字パターンを選択する。この場合、第2評価値が最大となる文字(辞書文字パターン)が入力文字パターンに対する文字認識結果として得られる。
上記認識結果出力部37は、文字認識部18としての住所情報の認識結果を出力するものである。ここでは、上記認識結果出力部37は、上記最大値選択部36により選択された各文字を総合的に評価することにより紙葉類に対する住所情報の認識結果を出力する。上記文字認識部18は、紙葉類の区分処理に用いる住所情報を認識するものである。このため、認識結果出力部37は、最大値選択部36により選択された文字が当該紙葉類を正しく区分するための住所情報として採用可能であるか否かを判別するようにしても良い。たとえば、認識結果出力部37は、最大値選択部36により最大値として選択されたカテゴリに対する第2評価値が所定の閾値以上か否かにより当該認識結果が正しい認識結果として採用できるか否かを判定するようにしても良いし、最大値選択部36により選択されたカテゴリに対する類似度が所定の閾値以上か否かにより当該認識結果が正しい認識結果として採用できるか否かを判定するようにしても良い。
上記類似度蓄積部41は、上記類似度算出部33により算出された各カテゴリに対する類似度を各紙葉類の識別情報と対応づけて格納するとともに、VCS4により打鍵入力された情報を正解のカテゴリ(正しい住所情報)として紙葉類の識別情報に対応づけて蓄積する。上記類似度蓄積部41に蓄積された情報は、正解分布テーブル43、不正解分布テーブル44および事前確率テーブル45を構築するのに用いられる。
図3は、類似度蓄積部41の構成例を示す図である。
図3に示す例では、類似度蓄積部41には、パターンナンバーで識別される各入力パターンに対して、正解のカテゴリを示す情報、および、各カテゴリ(辞書パターン)の類似度を示す情報が記憶されている。各入力パターンに対する各カテゴリの類似度は、上述した類似度算出部33で算出される値である。従って、類似度算出部33がある入力パターンに対する各カテゴリ(辞書パターン)の類似度を算出するごとに、類似度蓄積部41には、当該入力パターンに対する各カテゴリの類似度を示す情報が蓄積される。さらに、類似度蓄積部41には、入力パターンに対する正解のカテゴリを示す情報も蓄積される。
上記区分機1では、VCS4でオペレータが入力した情報(VCS情報)が入力パターンに対する正解のカテゴリを示すものとする。この場合、各カテゴリの類似度に対応する入力パターンに対して、さらに、正解のカテゴリを示す情報が蓄積される。すなわち、上述した区分機1では、文字認識部18による認識処理を含む区分機本体3内での紙葉類に対する処理後に、VCS4による紙葉類の住所情報の打鍵入力が行われる。このため、類似度蓄積部41は、文字認識部18による文字認識処理(区分機本体3での紙葉類処理)時に入力パターンに対する各カテゴリの類似度が登録され、その後のVCS処理(VCS4での打鍵入力の処理)時にパターンナンバーで識別される各入力パターンに対する正解のカテゴリが登録される。
たとえば、図3に示す例では、パターンナンバー「1」の入力パターンに対して、類似度算出部33で算出した各カテゴリの類似度は、カテゴリAの類似度が「585」、カテゴリBの類似度が「702」、カテゴリCの類似度が「893」であり、VCS4で確定した正解のカテゴリは、カテゴリ「C」であることを示している。
上記のような類似度蓄積部41によれば、各入力パターンに対して、文字認識処理時に得られた各カテゴリの類似度とVCSで確定された正解のカテゴリとが容易に抽出可能となる。
上記カテゴリ別第1評価値テーブル42は、各カテゴリの類似度と第1評価値との関係を示すテーブルである。カテゴリ別第1評価値テーブル42に格納される値は、正解分布テーブル43および不正解分布テーブル44に格納した情報により計算される値である。なお、第1評価値は、後述する式(13)におけるR(Sc|c)、R(Sc’|c’)に相当する。
図4は、カテゴリ別第1評価値テーブル42の構成例を示す図である。図4に示す構成例では、類似度を100刻みで分割した頻度を示しているが、これに限定されるものではなく、カテゴリ別第1評価値テーブル42では、類似度を任意の範囲で分割して頻度を示すようにしても良い。図4に示す例では、たとえば、カテゴリAについて、類似度が1000〜900であった場合の第1評価値が「322」、類似度が900〜800であった場合の第1評価値が「95」、類似度が800〜700であった場合の第1評価値が「2.36」、類似度が700〜600であった場合の第1評価値が「0.21」であることを示している。
正解分布テーブル43は、正解となったカテゴリに対する類似度の分布を示すテーブルである。正解分布テーブル43には、正解となったカテゴリに対する入力パターンの類似度を集計したデータが格納される。たとえば、正解分布テーブル43は、類似度蓄積部41から正解となったカテゴリの類似度を読出し、読み出した類似度をカテゴリごとに集計することにより、カテゴリごとの正解となったパターンに対する類似度の頻度値を示すテーブルとして構築される。なお、正解となった類似度の頻度値は、後述する式(13)におけるP(Sc|c)に対応しており、頻度値を合計値で割ることでP(Sc|c)と同じものとなる。
図5は、正解分布テーブル43の構成例を示す図である。図5に示す構成例では、類似度を100刻みで分割した頻度を示しているが、これに限定されるものではなく、類似度を任意の範囲で分割して頻度を示すようにしても良い。図5に示す例では、たとえば、カテゴリAについて、正解となった数が4414であり、そのうち類似度が1000〜900であった場合が「310」、類似度が900〜800であった場合が「3541」、類似度が800〜700であった場合が「512」、類似度が700〜600であった場合が「51」であることを示している。
不正解分布テーブル44は、不正解となったカテゴリに対する類似度の分布を示すテーブルである。不正解分布テーブル44には、不正解となったカテゴリに対する入力パターンの類似度を集計したデータが格納される。たとえば、不正解分布テーブル44は、類似度蓄積部41から不正解となったカテゴリの類似度を読出し、読み出した類似度をカテゴリごとに集計することにより、カテゴリごとの不正解となったパターンに対する類似度の頻度値を示すテーブルとして構築される。なお、不正解となった類似度の頻度値は、後述する式(13)におけるP(Sc|cの補集合)に対応しており、頻度値を合計値で割ることでP(Sc|cの補集合)と同じものとなる。
図6は、不正解分布テーブル44の構成例を示す図である。図6に示す構成例では、類似度を100刻みで分割した頻度を示しているが、これに限定されるものではなく、類似度を任意の範囲で分割して頻度を示すようにしても良い。図6に示す例では、たとえば、カテゴリAについて、不正解となった数が108722であり、そのうち類似度が1000〜900であった場合が「341」、類似度が900〜800であった場合が「2886」、類似度が800〜700であった場合が「13943」、類似度が700〜600であった場合が「91552」であることを示している。
上記正解分布テーブル43に格納されるデータは、入力パターンの正解カテゴリに対する類似度の頻度値である。このため、上記正解分布テーブルに格納されてるデータに基づいて、入力パターンの正解がカテゴリcであるという条件のもとでカテゴリcに対する類似度がScとなる第1の確率(これをP(Sc|c)とする)が計算できる。
また、上記不正解分布テーブル44に格納されるデータは、入力パターンの正解カテゴリでないカテゴリに対する類似度の頻度値である。このため、上記不正解分布テーブルに格納されているデータに基づいて、入力パターンの正解がカテゴリcでない(不正解である)という条件のもとでカテゴリcに対する類似度がScとなる第2の確率(これをP(Sc|cの補集合)とする)が計算できる。
上記カテゴリ別第1評価値テーブル42に格納されるデータは、各カテゴリの類似度に対する第1評価値である。第1評価値は、後述する式(13)におけるR(Sc|c)、R(Sc’|c’)に相当するものであり、上記第1の確率P(Sc|c)と第2の確率P(Sc|cの補集合)との比して求められる。すなわち、上記カテゴリ別第1評価値テーブル42に格納されるデータ(第1評価値)は、上記正解分布テーブル43および上記不正解分布テーブル44から算出可能となる。
事前確率テーブル45は、各カテゴリの事前確率を示すテーブルである。つまり、事前確率テーブル45には、各カテゴリに対する事前確率が格納されている。
上記のようなパターン認識処理によれば、各カテゴリで正解になった類似度の頻度と不正解になった類似度の頻度とに基づいて、入力パターンの各カテゴリに対する類似度を評価することができ、精度の高いパターン認識を実現することが可能となる。さらに、入力パターンの各カテゴリに対する類似度と入力パターンに対する正解のカテゴリを示す情報とを蓄積し、蓄積した情報に基づいて各カテゴリについて正解になった類似度の頻度と不正解になった類似度の頻度を更新するができ、各類似度を評価するためのデータを学習する機能を容易に実現できる。
次に、上述した事後確率について詳細に説明する。
一般に、事後確率は、ヘイズの定理を用いて以下のように計算される。
Figure 2011065370
ここで、Cは全カテゴリの集合(辞書の全データ)である(例えば、数字辞書であればC={1、2、3、…}、アルファベットであればC={A、B、C、…}、顔認識であればC={Aさん、Bさん、Cさん、…})。パターンの分布を確率密度関数で表そうとする手法なら(例えば、擬似ヘイズ;「F. Kimura, K. Takashina, S. Tsuruoka, and Y.Miyake, “Modified quadratic discriminate functions and the application to Chinese character recognition”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.9, no.1, pp.149-153, 1987」などを参照)、xを特徴ベクトルとした時の尤度P(x|c´)が得られたため、これを用いて式(2)により事後確率が得られる。
しかしながら、部分空間法では、得られるのは各カテゴリの類似度であり、尤度は求まらない。そこで、以下の通り考察する。
xを全認識結果、つまり全カテゴリの類似度を集めたもの(例:x=(Aの類似度800、Bの類似度750、…))とする。求めたいのは、全カテゴリの集合Cに含まれるカテゴリcの事後確率P(c|x)である。ここで、以下に示す数式は、分かりやすくするため、具体的な値を入れた式と交互に並べるものとする。また、具体例としては、アルファベットの文字認識であり、cがアルファベットの“B”であるとする。また、認識結果がx=(Aの類似度800、Bの類似度750、Cの類似度900、…)であるとする。さらに、これをx=(A800、B750、C900、…)と略記する。
Figure 2011065370
ここで、尤度P(A800、B750、C900、…|B)が計算できない。このため、積に分解することを考える。単純に積に分解すると誤差が激しいため、誤差分をKcとして、P(A800、B750、C900、…|B)=KB・P(A800|B、B750|B)P(C900|B)、…として分解する。そして、カテゴリcごとの誤差を同じ値Kであると近似する。
Figure 2011065370
たとえば、式(12)において、分子のP(B)が事前確率を表しており、分子のP(B750|B)が第1の確率(当該カテゴリが当該類似度で正解となる確率)を表しており、分子のP(B750|B)が第2の確率(当該カテゴリが当該類似度で不正解(正解でない)となる確率)を表しており、第1の確率P(B750|B)を第2の確率P(B750|B以外)で除算した値が第1評価値(当該カテゴリに対する第1評価値)を示している。
すなわち、事前確率は、式(13)を用いて計算できる。式(13)は、式(2)と同じ形をしており、式(2)における尤度の部分がR(Sc|c)に置き換わった形をしている。つまり、R()は尤度に比例した値であることが分かる。尤度自体は求まらないが、その比がR()によって求まっていることになる。
上記のように、本パターン認識処理では、認識用の辞書に登録されている複数のカテゴリに対する入力パターンの類似度を算出し、算出した類似度を正解である条件で当該類似度となる確率と正解でないという条件で当該類似度となる確率とから得られる第1評価値に変換し、その第1評価値と事前確率とから第2評価値を算出し、第2評価値が最大となるカテゴリを選択するようにしたものである。これにより、各類似度を過去の認識結果に基づいて評価した値で認識結果を判定でき、効率的に精度の高いパターン認識を実現することが可能となる。
1…区分機、3…区分機本体、4…ビデオコーディングシステム(VCS)、14…スキャナ、17…区分制御部、18…文字認識部、21…画像蓄積分配装置、22…ビデオコーディング端末(VCD)、31…画像入力部、32…パターン検出部、33…類似度算出部、34…第1評価値算出部、35…第2評価値算出部、36…最大値選択部、37…認識結果出力部、41…類似度蓄積部、42…第1評価値テーブル、43…正解分布テーブル、44…不正解分布テーブル、45…事前確率テーブル。

Claims (8)

  1. 入力パターンが複数のカテゴリのうち何れのカテゴリであるか識別するパターン認識方法であって、
    各カテゴリに対して入力パターンとの類似度を算出する類似度算出ステップと、
    前記類似度算出ステップにより算出された各カテゴリに対する入力パターンの類似度を、カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値算出ステップと、
    前記第1評価値算出ステップで得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出ステップと、
    前記第2評価値算出ステップにより算出された第2評価値が最大となるカテゴリを選択する最大値選択ステップと、
    を具備したことを特徴とするパターン認識方法。
  2. 入力パターンが複数の文字のうち何れの文字であるかを識別する文字認識方法であって、
    各文字に対する入力パターンの類似度を算出する類似度算出ステップと、
    前記類似度算出ステップにより算出した各文字に対する類似度を、文字ごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値計算ステップと、
    前記第1評価値計算ステップにより算出した各文字に対する第1評価値と各文字の事前確率を示す第2のテーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算ステップと、
    前記第2評価値計算ステップにより算出した第2評価値が最大となる文字を選択する最大値選択ステップと、
    を具備したことを特徴とする文字認識方法。
  3. 前記第1のテーブルは、入力パターンが当該文字であるという条件のもとで当該類似度となる確率と入力パターンが当該文字でないという条件のもとで当該類似度となる確率との比である、
    ことを特徴とする前記請求項2に記載の文字認識方法。
  4. さらに、前記類似度算出ステップにより算出された各カテゴリの類似度と入力パターンに対する正解の文字を示す情報とを関連付けて蓄積する蓄積ステップと、
    前記蓄積ステップにより蓄積した情報に基づいて前記第1のテーブルを更新する更新ステップと、
    を具備したことを特徴とする前記請求項2又は3に記載の文字認識方法。
  5. コンピュータに入力パターンが複数のカテゴリの何れのカテゴリであるかを識別させるためのパターン認識プログラムであって、
    各カテゴリに対して入力パターンとの類似度を算出する類似度算出機能と、
    前記類似度算出機能により算出された各カテゴリに対する入力パターンの類似度を、カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値算出機能と、
    前記第1評価値算出機能で得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出機能と、
    前記第2評価値算出機能により算出された第2評価値が最大となるカテゴリを選択する最大値選択機能と、
    をコンピュータに実現させるためのパターン認識プログラム。
  6. コンピュータに入力パターンが複数の文字のうち何れの文字であるかを識別させるための文字認識プログラムであって、
    各文字に対する入力パターンの類似度を算出する類似度算出機能と、
    前記類似度算出機能により算出した各文字に対する類似度を、文字ごとの類似度と第1評価値との関係を示す第1のテーブルに基づいて、第1評価値に変換する第1評価値計算機能と、
    前記第1評価値計算機能により算出した各文字に対する第1評価値と各文字の事前確率を示す第2のテーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算機能と、
    前記第2評価値計算機能により算出した第2評価値が最大となる文字を選択する最大値選択機能と、
    をコンピュータに実現させるための文字認識プログラム。
  7. 入力パターンが複数のカテゴリのうち何れのカテゴリであるかを識別するパターン認識装置であって、
    各カテゴリに対して入力パターンとの類似度を算出する類似度算出手段と、
    カテゴリごとの類似度と第1評価値との関係を示す第1のテーブルと、
    前記類似度算出手段により算出された各カテゴリに対する入力パターンの類似度を前記第1のテーブルで示される関係に基づいて第1評価値に変換する第1評価値算出手段と、
    前記第1評価値算出手段で得られた各カテゴリに対する第1評価値と各カテゴリの事前確率を示す第2のテーブルに格納されているカテゴリごとの事前確率とにより第2評価値を算出する第2評価値算出手段と、
    前記第2評価値算出手段により算出された第2評価値が最大となるカテゴリを選択する最大値選択手段と、
    を具備したことを特徴とするパターン認識装置。
  8. 入力パターンが複数の文字のうち何れの文字であるかを識別する文字認識装置であって、
    各文字に対する入力パターンの類似度を算出する類似度算出手段と、
    文字ごとの類似度と第1評価値との関係を示す第1のテーブルと、
    前記類似度算出手段により算出した各文字に対する類似度を前記第1のテーブルで示される関係に基づいて、第1評価値に変換する第1評価値計算手段と、
    前記第1評価値計算手段により算出した各文字に対する第1評価値と各文字の事前確率を示す第2のテーブルに格納されている各文字の事前確率とにより第2評価値を算出する第2評価値計算手段と、
    前記第2評価値計算手段により算出した第2評価値が最大となる文字を選択する最大値選択手段と、
    を具備したことを特徴とする文字認識装置。
JP2009214811A 2009-09-16 2009-09-16 パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置 Expired - Fee Related JP5546819B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009214811A JP5546819B2 (ja) 2009-09-16 2009-09-16 パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置
EP10008674.3A EP2299385B1 (en) 2009-09-16 2010-08-19 Pattern recognition method, character recognition method, pattern recognition apparatus, and character recognition apparatus
US12/869,902 US8457413B2 (en) 2009-09-16 2010-08-27 Pattern recognition method, character recognition method, pattern recognition apparatus, and character recognition apparatus
KR1020100083906A KR101145967B1 (ko) 2009-09-16 2010-08-30 패턴 인식 방법, 문자 인식 방법, 패턴 인식 장치 및 문자 인식 장치
CN201010269401.9A CN102024150A (zh) 2009-09-16 2010-08-31 图形识别方法及图形识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009214811A JP5546819B2 (ja) 2009-09-16 2009-09-16 パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置

Publications (2)

Publication Number Publication Date
JP2011065370A true JP2011065370A (ja) 2011-03-31
JP5546819B2 JP5546819B2 (ja) 2014-07-09

Family

ID=43014492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009214811A Expired - Fee Related JP5546819B2 (ja) 2009-09-16 2009-09-16 パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置

Country Status (5)

Country Link
US (1) US8457413B2 (ja)
EP (1) EP2299385B1 (ja)
JP (1) JP5546819B2 (ja)
KR (1) KR101145967B1 (ja)
CN (1) CN102024150A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
US10606883B2 (en) 2014-05-15 2020-03-31 Evolv Technology Solutions, Inc. Selection of initial document collection for visual interactive search
US10102277B2 (en) * 2014-05-15 2018-10-16 Sentient Technologies (Barbados) Limited Bayesian visual interactive search
US20150331908A1 (en) 2014-05-15 2015-11-19 Genetic Finance (Barbados) Limited Visual interactive search
JP6390501B2 (ja) * 2015-04-15 2018-09-19 京セラドキュメントソリューションズ株式会社 学習支援装置および学習支援方法
US10909459B2 (en) 2016-06-09 2021-02-02 Cognizant Technology Solutions U.S. Corporation Content embedding using deep metric learning algorithms
JP6545740B2 (ja) * 2017-03-08 2019-07-17 株式会社東芝 生成装置、プログラム、認識システムおよび生成方法
US10755142B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10755144B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
CN110647648B (zh) * 2019-09-19 2022-09-20 广东小天才科技有限公司 纸质书本的页码识别方法、装置、家教机及存储介质
CN111625636B (zh) * 2020-05-28 2023-08-04 深圳追一科技有限公司 一种人机对话的拒绝识别方法、装置、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59219799A (ja) * 1983-05-28 1984-12-11 株式会社東芝 音声認識装置
JPS63225300A (ja) * 1987-03-16 1988-09-20 株式会社東芝 パタ−ン認識装置
JPH01251100A (ja) * 1988-03-31 1989-10-06 Toshiba Corp パターン認識装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5315689A (en) * 1988-05-27 1994-05-24 Kabushiki Kaisha Toshiba Speech recognition system having word-based and phoneme-based recognition means
US6205261B1 (en) * 1998-02-05 2001-03-20 At&T Corp. Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
JP3868716B2 (ja) 2000-05-25 2007-01-17 株式会社東芝 紙葉類処理装置
JP2008280139A (ja) 2007-05-10 2008-11-20 Toshiba Corp 紙葉類分離取り出し装置、およびその制御方法
KR100925479B1 (ko) * 2007-09-19 2009-11-06 한국전자통신연구원 음성 인식 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59219799A (ja) * 1983-05-28 1984-12-11 株式会社東芝 音声認識装置
JPS63225300A (ja) * 1987-03-16 1988-09-20 株式会社東芝 パタ−ン認識装置
JPH01251100A (ja) * 1988-03-31 1989-10-06 Toshiba Corp パターン認識装置

Also Published As

Publication number Publication date
KR20110030309A (ko) 2011-03-23
KR101145967B1 (ko) 2012-05-15
EP2299385A1 (en) 2011-03-23
JP5546819B2 (ja) 2014-07-09
US8457413B2 (en) 2013-06-04
EP2299385B1 (en) 2015-10-28
US20110064316A1 (en) 2011-03-17
CN102024150A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
JP5546819B2 (ja) パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置
US10963685B2 (en) Generating variations of a known shred
JP4568774B2 (ja) 手書き文字認識で使用されるテンプレートを生成する方法
EP0696013B1 (en) System and method for automated interpretation of input expressions using novel a posteriori probability measures and optimally trained information processing networks
US20170076152A1 (en) Determining a text string based on visual features of a shred
US20120070073A1 (en) Searching document images
EP2138959B1 (en) Word recognizing method and word recognizing program
CN113033271A (zh) 利用人工智能模块学习脸部辨识的处理方法
JP2016201013A (ja) 文字認識装置、文字認識処理システム、およびプログラム
US20090252417A1 (en) Unsupervised writer style adaptation for handwritten word spotting
JP5357711B2 (ja) 文書処理装置
Chiney et al. Handwritten data digitization using an anchor based multi-channel CNN (MCCNN) trained on a hybrid dataset (h-EH)
US20140093173A1 (en) Classifying a string formed from hand-written characters
CN115017906A (zh) 一种针对文本中实体的识别方法、装置及存储介质
CN115039144A (zh) 手写中的数学检测
Chen et al. Extract protein-protein interactions from the literature using support vector machines with feature selection
JP6511942B2 (ja) 情報処理装置および情報処理プログラム
CN112632994B (zh) 基于文本信息确定基本属性特征的方法、装置及设备
JP5767913B2 (ja) 単語認識装置、単語認識方法、及び単語認識装置を備える紙葉類処理装置
Akshat et al. A Comparative Analysis of Various Machine Learning Algorithms for Handwritten Digit Recognition
Koushik et al. Equation Detection in the Camera Captured Handwritten Document
Dat An Approach to Extract Information from Academic Transcripts of HUST
CN115481627A (zh) 一种化学反应信息提取方法、系统、存储介质以及设备
JP5679936B2 (ja) 単語認識装置、単語認識方法、及び単語認識装置を備える紙葉類処理装置
CN117095415A (zh) 文本结构化识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

R151 Written notification of patent or utility model registration

Ref document number: 5546819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees