JP2010257339A - 文字識別プログラム、文字識別装置 - Google Patents

文字識別プログラム、文字識別装置 Download PDF

Info

Publication number
JP2010257339A
JP2010257339A JP2009108380A JP2009108380A JP2010257339A JP 2010257339 A JP2010257339 A JP 2010257339A JP 2009108380 A JP2009108380 A JP 2009108380A JP 2009108380 A JP2009108380 A JP 2009108380A JP 2010257339 A JP2010257339 A JP 2010257339A
Authority
JP
Japan
Prior art keywords
character
distribution
category
common
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009108380A
Other languages
English (en)
Other versions
JP5240049B2 (ja
Inventor
Hiroaki Takebe
浩明 武部
Yoshinobu Hotta
悦伸 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009108380A priority Critical patent/JP5240049B2/ja
Publication of JP2010257339A publication Critical patent/JP2010257339A/ja
Application granted granted Critical
Publication of JP5240049B2 publication Critical patent/JP5240049B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

【課題】類似文字における特徴の差異を高精度に識別すること。
【解決手段】文字識別プログラムが、任意の文字を、互いに類似する文字カテゴリ(例えば、文字カテゴリA、文字カテゴリB)のどちらに属するかを識別する際に、文字カテゴリA、文字カテゴリBに共通する情報を特徴空間上の共通分布として求め、求めた共通分布を各文字カテゴリが示す分布に対し、畳み込み積分を行う。そして、畳み込んだ分布に基づき、固有値、固有ベクトルをカテゴリごとに新たに算出し、擬似ベイズ識別を行う。
【選択図】図1

Description

本発明は、文字識別プログラム、文字識別装置に関し、例えば、類似する文字を高精度に認識する文字識別プログラム、文字識別装置に関する。
一般に、イメージスキャナーで取り込まれる文書に含まれる文字をテキストデータに変換する手法として光学文字認識(以下、OCR:Optical Character Recognitionとする)が広く知られている。
OCRでは、文字認識を高精度に認識することが求められ、特に、類似文字を高精度に識別することが求められている。この類似文字とは、例えば、「犬」と「大」が挙げられ、「犬」と認識すべき文字を「大」と認識すると誤読となってしまう。
この類似文字を識別する方式の一例として、マハラノビス距離や投影距離法と、各類似文字が示す特徴の差異とを用いることで、任意の文字が与えられた場合に、どちらの類似文字に類似するかを判定する混合識別方式がある。
上述した「類似文字の特徴の差異」とは、各類似文字の文字カテゴリから抽出される情報に基づいて求められる。この「文字カテゴリ」とは、ある所定の文字における、文字のゆらぎ、文字線の傾き、文字面積等をパラメーターとする特徴ベクトルを用いて定義される。
一般に、特徴ベクトルは、特徴空間上に示されることから、上述した「文字カテゴリ」は、特徴空間上の分布として示されることになる。これを文字カテゴリ分布と呼ぶことにする。なお、文字のゆらぎ、文字線の傾き、文字面積等といったパラメーターを便宜的に「特徴量」とする。
続いて、上述した混合識別方式について具体的に説明する。図12は、従来の混合識別方式を説明するための図である。上述したように、特徴空間は、高次元で定義されるが、図12の特徴空間10は、説明の便宜上、例えば、文字線の傾きで定義される特徴量と、文字面積で定義される特徴量とで定義される次元にて表すものとする。
まず、図12の文字カテゴリ分布Aと文字カテゴリ分布B(以下、単に、カテゴリ分布A、Bとする)について説明する。このカテゴリ分布Aは、文字線の傾きや文字面積等が異なる同意の文字が集まったカテゴリ分布を示す。そして、カテゴリ分布Bについても同様とする。なお、「同意の文字」とは、同じ文字でフォントやポイントが異なるもの、あるいは、スキャナ読み取りをした画像で、同じ文字であるものの読み取り誤差やごみの有無などから画像として違いのある文字を示す。
また、カテゴリAとカテゴリBは互いに類似し、例えば、カテゴリAが「犬(いぬ)」を示す場合、カテゴリBは「大(だい)」を示す。さらに、カテゴリAが「烏(からす)」を示す場合、カテゴリBは「鳥(とり)」を示す。
そして、任意の文字が入力された場合、入力された文字が、カテゴリAに属するのか、もしくは、カテゴリBに属するのかを識別する類似文字識別を行う。
このように、任意の文字を、互いに類似する文字カテゴリのどちらに属するかを識別することを「類似文字識別」として、以下説明する。
この「類似文字識別」が行われる場合に、例えば、原関数をマハラノビス距離で定義し、上述した類似文字が示す特徴の差異を補正項として加えた混合識別関数を用いて行われる。この補正項の算出について、以下説明する。
まず、類似文字の特徴の差異をカテゴリAとカテゴリBの各平均ベクトル(a、b)からなる差分ベクトルとして捉え、識別対象となる任意の文字:入力パターンpが与えられたとする。
この場合、入力パターンpから差分ベクトルに射影した値:p1を求める。そして、p1と各文字カテゴリの平均ベクトルから求められるm1、m2が、カテゴリA、カテゴリBの識別関数に対する補正項となる。
そして、図12に示した混合識別関数の補正項をm1とした混合識別関数により、カテゴリAと入力パターンpとの識別関数値:f(p)を求め、同様に、補正項をm2とした混合識別関数により、カテゴリBと入力パターンpとの識別関数値:f(p)を求める。
そして、算出した各識別関数値に基づいて、入力パターンpがカテゴリA、カテゴリBのどちらに属するのかを識別し、入力パターンpの属するカテゴリが定められる。これは、入力パターンpに対し、類似文字の特徴の差異を用いた識別を行ったことに相当する。
なお、類似文字の特徴の差異を用いた識別の一例として、差分ベクトルに加えて、強調ベクトルを用いて類似文字の識別を行う方法がある。この強調ベクトルとは、入力パターンの値と、類似文字の識別境界面における法線方向のベクトルとからなるベクトルを示す(例えば、特許文献1参照)。
特開2002−183664号公報
しかしながら、上述した従来の技術では、類似文字の特徴の差異を高精度に識別することができないという問題があった。
例えば、図12に示した例では、カテゴリAとカテゴリBの各平均ベクトルからなる差分ベクトルを用いて類似文字の特徴の差異を算出したが、類似文字の特徴の差異は、特徴空間上に広がっており、差分ベクトル以外のベクトルで示される他の情報が特徴空間上に存在している。
したがって、差分ベクトルを用いて、類似文字の特徴の差異を算出しても、差分ベクトル以外のベクトルで示される他の情報が使用されていない。その結果、識別に必要な他の情報が不足しているため、類似文字を高精度に認識するには限界がある。
開示の技術は、上記に鑑みてなされたものであって、類似文字カテゴリ間の差異を高精度に識別する文字識別プログラム、文字識別装置を提供することを目的とする。
本願の開示する文字識別プログラムは、特徴空間上において、形状が異なり同意の文字を含む文字カテゴリを、対比する文字ごとに特定し、各文字カテゴリに共通する情報を共通分布として求める共通分布処理手順と、前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正手順と、識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正手順により修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別手順とをコンピュータに実行させる。
本願の開示する文字識別プログラムによれば、類似文字カテゴリ間の差異を高精度に識別するという効果を奏する。
図1は、実施例の概要を説明するための図である。 図2は、実施例1に係る文字識別装置を示す図である。 図3は、類似文字テーブルのデータ構造の一例を説明するための図である。 図4は、文字認識辞書のデータ構造の一例を説明するための図である。 図5は、類似文字の識別処理を説明するための図である。 図6は、実施例1に係る文字識別装置の処理を示すフローチャートである。 図7は、実施例2に係る文字識別装置を示す図である。 図8は、類似文字認識辞書のデータ構造の一例を示す図である。 図9は、インターフェースの一例を示す図である。 図10は、実施例2に係る文字識別装置の処理を示すフローチャートである。 図11は、実施例1に係る文字識別装置を構成するコンピュータのハードウェア構成を示す図である。 図12は、従来の混合識別方式を説明するための図である。
以下に、本願の開示する文字識別プログラム、文字識別装置の実施例を図面に基づいて説明する。なお、この実施例によりこの発明が限定されるものではない。
まず、本実施例1に係る文字識別装置の概要について説明する。実施例1に係る文字識別装置は、最初に認識対象となる任意の文字を含む画像データが与えられ、この任意の文字が、文字カテゴリAに属するのか、それとも、文字カテゴリBに属するのか判定を行い、任意の文字に対する識別を行う。なお、文字カテゴリAと文字カテゴリBは、互いに類似するものとする。
このように、任意の文字を、互いに類似する文字カテゴリのどちらに属するかを識別することを「類似文字識別」として以下説明する。
この「類似文字識別」を行う際、実施例1に示す文字識別装置は、互いに類似する文字カテゴリ間に共通する情報を特徴空間上の共通分布として求め、求めた共通分布を各類似文字が示す分布に対し、畳み込み積分を行い、畳み込んだ分布を用いて、識別を行う。以下、具体的に図を用いて説明する。
図1は、実施例の概要を説明するための図である。図1に示した例では、任意の入力パターンpが、図12に示した特徴空間10上に与えられ、混合識別関数を用いて、カテゴリAもしくはBのどちらに類似するかの識別を行う。
なお、カテゴリA、Bは、従来技術にて説明した文字カテゴリを示すものとし、ある所定の文字における、文字のゆらぎ、文字線の傾き、文字面積等をパラメーターとする特徴ベクトルを用いて定義される。
一般に、この特徴ベクトルは、特徴空間上に示されることから、上述した「文字カテゴリ」は、特徴ベクトルで定義される特徴空間上の分布として示される。これを文字カテゴリ分布と呼ぶことにする。なお、文字のゆらぎ、文字線の傾き、文字面積等といったパラメーターを便宜的に「特徴量」とする。
まず、各類似文字カテゴリが示す特徴空間上の分布から共通する形状の共通分布50を入力パターンpの値に関らず求める(ステップS10)。なお、共通分布50内の「c」は、カテゴリAとカテゴリBの平均ベクトルが重なっているベクトルを示す。
そして、入力パターンpをガウス分布の広がりとして捉えた場合に、ステップS10で求めた共通分布50を用いて、入力パターンpの分布を仮定する(ステップS20)。
そして、共通分布50をカテゴリAとカテゴリBが示す各分布に対して、カテゴリごとに畳み込み積分を行うことで、カテゴリAの分布と、カテゴリBの分布を共通分布50により変形させる(ステップS30)。
以上のステップS10〜ステップS30は、入力パターンpのベクトル周辺に共通分布50を仮定することにより、入力パターンpの分布形状を考慮した識別を行うことになる。つまり、入力パターンpの各特徴量を十分に考慮した識別を行うことに相当する。
そして、入力パターンpが示す分布として仮定された共通分布50と、カテゴリA、カテゴリBが示す各分布とを正規分布と仮定した場合、カテゴリA、カテゴリBが示す分布に対し、共通分布50を用いた畳み込み積分を行う。
これは、共通分布50をガウス分布として捉えた場合に、広がりの大きい方向に対しては、各類似文字カテゴリ間の差異が現れにくく、広がりの小さい方向は各類似文字カテゴリの差異が現れやすいと考え、広がりが小さい方向を重視することになる。したがって、各類似文字の特徴を重視した識別を導くことになる。
そして、共通分布50を用いて変形させたカテゴリAの分布に基づいて、カテゴリAに対する混合識別関数(例えば、混合識別関数Aとする)が求まり、この混合識別関数Aから識別関数値Aが算出される。
一方、共通分布50を用いて変形させたカテゴリBの分布に基づいて、カテゴリBに対する混合識別関数(例えば、混合識別関数Bとする)が求まり、この混合識別関数Bから識別関数値Bが算出される。
そして、識別関数値A、識別関数値Bに基づいて、入力パターンpの識別を行う。図1に示した例では、カテゴリAと入力パターンpとの識別関数値は「0.6」となり、カテゴリBと入力パターンpとの識別関数値は「0.4」となる。
そして、上述したように、広がりが小さい方向を重視した識別を行っていることから、算出された識別関数値が小さい方が、類似度が高く、入力パターンpは、カテゴリBに類似することになる。
このように、任意に与えられた入力文字を共通分布として捉え、その共通分布を類似文字が示す特徴空間上の分布に対し、類似文字ごとに畳み込み積分を行い、畳み込んだ分布を用いて、識別を行うことで、類似文字の差異を高精度に識別することができる。
次に、実施例1に係る文字識別装置の構成について説明する。実施例1に示す文字識別装置100は、類似文字を識別する際、類似文字間における共通分布を求め、求めた共通分布を各類似文字が示す特徴空間上の分布に対し、畳み込み積分を行う。
さらに、畳み込み積分にて算出した値から固有値、固有ベクトルを算出し、算出した固有値、固有ベクトルにより、擬似ベイズ識別を行う。具体的に図を用いて説明する。図2は、実施例1に係る文字識別装置を示す図である。
図2に示した文字識別装置100は、画像入力部101と、処理部102と、認識結果出力部103とを有する。画像入力部101は、文字データを含む文字画像を光学的に読取る入力装置で、画像入力部101が読込んだ文字画像は、処理部102に出力される。
なお、上述した文字画像に含まれる文字データは、例えば、図1に示した入力パターンpに相当するものとする。
処理部102は、画像入力部101から入力された文字画像に対し、従来技術を用いて文字認識を行い、取得した認識結果に対して、さらに、上述した「類似文字識別」を行う処理部で、類似文字テーブル102aと、文字認識辞書102bと、文字認識処理部102cとを有する。
類似文字テーブル102aは、類似文字のリストを記憶するテーブルで、所定の文字に対する類似文字が記憶されている。図3は、類似文字テーブルのデータ構造の一例を示す図である。
図3に示したID:0は、文字カテゴリ「鳥(とり)」を示し、この「鳥」に対応する類似文字数は「1」で、対応する類似文字カテゴリは「烏(からす)」となる。以下、文字カテゴリ「乎」に対応する類似文字カテゴリは「平」となり、「ぱ」には「ば」が対応し、「大」には、「犬」と「太」とが対応する。
そして、上述した類似文字カテゴリが有する類似文字数についても、文字カテゴリに対応する類似文字数と対称的に有する。例えば、「烏(からす)」に類似した文字の個数は1個であり、それは「鳥(とり)」であることが記憶されている。
また、「犬(いぬ)」に類似した文字の個数は2個であり、それは「大(だい)」と「太(ふと)い」であることが記憶されている。
図2の説明に戻り、文字認識辞書102bについて説明する。文字認識辞書102bは、各文字カテゴリの平均ベクトルと、各文字カテゴリに対応する固有値と固有ベクトルを記憶するテーブルである。具体的に図を用いて説明する。
図4は、文字認識辞書のデータ構造の一例を説明するための図である。図4の文字認識辞書102bは、各類似文字が有する「平均ベクトル」、「固有値」、「固有ベクトル」
を記憶している。
そして、図1に示したカテゴリA、Bを例に挙げると、カテゴリAに対応する平均ベクトル「a」、カテゴリAの分布に対応する固有値「k1」、固有ベクトル「x1」が記憶されている。
一方、カテゴリBについては、カテゴリBに対応する平均ベクトル「b」、カテゴリBの分布に対応する固有値「k2」、固有ベクトル「x2」が記憶されている。
次に、図2の説明に戻り、文字認識処理部102cについて説明する。文字認識処理部102cは、入力された文字画像に含まれる文字を認識し、取得した認識結果に対し、類似文字識別を行う処理部である。
まず、入力された文字画像(例えば、入力パターンpを含むものとする)に対して、従来技術を用いた文字認識処理を行い、この入力パターンpに対する複数の文字認識候補(以下、単に文字候補とする)を取得する。
そして、取得した複数の文字候補において、第1位の文字候補が類似文字テーブル102aに登録されているか否かを判定し、判定結果により、第1位の文字候補が類似文字テーブル102aに登録されていない場合は、第1位の文字候補を入力パターンpの文字認識結果とする。
一方、第1位の文字候補が類似文字テーブル102aに登録されている場合は、第2位から第N位までに含まれる文字候補の文字であって、上述した第1位の文字候補に類似する文字が、類似文字テーブル102aに含まれているか否かを判定する。
そして、判定結果により、第1位の文字候補に類似する文字が類似文字テーブル102aに登録されていない場合、第1位の文字候補を入力パターンpの文字認識結果として出力する。
一方、第1位の文字候補に類似する文字が、類似文字テーブル102aに登録されている場合、第2位から第N位までに含まれる文字候補において、一番上位の文字候補を選択し、選択した文字候補と第1位の文字候補との類似文字識別判定を行う。
上述した文字認識処理部102cの処理について具体的に例を挙げて説明する。例えば、入力パターンpから、「猫(ねこ)」を入力パターンpの第1位の文字候補として取得した場合、取得した「猫(ねこ)」を類似文字テーブル102aから検索する。
そして、検索結果より、「猫(ねこ)」が、類似文字テーブル102aに登録されていない場合、文字認識処理部102cは、「猫(ねこ)」を入力パターンpの文字認識結果とする。
一方、「猫(ねこ)」が、類似文字テーブル102aに登録されている場合、入力パターンpに対する第2位から第N位の文字候補を参照し、第1位候補「猫(ねこ)」に類似する文字が類似文字テーブル102aに登録されているか判定を行う。
そして、判定結果により、第1位候補「猫(ねこ)」に類似する文字が登録されていない場合、第1位候補「猫(ねこ)」を入力パターンpの文字認識結果とする。
一方、第2位から第N位の文字候補の中に、第2位の文字候補として、「描(えが)く」、第6位の文字候補として、「錨(いかり)」を取得した場合において、取得した「描(えが)く」と「錨(いかり)」が類似文字テーブル102aに登録されている場合、以下に示す類似文字識別を行う。
この場合、第2位から第N位の中で、一番の上位候補である第2位の文字候補「描(えが)く」と、第1位候補「猫(ねこ)」に関する類似文字識別を行う。処理の結果、入力パターンpが、第1位候補「猫(ねこ)」との類似度が高ければ、第1位候補「猫(ねこ)」を入力パターンpの文字認識結果とする。
一方、第2位の文字候補「描(えが)く」との類似度が高ければ、第2位の文字候補「描(えが)く」を入力パターンpの文字認識結果とする。
なお、「猫(ねこ)」もしくは「描(えが)く」のいずれかを文字認識結果としても、第6位の文字候補「錨(いかり)」についての類似文字の識別は実施されず、「錨(いかり)」が、第2位の文字候補である場合において、第1位候補「猫(ねこ)」との類似文字識別を行う。
次に、上述した類似文字識別について図を用いて説明する。図5は、類似文字の識別処理を説明するための図である。なお、任意の入力パターンpが与えられた場合に、文字カテゴリA、文字カテゴリBのどちらに類似するかを識別する場合について説明する。
まず、文字認識処理部102cが類似文字識別を行う際、カテゴリAとカテゴリBの共通分布Σを算出する(ステップS50)。この共通分布Σを求める一例として、単純平均の方法を用いて求める場合を例に挙げて説明する。
カテゴリAの共分散行列をCとし、カテゴリBの共分散行列をCとした場合、CとCの和として共分散行列の和:Cを求める。そして、求めたCから、上位n個の固有値と固有ベクトルを算出する。
そして、算出した固有値と固有ベクトルから射影行列:Pを求めることにより、カテゴリAとカテゴリBの共通分布Σに対応する共分散行列とする。なお、これまで上述した単純平均の方法の他に以下に示す「共通化操作」によっても共通分布Σが求められ、この共通化操作の詳細については後述する。
次に、入力パターンpが示すベクトルの周辺にステップS50にて求めた共通分布Σを仮定し、この共通分布Σを用いて、カテゴリAとカテゴリBが示す各分布に対し、畳み込み積分を行い、各カテゴリ分布の変形を計算する(ステップS51)。
例えば、入力パターンpの特徴ベクトルをxとすると、特徴空間上の点xに関し、このxを中心とする共通分布Dを密度関数とするカテゴリCの2次識別関数の期待値を識別関数値とする。
この場合において、通常の2次識別関数を以下の式(1)で定義した場合、この式(1)から、さらに以下に示す式(2)が求められる。
Figure 2010257339
Figure 2010257339
式(2)において、mは、カテゴリCの平均ベクトルを示し、Σは、カテゴリCの共分散行列を示し、Σは、共通分布Dの共分散行列を示す。これは、通常の2次識別関数において、ΣをΣ+Σに置き換えたものに相当する。
そして、文字認識処理部102cは、式(2)に基づいて、共通分布Σが示す共分散行列と、カテゴリAの分布が示す共分散行列との和を計算し、固有値・固有ベクトルを新たに算出する。
一方、文字認識処理部102cは、カテゴリBに対してもカテゴリAと同様に、式(2)を用いて、カテゴリBの分布が示す共分散行列と共通分布Σが示す共分散行列との和を計算し、固有値・固有ベクトルを新たに計算する。
次に、文字認識処理部102cは、ステップS51で求めた固有値・固有ベクトルに基づき、カテゴリA、カテゴリBとの擬似ベイズ識別から入力パターンpが、カテゴリAもしくはカテゴリBのどちらに類似するかの判定を行い、判定結果を認識結果出力部103に入力する(ステップS52)。
例えば、図1に示したように、カテゴリAに対応する識別関数値Aが「0.6」で、カテゴリBに対応する識別関数値Aが「0.4」の場合、算出された識別関数値が小さい方が、類似度が高いことから、入力パターンpは、カテゴリBに類似することになる。
このように、入力パターンpは、特徴空間上でひとつのベクトルとして考えられるが、入力パターンのベクトル周辺に共通分布を仮定することにより、カテゴリAとカテゴリBが示す各分布の形状に基づいた識別を行うことになる。
そして、入力パターンpの共通分布と、カテゴリAとカテゴリBが示す各分布の形状を正規分布と仮定し、各カテゴリ分布の2次識別関数を共通分布による畳み込み積分をカテゴリごとに行う。
これは、カテゴリAに対し、畳み込み積分を行って得られる関数は、共通分布が示す共分散行列とカテゴリAが示す共分散行列との和に置き換えた2次識別関数に相当する。
一方、カテゴリBに対し、畳み込み積分を行って得られる関数は、共通分布が示す共分散行列とカテゴリBが示す共分散行列との和に置き換えた2次識別関数に相当する。
次に、図2の説明に戻り、認識結果出力部103について説明する。認識結果出力部103は、処理部102が行う類似文字識別に基づいて、文字認識結果を出力する処理部である。
なお、上述してきたように、共通分布を求める一例として、単純平均の方法を用いて求める場合を例に挙げて説明したが、以下に示す「共通化操作」によっても共通分布が算出される。
単純平均の方法を用いて共通分布を算出した場合、類似文字カテゴリAと類似文字カテゴリBが与えられたとき、カテゴリAとカテゴリBに共通する変形(共通分布)は、カテゴリAの共分散行列とカテゴリBの共分散行列の和を求め、上位n個の固有値と固有ベクトルを算出する。
しかし、上位n個の固有値と固有ベクトルには、類似文字カテゴリ間の差異が含まれている場合があるので、類似文字カテゴリ間の差異が含まれない共通分布を得る方法の一例として、他方の分布に含まれない成分をカットする方法がある。
例えば、入力パターンpが、カテゴリA側に対して、極端な広がりを持っていた場合、単純平均方法で算出した共通分布は、カテゴリA側の寄与の影響を受けた共通分布となってしまう。
したがって、類似文字カテゴリ間の差異が含まれないような共通分布を算出する方法として、共通化操作がある。具体的には、他方の分布に含まれない成分をカットすることで、より正確な共通分布が算出される。以下、共通化操作について詳細に説明する。
まず、カテゴリAの分布に対して、カテゴリBの分布を用いた共通化変換を行う。この際、カテゴリAの共分散行列をC、カテゴリBの共分散行列をCとした場合、まず、Cから固有値・固有ベクトルに基づく変換行列TCAを算出する。
そして、固有値・固有ベクトルに基づく変換行列Tを求める。この場合、共分散行列Cの固有値をλ(i=1、2・・・、k(?n))、固有ベクトルをΦ(i=1、2・・・、k(?n))としたときに、Φk+1・・・ΦをΦ(i=1,2・・・、k(?n))と正規直交基底になるようにとると、変換行列Tは以下の式(3)で表される。
Figure 2010257339
そして、以下の式(4)を用いて、カテゴリBの分布のうち、カテゴリAの分布に共通する部分を取り出す。
Figure 2010257339
次に、カテゴリBの分布に対して、カテゴリAの分布を用いた共通化変換を行う。この場合、カテゴリAにて説明した同様の処理を行うことで、以下の式(5)にて表される。
Figure 2010257339
そして、式(4)に示したC´と、式(5)に示したC´に基づいて、C´+C´の上位n個の固有値と固有ベクトルを算出する。そして、算出された固有値、固有ベクトルを用いて、共通分布が算出される。
次に、実施例1に示した文字識別装置100の処理について説明する。図6は、実施例1に係る文字識別装置の処理を示すフローチャートである。
まず、文字識別装置100が文字画像を取得し、取得した文字画像(例えば、入力パターンpを含むものとする)に対して通常の文字認識処理を行う(ステップS100)。そして、入力パターンpに対する複数の文字認識候補を取得する(ステップS101)。
そして、複数の文字候補の中で、第1位の文字候補が類似文字テーブル102aに登録されているか否かを判定し、判定結果により、第1位の文字候補が登録されていない場合(ステップS102、No)は、第1位の文字候補を文字認識の結果とする。
一方、第1位の文字候補が類似文字テーブル102aに登録されている場合(ステップS102、Yes)は、ステップS101で取得した第2位から第n位までの文字候補の中に、第1位の文字候補に類似する文字が類似文字テーブル102aに登録されているか否かを判定する(ステップS103)。
判定結果により、類似文字テーブル102aに第1位の文字候補の類似する文字が登録されていない場合(ステップS104、No)、第n+1位に登録されている文字候補を取得する(ステップS105)。
そして、ステップS101にて取得した全ての候補文字に対して処理を行っている場合(ステップS106、No)、第1位の文字候補を認識結果として出力する。
一方、ステップS101にて取得した全ての候補文字に対して処理を行っていない場合(ステップS106、Yes)、ステップS104に移行する。
また、ステップS103の判定結果により、第2位から第N位までに含まれる文字候補の文字であって、上述した第1位の文字候補に類似する文字が、類似文字テーブル102aに登録されている場合(ステップS104、Yes)、第2位から第N位までに含まれる文字候補で一番上位候補の文字と、第1位の文字候補との類似文字識別を行う(ステップS107)。
このフローチャートによれば、文字識別装置100が、「鳥(からす)」や「鳥(とり)」といった類似文字が示す特徴の差異を、特徴空間上にて取得することで、各類似文字を高精度に識別できる。
次に、実施例2に示す文字識別装置について説明する。図7は、実施例2に係る文字識別装置を示す図である。図7に示した文字識別装置200は、ユーザが指定する類似文字に基づき、類似文字識別を行う文字識別装置である。
この「類似文字識別」とは、実施例1で示したように、任意の文字を、互いに類似する文字カテゴリのどちらかに属するかを識別することを示す。
そして、文字識別装置200は、画像入力部201と、処理部202と、認識結果出力部203と、インターフェース204とを有する。
また、文字識別装置200は、図2に示した文字識別装置100とほぼ同等の機能を有し、この文字識別装置100と同等の機能を有する機能部についての詳細な説明は省略する。
具体的に、文字識別装置100との違いは、処理部202に類似文字認識辞書202cを有すること、インターフェース204を有していることである。以下、類似文字認識辞書202cと、インターフェース204について説明する。
図8は、類似文字認識辞書のデータ構造の一例を示す図である。図8に示した類似文字認識辞書202cは、互いに類似する2つの文字カテゴリが記憶されている。
そして、この2つの文字カテゴリに登録されている文字は、入力パターンpが与えられた場合において、ユーザが、入力パターンpと、対応する2つの文字カテゴリに登録されている文字とが正しく識別されることを希望する文字データを示す。
「サンプル数」は、対応する文字カテゴリに類似する類似文字データの個数を示し、例えば、「鳥(とり)」と「烏(からす)」に対応するサンプル数は「2」であることを示している。
そして、「サンプル数」と同じ個数のベクトルが共通ベクトルとして記憶されている。なお、上述した「サンプル数」、図8に示した「共通ベクトル」における詳細なデータ構造については、後述の図9にて説明する。
続いて、図7に示したインターフェース204について図を用いて説明する。図9は、インターフェースの一例を示す図である。図9に示したインターフェース204は、ユーザが、正しく識別されることを希望する文字カテゴリと、その文字カテゴリに類似する類似文字データとをそれぞれ画像の組で、ユーザが指定するインターフェースである。
図9に示した例では、ウインドウ上部の「文字の指定」は、ユーザがキーボード等(図示省略)を用いて、文字を入力するインターフェースを示す。そして、文字カテゴリAに「ば」が、文字カテゴリBに「ぱ」が入力される。
したがって、任意の入力パターンpが与えられた場合において、ユーザは、この入力パターンpが、「ぱ」と「ば」のどちらに属するかについて、正確に識別されること希望している。
そして、入力パターンpが、「ぱ」と「ば」のどちらに属するかが識別される際に、「文字の指定」に登録されている「ぱ」と「ば」の組に相当する類似文字データをインターフェース204の下部に示す「画像の指定」に登録する。
この「画像の指定」における「サンプルID」が示す番号は、図8の「サンプル数」に相当する。また、上述した「類似文字データ」とは、「画像の指定」によって登録されるデータを示す。
そして、「画像の指定」に登録された画像の組に基づいて、文字認識処理部202dが共通ベクトルを計算し、図8の類似文字認識辞書202cに算出した共通ベクトルを登録する。
この共通ベクトルの算出について、文字認識処理部202dが行う処理を具体的に説明する。まず、与えられた2つの画像から得られる特徴ベクトルをxとxとした場合、共通ベクトルを以下に示す式(6)にて算出する。
Figure 2010257339
なお、上述した式(6)において、((x−x)・x)は、x−xと、xとのベクトルの内積を示し、(x−x)/│x−x│は、単位ベクトルを示すものとする。
また、式(6)にて示した各共通ベクトルは、同じ値を有することになり、いずれか一方の共通ベクトルを算出すれば、対応する共通ベクトルが求められる。
そして、文字認識処理部202dは、式(6)を用いて算出した共通ベクトルを図8に示した類似文字認識辞書202cに登録する。
次に、文字認識処理部202dが行う類似文字識別について説明する。まず、文字認識処理部202dは、任意の入力パターンpが与えられた場合に、入力パターンpに類似する文字カテゴリの組が類似文字認識辞書202cに登録されているか否かを検索する。
そして、検索結果により、登録されている場合、文字認識処理部202dは、入力パターンpに類似する文字カテゴリの組に対応する共通ベクトルを取得し、以下の式(7)を用いて共通分布に追加する。
Figure 2010257339
式(7)において、「C」は、実施例1で示した共通分布(例えば、Σ)に対応し、この共通分布に対応する新しい共通分布がC´となる。なお、共通分布Σを求める方法は、実施例1で示したように、単純平均の方法を用いて算出しても良く、「共通化操作」を用いて算出しても良く、詳細な算出方法については、実施例1と同様であるので省略する。
その後、文字認識処理部202dは、式(7)で求めた共通分布を用いて、文字カテゴリ「A」(例えば、“ば”)と、文字カテゴリ「B」(例えば:“ぱ”)とに対して、畳み込み積分を行う。そして、畳み込み積分によって得られる固有値、固有ベクトルに基づいて、擬似ベイズ識別を行う。
なお、図9に示した例では、類似文字データを画像データにより示したが、これは、説明の便宜上、画像データを例に挙げたに過ぎず、他のデータによって置き換えたとしても本実施例に示す機能が得られるものとする。
次に、実施例2に示した文字識別装置200に処理について説明する。図10は、実施例に係る文字識別装置の処理を示すフローチャートである。
あらかじめ、ユーザがインターフェース204を介して、正しく認識してほしい文字カテゴリと、その文字カテゴリに類似する類似文字カテゴリを画像の組とした類似文字データを登録しておく。
そして、文字認識処理部202dが、登録された類似文字データに基づいて、共通ベクトルを計算し、算出した共通ベクトルを類似文字認識辞書202cに登録する(ステップS200)。
そして、文字識別装置200が文字画像を取得し、取得した文字画像に対して通常の文字認識処理を行い(ステップS201)、複数の文字認識候補を取得する(ステップS202)。
続いて、複数の文字候補の中で、第1位の文字候補が類似文字テーブル202bに登録されているか否かを判定し、判定結果より、第1位の文字候補が登録されていない場合(ステップS203、No)は、第1の文字候補を文字認識の結果とする。
一方、第1位の文字候補が登録されている場合(ステップS203、Yes)は、第2位から第n位までの文字候補の中に、第1位の文字候補に類似する文字が類似文字テーブル202bに登録されているか否かを判定する(ステップS204)。
判定結果により、類似文字テーブル202bに第1位の文字候補に類似する文字が登録されていない場合(ステップS205、No)、第n+1位に登録されている文字を取得する(ステップS206)。
そして、ステップS201にて取得した全ての候補文字に対して処理を行っている場合(ステップS207、No)、第1位の文字候補を認識結果として出力する。
一方、ステップS201にて取得した全ての候補文字に対して処理を行っていない場合(ステップS207、Yes)、ステップS205に移行する。
そして、第2位から第n位までの文字候補であって、第1位の文字候補に類似する文字が類似文字テーブル202bに記憶されている場合(ステップS205、Yes)、類似文字の識別を行う(ステップS208)。
ステップS208において、文字認識処理部202dが類似文字の識別処理を行う場合、ステップS200で登録した共通ベクトルが類似文字認識辞書202cに登録されているか否かを検索する。
検索結果により、登録されている場合、文字認識処理部202dは、参照した共通ベクトルを共通分布に追加する。そして、新しく求めた共通分布に基づいて、類似文字識別を行う。
上述した実施例によれば、類似文字カテゴリ間に共通する特徴の情報を抽出し、類似文字カテゴリ間に共通する特徴を抑えつつ、特徴の差異が強調される識別を行うため、多次元的に広がった類似した文字カテゴリ間の特徴の差異を利用し、より高精度な類似文字の識別が可能となる。
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種データを含む情報については、特記する場合を除いて任意に変更することができる。
また、図2に示した文字識別装置100の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がCPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図11は、実施例1に係る文字識別装置を構成するコンピュータのハードウェア構成を示す図である。図11に示すように、このコンピュータ300は、入力装置301、ディスプレイ302、RAM(Random Access Memory)303、ROM(Read Only Memory)304、HDD(Hard Disk Drive)305、CPU(Central Processing Unit)306、媒体読取装置307をバス308で接続している。
そして、HDD305には、上述した類似文字識別機能と同様の機能を発揮する文字認識プログラム305aが記憶されている。CPU306が、文字認識プログラム305aを読み出して実行することにより、文字認識プロセス306aが起動される。ここで、文字認識プロセス306aは、図2に示した文字認識処理部102cに対応する。
尚、RAM303には、処理部102に記憶されている各種データや、文字認識プロセス306aによって利用されるデータを含んだ各種データ303aを記憶している。CPU306は、各種データ303aに含まれる各文字カテゴリの平均ベクトル、固有値、固有ベクトルに基づいて類似文字の識別を行う。
ところで、図11に示した文字認識プログラム305aは、必ずしも最初からHDD305に記憶させておかなくても良い。たとえば、コンピュータに挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ(HDD)などの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータに接続される「他のコンピュータ(またはサーバ)」などに記憶しておき、コンピュータが文字認識プログラム305aを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
特徴空間上において、形状が異なり同意の文字を含む文字カテゴリ分布を、対比する文字ごとに特定し、各文字カテゴリ分布に共通する情報を共通分布として求める共通分布処理手順と、
前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正手順と、
識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正手順により修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別手順と
を実行させる文字識別プログラム。
(付記2)前記修正手順は、前記文字カテゴリ分布に対し、前記共通分布を用いた畳み込み積分を行って、当該文字カテゴリ分布を修正し、前記文字識別手順は、当該修正した文字カテゴリ分布に基づいて、前記文字を識別する付記1に記載の文字識別プログラム。
(付記3)前記共通分布処理手順が、前記共通分布を求める際に、前記文字カテゴリ分布間の差異を減少させ、前記文字カテゴリ分布間に共通する情報に基づいて、前記共通分布を求める付記1または2に記載の文字識別プログラム。
(付記4)前記共通分布処理手順は、利用者によって入力された画像データに基づき、前記画像データに共通する情報を算出し、算出した情報を前記共通分布に加えて、共通分布を新たに求める付記1〜3のいずれか一つに記載の文字識別プログラム。
(付記5)特徴空間上において、形状が異なり同意の文字を含む文字カテゴリ分布を、対比する文字ごとに特定し、各文字カテゴリ分布に共通する情報を共通分布として求める共通分布処理部と、
前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正部と、
識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正部により修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別部と
を有する文字識別装置。
(付記6)前記修正部は、前記文字カテゴリ分布に対し、前記共通分布を用いた畳み込み積分を行って、当該文字カテゴリ分布を修正し、前記文字識別部は、当該修正した文字カテゴリ分布に基づいて、前記文字を識別する付記5に記載の文字識別装置。
(付記7)前記共通分布処理部が、前記共通分布を求める際に、前記文字カテゴリ分布間の差異を減少させ、前記文字カテゴリ分布間に共通する情報に基づいて、前記共通分布を求める付記5または6に記載の文字識別装置。
(付記8)前記共通分布処理手順は、利用者によって入力された画像データに基づき、前記画像データに共通する情報を算出し、算出した情報を前記共通分布に加えて、共通分布を新たに求める付記5〜7のいずれか一つに記載の文字識別装置。
(付記9)文字識別装置が文字を識別する方法であって、
前記文字識別装置が、
特徴空間上において、形状が異なり同意の文字を含む文字カテゴリ分布を、対比する文字ごとに特定し、各文字カテゴリ分布に共通する情報を共通分布として求める共通分布処理ステップと、
前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正ステップと、
識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正ステップにより修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別ステップと
を実行する文字識別方法。
10 特徴空間
50 共通分布
100、200、300 文字識別装置
101、201 画像入力部
102、202 処理部
102a、202b 類似文字テーブル
102b、202a 文字認識辞書
103、203 認識結果出力部
202c 類似文字認識辞書
204 インターフェース
301 入力装置
302 ディスプレイ
303 RAM
303a 各種データ
304 ROM
305 HDD
305a 文字認識プログラム
306 CPU
306a 文字認識プロセス
307 媒体読取装置
A、B 文字カテゴリ分布

Claims (5)

  1. コンピュータに、
    特徴空間上において、形状が異なり同意の文字を含む文字カテゴリ分布を、対比する文字ごとに特定し、各文字カテゴリ分布に共通する情報を共通分布として求める共通分布処理手順と、
    前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正手順と、
    識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正手順により修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別手順と
    を実行させる文字識別プログラム。
  2. 前記修正手順は、前記文字カテゴリ分布に対し、前記共通分布を用いた畳み込み積分を行って、当該文字カテゴリ分布を修正し、前記文字識別手順は、当該修正した文字カテゴリ分布に基づいて、前記文字を識別する請求項1に記載の文字識別プログラム。
  3. 前記共通分布処理手順が、前記共通分布を求める際に、前記文字カテゴリ分布間の差異を減少させ、前記文字カテゴリ分布間に共通する情報に基づいて、前記共通分布を求める請求項1または2に記載の文字識別プログラム。
  4. 前記共通分布処理手順は、利用者によって入力された画像データに基づき、前記画像データに共通する情報を算出し、算出した情報を前記共通分布に加えて、共通分布を新たに求める請求項1〜3のいずれか一つに記載の文字識別プログラム。
  5. 特徴空間上において、形状が異なり同意の文字を含む文字カテゴリ分布を、対比する文字ごとに特定し、各文字カテゴリ分布に共通する情報を共通分布として求める共通分布処理部と、
    前記共通分布と各文字カテゴリ分布を基にして各文字カテゴリ分布を修正する修正部と、
    識別対象となる文字を取得した場合に、当該文字の前記特徴空間上の位置と、前記修正部により修正された各文字カテゴリ分布とを基にして、前記文字を識別する文字識別部と
    を有する文字識別装置。
JP2009108380A 2009-04-27 2009-04-27 文字識別プログラム、文字識別装置 Expired - Fee Related JP5240049B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009108380A JP5240049B2 (ja) 2009-04-27 2009-04-27 文字識別プログラム、文字識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009108380A JP5240049B2 (ja) 2009-04-27 2009-04-27 文字識別プログラム、文字識別装置

Publications (2)

Publication Number Publication Date
JP2010257339A true JP2010257339A (ja) 2010-11-11
JP5240049B2 JP5240049B2 (ja) 2013-07-17

Family

ID=43318149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009108380A Expired - Fee Related JP5240049B2 (ja) 2009-04-27 2009-04-27 文字識別プログラム、文字識別装置

Country Status (1)

Country Link
JP (1) JP5240049B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371379A (ja) * 1989-08-11 1991-03-27 Sanyo Electric Co Ltd 文字認識方式
JPH0496885A (ja) * 1990-08-13 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 類似文字識別方式
JPH07302338A (ja) * 1994-05-02 1995-11-14 Nippon Steel Corp テンプレートマッチング方法およびこの方法を用いたパターン認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371379A (ja) * 1989-08-11 1991-03-27 Sanyo Electric Co Ltd 文字認識方式
JPH0496885A (ja) * 1990-08-13 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 類似文字識別方式
JPH07302338A (ja) * 1994-05-02 1995-11-14 Nippon Steel Corp テンプレートマッチング方法およびこの方法を用いたパターン認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
WO2012124124A1 (ja) * 2011-03-14 2012-09-20 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
CN103403760A (zh) * 2011-03-14 2013-11-20 欧姆龙株式会社 图像比对装置、图像处理系统、图像比对程序、计算机可读取的记录介质以及图像比对方法
KR101506105B1 (ko) 2011-03-14 2015-03-25 오므론 가부시키가이샤 화상 대조 장치, 화상 처리 시스템, 화상 대조 프로그램이 기록된 기록 매체, 및 화상 대조 방법

Also Published As

Publication number Publication date
JP5240049B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
JP5016603B2 (ja) 自動及び動的血管検出のための方法並びに装置
JP5487970B2 (ja) 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
Sanroma et al. Learning to rank atlases for multiple-atlas segmentation
US9799115B2 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
US10885325B2 (en) Information processing apparatus, control method, and storage medium
JP4991317B2 (ja) 顔特徴点検出装置及びその方法
JP5240047B2 (ja) キーワード識別方法及装置
JP6611346B2 (ja) 文字列認識装置、方法、及びプログラム
Bromiley et al. Localisation of vertebrae on DXA images using constrained local models with random forest regression voting
US8750571B2 (en) Methods of object search and recognition
WO2016181468A1 (ja) パターン認識装置、パターン認識方法およびプログラム
EP2138959A1 (en) Word recognizing method and word recognizing program
JP5240049B2 (ja) 文字識別プログラム、文字識別装置
JP2009104244A (ja) 情報処理装置および方法、並びにプログラム
JP4477439B2 (ja) 画像分割処理システム
US8971627B2 (en) Template matching processing device and template matching processing program
JP7024197B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5029648B2 (ja) 演算装置及びプログラム
JP2020087112A (ja) 帳票処理装置および帳票処理方法
JP7384603B2 (ja) 文書フォームの識別
JP5151522B2 (ja) 演算装置及びプログラム
JP2005149302A (ja) 顔画像認識装置及び顔画像認識プログラム
JP5936159B1 (ja) パターン認識装置とその学習方法、及びパターン認識学習用プログラム
JP2010055325A (ja) パターン認識装置及びパターン認識方法
US20050213819A1 (en) Form recognition system, method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees