JP2008532176A - 認識グラフ - Google Patents

認識グラフ Download PDF

Info

Publication number
JP2008532176A
JP2008532176A JP2007557966A JP2007557966A JP2008532176A JP 2008532176 A JP2008532176 A JP 2008532176A JP 2007557966 A JP2007557966 A JP 2007557966A JP 2007557966 A JP2007557966 A JP 2007557966A JP 2008532176 A JP2008532176 A JP 2008532176A
Authority
JP
Japan
Prior art keywords
segment
handwritten pattern
candidate
sequence
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007557966A
Other languages
English (en)
Other versions
JP5071914B2 (ja
Inventor
シュテルンビー、ヤコブ
Original Assignee
ザイ デクマ アクチボラゲット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザイ デクマ アクチボラゲット filed Critical ザイ デクマ アクチボラゲット
Publication of JP2008532176A publication Critical patent/JP2008532176A/ja
Application granted granted Critical
Publication of JP5071914B2 publication Critical patent/JP5071914B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G06V30/2272Character recognition characterised by the type of writing of cursive writing using stroke segmentation with lexical matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)

Abstract

手書きパターンに関する少なくとも1つの認識候補を特定するための方法が、手書きパターンをセグメント化して、認識する際に使用するために手書きパターンにおける可能なセグメント化ポイントを選択することを含む。方法は、手書きパターンのセグメントをテンプレートと比較することを更に含む。比較は、手書きパターンのセグメントの可能な認識結果を形成するセグメント候補を戻す。方法は、セグメント候補シーケンスの表現を形成することを更に含み、前記表現は、セグメント化ポイントに対応するデータ・ブロックを含み、データ・ブロックは、後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンスを含む。リファレンスは、セグメント候補の情報を含む。方法は、セグメント候補シーケンスの表現を辞書と比較し、その辞書の中で許された記号シーケンスに対応するセグメント候補シーケンスを探し出し、これらの許された記号シーケンスの少なくとも1つを、手書きパターンに関する認識候補として戻すことを更に含む。

Description

本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンの認識に関する。本発明は、特に、手書きパターンに関する認識候補を特定することに関する。
今日、手書きは、データ処理ユニットに、特に、移動電話機及びPDA(パーソナル・デジタル・アシスタント)にデータを入力するための、ますます一般的な方法となっている。入力されたデータを扱うために、手書きは、認識され、解釈されなければならない。手書きを認識するためのほとんどの既存の方法は、入力されるべき文字が、1つずつ書き込まれ、別々に認識されることを要求する。そのような方法の実施例が、米国特許第4731857号で与えられているが、最も有名なのが、パーム社によって製造されるGraffiti(登録商標)である。
データの入力をスピードアップするために、筆記体の手書きが許されることが望ましい。しかし、筆記体手書き認識は、別々の文字の認識より、はるかに複雑である。筆記体手書き認識に関して複雑さが増大することは、つなげられた文字をセグメント化することの、即ち、手書きパターン内で1つの文字から別の文字への遷移を識別することの問題に帰せられる。そのため、筆記体手書き認識における誤りは、2つのレベルで生じる可能性があり、これにより、明快な順次認識システムの構築が大いに難しくなる。
筆記体手書き認識のための方法は、一般に、手書きパターンの可能なセグメント化の組合せの爆発的増加を生じる、隣接する文字間における多数の可能なセグメント化が存在するという問題に悩まされている。
したがって、今日のほとんどの市販のシステムは、ニューラル・ネットワーク、及び隠れマルコフ・モデルを、組み込まれた辞書と一緒に使用する、複雑な統計システムを使用する。そのようなシステムの実施例が、P.Neskovic及びL.Cooper、「Neural network−based context driven recognition of on−line cursive script」、Seventh International Workshop on Frontiers、Handwriting Recognition Proceedings、352〜362ページ、2000年9月、及びM.Schenkel及びI.Guyon、「On−line cursive script recognition using time delay networks and hidden markov models」、Machine Vision and Applications、vol.8、215〜223ページ、1995年において提示されている。それらのシステムの大きな欠点は、それらのシステムが、大きく、大量の訓練セットを要求することである。更に、それらのシステムは、使用される辞書に大きく依存する。
手書きパターンの様々な認識が正しい確率の評価を行うことにより、認識の結果を向上させるために、辞書が、一般に、使用され得る。そのため、手書きパターンの認識からの結果が、辞書の中に存在しない結果を破棄するために、辞書と比較されることが可能である。これにより、正しい認識結果がユーザに提示されることが可能である確率が、向上する。D.Y.Chen、J.Mao、及びK.M.Mohiuddin、「An efficient algorithm for matching a lexicon with a segmentation graph」、Proceedings of the Fifth International Conference on Document Analysis and Recognition、543〜546ページ、1999年において、辞書をセグメント化候補と比較する方法が、開示されている。しかし、その方法は、辞書のサイズが大きくなるにつれ、より遅くなる。別の方法が、S.Lucas、「Efficient best−first dictionary search given graph−based input」、15th International Conference on Pattern Recognition、vol.1、434〜437ページ、2000年において開示されている。その方法は、辞書の中に存在する最良の認識を取り出す、より効率的な仕方を提供する。辞書検索は、パス代数を計算することによって達せられ、そうすることは、手書きパターンのセグメント化がまず、確立されることを要求するように思われる。
国際公開第02/37933号において、辞書を使用した手書きの語の認識のための方法が、開示されている。その方法は、セグメント化ポイントを表す頂点と、それらのセグメント化ポイント間のセグメントの解釈を表すエッジとを含む解釈グラフを作成する。探索手続きが、グラフを構築するために、したがって、語の認識を特定するために、セグメント化ポイントに適用される。探索手続きは、前のセグメント化ポイントを振り返って、グラフにおいてエッジ/セグメントを置くかどうかを判定するように実行される。このため、各頂点で、語レベル仮定のリストが、格納されることが可能である。更に、仮定リストを切り詰めるために、辞書とのマッチングが、実行されることが可能である。許される各文字クラスに関して、探索手続きは、各セグメント化ポイントにおいて、グラフに、その文字クラスに対応するエッジ/セグメントを置くことが、実行可能であるかどうかを判定する必要がある。そうすることは、探索手続きを実行するための大量の計算を要求し、そのため、この方法は、遅い。
本発明の目的は、筆記体手書き認識のための改良された方法を提供することである。本発明の別の目的は、多大な学習を要求せず、非常に高い処理能力を必要としない方法を提供することである。本発明の更なる目的は、手書き認識を向上させるために辞書を迅速な仕方で使用することである。
以上の諸目的の少なくとも幾つかは、独立請求項による方法、デバイス、及びコンピュータ・プログラム製品によって達せられる。本発明の特定の諸実施例は、従属請求項に記載される。
このため、本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するための方法を提供する。本方法は、手書きパターンをセグメント化して、手書きパターンの、これらのセグメントを記号として認識する際に使用するために、手書きパターンにおける可能なセグメント化ポイントを選択することを含む。本方法は、手書きパターンのセグメントを、少なくとも1つの記号、又は或る記号の一部を表すテンプレートと比較することを更に含み、手書きパターンのセグメントは、第1のセグメント化ポイントから第2のセグメント化ポイントまでの可能なセグメント化ポイントのシーケンスに対応する。この比較は、手書きパターンのセグメントの可能な認識結果を形成するテンプレートに関連するセグメント候補を戻し、各セグメント候補は、テンプレートと、手書きパターンのセグメントとの間のマッチの測度に関連する。本方法は、セグメント候補シーケンスの表現を形成することを更に含む。その表現は、手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを含み、データ・ブロックは、後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンスを含み、リファレンスは、セグメント候補の情報と、それらのセグメント化ポイント間の手書きパターンのセグメントに関する関連する測度とを含む。本方法は、セグメント候補シーケンスの表現を辞書と比較することを更に含み、辞書は、記号シーケンスとして表現され、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する。本方法は、辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出し、これらの許される記号シーケンスの少なくとも1つを、手書きパターンに関する認識候補として戻すことを更に含む。
また、本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するためのデバイスも提供し、前記デバイスは、手書きパターンをセグメント化して、手書きパターンの、これらのセグメントを記号として認識する際に使用するために、手書きパターンにおける可能なセグメント化ポイントを選択するための手段と、手書きパターンのセグメントを、少なくとも1つの記号、又は或る記号の一部を表すテンプレートと比較するための手段であって、手書きパターンのセグメントは、第1の可能なセグメント化ポイントから第2の可能なセグメント化ポイントまでのセグメント化ポイントのシーケンスに対応し、前記比較は、手書きパターンのセグメントの可能な認識結果を形成するテンプレートに関するセグメント候補を戻し、各セグメント候補は、テンプレートと、手書きパターンのセグメントとの間のマッチの測度に関連する、手段と、手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを含む、セグメント候補シーケンスの表現を形成するための手段であって、セグメント候補の情報と、セグメント化ポイント間の手書きパターンのセグメントに関する関連する測度とを保持する、後続のセグメント化ポイントへのリファレンスをデータ・ブロックが保持する、手段と、セグメント候補シーケンスの表現を、記号シーケンスとして表現される辞書と比較するための手段であって、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する、手段と、辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出すための手段と、これらの許される記号シーケンスの少なくとも1つを、手書きパターンに関する認識候補として戻すための手段とを含む。
また、本発明は、前段で定義される方法を実行するためのソフトウェア・コード部分を含むデータ処理ユニットの内部メモリに直接に読み込み可能なコンピュータ・プログラム製品も提供する。
本発明のお陰で、幾つかの記号を表す手書きパターンは、迅速に認識されることが可能である。セグメント化と認識の両方のために可能なセグメント化ポイントを使用することにより、計算は、手書きパターンを分離することと、そのパターンをテンプレートとマッチさせることを同時に行う。そのため、手書きパターンをテンプレートと比較するプロセスは、非常に迅速である。
幾つかの基準に従って、限られた数の可能なセグメント化ポイントを選択することにより、手書きパターンのセグメントが、それらの可能なセグメント化ポイントだけと関係がある情報を使用することによって認識されることが可能であることが、認識されている。このため、筆記体の手書きを認識するために、ニューラル・ネットワーク又は隠れマルコフ・モデルを使用する必要は、存在しないことが、認識されている。代わりに、可能なセグメント化ポイントが、選択され、同一の可能なセグメント化ポイントが、手書きパターン内の記号の認識のために使用される。
可能なセグメント化ポイントの選択により、多数のポイントが、検出されたシーケンスから破棄される。このため、扱いやすい数のポイントが、選択され、これにより、ポイント・シーケンスをテンプレートと比較するために必要とされる計算作業が抑えられる。検出されたポイント・シーケンスにおける情報の相当な部分は、手書きパターンを認識するためには、冗長であることが、認識されている。したがって、多数のポイントを破棄することは、手書きパターンを正しく認識する可能性にほとんど影響を及ぼさない。また、限られた数のポイントが、認識において使用されるので、幾つかのテンプレートが、同一の記号を認識するために使用されることが可能である。このため、テンプレートは、異書体、即ち、同一の記号の筆記の異なる外観、又は異なるスタイルを表すことが可能である。
更に、可能なセグメント化ポイントは、セグメントの認識のための特徴として使用されるので、セグメント化候補のシーケンスの表現は、後続のポイントへのリファレンスを作成するために、来るべきセグメント化ポイントを調べることによって形成される。このため、有利には、セグメント候補シーケンスは、セグメント化ポイントのシーケンスにおいて先を調べることにより、辞書と比較されることが可能である。このため、セグメント化ポイントのシーケンスは、飛ばされることが可能であり、セグメント候補シーケンスが、許されるシーケンスに関する情報で迅速に更新されることが可能である。
手書きパターンの可能なセグメント化は、辞書の中に存在する手書きパターンの認識候補を選び出すために、辞書と比較されることが可能である。セグメント候補シーケンスは、後続のセグメント候補の情報を含むセグメント化ポイント間のリファレンスによって表されるので、同一の開始記号を有するシーケンスは、それらのシーケンスの開始の表現を共有することが可能である。セグメント候補シーケンスは、対応する最初の記号又は記号群を有する語が、辞書の中に存在するかどうかを順次にチェックすることにより、辞書と比較される。シーケンスにおける記号が、辞書の中で対応物を有さないとすぐに、そのシーケンスは、破棄されることが可能であり、そのシーケンスにおける残りのセグメント候補を辞書と比較する必要は、全くない。実際、同一のプレフィックスを表す同一の最初のセグメント候補を有するすべてのシーケンスが、破棄されることが可能である。というのは、それらのシーケンスは、表現を共有するからである。
本明細書で使用される、「記号」という用語は、ラテン文字、漢字、又は他の任意の種類の文字、文字の間、前、又は後のつなぎ、数字、或いは任意の句読点などの、特定の意味を有する任意の形態として解釈されるべきである。テンプレートは、或る記号、又は或る記号の一部を表すように構成される。しかし、特定の意味を全く有さない、手書きパターンにおける雑音又は不規則を表すように構成された1つ又は複数のテンプレートが存在してもよい。そのようなテンプレートは、パターンで書かれた情報に寄与しない手書きパターンの部分を識別するのに使用されることが可能である。更に、「手書きパターン」という用語は、個人によって書かれた特定の形態の記号、又は記号シーケンスとして解釈されるべきである。
「可能なセグメント化ポイントのシーケンス」という用語は、テンプレートの始まりとマッチすると識別されている可能なセグメント化ポイントである第1のセグメント化ポイントから、テンプレートの終わりとマッチすると識別されている可能なセグメント化ポイントである第2のセグメント化ポイントまでのシーケンスとして解釈されるべきである。可能なセグメント化ポイントのシーケンスは、第1のセグメント化ポイントと第2のセグメント化ポイントの間のすべての可能なセグメント化ポイントを含む。
「後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンス」とは、セグメント化ポイントのシーケンスにおける次のセグメント化ポイント、又はセグメント化ポイントのシーケンスにおける、それより後のセグメント化ポイントへのリファレンスであることが可能である。このため、手書きパターンの様々なセグメントとマッチする様々なセグメント候補シーケンスが、様々なセグメント化ポイントを選択することによって作成されることが可能である。
セグメント候補シーケンスと手書きパターンの間のマッチの累積測度が、認識候補の間のランク付け順序を決定するために使用されることが可能である。すべてのセグメント化ポイントが、解析された後、累積測度が、最後のセグメント化ポイントに割り当てられ、手書きパターンとマッチしたテンプレート又はセグメント候補シーケンスに関連付けられることが可能である。このため、最後のセグメント化ポイントに割り当てられた情報は、手書きパターンの可能な認識候補を得るために、容易に使用されることが可能である。
マッチの測度は、手書きパターンの特徴と、テンプレートの対応する特徴の間の相違の計算された距離値であることが可能である。このため、手書きパターンの適切な特徴が、検出されて、テンプレートの対応する特徴と比較され、距離値が、計算される。距離値が低いほど、手書きパターンとテンプレートの間のマッチは、良好である。
セグメント候補シーケンスの表現の形成は、ノードと、エッジとを有する認識グラフを形成することを含むことが可能であり、各ノードは、可能なセグメント化ポイントを表し、各エッジは、1つのノードから別のノードまでのセグメント化ポイントのシーケンスに沿ったパスを表し、前記パスは、手書きパターンにおける可能な記号に対応し、セグメント候補と、手書きパターンのセグメントの間のマッチに対応する少なくとも1つの測度に関連する。
グラフを形成することにより、セグメント候補シーケンスの、辞書との比較は、段階的な形に構造化されることが可能である。このことは、実行されるべき比較の良好な制御が得られることを意味する。更に、グラフが、効果的に使用されることが可能である。というのは、グラフは、手書きパターンの可能なセグメントのセグメント化ポイントとして実際に識別されている、可能なセグメント化ポイントだけを使用して構築されることが可能であるからである。更に、ノードは、グラフを通ってノードにつながるエッジに沿った様々なパスに関するマッチの累積測度を格納することができ、これにより、セグメント候補シーケンスに対応するマッチの累積測度が、グラフの各ノードにおいて容易に見出されることが可能である。
表現を形成することは、1つのノードで終わる特定された数だけのセグメント候補を許すことを含むことが可能である。これにより、辞書との比較のために保持される異なるセグメント候補シーケンスの数が、限定される。許されるセグメント候補は、最良のマッチ測度を有するセグメント候補であることが可能である。このため、手書きパターンに対して最良のマッチ測度を有するセグメント候補だけが、保持される。
各ノードで終わる特定された数のセグメント候補は、セグメント候補シーケンスの表現の、辞書との比較の速度を制御するために調整されることが可能である。認識グラフのサイズは、許されるセグメント候補の数を調整することによって制御されることが可能である。そのため、セグメント候補シーケンスの表現を辞書と比較するのに必要とされる時間も、制御される。セグメント候補の数は、辞書との比較を完了するための許される最大時間を満たすために、幾つかのセグメント候補が許されることが可能であるかを計算することにより、決定されることが可能である。このため、セグメント候補の許される数は、手書きパターンの、テンプレートとの比較が実行された後、決定されることが可能である。
認識グラフを形成することは、同一のノード間の同一の記号シーケンスに対応するパスのダブレットを破棄することを含むことが可能である。セグメント候補シーケンスは、手書きパターンの異なるセグメント化に対応する、2つ以上の同一のシーケンスを含むことが可能である。認識グラフが形成される際、そのようなダブレットは、破棄されることが可能であり、最良のマッチ測度を有するシーケンスだけが、保持される。認識グラフにおいてダブレットを有する必要は、全くない。というのは、それらのダブレットは、辞書と比較された際、同一の結果をもたらすからである。ダブレットを破棄することにより、認識グラフと辞書の間の比較が、スピードアップされる。
辞書は、Trieグラフとして表現されることが可能である。そうすることにより、認識グラフと辞書の間の非常に迅速で、効率的な比較が可能になる。
Trieグラフは、適切に並べられた形で語を表す。Trieグラフにおける任意の1つのノードのすべての派生ノードは、そのノードに関連する共通のプレフィックスを有する。このため、セグメント候補シーケンスの表現を辞書と比較することは、認識グラフのノードを段階的に進み、それらのノードを、Trieグラフにおけるノードと比較することを含む。セグメント候補シーケンスは、Trieグラフにおける1つのパスとマッチされるだけでよく、比較が非常に迅速になる。
比較することは、セグメント候補を表す認識グラフにおけるエッジから、Trieグラフにおける対応するノードへのリファレンスを作成することを含むことが可能である。これにより、セグメント候補シーケンスにおける位置が、Trieグラフにおける対応する位置に関連付けられることが可能になる。このため、幾つかのセグメント候補シーケンスが、Trieグラフと同時に比較されることが可能である。というのは、Trieグラフにおける位置が、各セグメント候補シーケンスに関して迅速に取り出されることが可能だからである。
セグメント候補シーケンスは、認識グラフにおけるノードを段階的に進む間に、そのセグメント候補シーケンスが、Trieグラフにおいて対応物を全く有さないとすぐに、破棄されることが可能である。更に、同一のプレフィックスを有するすべてのセグメント候補シーケンスは、同時に破棄されることが可能である。
認識グラフにおけるノードをTrieグラフにおけるノードと比較することは、セグメント候補シーケンスの残りの部分における記号の可能な数を、Trieグラフにおける後続の記号の許される数に対してチェックすることを含むことが可能である。セグメント候補シーケンスの長さに対応する長さの語、又は記号の数が存在することをチェックすることにより、対応する長さの語を有さないシーケンスが、認識グラフをTrieグラフと比較するプロセスにおける早い段階で破棄されることが可能である。
辞書の中の不完全な記号シーケンスに対応するセグメント候補シーケンスが、許されることが可能である。このことは、切り詰められた語に関する認識候補をもたらすために使用されることが可能である。更に、手書きパターンは、辞書の中の不完全な語として認識されることが可能であり、完全な語が、認識候補として提示されることが可能である。これにより、ユーザが、長い語を切り詰め、認識から、正しい完全な語を戻されることが可能になる。
セグメント候補シーケンスにおいて欠落したセグメント候補をもたらす手書きパターンにおける省略されたセグメントは、セグメント候補を辞書の中の対応しない記号にマッチさせ、そのセグメント候補に関連する測度にペナルティを追加することによって認識されることが可能である。したがって、辞書を使用して、手書きパターンにおける欠けた記号を探し出すことができる。
手書きパターンは、筆記体で書かれることが可能である。本方法は、筆記体の手書きパターンの認識のために有利に使用されることが可能である。というのは、方法は、手書きパターンをセグメント化して、それらのセグメントを認識することができるからである。しかし、本方法は、活字体で、又は筆記体と活字体の任意の組合せ又は混合で書かれた手書きパターンの認識のために使用されることも可能である。
手書きパターンは、オンラインで検出されることが可能である。このことは、認識が、リアルタイムで実行されるべきことを意味する。手書きパターンの認識は、非常に迅速に実行されることが可能であり、したがって、ユーザを苛立たせる待ち時間が、抑えられる。したがって、オンライン認識が可能にされる。
次に、本発明を、添付の図面を参照して、例示として、更に詳細に説明する。
図1を参照して、手書きパターンを認識するための方法を、次に説明する。まず、手書きパターンが、検出される(ステップ102)。通常、ユーザは、感圧スクリーン上でスタイラスを使用して手書きパターンを書くことが可能であり、そのため、手書きは、規則的な間隔でスタイラスの位置をサンプリングすることによって検出される。このようにして、ポイントの時間シーケンスが、獲得される。手書きは、例えば、ペンと、筆記面との間で形成される電気的接続を検出するセンサ群、又はペンの動きを検出するセンサ群を使用することなどにより、他の幾つかの仕方で検出されてもよい。また、手書きパターンは、手書きパターンが書き込まれている用紙を走査することによって検出されてもよい。その場合、手書きは、筆記面上のポイント・シーケンスとして検出されることが可能であり、そのシーケンスは、それらのポイントが、互いに対してどこに位置付けられるか、即ち、空間的ポイント・シーケンスに依存する。
次に、以降、コア・ポイントと呼ばれる可能なセグメント化ポイントが、手書きパターンを検出した際に作成されたポイント・シーケンスの中で選択される(ステップ104)。コア・ポイントは、手書きパターンの次元、即ち、パターンにおけるストロークのサンプリングされるポイントの数を減らすために選択される。それでも、コア・ポイントは、手書きパターンが正しく認識されることが可能であるように選択されなければならない。
図2は、スウェーデン語の語「ek」を形成する手書きパターン10を示す。図2では、選択されたコア・ポイント12も示され、1つおきのコア・ポイントに番号が付けられている。図2から、この筆記体の語の最初の部分は、文字「d」の外観を有する可能性があることが明白である。問題は、認識方法が、その「d」のエンドポイントで、その語を2つの文字セグメントにセグメント化した場合、それらのセグメントのいずれも、意図されていた語の文字を含まないことである。したがって、認識方法は、筆記体の手書きをセグメント化する際、複数のセグメント化の可能性を考慮する必要があることが明らかである。したがって、幾つかのコア・ポイント12が、2つの文字間で手書きパターン10におけるセグメント化を示す可能なポイントとして選択される。そのため、コア・ポイント12は、別々の記号又は文字への手書きパターン10の正しいセグメント化を特定するように選択される。しかし、コア・ポイント12は、手書きパターン10のセグメントの認識のためにも使用される。
コア・ポイント12の選択は、実際のいずれのセグメント化ポイントも破棄すべきではない。しかし、手書きパターン10の可能なセグメント化を定義するコア・ポイント12の数は、コア・ポイント12の数を可能な限り低く保つように選択されなければならない。したがって、コア・ポイント12の選択は、幾つかの選択基準を使用する。
選択されるコア・ポイント12の数は、手書きパターン10の1つ又は複数の曲線の形状によって限定されることが可能である。このことは、曲線の形状により、選択されるコア・ポイント12の数が規定されることを意味する。このようにして、曲線の形状が単純である場合、より少ない数のコア・ポイント12が、選択されることが可能であるのに対して、複雑な曲線の場合、より多数のコア・ポイントが、選択される。
選択されるコア・ポイント12の数は、前記1つ又は複数の曲線の方向変化の情報を保持するポイントに限られることが可能である。このため、曲線が曲がる、又は方向転換するポイントだけが、コア・ポイントとして使用される。これにより、限られた数のコア・ポイント12が使用されるにもかかわらず、コア・ポイント12が、1つ又は複数の曲線の形状を記述することができるようになる。
現在の好ましい実施例によれば、以下の選択基準が、使用される。第1の選択基準は、主な筆記方向と直交する方向において局所極限ポイントを抽出する。それらのポイントをそれぞれ、N(ノース)コア・ポイント及びS(サウス)コア・ポイントで表す。図2の手書きパターン10では、Nコア・ポイント及びSコア・ポイントには、円でマークが付けられている。各N−Sポイント・ペアは、それらの中間にある1つ乃至3つの更なるポイントによって補足されている。それらの更なるポイントは、更なる2つの基準、曲率基準及び鋭度基準によって選択されている。追加のポイントをM(中間)コア・ポイントと呼ぶ。図2の手書きパターン10では、Mコア・ポイントには、星印でマークが付けられている。曲率基準により、手書きパターン10が、隣接する2つのコア・ポイント間の直線から大きく逸脱しているかどうかが判定される。次に、直線から最も逸脱している位置において、Mコア・ポイントが選択される。鋭度基準により、手書きパターンが、急な方向転換を行うかどうかが判定される。次に、Mコア・ポイントが、その位置において選択される。鋭度基準が満たされるかどうかの判定は、検出された各ポイントにおいて手書きパターン10の微分を計算することによって行われる。急な方向転換が行われる箇所では、微分は、大きい値をとる。鋭度基準及び曲率基準は、N−Sコア・ポイント・ペアの間における、幾つかのMコア・ポイントを選択するために使用されることが可能である。鋭度基準又は曲率基準に従って、関心対象となるポイントが全く見出されなかった場合、Nコア・ポイントとSコア・ポイントの間の曲線の長さの半分に相当する中間ポイントが、Mコア・ポイントとして選択される。
本方法は、各コア・ポイントにおいて、又は各コア・ポイントの近傍において、手書きパターンの特徴を特定することを更に含む(ステップ106)。抽出されたコア・ポイント12の座標値を、認識目的で直接に使用することが考えられる。しかし、コア・ポイント12の周囲も、手書きパターン10の形状のいくらかの情報を含む。その追加の形状情報を含めるため、現在の好ましい実施例によれば、各コア・ポイントに関して5つの特徴のセットが、特定される。各コア・ポイント12には、そのコア・ポイント12が、どのように選択されたかに応じて、或るラベル・セットからの或るラベルが与えられる。この場合、3つのラベルN、S、及びMが、使用される。コア・ポイント12の、そのラベルは、コア・ポイント・シーケンスをテンプレートとマッチさせるための基礎を形成する。更に、それらの特徴は、コア・ポイント12に向かう、又はコア・ポイント12から出る方向ベクトル、コア・ポイント12のy座標値、即ち、主な筆記方向と直交する方向における値と、コア・ポイント12から、右側の最も遠い前のコア・ポイントまでの、主な筆記方向と平行なx座標に沿った符号付きの距離dxとを含む。更に、ペンが、コア・ポイント12において持ち上げられているか、又は押し下げられているかが判定されることが可能である。その特徴は、しばしば、セグメント化ポイントを示すが、或る記号における2つのストローク間の中断を示すことも可能である。したがって、その特徴は、コア・ポイント12において、ペンが持ち上げられる、又は押し下げられることを許す記号を認識するために使用されることが可能である。
次に、手書きパターン10の選択されたコア・ポイント12の特定された特徴が、その手書きパターン10の認識のための候補又は候補群を見出すために、テンプレートと比較される(ステップ108)。テンプレートは、データベースの中で提供され、順次コア・ポイントの特徴によって表現される。このため、特定された特徴は、テンプレートの特徴と直接にマッチさせられる。データベースは、ユーザが、様々な筆記スタイルを有するにもかかわらず、パターンを認識するために、同一の記号の異書体を表す、幾つかのテンプレートを含むことが可能である。更に、データベースは、つなぎ、即ち、2つの文字を通常、一緒に結合し、実際の文字の一部ではないストロークを表すテンプレートも含む。筆記体の語の途中のすべての文字は、つなぎを有するのに対して、語の始めの文字は、つなぎを有することも、有さないことも可能である。また、筆記体の語は、やはり、つなぎで終わることが可能である。一部のテンプレートは、つなぎが含まれた文字を表すことが可能である。このことは、文字「e」、「r」、「c」、「x」、及び「s」のテンプレートに関して有利に使用されることが可能である。
次に、図3及び図4を参照して、手書きパターン10の選択されたコア・ポイント12の特徴をテンプレートと比較することを説明する。コア・ポイント12は、手書きパターン10の可能なセグメント化ポイントと考えられる。更に、第1の可能なセグメント化ポイントから第2の可能なセグメント化ポイントまでのコア・ポイント12のシーケンスは、手書きパターンにおける可能な記号の表現と考えられる。このため、コア・ポイント12のシーケンスの特徴は、テンプレートと比較される。
選択されたコア・ポイント12は、テンプレートと比較されることが可能なコア・ポイント12の比較的多数の異なるシーケンスを表す。比較を構造化するため、コア・ポイント12は、シーケンスで解析される。最初のコア・ポイント12から始めて、コア・ポイント12の任意の可能なシーケンスが、テンプレートとマッチさせられる。テンプレートとマッチするシーケンスのエンド・コア・ポイント12が、グラフにおけるノードとして格納される(ステップ110)。このようにして、テンプレートに関連付けられたセグメント候補が、コア・ポイント12のシーケンスによって表現される手書きパターン10のセグメントの可能な認識として選択される。コア・ポイント・シーケンスとセグメント候補の間のマッチの測度を与える距離値が、最初のコア・ポイントとノードの間のパスを表すノードの中に格納される(ステップ112)。最初のコア・ポイントからのコア・ポイント12のすべての可能なシーケンスが、テンプレートとマッチさせられると、グラフにおけるノードとして格納されたコア・ポイント12から始めて、更なるマッチングが行われる。次に、テンプレートと更なるコア・ポイント・シーケンスの間の距離値が、更なるコア・ポイント・シーケンスの開始ノードにおいて格納された最初の距離値に追加される。このため、累積距離値が、グラフにおけるノードにおいて格納される。このようにして、非循環グラフが、すべてのコア・ポイント12に関して形成され、グラフにおける最後のコア・ポイントは、グラフを通るエッジに沿った様々なパスに関する累積距離値の情報を保持する。その時点で、セグメント候補のシーケンスが、手書きパターン10の可能な認識結果として特定されており、ステップ114、グラフを通るエッジに沿ったパスとして表現される。ユーザに提示するために認識候補として戻されるべき、グラフを通るエッジに沿った、選択されたパスは、以下に更に詳細に説明する通り、辞書との比較によって特定されることが可能である。
図4に、図2の手書きパターン10の、テンプレートとのマッチングを表すグラフ20が、示されている。グラフ20は、番号が付けられた円として表されるノード群22と、それらのノード間のエッジ24とを含む。見て取ることができる通り、手書きパターンの様々なセグメント化を表す、グラフを通る幾つかのパスが、存在する。このため、手書きパターン10とテンプレートのマッチングにより、手書きパターン10の可能なセグメント化も同時に定義され、セグメント化された手書きパターン10とセグメント候補シーケンスの間の類似の尺度がもたらされる。
手書きパターンにおける1つのコア・ポイントと、テンプレートにおける1つのポイントとの間の距離値は、それらのポイントの特徴の間の差の絶対値の重み付き合計である。コア・ポイント・シーケンスとテンプレートの間の距離値は、個々のポイント間の距離値の合計である。しかし、グラフにおけるノードを形成するコア・ポイントの距離は、1回だけしか計算されるべきでない。このため、ノードを形成するコア・ポイントと、テンプレートとの間の距離は、ノードに至るパス、又はノードからのパスに割り当てられることが可能であり、コア・ポイントと、ノードに至るパス、及びノードからのパスに対応する両方のテンプレートとの間の平均距離を反映する。
しかし、特定のセグメント候補シーケンスは、禁止されることが可能である。そうすることは、手書きパターン10における情報が正しくない状況を補償する際に役立つ可能性がある。しかし、そうすることは、不可能な候補、又は可能性の低い候補を拒否することにより、認識結果を向上させるために使用されることも可能である。例えば、2つのつなぎのシーケンスが、禁止されることが可能である。更に、或る重みが、特定のセグメント候補シーケンスに関する累積距離値に与えられることが可能である。このことは、可能性の低いテンプレート・シーケンスを含む認識結果が、完全に拒否されるのではなく、それらの認識結果が、最小の累積距離値を有するのをより困難にする重みが、それらの認識結果に与えられることが可能であることを意味する。
この時点で、手書きパターン10の幾つかの異なる可能な認識が、図4に示される通り、特定されている。手書きパターン10の最も可能性の高い認識を選択するため、グラフ20におけるセグメント候補シーケンスが、辞書と比較されることが可能である。次に、図5〜図7を参照して、辞書との比較を実行することの実施例を説明する。
辞書との比較を実行するために、様々な可能なセグメント候補シーケンスを表す認識グラフ40が、形成されることが可能である(ステップ120)。次に図6を参照して、認識グラフ40を説明する。図6は、図2に示される手書きパターン10の認識に関して作成された認識グラフ40の例を示す。認識グラフ40は、手書きパターン10のセグメントを認識するために使用されるグラフ20とよく似た仕方で構築される。しかし、認識グラフ40の中に含められる情報は、減らされることが可能である。例えば、グラフ20は、手書きパターン全体とは合わないセグメント化ポイントを含む可能性がある。そのようなセグメント化ポイント、及び不完全なセグメント候補シーケンスは、認識グラフ40を形成する際、無視されることが可能である。更に、グラフ20は、同一のセグメント候補シーケンスをもたらす、異なるセグメント化を含む可能性がある。それらのセグメント候補シーケンス・ダブレットも、認識グラフを形成する際、無視されることが可能である。
認識グラフ40は、手書きパターン10をテンプレートと比較する際に、可能なセグメント化ポイントとして識別されているセグメント化ポイントを表すノード群42で構築される。ノード群42は、ノード群42によって表されるコア・ポイント12の番号に応じて番号が付けられた、番号付きの円として図6に示される。ノード42は、ノード42間の手書きパターンのセグメントに関するセグメント候補の情報を有する後続のノード群へのリファレンスを有する。ノード42のリファレンスは、エッジ44によって表される。エッジ44は、図6のホワイト・ボックス内に示される通り、セグメント候補の記号の情報と、手書きパターンのセグメントとセグメント候補をマッチさせる距離値とを含む。また、各ノード42は、そのノード42から派生するセグメント候補(図示せず)の最小数及び最大数も含むことが可能である。ノード42の中に限れた数のセグメント候補が入ることを許す認識グラフ40が、構築されることが可能である。ノード42の中に入るセグメント候補の最大許容数を設定することにより、認識グラフ40を辞書と比較する際の処理時間を制限するために、認識グラフ40のサイズが制限される。代替として、閾値未満の距離値を有するセグメント候補だけが、許されてもよい。また、認識グラフ40は、辞書を考慮に入れることなしに、手書きパターンと最もよくマッチするセグメント候補のシーケンスを迅速に戻すために使用されることも可能である。そうすることは、ノードの中に入ることが許されるセグメント候補の最大数を1に設定することによって達せられることが可能である。すると、認識グラフ40は、最低の距離値を有するセグメント候補シーケンスだけを含む。
図7に、辞書50の単純化された例が、示されている。示される辞書50は、幾つかの語だけを含むが、辞書50の現在、好ましい構造を示す。辞書50は、Trieグラフとして形成される。グラフ50は、記号を表すノード群52を含む。ノード群52は、許される記号シーケンスが、グラフ50を通るストリングとして形成されるように、エッジ54によって接続される。ルート・ノードは、空のストリングを表し、したがって、すべての記号シーケンスは、ルート・ノードを共有する。シーケンスの中の最後の記号を表すノード群には、図3においてグレーでマークが付けられている。また、各ノード52は、そのノード52から派生する記号(図示せず)の最小数及び最大数の情報も含むことが可能である。
認識グラフ40は、認識グラフ40のノード群42を辞書50と段階的に比較することにより、辞書50と比較される(ステップ122)。最初の認識グラフ・ノードで開始して、そのノードからのエッジのセグメント候補の妥当性が、同一の記号から始まる語が、辞書50の中に存在するかどうかをチェックすることによって判定される。次に、最初の認識グラフ・ノードからのエッジが、妥当な記号の情報で更新され、つまり、辞書50の中に対応物を有するセグメント候補が保持され、その一方で、その他のセグメント候補は、破棄される。エッジの更新された情報は、図6にグレーでマークが付けられたボックス内に示される。また、エッジは、認識グラフ40におけるセグメント候補シーケンスにおけるそれぞれの位置に対応する、辞書50の中のノード群へのリファレンスで更新される。その後、比較は、認識グラフ40におけるすべてのノード42にわたって続けられ、辞書50の中で対応物を有さないすべてのセグメント候補シーケンスが破棄される。各認識グラフ・ノード42に関して、そのノードからのエッジのセグメント候補の妥当性が、辞書50の中に、認識グラフ・ノードの中に入るようにエッジによって参照される、そのノードからのエッジにおける対応する記号が存在するかどうかをチェックすることによって判定される。
セグメント候補シーケンスに記号の最小数及び最大数の情報を使用して、妥当性検査は、或る語の、それらの長さ境界が、辞書50の中の該当するノードによって満たされるかどうかをチェックすることも含むことが可能である。長さ境界が、満たされない場合、そのセグメント候補シーケンスは、破棄されることが可能である。
更に、時間の複雑さを制御するため、認識グラフ40におけるすべてのノード42に関して、Trieグラフ50の中に入るリファレンスの数の上限が、設定されることが可能である。こうして、時間の複雑さの制御が、得られる。しかし、不良な初期マッチを有するセグメント候補シーケンスが、破棄されるリスクが、存在する。
認識グラフ40のすべてのノードが、解析されると、認識グラフ40の最後のノードは、辞書の中にも存在する手書きパターン10の最良の認識候補の情報を保持する。その時点で、手書きパターン10に関する認識候補が、ユーザに提示されるように、戻されることが可能である(ステップ124)。最低の累積距離値を有する認識候補が、手書きパターンの解釈としてユーザに提示されることが可能である。代替として、幾つかの認識候補が、ユーザに提示されてもよく、したがって、ユーザは、正しい解釈を選択することができる。
次に図8を参照して、手書きパターンの認識のためのデバイス30を説明する。デバイス30は、手書きパターンをポイント・シーケンスとして記録するための検出器32を含む。検出器32は、ユーザが書き込むことができる感圧スクリーンとして実施されることが可能である。デバイス30は、検出された手書きパターンを解析するためのアナライザ34を更に含む。アナライザ34は、コンピュータの中央処理装置上で実行されるプログラムとして実施されることが可能である。アナライザ34は、手書きパターンのコア・ポイントを選択するための手段と、コア・ポイントにおいて、又はコア・ポイントの近傍において手書きパターンの特徴を特定するための手段とを含む。デバイス30は、コア・ポイントの特徴として表現されたテンプレートを含むデータベース36を更に含む。アナライザ34は、手書きパターンのコア・ポイント・シーケンスの特徴とテンプレートの間の距離値を計算するための手段を更に含む。アナライザ34は、手書きパターンをテンプレートと構造的に比較するためにグラフを形成するように構成される。アナライザ34は、手書きパターンの可能な認識を形成するセグメント候補シーケンスを表す認識グラフを形成するように更に構成される。デバイス30は、許される語又は記号シーケンスを表すTrieグラフを含む辞書38を更に含む。アナライザ34は、手書きパターンと最もよくマッチする記号シーケンスを特定するために、認識グラフを辞書と比較するように更に構成される。それらの可能な認識結果は、ディスプレイ上で提示されることが可能であり、ディスプレイは、感圧スクリーンと別個であっても、手書きパターンが入力された感圧スクリーンに組み込まれていてもよい。
別の実施例によれば、前述した方法及びデバイスの実施の際に、手書きパターンの区別符号に、特別な考慮が与えられることが可能である。本願明細書の文脈では、区別符号という用語は、記号の近くの、又は記号と交差するマーク又はストロークとして解釈されるべきであり、一部のケースにおけるマーク又はストロークは、そのマーク又はストロークを有する記号が、そのマーク又はストロークを有さない記号とは別の記号であることを示し、例えば、
Figure 2008532176

a〜とa、
Figure 2008532176

tとl、一部のケースでは、区別符号なしに、記号が、それでも正しい記号と解釈されることが可能な、記号の特徴である、例えば、i及びj。筆記体の手書きでは、多くの区別符号は、語の残りの部分が書かれた後に、引かれる。区別符号は、認識のために重要である。そうである1つの理由は、筆記体の語における多くのセグメントが、区別符号なしの記号とマッチする可能性があることであり、例えば、ドットなしの「i」は、別の文字の一部であると解釈される可能性がある。
筆記体の語を、時間的に並べ替えられた文字セグメントに分解するセグメント化ベースの方法、例えば、本願明細書で前述した方法の場合、正しい認識を可能にするために、区別符号を考慮することが重要である可能性がある。
区別符号の情報を利用する一実施例では、図1のステップ106で、区別符号に関する情報は、特徴として、コア・ポイント・サブセットに割り当てられる。したがって、区別符号と関係する情報は、コア・ポイントに存在し、そのため、可能な記号をテンプレートと比較することの結果に影響を与える要因として、認識中に利用されることが可能である。
区別符号は、手書きパターンにおいて、結合されていないつなぎの線として、即ち、いずれのセグメントにも結合されておらず、つなぎとして識別されているストロークとして識別されることが可能である。
コア・ポイント・サブセットのコア・ポイントに割り当てられる特徴において使用されることが可能な特性は、区別符号の位置、即ち、x座標とy座標、その特定のコア・ポイントから区別符号までの絶対距離、x方向におけるコア・ポイントから区別符号までの距離、y方向におけるコア・ポイントから区別符号までの距離、区別符号の長さ、区別符号の形状などであることが可能である。コア・ポイントに割り当てられた区別符号と関係する特徴は、以上の特性の1つだけ、又は複数の特性の組合せを含むことが可能である。
区別符号が割り当てられたコア・ポイント・サブセットは、そのサブセットが、N又はMとラベルが付けられたコア・ポイント12だけを含むように構成されることが可能である。これにより、本方法は、すべてのコア・ポイントが含まれたとした場合より、高速になる。
区別符号特徴は、逐次解析における現在のノード22の距離値にペナルティを与えるために、コア・ポイント12の逐次解析中に使用されることが可能である。例えば、現在のノード22に関して、示唆される記号、即ち、候補が、「i」であり、区別符号が、そのノード22に関連するコア・ポイント12に適度に近い場合、そのノード22には、比較的小さいペナルティが与えられることが可能である。コア・ポイント12と区別符号の間のより大きい距離は、より大きいペナルティをもたらす。最大のペナルティは、区別符号を有すべき候補の欠落した区別符号に関して与えられるペナルティに相当する値に設定されることが可能であり、そのような最大のペナルティは、区別符号までの距離が、或る特定の値を超える場合の候補に与えられることが可能である。逐次解析中の区別符号特徴の使用により、区別符号が、グラフ20の形成中にグラフ20の累積距離値に影響を与えるようにさせることが可能になる。このことは、文字「i」及び「j」に関して特に関心を引く。というのは、それらの文字の構造の単純さのため、区別符号が考慮されない場合、他の文字/記号の諸部分が、「i」又は「j」として誤って解釈されるという潜在的なリスクがもたらされるからである。したがって、前述のスキームにより、「i」及び/又は「j」を候補/候補群として含み、その候補の最初のコア・ポイントから適当な距離の範囲内に位置する区別符号を有するパスが、有利にされる。また、逐次解析中の区別符号特徴の使用は、他の記号又は文字に関して実施されることも可能である。
認識プロセスにおいて区別符号に関する情報を利用する方法は、一実施例によれば、N又はMというラベルを有する各コア・ポイント12に関して、最も近い区別符号ポイントを特定し、区別符号特徴を、前述した通り、そのような各コア・ポイントに関連付けることであることが可能である。別の実施例によれば、最も近い区別符号ポイントの特徴は、N又はMというラベルを有する各コア・ポイント12に割り当てられ、最も近い区別符号ポイントは、コア・ポイントから所定の距離の範囲内である。区別符号特徴を割り当てた後、手書きパターン10のセグメント化を表すグラフ20の構築中、区別符号を含む記号とマッチしたセグメント化、即ち、候補記号は、そのセグメント化の開始Nコア・ポイント又は開始Mコア・ポイントまでの距離と関係する値によってペナルティが与えられることが可能である。必要なすべてのNコア・ポイント及びMコア・ポイントに区別符号の特徴が割り当てられるわけではない実施例において、最大のペナルティは、区別符号を有することになっており、その候補のNコア・ポイント又はMコア・ポイントに区別符号の特徴が割り当てられていないノードに与えられる。
更に、区別符号が明らかに必要とされていない箇所で区別符号を有する、セグメント化グラフにおけるエッジに沿ったパスからもたらされる候補語には、そのような候補語を辞書とマッチさせた後、ペナルティが与えられることが可能である。辞書の使用については、本願明細書において前段で説明した。候補語が、区別符号が明らかに必要とされていない箇所で区別符号を含むかどうかを判定するのに使用されることが可能な一方法は、その候補語が、多過ぎる区別符号を含むかどうかをチェックすることである。そうすることは、候補語に含まれる区別符号の数を、その候補語をもたらすパスにおいて識別される区別符号の数と比較し、次に、その候補語の余剰の区別符号にペナルティを与えることによって達せられることが可能である。
例えば、
A−B>0の場合、ペナルティ=係数・(A−B)
A−B<0の場合、ペナルティ=0
A=区別符号の最大級(候補語)
B=区別符号の観察される数(候補語をもたらすパス)
候補語をもたらすパスにおける区別符号の観察される数は、結合されていないつなぎの線、即ち、いずれのセグメントにも結合されておらず、つなぎとして識別されているストロークの数を数えることによって得られることが可能である。
更なる実施例によれば、未使用の区別符号には、もたらされる候補語と、その候補語をもたらすパスの間で区別符号マッチ検査を適用することによってペナルティが与えられることが可能である。そうすることは、候補語に含まれる区別符号の数を、その候補語をもたらすパスにおいて識別された区別符号の数と比較し、次に、その候補語において欠落している区別符号にペナルティを与えることによって達せられることが可能である。
例えば、
B−A>0の場合、ペナルティ=係数・(B−A)
B−A<0の場合、ペナルティ=0
A=区別符号の数(候補語)
B=区別符号の観察される数(候補語をもたらすパス)
以上のスキームを使用することにより、システムは、例えば、「blind」という語をblindとして認識することが、その書かれたテキストの文字「i」が、文字「e」によりよく似ており、「blend」という語をもたらす可能性があるケースでも、更に、ドットが、多少、誤った位置に置かれている場合でも、できる。
本願明細書で説明する好ましい実施例は、全く限定するものではなく、多数の代替の実施例が、添付の特許請求の範囲によって定義される保護の範囲内で可能であることが、強調されなければならない。
手書きパターンを認識するための方法を示す流れ図である。 手書きパターンをテンプレートと比較するために使用されるべき、選択されたセグメント化ポイントを示す手書きパターンの例を示す図である。 手書きパターンをテンプレートと比較するための方法を示す流れ図である。 テンプレートと手書きパターンの間の距離値を特定するために形成されているグラフのチャートである。 認識グラフを辞書と比較するための方法を示す流れ図である。 手書きパターンの可能な認識から形成されている認識グラフの実施例を示す図である。 辞書の実施例を示す図である。 本発明の或る実施例による、手書きパターンを認識するためのデバイスを示す概略図である。

Claims (20)

  1. 1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するための方法であって、
    前記手書きパターンをセグメント化して、前記手書きパターンのこれらのセグメントを記号として認識する際に使用するために、前記手書きパターンにおける可能なセグメント化ポイントを選択すること、
    前記手書きパターンのセグメントを、或る記号、又は或る記号の一部を表すテンプレートと比較することであって、前記手書きパターンのセグメントは、第1のセグメント化ポイントから第2のセグメント化ポイントまでの可能なセグメント化ポイントのシーケンスに対応し、前記比較は、前記手書きパターンの前記セグメントの可能な認識結果を形成するテンプレートに関連するセグメント候補を戻し、各セグメント候補は、前記テンプレートと、前記手書きパターンの前記セグメントとの間のマッチの測度に関連する、比較すること、
    前記手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを含む、セグメント候補シーケンスの表現を形成することであって、データ・ブロックは、後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンスを含み、前記リファレンスは、セグメント候補の情報と、前記セグメント化ポイント間の前記手書きパターンの前記セグメントに関する関連する測度とを含む、形成すること、
    前記セグメント候補シーケンスの前記表現を、記号シーケンスとして表現される辞書と比較することであって、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する、比較すること、
    前記辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出すこと、及び
    これらの許される記号シーケンスの少なくとも1つを、前記手書きパターンに関する認識候補として戻すことを含む方法。
  2. 前記セグメント候補シーケンスの前記表現を辞書と前記比較することは、セグメント化ポイントのシーケンスにおいて先を調べることを含む、請求項1に記載の方法。
  3. セグメント候補シーケンスと前記手書きパターンの間のマッチの累積測度が、前記認識候補間のランク付け順序を決定するために使用される、請求項1又は2に記載の方法。
  4. セグメント候補シーケンスの表現を前記形成することは、ノードと、エッジとを有する認識グラフを形成することを含み、各ノードは、可能なセグメント化ポイントを表し、各エッジは、1つのノードから別のノードまでのセグメント化ポイントのシーケンスに沿ったパスを表し、前記パスは、前記手書きパターンにおける可能な記号に対応し、セグメント候補と、前記手書きパターンの前記セグメントとの間のマッチに対応する少なくとも1つの測度に関連する、請求項1から3までのいずれか一項に記載の方法。
  5. 表現を前記形成することは、特定された数のセグメント候補だけが、1つのノードで終わることを許すことを含む、請求項4に記載の方法。
  6. 前記特定された数は、セグメント候補シーケンスの前記表現を前記辞書と前記比較する速度を制御するために調整されることが可能である、請求項5に記載の方法。
  7. 前記許されるセグメント候補は、最良のマッチ測度を有するセグメント候補である、請求項5又は6に記載の方法。
  8. 前記認識グラフを前記形成することは、同一のノード間の同一の記号シーケンスに対応するパスのダブレットを破棄することを含む、請求項4から7までのいずれか一項に記載の方法。
  9. 前記辞書は、Trieグラフとして表現される、請求項4から8までのいずれか一項に記載の方法。
  10. セグメント候補シーケンスの前記表現を辞書と前記比較することは、前記認識グラフの前記ノードを段階的に進み、それらのノードを、前記Trieグラフにおけるノードと比較することを含む、請求項9に記載の方法。
  11. 前記比較することは、セグメント候補を表す前記認識グラフにおける前記エッジから、前記Trieグラフにおける対応するノードへのリファレンスを作成することを含む、請求項10に記載の方法。
  12. セグメント候補シーケンスは、前記認識グラフにおけるノードを段階的に進む間に、前記セグメント候補シーケンスが、前記Trieグラフにおいて対応物を全く有さないとすぐに、破棄される、請求項10又は11に記載の方法。
  13. 前記認識グラフにおけるノードを前記Trieグラフにおけるノードと比較することは、前記セグメント候補シーケンスの残りの部分における記号の可能な数を、前記Trieグラフにおける後続の記号の許される数に対してチェックすることを含む、請求項10から12までのいずれか一項に記載の方法。
  14. 前記辞書の中の不完全な記号シーケンスに対応するセグメント候補シーケンスが、許される、請求項1から13までのいずれか一項に記載の方法。
  15. 前記セグメント候補シーケンスにおいて欠落したセグメント候補をもたらす前記手書きパターンにおける省略されたセグメントが、セグメント候補を前記辞書の中の対応しない記号にマッチさせ、前記セグメント候補に関連する測度にペナルティを追加することによって認識される、請求項1から14までのいずれか一項に記載の方法。
  16. マッチの前記測度は、前記手書きパターンの特徴と、前記テンプレートの対応する特徴の間の相違の計算された距離値である、請求項1から15までのいずれか一項に記載の方法。
  17. 前記手書きパターンは、筆記体で書かれる、請求項1から16までのいずれか一項に記載の方法。
  18. 前記手書きパターンは、オンラインで検出される、請求項1から17までのいずれか一項に記載の方法。
  19. 1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するためのデバイスであって、
    前記手書きパターンをセグメント化して、前記手書きパターンの、これらのセグメントを記号として認識する際に使用するために、前記手書きパターンにおける可能なセグメント化ポイントを選択するための手段と、
    前記手書きパターンのセグメントを、或る記号、又は或る記号の一部を表すテンプレートと比較するための手段であって、前記手書きパターンのセグメントは、第1の可能なセグメント化ポイントから第2の可能なセグメント化ポイントまでのセグメント化ポイントのシーケンスに対応し、前記比較は、前記手書きパターンの前記セグメントの可能な認識結果を形成するテンプレートに関するセグメント候補を戻し、各セグメント候補は、前記テンプレートと、前記手書きパターンの前記セグメントとの間のマッチの測度に関連する、手段と、
    前記手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを含む、セグメント候補シーケンスの表現を形成するための手段であって、データ・ブロックは、セグメント候補の情報と、前記セグメント化ポイント間の前記手書きパターンの前記セグメントに関する関連する測度とを保持する、後続のセグメント化ポイントへのリファレンスを保持する、手段と、
    前記セグメント候補シーケンスの前記表現を、記号シーケンスとして表現される辞書と比較するための手段であって、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する、手段と、
    前記辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出すための手段と、
    これらの許される記号シーケンスの少なくとも1つを、前記手書きパターンに関する認識候補として戻すための手段とを含むデバイス。
  20. 請求項1から18までのいずれか一項に記載の方法を実行するためのソフトウェア・コード部分を含む、データ処理ユニットの内部メモリに直接に読み込み可能な、コンピュータ・プログラム製品。
JP2007557966A 2005-02-28 2006-02-24 認識グラフ Expired - Fee Related JP5071914B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0500465-0 2005-02-28
SE0500465 2005-02-28
PCT/SE2006/000241 WO2006091156A1 (en) 2005-02-28 2006-02-24 Recognition graph

Publications (2)

Publication Number Publication Date
JP2008532176A true JP2008532176A (ja) 2008-08-14
JP5071914B2 JP5071914B2 (ja) 2012-11-14

Family

ID=36927695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007557966A Expired - Fee Related JP5071914B2 (ja) 2005-02-28 2006-02-24 認識グラフ

Country Status (8)

Country Link
US (1) US7756335B2 (ja)
EP (1) EP1854048A1 (ja)
JP (1) JP5071914B2 (ja)
KR (1) KR20070110399A (ja)
CN (1) CN101128838B (ja)
RU (1) RU2007135945A (ja)
TW (1) TWI321294B (ja)
WO (1) WO2006091156A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072515A1 (ja) * 2014-11-06 2016-05-12 国立研究開発法人科学技術振興機構 流れパターンの正規表現作成方法、正規表現作成装置、および、コンピュータが実行可能なプログラム

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712053B2 (en) 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US7679534B2 (en) * 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7720682B2 (en) 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
CA2392446C (en) 1999-05-27 2009-07-14 America Online Incorporated Keyboard system with automatic correction
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7821503B2 (en) 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US8583440B2 (en) 2002-06-20 2013-11-12 Tegic Communications, Inc. Apparatus and method for providing visual indication of character ambiguity during text entry
US7636083B2 (en) * 2004-02-20 2009-12-22 Tegic Communications, Inc. Method and apparatus for text input in various languages
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7907756B2 (en) * 2005-01-31 2011-03-15 Siemens Medical Solutions Usa, Inc. System and method for validating an image segmentation algorithm
US8504606B2 (en) * 2005-11-09 2013-08-06 Tegic Communications Learner for resource constrained devices
US7587378B2 (en) 2005-12-09 2009-09-08 Tegic Communications, Inc. Embedded rule engine for rendering text and other applications
US7580925B2 (en) * 2006-04-19 2009-08-25 Tegic Communications, Inc. Efficient storage and search of word lists and other text
CN101611417B (zh) * 2006-12-01 2012-07-04 Zi德库玛股份公司 用于字符识别的方法
US7907783B2 (en) * 2007-01-24 2011-03-15 Samsung Electronics Co., Ltd. Apparatus and method of matching symbols in a text image coding and decoding system
US8225203B2 (en) 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
US8201087B2 (en) 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
JP4940973B2 (ja) * 2007-02-02 2012-05-30 富士通株式会社 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
US8103499B2 (en) * 2007-03-22 2012-01-24 Tegic Communications, Inc. Disambiguation of telephone style key presses to yield Chinese text using segmentation and selective shifting
US8299943B2 (en) 2007-05-22 2012-10-30 Tegic Communications, Inc. Multiple predictions in a reduced keyboard disambiguating system
US8020119B2 (en) * 2007-12-14 2011-09-13 Microsoft Corporation Engine support for parsing correction user interfaces
US8270666B2 (en) 2008-02-12 2012-09-18 Certusview Technologies, Llc Searchable electronic records of underground facility locate marking operations
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
US8672225B2 (en) 2012-01-31 2014-03-18 Ncr Corporation Convertible barcode reader
US8532342B2 (en) 2008-02-12 2013-09-10 Certusview Technologies, Llc Electronic manifest of underground facility locate marks
US20110103713A1 (en) * 2008-03-12 2011-05-05 Hans Christian Meyer Word length indexed dictionary for use in an optical character recognition (ocr) system
US8634645B2 (en) * 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8902251B2 (en) 2009-02-10 2014-12-02 Certusview Technologies, Llc Methods, apparatus and systems for generating limited access files for searchable electronic records of underground facility locate and/or marking operations
US8572193B2 (en) 2009-02-10 2013-10-29 Certusview Technologies, Llc Methods, apparatus, and systems for providing an enhanced positive response in underground facility locate and marking operations
KR101080254B1 (ko) * 2009-06-02 2011-11-08 (주)펜앤프리 터치스크린을 이용한 필기 입력 방법 및 이를 이용한 필기 입력 장치
US8310461B2 (en) 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
CA2815998C (en) 2010-08-11 2016-09-13 Certusview Technologies, Llc Methods, apparatus and systems for facilitating generation and assessment of engineering plans
CN102385707A (zh) * 2010-08-30 2012-03-21 阿里巴巴集团控股有限公司 一种数字图像识别的方法、装置及爬虫服务器
US20120281919A1 (en) * 2011-05-06 2012-11-08 King Abdul Aziz City For Science And Technology Method and system for text segmentation
US10254952B2 (en) 2012-09-26 2019-04-09 Google Llc Progress display of handwriting input
US9026428B2 (en) 2012-10-15 2015-05-05 Nuance Communications, Inc. Text/character input system, such as for use with touch screens on mobile phones
US20150371100A1 (en) * 2014-06-23 2015-12-24 Xerox Corporation Character recognition method and system using digit segmentation and recombination
US9767145B2 (en) * 2014-10-10 2017-09-19 Salesforce.Com, Inc. Visual data analysis with animated informational morphing replay
US10049141B2 (en) 2014-10-10 2018-08-14 salesforce.com,inc. Declarative specification of visualization queries, display formats and bindings
US9600548B2 (en) 2014-10-10 2017-03-21 Salesforce.Com Row level security integration of analytical data store with cloud architecture
US9449188B2 (en) 2014-10-10 2016-09-20 Salesforce.Com, Inc. Integration user for analytical access to read only data stores generated from transactional systems
US10101889B2 (en) 2014-10-10 2018-10-16 Salesforce.Com, Inc. Dashboard builder with live data updating without exiting an edit mode
TWI560641B (en) * 2015-09-03 2016-12-01 Magic Power Co Ltd A handwriting grading system and the method thereof
US10115213B2 (en) 2015-09-15 2018-10-30 Salesforce, Inc. Recursive cell-based hierarchy for data visualizations
US10089368B2 (en) 2015-09-18 2018-10-02 Salesforce, Inc. Systems and methods for making visual data representations actionable
US10332628B2 (en) * 2016-09-30 2019-06-25 Sap Se Method and system for control of an electromechanical medical device
US10311047B2 (en) 2016-10-19 2019-06-04 Salesforce.Com, Inc. Streamlined creation and updating of OLAP analytic databases
US10514841B2 (en) * 2018-04-30 2019-12-24 Microsoft Technology Licensing, Llc Multi-layered ink object
TWI676919B (zh) * 2018-08-02 2019-11-11 義守大學 一種電腦化寫字評估與訓練方法
US11604961B2 (en) 2019-04-30 2023-03-14 International Business Machines Corporation Scalable model serving
CN113850186A (zh) * 2021-09-24 2021-12-28 中国劳动关系学院 基于卷积神经网络的智能流媒体视频大数据分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316890A (ja) * 1988-06-17 1989-12-21 Fujitsu Ltd オンライン手書文字認識方式
WO2002037933A2 (en) * 2000-11-08 2002-05-16 New York University System, process and software arrangement for recognizing handwritten characters

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611346A (en) * 1983-09-29 1986-09-09 International Business Machines Corporation Method and apparatus for character recognition accommodating diacritical marks
JPS6282486A (ja) * 1985-10-08 1987-04-15 Hitachi Ltd オンライン手書き図形認識装置
US5029223A (en) * 1990-02-02 1991-07-02 International Business Machines Corporation Constraint driven-on line recognition of handwritten characters and symbols
US5727081A (en) * 1991-12-31 1998-03-10 Lucent Technologies Inc. System and method for automated interpretation of input expressions using novel a posteriori probability measures and optimally trained information processing networks
CN1025764C (zh) * 1992-05-12 1994-08-24 浙江大学 字符识别方法
US5392363A (en) * 1992-11-13 1995-02-21 International Business Machines Corporation On-line connected handwritten word recognition by a probabilistic method
CA2153684C (en) * 1993-12-01 2000-03-21 John L. C. Seybold Combined dictionary based and likely character string method of handwriting recognition
IL109268A (en) * 1994-04-10 1999-01-26 Advanced Recognition Tech Method and system for image recognition
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US6137908A (en) * 1994-06-29 2000-10-24 Microsoft Corporation Handwriting recognition system simultaneously considering shape and context information
EP0691623B1 (en) * 1994-07-04 2001-10-04 Hewlett-Packard Company, A Delaware Corporation Scribble matching
US6125207A (en) * 1995-06-05 2000-09-26 Motorola, Inc. Encoded facsimile communication with a selective system and method therefor
US6453070B1 (en) * 1998-03-17 2002-09-17 Motorola, Inc. Diacritical processing for unconstrained, on-line handwriting recognition using a forward search
US6285786B1 (en) * 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
US6249605B1 (en) * 1998-09-14 2001-06-19 International Business Machines Corporation Key character extraction and lexicon reduction for cursive text recognition
WO2000057350A1 (en) * 1999-03-19 2000-09-28 Raf Technology, Inc. Rollup functions for efficient storage, presentation, and analysis of data
JP3490703B2 (ja) * 2001-03-23 2004-01-26 ライズ株式会社 アウトラインフォント情報に基づく文字処理方法及びその方法をコンピュータシステムに実行させるためのコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体
US7174043B2 (en) * 2003-02-25 2007-02-06 Evernote Corp. On-line handwriting recognizer
SE528063C2 (sv) * 2004-11-12 2006-08-22 Zi Decuma Ab Metod och anordning för segmenteringsbaserad igenkänning
KR101145986B1 (ko) * 2005-02-28 2012-05-21 지 데쿠마 아베 세그먼트화-기반 인식

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316890A (ja) * 1988-06-17 1989-12-21 Fujitsu Ltd オンライン手書文字認識方式
WO2002037933A2 (en) * 2000-11-08 2002-05-16 New York University System, process and software arrangement for recognizing handwritten characters

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072515A1 (ja) * 2014-11-06 2016-05-12 国立研究開発法人科学技術振興機構 流れパターンの正規表現作成方法、正規表現作成装置、および、コンピュータが実行可能なプログラム
JPWO2016072515A1 (ja) * 2014-11-06 2017-08-17 国立研究開発法人科学技術振興機構 流れパターンの正規表現作成方法、正規表現作成装置、および、コンピュータが実行可能なプログラム
US10540460B2 (en) 2014-11-06 2020-01-21 Japan Science And Technology Agency Flow pattern regular expression creating method, regular expression creating apparatus, and computer-executable program

Also Published As

Publication number Publication date
WO2006091156A1 (en) 2006-08-31
KR20070110399A (ko) 2007-11-16
JP5071914B2 (ja) 2012-11-14
US20060239560A1 (en) 2006-10-26
EP1854048A1 (en) 2007-11-14
RU2007135945A (ru) 2009-04-10
CN101128838B (zh) 2011-11-16
US7756335B2 (en) 2010-07-13
CN101128838A (zh) 2008-02-20
TWI321294B (en) 2010-03-01
TW200703129A (en) 2007-01-16

Similar Documents

Publication Publication Date Title
JP4787275B2 (ja) セグメント化ベースの認識
JP5071914B2 (ja) 認識グラフ
US20210034850A1 (en) System and method of character recognition using fully convolutional neural networks with attention
EP1971957B1 (en) Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text
US9711117B2 (en) Method and apparatus for recognising music symbols
CN110114776B (zh) 使用全卷积神经网络的字符识别的系统和方法
US7580573B2 (en) Segmentation-based recognition
EP2138959B1 (en) Word recognizing method and word recognizing program
Singh et al. Online handwritten Gurmukhi words recognition: An inclusive study
Khayyat et al. Arabic handwritten word spotting using language models
Tang et al. Reconstructing the correct writing sequence from a set of Chinese character strokes
Vyas et al. A comprehensive survey of handwritten character segmentation
JP7095450B2 (ja) 情報処理装置、文字認識方法、および文字認識プログラム
JPH1049630A (ja) オンライン手書き文字認識方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110506

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110805

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110909

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20111006

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20120327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees