JP2005505866A

JP2005505866A - 文字認識

Info

Publication number: JP2005505866A
Application number: JP2003536972A
Authority: JP
Inventors: ジョナソン，レイナッパー，
Original assignee: シルバーブルックリサーチピーティワイリミテッド
Priority date: 2001-10-15
Filing date: 2002-10-15
Publication date: 2005-02-24
Also published as: CA2463098A1; US20100278429A1; US20050018906A1; IL161382A; CN1571977A; KR100716594B1; US20090074295A1; EP1444640B1; DE60220537D1; IL161382A0; CA2463098C; US8363948B2; US7903879B2; KR20050036862A; US8019160B2; DE60220537T2; US7469062B2; AUPR824401A0; US20110110593A1; EP1444640A4

Abstract

本発明は、手書き文字を分類するための分類体系を変更し、それによって、分類体系をユーザ依存型にする方法を提供する。分類体系は、いくつかの異綴り体を含み、それぞれの異綴り体は、それぞれの字体のそれぞれの様式を表現する。この方法は、少なくとも１つの手書き文字を受け取り、そして、その文字を表現する異綴り体を選択することを含む。そして、１つまたはそれ以上の異綴り体が、その選択に基づいて変更され、それによって、そのユーザによって使用される字体の様式にその異綴り体が対応することになる。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、分類体系を変更するための方法および装置に関する。より詳細には、変更は、ユーザ非依存型分類体系がユーザ依存型分類体系に変更されるようになされる。
【背景技術】
【０００２】
この明細書において参照されるすべての従来技術は、それらの従来技術が一般的に良く知られている知識の一部しか構成しない限り、本発明を想到させまたは何らかの形で示唆するものではなく、また、そのようなものであるとみなされるべきではない。
【０００３】
一般的には、手書き文字認識システムは、それらのシステムが一人のユーザの特定の書き方だけを認識するように訓練されていることを意味する筆者（書き手）依存型と、それらのシステムがどのようなユーザの書き方をも認識するように訓練されていることを意味する筆者非依存型とに分類される。筆者依存型システムは、一人のユーザの書体をモデル化するだけでよいので、通常、筆者非依存型システムよりも正確な認識（特定のユーザに対して）を提供することができる。しかしながら、一般的には、それらの筆者依存型システムは、ユーザに固有の訓練を実施することができるように、大量の訓練情報をユーザが入力する必要がある。それとは逆に、一般的に、筆者非依存型システムは、多数のユーザから得られた訓練データのコーパスを用いて開発されているので、ユーザに固有の訓練を必要としない。これらのシステムは、ストロークおよび字体構成における様々な様式的変種を考慮に入れなければならないので、文字クラス間における混同を発生させる可能性がより高い。
【０００４】
筆者適応は、ユーザによって提供されたデータを用いて、筆者非依存型認識システムを筆者依存型システムに変換するプロセスである。適応システムは、ユーザが訓練データを入力するという時間のかかるプロセスを実行することを必要としないので、魅力的なものであり、そして、時間が経てば、筆者依存型システムの認識精度に近づくことができる。これに加えて、適応システムは、ユーザの書き方が経時的に変化することに適応することができる。
【０００５】
適応システムを開発する際の１つの問題は、得られた適応が改善された認識をもたらすことを保証することである。入念に実施されなければ、適応処理は、例えば、間違ってラベルを付されたプロトタイプを包含することによって、あるいは、不適切なパターンまたは曖昧なパターンに適応することによって、特定のユーザに対する全体的な認識率を低下させる場合がある。その結果として、多くの適応システムは、適応を実現するために、筆者からの指導を必要とし、適応のために使用されるデータが適切なものであり且つ正しくラベルを付されたものであることを保証するために、ユーザとの対話を用いる。この例が、米国特許第５，９１７，９２４号、米国特許第５，７５４，６８６号、米国特許第５，５４４，２６０号、および、米国特許第５，５５０，９３０号に記載されている。
【０００６】
これは、退化的な適応の発生を抑制することができるが、ユーザは、時間がかかり退屈であるかもしれない多くの操作に没頭しなければならない。
【０００７】
適応識別器は、システムがユーザの特定の書体に適応できるように、ある種の学習プロセスを使用しなければならない。教師あり学習は、そのようなプロセスであり、それによって、識別器の動作は、一組のサンプルの正しいラベル付け（すなわち、それぞれのサンプルの正しいカテゴリーが供給される）に基づいて変更される。しかしながら、一般的には、この情報は、ユーザの介入がなければ、適応システムは利用することができない。なぜなら、ラベルが付された利用することのできる情報だけが、識別器自身の出力であるからである。あるいは、教師なし学習技術（自己組織化学習としても知られている）は、ラベルが付されたサンプルを学習プロセスに必要とせず、したがって、正しい結果のわからない適応システムには適している。
【０００８】
競合学習は、システムの要素が活性化されるためにお互いに競合する教師なし学習プロセスであり、例えば、方位感受性神経細胞の自己組織化に関するＣ．ｖｏｎｄｅｒＭａｌｓｂｕｒｇ，“Ｓｅｌｆ−ＯｒｇａｎｉｓａｔｉｏｎｏｆＯｒｉｅｎｔａｔｉｏｎＳｅｎｓｉｔｉｖｅＣｅｌｌｓｉｎｔｈｅＳｔｒｉａｔｅＣｏｒｔｅｘ”．Ｋｙｂｅｒｎｅｔｉｋ，１４巻，８５〜１００頁，１９７３において説明されている。同様に、コグニトロンと呼ばれる多層ニューラルネットワークの自己組織化に関するＫ．Ｆｕｋｕｓｈｉｍａ，“Ｃｏｇｎｉｔｒｏｎ：ａＳｅｌｆ−ＯｒｇａｎｉｓｉｎｇＭｕｌｔｉｌａｙｅｒｅｄＮｅｕｒａｌＮｅｔｗｏｒｋ”．ＢｉｏｌｏｇｉｃａｌＣｙｂｅｒｎｅｔｉｃｓ，２０巻，１２１〜１３６頁，１９７５においても説明されている。また、Ｊ．Ａｍｂｒｏｓ−Ｉｎｇｅｒｓｏｎ，Ｒ．ＧｒａｎｇｅｒおよびＧ．Ｌｙｎｃｈ，“ＳｉｍｕｌａｔｉｏｎｏｆＰａｌｅｏｃｏｒｔｅｘＰｅｒｆｏｒｍｓＨｉｅｒａｒｃｈｉｃａｌＣｌｕｓｔｅｒｉｎｇ”．Ｓｃｉｅｎｃｅ，２４７巻，１３４４〜１３４８頁，１９９０に説明されるような競合学習技術のための神経生物学的位置調整もある。
【０００９】
ここで、これらの技術を説明する文献の更なる例について説明する。Ｖ．Ｖｕｏｒｉ，Ｊ．Ｌａａｋｓｏｎｅｎ，Ｅ．ＯｊａおよびＪ．Ｋａｎｇａｓ，“Ｏｎ−ｌｉｎｅＡｄａｐｔａｔｉｏｎＩｎＲｅｃｏｇｎｉｔｉｏｎｏｆＨａｎｄｗｒｉｔｔｅｎＡｌｐｈａｎｕｍｅｒｉｃＣｈａｒａｃｔｅｒｓ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｏｃｕｍｅｎｔＡｎａｌｙｓｉｓａｎｄＲｅｃｏｇｎｉｔｉｏｎ．ＩＣＤＡＲ ’９９．ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ，ＬｏｓＡｌａｍｉｔｏｓ，ＣＡ，ＵＳＡは、３つの方法の様々な組み合わせを含む手書き英数字のためのユーザ固有適応システムを説明している。３つのこれらの方法は、ｋ−ＮＮ検索に基づいてプロトタイプを追加し、有益であるよりも有害であると考えられるプロトタイプを活性化し、そして、ＳｐｒｉｎｇｅｒＳｅｒｉｅｓｉｎＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｓ．Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，１９９７，３０巻のＴ．Ｋｏｈｏｎｅｎ，“ＳｅｌｆＯｒｇａｎｉｓｉｎｇＭａｐｓ”に説明されるように、学習ベクトル量子化に基づいて、プロトタイプを作り直すことを含む。
【００１０】
識別器は、単純圧縮最近傍法に基づいたものであり、プロトタイプを圧縮するために、半自動プロトタイプクラスタリングアルゴリズムが、訓練中に使用される。入力とプロトタイプとの類似性の量を計算するために、様々な点と点、点と線、および、面積の尺度を用いた動的時間伸縮法が、使用される。プロトタイプを非活性化するためのアプローチは、教師あり学習を使用する（Ｊ．Ｌａａｋｓｏｎｅｎ，Ｖ．Ｖｕｏｒｉ，Ｅ．ＯｊａおよびＪ．Ｋａｎｇａｓ，“ＡｄａｐｔａｔｉｏｎｏｆＰｒｏｔｏｔｙｐｅＳｅｔｓＩｎＯｎ−ｌｉｎｅＲｅｃｏｇｎｉｔｉｏｎＯｆＩｓｏｌａｔｅｄＨａｎｄｗｒｉｔｔｅｎＬａｔｉｎＣｈａｒａｃｔｅｒｓ”において説明されるように、「ユーザによって報告された誤分類が、システムを修正するのに使用される」）。また、このシステムは、特定のクラスに基づいた異綴り体識別ではなくクラス内混同によって決定を行う。また、このアプローチは、２分決定に基づくものであり、混同するプロトタイプは、「活性プロトタイプの組から除去」される。
【００１１】
Ｌ．Ｓｃｈｏｍａｋｅｒ，Ｈ．Ｔｅｕｌｉｎｇｓ，Ｅ．ＨｅｌｓｐｅｒおよびＧ．Ａｂｂｉｎｋ，“ＡｄａｐｔｉｖｅＲｅｃｏｇｎｉｔｉｏｎＯｆＯｎｌｉｎｅ，ＣｕｒｓｉｖｅＨａｎｄｗｒｉｔｉｎｇ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｉｘｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＨａｎｄｗｒｉｔｉｎｇａｎｄＤｒａｗｉｎｇ．Ｐａｒｉｓ，Ｊｕｌｙ，４−７，１９９３：Ｔｅｌｅｃｏｍ，（１９〜２１頁）およびＩＷＦＨＲ III，ＣＥＤＡＲ，ＳＵＮＹＢｕｆｆａｌｏ，ＵＳＡ，Ｍａｙ２５−２７，１９９３においてデモンストレーション用に配布された印刷物であるＬ．Ｓｃｈｏｍａｋｅｒ，Ｈ．Ｔｅｕｌｉｎｇｓ，Ｇ．ＡｂｂｉｎｋおよびＥ．Ｈｅｌｓｐｅｒ“ＡｄａｐｔｉｖｅＲｅｃｏｇｎｉｔｉｏｎｏｆＯｎ−ｌｉｎｅＣｏｎｎｅｃｔｅｄ−ｃｕｒｓｉｖｅＳｃｒｉｐｔｆｏｒｕｓｅｉｎＰｅｎ−ｂａｓｅｄＮｏｔｅｂｏｏｋＣｏｍｐｕｔｅｒｓ．”は、Ｋｏｈｏｎｅｎ自己組織化マップ（ＳＯＭ）を用いてクラスタリングされたプロトタイプストロークに基づいた続け字認識システムを説明している。説明されたプロセスは、書かれた入力を認識するのに使用される筆者非依存型ストローク遷移ネットワークを使用する。
【００１２】
認識器によって出力された上位２０個の可能性のあるワードのうち１つでも辞書によって定義された正当なワードであることがわかれば、ストローク遷移ネットワークにおける値が、「ターゲットワードがワードの出力リストの最上位にくるまで、あるいは、反復回数の最大値に到達するまで、小さな増分単位で増加」させられる。適応システムは、ストローク遷移ネットワークにおける個々のストローク解釈ごとに、ユーザ固有確率を含む。
【００１３】
Ｌ．Ｈｅｕｔｔｅ，Ｔ．Ｐａｑｕｅｔ，Ａ．ＮｏｓａｒｙおよびＣ．Ｈｅｒｎｏｕｘ，“ＤｅｆｉｎｉｎｇＷｒｉｔｅｒ’ｓＩｎｖａｒｉａｎｔｓＴｏＡｄａｐｔｔｈｅＲｅｃｏｇｎｉｔｉｏｎＴａｓｋ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｏｃｕｍｅｎｔＡｎａｌｙｓｉｓａｎｄＲｅｃｏｇｎｉｔｉｏｎ，ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ，１９９８は、オフライン文字認識（ＯＣＲ）システムの認識を改善するために、形態素的筆者固有不変式を使用する。この技術は、認識プロセスの曖昧さをなくすために、文脈的知識とともに使用される筆者固有不変式を検出およびクラスタリングすることを必要とする。
【００１４】
Ｓ．ＣｏｎｎｅｌｌおよびＡ．Ｊａｉｎ，“ＬｅａｒｎｉｎｇＰｒｏｔｏｔｙｐｅｓＦｏｒＯｎ−ｌｉｎｅＨａｎｄｗｒｉｔｔｅｎＤｉｇｉｔｓ”，Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｂｒｉｓｂａｎｅ，Ａｕｓｔｒａｌｉａ，１８２〜１８４頁，Ａｕｇ．１９９８およびＧ．Ｈｉｎｔｏｎ，Ｃ．ＷｉｌｌｉａｍｓおよびＭ．Ｒｅｖｏｗ，“Ａｄａｐｔｉｖｅｅｌａｓｔｉｃｍｏｄｅｌｓｆｏｒｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ”，ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ４，ＭｏｒｇａｎＫａｕｆｍａｎｎ，ＳａｎＭａｔｅｏ，ＣＡ．のような識別器を訓練するための適応技術を用いた多くのアプローチが、提案されてきた。
【００１５】
同様に、Ｓ．ＣｏｎｎｅｌｌおよびＡ．Ｋ．Ｊａｉｎ，“ＷｒｉｔｅｒＡｄａｐｔａｔｉｏｎｏｆＯｎｌｉｎｅＨａｎｄｗｒｉｔｔｅｎＭｏｄｅｌｓ，” Ｐｒｏｃ．５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｏｃｕｍｅｎｔＡｎａｌｙｓｉｓａｎｄＲｅｃｏｇｎｉｔｉｏｎ，Ｂａｎｇａｌｏｒｅ，Ｉｎｄｉａ，４３４〜４３７頁，Ｓｅｐｔ．１９９９は、筆者適応システムを説明しており、このシステムは、筆者非依存型モデル内に存在する語彙の識別に基づいてユーザに固有の書き方を構築することを試み、そして、それらの識別器を再訓練するために、この筆者依存型モデルを使用する。このアプローチは、隠れマルコフモデル（ＨＭＭ）識別器の訓練を中核にしたものであるので、適応技術は、恐らくは、それぞれの筆者に対して１回しか実行されないであろう（ＨＭＭシステムを再訓練するのに必要な大きなオーバーヘッドのために）。これらの技術のどれもが、ユーザ入力に基づいて連続的にユーザ固有適応を達成することを試みていない。
【００１６】
米国特許第６，０３８，３４３号は、認識結果を改善するために、ユーザ非依存型「汎用認識辞書」と組み合わせて筆者固有特徴ベクトルを生成することを用いた適応技術へのアプローチを説明している。それらは、「入力文字の特徴ベクトルから複数の代替カテゴリーごとに筆者固有特徴ベクトルを予測」するために、統計的回帰を使用する。この方法は、ユーザ非依存型特徴ベクトルを筆者固有特徴ベクトルと組み合わせることによって、それらのユーザ非依存型特徴ベクトルを「修正」し、そして、それらのユーザ非依存型特徴ベクトルは、将来のユーザ入力ベクトルのための文字予測を提供するために生成的に使用される。
【００１７】
米国特許第５，９１７，９２４号は、認識プロセスにおいて候補として適合するプロトタイプの尤度を変更する適応重みを使用し、「編集モードにおける重み付け値を変更するだけ」である。すなわち、この方法は、ユーザとの対話から決定された結果に基づいてプロトタイプの重みを変更するだけである。
【００１８】
米国特許第５，７５４，６８６号は、筆者依存型モデルを記憶するために、ユーザ固有辞書を使用することへのアプローチを説明している。「認識信頼性が低ければ、警報が発せられる。警報に応答して、ユーザまたはオペレータは、その文字パターンをユーザ辞書に登録すべきかどうかを決定することができる。」パターンは、ユーザ辞書に含めるべきかどうかの適合性を自動的に評価されるが（恐らくは、既存のプロトタイプによる曖昧さの尺度を使用することによって）、認識中に、どのようにしてユーザ固有辞書プロトタイプを既存の筆者非依存型モデルと組み合わせるかについては記載されていない。
【００１９】
米国特許第６，２５６，４１０号は、筆者依存型ＨＭＭ識別器を訓練するための標準体系を説明しており、それによれば、ユーザ固有訓練データは、筆者非依存型モデルを用いて、切り出され、文字に基づいた一組のモデルが、その訓練データを用いて、反復的に訓練される。
【００２０】
米国特許第５，３１９，７２１号は、一組のユーザ非依存型プロトタイプを一組の筆者依存型プロトタイプに進化させる方法を説明している。入力ストロークデータが所定のしきい値以下でプロトタイプと一致すれば、ユーザデータは、筆者依存型プロトタイプを生成するために、既存のプロトタイプと統合され、そして、「入力シンボルと同じラベルを有する１つまたはそれ以上のスタータープロトタイプシンボル」が、削除される。ストロークデータが既存のプロトタイプと一致しなければ、新しいプロトタイプが、生成され、そして、この場合にも、同じラベルを有する１つまたはそれ以上のスタータープロトタイプが、削除される。
【００２１】
米国特許第５，５４４，２６０号においては、「文字プロトタイプを変更するために誤り訂正中に提供される情報」を使用すること、すなわち、誤って認識されたプロトタイプを更新するためにユーザによってなされる訂正ストロークを使用することが説明されている。同様に、米国特許第５，５５０，９３０号は、認識結果を記憶する方法を説明しており、ユーザから要求されると、その結果を表示し、ユーザが、識別器を訓練するために、その入力およびそれに対応するシンボルを選択するのを可能にする。
【００２２】
米国特許第５，２８５，５０５号は、識別のために重要な文字部分を強調し且つ文字間で類似する部分をあまり強調しないことによって、「同じような形をした文字の認識精度を改善するために文字プロトタイプを生成する」方法を説明している。このアプローチは、具体的には、‘ｇ’／‘ｙ’および‘Ａ’／‘Ｈ’を混同するような２つのクラスの曖昧さを識別することに取り組むものである。
【発明の開示】
【００２３】
範囲の広い第１の形態において、本発明は、手書き文字を分類するための分類体系を変更し、それによって、上記分類体系をユーザ依存型にする方法を提供し、上記分類体系は、いくつかの異綴り体を含み、それぞれの上記異綴り体は、それぞれの字体のそれぞれの様式を表現し、上記方法は、
ａ）少なくとも１つの手書き文字を受け取り、
ｂ）上記文字を表現する１つの異綴り体を選択し、
ｃ）上記選択に基づいて１つまたはそれ以上の上記異綴り体を変更する。
【００２４】
典型的には、上記方法は、上記選択された異綴り体が上記ユーザによって使用されるそれぞれの上記字体の様式に対応することをもたらすように、上記異綴り体を変更することを含む。
【００２５】
上記分類体系は、いくつかのクラスを含み、それぞれの上記クラスは、それぞれの上記字体を表現し、且つ、１つまたはそれ以上の上記異綴り体を含み、上記方法は、
ａ）上記文字を表現するクラスを選択し、それによって、上記文字によって表現される上記字体を決定し、
ｂ）それぞれの上記クラスにおける１つまたはそれ以上の上記異綴り体を変更することを含む。
【００２６】
典型的には、それぞれの上記異綴り体は、１つまたはそれ以上のプロトタイプを含み、それぞれの上記プロトタイプは、それぞれの上記異綴り体における変種を表現し、上記方法は、
ａ）少なくともいくつかのプロトタイプに対して、上記文字とそれぞれの上記プロトタイプとの類似性に基づいて、選択値を決定し、
ｂ）上記決定された選択値に基づいて、それぞれの上記プロトタイプの中から１つを選択することを含む。
【００２７】
一般的には、上記方法は、上記選択されたプロトタイプに基づいて、上記クラスを選択することを含む。
【００２８】
上記方法は、通常、上記選択されたプロトタイプに基づいて、上記異綴り体を選択することを含む。
【００２９】
典型的には、それぞれの上記プロトタイプは、プロトタイプベクトルとして表現され、それぞれの上記プロトタイプベクトルは、いくつかの値から構成され、それぞれの上記値は、それぞれの上記プロトタイプのそれぞれの特徴を定量化する。この場合、典型的には、上記選択値を決定する方法は、
ａ）上記文字を表現する特徴ベクトルを決定し、上記特徴ベクトルは、いくつかの値から構成され、それぞれの上記値が、上記文字のそれぞれの特徴を定量化し、
ｂ）上記特徴ベクトルとそれぞれの上記プロトタイプベクトルとの距離を表現する距離値を決定することを含む。
【００３０】
それぞれの上記異綴り体は、好ましくは、対応する重み付けを含み、この場合、上記方法は、
ａ）上記重み付けに基づいて、上記異綴り体を選択し、
ｂ）１つまたはそれ以上の上記異綴り体の重み付けを変更することによって、上記異綴り体を変更することを含む。
【００３１】
あるいは、上記方法は、上記ユーザによって使用されない上記異綴り体をただ単に除去することを含んでもよいが、これは、一般的に、あまり正確なものではないことがわかる。
【００３２】
典型的には、上記選択値は、上記決定された距離値と、それぞれの上記異綴り体に対応する上記重み付けとに基づいて、決定される。
【００３３】
典型的に、上記方法は、少なくとも上記選択されたプロトタイプを含む異綴り体の重み付けを変更することを含む。
【００３４】
通常、上記方法は、最も小さな選択値を有するプロトタイプを選択することを含む。
【００３５】
上記重み付けを変更する方法は、
ａ）上記選択されたプロトタイプを含む異綴り体に対する重み付けを減少させ、
ｂ）上記選択されたプロトタイプを含まない１つまたはそれ以上の異綴り体に対する重み付けを増加させる、
ことの少なくとも１つを含んでもよい。
【００３６】
一般的には、上記方法は、上記異綴り体の重み付けを予め定められた量だけ増加および／または減少させることを含む。
【００３７】
あるいは、上記方法は、
ａ）変更されるべき異綴り体ごとに基準プロトタイプを選択し、
ｂ）上記基準プロトタイプごとに上記距離値を決定し、
ｃ）上記決定された距離値の平均値を決定し、
ｄ）それぞれの上記基準プロトタイプの上記距離値と平均距離値とに基づいて、それぞれの上記異綴り体の重み付けを変更する、
ことを含んでもよい。
【００３８】
この場合、通常、上記基準プロトタイプは、それぞれの上記異綴り体に対して最も小さな距離値を有するプロトタイプである。
【００３９】
典型的には、上記方法は、処理システムを用いて実行され、上記処理システムは、
ａ）上記異綴り体を表現する異綴り体データを記憶する記憶装置と、
ｂ）プロセッサと、を含み、
上記プロセッサは、
i）上記手書き文字を受け取り、
ii）上記異綴り体を選択し、
iii）１つまたはそれ以上の上記異綴り体を変更する、
ように構成される。
【００４０】
範囲の広い第２の形態において、本発明は、手書き文字を分類するための分類体系を変更し、それによって、上記分類体系をユーザ依存型にするための装置を提供し、上記装置は、
ａ）いくつかの異綴り体を表現する異綴り体データを記憶するための記憶装置であって、それぞれの上記異綴り体は、それぞれの字体のそれぞれの様式を表現する、上記記憶装置と、
ｂ）プロセッサと、を含み、
上記プロセッサは、
i）少なくとも１つの上記手書き文字を受け取り、
ii）上記文字を表現する異綴り体を選択し、
iii）上記選択に基づいて、上記異綴り体データを変更し、それによって、１つまたはそれ以上の上記異綴り体を変更する、
ように構成される。
【００４１】
この場合、典型的には、上記異綴り体データは、それぞれの上記異綴り体に対応する重み付けを含み、上記プロセッサは、上記重み付けを変更することによって、上記異綴り体データを変更するように構成される。
【００４２】
また、上記記憶装置は、クラスデータを記憶するように構成されてもよく、上記クラスデータは、いくつかのクラスを表現し、それぞれの上記クラスは、それぞれの字体を表現し、且つ、１つまたはそれ以上の上記異綴り体を含む。
【００４３】
上記記憶装置は、プロトタイプを表現するプロトタイプデータを記憶するように構成されてもよく、それぞれの上記異綴り体は、１つまたはそれ以上の上記プロトタイプを含み、それぞれの上記プロトタイプは、それぞれの上記異綴り体における変種を表現する。
【００４４】
上記プロセッサは、好ましくは、本発明による範囲の広い第１の形態の方法を実行するように構成される。
【００４５】
範囲の広い第３の形態において、本発明は、ユーザ依存型分類体系を用いて手書き文字を分類する方法を提供し、上記分類体系は、いくつかの異綴り体を含み、それぞれの上記異綴り体は、それぞれの字体のそれぞれの様式を表現し、且つ、ユーザ依存性を表現するそれぞれの重み付けを有し、それぞれの上記異綴り体は、１つまたはそれ以上のプロトタイプを含み、それぞれの上記プロトタイプは、それぞれの上記異綴り体における変種を表現し、上記方法は、
ａ）少なくとも１つの手書き文字を受け取り、
ｂ）少なくともいくつかの上記プロトタイプに対して、上記文字とそれぞれの上記プロトタイプとの類似性と、それぞれの上記プロトタイプを含む上記異綴り体の重み付けとに基づいて、選択値を決定し、
ｃ）上記決定された選択値に基づいて、それぞれの上記プロトタイプの中から１つを選択し、
ｄ）上記選択されたプロトタイプに基づいて、上記文字を分類する、
ことを含む。
【００４６】
それぞれの上記プロトタイプは、プロトタイプベクトルとして表現されてもよく、それぞれの上記プロトタイプベクトルは、いくつかの値から構成され、それぞれの上記値は、それぞれの上記プロトタイプのそれぞれの特徴を定量化する。この場合、典型的には、上記選択値を決定する方法は、
ａ）上記文字を表現する特徴ベクトルを決定し、上記特徴ベクトルは、いくつかの値から構成され、それぞれの上記値は、上記文字のそれぞれの特徴を定量化し、
ｂ）上記特徴ベクトルとそれぞれの上記プロトタイプベクトルとの距離を表現する距離値を決定し、
ｃ）上記決定された距離値と、それぞれの上記異綴り体に対応する重み付けとに基づいて、上記選択値を決定することを含む。
【００４７】
上記分類体系は、いくつかのクラスを含んでもよく、それぞれの上記クラスは、それぞれの字体を表現し、且つ、１つまたはそれ以上の上記異綴り体を含む。この場合、通常、上記方法は、上記選択されたプロトタイプに基づいて、クラスを選択することを含み、それによって、上記文字によって表現される上記字体を決定する。
【００４８】
一般的には、上記分類体系は、本発明による範囲の広い第１の形態の方法に基づいて、変更される。
【００４９】
一般的には、上記方法は、処理システムを使用することを含み、上記処理システムは、
ａ）i）上記異綴り体およびそれに対応する重み付けを表現する異綴り体データと、
ii）上記プロトタイプを表現するプロトタイプデータと、
を記憶するための記憶装置と、
ｂ）プロセッサと、を含み、
上記プロセッサは、
i）上記手書き文字を受け取り、
ii）上記選択値を決定し、
iii）上記プロトタイプを選択し、
iv）上記文字を分類する、
ように構成される。
【００５０】
範囲の広い第４の形態において、本発明は、ユーザ依存型分類体系を用いて手書き文字を分類するための装置を提供し、上記装置は、
ａ）i）いくつかの異綴り体およびそれぞれの上記異綴り体に対応する重み付けを表現する異綴り体データであって、それぞれの上記異綴り体は、それぞれの字体のそれぞれの様式を表現し、上記重み付けは、上記異綴り体のユーザ依存性を表現する、上記異綴り体データと、
ii）１つまたはそれ以上のプロトタイプを表現するプロトタイプデータであって、それぞれの上記プロトタイプは、それぞれの上記異綴り体における変種を表現する、上記プロトタイプデータと、
を記憶するための記憶装置と、
ｂ）プロセッサと、を含み、
上記プロセッサは、
i）少なくとも１つの手書き文字を受け取り、
ii）少なくともいくつかの上記プロトタイプに対して、上記文字とそれぞれの上記プロトタイプとの類似性と、それぞれの上記プロトタイプを含む上記異綴り体の重み付けとに基づいて、選択値を決定し、
iii）上記決定された選択値に基づいて、それぞれの上記プロトタイプの中から１つを選択し、
iv）上記選択されたプロトタイプに基づいて、上記文字を分類する、
ように構成される。
【００５１】
この場合、上記記憶装置は、いくつかのクラスを表現するクラスデータを記憶するように構成されてもよく、それぞれの上記クラスは、それぞれの字体を表現し、且つ、１つまたはそれ以上の上記異綴り体を含む。
【００５２】
したがって、上記プロセッサは、本発明による範囲の広い第３の形態の方法を実行するように構成される。
【００５３】
添付の図面を参照して、本発明の好ましい限定するものではない実施形態の単なる例として提供される以下の説明から、本発明を容易に理解できるはずである。
【発明を実施するための形態】
【００５４】
本発明の主題をより正確に理解するために、本明細書および添付の特許請求の範囲に適用される以下の態様を説明する。
【００５５】
手書き文字認識を実行するように構成された処理システム１０を示す図１を参照して、本発明を実施するのに適した装置の例を以下に説明する。
【００５６】
具体的には、処理システム１０は、一般的には、図示されるようにバス２４を介してお互いに結合された、プロセッサ２０、メモリー２１、グラフィックスタブレットおよび／またはキーボードのような入力装置２２、および、ディスプレイのような出力装置２３を少なくとも含む。また、データベースのような記憶装置１１に処理システムを結合するために、符号２５によって示されるように、外部インタフェースが、提供される。
【００５７】
使用する際、処理システムは、予め定められた分類体系を用いて、手書きテキスト文字を受け取り、且つ、復号化するように構成される。また、最初は、分類体系は、ユーザ非依存型であっても、処理システム１０は、その体系を変更するように構成されてもよく、それによって、分類体系をユーザ依存型にし、それによって、文字認識の精度を増大させる。
【００５８】
このことから、典型的に、処理システム１０は、メモリー２１に記憶された適切なアプリケーションソフトウェアを実行することによってこれらの技術を実行するように構成されたコンピュータ、ラップトップ型コンピュータ、サーバー、専門ハードウェア等、どのような形態の処理システムであってもよいことがわかる。
【００５９】
このことを達成するために、処理システム１０は、それぞれの字体様式を識別するための異綴り体を利用した分類体系を実現する。そして、処理システムは、特定の筆者によって使用される字体異綴り体の適応学習を使用する。
【００６０】
字体異綴り体は、個々の文字クラスの書き方における様式的変種をモデル化する。すなわち、字体異綴り体は、文字が書かれる様々な様式を表現する。異綴り体は、静的なものとして定義されてもよく、文字の形状全体が一方の異綴り体を他方の異綴り体から区別することを意味する。字体「ａ」の静的な異綴り体の例が、図２に示される。
【００６１】
また、異綴り体は、動的なものであってもよく、この場合、異綴り体は、同じように見えるかもしれないが、動的なストローク情報（すなわち、字体を構成するストロークの順序または方向）によって区別される。字体「ａ」の動的な異綴り体の例が、図３に示される。具体的には、この例において、２つの字体の基本的な形状は、類似しているが、バージョン１は、ただ１つのストロークによって書かれており、バージョン２は、２つのストロークによって書かれている。異綴り体は、動的な意味および静的な意味の両方を有してもよいので、異綴り体に基づいた適応は、オンライン（すなわち、光学的文字認識）システムおよびオフラインシステムの両方でうまく動作することができる。
【００６２】
筆者非依存型システムは、それが取り扱うであろう考えられるすべての異綴り体をモデル化しなければならない。しかしながら、ユーザは、文字を書く際、一般的には、それぞれの字体に対してただ１つの異綴り体を使用する。したがって、一般的には、特定のユーザは、毎回、同じような書体で与えられた字体を書く。
【００６３】
その結果として、筆者非依存型システムは、特定のユーザに対する認識にはなくてもよい多数の異綴り体を含む。これらの余分な異綴り体は、筆者が実際に使用する異なるクラスの異綴り体に類似することがあるので、システムの認識精度を低下させることがある。
【００６４】
この例が、図４に示される。具体的には、左側の異綴り体は、字体「ａ」を表現し、右側の異綴り体は、字体「ｄ」を表現する。これらの２つの異綴り体間には、明らかに、多くの類似性があり、明らかに、誤って認識される可能性がある。
【００６５】
ここに示される字体「ａ」の異綴り体は、手書きする際に、まれにしか使用されず、たいていの書き方の認識のためには必要とされない。しかしながら、わずかな数の筆者が、この書体を使用するので、筆者非依存型システムは、この異綴り体をサポートしなければならないが、この異綴り体を容認することによって、字体を誤って認識する可能性は、増大する。
【００６６】
このように、一般的には、特定の個人は、そのような類似した書き方で字体「ａ」および「ｄ」を書くことはなく、したがって、ユーザ依存型分類システムにおいては、図４に示される異綴り体の両方が必要とされる可能性はほとんどないことがわかる。
【００６７】
したがって、処理システムは、筆者がどの異綴り体を使用するかを学習し、同じ字体に対する他の異綴り体は無視されるように構成され、それによって、それぞれの筆者に対する文字認識を改善する。その結果、これは、処理システムが様々な書き方をより高い認識精度でサポートできるようにする。
【００６８】
したがって、使用中、処理システム１０は、文字を受け取るように動作し、その文字を、データベースに記憶された字体および異綴り体と比較する。これによって、プロセッサは、その文字が対応する字体および異綴り体を決定することができる。
【００６９】
これは、一般的には、その文字を、データベース１１に記憶されたプロトタイプと比較することによって達成される。プロトタイプは、それぞれの異綴り体および字体にグループ化される。したがって、文字とプロトタイプとの間の類似性は、その文字に最もぴったりと一致するプロトタイプを選択するのに使用され、それによって、その文字をそれぞれの字体および異綴り体のグループに割り付けることができる。
【００７０】
具体的には、通常、文字を特徴ベクトルの形で定義することによって達成される。この場合、特徴ベクトルは、字体の様々な特徴を表現する値を含む。プロトタイプは、プロトタイプベクトルとして記憶され、特徴空間において、特徴ベクトルとプロトタイプベクトルとの距離を測定することができ、それによって、最も類似するプロトタイプを決定することができる。
【００７１】
そして、プロセッサは、選択された字体に対応する異綴り体を変更し、それによって、その異綴り体が、それぞれのユーザによって使用される異綴り体であることを指示する。これは、一般的には、それぞれの異綴り体に対応する重み付けを有することによって達成され、プロセッサは、異綴り体の重み付けを変更するように構成される。したがって、例えば、ユーザによって使用される異綴り体の重み付けは、増加／減少してもよく、それに応じて、他の異綴り体の重み付けが、増加／減少する。
【００７２】
ここで、これらの技術について、より詳細に説明する。
【００７３】
具体的には、以下の説明は、手書き文字異綴り体のための競合学習アルゴリズムに関するものである。この例においては、技術は、簡単なテンプレートマッチング識別器（具体的には、ユークリッド距離最近傍法識別器）の形で説明される。しかしながら、当業者は、クラスをサブクラスに分割し、且つ、それに続いて、それらのサブクラスに重み付けを行うのをサポートすることができるどのような種類の識別器にもこの処理を適用できることがわかるはずである。
【００７４】
これに加えて、重み更新処理は、尺度に依存するものではなく、ただ単に、プロトタイプ類似性の何らかの数値的指示に頼るものである。したがって、この技術は、ユークリッド距離、動的時間伸縮法、などの距離尺度とともに使用されてもよい。
【００７５】
最初の段階において、プロセッサ２０は、考察の対象となる文字を表現する入力信号を受け取る。これは、通常、入力装置２２から受け取られるが、データベースに記憶された文字から取り出されてもよい。いずれにしても、プロセッサ２０は、入力信号を多次元特徴空間にマッピングすることによって、パターン分類を実行し、その入力信号は、ある種の正規化を実行するために、前処理されてもよい。したがって、プロセッサは、字体の高さ、幅、ストロークの数、最大ストローク長等のような字体のそれぞれの予め定められた特徴を定量化するために、値を割り付ける。マッピングが、特徴ベクトルを生成するために使用される。
【００７６】
そして、プロセッサ２０は、どのクラスが与えられた特徴を生成する可能性が最も高いかを決定するために、特徴ベクトルを一組のクラスモデルに適用する。
【００７７】
テンプレートマッチング識別器は、クラスに含まれるプロトタイプ的なサンプル（プロトタイプ）を記憶することによってうまく動作し、入力特徴をプロトタイプと比較するための何らかの類似性尺度を使用することによって、分類を実行する。入力特徴ベクトルに最も類似するプロトタイプのクラスが、入力パターンのクラスであるとみなされる。例として、簡単なユークリッド距離最近傍法識別器は、ただ単に、一組の訓練サンプルの特徴ベクトルを記憶し、且つ、入力特徴ベクトルから最小ユークリッド距離を有する訓練パターン特徴ベクトルのクラスを示すラベルを入力パターンに付すだけである。
【００７８】
筆者依存型異綴り体訓練がなされる場合、筆者非依存型識別器は、プロトタイプごとの異綴り体情報を含まなければならない。これは、それぞれの訓練サンプルが、クラスおよび異綴り体の両方を示すラベルを付されなければならないことを意味する。異綴り体を示すラベルを付すためには、多くの半自動処理が、存在する。例えば、ＩＣＤＡＲ，３８７〜３９３頁．ＩＥＥＥ，Ａｕｇｕｓｔ１９９７におけるＬ．ＶｕｕｒｐｉｊｌおよびＬ．Ｓｃｈｏｍａｋｅｒ．“ＦｉｎｄｉｎｇＳｔｒｕｃｔｕｒｅＩｎＤｉｖｅｒｓｉｔｙ：ＡＨｉｅｒａｃｈｉｃａｌＣｌｕｓｔｅｒｉｎｇＭｅｔｈｏｄＦｏｒｔｈｅＣａｔｅｇｏｒｉｚａｔｉｏｎｏｆＡｌｌｏｇｒａｐｈｓＩｎＨａｎｄｗｒｉｔｉｎｇ，」は、個々の字体クラスに対する異綴り体の選択およびラベル付けを助ける統合的階層クラスタリング法を説明している。
【００７９】
一般的に、分類体系の構造は、図５に示されるようなものである。したがって、一般的には、ただ１つの識別器が、多くの字体を含む。この点については、語句字体は、何らかの英数字、句読点、または、表意文字を含むことがわかる。それぞれの字体は、１つまたはそれ以上の異綴り体を含み、それぞれの異綴り体は、異なる字体様式を表現する。そして、それぞれの異綴り体は、１つまたはそれ以上のプロトタイプを含み、それぞれのプロトタイプは、それぞれの異綴り体における変種を表現する。したがって、例えば、プロトタイプは、サイズ、ずれ、角度等における変種を評価するのに使用される。
【００８０】
したがって、同じクラスに含まれる多くのプロトタイプを同じ異綴り体であるとみなすことができ、異綴り体は、特定の字体に対する特定の書き方をモデル化するが、個々のプロトタイプは、その書き方の実体を表現する。例えば、最近傍法識別器においては、同じクラスを表現する多くのプロトタイプを有するのが一般的であり、プロトタイプ間の差異は、特徴の考えられるクラス内変種をモデル化する（例えば、平行移動、回転、ずれ、など）。同様に、同じ異綴り体に含まれる多くのプロトタイプは、その異綴り体を書くときの変種をモデル化してもよい。したがって、識別器は、多くの字体クラスをサポートし、クラスは、多くの異綴り体をサポートし、そして、異綴り体は、多くのプロトタイプをサポートしてもよい。
【００８１】
この処理において、分類は、特徴空間におけるそれぞれのプロトタイプベクトルと入力特徴ベクトルとの距離を計算することによって実行される。この距離は、特徴ベクトルとプロトタイプベクトルとの類似性を表現し、したがって、文字とそれぞれのプロトタイプとの類似性を表現する。そして、プロセッサ２０は、最小距離に基づいて、プロトタイプのクラスを入力データのラベルとして決定する。したがって、プロセッサ２０は、特徴ベクトルから最小距離値だけ離れたプロトタイプベクトルを決定し、そして、これを、文字によって表現される字体を決定するのに使用する。
【００８２】
筆者に固有の異綴り体を決定するのをサポートするために、プロトタイプごとの距離値が、それの異綴り体の種類に基づいた重み付け係数と乗算される。したがって、より大きな重み付けを有する異綴り体は、一致する可能性はあまり高くない。なぜなら、より大きな重み付けは、距離尺度を増加させるからであり、このように、重みを減少させることは、異綴り体が一致する確率を増加させ、重みを増加させることは、一致する確率を減少させる。
【００８３】
まず最初に、すべての異綴り体に対する重みのすべてが、ゼロでない同一の値（例えば、１）に初期化され、筆者に固有の優先権が異綴り体に与えられないことを指示する。この時点において、分類体系は、非依存型である。
【００８４】
重み付けに加えて、距離値が、以下のようにして、ユークリッド距離最近傍法識別器のために計算される。
【数１】

【数２】

ここで、
ｙ_ｉは、プロトタイプｉの特徴ベクトルであり、
ｗ_ｉは、プロトタイプｉの（共通の）異綴り体重みである。
Ｐ_ｉ∈（Ｒ^ｄ，Ω）
ｘは、ｘ∈Ｒ^ｄであるような入力特徴ベクトルであり、
δ（Ｘ）は、δ（Ｘ）：Ｒ^ｄ→Ωであるような識別器決定関数であり、
Ωは、Ω＝｛ω_１，．．．，ω_ｎ｝であるようなクラスであり、
｛ｐ_１，．．．，ｐ_ｍ｝は、プロトタイプである。
【００８５】
重み付けは、ユーザが使用する異綴り体をもたらすように決定される。したがって、プロセッサ２０は、重み適応を実現し、異綴り体重みを変更し、筆者が使用する可能性がより高い異綴り体に優先権を与えるように動作する。
【００８６】
したがって、入力信号に最もよく一致するプロトタイプを選択することは、筆者がそのプロトタイプの異綴り体を使用することを指示することである。したがって、簡単なアプローチにおいては、プロセッサ２０は、選択されたマッチングプロトタイプに含まれる異綴り体の重みをわずかな量η（学習率）だけ減少させることによって、重み適応を実現する。同様に、プロセッサ２０は、それぞれのクラスにおける残りの異綴り体の重みをわずかな量だけ増加させる。一致しないクラスにおける異綴り体重みは、変更されない。
【００８７】
したがって、マッチングクラスにおけるそれぞれの異綴り体ｉに対して、
ｉ＝ｃであれば、
ｗ_ｉ＝ｗ_ｉ−η
であり、ｉ＝ｃでなければ、
ｗ_ｉ＝ｗ_ｉ＋η
である。
ここで、
ｃは、マッチングプロトタイプの異綴り体番号であり、
ηは、学習率パラメータである。
【００８８】
識別器は、正しいクラスといつも一致するとは限らないことがわかる。
【００８９】
例として、汚く書かれた「ａ」は、字体「ｄ」と一致するかもしれず、その結果として、筆者が使用しないであろう「ｄ」の異綴り体重みを減少させる更新をもたらす。しかしながら、それに続いて、筆者によって使用された「ｄ」異綴り体が正しく一致すれば、使用されない異綴り体重みを増加させ、且つ、正しい異綴り体重みを減少させる。
【００９０】
このために、重み適応は、徐々に発生することになり、不正確な分類が大きすぎる重みを誤った異綴り体に与えることが回避される。しかしながら、学習率が、高くなればなるほど、より素早く適応がなされ、その結果として、より高い認識精度が、得られる。したがって、学習率の大きさの平衡状態を検出する必要がある。
【００９１】
これは、ユーザによって調節可能な学習率の大きさを有することによって実施されてもよいことがわかる。したがって、学習率を調節できるようにするために、典型的にはデータベース１１に記憶される学習パラメータηが、ユーザによって調節されてもよい。これによって、ユーザは、所望のレベルの学習率を設定することができ、そして、あまり多くの誤りが発生すれば、その学習率を低下させてもよい。
【００９２】
また、重みが大きくなりすぎないことおよび小さくなりすぎないことを保証するのは望ましいことである。異綴り体重みが小さすぎる場合、その異綴り体（したがって、そのクラス）に対する決定境界は、それを取り巻くクラスに侵入し、識別器に誤ったクラスを決定させることがある。したがって、重み付けが大きすぎる程度にまで増加すれば、特徴ベクトルが、その異綴り体に含まれるプロトタイプの１つと一致する可能性はまったくない。この場合、これは、たとえそれらの異綴り体が時々使用される機会があったにしても、異綴り体全体がマッチング処理から除外されることをもたらすかもしれない。
【００９３】
一般的には、したがって、上側しきい値および下側しきい値が、重み付けのために提供され、変更によって、重み付けが、上側しきい値または下側しきい値を超える場合、重み付けは、そのしきい値に維持される。この場合にも、もしそれが望ましいのであれば、ユーザがしきい値を調節できるように、対策が施されてもよい。
【００９４】
重みが大きくなりすぎないことを保証することによって、ユーザが、後日、異綴り体の書き方を変更した場合、それらの異綴り体は、優先順位が高くなる。
【００９５】
異綴り体重みを変更することの識別器決定領域への影響が、図６に示される。具体的には、この例において、クラス３に対する重みが減少するにつれて、これは、元々の決定境界５（実線）をクラス４の方へ押しやり、クラス４よりもクラス３と一致するより高い確率を与える新しい決定境界６（破線）を形成する。
【００９６】
上述した簡単な重み適応処理は、いくつかの問題が発生することがある。
【００９７】
具体的には、いくつかの異綴り体が、ほぼ同じように一致するかもしれず（すなわち、特徴ベクトルから２つの異なる異綴り体までの距離には極めて小さな差異しか存在しない）、それは、一方の異綴り体が他方の異綴り体よりも優先的に使用される有力な根拠が存在しないことを示す。それとは逆に、異綴り体スコア間には、大きな差異が存在するかもしれず、それは、一方の種類の異綴り体よりも他方の種類の異綴り体がはっきりと優先されることを示す。
【００９８】
第１の状況においては、重み更新は、小さなものであるべきであり、それは、正しい異綴り体を識別する信頼性の無さをもたらす。それとは対照的に、第２の状況においては、使用されない異綴り体を素早く識別して優先順位を下げるのを保証するために、重み更新は、大きなものであるべきである。
【００９９】
したがって、重み更新は、異綴り体グループの最小距離（すなわち、異綴り体ごとの最もよく一致するプロトタイプの距離）を比較し、これらの値に応じて、重みを更新するべきである。このようにして、異綴り体は、お互いに競合させられる。なぜなら、それぞれの異綴り体の距離成績は、残りの異綴り体になされる重み変更に影響を与えるからである。
【０１００】
この種の重み更新を実施するために、プロセッサ２０は、まず最初に、文字を含むクラスを決定する。これは、上述したように、文字に最もぴったりと類似しているプロトタイプをプロセッサ２０に探索させることによって実行される。これが実行されてしまえば、プロセッサ２０は、そのクラスにおける異綴り体グループごとの最小距離を決定するように動作する。これは、特徴ベクトルと、異綴り体グループごとの最も近いプロトタイプベクトルとの距離を決定することによって達成される。
【０１０１】
そして、プロセッサ２０は、そのクラスにおける異綴り体ごとの最小距離の平均値を決定し、それぞれの重み付けを更新するのにこの平均値を使用する。具体的には、ある特定の異綴り体に対する重み付けの変更は、その異綴り体の最小距離と平均距離との差に基づくものである。極めて大きな距離が平均値を極めて大きく変化させないことを保証するために、すべての距離は、以下のように、指数形式に変換される。
【０１０２】
一致したクラス内における異綴り体ｉごとに、
【数３】

【数４】

【数５】

【数６】

ここで、ηは、学習率パラメータである。
【０１０３】
この処理を用いて、平均距離よりも小さい最小距離を備えた異綴り体は、より大きな値のＥ_ｉを有し（なぜなら、ｅ^０＝１、および、ｘ→∞のときｌｉｍｅ^−ｘ→０であるからである）、平均値は、Ｅ_ｉよりも小さいので、異綴り体重みを消極的に更新することになる。Ｅ_ｉが、平均距離よりも大きくなればなるほど、重み更新は、より大きくなる。
【０１０４】
したがって、わずかしか一致しない異綴り体は、平均値と比較してＥ_ｉがどのくらい小さいかに応じて積極的に重みを増加させることによって、更新される。更に、曖昧な結果（最小異綴り体距離にあまり差がない）は、すべての距離が平均値からかけ離れたところに存在しないので、極めて小さい重み更新をもたらす。
【０１０５】
上述した処理は、自動的なものであり、したがって、ユーザの介入を必要としない。具体的には、この処理は、誤った決定がなされた場合に文字の正しい識別を教えるためのユーザまたはその他のソースからのフィードバックが存在しないので、管理されたものではない。
【０１０６】
しかしながら、入力信号の分類に関する更なる情報（例えば、文脈的言語モデル）が、利用できるのであれば、重み適応プロセスにおける何らかの管理をサポートすることができる。この状況においては、重み更新は、すべての認識処理が完全に実行され、最終的な結果を、識別器の生の類似性尺度を変更または検査するのに使用できるようになるまで、延期されてもよい。
【０１０７】
例えば、重み更新は、識別器の決定が認識器によって生成された最終的な決定と一致する場合にしか実行されなくてもよい。したがって、識別器が、最も可能性の高い一致として、字体「ｄ」を選択したが、その後の処理が、字体は実際には「ａ」であると結論を下せば、重み更新は、実行されない。
【０１０８】
あるいは、ほとんどの認識システムは、代替字体に対するある種の信頼水準を生成し、この確率は、重み更新処理に組み込まれてもよく、その結果、更新は、字体が正しく且つ曖昧さを伴うことなく識別される信頼水準に比例して発生する。
【０１０９】
更に、ユーザフィードバックが、提供されてもよく、それによって、プロセッサ２０が、誤った字体を決定した場合、ユーザは、正しい字体を指示することができ、それによって、プロセッサ２０は、異綴り体の重み付けをしかるべく調節することができる。
【０１１０】
したがって、上述したプロセスは、字体異綴り体の競合学習のための処理を提供する。この適応学習プロセスは、特定の筆者によって使用されない字体異綴り体の認識確率を最小限に抑制することによって、手書き文字認識システムの精度を改善することができる。いくつかの重み適応メカニズムが、説明される。
【０１１１】
上述したハードウェア構成においては、重み付けはデータベース１１に記憶されることがわかる。したがって、重み付けをユーザ識別子に基づいて記憶することができる。これによって、様々なユーザに対応する様々な組の重み付けを記憶することができる。そして、これによって、多くの異なるユーザごとに手書き文字を分類するのに処理システム１０を使用することができる。この場合、様々なユーザからの手書き文字が解析されるたびに、文字の識別において、また、それに続く、重み付けの変更においても、識別子が、適切な一組の重み付けを選択するのに使用される。
【０１１２】
そして、これは、ただ１つの中央処理システム１０が、多くのユーザからの手書き文字を識別するのに使用されるのを可能にする。このただ１つの中央処理システム１０は、ウェブサイトまたはそれに類似するものを介して様々なユーザから提供される手書き文字をその中央処理システム１０に解析させるために、例えば、インターネットのようなネットワークを利用した環境において使用されてもよい。
【０１１３】
また、本発明は、本出願の明細書において個々にまたは集合的に言及または開示された２つかまたはそれ以上の部品、構成要素、および、特徴のいずれかまたはすべてを組み合わせてそれらの部品、構成要素、および、特徴から構成されるように、広い範囲で論じられてもよく、ここでは、特定の完全体について言及したが、それらの完全体は、本発明が属する分野において知られている同等のものを有し、そのような良く知られている同等のものは、個々に説明したように、本発明に含まれると考えられる。
【０１１４】
好ましい実施形態を詳細に説明したが、ここで、当業者は、上述され且つ特許請求の範囲において請求された本発明の範囲から逸脱することなく、様々な変更、置換、および、代替をなすことができることを理解すべきである。
【０１１５】
したがって、例えば、異綴り体の重み付けを変更する代わりに、本発明による方法は、ユーザによって使用されない異綴り体をただ単に除去することを包含してもよい。これは、単一事例解析に基づくものであってもよく、そのために、使用される異綴り体が決定されると、その他のすべての異綴り体は、クラスから除去される。あるいは、これは、重み付け変更と組み合わせられてもよく、それによって、異綴り体の重み付けが、予め定められた量よりも大きく変更されると、その異綴り体は、分類体系から除去される。
【図面の簡単な説明】
【０１１６】
【図１】本発明を実施するのに適した処理システムの例を示す図である。
【図２】字体「ａ」の２つの静的な異綴り体の例を示す図である。
【図３】字体「ａ」の２つの動的な異綴り体の例を示す図である。
【図４】字体「ａ」および字体「ｄ」からなる２つの類似する異綴り体の例を示す図である。
【図５】分類システムの構造の例を示す概略ブロック図である。
【図６】識別器決定領域上において異綴り体の重みを変更する例を示す概略ブロック図である。

Claims

手書き文字を分類するための分類体系を変更し、それによって、前記分類体系をユーザ依存型にする方法であり、前記分類体系が、いくつかの異綴り体を含み、それぞれの前記異綴り体が、それぞれの字体のそれぞれの様式を表現する、前記方法であって、
ａ）少なくとも１つの手書き文字を受け取り、
ｂ）前記文字を表現する１つの異綴り体を選択し、
ｃ）前記選択に基づいて１つまたはそれ以上の前記異綴り体を変更する、
ことを含む方法。
前記選択された異綴り体が前記ユーザによって使用されるそれぞれの前記字体の様式に対応することをもたらすように、前記異綴り体を変更することを含む、請求項１に記載の方法。
前記分類体系が、いくつかのクラスを含み、それぞれの前記クラスが、それぞれの前記字体を表現し、且つ、１つまたはそれ以上の前記異綴り体を含み、
当該方法が、
ａ）前記文字を表現するクラスを選択し、それによって、前記文字によって表現される前記字体を決定し、
ｂ）それぞれの前記クラスにおける１つまたはそれ以上の前記異綴り体を変更する、
ことを含む、請求項１または請求項２に記載の方法。
それぞれの前記異綴り体が、１つまたはそれ以上のプロトタイプを含み、それぞれの前記プロトタイプが、それぞれの前記異綴り体における変種を表現し、
当該方法が、
ａ）少なくともいくつかのプロトタイプに対して、前記文字とそれぞれの前記プロトタイプとの類似性に基づいて、選択値を決定し、
ｂ）前記決定された選択値に基づいて、それぞれの前記プロトタイプの中から１つを選択する、
ことを含む、請求項１から請求項３のいずれか一項に記載の方法。
前記選択されたプロトタイプに基づいて、前記クラスを選択することを含む、請求項４に記載の方法。
前記選択されたプロトタイプに基づいて、前記異綴り体を選択することを含む、請求項４または請求項５に記載の方法。
それぞれの前記プロトタイプが、プロトタイプベクトルとして表現され、それぞれの前記プロトタイプベクトルが、いくつかの値から構成され、それぞれの前記値が、それぞれの前記プロトタイプのそれぞれの特徴を定量化し、
前記選択値を決定する方法が、
ａ）前記文字を表現する特徴ベクトルを決定し、前記特徴ベクトルが、いくつかの値から構成され、それぞれの前記値が、前記文字のそれぞれの特徴を定量化し、
ｂ）前記特徴ベクトルとそれぞれの前記プロトタイプベクトルとの距離を表現する距離値を決定する、
ことを含む、請求項４〜６のいずれか一項に記載の方法。
それぞれの前記異綴り体が、対応する重み付けを含み、
当該方法が、
ａ）前記重み付けに基づいて、前記異綴り体を選択し、
ｂ）１つまたはそれ以上の前記異綴り体の重み付けを変更することによって、前記異綴り体を変更する、
ことを含む、請求項１〜７のいずれか一項に記載の方法。
前記選択値が、前記決定された距離値と、それぞれの前記異綴り体に対応する前記重み付けとに基づいて決定される、請求項７または請求項８に記載の方法。
少なくとも前記選択されたプロトタイプを含む異綴り体の重み付けを変更することを含む、請求項８または請求項９に記載の方法。
最も小さな選択値を有するプロトタイプを選択することを含む、請求項８から請求項１０のいずれか一項に記載の方法。
前記重み付けを変更する方法が、
ａ）前記選択されたプロトタイプを含む異綴り体に対する重み付けを減少させ、
ｂ）前記選択されたプロトタイプを含まない１つまたはそれ以上の異綴り体に対する重み付けを増加させる、
ことの少なくとも１つを含む、請求項８〜１１のいずれか一項に記載の方法。
前記異綴り体の重み付けを予め定められた量だけ増加および／または減少させることを含む、請求項１２に記載の方法。
請求項７に記載の方法であり、
ａ）変更されるべき異綴り体ごとに基準プロトタイプを選択し、
ｂ）前記基準プロトタイプごとに前記距離値を決定し、
ｃ）前記決定された距離値の平均値を決定し、
ｄ）それぞれの前記基準プロトタイプの前記距離値と平均距離値とに基づいて、それぞれの前記異綴り体の重み付けを変更する、
ことを含む、請求項１２に記載の方法。
前記基準プロトタイプが、それぞれの前記異綴り体に対して最も小さな距離値を有するプロトタイプである、請求項１４に記載の方法。
処理システムを用いて実行され、
前記処理システムが、
ａ）前記異綴り体を表現する異綴り体データを記憶する記憶装置と、
ｂ）プロセッサと、を含み、
前記プロセッサが、
i）前記手書き文字を受け取り、
ii）前記異綴り体を選択し、
iii）１つまたはそれ以上の前記異綴り体を変更する、
ように構成された、請求項１〜１４のいずれか一項に記載の方法。
手書き文字を分類するための分類体系を変更し、それによって、前記分類体系をユーザ依存型にするための装置であって、
ａ）いくつかの異綴り体を表現する異綴り体データを記憶するための記憶装置であって、それぞれの前記異綴り体が、それぞれの字体のそれぞれの様式を表現する、前記記憶装置と、
ｂ）プロセッサと、を含み、
前記プロセッサが、
i）少なくとも１つの前記手書き文字を受け取り、
ii）前記文字を表現する異綴り体を選択し、
iii）前記選択に基づいて、前記異綴り体データを変更し、それによって、１つまたはそれ以上の前記異綴り体を変更する、
ように構成された装置。
前記異綴り体データが、それぞれの前記異綴り体に対応する重み付けを含み、前記プロセッサが、前記重み付けを変更することによって、前記異綴り体データを変更するように構成された、請求項１７に記載の装置。
前記記憶装置が、クラスデータを記憶するように構成され、前記クラスデータが、いくつかのクラスを表現し、それぞれの前記クラスが、それぞれの字体を表現し、且つ、１つまたはそれ以上の前記異綴り体を含む、請求項１７または請求項１８に記載の装置。
前記記憶装置が、プロトタイプを表現するプロトタイプデータを記憶するように構成され、それぞれの前記異綴り体が、１つまたはそれ以上の前記プロトタイプを含み、それぞれの前記プロトタイプが、それぞれの前記異綴り体における変種を表現する、請求項１７〜１９のいずれか一項に記載の装置。
前記プロセッサが、請求項１〜１６のいずれか一項に記載の方法を実行するように構成された、請求項１７〜２０のいずれか一項に記載の装置。
ユーザ依存型分類体系を用いて手書き文字を分類する方法であり、前記分類体系が、いくつかの異綴り体を含み、それぞれの前記異綴り体が、それぞれの字体のそれぞれの様式を表現し、且つ、ユーザ依存性を表現するそれぞれの重み付けを有し、それぞれの前記異綴り体が、１つまたはそれ以上のプロトタイプを含み、それぞれの前記プロトタイプが、それぞれの前記異綴り体における変種を表現する、前記方法であって、
ａ）少なくとも１つの手書き文字を受け取り、
ｂ）少なくともいくつかの前記プロトタイプに対して、前記文字とそれぞれの前記プロトタイプとの類似性と、それぞれの前記プロトタイプを含む前記異綴り体の重み付けとに基づいて、選択値を決定し、
ｃ）前記決定された選択値に基づいて、それぞれの前記プロトタイプの中から１つを選択し、
ｄ）前記選択されたプロトタイプに基づいて、前記文字を分類する、
ことを含む方法。
それぞれの前記プロトタイプが、プロトタイプベクトルとして表現され、それぞれの前記プロトタイプベクトルが、いくつかの値から構成され、それぞれの前記値が、それぞれの前記プロトタイプのそれぞれの特徴を定量化し、
前記選択値を決定する方法が、
ａ）前記文字を表現する特徴ベクトルを決定し、前記特徴ベクトルが、いくつかの値から構成され、それぞれの前記値が、前記文字のそれぞれの特徴を定量化し、
ｂ）前記特徴ベクトルとそれぞれの前記プロトタイプベクトルとの距離を表現する距離値を決定し、
ｃ）前記決定された距離値と、それぞれの前記異綴り体に対応する重み付けとに基づいて、前記選択値を決定する、
ことを含む、請求項２２に記載の方法。
前記分類体系が、いくつかのクラスを含み、それぞれの前記クラスが、それぞれの字体を表現し、且つ、１つまたはそれ以上の前記異綴り体を含み、
当該方法が、前記選択されたプロトタイプに基づいて、クラスを選択することを含み、それによって、前記文字によって表現される前記字体を決定する、請求項２２または請求項２３に記載の方法。
前記分類体系が、請求項１〜１５のいずれか一項に記載の方法に基づいて変更される、請求項２２〜２４のいずれか一項に記載の方法。
処理システムを使用することを含み、
前記処理システムが、
ａ）i）前記異綴り体およびそれに対応する重み付けを表現する異綴り体データと、
ii）前記プロトタイプを表現するプロトタイプデータと、
を記憶するための記憶装置と、
ｂ）プロセッサと、を含み、
前記プロセッサが、
i）前記手書き文字を受け取り、
ii）前記選択値を決定し、
iii）前記プロトタイプを選択し、
iv）前記文字を分類する、
ように構成された、請求項２２〜２５のいずれか一項に記載の方法。
ユーザ依存型分類体系を用いて手書き文字を分類するための装置であって、
ａ）i）いくつかの異綴り体およびそれぞれの前記異綴り体に対応する重み付けを表現する異綴り体データであって、それぞれの前記異綴り体が、それぞれの字体のそれぞれの様式を表現し、前記重み付けが、前記異綴り体のユーザ依存性を表現する、前記異綴り体データと、
ii）１つまたはそれ以上のプロトタイプを表現するプロトタイプデータであって、それぞれの前記プロトタイプが、それぞれの前記異綴り体における変種を表現する、前記プロトタイプデータと、
を記憶するための記憶装置と、
ｂ）プロセッサと、を含み、
前記プロセッサが、
i）少なくとも１つの手書き文字を受け取り、
ii）少なくともいくつかの前記プロトタイプに対して、前記文字とそれぞれの前記プロトタイプとの類似性と、それぞれの前記プロトタイプを含む前記異綴り体の重み付けとに基づいて、選択値を決定し、
iii）前記決定された選択値に基づいて、それぞれの前記プロトタイプの中から１つを選択し、
iv）前記選択されたプロトタイプに基づいて、前記文字を分類する、
ように構成された装置。
前記記憶装置が、いくつかのクラスを表現するクラスデータを記憶するように構成され、それぞれの前記クラスが、それぞれの字体を表現し、且つ、１つまたはそれ以上の前記異綴り体を含む、請求項２７に記載の装置。
前記プロセッサが、請求項２２〜２６のいずれか一項に記載された方法を実行するように構成された、請求項２７または請求項２８に記載の装置。