JP2009123243A - 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法、およびユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法 - Google Patents

電子フォームベースのデータ入力システムに入力されるデータを解釈する方法、およびユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法 Download PDF

Info

Publication number
JP2009123243A
JP2009123243A JP2009056754A JP2009056754A JP2009123243A JP 2009123243 A JP2009123243 A JP 2009123243A JP 2009056754 A JP2009056754 A JP 2009056754A JP 2009056754 A JP2009056754 A JP 2009056754A JP 2009123243 A JP2009123243 A JP 2009123243A
Authority
JP
Japan
Prior art keywords
electronic form
information content
data
pct
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009056754A
Other languages
English (en)
Inventor
Jonathon Leigh Napper
ジョナサン,レイ ナッパー,
Paul Lapstun
ポール ラプスタン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silverbrook Research Pty Ltd
Original Assignee
Silverbrook Research Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silverbrook Research Pty Ltd filed Critical Silverbrook Research Pty Ltd
Publication of JP2009123243A publication Critical patent/JP2009123243A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/226Validation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

【課題】電子フォームベースのデータ入力システムに入力されたデータを解釈するプロセスにおける認識精度を高める。
【解決手段】電子フォームベースのデータ入力システムに入力されるデータを解釈する方法は、可動入力装置から動きデータを受信するステップであって、前記動きデータは電子フォームの特定のフィールドに関連付けられている当該受信ステップと、少なくともひとつの手書きアルゴリズムを動きデータに適用することによって、動きデータにおける情報内容の一つ以上の可変部分を決定するステップと、電子フォームの特定のフィールドに関連付けられている少なくともひとつのパラメータを利用することによって、前記動きデータにおける前記情報内容の好適な可変部分を決定するステップと、を含む。
【選択図】図1

Description

本発明は、フォームベースのデータ入力システムに入力されたデータを解釈するプロセスにおける認識精度を高める方法に関する。
多くの様々なシステムでは、ユーザに1つ以上の手段を通じて対話を行ってデータを提供するように要求する。オンラインシステムとしては、インターネットのWebページ上に見られるシステムが挙げられ、オフラインシステムとしては、手書きフォームの作成システムが挙げられ、後者のシステムでは、手書きのフォームが後から適切な機器によってスキャンされて解釈される。それ以外のオンラインシステムとしては、音声認識システムが挙げられ、このシステムでは、ユーザは特定のプロンプトに応えて話すように指示される。
自然言語システムとしても知られているこのようなデータ入力システムの問題としては、様々なユーザが一貫性のない様式で、話す、書く、或いはデータを入力することによる、ノイズとあいまい性とが挙げられる。
[関連出願]
本発明に関連する様々な方法、システム、及び装置は、本発明の出願人又は譲渡人によって出願されている以下の係属中の出願に開示されている。これらの係属中の出願すべての開示は、本文書に参考とすることにより組み込まれる。
2002年10月5日:オーストラリア仮特許出願第2002952259号「方法及び装置(NPT019)」
2002年10月15日:PCT/AU02/01391,PCT/AU02/01392,PCT/AU02/01393,PCT/AU02/01394,PCT/AU02/01395
2001年11月26日:PCT/AU01/01527,PCT/AU01/01528,PCT/AU01/01529,PCT/AU01/01530,PCT/AU01/01531
2001年10月11日:PCT/AU01/01274
2001年8月14日:PCT/AU01/00996
2000年11月27日:PCT/AU00/01442,PCT/AU00/01444,PCT/AU00/01446,PCT/AU00/01445,PCT/AU00/01450,PCT/AU00/01453,PCT/AU00/01448,PCT/AU00/01447,PCT/AU00/01459,PCT/AU00/01451,PCT/AU00/01454,PCT/AU00/01452,PCT/AU00/01443,PCT/AU00/01455,PCT/AU00/01456,PCT/AU00/01457,PCT/AU00/01458,PCT/AU00/01449
2000年10月20日:PCT/AU00/01273,PCT/AU00/01279,PCT/AU00/01288,PCT/AU00/01282,PCT/AU00/01276,PCT/AU00/01280,PCT/AU00/01274,PCT/AU00/01289,PCT/AU00/01275,PCT/AUOO/01277,PCT/AU00/01286,PCT/AU00/01281,PCT/AU00/01278,PCT/AU00/01287,PCT/AU00/01285,PCT/AU00/01284,PCT/AU00/01283
2000年9月15日:PCT/AU00/01108,PCT/AU00/01110,PCT/AU00/01111
2000年6月30日:PCT/AU00/00762,PCT/AU00/00763,PCT/AU00/00761,PCT/AU00/00760,PCT/AU00/00759,PCT/AU00/00758,PCT/AUOO/00764,PCT/AUOO/00765,PCT/AU00/00766,PCT/AUOO/00767,PCT/AU00/00768,PCT/AU00/00773,PCT/AU00/00774,PCT/AU00/00775,PCT/AU00/00776,PCT/AU00/00777,PCT/AU00/00770,PCT/AU00/00769,PCT/AU00/00771,PCT/AU00/00772,PCT/AUOO/00754,PCT/AU00/00755,PCT/AU00/00756,PCT/AU00/00757
2000年5月24日:PCT/AU00/00518,PCT/AU00/00519,PCT/AU00/00520,PCT/AUOO/00521,PCT/AU00/00522,PCT/AUOO/00523,PCT/AUOO/00524,PCT/AU00/00525,PCT/AU00/00526,PCT/AU00/00527,PCT/AUOO/00528,PCT/AU00/00529,PCT/AU00/00530,PCT/AU00/00531,PCT/AU00/00532,PCT/AU00/00533,PCT/AU00/00534,PCT/AU00/00535,PCT/AU00/00536,PCT/AU00/00537,PCT/AU00/00538,PCT/AU00/00539,PCT/AU00/00540,PCT/AU00/00541,PCT/AU00/00542,PCT/AU00/00543,PCT/AU00/00544,PCT/AU00/00545,PCT/AU00/00547,PCT/AU00/00546,PCT/AU00/00554,PCT/AU00/00556,PCT/AU00/00557,PCT/AU00/00558,PCT/AU00/00559,PCT/AU00/00560,PCT/AU00/00561,PCT/AU00/00562,PCT/AU00/00563,PCT/AU00/00564,PCT/AU00/00565,PCT/AU00/00566,PCT/AU00/00567,PCT/AU00/00568,PCT/AU00/00569,PCT/AU00/00570,PCT/AU00/00571,PCT/AU00/00572,PCT/AU00/00573,PCT/AU00/00574,PCT/AU00/00575,PCT/AU00/00576,PCT/AU00/00577,PCT/AU00/00578,PCT/AU00/00579,PCT/AU00/00581,PCT/AU00/00580,PCT/AU00/00582,PCT/AU00/00587,PCT/AU00/00588,PCT/AU00/00589,PCT/AU00/00583,PCT/AU00/00593,PCT/AU00/00590,PCT/AU00/00591,PCT/AU00/00592,PCT/AU00/00594,PCT/AU00/00595,PCT/AU00/05096,PCT/AU00/00597,PCT/AU00/00598,PCT/AU00/00516,PCT/AU00/00517,PCT/AU00/00511
[関連技術の説明]
特許文献1には、機械によって印刷されたフィールド識別子の位置を特定することによってデジタルイメージ内のフォームフィールドの位置を特定することを目的として、手で書かれた文字ではなく機械によって印刷された文字を認識することのできる光学的認識システムが説明されている。フィールドが識別されると、オフライン手書き文字認識機能を使用して各フィールド内の個々の文字が認識される。
特許文献2には、フォーム内の特定のフィールドに対して使用するのに最適なタイプの分類器(例:制約された手書き、制約されない手書き、制約されない筆記体)を選択することができる、フィールドベースの認識システムが開示されている。このシステムでは、適応的な重み付けシステム(adaptive weighting system)と信頼値とを使用して、使用するのに最良の分類器が決定される。
特許文献3には、文字認識プロセッサによるフォーム定義機能が組み込まれているシステムが開示されている。
SiberSytems社は、人工知能技術を使用するフォーム定義言語を利用して、フォーム上に現れる様々なフィールドタイプを推測する製品を提供している。
米国特許第5,237,628号 米国特許第5,455,872号 米国特許第5,235,654号
広い形式においては、本発明は、フォームベースのデータ入力システムに入力されるデータを解釈する方法であって、特定のフォームフィールドに入力されたデータを、その情報内容を決定することができるように解読するステップであって、情報内容が一貫性のある機械可読形式である、ステップ、を含んでおり、データの解読が、情報内容の1つの以上の可能な値を決定するステップを含んでおり、事前定義されている特定の可能な結果に、正しいことの相対的に高い確率が与えられており、事前定義されている可能な結果が、特定のフォームフィールドのコンテキストに依存する、方法、を提供する。
データの解読は、書かれたデータ又は音声データに対して実行されることが好ましい。
解読は、オンラインで実行することができ、この場合には、解読はデータ入力と同時に行われ、又は、オフラインで実行することができ、この場合には、解読はデータ入力後のある時点で行われる。
好ましくは、特定のフォームフィールドには、解読後の可能なデータの事前定義されているディクショナリが関連付けられており、このディクショナリは、特定の解読がディクショナリに含まれている必要があるように、又は、少なくとも、ディクショナリに含まれている特定の確率である必要があるように、解読プロセスを制約する目的に使用することができる。
特定の可能な解読に、正しいことの高い確率を与えることができることが好ましい。この一例は、名前フィールドであり、名前フィールドでは、SmithはSmithfieldよりも正しい解読である可能性が高い。
本発明の実施形態は、入力されたデータを、データが入力されているフィールドのコンテキストに基づいて解読することによって、自然言語システムにおいてデータ入力の高い精度の認識を達成することができるという利点を提供する。
2つの入力フィールドを持つ代表的なフォームを示している。 別の2つの入力フィールドを持つ別の代表的なフォームを示している。 似ているが異なる手書きサンプルを示している。 似ているが異なる手書きサンプルを示している。
本発明について深く理解し、本発明を実施する方法を理解することができるように、添付されている図面を参照しながら本発明について一例を通じて以下に説明する。
好ましい実施形態においては、本発明は、Netpageネットワーク化コンピュータシステムと一緒に動作するように構成されており、このシステムについては、当社の係属中の出願、特に、PCT出願である国際公開第0242989号「感知装置(Sensing Device)」(出願日:2002年5月30日)、PCT出願である国際公開第0242894号「対話型プリンタ(Interactive Printer)」(出願日:2002年5月30日)、PCT出願である国際公開第0214075号「インビジブルインクを使用するインタフェース表面プリンタ(Interface Surface Printer Using Invisible Ink)」(出願日:2002年2月21日)、PCT出願である国際公開第0242950号「ネットワークコンピュータシステムと対話する装置(Apparatus For Interaction With A Network Computer System)」(出願日:2002年5月30日)、PCT出願である国際公開第03034276号「手書き特徴形状合成を使用するデジタルインクデータベースの探索(Digital Ink Database Searching Using Handwriting Feature Synthesis)」(出願日:2003年4月24日)、に詳細に説明してある。ただし、すべての実施形態が、基本システムに関連する、これらの出願に説明されている固有の細部及び拡張部分のすべて、若しくは大部分を具体化しているとは限らない。しかしながら、本発明の好ましい実施形態及び側面が機能するコンテキストを理解することを助ける目的で、システムは最も完全な形式において説明してある。
簡潔にまとめると、Netpageシステムの好ましい形態では、見えないように符号化されているペーパーのページと光学的イメージングペンとを利用することによって、オンライン情報へのペーパーベースの対話型インタフェースが提供される。Netpageシステムによって生成される各ページは、一意に識別され、ネットワークサーバに格納され、ユーザがNetpageペンを使用して行うペーパーとの対話すべてが取り込まれ、解釈され、格納される。デジタル印刷技術によって、Netpageドキュメントのオンデマンド印刷が容易になり、これにより対話型アプリケーションを開発することが可能である。Netpageプリンタと、Netpageペンと、ネットワークインフラストラクチャとにより、従来のスクリーンベースのアプリケーション及びオンラインパブリッシングサービスとに代わるペーパーベースの代替アプリケーション及びサービスが提供され、ハイパーテキストナビゲーションやフォーム入力などのユーザインタフェース機能がサポートされる。
一般には、発行者又はアプリケーションプロバイダからのドキュメントがブロードバンド接続を介してプリンタによって受信され、このドキュメントは、赤外線タグの見えないパターンによって印刷されており、各タグはページ上の自身の位置と一意のページ識別子とを符合化する。ユーザがページに書き込むと、イメージングペンがこれらのタグを解読し、ペンの動きをデジタルインクに変換する。デジタルインクは無線チャネルを通じて中継基地局に伝送された後、ネットワークに送られて処理及び格納される。システムは、格納されているページの記述を使用してデジタルインクを解釈し、アプリケーションと対話することによって要求されたアクションを実行する。
アプリケーションは、ドキュメントを発行することによってユーザにコンテンツを提供し、ユーザによって送信されたデジタルインク対話を処理する。一般には、アプリケーションは、ユーザ入力に応えて1つ以上の対話型ページを生成し、これらのページがネットワークに伝送されて格納及びレンダリングされ、最終的にユーザへの出力として印刷される。Netpageシステムでは、ドキュメントの発行、レンダリング、及び配信や、認証型トランザクション及び安全な支払、手書き文字認識及びデジタルインク探索のほか、バイオメトリクス技術を使用したユーザ確認(例:署名照合)のサービスを提供することによって、高度なアプリケーションを開発することができる。
本発明の実施形態は、オンライン又はオフラインのいずれかの状況において、自然言語の入力データを解読するように動作する。このような入力データは、手書きのワード又は話された単語の形式か、それ以外の制約されていない入力形式をとることができる。
本明細書の説明においては、「オンライン」は、入力データがリアルタイムで、すなわちデータの入力と同時に解読されるシステムを意味する。言い換えれば、解読プロセスは、書かれた文字を構成する様々なストロークの軌跡など、動的な情報を用いて機能することができる。代表的なオンラインシステムはインターネットのWebページであり、Webページにおける入力は、例えばスタイラスと適切なグラフィックスタブレットとを用いて入力される手書き文字の形式で受け入れられる。
本明細書の説明においては、「オフライン」は、入力データは記録されるが解読は後の時点まで行われないシステムを意味する。言い換えれば、解読は、書かれた文字のビットマップイメージなど、静的な入力表現を用いて機能することができるのみである。代表的なオフラインシステムは、手書きフォームデータ取り込みシステムであり、このシステムでは、ユーザは手書きと通常のペンとを使用してフォームを完成させ、後の時点において、完成したフォームがスキャン及び処理されて、フォーム内に符号化されているデータが取り出される。
上述したように、自然言語入力システムを使用することには、システム設計者にとって多数の問題が存在する。字体(writing styles)は、個人間の違いのみならず、たとえ同一人物であっても場面や筆記用具が変わることによって大幅に異なる。同様に、アクセント、イントネーション、方言、及び声のピッチも様々なものが存在し、これらのそれぞれが原因で、異なる話し手からの音声入力を区別することが難しくなる。
本発明の実施形態は、様々な自然言語データ入力システムにおける認識精度を高める方法を提供する。精度の向上は、特定のフィールドに入力されたデータとして可能性のあるデータのセットを、フィールド自体の特定の属性に基づいて制約することによって達成される。1つの実施形態においては、制約を絶対的なものとすることができ、すなわち、フィールドに入力されるデータは、そのフィールドに関連付けられている定義済みデータセットに含まれていなければならない。
別の実施形態においては、制約を部分的なものとすることができ、すなわち、定義済みデータセットに含まれているデータ入力には大きな重み付けが与えられる。この場合、データ入力が解読され、重み付けの高い結果のリストに含まれていないことが判明した場合であっても依然として受け入れられるが、前の実施形態においては、このような結果は無視される。
フォームベースのデータ入力システムにおいては、フォームには、それぞれがデータ入力を受け取ることができる1つ以上のフィールドが含まれている。以下の説明では、便宜上、手書き入力を受け取るようにされているシステムを主として通じて本発明の実施形態を説明しているが、当業者には、スピーチなど別の形式のデータ入力についても、本発明の実施形態の恩恵を享受できることが理解されるであろう。
図1は、2つの個別のフィールド110,120から名前情報を取り込むように意図されている代表的なフォーム100を示している。「名」というラベルを持つフィールド110は、ユーザが自分の名前を指定する入力を取り込む目的で設けられている。「姓」というラベルを持つ第2のフィールド120は、ユーザが自分の名字を指定する入力を取り込む目的で設けられている。
最初の場合においては、関連付けられている処理システムは、オンライン又はオフラインのいずれにおいても、入力データを解読し、フィールドラベル「姓」に暗黙的な情報に基づいて、可能性の高い結果に制約することができる。処理システムには一般的な姓のデータベースが設けられており、手書き入力を解読するときに、解読した入力の可能な値のうち、一般的な姓のデータベースに属している値に大きな重み付けが与えられる。一例として、あるユーザの名前が「Greg」であるとする。しかしながら、このユーザの筆跡では、名前が「Grey」のように見える。
図3は、ユーザがフォームフィールドに自分の名前を書いたときのグラフィック表現を示している。図4は、同じユーザが語「Grey」を書いたときの状態を示している。これら2つの表現は非常に似ており、「Greg」の最後の文字「g」の上部が「Grey」の「y」と比較して閉じていることのみが異なっていることに気づく。
書かれた入力を処理システムが解読して解釈しようとするとき、「Greg」にはより大きな重み付けが与えられ、なぜなら「Greg」の方が有効な名前である可能性がずっと高いためである。この場合、「Grey」は、受け入れ可能なワードのディクショナリに見つかるワードあるが、一般的な名前のリストにはおそらくは含まれていない。このようにして、一般的な名前をそれ以外の有効なワードよりも優先させることによってデータを制約することにより、正しい結果が得られる。別の場合として、2つ以上の結果の可能性が高く、そのすべてが制約リストに現れている場合には、データを再入力するようにユーザに指示するか、又は、有望な結果のリストからの可能性の高い結果のうち正しいものを選ぶためのオプションをユーザに提示することができる。
これと同じプロセスは、様々なフォームに見られる様々なフィールドの場合に適合させることができる。以下の模範的なリストは、すべてを網羅しているわけではないが、いくつかのフィールドと、与えられた入力から正しい結果を生成する可能性を高める目的で解読プロセスに適用することのできる種類の制約とを詳しく示している。当然ながら、通常の技能を有する者には、各種のフィールドには、フィールドの特定の特性に従ってコンテキストに基づく制約を適用できることが理解されるであろう。
フィールドラベル文字列 コンテキスト処理
名、名前、など:一般的な名前の大規模なリストは、公的に広く利用可能であり、これを認識時の処理制約を定義するディクショナリとして使用することができる。これらのリストは、国勢調査に基づいていることが多く、対応する先験的な確率が含まれており、「John」や「David」などの一般的な名前をより頻繁に合致させることができる。書き手の性別を示す追加情報がフォームその他から得られる場合、男性と女性の個別のリストを使用して認識精度を更に高めることができる。
認識時には、一般的ではない珍しいスペルの名前についても正しく認識させることができるように、ディクショナリにないワード(すなわち名前のディクショナリに含まれていない名前)も受け入れさせることができる。このことは、ディクショナリによる解読と、名前に通常含まれている文字の並びの先験的な確率に関する情報が含まれている確率的文法モデル(文字N−gramなど)とを組み合わせることによって行うことができる。
姓、名字、など:上記のフィールドに似ているが、姓のディクショナリを使用する。西欧の名前の場合、人口の中の姓のばらつきが一般的にずっと大きく、ディクショナリにないワードの確率は名前の認識の場合より高いはずである。
住所:ほとんどの住所は規則的なパターンに従う(例:居住番号(dwelling number)の後にストリート名とストリートタイプ)。認識システムは、解読時に、例えば正規表現のマッチングを使用することによって、又は、認識の進行に伴って有効な文字セット(すなわち、数字のみ、文字のみ、「/」を許可する、許可しない、など)を変化させることによって、このパターンを利用することができる。
これに加えて、住所のいくつかの要素、例えばストリートのタイプ(「Street」、「Road」、「Place」、「Avenue」、「Crescent」、「Square」、「Hill」など)又はストリート名(「Main」、「Church」、「North」、「High」などの一般的なストリート名)を、ディクショナリを利用して解読することができる。
郊外地域、町、など:郊外地域と町の完全なリストは、ほとんどの地域では公に自由に利用できる。この情報は、州又は郵便番号の情報(利用可能な場合)など他の情報と一緒に使用して、認識の候補を更に減らすことができる。
例を挙げると、居住国が例えばオーストラリアであることがすでに確定している場合、次の階層区分である州又はテリトリーとして可能性のある値はわずかに7つである。そのフィールドが解読されると、その州/テリトリー内の郊外地域又は町の更なるディクショナリを使用して、可能な結果を制限することができる。
州:国/地域が既知である場合、州のリストが利用できる。各州には、ある人がその州の出身である可能性に対応する先験的確率を与えることができる(すなわち人口の多い大きな州には高い先験的確率を与えることができる)。郵便番号が既知であれば、更なる制約を使用することができる。
電話番号:電話番号は、認識時に使用することのできる一定のパターン(例:「(##)####−####」)に従う。更に、電話番号の有効な文字セットは数字のみに制約され、認識の候補が更に制限される。
郵便番号:特定の国の中の郵便番号は、一般的には特定のパターンに従う。以下に例を示す。オーストラリアでは、郵便番号は必ず4桁であり、アメリカでは5桁である。イギリスでは、1つ以上の文字のあとに2つ以上の数字が続き、そのあとに再び1つ以上の文字が続く組み合わせである。対応する州と郊外地域の情報が利用できる場合、解読の更なる制約が利用できる。
国、地域、など:可能性のある国/地域のラベルの完全なリストは公に利用可能である。
誕生日、生年月日、その他の日付:書かれる日付は一般的には一定のパターンに従い、数字のみから成る、又は数字と区切り文字(「−」、「/」など)とから成る制約された文字セットを持つ。
電子メール、Eメール、電子メールアドレス、など:電子メールアドレスは特定のパターンに従い、適切な仕様の文字セットを持つ。電子メールアドレスのマッチングに使用することのできる正規表現の例は、「/^([a−zA−Z0−9_|.|−])+|@(([a−zA−Z0−9|−])+.)+([a−zA−Z0−9])+$/」である。
これに加えて、(例えばMicrosoft Windows Messaging API(MAPI)を使用して)ユーザの電子メールの連絡先情報が利用できる場合、電子メールアドレスのリストを認識時にディクショナリとして使用することができる。同様に、代表的な電子メールドメイン名(例:「hotmail.com」、「yahoo.com」、「email.com」など)を、認識をガイドするためのディクショナリエントリとして使用することができる。
クレジットカード、クレジットカード番号、など:クレジットカード番号は特定の形式(例:「####−####−####−####」)であり、制約された文字セットを持つ。更に、確認規則(例:チェックデジット検査)がしばしば存在し、これも認識時に使用することができる。例えば、クレジットカード番号の認識において可能性が同じである2つの結果がある場合、正しい結果を選択するうえでチェックデジット確認が役立つことがある。
言語/ロケール:世界中で話されている言語のリストは自由に利用することができ、現在では多数のWebフォームによって使用されている。特定の書き手の言語がわかれば、それを使用して他のタイプの入力の処理を向上させることができる。この例として、テキスト認識用の、言語ごとの異なるディクショナリ(例:英語、ドイツ語、フランス語など)を使用する、有効な認識文字セットを変更する(例:いくつかの西ヨーロッパ言語によって使用されるアクセント付き文字が許可される)、日付の認識の形式が変更する、を挙げることができる。
公に利用できるディクショナリ又は所有権が保持されているディクショナリを使用することに加えて、特定のフィールドラベルについて、以降のデータ入力をガイド及び制約する目的で、以前に認識された応答を使用して時間の経過に伴ってラベルのディクショナリを蓄積していくことができる。このようにすると、本発明の実施形態を採用しているシステムは、動作を継続して解読プロセスの可能性の高い結果を「学習」していくにつれて、その認識能力を高めることができる。このようにすると、例えば、時間と共に該当回数が増していく名前に、高い先験的重み付けを与えることができる。
ほとんどのフォーム定義形式では、テキストフィールド、選択肢リストフィールド、組み合わせフィールド(すなわちテキスト入力と選択肢リストとを組み合わせたフィールド)、署名フィールド、チェックボックス、ボタンなど、多数のフィールドタイプがサポートされる。フィールドタイプは、予測される入力データのタイプをある程度示す(例えばテキスト入力フィールドはテキスト入力を示す)。データタイプを明示的に定義することができるドキュメント形式の場合(例:XML/XForms)、認識システムはこの情報を使用して認識プロセスを制約することができる。
フォームには、フィールドタイプ以外にも、各フィールドに入力すべきデータのタイプに関する情報がしばしば含まれている。この情報は、通常、特定のフィールドに関連付けられている属性に含まれている。この一例は、一般にはリスト入力フィールドに関連付けられている一連の選択肢文字列である。これらの文字列は、ユーザがその中から選択を行う必要があるオプションを表しており、認識時にディクショナリ要素として使用することができる。同様に、組み合わせフィールドの認識では、選択肢文字列のディクショナリを文字文法と組み合わせて使用して、オプションリストにリストされている以外のワードを認識することができる。
標準的な入力フィールドには、認識手順において役立てることのできる属性も含まれていることがある。例えば、いくつかのタイプの入力フィールドは、入力する値が数値でなければならないことを示すフラグを有し、このことは、認識される文字セットには数字が含まれているのみであるべきことを認識システムに知らせる。入力フィールドには、マスク属性が含まれていることもあり、マスク属性は、指定されているパターンに入力が合致しなければならないことを示す文字列である(例えば「####AA」は、「2002CY」など、4個の数字の後に2つの大文字アルファベットを入力することを要求している)。このマスクを使用することにより、文字列内の各位置における有効な認識文字セットを制約して認識精度を高めることができる。
多くのフォームでは確認パラメータが指定され、これを使用して認識プロセスをガイドすることができる。例えば、数値入力フィールドでは、最小値と最大値とが指定されることがあり、これらを使用して認識結果を制約することができる。別のフィールドには、ユーザがフィールドに値を入力したときに実行される確認プログラムコード(例:JavaScript)が含まれていることがある。このコードは、個々の認識結果のそれぞれをパラメータとして複数回実行することができ、これによって、候補結果のうち確認の必要条件に一致しない候補を破棄することができる。
認識プロセスを向上させる目的でフォームフィールドの標準的な属性を使用することに加えて、カスタム属性を使用して、認識に固有な情報をフィールドに追加することができる。この情報は、フォームへの入力が認識システムを使用して処理される場合に用いられるのみである。従って、カスタム属性は無視されるため、フォームは必要とされている場所で通常どおりに使用することができる(例えば、キーボードを使用してWebブラウザを通じてのデータ入力)。しかしながら、認識が必要である場合、カスタムパラメータを使用して認識結果を向上させることができる。
カスタムフィールド属性の例として、文字セットの定義(フィールドに有効な文字のセットが明示的に定義されている)と、正規表現とが挙げられる。文字列の間隔空けをガイドするための視覚的な手がかりを使用してフィールドが表示又は印刷されている場合(例えば各ボックスに1文字を入れなくてはならないフォーム上のボックス群)、手書き認識における文字分割段階(character segmentation stage)を支援するためのカスタム属性として、そのガイドのパラメータをフィールドに関連付けることができる。例えば、枠の長方形の座標と、入力に文字ボックスを使用するフィールド内の行数及び列数を指定することによって、認識システムに各文字の予測位置を知らせて、認識の精度を高めることができる。
コンテキスト処理と言語モデリングに関する情報をカスタム属性の中に符号化することもできる。いくつかの手書き認識システムでは、手書きテキストの認識を支援する目的で言語モデルの組み合わせ(例:n−gram文字モデル、標準ディクショナリ、ユーザに固有なディクショナリ)を使用する。これらのモデルは、通常、指定されたモデルのそれぞれを使用したときに入力ワードが正しく解読される可能性を示す一連の重み付けを使用して組み合わされる。しかしながら、予測される入力に応じて重み付けをカスタマイズすることができれば、最も正確な結果が得られる。フィールドのカスタム属性として言語モデルの重みを含めることによって、フォームごとに、或いはフィールドごとにモデルの重みを調整することで、より正確な認識を達成することができる。
認識手順の制御性を高めることができるように、手書き認識手順が完了した後に候補結果のそれぞれに対して実行され、最も適切な結果を選択できるようにする、カスタムの確認プログラムコード(例:JavaScript)を、フィールドに関連付けることができる。しかしながら、ブール確認関数(すなわち文字列が有効か無効かのいずれか)を使用するのではなく、文字列が入力された確率を示す信頼値を関数が戻すことができる。この確率を文字分類手順の結果と組み合わせることにより、最も可能性の高い認識結果を選択することができる。このようにすると、解読結果に関連付けられる信頼値がたとえ低くても、他のチェックによってその結果が有効な応答であることが確認される場合、その結果をシステムに受け入れさせることができる。単純なブール方式では、有効な入力が無視される結果となることがある。
この方式の1つの改良は、システムが各文字を認識するときに認識器によって呼び出される言語モデル確率関数を定義することである。これによって、認識システムは、可能性の低い、又は無効な認識文字列を認識手順の早期に除外することができ、長いテキスト文字列を効率的に認識することができる。認識手順においては、認識される文字の様々な組み合わせを考慮することによって多数の候補結果が生成される。一般には、各文字位置に対して多数の候補文字が存在し、従って、たとえそれほど長くないテキストであっても、多数の候補が存在する。この結果として、認識システムは、一般的には、各文字位置におけるn個(nは一般には10〜100)の最良の候補が考慮されるようにビーム探索手法を使用する。従って、各位置におけるn個の最も可能性の高い結果が格納され、残りは破棄される。
しかしながら、各ステップにおいてn個の最良の結果を選択するためには、認識手順が完了した後ではなく各ステップにおいて言語モデルからの確認が必要であり、そうでないと、スコアは高いが言語モデルによっては不可能な又は可能性が低いと定義される文字列が保持される一方で、有効であるがスコアの低いモデルが破棄されることがある。この結果、改良後の言語モデル関数は、部分文字列の確率を計算して戻すことができる必要があり、その場合、認識器は、各ステップにおいて文字分類の確率と部分文字列の確率とを組み合わせて、n個の最も確率の高い文字列を選択することができる。この柔軟な手法では、ディクショナリ及び文字のマルコフモデルなど、ほぼあらゆる言語モデルを実施することができる。
以下では、HTML、XForms、PDF(Adobe社のPortable Document Format)など一般に使用されている様々なフォーム定義形式の場合について、データを取り出す方法を説明する。
HTML(Hypertext Mark−up Language)は、WWW(World Wide Web)ブラウザに表示するように意図されているテキスト及びグラフィックのページの書式を定義する目的に使用される、マークアップ記号の標準セットである。HTMLは、W3C(World Wide Web Consortium)によって公式に推奨されており、W3Cの「HTML 4.01 Specification」(1999年12月24日)に定義されている。XHTMLは、HTMLをXMLアプリケーションとして再定義したものであり、HTMLに非常に似ており、W3Cの「XHTML 1.0 The Extensible HyperText Markup Language(第2版)」(2002年8月1日)に定義されている。同様に、SGMLは、ISOの「ISO 8879 Information Processing − Text and office systems−Standard Generalised Markup Language(SGML)」(1986年)に定義されている。
以下に、フォームのHTMLコードの一例を示す(このコードによってブラウザ内に生成される出力の例が図1に示してある)。
<html>
<form ACTION="cgi−bin/form.exe"METHOD=post>
<p><b>Please Enter Your Name</b></p>
<p>First Name:<INPUT TYPE="TEXT"NAME="FirstName"
CUSTOM="Hello"></p>
<p>Last Name:<INPUT TYPE="TEXT"
NAME="LastName"></p>
<p><INPUT TYPE="SUBMIT"NAME="Submit"></p>
</form>
</html>
通常、入力フィールドに関連付けられているフィールドラベルは、HTMLドキュメントのソースから容易に導くことができる。一般的には、フィールドラベルは、(上に示したように)入力フィールドの定義の直前に通常のテキストとして現れる。別の状況では、レンダリングされたドキュメントのレイアウトを分析することで、どのテキストラベルがどの入力フィールドに対応するかを決定することができる(例えば、フォームのレイアウトにテーブルが使用されているとき)。更に、多くの入力要素に関連付けられている「名前」属性には、フィールドタイプを決定することのできるテキストが含まれていることがある。
標準HTMLには、認識システムにおいて参考情報として有効に使用することのできる多数の属性が含まれている。以下にいくつかの例を挙げる。
・INPUT要素の「最大長さ」属性。認識されるテキストの長さを限定する目的に使用することができる。
・一連の有効な入力文字列を表す、SELECT要素に関連付けられているOPTION要素(認識時にディクショナリエントリとして使用することができる)。
・文字の間隔空けのガイドを定義する目的で使用されることがある、TEXTAREA要素における「行」属性と「列」属性(例:各文字が個別のボックスに書き込まれる必要のあるボックス型入力)。
これらに加えて、カスタム属性をHTMLフィールド要素に容易に追加することができ(例:CUSTOM="Hello")、なぜなら、ページを処理するブラウザ及びその他のシステムでは、未知の属性は必ず無視されるためである。このようにすると、フォーム設計者は、認識システムによって使用されるのみでありブラウザによって問題なく無視されるカスタム要素を、HTMLソースコードに追加することができる。
XFORMSは、W3Cによって定義された標準のフォーム定義言語であり、「XForms 1.0」W3C Working draft(2002年8月21日)に記載されている。XForms標準は、HTMLフォームの後継として開発されたものであり、デスクトップコンピュータ、携帯型デバイス、情報機器、更には紙において同じフォームが機能できるようにすることによって、デバイスに依存しないフォーム処理が導入される。これを達成するため、XFormsでは、HTMLとは違い、データ定義がプレゼンテーションとは別に保持される。XFormsコードの例を以下に示す。このコードによってブラウザ内に生成される出力の例が図2に示してある。
<xform>
<submitInfo action="form.exe"method="post"/>
</xform>
<input xform="payment"ref="cc">
<caption>Credit Card Number</caption>
</input><input xform="payment"ref="exp">
<caption>Expiration Date</caption>
</input><submit xform="payment">
<caption>Submit</caption>
</submit>
HTMLの場合と同じように、入力フィールド定義の中のキャプション要素を調べることによって、フィールドラベルをXFormsコードから導くことができる。これに加えて、XFormsでは、リスト選択要素「<selectOne>」、「<selectMany>」や対応する「<item>」要素など、HTMLについて前述したものに似た入力フィールド要素がサポートされており、これらは認識処理時にディクショナリエントリとして使用することができる。
XForms仕様には、日付、通貨、番号、文字列、時刻、URIタイプなど、フィールド入力の一連のデータタイプが含まれている。この情報は、認識精度を高める目的で認識システムによって使用することができる。同様に、XForms仕様には、データ属性(例:通貨、小数位、整数)と確認属性(最小値、最大値、パターン、範囲)とが含まれており、これらを使用して認識結果を更に高めることができる。
PDF(Portable Document Format)は、Adobe社によって定義されたドキュメント形式であり、インターネットベースでドキュメントを配布するときの事実上の標準になっている。最近、Adobe社は、オンラインで使用するための形式を定義することができる対話型要素を追加した。
HTMLやXFormsと同様に、PDFのフォーム要素は、要素の挙動を定義する固有のタイプ(例:テキスト、署名、コンボボックス、リストボックス)を持ち、これを手書き認識システムのガイドとして使用することができる。PDFのフォーム要素にはフィールド名(例:「/T(FirstName)」)も含まれており、フィールド名には、フィールドに入力されるデータのタイプを示す有用なラベルが含まれていることがある。リストフィールドと組み合わせフィールドには、有効な選択肢文字列を定義する一連のオプション(「/Opt[(Optionl)(Option2)]」)が含まれている。
それ以外のフィールド属性としては、形式指定子(例:番号、パーセント、日付、時刻、郵便番号、電話番号、社会保障番号など)と、データがフィールドに入力されたときに実行されるJavaScript確認コードとが挙げられる。カスタム属性も、上述したようにフィールド定義に容易に組み込むことができる(「/CUSTOM_ATTRIBUTE(HelloWorld)」)。
本発明の実施形態は、プログラムされて調整された適切なマイクロプロセッサを使用して実施することができる。このようなマイクロプロセッサは、文字認識環境において動作するように特に設計されているカスタムシステムの一部を形成することができ、又は、デスクトップPCなど、他の一般的なタスクを実行することもできる汎用コンピュータとすることができる。
上記の説明に照らして、通常の技術を有する者には、本発明の範囲内で様々な変更を行うことができることが明らかであろう。
本発明は、明示的に又はその一般化が本明細書に開示されている新規の特徴、又は特徴の組み合わせを、それらが請求項に記載されている本発明に関連するか否か、又は、取り扱われている問題の一部又はすべてを緩和するか否かに関係なく、包含する。

Claims (25)

  1. 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法であって、
    可動入力装置から動きデータを受信するステップであって、前記動きデータは電子フォームの特定のフィールドに関連付けられている、前記ステップと、
    少なくともひとつの手書きアルゴリズムを動きデータに適用することによって、動きデータにおける情報内容の一つ以上の可変部分を決定するステップと、
    電子フォームの特定のフィールドに関連付けられている少なくともひとつのパラメータを利用することによって、前記動きデータにおける前記情報内容の好適な可変部分を決定するステップと、
    を含む方法。
  2. 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法であって、
    可動入力装置から動きデータを受信するステップであって、前記動きデータは電子フォームの特定のフィールドに関連付けられている、前記ステップと、
    電子フォームの特定のフィールドに関連付けられている少なくともひとつのパラメータを利用することによって、動きデータにおける情報内容の可変部分のタイプを制限するステップと、
    少なくともひとつの手書きアルゴリズムを動きデータに適用することによって、前記情報内容の可変部分の制限されたタイプから、前記動きデータにおける前記情報内容の好適な可変部分を決定するステップと、
    を含む方法。
  3. 情報内容の好適な可変部分を決定するステップは、情報内容の可変部分のそれぞれに割り当てられている確率値を利用する、請求項1又は2のいずれか1項に記載の方法。
  4. 情報内容の好適な可変部分を決定するステップは、動きデータを受信するステップと同時に実行される、請求項1又は2のいずれか1項に記載の方法。
  5. 前記可動入力装置は、ペンのような装置である、請求項1〜4のいずれか1項に記載の方法。
  6. 情報内容の可変部分を決定するステップは、動きデータ内に含まれるストローク情報を利用する、請求項1〜5のいずれか1項に記載の方法。
  7. 前記電子フォームの特定のフィールドに、情報内容の可変部分の事前定義されているディクショナリが関連付けられており、前記ディクショナリが情報内容の好適な可変部分を決定する目的で使用される、請求項1〜6のいずれか1項に記載の方法。
  8. 前記ディクショナリ内の特定のエントリに、情報内容の好適な可変部分になる高い確率が割り当てられている、請求項7に記載の方法。
  9. 前記電子フォームの特定のフィールドが名前フィールドであり、前記ディクショナリが、選択される名前に対応する性別の情報を含んでいる、請求項7又は8のいずれかに記載の方法。
  10. 前記電子フォームの特定のフィールドが、階層的に編成されているサブフィールドを有する住所フィールドであり、サブフィールド内の情報内容の好適な可変部分を、別のサブフィールド内の情報内容の可変部分を制約する目的に使用することができる、1〜10のいずれか1項に記載の方法。
  11. 前記電子フォームの特定のフィールドが電話番号フィールドであり、前記情報内容の可変部分は数字のみを含むように制約される、請求項1〜10のいずれか1項に記載の方法。
  12. 前記電子フォームの特定のフィールドがクレジットカード番号であり、前記情報内容の可変部分は一定の数の数値のみを含むように制約され、前記数値をチェックサムの使用によって更に確認することができる、請求項1〜11のいずれか1項に記載の方法。
  13. 前記電子フォームの特定のフィールドが、郵便番号、国、日付、電子メールアドレス、及び/又は言語、を含むセットからなる、請求項1〜12のいずれか1項に記載の方法。
  14. 前記電子フォームが、標準化されているファイル形式であるHTML、XML、PDF、及びXFormsのうちの1つを使用して実施されている、請求項1〜13のいずれか1項に記載の方法。
  15. カスタムの確認プログラムが前記電子フォームの特定のフィールドに関連付けられており、前記カスタムの確認プログラムが、前記情報内容の特定の可変部分の決定に基づいて実行される、請求項1〜14のいずれか1項に記載の方法。
  16. 前記カスタムの確認プログラムがJavaScriptプログラムである、請求項15に記載の方法。
  17. フィールドマスクが前記電子フォームの特定のフィールドに関連付けられており、前記フィールドマスクは、前記情報内容の可変部分が事前定義されている文字列パターンに一致するかを調べるのに用いられる、請求項1〜16のいずれか1項に記載の方法。
  18. 前記情報内容の可変部分が、以前に決定された好適な可変部分を使用して、選択肢リスト又は組み合わせリストから導かれる、請求項1〜17のいずれか1項に記載の方法。
  19. 前記電子フォームが、コード化されたマーキングを提供する紙ベースのインタフェースである、請求項1〜18のいずれか1項に記載の方法。
  20. 前記コード化されたマーキングは、赤外マーキングのパターンである、請求項1〜19のいずれか1項に記載の方法。
  21. 前記可動入力装置は、光学イメージペンである、請求項1〜20のいずれか1項に記載の方法。
  22. 各電子フォームは、独特に識別され、ネットワーク上に格納される、請求項1〜21のいずれか1項に記載の方法。
  23. ユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法であって、
    ユーザに電子フォームを提供するステップであって、電子フォームはそこの中または上に、電子フォームの特定のフィールドおよび電子フォームの少なくとも一つの参照ポイントを示すコード化されたデータを配置させる、前記ステップと、
    ユーザによって操作され、コンピュータシステムにおいて、感知デバイスから、電子フォームの識別および電子フォームに対する感知デバイスの少なくとも一つの位置および動きに関して示しているデータを受信するステップと、
    電子フォームの特定のフィールドに関連付けられている少なくともひとつのパラメータを利用することによって、前記示しているデータからの情報内容の好適な可変部分を決定するステップと、
    を含み、
    前記感知デバイスは、
    (a)前記感知デバイスが電子フォームに対して動作位置に配置された際に、コード化されたデータの少なくとも幾つかのイメージを取り込むように構成されたイメージセンサと、
    (b)(i)ひとつ以上の取り込みイメージからコード化されたデータの少なくとも幾つかを識別し、
    (ii)コード化されたデータの少なくとも幾つかを解読し、
    (iii)解読されたコード化データの少なくとも幾つかを用いて、前記示しているデータを生成する、
    ように構成されたプロセッサと、
    を備えている、
    前記方法。
  24. 前記電子フォームの特定のフィールドは、少なくとも一つの電子フォームのゾーンに関連付けられていて、方法は、コンピュータシステム内および少なくとも一つのゾーンから、少なくとも一つのパラメータを識別するステップを含む、請求項23に記載の方法。
  25. 電子フォームベースのデータ入力システムに入力される手書きデータを解釈する方法であって、
    前記入力される手書きデータのためのフォームフィールドと複数の印刷されたタグとを有するフォームを印刷するステップであって、前記タグの各々は前記フォーム上の当該タグの位置およびフォーム識別子をコード化している、前記印刷するステップと、
    感知デバイスからストローク情報を受信するステップであって、前記感知デバイスが、前記フォームに対する相対的な前記感知デバイスの動きを記述した動きデータと前記フォーム識別子とを含んだ前記ストローク情報を前記フォーム上に書き込むために使用されるときに、当該ストローク情報は、前記感知デバイスが前記フォーム上の前記タグを感知することによって当該感知デバイスにより形成される、前記受信するステップと、
    前記フォーム識別子および前記動きデータから、前記フォームフィールドを識別するステップと、
    前記フォームフィールドに関連した、1セットの予め定められた値を特定するステップと、
    前記動きテータに手書き文字認識を適用し、前記フォームフィールドのための入力値を取得するステップであって、前記手書き文字認識では、前記1セットの予め定められた値のうち何れかの値にヒットする可能性が比較的高い、前記取得するステップと、
    を含む方法。
JP2009056754A 2002-10-15 2009-03-10 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法、およびユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法 Pending JP2009123243A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
AU2002952106A AU2002952106A0 (en) 2002-10-15 2002-10-15 Methods and systems (npw008)

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004543814A Division JP2006503353A (ja) 2002-10-15 2003-10-10 フォームベースのデータ入力システムにおける認識精度を高める方法

Publications (1)

Publication Number Publication Date
JP2009123243A true JP2009123243A (ja) 2009-06-04

Family

ID=28047674

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004543814A Pending JP2006503353A (ja) 2002-10-15 2003-10-10 フォームベースのデータ入力システムにおける認識精度を高める方法
JP2009056754A Pending JP2009123243A (ja) 2002-10-15 2009-03-10 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法、およびユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2004543814A Pending JP2006503353A (ja) 2002-10-15 2003-10-10 フォームベースのデータ入力システムにおける認識精度を高める方法

Country Status (7)

Country Link
US (2) US20060106610A1 (ja)
EP (1) EP1552468A4 (ja)
JP (2) JP2006503353A (ja)
CN (1) CN1705958A (ja)
AU (1) AU2002952106A0 (ja)
CA (1) CA2502261A1 (ja)
WO (1) WO2004036488A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6948135B1 (en) 2000-06-21 2005-09-20 Microsoft Corporation Method and systems of providing information to computer users
US7191394B1 (en) 2000-06-21 2007-03-13 Microsoft Corporation Authoring arbitrary XML documents using DHTML and XSLT
US7155667B1 (en) * 2000-06-21 2006-12-26 Microsoft Corporation User interface for integrated spreadsheets and word processing tables
US7346848B1 (en) 2000-06-21 2008-03-18 Microsoft Corporation Single window navigation methods and systems
US7624356B1 (en) 2000-06-21 2009-11-24 Microsoft Corporation Task-sensitive methods and systems for displaying command sets
US7000230B1 (en) 2000-06-21 2006-02-14 Microsoft Corporation Network-based software extensions
US6883168B1 (en) 2000-06-21 2005-04-19 Microsoft Corporation Methods, systems, architectures and data structures for delivering software via a network
JP2004046375A (ja) * 2002-07-09 2004-02-12 Canon Inc 帳票処理装置および帳票処理方法ならびにプログラム
US20040073690A1 (en) 2002-09-30 2004-04-15 Neil Hepworth Voice over IP endpoint call admission
US7359979B2 (en) * 2002-09-30 2008-04-15 Avaya Technology Corp. Packet prioritization and associated bandwidth and buffer management techniques for audio over IP
US7370066B1 (en) 2003-03-24 2008-05-06 Microsoft Corporation System and method for offline editing of data files
US7415672B1 (en) 2003-03-24 2008-08-19 Microsoft Corporation System and method for designing electronic forms
US7913159B2 (en) 2003-03-28 2011-03-22 Microsoft Corporation System and method for real-time validation of structured data files
US7296017B2 (en) 2003-03-28 2007-11-13 Microsoft Corporation Validation of XML data files
JP4240293B2 (ja) * 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
US20040268229A1 (en) * 2003-06-27 2004-12-30 Microsoft Corporation Markup language editing with an electronic form
US7451392B1 (en) 2003-06-30 2008-11-11 Microsoft Corporation Rendering an HTML electronic form by applying XSLT to XML using a solution
US7406660B1 (en) 2003-08-01 2008-07-29 Microsoft Corporation Mapping between structured data and a visual surface
US7334187B1 (en) 2003-08-06 2008-02-19 Microsoft Corporation Electronic form aggregation
US8819072B1 (en) 2004-02-02 2014-08-26 Microsoft Corporation Promoting data from structured data files
US7430711B2 (en) * 2004-02-17 2008-09-30 Microsoft Corporation Systems and methods for editing XML documents
US7318063B2 (en) * 2004-02-19 2008-01-08 Microsoft Corporation Managing XML documents containing hierarchical database information
US7496837B1 (en) 2004-04-29 2009-02-24 Microsoft Corporation Structural editing with schema awareness
US7281018B1 (en) 2004-05-26 2007-10-09 Microsoft Corporation Form template data source change
US7774620B1 (en) 2004-05-27 2010-08-10 Microsoft Corporation Executing applications at appropriate trust levels
US7978827B1 (en) 2004-06-30 2011-07-12 Avaya Inc. Automatic configuration of call handling based on end-user needs and characteristics
US8923838B1 (en) 2004-08-19 2014-12-30 Nuance Communications, Inc. System, method and computer program product for activating a cellular phone account
US7477238B2 (en) * 2004-08-31 2009-01-13 Research In Motion Limited Handheld electronic device with text disambiguation
US8154518B2 (en) * 2004-08-31 2012-04-10 Research In Motion Limited Handheld electronic device and associated method employing a multiple-axis input device and elevating the priority of certain text disambiguation results when entering text into a special input field
US7692636B2 (en) 2004-09-30 2010-04-06 Microsoft Corporation Systems and methods for handwriting to a screen
US7712022B2 (en) 2004-11-15 2010-05-04 Microsoft Corporation Mutually exclusive options in electronic forms
US7584417B2 (en) * 2004-11-15 2009-09-01 Microsoft Corporation Role-dependent action for an electronic form
US7721190B2 (en) 2004-11-16 2010-05-18 Microsoft Corporation Methods and systems for server side form processing
US7904801B2 (en) 2004-12-15 2011-03-08 Microsoft Corporation Recursive sections in electronic forms
US7937651B2 (en) 2005-01-14 2011-05-03 Microsoft Corporation Structural editing operations for network forms
US7725834B2 (en) 2005-03-04 2010-05-25 Microsoft Corporation Designer-created aspect for an electronic form template
US8010515B2 (en) 2005-04-15 2011-08-30 Microsoft Corporation Query to an electronic form
WO2006123575A1 (ja) * 2005-05-19 2006-11-23 Kenji Yoshida 音声情報記録装置
US8200975B2 (en) 2005-06-29 2012-06-12 Microsoft Corporation Digital signatures for network forms
JP2009508184A (ja) * 2005-07-27 2009-02-26 ミケイル ヴァシリエヴィチ ベリャーエフ グラフィカルユーザインターフェイスの提示のためのクライアント−サーバ情報システム及び方法
US7484173B2 (en) * 2005-10-18 2009-01-27 International Business Machines Corporation Alternative key pad layout for enhanced security
EP1946292A1 (en) * 2005-10-21 2008-07-23 Robert E. Coifman Method and apparatus for improving the transcription accuracy of speech recognition software
US8751145B2 (en) * 2005-11-30 2014-06-10 Volkswagen Of America, Inc. Method for voice recognition
US8001459B2 (en) 2005-12-05 2011-08-16 Microsoft Corporation Enabling electronic documents for limited-capability computing devices
CN101315627B (zh) * 2007-05-30 2010-06-16 凌群电脑股份有限公司 数据录入方法及系统
US9386154B2 (en) 2007-12-21 2016-07-05 Nuance Communications, Inc. System, method and software program for enabling communications between customer service agents and users of communication devices
US8838549B2 (en) * 2008-07-07 2014-09-16 Chandra Bodapati Detecting duplicate records
US8218751B2 (en) 2008-09-29 2012-07-10 Avaya Inc. Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences
US9846690B2 (en) * 2009-03-02 2017-12-19 International Business Machines Corporation Automating interrogative population of electronic forms using a real-time communication platform
US20120226490A1 (en) * 2009-07-09 2012-09-06 Eliyahu Mashiah Content sensitive system and method for automatic input language selection
KR101597289B1 (ko) * 2009-07-31 2016-03-08 삼성전자주식회사 동적 화면에 따라 음성을 인식하는 장치 및 방법
KR20110114861A (ko) * 2010-04-14 2011-10-20 한국전자통신연구원 우편물 접수 장치
US8391464B1 (en) 2010-06-24 2013-03-05 Nuance Communications, Inc. Customer service system, method, and software program product for responding to queries using natural language understanding
US9619534B2 (en) * 2010-09-10 2017-04-11 Salesforce.Com, Inc. Probabilistic tree-structured learning system for extracting contact data from quotes
US20130047261A1 (en) * 2011-08-19 2013-02-21 Graeme John Proudler Data Access Control
DE102013201973A1 (de) 2012-02-22 2013-08-22 International Business Machines Corp. Verteilte Anwendung mit Vorwegnahme von Server-Antworten
US9229919B1 (en) * 2012-03-19 2016-01-05 Apttex Corporation Reconciling smart fields
KR20140049228A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 사용자 입력에 따른 단말의 제어 방법 및 그 단말
DE102012020610A1 (de) 2012-10-19 2014-04-24 Audi Ag Kraftwagen mit einem Handschrifterkennungssystem
US8958644B2 (en) * 2013-02-28 2015-02-17 Ricoh Co., Ltd. Creating tables with handwriting images, symbolic representations and media images from forms
CN105365416A (zh) * 2014-08-29 2016-03-02 北京华夏聚龙自动化股份公司 一种自助填单机的打印校准方法
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
CN107977404B (zh) * 2017-11-15 2020-08-28 深圳壹账通智能科技有限公司 用户信息筛选方法、服务器及计算机可读存储介质
JP2020154778A (ja) * 2019-03-20 2020-09-24 富士ゼロックス株式会社 文書処理装置及びプログラム
US11360990B2 (en) 2019-06-21 2022-06-14 Salesforce.Com, Inc. Method and a system for fuzzy matching of entities in a database system based on machine learning
US11557139B2 (en) * 2019-09-18 2023-01-17 Sap Se Multi-step document information extraction
US10832656B1 (en) * 2020-02-25 2020-11-10 Fawzi Shaya Computing device and method for populating digital forms from un-parsed data
EP4200717A2 (en) 2020-08-24 2023-06-28 Unlikely Artificial Intelligence Limited A computer implemented method for the automated analysis or use of data
US11977854B2 (en) 2021-08-24 2024-05-07 Unlikely Artificial Intelligence Limited Computer implemented methods for the automated analysis or use of data, including use of a large language model

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195670A (ja) * 1990-11-28 1992-07-15 Toshiba Corp 手書き文字認識かな漢字変換方式
JPH04372090A (ja) * 1991-06-21 1992-12-25 Canon Inc 文字認識方法及び装置
JPH06290301A (ja) * 1993-04-01 1994-10-18 Olympus Optical Co Ltd 文字/図形認識装置
JPH07320002A (ja) * 1994-05-27 1995-12-08 Sanyo Electric Co Ltd 文字認識装置
JPH07334622A (ja) * 1994-06-14 1995-12-22 Nippon Steel Corp 文字認識方法および装置
JPH0830730A (ja) * 1994-07-13 1996-02-02 Fujitsu Ltd 文字認識処理装置
JPH0991083A (ja) * 1995-09-22 1997-04-04 Casio Comput Co Ltd 筆記データ入力装置
JP2000222526A (ja) * 1991-12-27 2000-08-11 Hitachi Ltd ペン入力方法、ペン入力装置および情報処理システム
WO2000072110A2 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Computer system interface surface
WO2001041003A1 (en) * 1999-12-01 2001-06-07 Silverbrook Research Pty. Ltd. Sensing device for coded electronic ink surface

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4712174A (en) * 1984-04-24 1987-12-08 Computer Poet Corporation Method and apparatus for generating text
US4864618A (en) * 1986-11-26 1989-09-05 Wright Technologies, L.P. Automated transaction system with modular printhead having print authentication feature
US5051736A (en) * 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
CA2078423C (en) * 1991-11-19 1997-01-14 Per-Kristian Halvorsen Method and apparatus for supplementing significant portions of a document selected without document image decoding with retrieved information
US5477012A (en) * 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5235654A (en) * 1992-04-30 1993-08-10 International Business Machines Corporation Advanced data capture architecture data processing system and method for scanned images of document forms
EP0592238B1 (en) * 1992-10-09 2002-01-16 Matsushita Electric Industrial Co., Ltd. Certifiable optical character recognition
US6651221B1 (en) * 1993-05-20 2003-11-18 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
CA2153684C (en) * 1993-12-01 2000-03-21 John L. C. Seybold Combined dictionary based and likely character string method of handwriting recognition
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
CA2155891A1 (en) * 1994-10-18 1996-04-19 Raymond Amand Lorie Optical character recognition system having context analyzer
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
EP0839344A1 (en) * 1995-07-20 1998-05-06 Dallas Semiconductor Corporation Microcircuit with memory that is protected by both hardware and software
JPH09223195A (ja) * 1996-02-06 1997-08-26 Hewlett Packard Co <Hp> 文字認識方法
US5692073A (en) * 1996-05-03 1997-11-25 Xerox Corporation Formless forms and paper web using a reference-based mark extraction technique
US5850480A (en) * 1996-05-30 1998-12-15 Scan-Optics, Inc. OCR error correction methods and apparatus utilizing contextual comparison
US5983351A (en) * 1996-10-16 1999-11-09 Intellectual Protocols, L.L.C. Web site copyright registration system and method
US6157935A (en) * 1996-12-17 2000-12-05 Tran; Bao Q. Remote data access and management system
JP3006545B2 (ja) * 1997-06-09 2000-02-07 日本電気株式会社 オンライン文字認識装置
US6518950B1 (en) * 1997-10-07 2003-02-11 Interval Research Corporation Methods and systems for providing human/computer interfaces
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6256410B1 (en) * 1998-07-30 2001-07-03 International Business Machines Corp. Methods and apparatus for customizing handwriting models to individual writers
US6964374B1 (en) * 1998-10-02 2005-11-15 Lucent Technologies Inc. Retrieval and manipulation of electronically stored information via pointers embedded in the associated printed material
GB2345783B (en) * 1999-01-12 2003-04-09 Speech Recognition Company Speech recognition system
US7350236B1 (en) * 1999-05-25 2008-03-25 Silverbrook Research Pty Ltd Method and system for creation and use of a photo album
AU762620B2 (en) * 1999-06-30 2003-07-03 Silverbrook Research Pty Ltd Interactive printer persistent storage provider
JP2001236451A (ja) * 2000-02-21 2001-08-31 Oki Data Corp 電子帳票作成システム
SE519356C2 (sv) * 2000-04-05 2003-02-18 Anoto Ab Förfarande och anordning för informationshantering
US7154638B1 (en) * 2000-05-23 2006-12-26 Silverbrook Research Pty Ltd Printed page tag encoder
US6956970B2 (en) * 2000-06-21 2005-10-18 Microsoft Corporation Information storage using tables and scope indices
US7006711B2 (en) * 2000-06-21 2006-02-28 Microsoft Corporation Transform table for ink sizing and compression
US6698660B2 (en) * 2000-09-07 2004-03-02 Anoto Ab Electronic recording and communication of information
US20020062342A1 (en) * 2000-11-22 2002-05-23 Sidles Charles S. Method and system for completing forms on wide area networks such as the internet
US20020107885A1 (en) * 2001-02-01 2002-08-08 Advanced Digital Systems, Inc. System, computer program product, and method for capturing and processing form data
US6950555B2 (en) * 2001-02-16 2005-09-27 Parascript Llc Holistic-analytical recognition of handwritten text
US20030007018A1 (en) * 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US7246060B2 (en) * 2001-11-06 2007-07-17 Microsoft Corporation Natural input recognition system and method using a contextual mapping engine and adaptive user bias
US7020320B2 (en) * 2002-03-06 2006-03-28 Parascript, Llc Extracting text written on a check
US6867786B2 (en) * 2002-07-29 2005-03-15 Microsoft Corp. In-situ digital inking for applications
US20040036681A1 (en) * 2002-08-23 2004-02-26 International Business Machines Corporation Identifying a form used for data input through stylus movement by means of a traced identifier pattern
US7343042B2 (en) * 2002-09-30 2008-03-11 Pitney Bowes Inc. Method and system for identifying a paper form using a digital pen

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195670A (ja) * 1990-11-28 1992-07-15 Toshiba Corp 手書き文字認識かな漢字変換方式
JPH04372090A (ja) * 1991-06-21 1992-12-25 Canon Inc 文字認識方法及び装置
JP2000222526A (ja) * 1991-12-27 2000-08-11 Hitachi Ltd ペン入力方法、ペン入力装置および情報処理システム
JPH06290301A (ja) * 1993-04-01 1994-10-18 Olympus Optical Co Ltd 文字/図形認識装置
JPH07320002A (ja) * 1994-05-27 1995-12-08 Sanyo Electric Co Ltd 文字認識装置
JPH07334622A (ja) * 1994-06-14 1995-12-22 Nippon Steel Corp 文字認識方法および装置
JPH0830730A (ja) * 1994-07-13 1996-02-02 Fujitsu Ltd 文字認識処理装置
JPH0991083A (ja) * 1995-09-22 1997-04-04 Casio Comput Co Ltd 筆記データ入力装置
WO2000072110A2 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Computer system interface surface
WO2001041003A1 (en) * 1999-12-01 2001-06-07 Silverbrook Research Pty. Ltd. Sensing device for coded electronic ink surface
JP2003515843A (ja) * 1999-12-01 2003-05-07 シルバーブルック リサーチ プロプライエタリイ、リミテッド コード化された電子インク面のための検知デバイス

Also Published As

Publication number Publication date
EP1552468A4 (en) 2007-07-11
CA2502261A1 (en) 2004-04-29
US20060106610A1 (en) 2006-05-18
WO2004036488A1 (en) 2004-04-29
AU2002952106A0 (en) 2002-10-31
JP2006503353A (ja) 2006-01-26
EP1552468A1 (en) 2005-07-13
CN1705958A (zh) 2005-12-07
US20040078756A1 (en) 2004-04-22

Similar Documents

Publication Publication Date Title
JP2009123243A (ja) 電子フォームベースのデータ入力システムに入力されるデータを解釈する方法、およびユーザが電子フォームベースのデータ入力システムに情報内容を入力できる方法
US7660466B2 (en) Natural language recognition using distributed processing
CN100543835C (zh) 墨水纠正垫
US9582095B1 (en) Integrated document editor
KR100704093B1 (ko) 콤포넌트 기반의, 적응성 스트로크 명령 시스템
JP2003162687A (ja) 手書き文字入力装置、手書き文字認識プログラム
TWI464678B (zh) 用於手寫輸入亞洲語言的方法及系統
TW200538969A (en) Handwriting and voice input with automatic correction
JP2006276911A (ja) 電子機器およびプログラム
US20140380169A1 (en) Language input method editor to disambiguate ambiguous phrases via diacriticization
US20050086057A1 (en) Speech recognition apparatus and its method and program
AU2003266850B2 (en) Method of improving recognition accuracy in form-based data entry systems
CN102685347A (zh) 图像处理装置和图像处理方法
KR101159323B1 (ko) 아시아 언어들을 위한 수기 입력
JP4515186B2 (ja) 音声辞書作成装置、音声辞書作成方法、及びプログラム
Belay Deep learning for Amharic text-image recognition: algorithm, dataset and application
JP2002245470A (ja) 言語特定装置及び翻訳装置及び言語特定方法
AU2004265700B2 (en) Natural language recognition using distributed processing
JP2009110204A (ja) 文書処理装置、文書処理システム、文書処理方法及び文書処理プログラム
JP6417754B2 (ja) 組合せ単語登録装置およびプログラム
Toselli et al. Computer assisted transcription of text images
JP2022148922A (ja) 情報処理装置及びプログラム
Chaware et al. EVALUATION OF PHONETIC MATCHING APPROACHES FOR HINDI AND MARATHI: INFORMATION RETRIEVAL
AU2004265699A1 (en) Improving accuracy in searching digital ink

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111101