JP2009193234A

JP2009193234A - 端末装置、それに用いられるプログラム及び情報処理システム

Info

Publication number: JP2009193234A
Application number: JP2008031961A
Authority: JP
Inventors: Masayoshi Imai; 政敬今井
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2008-02-13
Filing date: 2008-02-13
Publication date: 2009-08-27
Anticipated expiration: 2028-02-13
Also published as: JP5109701B2

Abstract

【課題】電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して、誤認識された文字だけを個別に修正する。
【解決手段】記入帳票に文字列を記入すると、電子ペンから取得した帳票記入情報に基づいて文字列で認識する。第１帳票エリア定義情報を参照することにより、文字列が記入された帳票エリアを特定し、帳票記入情報に基づく文字認識により文字列を特定する。帳票エリア及び文字列を対応付けてメモリに格納し、音声を出力して表示する。誤認識を修正するために、電子ペンから取得した修正記入情報に基づいて一文字ずつ認識する。第２帳票エリア定義情報及び修正エリア定義情報を参照することにより、修正したい文字の帳票エリア及び修正文字を特定し、メモリに格納された記入文字列の修正する帳票エリアとして特定された文字を修正文字で上書し、音声を出力して表示する。
【選択図】図１３

Description

本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。

近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている（特許文献１参照）。アノトペンは、所定のドットパターンが印刷された専用紙（以下、「専用ペーパー」とも呼ぶ。）とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある（例えば、特許文献２）。

また、特許文献３には、文字種類を特定するための判別項目を設けることで、電子ペンによる記入情報に基づくＯＣＲの誤認識を減少させ、紛らわしい文字の変換を確実に行うことができる文字認識システムが記載されている。

特表２００３−５１１７６１号公報特開２００４−１５３６１２号公報特開２００７−２６５３４６号公報

本発明は、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して、誤認識された文字だけを個別に修正することが可能な端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。

本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、音声を出力する音声出力部と、文字列を表示する表示部と、前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段と、前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段と、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段と、前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、前記音声出力部から、前記記入文字列に対応する音声を出力する第１音声出力手段と、前記表示部に前記記入文字列を表示させる第１表示手段と、前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段と、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段と、前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段と、前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段と、前記音声出力部から、前記認識結果上書手段により前記修正文字を上書きされた文字列に対応する音声を出力する第２音声出力手段と、前記表示部に前記修正文字列を表示させる第２表示手段と、を備えることを特徴とする。

上記のように構成された端末装置において、電子ペンは、認識可能なコード化パターンが印刷された電子ペン用記入媒体や電子ペン用修正媒体に記入された内容に対応するデジタルデータである記入情報を取得し、即時的且つ逐次的に端末装置へ送信する。端末装置は、電子ペンから即時的且つ逐次的に取得する記入情報に基づいて処理を実行することができる。端末装置とは、電子ペンの近傍に存在し、電子ペンから取得した記入情報を処理することができるＰＣ、ＰＤＡ（Personal Digital Assistants）、携帯電話等の外部機器である。なお、本発明において記入情報は、電子ペン用記入媒体や電子ペン用修正媒体に記入された内容に対応するデジタルデータのみではなく、電子ペン用記入媒体や電子ペン用修正媒体へのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用記入媒体が有する帳票エリアや電子ペン用修正媒体が有する修正エリアを電子ペンによりたたくことである。利用者は、まず、電子ペン用記入媒体の所定の帳票エリアに任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、ＪＩＳ１、ＪＩＳ２など任意の１文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。座標情報とは、電子ペン用記入媒体に印刷されたドットパターン上における文字列の位置座標を示すＸ／Ｙ座標データ等である。ストロークデータとは、電子ペンが記入した文字列の軌跡を示すデータである。取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している第１帳票エリア定義情報を参照することにより、端末装置は、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりＨＷＲ（HandWriting Recognition；手書き文字認識）やＯＣＲ（Optical Character Recognition；光学文字認識）を実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。

電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入媒体において修正したい文字の帳票エリアをタップにより指定する。次に、電子ペン用修正媒体において修正後の文字をタップにより指定する。利用者は、修正したいすべての文字についてこの操作を繰り返す。このとき、電子ペンは、電子ペン用記入媒体及び電子ペン用修正媒体へのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、第２帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字を修正文字として特定する。そして、端末装置は、修正する帳票エリアとして特定された帳票エリアに対応付けて格納されている文字を修正文字で上書する。端末装置は、修正文字を上書した文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。

さらに、上記端末装置において、前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段を備え、前記第２帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記第２帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定することができ、前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定することができる。

さらに、電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、修正処理の開始に対応する開始エリアと修正処理の終了に対応する終了エリアを有しており、前記端末装置は、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記開始エリアと前記終了エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、前記判定手段が前記開始エリアに前記電子ペンによる記入がなされたと判定した場合に、前記修正記入情報取得手段、前記第２帳票エリア特定手段、前記修正エリア特定手段、前記修正文字特定手段が動作し、前記判定手段が前記終了エリアに前記電子ペンによる記入がなされたと判定した場合に、前記削除手段、前記認識結果上書手段が動作する。これによれば、端末装置は、開始エリアがタップされた場合に、修正の開始と判断し、終了エリアがタップされた場合に、利用者による、修正する帳票エリアの指定と修正文字の指定とが完了したと判断する。よって、確実に修正処理を実行することができる。

さらに、電子ペンから取得する帳票記入情報及び修正記入情報には、座標情報やストロークデータの他に時間情報が含まれている。時間情報とは、電子ペンによって文字を記入した時刻や所定のエリアをタップした時刻を示す情報である。前記記入文字列認識手段は、前記帳票記入情報に基づく文字認識により認識した１つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで記入文字列を認識する。これにより、正しい記入文字列を特定することができる。

また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声を出力する音声出力部と、文字列を表示する表示部と、を備え、前記プログラムは、前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段、前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段、前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段、前記音声出力部から、前記記入文字列に対応する音声を出力する第１音声出力手段、前記表示部に前記記入文字列を表示させる第１表示手段、前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段、前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段、前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段、前記音声出力部から、前記修正文字を上書きした文字列に対応する音声を出力する第２音声出力手段、前記表示部に前記修正文字列を表示させる第２表示手段、として前記コンピュータを機能させることを特徴とする。上記プログラムをコンピュータにより実行することで、上述の端末装置を実現することができる。また、上述の端末装置の各態様も同様に実現することができる。

また、本発明に係る情報処理システムによれば、利用者が電子ペン用記入帳票の所定の帳票エリアに任意の文字列を記入すると、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。端末装置では、取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している第１帳票エリア定義情報を参照することにより、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりＨＷＲやＯＣＲを実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入媒体において修正したい文字の帳票エリアをタップする。次に、利用者は、電子ペン用修正媒体において修正後の文字をタップにより指定する。このとき、電子ペンは、電子ペン用記入媒体及び電子ペン用修正媒体へのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、第２帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字を修正文字として特定する。そして、端末装置は、修正エリアとして特定された帳票エリアに対応付けて格納されている文字を修正文字で上書する。端末装置は、修正文字を上書した文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。このように、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して、誤認識された文字だけを個別に修正することができる。

また、記入文字列及び修正文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うことも可能である。

本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して、誤認識された文字だけを個別に修正することができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

＜第１実施形態＞
本実施形態の情報処理システムは、図１及び図２に示すように、電子ペン１０Ａ（１０）と、専用ペーパー（電子ペン用媒体）２０と、端末装置２５Ａ（２５）とから構成される。ここで、図１は電子ペン１０Ａの使用形態を模式的に示す図であり、図２は電子ペン１０Ａの構成を示すブロック図である。専用ペーパー２０には、ドットパターン（コード化パターン）が印刷されている。電子ペン１０Ａは、通常のインクペンと同様のペン先部１７を備えており、利用者が通常のインクペンと同様にペン先部１７によって専用ペーパー２０上に文字などを書くと、電子ペン１０Ａは、ペン先部１７の移動軌跡に沿って、専用ペーパー２０に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー２０におけるその局所位置の座標を算出し、その座標データ等を端末装置２５Ａに送信する。電子ペン１０Ａは、端末装置２５Ａへ確実にデータを送信できるよう、端末装置２５Ａの近傍で使用される。端末装置２５Ａは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。

［専用ペーパー］
まず、専用ペーパー２０について説明する。専用ペーパー２０は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。

図５及び図６に、図案等が印刷された専用ペーパー２０の例を示す。図５は、電子ペン用記入帳票（以下、「記入帳票」と呼ぶ。）の例である。図６は、電子ペン用修正パレット（以下、「修正パレット」と呼ぶ。）の例である。

図５に示す記入帳票は、割賦申込書の一例であって、商品名・型式を記入するユーザエリアである商品名エリア６１Ａ、数量を記入するユーザエリアである数量エリア６２Ａ、現金価格を記入する価格エリア６３Ａ等が印刷されている。ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に各ユーザエリアの名称やお願い、各ユーザエリアの枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、割賦申込をする場合に、電子ペン１０Ａを使用して各ユーザエリアに必要事項を記入する。

図６に示す修正パレットは、誤認識された文字列の修正に使用する帳票であって、「０」から「９」までの数字が記載されたユーザエリアである修正エリア６５、「開始」が記載されたユーザエリアである決定エリア６６、「終了」が記載されたユーザエリアである決定エリア６７等が印刷されている。ドットパターンは、修正パレットのほぼ全面に印刷されており、その上に数字や枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、誤認識された文字列を修正する場合に、電子ペン１０Ａを使用して、開始エリア６６をタップした後、記入帳票上の修正したい文字の帳票エリアをタップし、修正した正しい文字（以下、「修正文字」と呼ぶ。）に対応する修正エリア６５をタップ（電子ペン１０Ａのペン先部１７の専用ペーパー（電子ペン用媒体２０）への軽叩）する。そして、利用者は、修正を完了する場合に、電子ペン１０Ａを使用して終了エリア６７をタップする。

［ドットパターン］
続いて、ドットパターンについて説明する。図３は、専用ペーパー２０に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトされているかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー２０上の位置座標が決定されるよう構成されている。

図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２mmの範囲内に６×６個のドットが、専用ペーパー上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１０Ａによって行われる。

［電子ペン］
次に電子ペン１０Ａについて説明する。図２に示すように、電子ペン１０Ａは、その内部にプロセッサ１１、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６、圧力センサ１８及びクロック２２を備える。また、電子ペン１０Ａは通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。

ＬＥＤ１５は、電子ペン１０Ａのペン先付近に取り付けられており、専用ペーパー２０上のペン先部１７近傍（領域１５ａ）に向けて、赤外線を照明する（図１参照）。領域１５ａは、ペン先部１７が専用ペーパー２０に接触する位置とはわずかにずれている。カメラ１６は、ＬＥＤ１５によって照明された領域１５ａ内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１１に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１５によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ１６の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ１６による撮影領域は、図４（ａ）に示すような約２mm×約２mmの大きさを含む範囲であり、カメラ１６の撮影は、毎秒５０〜１００回程度行われる。

バッテリー１４は電子ペン１０Ａ内の各部品に電力を供給するためのものであり、例えば電子ペン１０Ａのキャップ（図示せず）の脱着により電子ペン１０Ａ自体の電源のオン／オフを行うよう構成させてもよい。クロック２２は、現在時刻（タイムスタンプ）を発信し、プロセッサ１１に供給する。圧力センサ１８は、利用者が電子ペン１０Ａにより専用ペーパー２０上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。

プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０Ａで専用ペーパー２０上に文字などを書くと、ペン先部１７には筆圧がかかり、圧力センサ１８によって所定値以上の筆圧が検出されたときに、プロセッサ１１は、利用者が記入を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動させる。

プロセッサ１１は、利用者の記入が行われる間、カメラ１６によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー２０上でのＸ，Ｙ座標（単に「座標データ」とも呼ぶ）を連続的に算出していく。すなわち、プロセッサ１１は、カメラ１６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを算出する。そしてプロセッサ１１は、現在時刻（タイムスタンプ）を発信するクロック２２から時間情報を取得し、その時間情報と、筆圧データ及びＸ，Ｙ座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット１３に対して、端末装置２５Ａへ送信させる。ここで、一枚の専用ペーパー（電子ペン用媒体）２０内の６×６のドットパターンは、その専用ペーパー２０内で重複することはないため、利用者が電子ペン１０Ａでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー２０のどのユーザエリアに対応するものであるかを、座標データから特定することができる。

データ通信ユニット１３は、プロセッサ１１から時間情報、筆圧データ、Ｘ，Ｙ座標データを記入情報として受けると、端末装置２５Ａへ無線送信する。データ通信ユニット１３による送信は、Bluetooth（登録商標）の無線送信によると好適である。なお、ＵＳＢケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット１３から端末装置２５Ａへデータ送信を行ってもよい。データ通信ユニット１３による端末装置２５Ａへの記入情報の送信は、即時的且つ逐次的に行われる。

［端末装置］
次に、端末装置２５Ａについて図７を参照して説明する。端末装置２５Ａは、ハードウェアとして、電子ペン１０Ａとのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、スピーカ、ディスプレイ等で構成される、ＰＣや携帯電話、或いは携帯端末である。図７は、端末装置２５Ａの機能ブロック図である。端末装置２５Ａは、電子ペン１０Ａから取得したＸ，Ｙ座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。

図７に示すように、端末装置２５Ａは、情報記憶手段３１、記入情報取得手段３２、開始終了点特定手段３３、帳票エリア特定手段３４、記入文字列認識手段３５、音声出力手段３６、表示手段３７、認識結果格納手段３８、修正エリア特定手段３９、判定手段４０、修正文字特定手段４１、認識結果上書手段４２、音声出力部４３及び表示部４４を備える。物理的には、情報記憶手段３１及び認識結果格納手段３８は、ＲＯＭやＲＡＭといったメモリによって構成され、記入情報取得手段３２は、データ通信ユニット、プロセッサ等によって構成され、音声出力部４３はスピーカ等で構成され、表示部４４はディスプレイ等で構成される。また、開始終了点特定手段３３、帳票エリア特定手段３４、記入文字列認識手段３５、音声出力手段３６、表示手段３７、修正エリア特定手段３９、判定手段４０、修正文字特定手段４１及び認識結果上書手段４２は、ＣＰＵ等のプロセッサに組み込まれている。

情報記憶手段３１は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。情報記憶手段３１は、本発明における第１帳票エリア定義情報記憶手段、第２帳票エリア定義情報記憶手段及び修正エリア定義情報記憶手段として機能する。

すなわち、図８に示すように、情報記憶手段３１には、専用ペーパー２０である記入帳票の文字列で認識するユーザエリアを識別するエリアＩＤと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた第１帳票エリア定義情報が記憶されている。エリアＩＤ「Ａ０１」に関連してエリア名「商品名エリア」が記憶され、エリアＩＤ「Ａ０２」に関連してエリア名「数量エリア」が記憶され、エリアＩＤ「Ａ０３」に関連してエリア名「価格エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図９に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点Ｖ(xn,yn)の座標、Ｙ軸方向の高さ(Height)、Ｘ軸方向の幅(Width)を意味する。

同様に、図１０に示すように、情報記憶手段３１には、専用ペーパー２０である記入帳票の一文字ごとに認識するユーザエリアを識別するエリアＩＤと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた第２帳票エリア定義情報が記憶されている。エリアＩＤ「Ａ０１ａ０１」に関連してエリア名「０１商品名エリア」が記憶され、エリアＩＤ「Ａ０１ａ０２」に関連してエリア名「０２商品名エリア」が記憶され、エリアＩＤ「Ａ０２ａ０１」に関連してエリア名「０１数量エリア」が記憶されている。

また、図１１に示すように、情報記憶手段３１には、専用ペーパー２０である修正パレットのユーザエリアを識別するエリアＩＤと、ユーザエリアに記載された文字と、ユーザエリアの位置座標領域を示す座標データとを対応付けた修正エリア定義情報が記憶されている。エリアＩＤ「Ｂ０１」に関連して文字「１」が記憶され、エリアＩＤ「Ｂ０２」に関連して文字「２」が記憶され、エリアＩＤ「Ｂ１１」に関連して文字「開始」が記憶され、エリアＩＤ「Ｂ１２」に関連して文字「終了」が記憶されている。

記入情報取得手段３２は、電子ペン１０Ａのデータ通信ユニット１３によって送信される専用ペーパー２０への記入内容に対応する記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth（登録商標）による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。本実施形態において記入情報取得手段３２は、記入帳票への記入内容に対応する記入情報を帳票記入情報として取得する。また、本実施形態において記入情報取得手段３２は、記入帳票及び修正パレットへのタップに対応する記入情報を修正記入情報として取得する。記入情報とは、帳票記入情報及び修正記入情報の双方を含むものとする。記入情報取得手段３２は、本発明における帳票記入情報取得手段及び修正記入情報取得手段として機能する。

開始終了点特定手段３３は、記入情報取得手段３２が取得した修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段３３は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。

帳票エリア特定手段３４は、記入情報取得手段３２が取得した帳票記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した第１帳票エリア定義情報（図８参照）を参照することにより、対応するユーザエリアを特定する。記入帳票を構成するユーザエリアを総称して「帳票エリア」と呼ぶ。すなわち、帳票エリア特定手段３４は、帳票記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した第１帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。

また、帳票エリア特定手段３４は、記入情報取得手段３２が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した第２帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。このとき、帳票エリア特定手段３４は、１つのストロークのデータ開始点及びデータ終了点の双方が含まれる帳票エリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのデータ開始点及びデータ終了点のいずれかが帳票エリアの範囲外にある場合には、利用者がその帳票エリアをタップしようと意図したものではないと判定することができる。また、帳票エリア特定手段３４は、開始終了点特定手段３３によって特定されたデータ開始点及びデータ終了点における時間及び／又は両点間の移動距離に基づいて、利用者により帳票エリアに記入されたストロークがタップであるか否かを判定する。帳票エリア特定手段３４は、修正記入情報及び第２帳票エリア定義情報に基づいて、電子ペン１０Ａによりタップされた帳票エリアを特定する。

帳票エリア特定手段３４は、本発明における第１帳票エリア特定手段及び第２帳票エリア特定手段として機能する。

記入文字列認識手段３５は、記入情報取得手段３２が取得した帳票記入情報に基づいて、ＨＷＲやＯＣＲ等による文字認識を実行することで、電子ペン１０Ａを使用して記入帳票に記入された文字を認識する。さらに、記入文字列認識手段３５は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する。

音声出力手段３６は、記入文字列認識手段３５が認識した記入文字列を表す音声を音声出力部４３から出力させる。記入文字列を表す音声は、予め情報記憶手段３１に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。

表示手段３７は、記入文字列認識手段３５が認識した記入文字列を表示部４４に表示させる。

認識結果格納手段３８は、帳票エリア特定手段３４が帳票記入情報と第１帳票エリア定義情報とに基づいて特定した帳票エリアと、記入文字列認識手段３５が認識した記入文字列とを対応付けて格納するメモリである。

修正エリア特定手段３９は、記入情報取得手段３２が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した修正エリア定義情報（図１１参照）を参照することにより、電子ペン１０Ａを使用してタップされた修正エリア６５を特定する。このとき、修正エリア特定手段３９は、１つのストロークのデータ開始点及びデータ終了点の双方が含まれる修正エリア６５のみを特定するようにするとよい。そのような設定にすれば、利用者が修正パレットに記入したストロークのデータ開始点及びデータ終了点のいずれかが修正エリア６５の範囲外にある場合には、利用者がその修正エリア６５をタップしようと意図したものではないと判定することができる。また、修正エリア特定手段３９は、開始終了点特定手段３３によって特定されたデータ開始点及びデータ終了点における時間及び／又は両点間の移動距離に基づいて、利用者により修正エリア６５に記入されたストロークがタップであるか否かを判定する。修正エリア６５とタップした時刻（タップ時刻）は、対応付けて情報記憶手段３１に一時記憶される。

具体的には、利用者により専用ペーパー２０に記入されたストロークがタップであるか否かを判定するにあたっては、第１の方法として、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間（例えば、０．２秒）未満である場合にストロークがタップであると判定する方法がある。別の第２の方法として、座標データに基づいてデータ開始点とデータ終了点との間の移動距離（筆記された線の長さ）を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第３の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。

修正文字特定手段４１は、情報記憶手段３１に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段３９が特定した修正エリア６５に記載された文字を特定する。

判定手段４０は、記入情報取得手段３２が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段３１に記憶されている修正エリア定義情報を参照することで、電子ペン１０Ａにより開始エリア６６及び終了エリア６７がタップされたか否かを判定する。

認識結果上書手段４２は、判定手段４０により終了エリア６７がタップされたと判定された場合に、第２帳票エリア特定手段が特定した帳票エリアに対応する記入文字を削除し、第２帳票エリア特定手段が特定した帳票エリアと、修正文字とを対応付けて格納する。

音声出力手段３６は、判定手段４０により開始エリア６６がタップされたと判定された場合に、修正開始を示すピープ音を音声出力部４３から出力させる。また、音声出力手段３６は、判定手段４０により終了エリア６７がタップされたと判定された場合に、修正完了を示すピープ音を音声出力部４３から出力させる。さらに、音声出力手段３６は、修正文字特定手段４１が特定した修正文字を上書きした文字列を表す音声を音声出力部４３から再生出力させる。ピープ音及び修正文字列を表す音声は、予め情報記憶手段３１に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。

音声出力手段３６は、本発明における第１音声出力手段及び第２音声出力手段として機能する。

表示手段３７は、修正文字特定手段４１が特定した修正文字を上書きした文字列を表示部４４に表示させる。

表示手段３７は、本発明における第１表示手段及び第２表示手段として機能する。

認識結果上書手段４２は、認識結果格納手段３８から、帳票エリア特定手段３４により修正記入情報に基づいて特定された帳票エリアに対応する記入文字を削除する。そして、認識結果上書手段４２は、当該帳票エリアと、修正文字特定手段４１が特定した修正文字とを対応付けて認識結果格納手段３８に格納する。

端末装置２５Ａは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。

［専用アプリケーション］
次に、専用アプリケーション５０について図１２を参照して説明する。図１２は、専用アプリケーション５０のモジュール構成を示す。専用アプリケーション５０は、電子ペン１０Ａが専用ペーパー２０に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置２５Ａにインストールされている。つまり、専用アプリケーション５０は、電子ペン１０Ａが記入帳票に記入した内容に対応するデジタルデータである帳票記入情報と、電子ペン１０Ａが修正パレットに記入した内容に対応するデジタルデータである修正記入情報と、に基づいて所定の処理を実行するものである。

専用アプリケーションは、原則として専用ペーパー２０に対応付けられている。つまり、専用ペーパー２０の種類が異なれば、その種類に応じて各専用ペーパー２０に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー２０と専用アプリケーションの対応は必ずしも１対１である必要はなく、複数種類の専用ペーパー２０に１つの専用アプリケーションを対応付けてデータを処理させてもよい。また、１種類の専用ペーパー２０に複数の専用アプリケーションを対応付けてデータを処理させてもよい。

図１２に示すように、専用アプリケーション５０は、情報記憶モジュール１０１、記入情報取得モジュール１０２、開始終了点特定モジュール１０３、帳票エリア特定モジュール１０４、記入文字列認識モジュール１０５、音声出力モジュール１０６、表示モジュール１０７、認識結果格納モジュール１０８、修正エリア特定モジュール１０９、判定モジュール１１０、修正文字特定モジュール１１１及び認識結果上書モジュール１１２を有する。

情報記憶モジュール１０１は、情報記憶手段３１に対して、図８、図１０及び図１１に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール１０１は、情報記憶手段３１に対して、記入情報取得モジュール１０２が取得した記入情報、即ち帳票記入情報及び修正記入情報を記憶させるモジュールである。

記入情報取得モジュール１０２は、記入情報取得手段３２を用いて、専用ペーパー２０への電子ペン１０Ａによる記入に対応する記入情報（タップ情報を含む）を取得する機能を有するモジュールである。つまり、記入情報取得モジュール１０２は、記入情報取得手段３２を用いて、記入帳票への電子ペン１０Ａによる記入に対応する帳票記入情報と、電子ペン用記入帳票及び電子ペン用修正パレットへの電子ペン１０Ａによるタップに対応する修正記入情報とを取得する。

開始終了点特定モジュール１０３は、記入情報取得モジュール１０２の実行によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。

帳票エリア特定モジュール１０４は、帳票記入情報に含まれる座標データに基づいて、図８に示す第１帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する機能を有する。また、帳票エリア特定モジュール１０４は、修正記入情報に含まれる座標データに基づいて、図１０に示す第２帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。このとき、帳票エリア特定モジュール１０４は、修正記入情報及び第２帳票エリア定義情報に基づいて、電子ペン１０Ａによりタップされた帳票エリアを特定するものであって、１つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる帳票エリアを特定するようにするとよい。

記入文字列認識モジュール１０５は、記入情報取得モジュール１０２の実行によって取得された帳票記入情報に基づいて、ＨＷＲやＯＣＲ等による文字認識を実行することで、電子ペン１０Ａを使用して記入帳票に記入された文字を認識する機能を有する。さらに、記入文字列認識モジュール１０５は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する機能を有する。

音声出力モジュール１０６は、記入文字列認識モジュール１０５の実行によって認識された記入文字列と、修正文字特定モジュール１１１の実行によって特定された修正文字を、認識結果上書特定モジュール１１１の実行によって上書きした文字列と、を表す音声を音声出力部４３から出力させる機能を有する。また、音声出力モジュール１０６は、修正開始及び修正終了を示すピープ音を音声出力部４３から出力させる機能を有する。

表示モジュール１０７は、記入文字列認識モジュール１０５の実行によって認識された記入文字列と、修正文字特定モジュール１１１の実行によって特定された修正文字を、認識結果上書特定モジュール１１１の実行によって上書きした文字列と、を表示部４４に表示させる機能を有する。

認識結果格納モジュール１０８は、認識結果格納手段３８に対して、帳票エリア特定モジュール１０４の実行によって帳票記入情報に基づいて特定された帳票エリアと、記入文字列認識モジュール１０５の実行によって認識された記入文字列とを対応付けて格納する機能を有する。

修正エリア特定モジュール１０９は、記入情報取得モジュール１０２の実行によって取得された修正記入情報に含まれる座標データに基づいて、図１１に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア６５又は開始エリア６６又は終了エリア６７を特定する機能を有する。このとき、修正エリア特定モジュール１０９は、修正記入情報及び修正定義情報に基づいて、電子ペン１０Ａによりタップされた修正エリア６５又は開始エリア６６又は終了エリア６７を特定するものであって、１つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる修正エリア６５又は開始エリア６６又は終了エリア６７を特定するようにするとよい。なお、修正エリア６５とタップした時刻（タップ時刻）は、対応付けて情報記憶手段３１に一時記憶される。

また、修正エリア特定モジュール１０９は、記入情報取得モジュール１０２の実行によって取得された修正記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定する機能を有する。修正記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法（第１の方法）と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法（第２の方法）とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい（第３の方法）。修正エリア特定モジュール１０９は、特定した修正エリア６５を一時的に情報記憶手段３１に記憶する。

判定モジュール１１０は、記入情報取得モジュール１０２の実行によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶している修正エリア定義情報を参照することで、電子ペン１０Ａにより開始エリア６６及び終了エリア６７がタップされたか否かを判定する機能を有する。

記入情報取得モジュール１０２は、判定モジュール１１０の実行によって開始エリアがタップされたと判定された場合に、記入情報取得手段３２を用いて、記入帳票及び修正パレットへの電子ペン１０Ａによるタップに対応する修正記入情報を取得する機能を有する。

帳票エリア特定モジュール１０４は、判定モジュール１１０の実行によって開始エリアがタップされたと判定された場合に、記入情報取得モジュール１０２の実行によって取得された修正記入情報に含まれる座標データに基づいて、図１０に示す第２帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。

修正エリア特定モジュール１０９は、判定モジュール１１０の実行によって開始エリアがタップされたと判定された場合に、記入情報取得モジュール１０２の実行によって取得された修正記入情報に含まれる座標データに基づいて、図１１に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア６５を特定する機能を有する。

修正文字特定モジュール１１１は、判定モジュール１１０の実行によって開始エリアがタップされたと判定された場合に、情報記憶手段３１が記憶している修正エリア定義情報を参照することで、修正エリア特定モジュール１０９を実行することにより特定された修正エリア６５に記載された文字を特定する機能を有する。

認識結果上書モジュール１１２は、判定モジュール１１０の実行によって終了エリアがタップされたと判定された場合に、修正記入情報に基づいて帳票エリア特定モジュール１０４を実行することにより特定された帳票エリアに対応する文字を記入文字列から削除する機能を有する。そして、認識結果上書モジュール１１２は、当該帳票エリアと、修正文字特定モジュール１１１を実行することにより特定された修正文字とを対応付けて認識結果格納手段３８に格納する機能を有する。

［本情報処理システムによる文字認識処理フロー］
次に、第１実施形態の情報処理システムにより行われる処理フローについて図１３乃至図１６を参照して説明する。図１３は、第１実施形態における記入帳票上の電子ペン１０Ａの使用形態を示す図である。図１４は、第１実施形態における修正パレット上の電子ペン１０Ａの使用形態を示す図である。図１５は、端末装置２５Ａにおける文字列認識処理のフローチャートである。図１６は、文字列認識処理において端末装置２５Ａにより実行される修正処理のフローチャートである。

利用者は、電子ペン１０Ａにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン１０Ａにより、記入帳票の価格エリア６３Ａに現金価格を示す数字「１２３４５６」を記入する（図１３参照）。電子ペン１０Ａは、価格エリア６３Ａへの記入に対応する座標データ、時間情報及び筆圧データを帳票記入情報として端末装置２５Ａへ送信する。すると、端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから即時的且つ逐次的に帳票記入情報を取得する（ステップＳ１）。

ここで、即時的とは、電子ペン１０ＡがＸ，Ｙ座標データ等の記入情報を取得すると、その記入情報は即座に端末装置２５Ａへ送信され、端末装置２５Ａによって取得されることを意味し、また、逐次的とは、電子ペン１０ＡがＸ，Ｙ座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置２５Ａへ送信され、端末装置２５Ａによって取得されることを意味している。

続いて、帳票エリア特定手段３４は、記入情報取得手段３２によって取得された帳票記入情報に含まれる座標データに基づいて、図８に示す第１帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する（ステップＳ２）。例えば、帳票エリア特定手段３４は、帳票記入情報に含まれる座標データに基づいて第１帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア６３Ａ（エリアＩＤ「Ａ０３」）を特定する。さらに、記入文字列認識手段３５は、記入情報取得手段３２によって取得された帳票記入情報に基づいて、ＨＷＲやＯＣＲによる文字認識を実行することで、帳票エリア特定手段３４により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段３５は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段３４により特定された帳票エリアに記入された記入文字列を認識する（ステップＳ３）。例えば、記入文字列認識手段３５は、帳票記入情報に基づいて文字認識を実行することで、価格エリア６３Ａに記入された文字「１」、「２」、「３」、「４」、「５」、「６」を認識する。そして、記入文字列認識手段３５は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、価格エリア６３Ａに記入された記入文字列「１２３４５６」を認識する。

認識結果格納手段３８は、帳票エリア特定手段３４によって特定された帳票エリアと、記入文字列認識手段３５によって認識された記入文字列とを対応付けて格納する（ステップＳ４）。例えば、認識結果格納手段３８は、帳票エリア特定手段３４によって特定された価格エリア６３Ａ（エリアＩＤ「Ａ０３」）と、記入文字列認識手段３５によって認識された記入文字列「１２３４５６」とを対応付けて格納する。また、音声出力手段３６は、記入文字列認識手段３５によって認識された記入文字列を表す音声を音声出力部４３から出力させる（ステップＳ５）。同時に、表示手段３７は、記入文字列認識手段３５によって認識された記入文字列を表示部４４に表示させる（ステップＳ６）。例えば、音声出力手段３６は、記入文字列認識手段３５によって認識された記入文字列「１２３４５６」を表す音声「１２３４５６円です」を音声出力部４３から出力させ、表示手段３７は、「１２３４５６」を表示部４４に表示させる。

なお、記入文字列認識手段３５は、文字列を誤認識することがある。例えば、図１３に示すように、利用者が価格エリア６３Ａに「１２３４５６」を記入したつもりであっても、記入文字列認識手段３５は、記入文字列「１２３４５０」と誤認識してしまうことがある。すると、音声出力手段３６は、記入文字列認識手段３５によって誤認識された記入文字列「１２３４５０」を表す音声「１２３４５０円です」を音声出力部４３から出力させ、表示手段３７は、「１２３４５０」を表示部４４に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置２５Ａが認識してしまったことを把握することができる。

端末装置２５Ａによる誤認識を修正する場合、利用者は、電子ペン１０Ａのペン先部１７によりまず修正パレットの開始エリア６６をタップする（図１４参照。★マークはタップを表す）。次に、記入帳票の帳票エリアのうち、誤認識を修正したい文字の帳票エリア、例えば価格エリア６３ａをタップする（図１３参照。）。すると、電子ペン１０Ａは、帳票エリアへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ａへ送信する。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから即時的且つ逐次的に修正記入情報を取得する。

記入情報取得手段３２は、開始エリアをタップしたか否かを判定することにより、文字列の誤認識が発生したか否かを判定する（ステップＳ７）。記入情報取得手段３２により開始エリアをタップしていないと判定された場合（ステップＳ７；Ｎｏ）、端末装置２５Ａは、文字認識処理を完了する。一方、記入情報取得手段３２により開始エリアをタップしたと判定された場合（ステップＳ７；Ｙｅｓ）、端末装置２５Ａは、修正処理を実行する（ステップＳ８）。

修正処理において、端末装置２５Ａはまず、判定手段４０の実行により、開始エリア６６がタップされたという判定を受け取る（ステップＳ１１）。端末装置２５Ａの音声出力手段３６は、修正開始を示すピープ音を音声出力部４３から出力させる（ステップＳ１２）。続いて、開始終了点特定手段３３は、記入情報取得手段３２によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、帳票エリア特定手段３４は、修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した第２帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段３４は、修正記入情報に含まれる座標データに基づいて第２帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして０６価格エリア６３ａ（エリアＩＤ「Ａ０３ａ０６」）を特定する。このとき、帳票エリア特定手段３４は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段３４は、修正記入情報及び第２帳票エリア定義情報に基づいて、電子ペン１０Ａによりタップされた帳票エリアを特定する（ステップＳ１３）。

また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン１０Ａのペン先部１７により修正パレットの修正エリア６５の正しい文字をタップする。例えば、正しい文字が「６」の場合、利用者は、電子ペン１０Ａのペン先部１７により、文字「６」が記載された修正エリア６５ａをタップする（図１４参照）。すると、電子ペン１０Ａは、修正エリア６５ａへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ａへ送信する。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから即時的且つ逐次的に修正記入情報を取得する。

さらに、修正エリア６５ａへのタップが終了すると、利用者は、最後に電子ペン１０Ａのペン先部１７により修正パレットの終了エリア６７をタップする。すると、電子ペン１０Ａは、終了エリア６７へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ａへ送信する。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから即時的且つ逐次的に修正記入情報を取得する。

続いて、開始終了点特定手段３３は、記入情報取得手段３２によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段３９は、修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した修正エリア定義情報を参照することで、対応する修正エリア６５ａ（エリアＩＤ「Ｂ０６」）を特定する（ステップＳ１４）。このとき、修正エリア特定手段３９は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。具体的に、修正エリア特定手段３９は、特定した修正エリア６５ａ（エリアＩＤ「Ｂ０６」）とタップ時刻とを対応付けて情報記憶手段３１に一時記憶させる。

なお、修正エリア特定手段３９は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離（筆記された線の長さ）に基づいて、専用ペーパー２０に記入されたストロークがタップであるか否かを判定することとしてもよい。

続いて、修正文字特定手段４１は、情報記憶手段３１に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段３９により特定された修正エリアに記載された文字を特定する（ステップＳ１５）。修正文字特定手段４１は、修正エリア定義情報を参照することで、エリアＩＤ「Ｂ０６」の修正エリア６５ａに記載された文字「６」を特定する。

判定手段４０は、記入情報取得手段３２によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶している修正エリア定義情報を参照することで、電子ペン１０Ａにより終了エリア６７がタップされたか否かを判定する（ステップＳ１６）。判定手段４０により終了エリア６７がタップされていないと判定された場合（ステップＳ１６；Ｎｏ）、端末装置２５Ａは、ステップＳ１３乃至Ｓ１５の処理を繰り返し実行する。

一方、判定手段４０により終了エリア６７がタップされたと判定された場合（ステップＳ１６：Ｙｅｓ）、認識結果上書手段４２は、認識結果格納手段３８から、帳票エリア特定手段３４が修正記入情報に基づいて特定した帳票エリアに対応する記入文字を削除する。さらに、認識結果上書手段４２は、当該帳票エリアと、修正文字特定手段４１が特定した修正文字とを対応付けて認識結果格納手段３８に格納する。つまり、認識結果上書手段４２は、認識結果格納手段３８において、帳票エリア特定手段３４が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字特定手段４１が特定した修正文字を上書して格納する（ステップＳ１７）。例えば、認識結果上書手段４２は、認識結果格納手段３８において、帳票エリア特定手段３４が修正記入情報に基づいて特定した０６価格エリア６３ａ（エリアＩＤ「Ａ０３ａ０６」）に対応付けられている記入文字「０」を削除し、修正文字特定手段４１が特定した修正文字「６」を格納する。そして、音声出力手段３６は、修正完了を示すピープ音を音声出力部４３から出力させる（ステップＳ１８）。これにより、端末装置２５Ａは、修正処理を完了し、文字認識処理におけるステップＳ５の処理を実行する。

端末装置２５Ａの音声出力手段３６は、修正文字特定手段４１によって特定された修正文字を上書きした文字列を表す音声を音声出力部４３から出力させる（ステップＳ５）。同時に、表示手段３７は、修正文字特定手段４１によって特定された修正文字列を表示部４４に表示させる（ステップＳ６）。例えば、音声出力手段３６は、修正文字特定手段４１によって特定された修正文字を上書きした文字列「１２３４５６」を表す音声「１２３４５６円です」を音声出力部４３から出力させ、表示手段３７は、「１２３４５６」を表示部４４に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置２５Ａは、文字認識処理におけるステップＳ５乃至Ｓ７の処理を繰り返し実行する。

このように、利用者は、音声出力部４３から出力される音声及び表示部４４に表示される文字列によって、容易に自身が記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、修正パレットを使用することで、記入帳票において二重線等で二度書きする必要がない。さらに、二層の帳票エリアが定義されていることにより、誤認識された文字だけを個別に修正することができる。

［本情報処理システムによる作用効果］
この情報処理システムによれば、電子ペン１０Ａで記入帳票の帳票エリアに記入を行うと、帳票記入情報に基づく文字認識を実行することにより記入文字列を認識し、音声出力部４３から当該記入文字列を表す音声を出力させ、表示部４４に当該記入文字列を表示させる。よって、利用者は、容易に自身が記入帳票の帳票エリアに記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、電子ペン１０Ａで修正パレットの修正エリアをタップすることで、ご認識された記入文字を迅速に修正することができ、記入帳票に訂正のための二重線や正しい文字列を記入する必要がなく、高い精度で文字列の誤認識を修正することが可能となる。さらに、同じ領域に二層の帳票エリアが定義されていることで、誤認識された文字だけを個別に修正することができ、修正時間の短縮を図ることができる。

なお、上記第１実施形態は次のように構成させて変更することもできる。

例えば、情報記憶手段３１は、第１帳票エリア定義情報（図８参照）と第２帳票エリア定義情報（図１０参照）と修正エリア定義情報（図１１参照）とを分けて記憶しているが、ユーザエリアのエリアＩＤに対して、ユーザエリアの名称、ユーザエリアに記載された文字、ユーザエリアの座標データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。

また、上記第１実施形態では、電子ペン１０Ａのクロック２２は現在時刻を発信することとしているが（図２参照）、クロック２２は、端末装置２５Ａとの通信接続が確立した時点から通信接続状態が終了するまでの間、０から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ１１は、ストロークの記入中に、クロック２２が発信する経過時間（記入時間）を時間情報として取得し、その時間情報と、筆圧データと、Ｘ，Ｙ座標データとを関連付け、データ通信ユニット１３に対して記入情報として端末装置２５Ａへ送信させる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態と第１実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第２実施形態と第１実施形態とが異なる点は、第１実施形態の電子ペン１０Ａは、図２に示すようにクロック２２を備えていたが、第２実施形態の電子ペン１０Ｂ（１０）は、図１７に示すようにクロック２２を備えていない。この場合、プロセッサ１１は、利用者によって電子ペン１０Ｂを用いて記入が行われる間に、筆圧データ及びＸ，Ｙ座標データを取得し、それらのデータを記入情報としてデータ通信ユニット１３により端末装置２５Ｂ（２５）へ送信する。その代わり、端末装置２５Ｂは、現在時刻を発信するクロックを備えており、電子ペン１０Ｂから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置２５Ｂは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。

続いて、第２実施形態における処理フローについて説明する。図１８は、端末装置２５Ｂにおける文字認識処理のフローチャートである。

利用者は、電子ペン１０Ｂにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン１０Ｂにより、記入帳票の価格エリア６３Ａに現金価格を示す数字「１２３４５６」を記入する（図１３参照）。すると、電子ペン１０Ｂは、価格エリア６３Ａへの記入に対応する座標データ、時間情報及び筆圧データを帳票記入情報として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された帳票記入情報を即時的且つ逐次的に取得し、帳票記入情報と、帳票記入情報が取得された時に端末装置２５Ｂのクロックにより発信された現在時刻の情報とを関連付ける（ステップＳ２１）。記入時刻に関連付けられた時間情報を、取得時刻と呼ぶ。

続いて、帳票エリア特定手段３４は、記入情報取得手段３２によって取得された帳票記入情報に含まれる座標データに基づいて、図８に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する（ステップＳ２２）。例えば、帳票エリア特定手段３４は、帳票記入情報に含まれる座標データに基づいて第１帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア６３Ａ（エリアＩＤ「Ａ０３」）を特定する。さらに、記入文字列認識手段３５は、記入情報取得手段３２によって取得された帳票記入情報に基づいて、ＨＷＲやＯＣＲによる文字認識を実行することで、帳票エリア特定手段３４により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段３５は、取得時刻に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段３４により特定された帳票エリアに記入された記入文字列を認識する（ステップＳ２３）。例えば、記入文字列認識手段３５は、帳票記入情報に基づいて文字認識を実行することで、価格エリア６３Ａに記入された文字「１」、「２」、「３」、「４」、「５」、「６」を認識する。そして、記入文字列認識手段３５は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、価格エリア６３Ａに記入された記入文字列「１２３４５６」を認識する。

認識結果格納手段３８は、帳票エリア特定手段３４によって特定された帳票エリアと、記入文字列認識手段３５によって認識された記入文字列とを対応付けて格納する（ステップＳ２４）。例えば、認識結果格納手段３８は、帳票エリア特定手段３４によって特定された価格エリア６３Ａ（エリアＩＤ「Ａ０３」）と、記入文字列認識手段３５によって認識された記入文字列「１２３４５６」とを対応付けて格納する。また、音声出力手段３６は、記入文字列認識手段３５によって認識された記入文字列を表す音声を音声出力部４３から出力させる（ステップＳ２５）。同時に、表示手段３７は、記入文字列認識手段３５によって認識された記入文字列を表示部４４に表示させる（ステップＳ２６）。例えば、音声出力手段３６は、記入文字列認識手段３５によって認識された記入文字列「１２３４５６」を表す音声「１２３４５６円です」を音声出力部４３から出力させ、表示手段３７は、「１２３４５６」を表示部４４に表示させる。

なお、記入文字列認識手段３５は、文字列を誤認識することがある。例えば、図１３に示すように、利用者が価格エリア６３Ａに「１２３４５６」を記入したつもりであっても、記入文字列認識手段３５は、記入文字列「１２３４５０」と誤認識してしまうことがある。すると、音声出力手段３６は、記入文字列認識手段３５によって誤認識された記入文字列「１２３４５０」を表す音声「１２３４５０円です」を音声出力部４３から出力させ、表示手段３７は、「１２３４５０」を表示部４４に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置２５Ｂが認識してしまったことを把握することができる。

端末装置２５Ｂによる誤認識を修正する場合、利用者は、電子ペン１０Ｂのペン先部１７によりまず修正パレットの開始エリア６６をタップする（図１４参照。★マークはタップを表す）。次に、記入帳票の帳票エリアのうち、誤認識を修正したい帳票エリア、例えば価格エリア６３ａをタップする（図１３参照。）。すると、電子ペン１０Ｂは、帳票エリアへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された修正記入情報（タップ情報）を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置２５Ｂのクロックにより発信された現在時刻の情報とを関連付ける。

記入情報取得手段３２は、開始エリアをタップしたか否かを判定することにより、文字列の誤認識が発生したか否かを判定する（ステップＳ２７）。記入情報取得手段３２により開始エリアをタップしていないと判定された場合（ステップＳ２７；Ｎｏ）、端末装置２５Ｂは、文字認識処理を完了する。一方、記入情報取得手段３２により開始エリアをタップしたと判定された場合（ステップＳ２６；Ｙｅｓ）、端末装置２５Ｂは、修正処理を実行する（ステップＳ２８）。

端末装置２５Ｂにおける修正処理のフローチャートは第１実施形態の修正処理のフローチャート図１６と同様である。ただし、端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された修正記入情報（タップ情報）を取得するたびに、修正記入情報と修正記入情報が取得された時に端末装置２５Ｂのクロックにより発信された現在時刻の情報（取得時刻）とを関連付けて記憶する点で第１実施形態とは異なる。

端末装置２５Ｂはまず、判定手段４０の実行により、開始エリア６６がタップされたという判定を受け取る（ステップＳ１１）。端末装置２５Ａの音声出力手段３６は、修正開始を示すピープ音を音声出力部４３から出力させる（ステップＳ１２）。続いて開始終了点特定手段３３は、記入情報取得手段３２によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び取得時刻を特定する。次に、帳票エリア特定手段３４は、修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した第２帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段３４は、修正記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして０６価格エリア６３ａ（エリアＩＤ「Ａ０３ａ０６」）を特定する。このとき、帳票エリア特定手段３４は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段３４は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン１０Ｂによりタップされた帳票エリアを特定する（ステップＳ１３）。

また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン１０Ｂのペン先部１７により修正パレットの修正エリア６５の正しい文字をタップする。例えば、正しい文字が「６」の場合、利用者は、電子ペン１０Ａのペン先部１７により、文字「６」が記載された修正エリア６５ａをタップする（図１４参照）。すると、電子ペン１０Ｂは、修正エリア６５ａへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された修正記入情報（タップ情報）を即時的且つ逐次的に取得し、当該修正記入情報と取得時刻とを関連付ける。

さらに、修正エリア６５ａへのタップが終了すると、利用者は、最後に電子ペン１０Ａのペン先部１７により修正パレットの終了エリア６７をタップする。すると、電子ペン１０Ａは、終了エリア６７へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ａへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された修正記入情報（タップ情報）を即時的且つ逐次的に取得し、当該修正記入情報と取得時刻とを関連付ける。

さらに、修正エリア６５ａへのタップが終了すると、利用者は、最後に電子ペン１０Ｂのペン先部１７により修正パレットの終了エリア６７をタップする。すると、電子ペン１０Ｂは、終了エリア６７へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報（タップ情報）として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂによって送信された修正記入情報（タップ情報）を即時的且つ逐次的に取得し、当該修正記入情報と取得時刻とを関連付ける。

続いて、開始終了点特定手段３３は、記入情報取得手段３２によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段３９は、修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶した修正エリア定義情報を参照することで、対応する修正エリア６５ａ（エリアＩＤ「Ｂ０６」）を特定する（ステップＳ１４）。このとき、修正エリア特定手段３９は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、特定した修正エリア６５へのタップ回数をカウントする。具体的に、修正エリア特定手段３９は、特定した修正エリア６５ａ（エリアＩＤ「Ｂ０６」）とタップ時刻とを対応付けて情報記憶手段３１に一時記憶させる。

続いて、修正文字特定手段４１は、情報記憶手段３１に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段３９により特定された修正エリアに記載された文字を特定する（ステップＳ１５）。例えば、修正文字特定手段４１は、修正エリア定義情報を参照することで、エリアＩＤ「Ｂ０６」の修正エリア６５ａに記載された文字「６」を特定する。さらに、判定手段４０は、記入情報取得手段３２によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段３１が記憶している修正エリア定義情報を参照することで、電子ペン１０Ｂにより終了エリア６７がタップされたか否かを判定する（ステップＳ１６）。判定手段４０により終了エリア６７がタップされていないと判定された場合（ステップＳ１６；Ｎｏ）、端末装置２５Ｂは、ステップ１３乃至Ｓ１５の処理を繰り返し実行する。

一方、判定手段４０により終了エリア６７がタップされたと判定された場合（ステップＳ１６：Ｙｅｓ）、認識結果上書手段４２は、認識結果格納手段３８から、帳票エリア特定手段３４が修正記入情報に基づいて特定した帳票エリアに対応する記入文字を削除する。さらに、認識結果上書手段４２は、当該帳票エリアと、修正文字特定手段４１が特定した修正文字とを対応付けて認識結果格納手段３８に格納する。つまり、認識結果上書手段４２は、認識結果格納手段３８において、帳票エリア特定手段３４が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字特定手段４１が特定した修正文字を上書して格納する（ステップＳ１７）。例えば、認識結果上書手段４２は、認識結果格納手段３８において、帳票エリア特定手段３４が修正記入情報に基づいて特定した０６価格エリア６３ａ（エリアＩＤ「Ａ０３ａ０６」）に対応付けられている記入文字「０」を削除し、修正文字特定手段４１が特定した修正文字「６」を格納する。そして、音声出力手段３６は、修正完了を示すピープ音を音声出力部４３から出力させる（ステップＳ１８）。これにより、端末装置２５Ｂは、修正処理を完了し、文字認識処理におけるステップＳ２５の処理を実行する。

端末装置２５Ｂの音声出力手段３６は、修正文字特定手段４１によって特定された修正文字を上書きした文字列を表す音声を音声出力部４３から出力させる（ステップＳ２５）。同時に、表示手段３７は、修正文字特定手段４１によって特定された修正文字を上書きした文字列を表示部４４に表示させる（ステップＳ２６）。例えば、音声出力手段３６は、修正文字特定手段４１によって特定された修正文字を上書きした文字列「１２３４５６」を表す音声「１２３４５６円です」を音声出力部４３から出力させ、表示手段３７は、は、修正文字特定手段４１によって特定された修正文字を上書きした文字列「１２３４５６」を表示部４４に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置２５Ｂは、文字認識処理におけるステップＳ２６及びＳ２７の処理を繰り返し実行する。

このように、利用者は、音声出力部４３から出力される音声及び表示部４４に表示された文字列によって、容易に自身が記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、修正パレットを使用することで、記入帳票において二重線等で二度書きする必要がない。さらに、二層の帳票エリアが定義されていることにより、誤認識された文字だけを個別に修正することができる。

なお、上記第２実施形態において、端末装置２５Ｂのクロックを、電子ペン１０Ｂとの通信接続が確立した時点から通信接続状態が終了するまでの間、０から始まりストロークの記入中に経過していく記入時間（経過時間）を発信するようにしてもよい。また、端末装置２５Ｂの情報記憶手段３１に記憶する情報のデータ構造や、修正エリア特定手段３９における読取時間の判定方法や、音声出力部４３により出力する音声データ等を、第１実施形態の変更例と同様に適宜変更してもよい。

上述したように、上記第１及び第２実施形態によれば、電子ペン用記入媒体に記入された記入文字列を認識し、音声として利用者に提示することが可能となる。また、記入文字列が誤認識された場合に、電子ペン用修正媒体を使用して、誤認識された文字だけを個別に修正することが可能となる。

なお、本発明は、上記第１及び第２実施形態に限られない。

上記実施形態では、記入文字列及び修正文字を上書きした文字列を、音声出力及び文字列表示によって利用者に認識させることとしていたが、記入文字列及び修正文字を上書きした文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うこととしてもよい。

また、電子ペン１０内に、ペン自体又はその所有者に関するプロパティ情報（ペン情報又はペン所有者情報）を保持しておき、端末装置２５から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置２５に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス／電話番号、携帯電話番号などが挙げられる。

また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン１０のＬＥＤ１５を、赤外線を照射するＬＥＤとし、カメラ１６によって赤外線の反射量の差によって、電子ペン１０でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン１０のＬＥＤ１５を、ドットのインクを発光させる光を照射するものとし、カメラ１６によってドットのインクが発光する波長の領域を検知することによって、電子ペン１０でドットパターンを読み取るようにしてもよく、カメラ１６によってドットパターンが読み取れれば、ドットのインクの種別やＬＥＤ１５の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー２０における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、２次元コードパターンなどであってもよい。

また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー２０を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を１枚１枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置２５において、電子ペン１０から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を１枚１枚区別することができる。この他、ペンＩＤを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置２５は、記憶した識別情報もしくは識別情報とペンＩＤに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙１枚１枚に異なるドットパターンを割り当てて、専用ペーパー２０を印刷することも可能である。この場合、各専用ペーパー２０に印刷されたドットパターンは、専用ペーパー２０毎に異なるため、ドットパターンによって専用ペーパー２０を１枚１枚識別し区別することができる。

本発明は、電子ペン用いて文字認識を行う全てのアプリケーションに利用することができる。例えば、クレジットカード申込書の暗証番号欄、割賦申込書の計算部分欄、家計簿アプリケーションの金額計算部分欄、カレンダーアプリケーションの月日認識部分欄、検査業務帳票の品番記入部分欄に記入された記入情報を処理する場合に適用することができる。特に、文字を個別に修正できることから、認識文字列数が多い場合ほど有効である。

電子ペンの使用形態を模式的に示す図である。第１実施形態における電子ペンの構成を示すブロック図である。専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報を示す図である。電子ペン用媒体である記入帳票の例を示す図である。電子ペン用媒体である修正パレットの例を示す図である。端末装置の機能ブロック図である。第１帳票エリア定義情報のデータ構造を模式的に示す図である。座標データを説明する図である。第２帳票エリア定義情報のデータ構造を模式的に示す図である。修正エリア定義情報のデータ構造を模式的に示す図である。第１実施形態における専用アプリケーションのモジュール構成図である。記入帳票への記入における電子ペンの使用形態の例を示す図である。修正パレットへの記入における電子ペンの使用形態の例を示す図である。第１実施形態における文字認識処理のフローチャートである。第１実施形態における修正処理のフローチャートである。第２実施形態における電子ペンの構成を示すブロック図である。第２実施形態における文字認識処理のフローチャートである。

符号の説明

１０，１０Ａ，１０Ｂ…電子ペン、１１…プロセッサ、１３…データ通信ユニット、１４…バッテリー、１５…ＬＥＤ、１６…カメラ、１８…圧力センサ、２０…専用ペーパー（電子ペン用媒体）、２２…クロック、２５，２５Ａ，２５Ｂ…端末装置、３１…情報記憶手段、３２…記入情報取得手段、３３…開始終了点特定手段、３４…帳票エリア特定手段、３５…記入文字列認識手段、３６…音声出力手段、３７…表示手段、３８…認識結果格納手段、３９…修正エリア特定手段、４０…判定手段、４１…修正文字特定手段、４２…認識結果上書手段、４３…音声出力部、４４…表示部、５０…専用アプリケーション

Claims

電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段と、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第１音声出力手段と、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段と、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段と、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字を上書きした文字列に対応する音声を出力する第２音声出力手段と、を備えることを特徴とする端末装置。
文字列を表示する表示部と、
前記表示部に前記記入文字列を表示させる第１表示手段と、
前記表示部に前記修正文字を上書きした文字列を表示させる第２表示手段と、をさらに備えることを特徴とする請求項１に記載の端末装置
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段と、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第１表示手段と、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段と、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段と、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字を上書きした文字列を表示させる第２表示手段と、を備えることを特徴とする端末装置。
前記電子ペンは、取得した帳票記入情報及び修正記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記第２帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記第２帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定するものであって、
前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定することを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。
前記電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、修正処理の開始に対応する開始エリアと修正処理の終了に対応する終了エリアを有しており、
前記端末装置は、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記開始エリアと前記終了エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、
前記判定手段が前記開始エリアに前記電子ペンによる記入がなされたと判定した場合に、前記修正記入情報取得手段、前記第２帳票エリア特定手段、前記修正エリア特定手段、前記修正文字特定手段が動作し、前記判定手段が前記終了エリアに前記電子ペンによる記入がなされたと判定した場合に、前記削除手段、前記認識結果上書手段が動作する請求項１乃至５のいずれか一項に記載の端末装置。
前記記入文字列認識手段は、前記帳票記入情報に基づく文字認識により認識した１つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで記入文字列を認識することを特徴とする請求項１乃至６のいずれか一項に記載の端末装置。
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、音声を出力する音声出力部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記音声出力部から、前記記入文字列に対応する音声を出力する第１音声出力手段、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段、
前記音声出力部から、前記修正文字を上書きした文字列に対応する音声を出力する第２音声出力手段、として前記コンピュータを機能させることを特徴とするプログラム。
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、文字列を表示する表示部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記表示部に前記記入文字列を表示させる第１表示手段、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段、
前記表示部に前記修正文字を上書きした文字列を表示させる第２表示手段、として前記コンピュータを機能させることを特徴とするプログラム。
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段と、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第１音声出力手段と、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段と、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段と、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字を上書きした文字列に対応する音声を出力する第２音声出力手段と、を備えることを特徴とする情報処理システム。
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成し、複数文字を文字列として認識する第１帳票エリアと、前記コード化パターン上における前記第１帳票エリアの位置座標を示す座標データとを対応付けた第１帳票エリア定義情報を記憶する第１帳票エリア定義情報記憶手段と、
前記電子ペン用記入媒体を構成し、文字列を一文字ずつ認識する第２帳票エリアと、前記コード化パターン上における前記第２帳票エリアの位置座標を示す座標データとを対応付けた第２帳票エリア定義情報を記憶する第２帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記第１帳票エリア定義情報を参照することで、前記第１帳票エリアを特定する第１帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第１帳票エリア特定手段が特定した第１帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第１表示手段と、
前記第１帳票エリア特定手段が特定した第１帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記第２帳票エリア定義情報を参照することで、前記第２帳票エリアを特定する第２帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する修正文字特定手段と、
前記認識結果格納手段から、前記第２帳票エリア特定手段が特定した第２帳票エリアに対応する記入文字を削除する削除手段と、
前記認識結果格納手段に、前記第２帳票エリア特定手段が特定した第２帳票エリアと、前記修正文字とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字を上書きした文字列を表示させる第２表示手段と、を備えることを特徴とする情報処理システム。