JP2008134773A - 端末装置、それに用いられるプログラム及び情報処理システム - Google Patents

Abstract

【課題】電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて所定の処理を実行する端末装置、それに用いられるプログラム及び情報処理システムを提供する。
【解決手段】利用者は、電子ペン１０Ａにより、電子ペン用媒体における任意のユーザエリアをタップする。端末装置２５Ａは、電子ペン１０Ａから記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、端末装置２５Ａは、記入情報に基づいて、認識したユーザエリアへの所定時間内のタップ回数を特定する。さらに、端末装置２５Ａは、ユーザエリア及びタップ回数に基づいて、出力情報から対応する音声データを抽出し、音声出力部から音声を出力する。よって、同一のユーザエリアをタップした回数によって、異なる音声を利用者にフィードバックすることができる。
【選択図】図５

Description

本発明は、電子ペンにより電子ペン用媒体等に記入された記入情報を処理する技術に関する。

近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている（特許文献１参照）。アノトペンは、所定のドットパターンが印刷された専用紙（以下、「専用ペーパー」とも呼ぶ。）とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある（例えば、特許文献２）。
特表２００３−５１１７６１号公報 特開２００４−１５３６１２号公報

そこで本発明は、電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて、所定の処理を実行する端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。

本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、音声データに基づいて音声を出力する音声出力部と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする。

この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、データ抽出手段は、情報記憶手段に記憶された出力情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する音声データを抽出する。そして、処理実行手段は、データ抽出手段が抽出した音声データに基づく音声を音声出力部から出力させる。このように、端末装置は、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、音声データに基づく音声を出力することができるとともに、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

上記のような構成において、電子ペンは、取得した記入情報を即時的且つ逐次的に端末装置へ送信するとよい。これにより、利用者が電子ペンで電子ペン用媒体のユーザエリアにタップを行うと、端末装置によってリアルタイムで即座に音声データの出力による利用者への案内が行われるため、利用者の操作性が高まる。

さらに、上記端末装置において、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定すると好適である。

このように構成された端末装置によれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数特定手段は、データ開始点及びデータ終了点に基づく時間及び／又は距離により、ユーザエリア認識手段が認識したユーザエリアに対して所定時間内にタップされたタップ回数を特定する。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを端末装置から出力させようと意図したものではないと判定することができる。また、タップ回数特定手段によって、データ開始点及び前記データ終了点に基づく時間及び／又は距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。さらに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確に特定することができる。

さらに、出力情報として記憶される音声データは、各ユーザエリアに対応して設定された文章がタップ回数によって異なる言語で発声される音声データであるとよい。これにより、各ユーザエリアに関する文章を、電子ペン用媒体へのタップ回数を変えることで、各種の異なる言語で音声出力させることができる。

あるいは、出力情報として記憶される音声データは、各ユーザエリアに対応して設定され、タップ回数により特定される異なる速度の音声データであるとよい。これにより、端末装置に音声データを再生させるにあたって、電子ペン用媒体へのタップ回数を変えることで、異なる再生速度の音声データを再生させることができる。

あるいは、上記端末装置において、処理実行手段は、データ抽出手段が抽出した音声データをタップ回数によって異なる速度で再生することで音声を音声出力部から出力させるよう構成させてもよい。この構成により、同じ音声データを電子ペン用媒体へのタップ回数を変えることで、再生速度を変えて再生させることができる。

また、本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、データを表示する表示部と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段と、前記データ抽出手段が抽出したデータを前記表示部に表示させる処理実行手段と、を備えることを特徴とする。

この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、データ抽出手段は、情報記憶手段に記憶された出力情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応するデータを抽出する。そして、処理実行手段は、データ抽出手段が抽出したデータを表示部に表示させる。このように、端末装置は、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、データを表示させることができるとともに、データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

上記のような構成において、電子ペンは、取得した記入情報を即時的且つ逐次的に端末装置へ送信するとよい。これにより、利用者が電子ペンで電子ペン用媒体のユーザエリアにタップを行うと、端末装置によってリアルタイムで即座にデータの表示による利用者への案内が行われるため、利用者の操作性が高まる。

上記端末装置において、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するよう構成するとよい。

このように構成された端末装置によれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数特定手段は、データ開始点及びデータ終了点に基づく時間及び／又は距離により、ユーザエリア認識手段が認識したユーザエリアに対して所定時間内にタップされたタップ回数を特定する。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関するデータを端末装置から出力させようと意図したものではないと判定することができる。また、タップ回数特定手段によって、データ開始点及び前記データ終了点に基づく時間及び／又は距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。さらに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確に特定することができる。

このような構成において、ユーザエリアに対応して設定された複数のデータは、相互に関連するとよい。これにより、利用者が同一のユーザエリアに対してタップ回数を変えてタップを行うことにより、関連するデータを表示部に表示させることができ、ユーザエリアに関する内容についての理解がしやすい。

また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声データに基づいて音声を出力する音声出力部を備え、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行力手段、として前記コンピュータを機能させることを特徴とする。

あるいは、別の本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、データを表示する表示部を備え、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段、前記データ抽出手段が抽出したデータを前記表示部に表示させる処理実行手段、として前記コンピュータを機能させることを特徴とする。

また、本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする。

この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、端末装置は、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、処理データに基づく処理を実行することができるとともに、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記コンピュータを機能させることを特徴とする。

上記プログラムをコンピュータにより実行することにより、上述の端末装置を実現することができる。

また、本発明に係る情報処理システムによれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、端末装置は、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、処理データに基づく処理を実行することができるとともに、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて、所定の処理を実行することができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

＜第１実施形態＞
本実施形態の情報処理システムは、図１及び図２に示すように、電子ペン１０Ａ（１０）と、専用ペーパー（電子ペン用媒体）２０Ａ（２０）と、端末装置２５Ａ（２５）とから構成される。ここで、図１は電子ペン１０Ａの使用形態を模式的に示す図であり、図２は電子ペン１０Ａの構造を示す機能ブロック図である。専用ペーパ２０Ａには、ドットパターン（コード化パターン）が印刷されている。電子ペン１０Ａは、通常のインクペンと同様のペン先部１７を備えており、利用者が通常のインクペンと同様にペン先部１７によって専用ペーパー２０Ａ上に文字などを書くと、電子ペン１０Ａは、ペン先部１７の移動軌跡に沿って、専用ペーパー２０Ａに印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー２０Ａにおけるその局所位置の座標を算出し、その座標データ等を端末装置２５Ａに送信する。電子ペン１０Ａは、端末装置２５Ａへ確実にデータを送信できるよう、端末装置２５Ａの近傍で使用される。端末装置２５Ａは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。

[ 専用ペーパー ]
まず、専用ペーパー２０Ａについて説明する。専用ペーパー２０Ａは、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらを先に印刷してもよい。

図５（ａ）に、図案等が印刷された専用ペーパー２０Ａの例を示す。図５（ａ）に示す例は、申込書等の帳票の例であり、名前記入エリア６０や住所記入エリア６１等のユーザエリアが印刷されている。ドットパターンは、専用ペーパー２０Ａのほぼ全面に印刷されており、その上に名前記入エリア６０等のユーザエリアの枠線が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、電子ペン１０Ａを使用して必要事項を名前記入エリア６０や住所記入エリア６１に記入する。

[ ドットパターン ]
続いて、ドットパターンについて説明する。図３は、専用ペーパー２０Ａに印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトされているかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー２０Ａ上の位置座標が決定されるよう構成されている。

図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２mmの範囲内に６×６個のドットが、専用ペーパー上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１０Ａによって行われる。

[ 電子ペン ]
次に電子ペン１０Ａについて説明する。図２に示すように、電子ペン１０Ａは、その内部にプロセッサ１１、クロック２２、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６、圧力センサ１８を備える。また、電子ペン１０Ａは通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。

ＬＥＤ１５は、電子ペン１０Ａのペン先付近に取り付けられており、専用ペーパー２０Ａ上のペン先部１７近傍（領域１５ａ）に向けて、赤外線を照明する（図１参照）。領域１５ａは、ペン先部１７が専用ペーパー２０Ａに接触する位置とはわずかにずれている。カメラ１６は、ＬＥＤ１５によって照明された領域１５ａ内におけるドットパターンを読み取り、そのドットパターンの画像データをプロセッサ１１に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１５によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ１６の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。これは、撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ１６による撮影領域は、図４（ａ）に示すような約２mm×約２mmの大きさを含む範囲であり、カメラ１６の撮影は、毎秒５０〜１００回程度行われる。

バッテリー１４は電子ペン１０Ａ内の各部品に電力を供給するためのものであり、例えば電子ペンのキャップ（図示せず）の脱着により電子ペン１０Ａ自体の電源のオン／オフを行うよう構成させてもよい。クロック２２は、現在時刻（タイムスタンプ）を発信し、プロセッサ１１に供給する。圧力センサ１８は、利用者が電子ペン１０Ａにより専用ペーパー２０Ａ上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。

プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０Ａで専用ペーパー２０Ａ上に文字などを書くと、ペン先部１７には筆圧がかかる。よって、圧力センサ１８によって所定値以上の筆圧が検出されたときに、プロセッサ１１は、利用者が記入を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動させる。

プロセッサ１１は、利用者の記入が行われる間、カメラ１６によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー２０Ａ上でのＸ，Ｙ座標（単に「座標データ」とも呼ぶ）を連続的に算出していく。すなわち、プロセッサ１１は、カメラ１６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを算出する。そしてプロセッサ１１は、現在時刻（タイムスタンプ）を発信するクロック２２から時間情報を取得し、その時間情報と、筆圧データ及びＸ，Ｙ座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット１３に対して、端末装置２５Ａへ送信させる。ここで、一枚の専用ペーパー（電子ペン用媒体）２０Ａ内のドットパターンは、その専用ペーパー２０Ａ内で重複することはないため、利用者が電子ペン１０Ａでユーザエリアに必要事項を記入すると、その記入が専用ペーパー２０Ａのどのユーザエリアに対応するものであるかを、座標データから特定することができる。

データ通信ユニット１３は、プロセッサ１１から時間情報、筆圧データ、Ｘ，Ｙ座標データを記入情報として受けると、端末装置２５Ａへ無線送信する。データ通信ユニット１３による送信は、Bluetooth（登録商標）の無線送信によると好適である。なお、ＵＳＢケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット１３から端末装置２５Ａへデータ送信を行ってもよい。データ通信ユニット１３による端末装置２５Ａへの記入情報の送信は、即時的且つ逐次的に行われる。

[ 端末装置 ]
次に、端末装置２５Ａについて図６を参照して説明する。図６は、端末装置２５Ａの機能ブロック図である。端末装置２５Ａは、電子ペン１０Ａから取得したＸ，Ｙ座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。

図６に示すように、端末装置２５Ａは、情報記憶手段４０、記入情報取得手段４１、開始終了点特定手段４２、ユーザエリア認識手段４３、タップ回数特定手段４４、処理データ抽出手段（データ抽出手段）４５、処理実行手段４６、音声出力部４７及び表示部４８を備える。

情報記憶手段４０は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けて、実行情報として記憶するメモリである。

すなわち、図８に示すように、情報記憶手段４０には、専用ペーパー（電子ペン用媒体）２０Ａのユーザエリアを識別するエリアＩＤと、ユーザエリアの項目を表すエリア名と、ユーザエリアの座標領域を表す座標データとが、関連付けられて記憶されている。エリアＩＤ「Ａ０１」に関連してユーザ名として「名前記入エリア」が記憶され、エリアＩＤ「Ａ０２」に関連してユーザ名として「住所記入エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図９に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点Ｖ(xn,yn)の座標、Ｙ軸方向の高さ(Height)、Ｘ軸方向の幅(Width)を意味する。

さらに情報記憶手段４０には、図１０に示すように、ユーザエリアを識別するエリアＩＤと、利用者が行うタップ回数と、音声データとが関連付けられて記憶されている。例えば、エリアＩＤ「Ａ０１」のタップ回数「１」に対しては、日本語の音声データＡが関連付けられ、同じエリアＩＤ「Ａ０１」のタップ回数「２」に対しては、英語の音声データＢが関連付けられて記憶されている。また、エリアＩＤ「Ａ０２」のタップ回数「１」に対しては、日本語の音声データＣが関連付けられ、同じエリアＩＤ「Ａ０２」のタップ回数「２」に対しては、英語の音声データＤが関連付けられて記憶されている。これらの音声データＡ〜Ｄは、音声出力部４７によって音声出力可能な音声データである。

ここで、図８に示すように、ユーザエリアのエリアＩＤと、ユーザエリアのエリア名と、ユーザエリアの領域を示すドットパターン上の位置座標（座標データ）とを対応付けた情報を定義情報と称することとする。また、図１０に示すように、ユーザエリアのエリアＩＤと、タップ回数と、音声データ（処理データ、画像データ等の場合もある）とを対応付けた情報を出力情報と称することとする。また、これらの情報記憶手段４０に記憶されている情報を実行情報と称することとする。

記入情報取得手段４１は、電子ペン１０Ａのデータ通信ユニット１３によって送信される専用ペーパー（電子ペン用媒体）２０Ａへの記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth（登録商標）による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ（電子ペン１０Ａのペン先部１７の専用ペーパー（電子ペン用媒体）２０Ａへの軽叩）、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。

開始終了点特定手段４２は、記入情報取得手段４１が取得した記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段４２は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。

ユーザエリア認識手段４３は、記入情報に含まれる座標データに基づいて、情報記憶手段４０が記憶した定義情報（図８参照）を参照することにより、対応するユーザエリアを認識する。このとき、ユーザエリア認識手段４３は、１つのストロークのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。そのような設定にすれば、利用者が専用ペーパー２０Ａに記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを端末装置２５Ａから出力させようと意図したものではないと判定することができる。

タップ回数特定手段４４は、開始終了点特定手段４２によって特定されたデータ開始点及びデータ終了点における時間及び／又は距離に基づいて、利用者により専用ペーパー２０Ａに記入されたストロークがタップであるか否かを判定し、ユーザエリア認識手段４３が認識したユーザエリアにおいて所定時間内にタップされた回数（タップ回数）を特定する。これにより、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確に特定することができる。

具体的には、利用者により専用ペーパー（電子ペン用媒体）２０Ａに記入されたストロークがタップであるか否かを判定するにあたっては、第１の方法として、タップ回数特定手段４４は、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間未満である場合にストロークがタップであると判定する。別の第２の方法として、タップ回数特定手段４４は、座標データに基づいてデータ開始点とデータ終了点の距離を算出し、当該距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第３の方法として、データ開始点とデータ終了点における時間及び距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。

タップ回数特定手段４４は、タップ回数を求めるため、記入情報に含まれる時間情報に基づいて、電子ペン１０Ａが認識したユーザエリアに最初に触れた時刻をタップ開始時刻と特定し、さらに、タップ開始時刻に予め設定された所定時間（例えば、０．５秒）を加算することでタップ終了時刻を特定する。そして、タップ回数特定手段４４は、タップ開始時刻からタップ終了時刻の間におけるユーザエリアへのタップ回数を特定する。

処理データ抽出手段４５は、ユーザエリア認識手段４３が認識したユーザエリアと、タップ回数特定手段４４が特定したタップ回数とに基づいて、情報記憶手段４０が記憶した出力情報（図１０参照）から対応する音声データ（処理データ）を抽出する。

処理実行手段４６は、処理データ抽出手段４５によって抽出された音声データを用いて所定の処理を実行する。すなわち、処理実行手段４６は、処理データ抽出手段４５によって抽出された音声データを音声出力部（スピーカ）４７に再生出力させる。

なお、端末装置２５Ａは、ハードウェアとして、電子ペン１０Ａとのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、スピーカ、ディスプレイ等で構成される、ＰＣや携帯電話、或いは携帯端末である。端末装置２５Ａは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。

[ 専用アプリケーション ]
次に、専用アプリケーション５０について図７を参照して説明する。図７は、専用アプリケーション５０のモジュール構成を示す。専用アプリケーション５０は、電子ペン１０Ａが専用ペーパー２０Ａに記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置２５Ａにインストールされている。専用アプリケーションは、原則として専用ペーパー２０Ａに対応付けられている。つまり、専用ペーパー２０Ａの種類が異なれば、その種類に応じて各専用ペーパー２０Ａに記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー２０Ａと専用アプリケーションの対応は必ずしも１対１である必要はなく、複数種類の専用ペーパー２０Ａに１つの専用アプリケーションを対応付けてデータを処理させてもよい。また、１種類の専用ペーパー２０Ａに複数の専用アプリケーションを対応付けてデータを処理させてもよい。

図７に示すように、専用アプリケーション５０は、記入情報取得モジュール１０１、情報登録モジュール１０２、開始終了点特定モジュール１０３、ユーザエリア認識モジュール１０４、タップ回数特定モジュール１０５、処理データ抽出モジュール１０６及び音声出力モジュール１０７を有する。

記入情報取得モジュール１０１は、記入情報取得手段４１を用いて、専用ペーパー（電子ペン用媒体）２０Ａへの電子ペン１０Ａによる記入に対応する記入情報（タップ情報を含む）を取得する機能を有するモジュールである。

情報登録モジュール１０２は、情報記憶手段４０に対して、図８及び図１０に示すように、ユーザエリアのエリアＩＤ、ユーザエリアの座標データ、タップ回数、及び音声データを関連付けて記憶させるモジュールである。

開始終了点特定モジュール１０３は、記入情報取得モジュール１０１の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。

ユーザエリア認識モジュール１０４は、記入情報に含まれる座標データと、情報登録モジュール１０２によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール１０４は、１つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。

タップ回数特定モジュール１０５は、ユーザエリア認識モジュール１０４によって認識された記入情報がタップ情報であるか否か判定し、ユーザエリアへの所定時間内におけるタップ回数をカウントする機能を有する。記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法（第１の方法）と、データ開始点とデータ終了点との間の距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法（第２の方法）とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び距離の両方に条件を設定してもよい（第３の方法）。そして、タップ回数特定モジュール１０５は、最初に認識されたタップ情報から所定時間（例えば、０．５秒）以内に認識されたタップ情報の回数をカウントする。

処理データ抽出モジュール１０６は、情報登録モジュール１０２により情報記憶手段４０に登録されるユーザエリア、タップ回数、及び音声データを参照し、ユーザエリア認識モジュール１０４によって認識されたユーザエリアとタップ回数特定モジュール１０５によって特定されたタップ回数とに関連付けられた音声データを抽出する機能を有する。

音声出力モジュール１０７は、処理データ抽出モジュール１０６によって抽出された音声データを、音声出力部（スピーカ）４７に対して、音声として出力させる機能を有する。

[ 本情報処理システムによる音声出力処理フロー ]
次に、本第１実施形態の情報処理システムにより行われる処理フローについて図５及び図１１を参照して説明する。図１１は、端末装置２５Ａにおける音声出力処理のフローチャートである。

利用者は、電子ペン１０Ａのペン先部１７により、専用ペーパー（電子ペン用媒体）２０Ａのユーザエリアのうち解説を聞きたいユーザエリア、例えば、名前を記入する名前記入エリア６０をタップする（図５（ｂ）参照）。すると、電子ペン１０Ａは、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報（タップ情報）として端末装置２５Ａへ送信する。すると、端末装置２５Ａの記入情報取得手段４１は、電子ペン１０Ａから即時的且つ逐次的に記入情報（タップ情報）を取得する（ステップＳ１）。ここで、即時的とは、電子ペン１０ＡがＸ，Ｙ座標データ等の記入情報を取得すると、その記入情報は即座に端末装置２５Ａへ送信され、端末装置２５Ａによって取得されることを意味し、また、逐次的とは、電子ペン１０ＡがＸ，Ｙ座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置２５Ａへ送信され、端末装置２５Ａによって取得されることを意味している。

続いて、開始終了点特定手段４２は、記入情報取得手段４１によって取得された記入情報（タップ情報）に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する（ステップＳ２）。

そして、ユーザエリア認識手段４３は、記入情報（タップ情報）に含まれる座標データに基づいて、情報記憶手段４０が記憶した定義情報を参照することで、対応するユーザエリアに当たる名前記入エリア（エリアＩＤ「Ａ０１」）を認識する（ステップＳ３）。タップ回数特定手段４４は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、そのタップ情報に含まれる時間情報に基づいて、ユーザエリア認識手段４３が認識したユーザエリアへの所定時間内のタップ回数を特定する（ステップＳ４）。なお、タップ回数特定手段４４は、データ開始点及びデータ終了点の座標データから算出される距離に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。

さらに、処理データ抽出手段４５は、ユーザエリア認識手段４３によって認識されたユーザエリア及びタップ回数特定手段４４によって特定されたタップ回数に基づいて、情報記憶手段４０が記憶する出力情報を参照し、対応する音声データを抽出する（ステップＳ５）。そして、処理実行手段４６は、処理データ抽出手段４５によって抽出された音声データを音声出力部（スピーカ）４７に音声出力させる（ステップＳ６）。例えば、タップ回数特定手段４４によって特定されたタップ回数が１回であった場合、処理データ抽出手段４５は、図１０に示すユーザエリアのエリアＩＤ「Ａ０１」のタップ回数１回に対応する「音声データＡ（日本語）」を抽出し、処理実行手段４６は、日本語解説による音声データＡ「この欄は名前を記入する欄です」を音声出力部（スピーカ）４７に音声出力させる。また、タップ回数特定手段４４によって特定されたタップ回数が２回であった場合、処理データ抽出手段４５は、ユーザエリアのエリアＩＤ「Ａ０１」のタップ回数２回に対応する「音声データＢ（英語）」を抽出し、処理実行手段４６は、英語解説による音声データＢ「Column which fills in a name.」を音声出力部（スピーカ）４７に音声出力させる。

利用者は、音声出力部（スピーカ）４７によって再生出力される音声によりユーザエリアの解説を聞いて、ユーザエリアに必要事項を記入することができる。その記入内容は、電子ペン１０Ａによって記入情報として端末装置２５Ａに送信され、メモリに記憶される。

[ 本情報処理システムによる作用効果 ]
このように、ドットパターンを印刷した専用ペーパー２０Ａ上に所定の図案等を印刷することにより、専用ペーパーを利用した各種電子ペン用帳票が生成できる。利用者が電子ペン１０Ａを使用して通常の要領で必要事項を記入すれば、電子ペン１０Ａは記入内容に対応するＸ，Ｙ座標データ等の記入情報を取得し、その記入情報は、即時的且つ逐次的に近傍の端末装置２５Ａへ送信され、端末装置２５Ａによって取得される。そして、端末装置２５Ａは、取得した記入情報に基づいて専用アプリケーションを実行することにより、所定の処理を行うこととなる。したがって、利用者の電子ペン１０Ａによる専用ペーパー（電子ペン用媒体）２０Ａへの記入に対応して、端末装置２５Ａの処理が即座に行われ、記入内容がリアルタイムに電子化されるため、利用者にとって操作性がよく作業効率が高くなるという効果がある。

また、この情報処理システムによれば、各種記入エリアを所定時間内にタップした回数によって端末装置２５Ａにより日本語解説又は英語解説が音声で出力されるため、タップ回数を変えることで、各種異なる言語で音声出力させることができ、ヘルプ機能のためのユーザエリアを記入エリアとは別に設ける必要もなくなる。また、端末装置２５Ａは、利用者によって同一のユーザエリアを所定時間内にタップされたタップ回数に応じて、音声データに基づく音声を出力することができ、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、図５に示すように集約した分の専用ペーパーの面積を詰めることで電子ペン用媒体の省スペース化を実現することができる。これにより、デザインの自由度が増し、専用ペーパー２０Ａに印刷する文字や記入エリアを大きくすることが可能となり、専用ペーパー２０Ａをより見やすいデザインに設計することができる。

また、電子ペン１０Ａは利用者が専用ペーパー２０Ａ上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置２５Ａへ送信する機能を有するが、電子ペン１０Ａのペン先部１７は通常のインクペンとなっているため、専用ペーパー２０Ａ上に記述した内容はオリジナルの原本として残すことができる。

なお、上記第１実施形態は次のように構成させることもできる。

例えば、情報記憶手段４０は、定義情報（図８参照）と出力情報（図１０参照）とを分けて記憶しているが、ユーザエリアのエリアＩＤに対して、エリア名、ユーザエリアの座標データ、タップ回数、音声データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。

また、上記第１実施形態では、電子ペン１０Ａのクロック２２は現在時刻を発信することとしているが（図２参照）、クロック２２は、端末装置２５Ａとの通信接続が確立した時点から通信接続状態が終了するまでの間、０から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ１１は、ストロークの記入中に、クロック２２が発信する経過時間（記入時間）を時間情報として取得し、その時間情報と、筆圧データと、Ｘ，Ｙ座標データとを関連付け、データ通信ユニット１３に対して記入情報として端末装置２５Ａへ送信させる。

また、第１実施形態では、情報記憶手段４０に予め記憶されている音声データを音声出力部（スピーカ）４７に再生出力させたが、処理データ抽出手段４５によって再生出力すべきコンテンツを抽出し、処理実行手段４６によりそのコンテンツを音声合成して、音声出力部４７に再生出力させるようにしてもよい。

また、上記第１実施形態における音声データは、各ユーザエリアを解説する文章を日本語又は英語に翻訳した音声データとしたが、他の言語による音声データを用いてもよい。また、図５に示すような名前記入エリア６０や住所記入エリア６１を有するデザインでなくともよく、例えば、他の記入項目を設けたり、記入欄のデザインや配置等も適宜変更してよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態と第１実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第２実施形態と第１実施形態とが異なる点は、第１実施形態の電子ペン１０Ａは、図２に示すようにクロック２２を備えていたが、第２実施形態の電子ペン１０Ｂ（１０）は、図１２に示すようにクロック２２を備えていない。この場合、プロセッサ１１は、利用者によって電子ペン１０Ｂを用いて記入が行われる間に、筆圧データ及びＸ，Ｙ座標データを取得し、それらのデータを記入情報としてデータ通信ユニット１３により端末装置２５Ｂ（２５）へ送信する。その代わり、端末装置２５Ｂは、現在時刻を発信するクロックを備えており、電子ペン１０Ｂから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置２５Ｂは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。

続いて、第２実施形態における処理フローについて説明する。図１３は、端末装置２５Ｂにおける音声出力処理のフローチャートである。

利用者は、電子ペン１０Ｂのペン先部１７により、専用ペーパー（電子ペン用媒体）２０Ａを構成するユーザエリアのうち解説を聞きたいユーザエリアをタップする。すると、電子ペン１０Ｂは、ユーザエリアへのタップに対応する座標データ及び筆圧データを記入情報（タップ情報）として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段４１は、電子ペン１０Ｂによって送信された記入情報（タップ情報）を即時的且つ逐次的に取得し、記入情報と、記入情報が取得された時にクロックにより発信された現在時刻の情報とを関連付ける（ステップＳ１１）。さらに、開始終了点特定手段４２は、タップ情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び取得時刻情報（記入情報）を特定する（ステップＳ１２）。

そして、ユーザエリア認識手段４３は、記入情報（タップ情報）に含まれる座標データに基づいて、情報記憶手段４０が記憶した定義情報を参照することで、対応するユーザエリアを認識する（ステップＳ１３）。タップ回数特定手段４４は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であると判定すると共に、タップ情報の取得時刻情報に基づいて、ユーザエリア認識手段４３が認識したユーザエリアへの所定時間内のタップ回数を特定する（ステップＳ１４）。なお、タップ回数特定手段４４は、データ開始点及びデータ終了点の座標データから算出される距離に基づいて、専用ペーパー（電子ペン用媒体）２０Ａに記入されたストロークがタップであるか否かを判定してもよい。

そして、処理データ抽出手段４５は、ユーザエリア認識手段４３によって認識されたユーザエリア及びタップ回数特定手段４４によって特定されたタップ回数に基づいて、情報記憶手段４０が記憶する出力情報を参照し、対応する音声データを抽出する（ステップＳ１５）。さらに、処理実行手段４６は、処理データデータ抽出手段４５によって抽出された音声データを音声出力部（スピーカ）４７に音声出力させる（ステップＳ１６）。

このように、第２実施形態によれば、電子ペン１０Ｂがクロックを備えていなくても、端末装置２５Ｂが備えるクロックを利用して、記入情報（タップ情報）を電子ペン１０Ｂから取得した取得時刻を関連付けて記憶しておくことで、タップ情報を認識し、音声出力処理を実行することができる。

なお、上記第２実施形態において、端末装置２５Ｂのクロックを、電子ペン１０Ｂとの通信接続が確立した時点から通信接続状態が終了するまでの間、０から始まりストロークの記入中に経過していく記入時間（経過時間）を発信するようにしてもよい。

＜第３実施形態＞
次に、第３実施形態について説明する。上記第１及び第２実施形態では、図５に示すように、日本語又は英語によりユーザエリアの解説を音声で行うシステムに関するものであったが、第３実施形態は、図１４に示すように、専用ペーパー（電子ペン用媒体）２０Ｃ（２０）に記載された事象や地図の解説を、端末装置２５Ｃ（２５）が「概要」、「より詳しく」、「とても詳しく」といった複数段階に分けて音声出力する地図ガイドに適用したものである。第３実施形態と第１実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。

図１４に示すように、専用ペーパー２０Ｃには図案等として地図が印刷されており、専用ペーパー２０Ｃの全体が１つのユーザエリアとなっている。第１実施形態では、端末装置２５Ａの情報記憶手段４０には、ユーザエリアに対してタップ回数「１」・「２」が設定され、それぞれのタップ回数に音声データが関連付けられて記憶されていたが、本第３実施形態では、情報記憶手段４０には、「概要」・「より詳しく」・「もっと詳しく」に対応して、ユーザエリアに対してタップ回数「１」・「２」・「３」が設定されている。そして、タップ回数「１」には、専用ペーパー２０Ｃの地図に掲載されている、ある寺の概要的な説明「この寺は××年に建てられました。」という音声データが関連付けられて記憶されている。タップ回数「２」には、その寺のより詳しい説明「この寺は××年に建てられ、室町時代の主な建築手法が用いられた代表的な建築物です。」という音声データが関連付けられて記憶されている。タップ回数「３」には、その寺のもっと詳しい説明「この寺はＡ氏の命によって××年に建てられ、室町時代の主な建築手法が用いられています。△△年の戦争で半分焼けましたが、その後修復され、現在に至ります。」という音声データが関連付けられて記憶されている。

そして、処理データ抽出手段４５は、３つの音声データのうち、タップ回数特定手段４４によって特定された所定時間内のタップ回数に対応する音声データを情報記憶手段４０から抽出する。そして、処理実行手段４６は、抽出された音声データを音声出力部（スピーカ）４７に再生出力させる。

この第３実施形態によれば、電子ペン１０Ａにより専用ペーパ２０Ｃが所定時間内にタップされた回数によって、端末装置２５Ｃが、タップ回数に応じて段階的な解説を音声出力するため、複数段階の解説の音声出力の選択を１つのユーザエリアに集約することができ、解説の段階と同じ数のユーザエリアは必要ない。そのため、専用ペーパー２０Ｃの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。

なお、第３実施形態において、１つのユーザエリアに対応付けされたタップ回数は、１〜３回であったが、タップ回数は任意に設定することができる。また、専用ペーパー２０Ｃ全体を１つのユーザエリアとし、電子ペン１０Ａによって専用ペーパー２０Ｃのどこをタップしても音声出力されるように構成されているが、例えば、印刷された地図の建物部分をユーザエリアとし、電子ペン１０でその建物部分をタップすることで音声を出力する構成としてもよい。つまり、専用ペーパー２０Ｃにおけるユーザエリアの範囲や個数は任意に設定することができる。また、第２実施形態に示した現在時刻の取得方法を、第３実施形態に適用してもよい。

＜第４実施形態＞
次に第４実施形態について図１５を参照して説明する。第４実施形態では、所定時間内のタップ回数によって、専用ペーパー（電子ペン用媒体）２０Ｄに記載された楽譜（図示しない）を、端末装置２５Ｄ（２５）が「一倍速」、「ニ倍速」、「三倍速」といった３段階の速度で再生して音声出力する。以下、第４実施形態と上記実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。

第３実施形態では、情報記憶手段４０には、タップ回数「１」・「２」・「３」それぞれに、建築物を説明する異なる音声データが記憶されていたが、本第４実施形態では、再生速度ユーザエリア６２に対してタップ回数「１」・「２」・「３」に関連して、専用ペーパー２０Ｄに印刷された楽譜（図示しない）の一倍速の音声データ、ニ倍速の音声データ、三倍速の音声データが記憶されている。そして、処理データ抽出手段４５は、３つの異なる倍速の音声データのうち、タップ回数特定手段４４によって特定された所定時間内のタップ回数に対応する音声データを抽出する。そして、処理実行手段４６は、抽出された音声データを音声出力部（スピーカ）４７に再生出力させる。

このように、第４実施形態では、図１５に示すように、電子ペン１０Ａにより、所定時間内にタップした回数によって、端末装置２５Ｄが「一倍速」から「三倍速」までの各段階の速度で再生した音声を出力させるため、専用ペーパー２０Ｄへのタップ回数を変えることで、異なる再生速度の音声データを再生させることができ、しかも、複数段階の速度で再生した音声出力の選択を１つのユーザエリアに集約することができる。したがって、速度の段階と同じ数のユーザエリアは必要ない。そのため、専用ペーパー２０Ｄの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。

なお、第４実施形態では、音声データを、楽譜に対応する各段階の速度の音声データとしたが、楽譜の音楽に代えて、ディクテーション問題や音声読み上げツール等、様々な音声データを適用することができる。また、第４実施形態では、異なる速度の音声データを情報記憶手段４０に記憶させたが、１つのユーザエリアに対して情報記憶手段４０に記憶させる音声データを一つとし、処理実行手段４６がタップ回数に応じてその音声データの再生速度を変えて再生させるようにしてもよい。この場合、端末装置２５Ｄは、上記音声出力処理により認識したユーザエリア及び特定したタップ回数に基づいて出力情報から抽出した再生プログラムを実行し、予め有する楽譜に対応する音声データを任意の段階の速度で再生することで、所定時間内のタップ回数に応じ、各段階の速度で再生した音声を出力することができる。そのため、同じ音声データを専用ペーパー２０Ｄへのタップ回数を変えることで、再生速度を変えて音声データを再生させることができる。また、第２実施形態に示した現在時刻の取得方法を、第４実施形態に適用してもよい。

＜第５実施形態＞
次に、第５実施形態について図１６〜図１９を参照して説明する。第５実施形態は、電子ペン１０Ａによる所定時間内のタップ回数に応じて画像を出力する教育ドリル、図鑑等にも適用できるものである。以下、本第５実施形態と上記の実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。

図１６は、第５実施形態の使用形態を示す図である。図１７は、第５実施形態における専用アプリケーション５１の内部構成を示す。図１８は、第５実施形態における出力情報のデータ構造を模式的に示す図である。図１９は、画像出力処理のフローチャートである。

図１６に示すように、専用ペーパー（電子ペン用媒体）２０Ｅ（２０）には、蛙の親子関係と記載された１つの画像出力ユーザエリア６３が設定されている。端末装置２５Ｅ（２５）は、表示部（ディスプレイ）４８を有している。図１８に示すように、情報記憶手段４０には、画像出力ユーザエリア６３に対応してタップ回数「１」・「２」が設定されており、タップ回数「１」には、蛙の画像データ（処理データ）Ａが関連付けられて記憶されており、タップ回数「２」には、おたまじゃくしの画像データ（処理データ）Ｂが関連付けられて記憶されている。そして、処理データ抽出手段４５は、２つの画像データのうち、タップ回数特定手段４４によって特定された所定時間内のタップ回数に対応する画像データを抽出する。そして、処理実行手段４６は、抽出された画像データを表示部（ディスプレイ）４８に表示させる。

このような第５実施形態における画像出力処理を実行する専用アプリケーションについて図１７を参照して説明する。図１７は、専用アプリケーション５１のモジュール構成を示す。専用アプリケーション５１は、電子ペン１０Ａが専用ペーパー２０Ｅに記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置２５Ｅにインストールされている。

図１７に示すように、専用アプリケーション５１は、記入情報取得モジュール２０１、情報登録モジュール２０２、開始終了点特定モジュール２０３、ユーザエリア認識モジュール２０４、タップ回数特定モジュール２０５、処理データ抽出モジュール２０６及び画像出力モジュール２０７を有する。

記入情報取得モジュール２０１は、記入情報取得手段４１を用いて、専用ペーパー２０Ｅへの電子ペン１０Ａによる記入に対応する記入情報（タップ情報を含む）を取得する機能を有するモジュールである。

情報登録モジュール２０２は、情報記憶手段４０に対して、図１８に示すように、ユーザエリアのエリアＩＤ、ユーザエリアの座標データ、タップ回数、及び画像データを関連付けて記憶させるモジュールである。なお、エリアＩＤ「Ｂ０１」のタップ回数「１」に対しては、蛙の画像データＡが関連付けられて記憶されており、同じエリアＩＤ「Ｂ０１」のタップ回数「２」に対しては、おたまじゃくしの画像データＢが関連付けられて記憶されている。なお、定義情報については、第１実施形態の図８と同様に、エリアＩＤ「Ｂ０１」…に対して座標データ等が記憶されている。

開始終了点特定モジュール２０３は、記入情報取得モジュール２０１の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。

ユーザエリア認識モジュール２０４は、記入情報に含まれる座標データと、情報登録モジュール２０２によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール２０４は、１つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。

タップ回数特定モジュール２０５は、ユーザエリア認識モジュール２０４によって認識された記入情報がタップ情報であるか否か判定し、ユーザエリアへの所定時間内におけるタップ回数をカウントする機能を有する。記入情報がタップ情報であるか否かの判定方法としては、第１実施形態と同様に、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法（第１の方法）と、データ開始点とデータ終了点との間の距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法（第２の方法）とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び距離の両方に条件を設定してもよい（第３の方法）。そして、タップ回数特定モジュール２０６は、最初に認識されたタップ情報から所定時間（例えば、０．５秒）以内に認識されたタップ情報の回数をカウントする。

処理データ抽出モジュール２０６は、情報登録モジュール２０２により情報記憶手段４０に登録されるユーザエリア、タップ回数、及び画像データを参照し、ユーザエリア認識モジュール２０４によって認識されたユーザエリアとタップ回数特定モジュール２０５によって特定されたタップ回数とに関連付けられた画像データを抽出する機能を有する。

画像出力モジュール２０７は、処理データ抽出モジュール２０６によって抽出された画像データを端末装置２５Ｅの表示部４８に表示させる機能を有する。

[ 画像出力処理フロー ]
次に、第５実施形態における画像出力処理について、図１６及び図１９を参照して説明する。図１９は、端末装置２５Ｅにおける画像出力処理のフローチャートである。

利用者は、電子ペン１０Ａのペン先部１７により、専用ペーパー２０Ｅを構成するユーザエリアのうち画像を出力させたいユーザエリア、例えば、画像出力ユーザエリア６３をタップする。すると、電子ペン１０Ａは、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報（タップ情報）として端末装置２５Ｅへ送信する。端末装置２５Ｅの記入情報取得手段４１は、電子ペン１０Ａから即時的且つ逐次的にタップ情報を取得する（ステップＳ２１）。さらに、開始終了点特定手段４２は、記入情報取得手段４１によって取得された記入情報（タップ情報）に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する（ステップＳ２２）。

そして、ユーザエリア認識手段４３は、記入情報（タップ情報）に含まれる座標データに基づいて、情報記憶手段４０が記憶した定義情報を参照することで、対応するユーザエリアを認識する（ステップＳ２３）。タップ回数特定手段４４は、データ開始点及びデータ終了点の記入時刻の差分に基づいて、記入情報がタップ情報であることを判定すると共に、そのタップ情報に含まれる時間情報に基づいて、ユーザエリア認識手段４３が認識したユーザエリアへの所定時間内のタップ回数を特定する（ステップＳ２４）。なお、タップ回数特定手段４４は、データ開始点及びデータ終了点の座標データから算出される距離に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。

さらに、処理データ抽出手段４５は、ユーザエリア認識手段４３によって認識されたユーザエリア及びタップ回数特定手段４４によって特定されたタップ回数に基づいて、情報記憶手段４０が記憶した出力情報から対応する画像データを抽出する（ステップＳ２５）。そして、処理実行手段４６は、処理データ抽出手段４５によって抽出された画像データを表示部（ディスプレイ）４８に表示させる（ステップＳ２６）。例えば、図１８に示すような出力情報であって、認識したユーザエリアのエリアＩＤが「Ｂ０１」、特定したタップ回数が「１」の場合、処理データ抽出手段４５は、蛙の画像データＡを抽出し、処理実行手段４６は、抽出した蛙の画像データＡを表示部４８に表示させる。また、特定したタップ回数が「２」であった場合、処理データ抽出手段４５は、おたまじゃくしの画像データＢを抽出し、処理実行手段４６は、抽出したおたまじゃくしの画像データＢを表示部４８に表示させる。

第５実施形態によれば、電子ペン１０Ａによりユーザエリアを所定時間内にタップした回数によって、複数の画像を端末装置２５Ｅの表示部４８に表示することができるため、利用者が同一のユーザエリアに対してタップ回数を変えてタップを行うことにより、関連する画像データを表示部４８に表示させることができ、ユーザエリアに関する内容についての理解がしやすくなる。また、複数の画像から出力させる画像の選択を１つのユーザエリアに集約することができ、出力する画像と同じ数のユーザエリアは必要なくなる。よって、専用ペーパー２０Ｅの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。

なお、第５実施形態では、画像出力ユーザエリア６３に対して関連する画像データは、親子関係にあるおたまじゃくしの画像データと蛙の画像データであったが、これに限られず、例えば、物質の化学構造式の画像データと表面の画像データと顕微鏡観察による画像データとの組合せ、地図上のある地点またはランドマークを複数の方向から見た場合の画像データの組合せ、あるいは建築物の外観の画像データと内装の画像データと設計図の画像データとの組合せ等が挙げられる。また、画像データではなく、テキストデータであってもよい。このように、第５実施形態は、学習教材、各種ガイドブック、商品案内等に適用することができる。

上述したように、上記第１〜第５実施形態によれば、同一の専用ペーパー（電子ペン用媒体）２０又は同一のユーザエリアを所定時間内にタップした回数によって、音声、画像といった異なる情報を利用者にフィードバックすることが可能となる。つまり、所定時間内のタップ回数に応じて出力する音声データ又は画像データを決定することで、専用ペーパー（電子ペン用媒体）２０上におけるユーザエリアを集約することができる。

なお、本発明は、上記第１〜第５実施形態に限られない。

上記実施形態では、音声や画像を利用者にフィードバックするよう構成したが、所定の処理を実行する例として、タップ回数に応じて異なる動画再生、プログラム又はソフトウェアを実行するようにしてもよい。例えば、ショッピングカタログとして、１つの商品欄（ユーザエリア）に対して、タップ回数「１」では、色やサイズのバリエーションをディスプレイ表示し、タップ回数「２」では、使用例の動画を再生するといった実施形態が可能である。また、問題集として、１つの出題解答欄（ユーザエリア）に対して、タップ回数「１」では、問題をスピーカ出力又はディスプレイ表示し、タップ回数「２」では、答え合わせ（解答欄への記入情報を文字認識して解答と照合し、○、×等の判定結果をスピーカ出力又はディスプレイ表示）を行い、タップ回数「３」では、解説をスピーカ出力又はディスプレイ表示する、といった実施形態も可能である。

また、電子ペン１０内に、ペン自体又はその所有者に関するプロパティ情報（ペン情報又はペン所有者情報）を保持しておき、端末装置２５から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置２５に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス／電話番号、携帯電話番号などが挙げられる。

また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン１０のＬＥＤ１５を、赤外線を照射するＬＥＤとし、カメラ１６によって赤外線の反射量の差によって、電子ペン１０でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン１０のＬＥＤ１５を、ドットのインクを発光させる光を照射するものとし、カメラ１６によってドットのインクが発光する波長の領域を検知することによって、電子ペン１０でドットパターンを読み取るようにしてもよく、カメラ１６によってドットパターンが読み取れれば、ドットのインクの種別やＬＥＤ１５の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー２０における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、２次元コードパターンなどであってもよい。

また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー２０を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を１枚１枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置２５において、電子ペン１０から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を１枚１枚区別することができる。この他、ペンＩＤを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置２５は、記憶した識別情報もしくは識別情報とペンＩＤに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙１枚１枚に異なるドットパターンを割り当てて、専用ペーパー２０を印刷することも可能である。この場合、各専用ペーパー２０に印刷されたドットパターンは、専用ペーパー２０毎に異なるため、ドットパターンによって専用ペーパー２０を１枚１枚識別し区別することができる。

本発明は、電子ペン用媒体から構成される辞書類、ヘルプ機能を有する各種申込書、学習教材、演奏コントローラ、ガイド付き地図等、様々な分野で利用することができる。

電子ペンの使用形態を模式的に示す図である。 第１実施形態における電子ペンの構造を示す機能ブロック図である。 専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。 ドットパターン及びそれに対応する情報の例である。 第１実施形態における電子ペン用媒体及びその使用形態を示す図ある。 端末装置の機能ブロック図である。 第１実施形態における専用アプリケーションのモジュール構成図である。 定義情報のデータ構造を模式的に示す図である。 座標データを説明する図である。 出力情報のデータ構造を模式的に示す図である。 第１実施形態における音声出力処理のフローチャートである。 第２実施形態における電子ペンの構造を示す機能ブロック図である。 第２実施形態における音声出力処理のフローチャートである。 第３実施形態における専用ペーパー及びその使用形態を示す図である。 第４実施形態における専用ペーパー及びその使用形態を示す図である。 第５実施形態における専用ペーパー及びその使用形態を示す図である。 第５実施形態における専用アプリケーションのモジュール構成図である。 第５実施形態における出力情報のデータ構造を模式的に示す図である。 第５実施形態における画像出力処理のフローチャートである。

符号の説明

１０，１０Ａ，１０Ｂ…電子ペン、１１…プロセッサ、１３…データ通信ユニット、１４…バッテリー、１５…ＬＥＤ、１６…カメラ、１８…圧力センサ、２０，２０Ａ，２０Ｃ〜２０Ｅ…専用ペーパー（電子ペン用媒体）、２２…クロック、２５，２５Ａ〜２５Ｅ…端末装置、４０…情報記憶手段、４１…記入情報取得手段、４２…開始終了点特定手段、４３…ユーザエリア認識手段、４４…タップ回数特定手段、４５…処理データ抽出手段、４６…処理実行手段、４７…音声出力部、４８…表示部、５０…専用アプリケーション、６０…名前記入エリア（ユーザエリア）、６１…住所記入エリア（ユーザエリア）、６２…再生速度ユーザエリア、６３…画像出力ユーザエリア

Claims (15)

1. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、
   音声データに基づいて音声を出力する音声出力部と、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段と、
   前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
   前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、
   前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする端末装置。
2. 前記電子ペンは、取得した記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項１に記載の端末装置。
3. 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
   前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
   前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定することを特徴とする請求項１又は２に記載の端末装置。
4. 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定された文章がタップ回数によって異なる言語で発声される音声データであることを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
5. 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定され、タップ回数により特定される異なる速度の音声データであることを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
6. 前記処理実行手段は、前記データ抽出手段が抽出した音声データをタップ回数によって異なる速度で再生することで音声を前記音声出力部から出力させることを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
7. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、
   データを表示する表示部と、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段と、
   前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
   前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段と、
   前記データ抽出手段が抽出したデータを前記表示部に表示させる処理実行手段と、を備えることを特徴とする端末装置。
8. 前記電子ペンは、取得した記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項７に記載の端末装置。
9. 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
   前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
   前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定することを特徴とする請求項７又は８に記載の端末装置。
10. 前記ユーザエリアに対応して設定された複数のデータは、相互に関連することを特徴とする請求項７乃至９のいずれか一項に記載の端末装置。
11. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
    前記コンピュータは、音声データに基づいて音声を出力する音声出力部を備え、
    前記プログラムは、
    前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段、
    前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
    前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
    前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
    前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、
    前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記コンピュータを機能させることを特徴とするプログラム。
12. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
    前記コンピュータは、データを表示する表示部を備え、
    前記プログラムは、
    前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段、
    前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
    前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
    前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
    前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段、
    前記データ抽出手段が抽出したデータを前記表示部に表示させる処理実行手段、として前記コンピュータを機能させることを特徴とするプログラム。
13. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、
    前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
    前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
    前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
    前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
    前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
    前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする端末装置。
14. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
    前記プログラムは、
    前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、
    前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
    前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
    前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
    前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、
    前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記コンピュータを機能させることを特徴とするプログラム。
15. コード化パターンが印刷され、１つ以上のユーザエリアが形成された電子ペン用媒体と、
    前記電子ペン用媒体に印刷されたコード化パターンを記入情報として読み取り、外部に送信する電子ペンと、
    前記電子ペンにより送信された前記記入情報を取得し、所定の処理を実行する端末装置とを備える情報処理システムであって、
    前記端末装置は、
    前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
    前記電子ペンから、前記記入情報を取得する記入情報取得手段と、
    前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
    前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
    前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
    前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする情報処理システム。

Images