JP2008152547A - 電子ペン及びそれに用いられるプログラム - Google Patents
電子ペン及びそれに用いられるプログラム Download PDFInfo
- Publication number
- JP2008152547A JP2008152547A JP2006340114A JP2006340114A JP2008152547A JP 2008152547 A JP2008152547 A JP 2008152547A JP 2006340114 A JP2006340114 A JP 2006340114A JP 2006340114 A JP2006340114 A JP 2006340114A JP 2008152547 A JP2008152547 A JP 2008152547A
- Authority
- JP
- Japan
- Prior art keywords
- data
- user area
- electronic pen
- information
- taps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて所定の処理を実行する電子ペン及びそれに用いられるプログラムを提供する。
【解決手段】利用者は、電子ペン80Aにより、電子ペン用媒体における任意のユーザエリアをタップする。電子ペン80Aは、記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、電子ペン80Aは、記入情報に基づいて、認識したユーザエリアへの所定時間内のタップ回数を特定する。さらに、電子ペン80Aは、ユーザエリア及びタップ回数に基づいて、出力情報から対応する音声データを抽出し、スピーカ19から音声を出力する。よって、同一のユーザエリアをタップした回数によって、異なる音声を利用者にフィードバックすることができる。
【選択図】図5
【解決手段】利用者は、電子ペン80Aにより、電子ペン用媒体における任意のユーザエリアをタップする。電子ペン80Aは、記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、電子ペン80Aは、記入情報に基づいて、認識したユーザエリアへの所定時間内のタップ回数を特定する。さらに、電子ペン80Aは、ユーザエリア及びタップ回数に基づいて、出力情報から対応する音声データを抽出し、スピーカ19から音声を出力する。よって、同一のユーザエリアをタップした回数によって、異なる音声を利用者にフィードバックすることができる。
【選択図】図5
Description
本発明は、電子ペンにより電子ペン用媒体等に記入された記入情報を処理する技術に関する。
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
そこで本発明は、電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて、所定の処理を実行する電子ペン及びそれに用いられるプログラムを提供することを目的とする。
本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、音声データに基づいて音声を出力する音声出力部と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする。
この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、記入情報取得手段によって、電子ペンは電子ペン用媒体へのタップによる記入情報を取得する。そして、ユーザエリア認識手段は、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、データ抽出手段は、情報記憶手段に記憶された出力情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する音声データを抽出する。そして、処理実行手段は、データ抽出手段が抽出した音声データに基づく音声を音声出力部から出力させる。このように、電子ペンは、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、音声データに基づく音声を出力することができるとともに、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
さらに、上記電子ペンにおいて、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定すると好適である。
このように構成された電子ペンによれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数特定手段は、データ開始点及びデータ終了点に基づく時間及び/又は距離により、ユーザエリア認識手段が認識したユーザエリアに対して所定時間内にタップされたタップ回数を特定する。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを電子ペンから出力させようと意図したものではないと判定することができる。また、タップ回数特定手段によって、データ開始点及び前記データ終了点に基づく時間及び/又は距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。さらに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確に特定することができる。
さらに、出力情報として記憶される音声データは、各ユーザエリアに対応して設定された文章がタップ回数によって異なる言語で発声される音声データであるとよい。これにより、各ユーザエリアに関する文章を、電子ペン用媒体へのタップ回数を変えることで、各種の異なる言語で音声出力させることができる。
あるいは、出力情報として記憶される音声データは、各ユーザエリアに対応して設定され、タップ回数により特定される異なる速度の音声データであるとよい。これにより、電子ペンに音声データを再生させるにあたって、電子ペン用媒体へのタップ回数を変えることで、異なる再生速度の音声データを再生させることができる。
あるいは、上記電子ペンにおいて、処理実行手段は、データ抽出手段が抽出した音声データをタップ回数によって異なる速度で再生することで音声を音声出力部から出力させるよう構成させてもよい。この構成により、同じ音声データを電子ペン用媒体へのタップ回数を変えることで、再生速度を変えて再生させることができる。
また、本発明に係る電子ペンは、データを表示する表示部を備える端末装置と通信可能であり、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段と、前記データ抽出手段が抽出したデータを前記端末装置へ送信する処理実行手段と、を備えることを特徴とする。
この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、記入情報取得手段によって、電子ペンは電子ペン用媒体へのタップによる記入情報を取得する。そして、ユーザエリア認識手段は、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、データ抽出手段は、情報記憶手段に記憶された出力情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応するデータを抽出する。そして、処理実行手段は、データ抽出手段が抽出したデータを端末装置へ送信する。このように、電子ペンは、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、端末装置にデータを表示させることができるとともに、データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
上記電子ペンにおいて、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するよう構成するとよい。
このように構成された電子ペンによれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数特定手段は、データ開始点及びデータ終了点に基づく時間及び/又は距離により、ユーザエリア認識手段が認識したユーザエリアに対して所定時間内にタップされたタップ回数を特定する。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関するデータを端末装置から出力させようと意図したものではないと判定することができる。また、タップ回数特定手段によって、データ開始点及び前記データ終了点に基づく時間及び/又は距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。さらに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確に特定することができる。
このような構成において、ユーザエリアに対応して設定された複数のデータは、相互に関連するとよい。これにより、利用者が同一のユーザエリアに対してタップ回数を変えてタップを行うことにより、電子ペンは関連するデータを端末装置の表示部に表示させることができ、ユーザエリアに関する内容についての理解がしやすい。
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、前記電子ペンは、音声データに基づいて音声を出力する音声出力部を備え、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行力手段、として前記電子ペンを機能させることを特徴とする。
あるいは、別の本発明に係るプログラムは、データを表示する表示部を備える端末装置と通信可能であり、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段、前記データ抽出手段が抽出したデータを前記端末装置へ送信する処理実行手段、として前記電子ペンを機能させることを特徴とする。
また、本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする。
この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、記入情報取得手段により、電子ペンは電子ペン用媒体へのタップによる記入情報を取得する。そして、ユーザエリア認識手段は、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数特定手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいて、所定時間内にタップされたタップ回数を特定し、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、特定されたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、電子ペンは、利用者によって同一のユーザエリアが所定時間内にタップされたタップ回数に応じて、処理データに基づく処理を実行することができるとともに、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記電子ペンを機能させることを特徴とする。
本発明に係る電子ペン及びそれに用いられるプログラムによれば、電子ペンの電子ペン用媒体に対する所定時間内のタップ回数に応じて、所定の処理を実行することができる。
以下、図面を参照して本発明の好適な実施の形態について説明する。
<第1実施形態>
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン80A(80)、専用ペーパー(電子ペン用媒体)20A(20)及び端末装置85から構成される。ここで、図1は電子ペン80Aの使用形態を模式的に示す図であり、図2は電子ペン80Aの構造を示すブロック図である。専用ペーパ20Aには、ドットパターン(コード化パターン)が印刷されている。電子ペン80Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20A上に文字などを書くと、電子ペン80Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20Aに印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20Aにおけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン80A(80)、専用ペーパー(電子ペン用媒体)20A(20)及び端末装置85から構成される。ここで、図1は電子ペン80Aの使用形態を模式的に示す図であり、図2は電子ペン80Aの構造を示すブロック図である。専用ペーパ20Aには、ドットパターン(コード化パターン)が印刷されている。電子ペン80Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20A上に文字などを書くと、電子ペン80Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20Aに印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20Aにおけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
[ 専用ペーパー ]
まず、専用ペーパー20Aについて説明する。専用ペーパー20Aは、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
まず、専用ペーパー20Aについて説明する。専用ペーパー20Aは、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
図5(a)に、図案等が印刷された専用ペーパー20Aの例を示す。図5(a)に示す例は、申込書等の帳票の例であり、名前記入エリア60や住所記入エリア61等のユーザエリアが印刷されている。ドットパターンは、専用ペーパー20Aのほぼ全面に印刷されており、その上に名前記入エリア60等のユーザエリアの枠線が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、電子ペン80Aを使用して必要事項を名前記入エリア60や住所記入エリア61に記入する。
[ ドットパターン ]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20Aに印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20A上の位置座標が決定されるよう構成されている。
続いて、ドットパターンについて説明する。図3は、専用ペーパー20Aに印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20A上の位置座標が決定されるよう構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン80Aによって行われる。
[ 電子ペン ]
次に電子ペン80Aについて説明する。図2に示すように、電子ペン80Aは、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18、スピーカ(音声出力部)19及びクロック22を備える。また、電子ペン80Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
次に電子ペン80Aについて説明する。図2に示すように、電子ペン80Aは、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18、スピーカ(音声出力部)19及びクロック22を備える。また、電子ペン80Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
LED15は、電子ペン80Aのペン先付近に取り付けられており、専用ペーパー20A上のペン先部17近傍(領域15a)に向けて、赤外線を照明する(図1参照)。領域15aは、ペン先部17が専用ペーパー20Aに接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15a内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。これは、撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
バッテリー14は電子ペン80A内の各部品に電力を供給するためのものであり、例えば電子ペン80Aのキャップ(図示せず)の脱着により電子ペン80A自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン80Aにより専用ペーパー20A上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン80Aで専用ペーパー20A上に文字などを書くと、ペン先部17には筆圧がかかる。よって、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20A上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として取得する。さらにプロセッサ11は、記入情報に基づいて所定の処理を実行する。ここで、一枚の専用ペーパー(電子ペン用媒体)20A内のドットパターンは、その専用ペーパー20A内で重複することはないため、利用者が電子ペン80Aでユーザエリアに必要事項を記入すると、その記入が専用ペーパー20Aのどのユーザエリアに対応するものであるかを、座標データから特定することができる。
メモリ12には、プロセッサ11によって記入情報が時系列で記憶されていく。またメモリ12には予め、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けた実行情報を記憶しておく。メモリ12の容量は例えば1Mバイト〜2Gバイト程度とすることができる。
スピーカ(音声出力部)19は、プロセッサ11による出力指示によって、ユーザエリア毎のタップ回数に応じた音声データを再生出力する。
データ通信ユニット13は、記入情報あるいはタップ回数に応じた所定のデータを記録、表示させるため、あるいはタップ回数に応じた所定の処理を実行させるため、プロセッサ11により供給されるメモリ12内の所定のデータを近傍にある端末装置85へ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置85へデータ送信を行ってもよい。
ここで、電子ペン80Aが有する機能について図6を参照して説明する。図6は、電子ペン80Aの主要な構成を示す機能ブロック図である。電子ペン80Aは、取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
図6に示すように、電子ペン80Aは、機能的には、情報記憶手段70、記入情報取得手段71、開始終了点特定手段72、ユーザエリア認識手段73、タップ回数特定手段74、処理データ抽出手段(データ抽出手段)75、処理実行手段76、及びデータ通信手段77を備える。情報記憶手段70は、物理的には、ROMやRAMといったメモリ12によって構成され、記入情報取得手段71は、カメラ16、クロック22、プロセッサ11等によって構成される。また、開始終了点特定手段72、ユーザエリア認識手段73、タップ回数特定手段74、処理データ抽出手段75及び処理実行手段76は、CPU等のプロセッサ11に組み込まれている。
情報記憶手段70は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けて、実行情報として記憶するメモリである。また、情報記憶手段70は、プロセッサ11からの記入情報を時系列的に記憶する。
図8に示すように、情報記憶手段70には、専用ペーパー(電子ペン用媒体)20Aのユーザエリアを識別するエリアIDと、ユーザエリアの項目を表すエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた定義情報が記憶されている。エリアID「A01」に関連してユーザ名として「名前記入エリア」が記憶され、エリアID「A02」に関連してユーザ名として「住所記入エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図9に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
また情報記憶手段70には、図10に示すように、ユーザエリアを識別するエリアIDと、利用者が行うタップ回数と、音声データとを対応付けた出力情報が記憶されている。例えば、エリアID「A01」のタップ回数「1」に対しては、日本語の音声データAが関連付けられ、同じエリアID「A01」のタップ回数「2」に対しては、英語の音声データBが関連付けられて記憶されている。また、エリアID「A02」のタップ回数「1」に対しては、日本語の音声データCが関連付けられ、同じエリアID「A02」のタップ回数「2」に対しては、英語の音声データDが関連付けられて記憶されている。これらの音声データA〜Dは、スピーカ(音声出力部)19によって音声出力可能な音声データである。
ここで、情報記憶手段70に記憶されているこれら定義情報及び出力情報を実行情報と称することとする。さらに情報記憶手段70には、記入情報取得手段71により取得された記入情報が時系列で記憶されていく。
記入情報取得手段71は、電子ペン80Aによる専用ペーパー(電子ペン用媒体)20Aへの記入内容に対応する記入情報を取得する手段である。記入情報取得手段71は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20A上でのX,Y座標データを連続的に算出していく。すなわち、記入情報取得手段71は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そして記入情報取得手段71は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として取得する。記入情報には、タップ(電子ペン80Aのペン先部17の専用ペーパー20Aへの軽叩)、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。
開始終了点特定手段72は、記入情報取得手段71が取得した記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段72は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
ユーザエリア認識手段73は、記入情報に含まれる座標データに基づいて、情報記憶手段70が記憶した定義情報(図8参照)を参照することにより、対応するユーザエリアを認識する。このとき、ユーザエリア認識手段73は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。そのような設定にすれば、利用者が専用ペーパー20Aに記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを電子ペン80Aから出力させようと意図したものではないと判定することができる。
タップ回数特定手段74は、開始終了点特定手段72によって特定されたデータ開始点及びデータ終了点における時間及び/又は距離に基づいて、利用者により専用ペーパー20Aに記入されたストロークがタップであるか否かを判定し、ユーザエリア認識手段73が認識したユーザエリアにおいて所定時間内にタップされた回数(タップ回数)を特定する。これにより、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定時間内に行われたタップの回数で決定されるため、所定時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確に特定することができる。
具体的には、利用者により専用ペーパー(電子ペン用媒体)20Aに記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、タップ回数特定手段74は、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間未満である場合にストロークがタップであると判定する。別の第2の方法として、タップ回数特定手段74は、座標データに基づいてデータ開始点とデータ終了点の距離を算出し、当該距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
タップ回数特定手段74は、タップ回数を求めるため、記入情報に含まれる時間情報に基づいて、電子ペン80Aが認識したユーザエリアに最初に触れた時刻をタップ開始時刻と特定し、さらに、タップ開始時刻に予め設定された所定時間(例えば、0.5秒)を加算することでタップ終了時刻を特定する。そして、タップ回数特定手段74は、タップ開始時刻からタップ終了時刻の間におけるユーザエリアへのタップ回数を特定する。
処理データ抽出手段75は、ユーザエリア認識手段73が認識したユーザエリアと、タップ回数特定手段74が特定したタップ回数とに基づいて、情報記憶手段70が記憶した出力情報(図10参照)から対応する音声データ(処理データ)を抽出する。
処理実行手段76は、処理データ抽出手段75によって抽出された音声データを用いて所定の処理を実行する。すなわち、処理実行手段76は、処理データ抽出手段75によって抽出された音声データをスピーカ(音声出力部)19に再生出力させる。
データ通信手段77は、アンテナ等のデータ通信ユニット13により構成され、端末装置85とデータの送受信を行う。すなわち、データ通信手段77は、記入情報取得手段71によって取得され、情報記憶手段70に記憶された記入情報を端末装置85へ送信する。また、データ通信手段77は、タップ回数に応じた所定の処理を実行するため、処理データ抽出手段75によって抽出された処理データを端末装置85に送信するように構成してもよく、また、電子ペン85Aにインストールする専用アプリケーションをダウンロードするために使用されてもよい。
電子ペン80Aは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
[ 専用アプリケーション ]
次に、専用アプリケーション55について図7を参照して説明する。図7は、専用アプリケーション55のモジュール構成を示す。専用アプリケーション55は、電子ペン80Aが専用ペーパー20Aに記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン80Aにインストールされている。専用アプリケーションは、原則として専用ペーパー20Aに対応付けられている。つまり、専用ペーパー20Aの種類が異なれば、その種類に応じて各専用ペーパー20Aに記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20Aと専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20Aに1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20Aに複数の専用アプリケーションを対応付けてデータを処理させてもよい。
次に、専用アプリケーション55について図7を参照して説明する。図7は、専用アプリケーション55のモジュール構成を示す。専用アプリケーション55は、電子ペン80Aが専用ペーパー20Aに記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン80Aにインストールされている。専用アプリケーションは、原則として専用ペーパー20Aに対応付けられている。つまり、専用ペーパー20Aの種類が異なれば、その種類に応じて各専用ペーパー20Aに記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20Aと専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20Aに1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20Aに複数の専用アプリケーションを対応付けてデータを処理させてもよい。
図7に示すように、専用アプリケーション55は、記入情報取得モジュール301、情報登録モジュール302、開始終了点特定モジュール303、ユーザエリア認識モジュール304、タップ回数特定モジュール305、処理データ抽出モジュール306、音声出力モジュール307及びデータ通信モジュール308を有する。
記入情報取得モジュール301は、記入情報取得手段71を用いて、専用ペーパー(電子ペン用媒体)20Aへの電子ペン80Aによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。
情報登録モジュール302は、情報記憶手段70に対して、図8及び図10に示すように、ユーザエリアのエリアID、ユーザエリアの座標データ、タップ回数、及び音声データを関連付けて記憶させるモジュールである。また情報登録モジュール302は、情報記憶手段70に対して、記入情報取得モジュール301が取得した記入情報を記憶させるモジュールである。
開始終了点特定モジュール303は、記入情報取得モジュール301の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
ユーザエリア認識モジュール304は、記入情報に含まれる座標データと、情報登録モジュール302によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール304は、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。
タップ回数特定モジュール305は、ユーザエリア認識モジュール304によって認識された記入情報がタップ情報であるか否か判定し、ユーザエリアへの所定時間内におけるタップ回数をカウントする機能を有する。記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び距離の両方に条件を設定してもよい(第3の方法)。そして、タップ回数特定モジュール305は、最初に認識されたタップ情報から所定時間(例えば、0.5秒)以内に認識されたタップ情報の回数をカウントする。
処理データ抽出モジュール306は、情報登録モジュール302により情報記憶手段70に登録されるユーザエリア、タップ回数、及び音声データを参照し、ユーザエリア認識モジュール304によって認識されたユーザエリアとタップ回数特定モジュール305によって特定されたタップ回数とに関連付けられた音声データを抽出する機能を有する。
音声出力モジュール307は、処理データ抽出モジュール306によって抽出された音声データを、スピーカ(音声出力部)19に対して、音声として出力させる機能を有する。
データ通信モジュール308は、記入情報取得モジュール301の実行によって取得され情報記憶手段70に記憶された記入情報を、端末装置85に記憶、表示させるため、端末装置85へ送信するモジュールである。またデータ通信モジュール308は、タップ回数に応じた所定の処理を端末装置85に実行させるために、処理データ抽出モジュール306が抽出した処理データを、端末装置85へ送信するように構成してもよい。
[ 本情報処理システムによる音声出力処理フロー ]
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図5及び図11を参照して説明する。図11は、電子ペン80Aにおける音声出力処理のフローチャートである。
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図5及び図11を参照して説明する。図11は、電子ペン80Aにおける音声出力処理のフローチャートである。
利用者は、電子ペン80Aのペン先部17により、専用ペーパー(電子ペン用媒体)20Aのユーザエリアのうち解説を聞きたいユーザエリア、例えば、名前を記入する名前記入エリア60をタップする(図5(b)参照)。すると、記入情報取得手段71により、電子ペン80Aは、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報(タップ情報)として取得する(ステップS1)。
続いて、開始終了点特定手段72は、記入情報取得手段71によって取得された記入情報(タップ情報)に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する(ステップS2)。
そして、ユーザエリア認識手段73は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段70が記憶した定義情報を参照することで、対応するユーザエリアに当たる名前記入エリア(エリアID「A01」)を認識する(ステップS3)。タップ回数特定手段74は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、そのタップ情報に含まれる時間情報に基づいて、ユーザエリア認識手段73が認識したユーザエリアへの所定時間内のタップ回数を特定する(ステップS4)。なお、タップ回数特定手段74は、データ開始点及びデータ終了点の座標データから算出される距離に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。
さらに、処理データ抽出手段75は、ユーザエリア認識手段73によって認識されたユーザエリア及びタップ回数特定手段74によって特定されたタップ回数に基づいて、情報記憶手段70が記憶する出力情報を参照し、対応する音声データを抽出する(ステップS5)。そして、処理実行手段76は、処理データ抽出手段75によって抽出された音声データをスピーカ(音声出力部)19に音声出力させる(ステップS6)。例えば、タップ回数特定手段74によって特定されたタップ回数が1回であった場合、処理データ抽出手段75は、図10に示すユーザエリアのエリアID「A01」のタップ回数1回に対応する「音声データA(日本語)」を抽出し、処理実行手段76は、日本語解説による音声データA「この欄は名前を記入する欄です」をスピーカ(音声出力部)19に音声出力させる。また、タップ回数特定手段74によって特定されたタップ回数が2回であった場合、処理データ抽出手段75は、ユーザエリアのエリアID「A01」のタップ回数2回に対応する「音声データB(英語)」を抽出し、処理実行手段76は、英語解説による音声データB「Column which fills in a name.」をスピーカ(音声出力部)19に音声出力させる。
利用者は、スピーカ(音声出力部)19によって再生出力される音声によりユーザエリアの解説を聞いて、ユーザエリアに必要事項を記入することができる。その記入内容は、電子ペン80Aによって記入情報としてメモリ12に記憶される。
[ 本情報処理システムによる作用効果 ]
このように、ドットパターンを印刷した専用ペーパー20A上に所定の図案等を印刷することにより、専用ペーパー20Aを利用した各種電子ペン用帳票が生成できる。利用者が電子ペン80Aを使用して通常の要領で必要事項を記入すれば、電子ペン80Aは、専用アプリケーションを実行することにより、記入内容に対応するX,Y座標データ等の記入情報を取得し、その記入情報に基づいて所定の処理を行うこととなる。したがって、利用者の電子ペン80Aによる専用ペーパー(電子ペン用媒体)20Aへの記入に対応して、電子ペン80Aの処理が即座に行われ、記入内容がリアルタイムに電子化されるため、利用者にとって操作性がよく作業効率が高くなるという効果がある。
このように、ドットパターンを印刷した専用ペーパー20A上に所定の図案等を印刷することにより、専用ペーパー20Aを利用した各種電子ペン用帳票が生成できる。利用者が電子ペン80Aを使用して通常の要領で必要事項を記入すれば、電子ペン80Aは、専用アプリケーションを実行することにより、記入内容に対応するX,Y座標データ等の記入情報を取得し、その記入情報に基づいて所定の処理を行うこととなる。したがって、利用者の電子ペン80Aによる専用ペーパー(電子ペン用媒体)20Aへの記入に対応して、電子ペン80Aの処理が即座に行われ、記入内容がリアルタイムに電子化されるため、利用者にとって操作性がよく作業効率が高くなるという効果がある。
また、この情報処理システムによれば、各種記入エリアを所定時間内にタップした回数によって電子ペン80Aにより日本語解説又は英語解説が音声で出力されるため、タップ回数を変えることで、各種異なる言語で音声出力させることができ、ヘルプ機能のためのユーザエリアを記入エリアとは別に設ける必要もなくなる。また、電子ペン80Aは、利用者によって同一のユーザエリアを所定時間内にタップされたタップ回数に応じて、音声データに基づく音声を出力することができ、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、図5に示すように集約した分の専用ペーパー20Aの面積を詰めることで電子ペン用媒体の省スペース化を実現することができる。これにより、デザインの自由度が増し、専用ペーパー20Aに印刷する文字や記入エリアを大きくすることが可能となり、専用ペーパー20Aをより見やすいデザインに設計することができる。
また、電子ペン80Aは利用者が専用ペーパー20A上に記述した文字などに対応する座標データ及び筆圧データを取得して所定の処理を実行する機能を有するが、電子ペン80Aのペン先部17は通常のインクペンとなっているため、専用ペーパー20A上に記述した内容はオリジナルの原本として残すことができる。
なお、上記第1実施形態は次のように構成させることもできる。
例えば、情報記憶手段70は、定義情報(図8参照)と出力情報(図10参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、エリア名、ユーザエリアの座標データ、タップ回数、音声データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
また、上記第1実施形態では、電子ペン80Aのクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、記入情報として取得する。
また、第1実施形態では、情報記憶手段70に予め記憶されている音声データをスピーカ(音声出力部)19に再生出力させたが、処理データ抽出手段75によって再生出力すべきコンテンツを抽出し、処理実行手段76によりそのコンテンツを音声合成して、スピーカ(音声出力部)19に再生出力させるようにしてもよい。
また、上記第1実施形態における音声データは、各ユーザエリアを解説する文章を日本語又は英語に翻訳した音声データとしたが、他の言語による音声データを用いてもよい。また、図5に示すような名前記入エリア60や住所記入エリア61を有するデザインでなくともよく、例えば、他の記入項目を設けたり、記入欄のデザインや配置等も適宜変更してよい。
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。上記第1実施形態では、図5に示すように、日本語又は英語によりユーザエリアの解説を音声で行うシステムに関するものであったが、第2実施形態は、図12に示すように、専用ペーパー(電子ペン用媒体)20C(20)に記載された事象や地図の解説を、電子ペン80C(80)が「概要」、「より詳しく」、「とても詳しく」といった複数段階に分けて音声出力する地図ガイドに適用したものである。
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。上記第1実施形態では、図5に示すように、日本語又は英語によりユーザエリアの解説を音声で行うシステムに関するものであったが、第2実施形態は、図12に示すように、専用ペーパー(電子ペン用媒体)20C(20)に記載された事象や地図の解説を、電子ペン80C(80)が「概要」、「より詳しく」、「とても詳しく」といった複数段階に分けて音声出力する地図ガイドに適用したものである。
図12に示すように、専用ペーパー20Cには図案等として地図が印刷されており、専用ペーパー20Cの全体が1つのユーザエリアとなっている。第1実施形態では、電子ペン80Aの情報記憶手段70には、ユーザエリアに対してタップ回数「1」・「2」が設定され、それぞれのタップ回数に音声データが関連付けられて記憶されていたが、本第2実施形態では、情報記憶手段70には、「概要」・「より詳しく」・「もっと詳しく」に対応して、ユーザエリアに対してタップ回数「1」・「2」・「3」が設定されている。そして、タップ回数「1」には、専用ペーパー20Cの地図に掲載されている、ある寺の概要的な説明「この寺は××年に建てられました。」という音声データが関連付けられて記憶されている。タップ回数「2」には、その寺のより詳しい説明「この寺は××年に建てられ、室町時代の主な建築手法が用いられた代表的な建築物です。」という音声データが関連付けられて記憶されている。タップ回数「3」には、その寺のもっと詳しい説明「この寺はA氏の命によって××年に建てられ、室町時代の主な建築手法が用いられています。△△年の戦争で半分焼けましたが、その後修復され、現在に至ります。」という音声データが関連付けられて記憶されている。
そして、処理データ抽出手段75は、3つの音声データのうち、タップ回数特定手段74によって特定された所定時間内のタップ回数に対応する音声データを情報記憶手段70から抽出する。そして、処理実行手段76は、抽出された音声データをスピーカ(音声出力部)19に再生出力させる。
この第2実施形態によれば、電子ペン80Cにより専用ペーパ20Cが所定時間内にタップされた回数によって、電子ペン80Cが、タップ回数に応じて段階的な解説を音声出力するため、複数段階の解説の音声出力の選択を1つのユーザエリアに集約することができ、解説の段階と同じ数のユーザエリアは必要ない。そのため、専用ペーパー20Cの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。
なお、第2実施形態において、1つのユーザエリアに対応付けされたタップ回数は、1〜3回であったが、タップ回数は任意に設定することができる。また、専用ペーパー20C全体を1つのユーザエリアとし、電子ペン80Cによって専用ペーパー20Cのどこをタップしても音声出力されるように構成されているが、例えば、印刷された地図の建物部分をユーザエリアとし、電子ペン80Cでその建物部分をタップすることで音声を出力する構成としてもよい。つまり、専用ペーパー20Cにおけるユーザエリアの範囲や個数は任意に設定することができる。
<第3実施形態>
次に第3実施形態について図13を参照して説明する。第3実施形態では、所定時間内のタップ回数によって、専用ペーパー(電子ペン用媒体)20D(20)に記載された楽譜(図示しない)を、電子ペン80D(80)が「一倍速」、「ニ倍速」、「三倍速」といった3段階の速度で再生して音声出力する。以下、第3実施形態と上記実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。
次に第3実施形態について図13を参照して説明する。第3実施形態では、所定時間内のタップ回数によって、専用ペーパー(電子ペン用媒体)20D(20)に記載された楽譜(図示しない)を、電子ペン80D(80)が「一倍速」、「ニ倍速」、「三倍速」といった3段階の速度で再生して音声出力する。以下、第3実施形態と上記実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。
第2実施形態では、情報記憶手段70には、タップ回数「1」・「2」・「3」それぞれに、建築物を説明する異なる音声データが記憶されていたが、本第3実施形態では、再生速度ユーザエリア62に対してタップ回数「1」・「2」・「3」に関連して、専用ペーパー20Dに印刷された楽譜(図示しない)の一倍速の音声データ、ニ倍速の音声データ、三倍速の音声データが記憶されている。そして、処理データ抽出手段75は、3つの異なる倍速の音声データのうち、タップ回数特定手段74によって特定された所定時間内のタップ回数に対応する音声データを抽出する。そして、処理実行手段76は、抽出された音声データをスピーカ(音声出力部)19に再生出力させる。
このように、第3実施形態では、図13に示すように、電子ペン80Dにより、所定時間内にタップした回数によって、電子ペン80Dが「一倍速」から「三倍速」までの各段階の速度で再生した音声を出力させるため、専用ペーパー20Dへのタップ回数を変えることで、異なる再生速度の音声データを再生させることができ、しかも、複数段階の速度で再生した音声出力の選択を1つのユーザエリアに集約することができる。したがって、速度の段階と同じ数のユーザエリアは必要ない。そのため、専用ペーパー20Dの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。
なお、第3実施形態では、音声データを、楽譜に対応する各段階の速度の音声データとしたが、楽譜の音楽に代えて、ディクテーション問題や音声読み上げツール等、様々な音声データを適用することができる。また、第3実施形態では、異なる速度の音声データを情報記憶手段70に記憶させたが、1つのユーザエリアに対して情報記憶手段70に記憶させる音声データを一つとし、処理実行手段76がタップ回数に応じてその音声データの再生速度を変えて再生させるようにしてもよい。この場合、電子ペン80Dは、上記音声出力処理により認識したユーザエリア及び特定したタップ回数に基づいて出力情報から抽出した再生プログラムを実行し、予め有する楽譜に対応する音声データを任意の段階の速度で再生することで、所定時間内のタップ回数に応じ、各段階の速度で再生した音声を出力することができる。そのため、同じ音声データを専用ペーパー20Dへのタップ回数を変えることで、再生速度を変えて音声データを再生させることができる。
<第4実施形態>
次に、第4実施形態について図14〜図17を参照して説明する。上記第1乃至第3実施形態では、電子ペン80のスピーカ(音声出力部)19から音声を出力するシステムに関するものであったが、本第4実施形態は、電子ペン80Eと通信可能な端末装置85にデータを送信することで端末装置85の表示部90に画像を表示するシステムに関するものである。本第4実施形態は、電子ペン80Eによる所定時間内のタップ回数に応じて画像を出力する教育ドリル、図鑑等にも適用できるものである。以下、本第4実施形態と上記の実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。
次に、第4実施形態について図14〜図17を参照して説明する。上記第1乃至第3実施形態では、電子ペン80のスピーカ(音声出力部)19から音声を出力するシステムに関するものであったが、本第4実施形態は、電子ペン80Eと通信可能な端末装置85にデータを送信することで端末装置85の表示部90に画像を表示するシステムに関するものである。本第4実施形態は、電子ペン80Eによる所定時間内のタップ回数に応じて画像を出力する教育ドリル、図鑑等にも適用できるものである。以下、本第4実施形態と上記の実施形態とが同様の部分については、同じ符号を付し、適宜説明を省略する。
図14は、第4実施形態の使用形態を示す図である。図15は、第4実施形態における専用アプリケーション56の内部構成を示す。図16は、第4実施形態における出力情報のデータ構造を模式的に示す図である。図17は、画像出力処理のフローチャートである。
第4実施形態の情報処理システムは、図14に示すように、電子ペン80E(80)と、専用ペーパー(電子ペン用媒体)20E(20)と、端末装置85とから構成される。ここで、端末装置85について説明する。端末装置85は、ハードウェアとして、電子ペン80Eとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。本第4実施形態において端末装置85は、電子ペン80Eからデータを取得し、データに基づいてディスプレイ等の表示部90に画像を表示する。
図14に示すように、専用ペーパー20Eには、蛙の親子関係と記載された1つの画像出力ユーザエリア63が設定されている。図16に示すように、情報記憶手段70には、画像出力ユーザエリア63に対応してタップ回数「1」・「2」が設定されており、タップ回数「1」には、蛙の画像データ(処理データ)Aが関連付けられて記憶されており、タップ回数「2」には、おたまじゃくしの画像データ(処理データ)Bが関連付けられて記憶されている。そして、処理データ抽出手段75は、2つの画像データのうち、タップ回数特定手段74によって特定された所定時間内のタップ回数に対応する画像データを抽出する。そして、処理実行手段76は、抽出された画像データをデータ通信ユニット13から端末装置85へ送信する。端末装置85は、取得した画像データに基づいて表示部(ディスプレイ)90に画像を表示させる。
このような第4実施形態における画像出力処理を実行する専用アプリケーションについて図15を参照して説明する。図15は、専用アプリケーション56のモジュール構成を示す。専用アプリケーション56は、電子ペン80Eが専用ペーパー20Eに記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、予め電子ペン80Eにインストールされている。
図15に示すように、専用アプリケーション56は、記入情報取得モジュール401、情報登録モジュール402、開始終了点特定モジュール403、ユーザエリア認識モジュール404、タップ回数特定モジュール405、処理データ抽出モジュール406及びデータ通信モジュール407を有する。
記入情報取得モジュール401は、記入情報取得手段71を用いて、専用ペーパー20Eへの電子ペン80Eによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。
情報登録モジュール402は、情報記憶手段70に対して、図16に示すように、ユーザエリアのエリアID、ユーザエリアの座標データ、タップ回数、及び画像データを関連付けて記憶させるモジュールである。なお、エリアID「B01」のタップ回数「1」に対しては、蛙の画像データAが関連付けられて記憶されており、同じエリアID「B01」のタップ回数「2」に対しては、おたまじゃくしの画像データBが関連付けられて記憶されている。なお、定義情報については、第1実施形態の図8と同様に、エリアID「B01」…に対して座標データ等が記憶されている。
開始終了点特定モジュール403は、記入情報取得モジュール401の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
ユーザエリア認識モジュール404は、記入情報に含まれる座標データと、情報登録モジュール402によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール404は、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。
タップ回数特定モジュール405は、ユーザエリア認識モジュール404によって認識された記入情報がタップ情報であるか否か判定し、ユーザエリアへの所定時間内におけるタップ回数をカウントする機能を有する。記入情報がタップ情報であるか否かの判定方法としては、第1実施形態と同様に、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び距離の両方に条件を設定してもよい(第3の方法)。そして、タップ回数特定モジュール206は、最初に認識されたタップ情報から所定時間(例えば、0.5秒)以内に認識されたタップ情報の回数をカウントする。
処理データ抽出モジュール406は、情報登録モジュール402により情報記憶手段70に登録されるユーザエリア、タップ回数、及び画像データを参照し、ユーザエリア認識モジュール404によって認識されたユーザエリアとタップ回数特定モジュール405によって特定されたタップ回数とに関連付けられた画像データを抽出する機能を有する。
データ通信モジュール407は、処理データ抽出モジュール406によって抽出された画像データをデータ通信ユニット13から端末装置85へ送信する機能を有する。またデータ通信モジュール407は、記入情報取得モジュール401の実行によって取得され情報記憶手段70に記憶された記入情報を、端末装置85に記憶、表示させるため、端末装置85へ送信する機能を有する。
[ 画像出力処理フロー ]
次に、第4実施形態における画像出力処理について、図14及び図17を参照して説明する。図17は、電子ペン80Eにおける画像出力処理のフローチャートである。
次に、第4実施形態における画像出力処理について、図14及び図17を参照して説明する。図17は、電子ペン80Eにおける画像出力処理のフローチャートである。
利用者は、電子ペン80Eのペン先部17により、専用ペーパー20Eを構成するユーザエリアのうち画像を出力させたいユーザエリア、例えば、画像出力ユーザエリア63をタップする。すると、電子ペン80Eは、記入情報取得手段71により、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報(タップ情報)として取得する(ステップS21)。さらに、開始終了点特定手段72は、記入情報取得手段71によって取得された記入情報(タップ情報)に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する(ステップS22)。
そして、ユーザエリア認識手段73は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段70が記憶した定義情報を参照することで、対応するユーザエリアを認識する(ステップS23)。タップ回数特定手段74は、データ開始点及びデータ終了点の記入時刻の差分に基づいて、記入情報がタップ情報であることを判定すると共に、そのタップ情報に含まれる時間情報に基づいて、ユーザエリア認識手段73が認識したユーザエリアへの所定時間内のタップ回数を特定する(ステップS24)。なお、タップ回数特定手段74は、データ開始点及びデータ終了点の座標データから算出される距離に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。
さらに、処理データ抽出手段75は、ユーザエリア認識手段73によって認識されたユーザエリア及びタップ回数特定手段74によって特定されたタップ回数に基づいて、情報記憶手段70が記憶した出力情報から対応する画像データを抽出する(ステップS25)。そして、処理実行手段76は、処理データ抽出手段75によって抽出された画像データをデータ通信ユニット13から端末装置85へ送信する(ステップS26)。端末装置85は、取得した画像データに基づいて表示部(ディスプレイ)90に画像を表示させる。例えば、図16に示すような出力情報であって、認識したユーザエリアのエリアIDが「B01」、特定したタップ回数が「1」の場合、処理データ抽出手段75は、蛙の画像データAを抽出し、処理実行手段76は、抽出した蛙の画像データAをデータ通信ユニット13から端末装置85に送信する。これにより、端末装置85は、蛙の画像を表示部90に表示させる。また、特定したタップ回数が「2」であった場合、処理データ抽出手段75は、おたまじゃくしの画像データBを抽出し、処理実行手段76は、抽出したおたまじゃくしの画像データBをデータ通信ユニット13から端末装置85に送信する。これにより、端末装置85は、おたまじゃくしの画像を表示部90に表示させる。
第4実施形態によれば、電子ペン80Eによりユーザエリアを所定時間内にタップした回数によって、複数の画像を端末装置85へ送信することができるため、利用者が同一のユーザエリアに対してタップ回数を変えてタップを行うことにより、関連する画像データを端末装置85の表示部90に表示させることができ、ユーザエリアに関する内容についての理解がしやすくなる。また、複数の画像から出力させる画像の選択を1つのユーザエリアに集約することができ、出力する画像と同じ数のユーザエリアは必要なくなる。よって、専用ペーパー20Eの省スペース化を実現するとともに、デザイン自由度を向上させることが可能となる。
なお、第4実施形態では、画像出力ユーザエリア63に対して関連する画像データは、親子関係にあるおたまじゃくしの画像データと蛙の画像データであったが、これに限られず、例えば、物質の化学構造式の画像データと表面の画像データと顕微鏡観察による画像データとの組合せ、地図上のある地点またはランドマークを複数の方向から見た場合の画像データの組合せ、あるいは建築物の外観の画像データと内装の画像データと設計図の画像データとの組合せ等が挙げられる。また、画像データではなく、テキストデータであってもよい。このように、第4実施形態は、学習教材、各種ガイドブック、商品案内等に適用することができる。
上述したように、上記第1〜第4実施形態によれば、同一の専用ペーパー(電子ペン用媒体)20又は同一のユーザエリアを所定時間内にタップした回数によって、音声、画像といった異なる情報を利用者にフィードバックすることが可能となる。つまり、所定時間内のタップ回数に応じて出力する音声データ又は画像データを決定することで、専用ペーパー(電子ペン用媒体)20上におけるユーザエリアを集約することができる。
なお、本発明は、上記第1〜第4実施形態に限られない。
上記実施形態では、音声や画像を利用者にフィードバックするよう構成したが、所定の処理を実行する例として、タップ回数に応じて異なるプログラム又はソフトウェアを実行するようにしてもよく、或いは、外部の端末装置85に、動画再生、プログラム又はソフトウェアを実行させるようにしてもよい。例えば、ショッピングカタログとして、1つの商品欄(ユーザエリア)に対して、タップ回数「1」では、色やサイズのバリエーションを端末装置85のディスプレイ90に表示させ、タップ回数「2」では、使用例の動画を再生させるといった実施形態が可能である。また、問題集として、1つの出題解答欄(ユーザエリア)に対して、タップ回数「1」では、問題を電子ペン80のスピーカ19に出力し又は端末装置85のディスプレイ90に表示させ、タップ回数「2」では、答え合わせ(解答欄への記入情報を文字認識して解答と照合し、○、×等の判定結果を電子ペン80のスピーカ19に出力し又は端末装置85のディスプレイ90に表示させる)を行い、タップ回数「3」では、解説を電子ペン80のスピーカ19に出力し又は端末装置85のディスプレイ90に表示させる、といった実施形態も可能である。
また、専用ペーパー20上のエリアは大きく2種類のエリアに分けることとしてもよい。1つは記入エリアであり、電子ペン80による記述内容をそのまま情報として取り扱うエリアである。もう1つは、機能エレメントであり、対応するエリア内を電子ペン80でチェックした際に、予めそのエリアに対して定義されているアクション、処理、指示などを実行するようになっている。例えば、送信ボックスがこれに該当する。送信ボックスは、電子ペン80内に記憶されている所定のデータを近傍の端末装置85へ送信するための指示を行う際に使用される。利用者が送信ボックス内に電子ペン80でチェックを入れると、電子ペン80が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン80内のプロセッサ11はデータ通信ユニット13に所定のデータの送信命令を発する。電子ペン80は、データの送信完了を振動により示すことができる。
また、電子ペン80の標準機能によれば、電子ペン80により得られるデータは、原則として座標データの形態であり、テキストデータではない。但し、電子ペン80は標準機能として、座標データに基づいて、電子ペン80により専用ペーパー20に記入された内容をテキスト化する機能を備えることとしてもよい。
また、電子ペン80内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置85から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を端末装置85に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのID、空きメモリ容量などが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン80のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン80でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン80のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン80でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。電子ペン80において、取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、電子ペン80は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
本発明は、電子ペン用媒体から構成される辞書類、ヘルプ機能を有する各種申込書、学習教材、演奏コントローラ、ガイド付き地図等、様々な分野で利用することができる。
11…プロセッサ、12…メモリ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、19…スピーカ、20,20A,20C〜20E…専用ペーパー(電子ペン用媒体)、22…クロック、55,56…専用アプリケーション、60…名前記入エリア(ユーザエリア)、61…住所記入エリア(ユーザエリア)、62…再生速度ユーザエリア、63…画像出力ユーザエリア、70…情報記憶手段、71…記入情報取得手段、72…開始終了点特定手段、73…ユーザエリア認識手段、74…タップ回数特定手段、75…処理データ抽出手段、76…処理実行手段、80,80A,80C〜80E…電子ペン、85…端末装置、90…ディスプレイ(表示部)
Claims (12)
- 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、
音声データに基づいて音声を出力する音声出力部と、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段と、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、
前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする電子ペン。 - 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定することを特徴とする請求項1に記載の電子ペン。 - 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定された文章がタップ回数によって異なる言語で発声される音声データであることを特徴とする請求項1又は2に記載の電子ペン。
- 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定され、タップ回数により特定される異なる速度の音声データであることを特徴とする請求項1又は2に記載の電子ペン。
- 前記処理実行手段は、前記データ抽出手段が抽出した音声データをタップ回数によって異なる速度で再生することで音声を前記音声出力部から出力させることを特徴とする請求項1又は2に記載の電子ペン。
- データを表示する表示部を備える端末装置と通信可能であり、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段と、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段と、
前記データ抽出手段が抽出したデータを前記端末装置へ送信する処理実行手段と、を備えることを特徴とする電子ペン。 - 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
前記タップ回数特定手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は距離により、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定することを特徴とする請求項6に記載の電子ペン。 - 前記ユーザエリアに対応して設定された複数のデータは、相互に関連することを特徴とする請求項6又は7に記載の電子ペン。
- 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
前記電子ペンは、音声データに基づいて音声を出力する音声出力部を備え、
前記プログラムは、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記音声出力部から出力する音声データとを対応付けた出力情報を記憶する情報記憶手段、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、
前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記電子ペンを機能させることを特徴とするプログラム。 - データを表示する表示部を備える端末装置と通信可能であり、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
前記プログラムは、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記表示部に表示するデータとを対応付けた出力情報を記憶する情報記憶手段、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記出力情報から対応するデータを抽出するデータ抽出手段、
前記データ抽出手段が抽出したデータを前記端末装置へ送信する処理実行手段、として前記電子ペンを機能させることを特徴とするプログラム。 - 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段と、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする電子ペン。 - 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
前記プログラムは、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、所定の処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、
前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアが、所定時間内にタップされた回数であるタップ回数を特定するタップ回数特定手段、
前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数特定手段が特定したタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、
前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記電子ペンを機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340114A JP2008152547A (ja) | 2006-12-18 | 2006-12-18 | 電子ペン及びそれに用いられるプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340114A JP2008152547A (ja) | 2006-12-18 | 2006-12-18 | 電子ペン及びそれに用いられるプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008152547A true JP2008152547A (ja) | 2008-07-03 |
Family
ID=39654649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006340114A Pending JP2008152547A (ja) | 2006-12-18 | 2006-12-18 | 電子ペン及びそれに用いられるプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008152547A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070250A (ja) * | 2009-09-24 | 2011-04-07 | Pioneer Electronic Corp | 接触操作装置 |
JP2013025682A (ja) * | 2011-07-25 | 2013-02-04 | Dainippon Printing Co Ltd | 電子ペンシステム及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09297740A (ja) * | 1996-05-02 | 1997-11-18 | Matsushita Electric Ind Co Ltd | 携帯情報端末 |
JPH1153165A (ja) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | マンマシンインタフェース装置 |
JP2004145408A (ja) * | 2002-10-22 | 2004-05-20 | Hitachi Ltd | デジタルペンおよびデジタルペーパを利用した計算システム |
JP2005063029A (ja) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | 手書き情報取得装置 |
JP2008134773A (ja) * | 2006-11-28 | 2008-06-12 | Dainippon Printing Co Ltd | 端末装置、それに用いられるプログラム及び情報処理システム |
-
2006
- 2006-12-18 JP JP2006340114A patent/JP2008152547A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09297740A (ja) * | 1996-05-02 | 1997-11-18 | Matsushita Electric Ind Co Ltd | 携帯情報端末 |
JPH1153165A (ja) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | マンマシンインタフェース装置 |
JP2004145408A (ja) * | 2002-10-22 | 2004-05-20 | Hitachi Ltd | デジタルペンおよびデジタルペーパを利用した計算システム |
JP2005063029A (ja) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | 手書き情報取得装置 |
JP2008134773A (ja) * | 2006-11-28 | 2008-06-12 | Dainippon Printing Co Ltd | 端末装置、それに用いられるプログラム及び情報処理システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070250A (ja) * | 2009-09-24 | 2011-04-07 | Pioneer Electronic Corp | 接触操作装置 |
JP2013025682A (ja) * | 2011-07-25 | 2013-02-04 | Dainippon Printing Co Ltd | 電子ペンシステム及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102067153B (zh) | 多模态学习系统 | |
KR20070047195A (ko) | 상호작용 장치 및 방법 | |
WO2008013761A2 (en) | Associating a region on a surface with a sound or with another region | |
JP2007226577A (ja) | デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム | |
TW201314638A (zh) | 具虛擬實境擴充功能的點讀裝置 | |
JP2004252689A (ja) | 情報処理装置およびそのプログラム | |
JP2008152547A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP2011003016A (ja) | ストローク表示装置及びプログラム | |
JP2006309505A (ja) | 端末装置、プログラム及び電子ペン用帳票 | |
JP2008134773A (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP2004110571A (ja) | 手続システム及びそのサーバ装置、並びに電子ペン用帳票 | |
JP2008165343A (ja) | 電子ペン、記入情報判別システムおよびプログラム | |
EP2439621A2 (en) | Information reading/output device | |
JP2007188159A (ja) | 処理装置、プログラム及び電子ペン用帳票 | |
JP5267950B2 (ja) | 情報処理システム及びそのプログラム | |
JP6019716B2 (ja) | コンピュータ装置、プログラム及び情報処理システム | |
JP2009187235A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP5267717B2 (ja) | ストローク再生装置及びプログラム | |
JP2009187196A (ja) | 電子ペン及びプログラム | |
JP4775246B2 (ja) | 電子ペン及びプログラム | |
JP4962338B2 (ja) | 電子ペン及びプログラム | |
JP2009288573A (ja) | 端末装置、そのプログラム及び添削支援システム | |
JP5381254B2 (ja) | スタンプ登録表示システム、及びそのプログラム | |
JP2009193234A (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP2009015745A (ja) | 電子ペン、プログラム及び採点システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |